ViperEkura 445378667f feat : NEFTune 噪声注入 + label_smoothing 默认值修正 ...

- Embedding.forward 训练时注入 randn 噪声，缩放系数 neftune_noise_alpha / sqrt(seq_len)
- TrainConfig.neftune_alpha 通过 config 传递（默认 0=关闭）
- TrainContextBuilder 将 config.neftune_alpha 写入 embed_tokens
- --neftune_alpha CLI 参数（典型值 5.0）
- label_smoothing 默认值 0.05 -> 0.0

2026-06-11 15:32:43 +08:00

..

benchmark.py

refactor: Transformer更名为AutoRegressiveLM并新增EmbeddingEncoder

2026-05-17 15:29:20 +08:00

evaluate_humaneval.py

feat : 新增 HumanEval pass@k 代码生成评测

2026-06-03 10:52:32 +08:00

evaluate_mmlu.py

fix : MMLU eval 使用 chat template 格式匹配 SFT 训练数据

2026-06-03 11:59:42 +08:00

generate.py

docs: 修正文档中与源码不符的类名、方法签名和模块归属

2026-05-14 15:04:53 +08:00

perplexity.py

fix : 修正类型标注与统一 CLI 参数命名

2026-05-27 20:49:44 +08:00

preprocess.py

refactor : 清理工厂和配置系统中的死代码与冗余抽象

2026-06-07 11:39:50 +08:00

server.py

fix : 修正类型标注与统一 CLI 参数命名

2026-05-27 20:49:44 +08:00

train.py

feat : NEFTune 噪声注入 + label_smoothing 默认值修正

2026-06-11 15:32:43 +08:00