AstrAI/scripts/tools
ViperEkura 445378667f feat : NEFTune 噪声注入 + label_smoothing 默认值修正
- Embedding.forward 训练时注入 randn 噪声,缩放系数 neftune_noise_alpha / sqrt(seq_len)
- TrainConfig.neftune_alpha 通过 config 传递(默认 0=关闭)
- TrainContextBuilder 将 config.neftune_alpha 写入 embed_tokens
- --neftune_alpha CLI 参数(典型值 5.0)
- label_smoothing 默认值 0.05 -> 0.0
2026-06-11 15:32:43 +08:00
..
benchmark.py refactor: Transformer更名为AutoRegressiveLM并新增EmbeddingEncoder 2026-05-17 15:29:20 +08:00
evaluate_humaneval.py feat : 新增 HumanEval pass@k 代码生成评测 2026-06-03 10:52:32 +08:00
evaluate_mmlu.py fix : MMLU eval 使用 chat template 格式匹配 SFT 训练数据 2026-06-03 11:59:42 +08:00
generate.py docs: 修正文档中与源码不符的类名、方法签名和模块归属 2026-05-14 15:04:53 +08:00
perplexity.py fix : 修正类型标注与统一 CLI 参数命名 2026-05-27 20:49:44 +08:00
preprocess.py refactor : 清理工厂和配置系统中的死代码与冗余抽象 2026-06-07 11:39:50 +08:00
server.py fix : 修正类型标注与统一 CLI 参数命名 2026-05-27 20:49:44 +08:00
train.py feat : NEFTune 噪声注入 + label_smoothing 默认值修正 2026-06-11 15:32:43 +08:00