AstrAI/astrai/config
ViperEkura 445378667f feat : NEFTune 噪声注入 + label_smoothing 默认值修正
- Embedding.forward 训练时注入 randn 噪声,缩放系数 neftune_noise_alpha / sqrt(seq_len)
- TrainConfig.neftune_alpha 通过 config 传递(默认 0=关闭)
- TrainContextBuilder 将 config.neftune_alpha 写入 embed_tokens
- --neftune_alpha CLI 参数(典型值 5.0)
- label_smoothing 默认值 0.05 -> 0.0
2026-06-11 15:32:43 +08:00
..
__init__.py refactor : 基于声明式 JSON 配置的预处理管线重构 2026-05-30 20:45:09 +08:00
base.py refactor : 清理工厂和配置系统中的死代码与冗余抽象 2026-06-07 11:39:50 +08:00
model_config.py refactor : 清理工厂和配置系统中的死代码与冗余抽象 2026-06-07 11:39:50 +08:00
preprocess_config.py refactor : pipeline 策略化拆分,消除 _flush if/else 2026-06-06 00:45:33 +08:00
train_config.py feat : NEFTune 噪声注入 + label_smoothing 默认值修正 2026-06-11 15:32:43 +08:00