AstrAI/astrai/model
ViperEkura 445378667f feat : NEFTune 噪声注入 + label_smoothing 默认值修正
- Embedding.forward 训练时注入 randn 噪声,缩放系数 neftune_noise_alpha / sqrt(seq_len)
- TrainConfig.neftune_alpha 通过 config 传递(默认 0=关闭)
- TrainContextBuilder 将 config.neftune_alpha 写入 embed_tokens
- --neftune_alpha CLI 参数(典型值 5.0)
- label_smoothing 默认值 0.05 -> 0.0
2026-06-11 15:32:43 +08:00
..
components feat : NEFTune 噪声注入 + label_smoothing 默认值修正 2026-06-11 15:32:43 +08:00
__init__.py feat: 新增LoRA微调模块 2026-05-25 20:15:31 +08:00
automodel.py refactor : 移除 -> None 返回值标注,拆分 FSDP 参数,新增 mmap 数据集存储 2026-05-28 13:57:06 +08:00
encoder.py fix : 修正类型标注与统一 CLI 参数命名 2026-05-27 20:49:44 +08:00
transformer.py fix : 使用 bool 注意力掩码并支持打包 SFT 文档边界阻断 2026-06-05 17:02:28 +08:00