AstrAI/astrai/trainer
ViperEkura 39985840c7 refactor : neftune_alpha 在 Embedding 构造时传入,由模型配置链路负责
- BaseModelConfig 添加 neftune_alpha 字段 (默认 0.0)
- Embedding.__init__ 接受 neftune_alpha 参数,不再外部 set
- AutoRegressiveLM / EmbeddingEncoder 从 config 传入 neftune_alpha
- train.py 将 CLI 参数注入 config 后再创建模型
- TrainContextBuilder 移除 neftune 设置(不再是其职责)
2026-06-19 14:23:27 +08:00
..
__init__.py feat: 新增 Muon 优化器 2026-05-17 16:44:03 +08:00
metric_util.py feat: 训练中新增验证循环 2026-05-17 16:12:42 +08:00
optim.py perf: Muon step 改用 torch._foreach_* 批处理并移除 NS 迭代的冗余 bf16 转换 2026-05-23 19:50:12 +08:00
schedule.py feat: 新增 WSD 学习率调度器 2026-06-18 15:55:15 +08:00
strategy.py fix : 修复策略相关文件的类型注解与抽象方法体 2026-06-14 16:20:10 +08:00
train_callback.py fix : 修复策略相关文件的类型注解与抽象方法体 2026-06-14 16:20:10 +08:00
train_context.py refactor : neftune_alpha 在 Embedding 构造时传入,由模型配置链路负责 2026-06-19 14:23:27 +08:00
trainer.py refactor : on_batch_begin 移入 accumulate 上下文 2026-06-06 01:19:21 +08:00