AstrAI/astrai/trainer
ViperEkura a4e5a8c81c feat: 新增 WSD 学习率调度器
- 支持 Warmup-Stable-Decay 三段式调度
- stable 阶段保持最高 lr,decay 阶段 sqrt 衰减
- 适用于持续预训练、SFT、RLHF 场景
2026-06-18 15:55:15 +08:00
..
__init__.py feat: 新增 Muon 优化器 2026-05-17 16:44:03 +08:00
metric_util.py feat: 训练中新增验证循环 2026-05-17 16:12:42 +08:00
optim.py perf: Muon step 改用 torch._foreach_* 批处理并移除 NS 迭代的冗余 bf16 转换 2026-05-23 19:50:12 +08:00
schedule.py feat: 新增 WSD 学习率调度器 2026-06-18 15:55:15 +08:00
strategy.py fix : 修复策略相关文件的类型注解与抽象方法体 2026-06-14 16:20:10 +08:00
train_callback.py fix : 修复策略相关文件的类型注解与抽象方法体 2026-06-14 16:20:10 +08:00
train_context.py fix : 修复策略相关文件的类型注解与抽象方法体 2026-06-14 16:20:10 +08:00
trainer.py refactor : on_batch_begin 移入 accumulate 上下文 2026-06-06 01:19:21 +08:00