ViperEkura a4e5a8c81c feat: 新增 WSD 学习率调度器 ...

- 支持 Warmup-Stable-Decay 三段式调度
- stable 阶段保持最高 lr，decay 阶段 sqrt 衰减
- 适用于持续预训练、SFT、RLHF 场景

2026-06-18 15:55:15 +08:00

..

__init__.py

feat: 新增 Muon 优化器

2026-05-17 16:44:03 +08:00

metric_util.py

feat: 训练中新增验证循环

2026-05-17 16:12:42 +08:00

optim.py

perf: Muon step 改用 torch._foreach_* 批处理并移除 NS 迭代的冗余 bf16 转换

2026-05-23 19:50:12 +08:00

schedule.py

feat: 新增 WSD 学习率调度器

2026-06-18 15:55:15 +08:00

strategy.py

fix : 修复策略相关文件的类型注解与抽象方法体

2026-06-14 16:20:10 +08:00

train_callback.py

fix : 修复策略相关文件的类型注解与抽象方法体

2026-06-14 16:20:10 +08:00

train_context.py

fix : 修复策略相关文件的类型注解与抽象方法体

2026-06-14 16:20:10 +08:00

trainer.py

refactor : on_batch_begin 移入 accumulate 上下文

2026-06-06 01:19:21 +08:00