- 支持 Warmup-Stable-Decay 三段式调度 - stable 阶段保持最高 lr,decay 阶段 sqrt 衰减 - 适用于持续预训练、SFT、RLHF 场景 |
||
|---|---|---|
| .. | ||
| __init__.py | ||
| metric_util.py | ||
| optim.py | ||
| schedule.py | ||
| strategy.py | ||
| train_callback.py | ||
| train_context.py | ||
| trainer.py | ||
- 支持 Warmup-Stable-Decay 三段式调度 - stable 阶段保持最高 lr,decay 阶段 sqrt 衰减 - 适用于持续预训练、SFT、RLHF 场景 |
||
|---|---|---|
| .. | ||
| __init__.py | ||
| metric_util.py | ||
| optim.py | ||
| schedule.py | ||
| strategy.py | ||
| train_callback.py | ||
| train_context.py | ||
| trainer.py | ||