- 2D 参数用 Newton-Schulz 正交化 + Nesterov 动量更新 - 1D 参数用 AdamW 更新 - 支持 lr/momentum/weight_decay/ns_steps 配置 |
||
|---|---|---|
| .. | ||
| __init__.py | ||
| metric_util.py | ||
| optim.py | ||
| schedule.py | ||
| strategy.py | ||
| train_callback.py | ||
| train_context.py | ||
| trainer.py | ||
- 2D 参数用 Newton-Schulz 正交化 + Nesterov 动量更新 - 1D 参数用 AdamW 更新 - 支持 lr/momentum/weight_decay/ns_steps 配置 |
||
|---|---|---|
| .. | ||
| __init__.py | ||
| metric_util.py | ||
| optim.py | ||
| schedule.py | ||
| strategy.py | ||
| train_callback.py | ||
| train_context.py | ||
| trainer.py | ||