- TrainConfig.gradient_checkpointing_modules 指定模块类型 - apply 递归遍历,兼容 DDP,不硬编码模型结构 - modules=None 时静默跳过,零开销 |
||
|---|---|---|
| .. | ||
| __init__.py | ||
| metric_util.py | ||
| optim.py | ||
| schedule.py | ||
| strategy.py | ||
| train_callback.py | ||
| train_context.py | ||
| trainer.py | ||
- TrainConfig.gradient_checkpointing_modules 指定模块类型 - apply 递归遍历,兼容 DDP,不硬编码模型结构 - modules=None 时静默跳过,零开销 |
||
|---|---|---|
| .. | ||
| __init__.py | ||
| metric_util.py | ||
| optim.py | ||
| schedule.py | ||
| strategy.py | ||
| train_callback.py | ||
| train_context.py | ||
| trainer.py | ||