AstrAI/astrai/trainer
ViperEkura acd1103bd0 fix : 使用 bool 注意力掩码并支持打包 SFT 文档边界阻断
- 简化 process_attention_mask,通过广播返回 bool 掩码
- 新增 make_doc_boundary_mask 生成块对角因果掩码
- SFT strategy 传入文档边界掩码
2026-06-05 17:02:28 +08:00
..
__init__.py feat: 新增 Muon 优化器 2026-05-17 16:44:03 +08:00
metric_util.py feat: 训练中新增验证循环 2026-05-17 16:12:42 +08:00
optim.py perf: Muon step 改用 torch._foreach_* 批处理并移除 NS 迭代的冗余 bf16 转换 2026-05-23 19:50:12 +08:00
schedule.py refactor : 移除 -> None 返回值标注,拆分 FSDP 参数,新增 mmap 数据集存储 2026-05-28 13:57:06 +08:00
strategy.py fix : 使用 bool 注意力掩码并支持打包 SFT 文档边界阻断 2026-06-05 17:02:28 +08:00
train_callback.py fix : 并行训练 state_dict 收集与训练/推理并发缺陷 2026-05-29 21:12:52 +08:00
train_context.py feat : TrainConfig 支持 val_split 从训练集自动切分验证集 2026-06-02 20:33:40 +08:00
trainer.py refactor: 检查点加载重构,路径替代对象传递 2026-05-27 20:15:29 +08:00