AstrAI/astrai
ViperEkura acd1103bd0 fix : 使用 bool 注意力掩码并支持打包 SFT 文档边界阻断
- 简化 process_attention_mask,通过广播返回 bool 掩码
- 新增 make_doc_boundary_mask 生成块对角因果掩码
- SFT strategy 传入文档边界掩码
2026-06-05 17:02:28 +08:00
..
config feat : 数据流水拼接策略支持 position_ids 预计算 2026-06-04 13:56:19 +08:00
dataset feat : 数据流水拼接策略支持 position_ids 预计算 2026-06-04 13:56:19 +08:00
inference refactor : FastAPI 懒加载单例,消除模块级副作用 2026-06-04 15:52:27 +08:00
model fix : 使用 bool 注意力掩码并支持打包 SFT 文档边界阻断 2026-06-05 17:02:28 +08:00
parallel refactor : 移除 LocalStrategy._clear_env 冗余清理 2026-06-02 11:40:45 +08:00
preprocessing feat : 数据流水拼接策略支持 position_ids 预计算 2026-06-04 13:56:19 +08:00
tokenize refactor : Pipeline 去除去重,ids 重命名为 sequence,泛型透传 2026-05-31 15:14:27 +08:00
trainer fix : 使用 bool 注意力掩码并支持打包 SFT 文档边界阻断 2026-06-05 17:02:28 +08:00
__init__.py release : v1.3.7 2026-05-29 17:46:03 +08:00
factory.py refactor : 移除 -> None 返回值标注,拆分 FSDP 参数,新增 mmap 数据集存储 2026-05-28 13:57:06 +08:00
protocols.py refactor: 重构训练后端为 Executor 模式 2026-05-24 20:35:44 +08:00
serialization.py feat : load_json/load_safetensors 支持 broadcast,跨节点分布式加载 2026-05-28 20:44:58 +08:00