AstrAI/astrai
ViperEkura 3057741de9 refactor : 合并 data config docstring 并实现 BFD 打包策略
- 将 ProcessingConfig/OutputConfig 参数描述合并到类级 docstring

- Pipeline 支持 packing_strategy/truncation_mode,新增 bfd 打包
2026-06-05 17:41:51 +08:00
..
config refactor : 合并 data config docstring 并实现 BFD 打包策略 2026-06-05 17:41:51 +08:00
dataset feat : 数据流水拼接策略支持 position_ids 预计算 2026-06-04 13:56:19 +08:00
inference refactor : FastAPI 懒加载单例,消除模块级副作用 2026-06-04 15:52:27 +08:00
model fix : 使用 bool 注意力掩码并支持打包 SFT 文档边界阻断 2026-06-05 17:02:28 +08:00
parallel refactor : 移除 LocalStrategy._clear_env 冗余清理 2026-06-02 11:40:45 +08:00
preprocessing refactor : 合并 data config docstring 并实现 BFD 打包策略 2026-06-05 17:41:51 +08:00
tokenize refactor : Pipeline 去除去重,ids 重命名为 sequence,泛型透传 2026-05-31 15:14:27 +08:00
trainer fix : 使用 bool 注意力掩码并支持打包 SFT 文档边界阻断 2026-06-05 17:02:28 +08:00
__init__.py release : v1.3.7 2026-05-29 17:46:03 +08:00
factory.py refactor : 移除 -> None 返回值标注,拆分 FSDP 参数,新增 mmap 数据集存储 2026-05-28 13:57:06 +08:00
protocols.py refactor: 重构训练后端为 Executor 模式 2026-05-24 20:35:44 +08:00
serialization.py feat : load_json/load_safetensors 支持 broadcast,跨节点分布式加载 2026-05-28 20:44:58 +08:00