AstrAI/astrai
ViperEkura 9e31d4ef2b feat : BaseToolParser.feed 增加可选 token_ids 参数
- format_chunk ABC 改为 (token, **kwargs),body/token_ids 通过 kw 传入
- ProtocolHandler._handle_stream 逐 token encode 并透传
- Anthropic builder 用 **kwargs 吸收不使用的参数,零变更
- 新增 3 个 token_ids 参数测试
2026-06-06 11:19:30 +08:00
..
config refactor : pipeline 策略化拆分,消除 _flush if/else 2026-06-06 00:45:33 +08:00
dataset feat : 数据流水拼接策略支持 position_ids 预计算 2026-06-04 13:56:19 +08:00
inference feat : BaseToolParser.feed 增加可选 token_ids 参数 2026-06-06 11:19:30 +08:00
model fix : 使用 bool 注意力掩码并支持打包 SFT 文档边界阻断 2026-06-05 17:02:28 +08:00
parallel refactor : 移除 LocalStrategy._clear_env 冗余清理 2026-06-02 11:40:45 +08:00
preprocessing refactor : pipeline 策略化拆分,消除 _flush if/else 2026-06-06 00:45:33 +08:00
tokenize refactor : Pipeline 去除去重,ids 重命名为 sequence,泛型透传 2026-05-31 15:14:27 +08:00
trainer refactor : on_batch_begin 移入 accumulate 上下文 2026-06-06 01:19:21 +08:00
__init__.py release : v1.3.7 2026-05-29 17:46:03 +08:00
factory.py refactor : 移除 -> None 返回值标注,拆分 FSDP 参数,新增 mmap 数据集存储 2026-05-28 13:57:06 +08:00
protocols.py refactor: 重构训练后端为 Executor 模式 2026-05-24 20:35:44 +08:00
serialization.py feat : load_json/load_safetensors 支持 broadcast,跨节点分布式加载 2026-05-28 20:44:58 +08:00