AstrAI/astrai/dataset
ViperEkura 985d940db6 feat : 数据流水拼接策略支持 position_ids 预计算
- OutputConfig.position_ids_mode 三种模式控制边界策略
- pipeline._flush() 按配置生成扁平 position_ids 数组
- SFTDataset 在 __getitem__ 中返回 position_ids
- SFTStrategy 将 position_ids 传入 model.forward()
2026-06-04 13:56:19 +08:00
..
__init__.py refactor: 删除数据流中的 JSONStore 2026-05-28 15:54:26 +08:00
dataset.py feat : 数据流水拼接策略支持 position_ids 预计算 2026-06-04 13:56:19 +08:00
sampler.py fix: 断点续训恢复优化器/调度器状态及采样器剩余长度 2026-05-26 13:50:25 +08:00
storage.py fix : 修复存储层 rglob 死锁、DDP LOCAL_RANK 绑定 2026-06-02 01:01:00 +08:00