AstrAI/astrai/preprocessing
ViperEkura 985d940db6 feat : 数据流水拼接策略支持 position_ids 预计算
- OutputConfig.position_ids_mode 三种模式控制边界策略
- pipeline._flush() 按配置生成扁平 position_ids 数组
- SFTDataset 在 __getitem__ 中返回 position_ids
- SFTStrategy 将 position_ids 传入 model.forward()
2026-06-04 13:56:19 +08:00
..
__init__.py refactor : Pipeline 去除去重,ids 重命名为 sequence,泛型透传 2026-05-31 15:14:27 +08:00
builder.py feat : preprocessing 支持 DPO/GRPO 多输出格式 2026-06-03 10:32:10 +08:00
pipeline.py feat : 数据流水拼接策略支持 position_ids 预计算 2026-06-04 13:56:19 +08:00