Commit Graph
4 Commits
Author SHA1 Message Date
ViperEkura aa2ea4f3a6 feat: SFT 增加 position_ids 边界处理
- SFTProcessor 输出 per-sample position_ids(torch.arange),每个样本从 0 开始
- position_ids 与 sequence/loss_mask 一同打包,边界处自然重置
- PT 路径不生成 position_ids
- 新增 TestPositionIds 测试及 SFTProcessor 相关测试
2026-06-04 14:19:32 +08:00
ViperEkura e1125be3a7 fix: mask 全链路保持 bool dtype(创建→打包→HDF5落盘/读盘) 2026-05-15 17:23:51 +08:00
ViperEkura 625695fd71 fix: padding 默认值改为 0,避免 loss_mask 误计 padding 位置 2026-05-15 16:59:42 +08:00
ViperEkura cb6bfcb976 refactor: 重构流水线架构,添加Pipeline抽象并拆分IOHandler 2026-04-23 19:45:57 +08:00