ViperEkura 985d940db6 feat : 数据流水拼接策略支持 position_ids 预计算 ...

- OutputConfig.position_ids_mode 三种模式控制边界策略
- pipeline._flush() 按配置生成扁平 position_ids 数组
- SFTDataset 在 __getitem__ 中返回 position_ids
- SFTStrategy 将 position_ids 传入 model.forward()

2026-06-04 13:56:19 +08:00

..

config

feat : 数据流水拼接策略支持 position_ids 预计算

2026-06-04 13:56:19 +08:00

dataset

feat : 数据流水拼接策略支持 position_ids 预计算

2026-06-04 13:56:19 +08:00

inference

fix : 修复 created 时间戳、bin 多 shard 覆盖与文档遗漏

2026-05-30 23:03:42 +08:00

model

refactor : 移除 -> None 返回值标注，拆分 FSDP 参数，新增 mmap 数据集存储

2026-05-28 13:57:06 +08:00

parallel

refactor : 移除 LocalStrategy._clear_env 冗余清理

2026-06-02 11:40:45 +08:00

preprocessing

feat : 数据流水拼接策略支持 position_ids 预计算

2026-06-04 13:56:19 +08:00

tokenize

refactor : Pipeline 去除去重，ids 重命名为 sequence，泛型透传

2026-05-31 15:14:27 +08:00

trainer

feat : 数据流水拼接策略支持 position_ids 预计算

2026-06-04 13:56:19 +08:00

__init__.py

release : v1.3.7

2026-05-29 17:46:03 +08:00

factory.py

refactor : 移除 -> None 返回值标注，拆分 FSDP 参数，新增 mmap 数据集存储

2026-05-28 13:57:06 +08:00

protocols.py

refactor: 重构训练后端为 Executor 模式

2026-05-24 20:35:44 +08:00

serialization.py

feat : load_json/load_safetensors 支持 broadcast，跨节点分布式加载

2026-05-28 20:44:58 +08:00