ViperEkura 06735b9cb3 fix: 修复 nl_id + BFD 按 group_size 分批打包（存盘不拆分文件）

2026-07-03 17:07:26 +08:00

..

io

fix: 修复 nl_id + BFD 按 group_size 分批打包（存盘不拆分文件）

2026-07-03 17:07:26 +08:00

packing

refactor: 重构打包模块，新增 BFD/FFD/Greedy 三种 bin-packing 算法，默认 BFD

2026-07-03 16:17:27 +08:00

processors

feat: SFT 增加 position_ids 边界处理

2026-06-04 14:19:32 +08:00

strategies

fix: 修复 nl_id + BFD 按 group_size 分批打包（存盘不拆分文件）

2026-07-03 17:07:26 +08:00

tokenize

refactor: 重构打包模块，新增 BFD/FFD/Greedy 三种 bin-packing 算法，默认 BFD

2026-07-03 16:17:27 +08:00

__init__.py

refactor: 重构打包模块，新增 BFD/FFD/Greedy 三种 bin-packing 算法，默认 BFD

2026-07-03 16:17:27 +08:00

pipeline.py

refactor: 重构流水线架构，添加Pipeline抽象并拆分IOHandler

2026-04-23 19:45:57 +08:00

text.py

fix: 修复特殊token 问题

2026-04-02 16:16:02 +08:00

utils.py

fix: 修复特殊token 问题

2026-04-02 16:16:02 +08:00