7 Commits

Include renames

Author	SHA1	Message	Date
ViperEkura	598e1ce4ae	refactor: 重构打包模块，新增 BFD/FFD/Greedy 三种 bin-packing 算法，默认 BFD ... - 将 pipeline/packing.py 拆分为 packing/ 子包 (base/stream/binpack) - 新增 BfdPacker(默认)/FfDPacker/GreedyPacker，移除 StreamingPacker - 超长序列直接截断至 pack_size - group_size 语义改为"每 N 个 chunk 合并为一块"，默认 1000 - 新增 AutoTokenizer.token_to_id()，修复 ChatML 中 hacky 的 nl_id 获取 - pad_value 默认改为 2(pad_token_id)，position_ids pad=0, loss_mask pad=False - 新增 position_ids 打包后归零一致性测试 - scripts/cache_h5.py 新增 --pack-algo 参数	2026-07-03 16:17:27 +08:00
ViperEkura	cb6bfcb976	refactor: 重构流水线架构，添加Pipeline抽象并拆分IOHandler	2026-04-23 19:45:57 +08:00
ViperEkura	a38334f4ce	refactor: 修改模型架构	2026-04-16 18:57:21 +08:00
ViperEkura	f44ad6912e	fix: 修复特殊token 问题	2026-04-02 16:16:02 +08:00
ViperEkura	35963bcb08	reafactor: 重构项目	2026-03-30 20:58:51 +08:00
ViperEkura	7baa3ea0c3	feat: 增加日志管理	2026-03-30 16:28:56 +08:00
ViperEkura	909f1b400c	refactor: 修改项目结构	2026-03-21 21:25:59 +08:00