5 Commits

Include renames

Author	SHA1	Message	Date
ViperEkura	d67f686f10	merge remote main	2026-08-05 12:47:31 +08:00
ViperEkura	65dadac10f	feat: processors 支持批量 tokenize，优化性能并缓存 chat template	2026-08-05 12:21:25 +08:00
ViperEkura	33c8720d69	feat: 并行 batch tokenization + cache_jsonl 批处理支持 ... - pipeline/tokenize/tokenizer.py: encode() 全部走 encode_batch(支持单条/批量) - pipeline/processors/base.py: BaseProcessor 新增 process_batch() - pipeline/processors/pretrain.py: PreTrainProcessor 覆盖 process_batch() 批量编码 - pipeline/io/export.py: cache_jsonl 新增 batch_size 参数默认 1000, 批量处理 - scripts/cache_h5.py: 新增 --batch-size 参数, 默认 tokenizer 路径改为 ../AstrAI/params	2026-07-25 12:19:45 +08:00
ViperEkura	598e1ce4ae	refactor: 重构打包模块，新增 BFD/FFD/Greedy 三种 bin-packing 算法，默认 BFD ... - 将 pipeline/packing.py 拆分为 packing/ 子包 (base/stream/binpack) - 新增 BfdPacker(默认)/FfDPacker/GreedyPacker，移除 StreamingPacker - 超长序列直接截断至 pack_size - group_size 语义改为"每 N 个 chunk 合并为一块"，默认 1000 - 新增 AutoTokenizer.token_to_id()，修复 ChatML 中 hacky 的 nl_id 获取 - pad_value 默认改为 2(pad_token_id)，position_ids pad=0, loss_mask pad=False - 新增 position_ids 打包后归零一致性测试 - scripts/cache_h5.py 新增 --pack-algo 参数	2026-07-03 16:17:27 +08:00
ViperEkura	a38334f4ce	refactor: 修改模型架构	2026-04-16 18:57:21 +08:00