DataPipeline

Files

T

ViperEkura 33c8720d69 feat: 并行 batch tokenization + cache_jsonl 批处理支持

- pipeline/tokenize/tokenizer.py: encode() 全部走 encode_batch(支持单条/批量)
- pipeline/processors/base.py: BaseProcessor 新增 process_batch()
- pipeline/processors/pretrain.py: PreTrainProcessor 覆盖 process_batch() 批量编码
- pipeline/io/export.py: cache_jsonl 新增 batch_size 参数默认 1000, 批量处理
- scripts/cache_h5.py: 新增 --batch-size 参数, 默认 tokenizer 路径改为 ../AstrAI/params

2026-07-25 12:19:45 +08:00

feat: 并行 batch tokenization + cache_jsonl 批处理支持

2026-07-25 12:19:45 +08:00

packing

refactor: 重构打包模块，新增 BFD/FFD/Greedy 三种 bin-packing 算法，默认 BFD

2026-07-03 16:17:27 +08:00

processors

feat: 并行 batch tokenization + cache_jsonl 批处理支持

2026-07-25 12:19:45 +08:00

strategies

refactor: SFT 统一 messages 格式 + ChatML 纯 jinja 渲染

2026-07-04 14:32:35 +08:00