ViperEkura e999629098 移除缓存脚本中的 data_files 和 max_chunks 限制参数

2026-07-26 10:57:30 +08:00

..

pre_train

移除缓存脚本中的 data_files 和 max_chunks 限制参数

2026-07-26 10:57:30 +08:00

reforce_learning

reafactor: 重构项目

2026-03-30 20:58:51 +08:00

supervised_finetuning

feat: add BELLE SFT export script, remove Firefly-1.1M-Rephrased

2026-07-17 23:15:18 +08:00

cache_h5.py

feat: 并行 batch tokenization + cache_jsonl 批处理支持

2026-07-25 12:19:45 +08:00

dedup_pretrain.py

feat: MinHash+LSH 去重 + Strategy/Factory 存储后端

2026-07-04 14:47:38 +08:00