ViperEkura 995a015c23 fix: cache_h5 移除重复 --batch-size 参数，默认输出格式改为 bin

2026-08-19 18:01:06 +08:00

..

chinese-cosmopedia.py

移除缓存脚本中的 data_files 和 max_chunks 限制参数

2026-07-26 10:57:30 +08:00

english-dolma.py

移除缓存脚本中的 data_files 和 max_chunks 限制参数

2026-07-26 10:57:30 +08:00

english-wiki.py

Add max_chunks=18 to dolma-30b export, remove max_chunks=5 from english-wiki, rename project to datapipline

2026-07-06 08:53:18 +08:00

ultra-fineweb-l3-en-qa-synthetic.py

feat: add Ultra-FineWeb-L3 QA Synthetic pre-train export scripts (en/zh)

2026-07-31 10:03:49 +08:00

ultra-fineweb-l3-qa-synthetic-sample-shards.py

fix: cache_h5 移除重复 --batch-size 参数，默认输出格式改为 bin

2026-08-19 18:01:06 +08:00

ultra-fineweb-l3-zh-qa-synthetic.py

feat: add Ultra-FineWeb-L3 QA Synthetic pre-train export scripts (en/zh)

2026-07-31 10:03:49 +08:00