ViperEkura 95a3568328 refactor(to_ids): 重构数据处理流程并支持自定义处理器

2025-07-14 22:13:36 +08:00

.gitignore

feat: 添加中文维基数据集处理脚本

2025-07-11 10:31:10 +08:00

chinese-c4.py

refactor(dataset): 重构数据集处理逻辑

2025-07-14 08:45:01 +08:00

chinese-wiki.py

refactor(utilsi): 优化项目结构

2025-07-14 14:41:42 +08:00

english-fineweb.py

refactor(dataset processing): 重构数据集处理流程并添加新功能

2025-07-14 10:57:23 +08:00

english-wiki.py

feat(chinese-wiki., english-wiki.): 添加 max_chunk_size 参数

2025-07-14 13:35:06 +08:00

to_ids.py

refactor(to_ids): 重构数据处理流程并支持自定义处理器

2025-07-14 22:13:36 +08:00

tokenizer.py

提交数据下载代码

2025-06-30 12:26:37 +08:00

utils.py

refactor(to_ids): 重构数据处理流程并支持自定义处理器

2025-07-14 22:13:36 +08:00

S

Description

No description provided

254 KiB

Languages

Python 100%