ViperEkura 6edc31ce2e refactor(dataset): 更新数据集加载路径和处理代码

2025-07-15 14:06:18 +08:00

.gitignore

feat: 添加中文维基数据集处理脚本

2025-07-11 10:31:10 +08:00

chinese-c4.py

refactor(utils): 重构数据处理脚本

2025-07-15 13:10:38 +08:00

chinese-cosmopedia.py

refactor(dataset): 更新数据集加载路径和处理代码

2025-07-15 14:06:18 +08:00

english-fineweb.py

refactor(utils): 重构数据处理脚本

2025-07-15 13:10:38 +08:00

english-wiki.py

refactor(utils): 重构数据处理脚本

2025-07-15 13:10:38 +08:00

to_ids.py

refactor(to_ids): 注释掉中文维基百科数据集的处理

2025-07-15 07:01:26 +08:00

tokenizer.py

refactor(dataset): 重构数据处理脚本并支持自定义数据集

2025-07-15 12:18:58 +08:00

utils.py

refactor(dataset): 更新数据集加载路径和处理代码

2025-07-15 14:06:18 +08:00

S

Description

No description provided

254 KiB

Languages

Python 100%