ViperEkura 1ef14a997e fix(chinese-instruct): 修复 LaTex 公式在数据集中的显示问题

2025-07-21 11:36:50 +08:00

.gitignore

feat: 添加中文维基数据集处理脚本

2025-07-11 10:31:10 +08:00

belle_sft.py

feat(dataset): 更新数据集处理和保存逻辑

2025-07-20 11:21:18 +08:00

chinese-c4.py

refactor(utils): 将 pre_tarin_process 和 sft_process 函数合并为 process_dataset

2025-07-16 12:17:58 +08:00

chinese-cosmopedia.py

refactor(utils): 将 pre_tarin_process 和 sft_process 函数合并为 process_dataset

2025-07-16 12:17:58 +08:00

chinese-instruct.py

fix(chinese-instruct): 修复 LaTex 公式在数据集中的显示问题

2025-07-21 11:36:50 +08:00

english-fineweb.py

refactor(utils): 将 pre_tarin_process 和 sft_process 函数合并为 process_dataset

2025-07-16 12:17:58 +08:00

english-wiki.py

refactor(utils): 将 pre_tarin_process 和 sft_process 函数合并为 process_dataset

2025-07-16 12:17:58 +08:00

pre_train_file.py

refactor(dataset): 重构数据集处理流程并添加新功能

2025-07-16 09:56:31 +08:00

sft_file.py

feat(dataset): 更新数据集处理和保存逻辑

2025-07-20 11:21:18 +08:00

tokenizer.py

refactor(dataset): 重构数据处理脚本并支持自定义数据集

2025-07-15 12:18:58 +08:00

utils.py

chore: 添加 Chinese-Instruct 数据集处理脚本

2025-07-21 11:23:53 +08:00

S

Description

No description provided

254 KiB

Languages

Python 100%