ViperEkura/DataPipeline
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
47 Commits 1 Branch 0 Tags
c4ce882d56d71aa875bde00f4801bcdc79103111
T
Clone
Open with VS Code Open with VSCodium Open with Intellij IDEA
Download ZIP Download TAR.GZ Download BUNDLE
ViperEkura c4ce882d56 feat: 添加 Magpie-Pro-300K 数据集的 SFT 处理脚本
2025-08-01 17:28:23 +08:00
.gitignore
feat: 添加中文维基数据集处理脚本
2025-07-11 10:31:10 +08:00
chinese-c4.py
refactor(utils): 将 pre_tarin_process 和 sft_process 函数合并为 process_dataset
2025-07-16 12:17:58 +08:00
chinese-cosmopedia.py
refactor(utils): 将 pre_tarin_process 和 sft_process 函数合并为 process_dataset
2025-07-16 12:17:58 +08:00
dump_pt_file.py
refactor(dump_pt_file): 重构数据处理流程并优化代码结构
2025-07-21 20:27:07 +08:00
dump_sft_file.py
feat(dump_sft_file): 更新数据集处理逻辑
2025-08-01 16:59:47 +08:00
english-fineweb.py
refactor(utils): 将 pre_tarin_process 和 sft_process 函数合并为 process_dataset
2025-07-16 12:17:58 +08:00
english-wiki.py
refactor(utils): 将 pre_tarin_process 和 sft_process 函数合并为 process_dataset
2025-07-16 12:17:58 +08:00
README.md
docs: 添加 README 文件
2025-07-21 19:19:45 +08:00
sft_belle.py
feat(dump_sft_file): 更新数据集处理逻辑
2025-08-01 16:59:47 +08:00
sft_chinese_instruct.py
refactor(sft): 重构 SFT 数据处理脚本
2025-07-22 17:26:32 +08:00
sft_coder.py
refactor(sft): 重构 SFT 数据处理脚本
2025-07-22 17:26:32 +08:00
sft_magpie-pro-300k.py
feat: 添加 Magpie-Pro-300K 数据集的 SFT 处理脚本
2025-08-01 17:28:23 +08:00
tokenizer.py
refactor(dataset): 重构数据处理脚本并支持自定义数据集
2025-07-15 12:18:58 +08:00
utils.py
refactor(sft): 重构 SFT 数据处理脚本
2025-07-22 17:26:32 +08:00

README.md

KHAOSZ-dataset

用于训练的KHAOSZ数据集

Reference in New Issue View Git Blame Copy Permalink
S
Description
No description provided
Readme
254 KiB
Languages
Python 100%