ViperEkura/DataPipeline
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
101 Commits 1 Branch 0 Tags
aa2ea4f3a6ff7537d67bb59048ca89683344804c
Commit Graph
101 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
ViperEkura 5a1dc4ac38 docs(README): 更新项目文档 2025-08-01 21:04:29 +08:00
ViperEkura 092921f401 refactor(project): 将 utils 和 tokenizer 模块移至 modules 目录 2025-08-01 20:59:17 +08:00
ViperEkura 1322945b0a refactor(run): 重构脚本执行方式并优化项目结构 2025-08-01 20:55:31 +08:00
ViperEkura 2d1c4e9d6c feat(project_structure): 重构项目目录并添加运行脚本 2025-08-01 17:41:49 +08:00
ViperEkura c4ce882d56 feat: 添加 Magpie-Pro-300K 数据集的 SFT 处理脚本 2025-08-01 17:28:23 +08:00
ViperEkura 8725a9ebd1 feat(dump_sft_file): 更新数据集处理逻辑 2025-08-01 16:59:47 +08:00
ViperEkura 835b12c36a refactor(sft): 重构 SFT 数据处理脚本 2025-07-22 17:26:32 +08:00
ViperEkura 64222aeab1 refactor(dump_sft_file.py， utils.py): 优化内存占用 2025-07-22 13:30:53 +08:00
ViperEkura 5ea1c6355d refactor(data): 重构数据处理流程以适应新需求 2025-07-22 10:03:06 +08:00
ViperEkura b588c30f09 refactor(utils): 优化 process_dataset 函数 2025-07-21 22:18:22 +08:00
ViperEkura 9bdbfd0889 feat(chinese-instruct): 重新处理数据集并生成 SFT 训练文件 2025-07-21 21:09:27 +08:00
ViperEkura 7f45c701b4 refactor(dump_pt_file): 重构数据处理流程并优化代码结构 2025-07-21 20:27:07 +08:00
ViperEkura f9ce67e03c refactor: 重命名pretrain 和 sft 脚本 2025-07-21 19:58:15 +08:00
ViperEkura c2821c150a docs: 添加 README 文件 2025-07-21 19:19:45 +08:00
ViperEkura 70485d7c01 feat(utils): 添加序列打包功能并优化数据处理流程 2025-07-21 19:17:04 +08:00
ViperEkura 6d52bae1ca feat(utils): 添加序列打包功能 2025-07-21 19:07:16 +08:00
ViperEkura 8b2b2e6871 refactor(utils): 重构 dump_pkl_files 函数 2025-07-21 18:15:02 +08:00
ViperEkura b6c02c04b2 refactor(sft_file, utils): 重构数据处理流程并支持新数据集 2025-07-21 15:11:57 +08:00
ViperEkura 56b64ab8c3 fix(chinese-instruct.py): 修复输入为空时 build_prompt 报错问题 2025-07-21 13:09:54 +08:00
ViperEkura 1ef14a997e fix(chinese-instruct): 修复 LaTex 公式在数据集中的显示问题 2025-07-21 11:36:50 +08:00
ViperEkura 127e7c8229 refactor(chinese-instruct): 修改 process_func 函数返回值格式 2025-07-21 11:27:36 +08:00
ViperEkura 1b49bfdea6 chore: 添加 Chinese-Instruct 数据集处理脚本 2025-07-21 11:23:53 +08:00
ViperEkura fcb5c2bcc8 feat(dataset): 更新数据集处理和保存逻辑 2025-07-20 11:21:18 +08:00
ViperEkura 365086f102 feat(utils): 添加数据打包功能 2025-07-20 11:16:14 +08:00
ViperEkura dbaecb46f6 refactor(belle_sft): 移除调试打印并优化数据处理 2025-07-20 10:21:29 +08:00
ViperEkura 6762842b0c refactor(belle_sft): 重构处理数据集的逻辑 2025-07-20 09:59:40 +08:00
ViperEkura faf9f81e7c refactor(utils): 将 pre_tarin_process 和 sft_process 函数合并为 process_dataset 2025-07-16 12:17:58 +08:00
ViperEkura f64a1a15ee feat(utils): 新增 sft_process 函数 2025-07-16 11:35:08 +08:00
ViperEkura b69ba2c5ff refactor(dataset): 重构数据集处理流程并添加新功能 2025-07-16 09:56:31 +08:00
ViperEkura 6edc31ce2e refactor(dataset): 更新数据集加载路径和处理代码 2025-07-15 14:06:18 +08:00
ViperEkura e77fb56c45 refactor(utils): 重构数据处理脚本 2025-07-15 13:10:38 +08:00
ViperEkura e6f5b26a75 refactor(chinese-cosmopedia): 更新数据集加载方式并调整相关参数 2025-07-15 12:54:31 +08:00
ViperEkura bea4f83842 refactor(dataset): 重构数据处理脚本并支持自定义数据集 2025-07-15 12:18:58 +08:00
ViperEkura 1c7e49a631 refactor(to_ids): 注释掉中文维基百科数据集的处理 2025-07-15 07:01:26 +08:00
ViperEkura 95a3568328 refactor(to_ids): 重构数据处理流程并支持自定义处理器 2025-07-14 22:13:36 +08:00
ViperEkura 55e0e06dc6 refactor(utils): 重构 process_files 函数并添加新功能 2025-07-14 15:18:54 +08:00
ViperEkura 4cf9681ebb fix(utils): 优化数据集处理中的分块逻辑 2025-07-14 14:52:07 +08:00
ViperEkura 7e53d35099 refactor(utilsi): 优化项目结构 2025-07-14 14:41:42 +08:00
ViperEkura 1c132826c0 feat(chinese-wiki., english-wiki.): 添加 max_chunk_size 参数 2025-07-14 13:35:06 +08:00
ViperEkura 820ddf3fc8 feat(utils): 增加数据集处理的灵活性和可配置性 2025-07-14 13:34:03 +08:00
ViperEkura 2b0f805ff3 refactor(chinese-wiki): 更新数据集处理脚本 2025-07-14 13:28:17 +08:00
ViperEkura d8643d11dd refactor(dataset processing): 重构数据集处理流程并添加新功能 2025-07-14 10:57:23 +08:00
ViperEkura 7591a231df refactor(dataset): 重构数据集处理逻辑 2025-07-14 08:45:01 +08:00
ViperEkura d4df706bc5 fix(dataset): 修正数据集输出路径和名称 2025-07-11 10:55:28 +08:00
ViperEkura 9a417ab6a5 feat: 添加中文维基数据集处理脚本 2025-07-11 10:31:10 +08:00
ViperEkura a8f05cccd6 修复输出文件的bug 2025-06-30 22:37:49 +08:00
ViperEkura b508402724 优化处理形式 2025-06-30 22:00:15 +08:00
ViperEkura 6238764047 修复未创建文件夹的bug 2025-06-30 21:45:51 +08:00
ViperEkura 0690f66bed 修复对jsonl 文件的处理bug 2025-06-30 21:44:04 +08:00
ViperEkura 34dc9632d8 增加文件序列化代码 2025-06-30 21:42:25 +08:00