 ViperEkura
|
fcd2b66b5c
|
feat(utils): 添加 DPO 训练模式的处理器
|
2025-08-10 14:22:48 +08:00 |
|
|
ViperEkura
|
0bd877fcd3
|
chore: 更新项目结构
|
2025-08-10 14:18:16 +08:00 |
|
|
ViperEkura
|
6a259cab0d
|
refactor(supervised_finetuning): 移除 smoltalk-chinese 数据集处理脚本
|
2025-08-10 11:30:08 +08:00 |
|
|
ViperEkura
|
ce263985d9
|
refactor(utils): 重构数据处理流程并添加 DPO 数据缓存支持
|
2025-08-10 11:27:02 +08:00 |
|
|
ViperEkura
|
3966481bfe
|
docs: 更新 README 文件结构
|
2025-08-09 23:25:17 +08:00 |
|
|
ViperEkura
|
1d10971fb5
|
refactor(supervised_finetuning): 修改 smoltalk-chinese 数据集处理脚本
|
2025-08-09 23:09:34 +08:00 |
|
|
ViperEkura
|
008cfb62f0
|
feat(supervised_finetuning): 添加对话数据集处理脚本
|
2025-08-06 13:49:33 +08:00 |
|
|
ViperEkura
|
324fe089c8
|
refactor(tokenizer): 重构 BpeTokenizer 类并优化编码流程
|
2025-08-06 13:49:08 +08:00 |
|
|
ViperEkura
|
f7200ee4cf
|
feat(pre_train): 更新 Chinese Cosmopedia 数据集处理脚本
|
2025-08-06 09:58:15 +08:00 |
|
|
ViperEkura
|
d9ef711e28
|
refactor(pretrain): 更新预训练数据集输出目录名称
|
2025-08-04 15:18:46 +08:00 |
|
|
ViperEkura
|
241e24c400
|
refactor(pretrain): 更新预训练数据集输出目录名称
|
2025-08-02 17:29:21 +08:00 |
|
|
ViperEkura
|
931403a713
|
refactor(data_processing): 重构数据处理脚本并添加 fetch_folders 函数
|
2025-08-01 22:28:40 +08:00 |
|
|
ViperEkura
|
9c3ecc252c
|
refactor(utils): 重构数据处理逻辑
|
2025-08-01 21:52:00 +08:00 |
|
|
ViperEkura
|
5a1dc4ac38
|
docs(README): 更新项目文档
|
2025-08-01 21:04:29 +08:00 |
|
|
ViperEkura
|
092921f401
|
refactor(project): 将 utils 和 tokenizer 模块移至 modules 目录
|
2025-08-01 20:59:17 +08:00 |
|
|
ViperEkura
|
1322945b0a
|
refactor(run): 重构脚本执行方式并优化项目结构
|
2025-08-01 20:55:31 +08:00 |
|
|
ViperEkura
|
2d1c4e9d6c
|
feat(project_structure): 重构项目目录并添加运行脚本
|
2025-08-01 17:41:49 +08:00 |
|
|
ViperEkura
|
c4ce882d56
|
feat: 添加 Magpie-Pro-300K 数据集的 SFT 处理脚本
|
2025-08-01 17:28:23 +08:00 |
|
|
ViperEkura
|
8725a9ebd1
|
feat(dump_sft_file): 更新数据集处理逻辑
|
2025-08-01 16:59:47 +08:00 |
|
|
ViperEkura
|
835b12c36a
|
refactor(sft): 重构 SFT 数据处理脚本
|
2025-07-22 17:26:32 +08:00 |
|
|
ViperEkura
|
64222aeab1
|
refactor(dump_sft_file.py， utils.py): 优化内存占用
|
2025-07-22 13:30:53 +08:00 |
|
|
ViperEkura
|
5ea1c6355d
|
refactor(data): 重构数据处理流程以适应新需求
|
2025-07-22 10:03:06 +08:00 |
|
|
ViperEkura
|
b588c30f09
|
refactor(utils): 优化 process_dataset 函数
|
2025-07-21 22:18:22 +08:00 |
|
|
ViperEkura
|
9bdbfd0889
|
feat(chinese-instruct): 重新处理数据集并生成 SFT 训练文件
|
2025-07-21 21:09:27 +08:00 |
|
|
ViperEkura
|
7f45c701b4
|
refactor(dump_pt_file): 重构数据处理流程并优化代码结构
|
2025-07-21 20:27:07 +08:00 |
|
|
ViperEkura
|
f9ce67e03c
|
refactor: 重命名pretrain 和 sft 脚本
|
2025-07-21 19:58:15 +08:00 |
|
|
ViperEkura
|
c2821c150a
|
docs: 添加 README 文件
|
2025-07-21 19:19:45 +08:00 |
|
|
ViperEkura
|
70485d7c01
|
feat(utils): 添加序列打包功能并优化数据处理流程
|
2025-07-21 19:17:04 +08:00 |
|
|
ViperEkura
|
6d52bae1ca
|
feat(utils): 添加序列打包功能
|
2025-07-21 19:07:16 +08:00 |
|
|
ViperEkura
|
8b2b2e6871
|
refactor(utils): 重构 dump_pkl_files 函数
|
2025-07-21 18:15:02 +08:00 |
|
|
ViperEkura
|
b6c02c04b2
|
refactor(sft_file, utils): 重构数据处理流程并支持新数据集
|
2025-07-21 15:11:57 +08:00 |
|
|
ViperEkura
|
56b64ab8c3
|
fix(chinese-instruct.py): 修复输入为空时 build_prompt 报错问题
|
2025-07-21 13:09:54 +08:00 |
|
|
ViperEkura
|
1ef14a997e
|
fix(chinese-instruct): 修复 LaTex 公式在数据集中的显示问题
|
2025-07-21 11:36:50 +08:00 |
|
|
ViperEkura
|
127e7c8229
|
refactor(chinese-instruct): 修改 process_func 函数返回值格式
|
2025-07-21 11:27:36 +08:00 |
|
|
ViperEkura
|
1b49bfdea6
|
chore: 添加 Chinese-Instruct 数据集处理脚本
|
2025-07-21 11:23:53 +08:00 |
|
|
ViperEkura
|
fcb5c2bcc8
|
feat(dataset): 更新数据集处理和保存逻辑
|
2025-07-20 11:21:18 +08:00 |
|
|
ViperEkura
|
365086f102
|
feat(utils): 添加数据打包功能
|
2025-07-20 11:16:14 +08:00 |
|
|
ViperEkura
|
dbaecb46f6
|
refactor(belle_sft): 移除调试打印并优化数据处理
|
2025-07-20 10:21:29 +08:00 |
|
|
ViperEkura
|
6762842b0c
|
refactor(belle_sft): 重构处理数据集的逻辑
|
2025-07-20 09:59:40 +08:00 |
|
|
ViperEkura
|
faf9f81e7c
|
refactor(utils): 将 pre_tarin_process 和 sft_process 函数合并为 process_dataset
|
2025-07-16 12:17:58 +08:00 |
|
|
ViperEkura
|
f64a1a15ee
|
feat(utils): 新增 sft_process 函数
|
2025-07-16 11:35:08 +08:00 |
|
|
ViperEkura
|
b69ba2c5ff
|
refactor(dataset): 重构数据集处理流程并添加新功能
|
2025-07-16 09:56:31 +08:00 |
|
|
ViperEkura
|
6edc31ce2e
|
refactor(dataset): 更新数据集加载路径和处理代码
|
2025-07-15 14:06:18 +08:00 |
|
|
ViperEkura
|
e77fb56c45
|
refactor(utils): 重构数据处理脚本
|
2025-07-15 13:10:38 +08:00 |
|
|
ViperEkura
|
e6f5b26a75
|
refactor(chinese-cosmopedia): 更新数据集加载方式并调整相关参数
|
2025-07-15 12:54:31 +08:00 |
|
|
ViperEkura
|
bea4f83842
|
refactor(dataset): 重构数据处理脚本并支持自定义数据集
|
2025-07-15 12:18:58 +08:00 |
|
|
ViperEkura
|
1c7e49a631
|
refactor(to_ids): 注释掉中文维基百科数据集的处理
|
2025-07-15 07:01:26 +08:00 |
|
|
ViperEkura
|
95a3568328
|
refactor(to_ids): 重构数据处理流程并支持自定义处理器
|
2025-07-14 22:13:36 +08:00 |
|
|
ViperEkura
|
55e0e06dc6
|
refactor(utils): 重构 process_files 函数并添加新功能
|
2025-07-14 15:18:54 +08:00 |
|
|
ViperEkura
|
4cf9681ebb
|
fix(utils): 优化数据集处理中的分块逻辑
|
2025-07-14 14:52:07 +08:00 |
|