ViperEkura/DataPipeline
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
81 Commits 1 Branch 0 Tags
eb2c6d4ffb7b3e18bf3bcad7aca87a79fec9760a
Commit Graph
81 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
ViperEkura eb2c6d4ffb refactor: 更新 gitignore 2026-02-27 19:03:09 +08:00
ViperEkura faa391c115 fix: 修复文件缀问题 2026-02-27 19:02:12 +08:00
ViperEkura 5d32b01860 build: 增加build 设置 2026-02-27 17:38:57 +08:00
ViperEkura c32784bf9f reafactor: 使用h5 文件格式存储 2026-02-27 17:31:54 +08:00
ViperEkura 617ef7164d feat(tokenizer): 优化BPE分词器的预处理和训练配置 2025-12-21 21:50:53 +08:00
ViperEkura 397c8e5d0f fix(module): 修复一些错误 2025-10-30 15:17:06 +08:00
ViperEkura 1deb6d59a3 fix(tokenizer): 更新特殊token定义以支持新的对话格式 2025-10-25 16:50:41 +08:00
ViperEkura 491b39b23f fix(utils): 优化序列打包逻辑以提高效率和正确性 2025-10-07 12:11:40 +08:00
ViperEkura cd3a22c1ac feat(utils): 为缓存文件函数添加 packing 和 padding 参数支持 2025-10-02 22:01:00 +08:00
ViperEkura 2ccb26add4 feat(tokenizer): 调整 BPE 分词器的字母表限制并新增用户与系统标识符属性 2025-10-02 22:00:52 +08:00
ViperEkura 85bdd2bf4e refactor(.gitignore): 更新输出目录忽略规则 2025-09-29 16:59:29 +08:00
ViperEkura e844680025 fix(utils): 重命名变量并统一张量转换逻辑 2025-09-29 14:13:46 +08:00
ViperEkura c3ebc4f681 refactor(utils): 简化SFT处理器逻辑 2025-09-28 15:50:10 +08:00
ViperEkura 44be73d255 refactor(supervised_finetuning): 重构 Chinese Instruct 数据集处理逻辑 2025-09-12 13:46:04 +08:00
ViperEkura a976dc931b refactor(utils): 更新 comprehensive_normalization 函数 2025-08-25 19:36:59 +08:00
ViperEkura be79108f84 refactor(utils): 更新缓存文件键名 2025-08-11 13:49:58 +08:00
ViperEkura 96f3eb27fb refactor(reforce_learning): 修改 DPO 数据集处理输出目录 2025-08-11 11:35:56 +08:00
ViperEkura fcd2b66b5c feat(utils): 添加 DPO 训练模式的处理器 2025-08-10 14:22:48 +08:00
ViperEkura 0bd877fcd3 chore: 更新项目结构 2025-08-10 14:18:16 +08:00
ViperEkura 6a259cab0d refactor(supervised_finetuning): 移除 smoltalk-chinese 数据集处理脚本 2025-08-10 11:30:08 +08:00
ViperEkura ce263985d9 refactor(utils): 重构数据处理流程并添加 DPO 数据缓存支持 2025-08-10 11:27:02 +08:00
ViperEkura 3966481bfe docs: 更新 README 文件结构 2025-08-09 23:25:17 +08:00
ViperEkura 1d10971fb5 refactor(supervised_finetuning): 修改 smoltalk-chinese 数据集处理脚本 2025-08-09 23:09:34 +08:00
ViperEkura 008cfb62f0 feat(supervised_finetuning): 添加对话数据集处理脚本 2025-08-06 13:49:33 +08:00
ViperEkura 324fe089c8 refactor(tokenizer): 重构 BpeTokenizer 类并优化编码流程 2025-08-06 13:49:08 +08:00
ViperEkura f7200ee4cf feat(pre_train): 更新 Chinese Cosmopedia 数据集处理脚本 2025-08-06 09:58:15 +08:00
ViperEkura d9ef711e28 refactor(pretrain): 更新预训练数据集输出目录名称 2025-08-04 15:18:46 +08:00
ViperEkura 241e24c400 refactor(pretrain): 更新预训练数据集输出目录名称 2025-08-02 17:29:21 +08:00
ViperEkura 931403a713 refactor(data_processing): 重构数据处理脚本并添加 fetch_folders 函数 2025-08-01 22:28:40 +08:00
ViperEkura 9c3ecc252c refactor(utils): 重构数据处理逻辑 2025-08-01 21:52:00 +08:00
ViperEkura 5a1dc4ac38 docs(README): 更新项目文档 2025-08-01 21:04:29 +08:00
ViperEkura 092921f401 refactor(project): 将 utils 和 tokenizer 模块移至 modules 目录 2025-08-01 20:59:17 +08:00
ViperEkura 1322945b0a refactor(run): 重构脚本执行方式并优化项目结构 2025-08-01 20:55:31 +08:00
ViperEkura 2d1c4e9d6c feat(project_structure): 重构项目目录并添加运行脚本 2025-08-01 17:41:49 +08:00
ViperEkura c4ce882d56 feat: 添加 Magpie-Pro-300K 数据集的 SFT 处理脚本 2025-08-01 17:28:23 +08:00
ViperEkura 8725a9ebd1 feat(dump_sft_file): 更新数据集处理逻辑 2025-08-01 16:59:47 +08:00
ViperEkura 835b12c36a refactor(sft): 重构 SFT 数据处理脚本 2025-07-22 17:26:32 +08:00
ViperEkura 64222aeab1 refactor(dump_sft_file.py， utils.py): 优化内存占用 2025-07-22 13:30:53 +08:00
ViperEkura 5ea1c6355d refactor(data): 重构数据处理流程以适应新需求 2025-07-22 10:03:06 +08:00
ViperEkura b588c30f09 refactor(utils): 优化 process_dataset 函数 2025-07-21 22:18:22 +08:00
ViperEkura 9bdbfd0889 feat(chinese-instruct): 重新处理数据集并生成 SFT 训练文件 2025-07-21 21:09:27 +08:00
ViperEkura 7f45c701b4 refactor(dump_pt_file): 重构数据处理流程并优化代码结构 2025-07-21 20:27:07 +08:00
ViperEkura f9ce67e03c refactor: 重命名pretrain 和 sft 脚本 2025-07-21 19:58:15 +08:00
ViperEkura c2821c150a docs: 添加 README 文件 2025-07-21 19:19:45 +08:00
ViperEkura 70485d7c01 feat(utils): 添加序列打包功能并优化数据处理流程 2025-07-21 19:17:04 +08:00
ViperEkura 6d52bae1ca feat(utils): 添加序列打包功能 2025-07-21 19:07:16 +08:00
ViperEkura 8b2b2e6871 refactor(utils): 重构 dump_pkl_files 函数 2025-07-21 18:15:02 +08:00
ViperEkura b6c02c04b2 refactor(sft_file, utils): 重构数据处理流程并支持新数据集 2025-07-21 15:11:57 +08:00
ViperEkura 56b64ab8c3 fix(chinese-instruct.py): 修复输入为空时 build_prompt 报错问题 2025-07-21 13:09:54 +08:00
ViperEkura 1ef14a997e fix(chinese-instruct): 修复 LaTex 公式在数据集中的显示问题 2025-07-21 11:36:50 +08:00