ViperEkura/DataPipeline
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Commit Graph

  • 995a015c23 fix: cache_h5 移除重复 --batch-size 参数，默认输出格式改为 bin main ViperEkura 2026-08-19 18:01:06 +08:00
  • d67f686f10 merge remote main ViperEkura 2026-08-05 12:27:00 +08:00
  • 65dadac10f feat: processors 支持批量 tokenize，优化性能并缓存 chat template ViperEkura 2026-08-05 12:21:25 +08:00
  • cc451e5492 feat: add Ultra-FineWeb-L3 QA Synthetic pre-train export scripts (en/zh) ViperEkura 2026-07-31 10:03:49 +08:00
  • 2b3bf442e9 feat: add SFT process_batch for parallel tokenization + short QA filter script ViperEkura 2026-07-29 22:01:09 +08:00
  • 545104ba70 feat: add Alpaca-GPT4-ZH SFT export script ViperEkura 2026-07-29 21:23:20 +08:00
  • e999629098 移除缓存脚本中的 data_files 和 max_chunks 限制参数 ViperEkura 2026-07-26 10:57:30 +08:00
  • 33c8720d69 feat: 并行 batch tokenization + cache_jsonl 批处理支持 ViperEkura 2026-07-25 12:19:45 +08:00
  • e6787a2036 feat: add BELLE SFT export script, remove Firefly-1.1M-Rephrased ViperEkura 2026-07-17 23:15:18 +08:00
  • fec37545e2 Add max_chunks=18 to dolma-30b export, remove max_chunks=5 from english-wiki, rename project to datapipline ViperEkura 2026-07-06 08:53:18 +08:00
  • 900cd91798 feat: MinHash+LSH 去重 + Strategy/Factory 存储后端 ViperEkura 2026-07-04 14:47:38 +08:00
  • 816c02dab0 refactor: SFT 统一 messages 格式 + ChatML 纯 jinja 渲染 ViperEkura 2026-07-04 14:32:35 +08:00
  • 06735b9cb3 fix: 修复 nl_id + BFD 按 group_size 分批打包（存盘不拆分文件） ViperEkura 2026-07-03 17:07:26 +08:00
  • 598e1ce4ae refactor: 重构打包模块，新增 BFD/FFD/Greedy 三种 bin-packing 算法，默认 BFD ViperEkura 2026-07-03 16:17:27 +08:00
  • 2f919e9243 feat: add MetaMathQA SFT export script and fix ChatML newline encoding ViperEkura 2026-07-02 17:40:03 +08:00
  • fd99b9d852 feat: add OpenHermes-2.5 SFT export script ViperEkura 2026-06-04 14:27:04 +08:00
  • aa2ea4f3a6 feat: SFT 增加 position_ids 边界处理 ViperEkura 2026-06-04 14:01:05 +08:00
  • efba7a009f feat: add sft scripts for Magicoder-Evol-Instruct-110K and alpaca-gpt4-data jiachun 2026-06-01 15:50:13 +08:00
  • e1125be3a7 fix: mask 全链路保持 bool dtype（创建→打包→HDF5落盘/读盘） ViperEkura 2026-05-15 17:22:48 +08:00
  • 625695fd71 fix: padding 默认值改为 0，避免 loss_mask 误计 padding 位置 ViperEkura 2026-05-15 16:59:42 +08:00
  • cb6bfcb976 refactor: 重构流水线架构，添加Pipeline抽象并拆分IOHandler ViperEkura 2026-04-23 19:45:57 +08:00
  • a38334f4ce refactor: 修改模型架构 ViperEkura 2026-04-16 18:57:21 +08:00
  • cb93f8219e chore: 更新.gitigore ViperEkura 2026-04-02 18:48:54 +08:00
  • f44ad6912e fix: 修复特殊token 问题 ViperEkura 2026-04-02 16:16:02 +08:00
  • e01ec081b3 fix: 修复打包策略问题 ViperEkura 2026-03-30 21:08:22 +08:00
  • 35963bcb08 reafactor: 重构项目 ViperEkura 2026-03-30 20:58:51 +08:00
  • f67bad0d8b perf: 优化 processors、cache、packing 模块性能并简化 README ViperEkura 2026-03-30 17:49:50 +08:00
  • 7baa3ea0c3 feat: 增加日志管理 ViperEkura 2026-03-30 16:28:56 +08:00
  • 71887bb4bb fix: 修复 pipeline 模块中的打包逻辑缺陷并完善测试覆盖 ViperEkura 2026-03-30 12:22:37 +08:00
  • 07ef471aa6 chore: 增加 h5_cache 脚本 ViperEkura 2026-03-21 21:33:38 +08:00
  • 909f1b400c refactor: 修改项目结构 ViperEkura 2026-03-21 21:25:59 +08:00
  • 5b47ab1dea chore: 更新.gitigore ViperEkura 2026-03-21 16:46:53 +08:00
  • 3fb2326115 refactor: 重构数据管道模块 ViperEkura 2026-03-20 21:36:37 +08:00
  • 7045de9c32 fix: 修复存储和加载逻辑 ViperEkura 2026-03-06 11:03:42 +08:00
  • fbda7163a0 reafactor: 放弃文件压缩设置 ViperEkura 2026-03-01 15:34:06 +08:00
  • 3a8edc156d refactor: 更新dump_files函数 ViperEkura 2026-02-27 19:46:00 +08:00
  • eb2c6d4ffb refactor: 更新 gitignore ViperEkura 2026-02-27 19:03:09 +08:00
  • faa391c115 fix: 修复文件缀问题 ViperEkura 2026-02-27 19:02:12 +08:00
  • 5d32b01860 build: 增加build 设置 ViperEkura 2026-02-27 17:38:57 +08:00
  • c32784bf9f reafactor: 使用h5 文件格式存储 ViperEkura 2026-02-27 17:31:54 +08:00
  • 617ef7164d feat(tokenizer): 优化BPE分词器的预处理和训练配置 ViperEkura 2025-12-21 21:50:53 +08:00
  • 397c8e5d0f fix(module): 修复一些错误 ViperEkura 2025-10-30 15:17:06 +08:00
  • 1deb6d59a3 fix(tokenizer): 更新特殊token定义以支持新的对话格式 ViperEkura 2025-10-25 16:50:41 +08:00
  • 491b39b23f fix(utils): 优化序列打包逻辑以提高效率和正确性 ViperEkura 2025-10-07 12:11:40 +08:00
  • cd3a22c1ac feat(utils): 为缓存文件函数添加 packing 和 padding 参数支持 ViperEkura 2025-10-02 22:01:00 +08:00
  • 2ccb26add4 feat(tokenizer): 调整 BPE 分词器的字母表限制并新增用户与系统标识符属性 ViperEkura 2025-10-02 22:00:52 +08:00
  • 85bdd2bf4e refactor(.gitignore): 更新输出目录忽略规则 ViperEkura 2025-09-29 16:59:29 +08:00
  • e844680025 fix(utils): 重命名变量并统一张量转换逻辑 ViperEkura 2025-09-29 14:13:46 +08:00
  • c3ebc4f681 refactor(utils): 简化SFT处理器逻辑 ViperEkura 2025-09-28 15:50:10 +08:00
  • 44be73d255 refactor(supervised_finetuning): 重构 Chinese Instruct 数据集处理逻辑 ViperEkura 2025-09-12 13:46:04 +08:00
  • a976dc931b refactor(utils): 更新 comprehensive_normalization 函数 ViperEkura 2025-08-25 19:36:59 +08:00
  • be79108f84 refactor(utils): 更新缓存文件键名 ViperEkura 2025-08-11 13:49:58 +08:00
  • 96f3eb27fb refactor(reforce_learning): 修改 DPO 数据集处理输出目录 ViperEkura 2025-08-11 11:35:56 +08:00
  • fcd2b66b5c feat(utils): 添加 DPO 训练模式的处理器 ViperEkura 2025-08-10 14:22:48 +08:00
  • 0bd877fcd3 chore: 更新项目结构 ViperEkura 2025-08-10 14:18:16 +08:00
  • 6a259cab0d refactor(supervised_finetuning): 移除 smoltalk-chinese 数据集处理脚本 ViperEkura 2025-08-10 11:30:08 +08:00
  • ce263985d9 refactor(utils): 重构数据处理流程并添加 DPO 数据缓存支持 ViperEkura 2025-08-10 11:27:02 +08:00
  • 3966481bfe docs: 更新 README 文件结构 ViperEkura 2025-08-09 23:25:17 +08:00
  • 1d10971fb5 refactor(supervised_finetuning): 修改 smoltalk-chinese 数据集处理脚本 ViperEkura 2025-08-09 23:09:34 +08:00
  • 008cfb62f0 feat(supervised_finetuning): 添加对话数据集处理脚本 ViperEkura 2025-08-06 13:49:33 +08:00
  • 324fe089c8 refactor(tokenizer): 重构 BpeTokenizer 类并优化编码流程 ViperEkura 2025-08-06 13:49:08 +08:00
  • f7200ee4cf feat(pre_train): 更新 Chinese Cosmopedia 数据集处理脚本 ViperEkura 2025-08-06 09:58:15 +08:00
  • d9ef711e28 refactor(pretrain): 更新预训练数据集输出目录名称 ViperEkura 2025-08-04 15:18:46 +08:00
  • 241e24c400 refactor(pretrain): 更新预训练数据集输出目录名称 ViperEkura 2025-08-02 17:29:21 +08:00
  • 931403a713 refactor(data_processing): 重构数据处理脚本并添加 fetch_folders 函数 ViperEkura 2025-08-01 22:28:40 +08:00
  • 9c3ecc252c refactor(utils): 重构数据处理逻辑 ViperEkura 2025-08-01 21:52:00 +08:00
  • 5a1dc4ac38 docs(README): 更新项目文档 ViperEkura 2025-08-01 21:04:29 +08:00
  • 092921f401 refactor(project): 将 utils 和 tokenizer 模块移至 modules 目录 ViperEkura 2025-08-01 20:59:17 +08:00
  • 1322945b0a refactor(run): 重构脚本执行方式并优化项目结构 ViperEkura 2025-08-01 20:55:31 +08:00
  • 2d1c4e9d6c feat(project_structure): 重构项目目录并添加运行脚本 ViperEkura 2025-08-01 17:41:49 +08:00
  • c4ce882d56 feat: 添加 Magpie-Pro-300K 数据集的 SFT 处理脚本 ViperEkura 2025-08-01 17:28:23 +08:00
  • 8725a9ebd1 feat(dump_sft_file): 更新数据集处理逻辑 ViperEkura 2025-08-01 16:59:47 +08:00
  • 835b12c36a refactor(sft): 重构 SFT 数据处理脚本 ViperEkura 2025-07-22 17:26:32 +08:00
  • 64222aeab1 refactor(dump_sft_file.py， utils.py): 优化内存占用 ViperEkura 2025-07-22 13:30:53 +08:00
  • 5ea1c6355d refactor(data): 重构数据处理流程以适应新需求 ViperEkura 2025-07-22 10:03:06 +08:00
  • b588c30f09 refactor(utils): 优化 process_dataset 函数 ViperEkura 2025-07-21 22:18:22 +08:00
  • 9bdbfd0889 feat(chinese-instruct): 重新处理数据集并生成 SFT 训练文件 ViperEkura 2025-07-21 21:09:27 +08:00
  • 7f45c701b4 refactor(dump_pt_file): 重构数据处理流程并优化代码结构 ViperEkura 2025-07-21 20:27:07 +08:00
  • f9ce67e03c refactor: 重命名pretrain 和 sft 脚本 ViperEkura 2025-07-21 19:58:15 +08:00
  • c2821c150a docs: 添加 README 文件 ViperEkura 2025-07-21 19:19:45 +08:00
  • 70485d7c01 feat(utils): 添加序列打包功能并优化数据处理流程 ViperEkura 2025-07-21 19:17:04 +08:00
  • 6d52bae1ca feat(utils): 添加序列打包功能 ViperEkura 2025-07-21 19:07:16 +08:00
  • 8b2b2e6871 refactor(utils): 重构 dump_pkl_files 函数 ViperEkura 2025-07-21 18:15:02 +08:00
  • b6c02c04b2 refactor(sft_file, utils): 重构数据处理流程并支持新数据集 ViperEkura 2025-07-21 15:11:57 +08:00
  • 56b64ab8c3 fix(chinese-instruct.py): 修复输入为空时 build_prompt 报错问题 ViperEkura 2025-07-21 13:09:54 +08:00
  • 1ef14a997e fix(chinese-instruct): 修复 LaTex 公式在数据集中的显示问题 ViperEkura 2025-07-21 11:36:50 +08:00
  • 127e7c8229 refactor(chinese-instruct): 修改 process_func 函数返回值格式 ViperEkura 2025-07-21 11:27:36 +08:00
  • 1b49bfdea6 chore: 添加 Chinese-Instruct 数据集处理脚本 ViperEkura 2025-07-21 11:23:53 +08:00
  • fcb5c2bcc8 feat(dataset): 更新数据集处理和保存逻辑 ViperEkura 2025-07-20 11:21:18 +08:00
  • 365086f102 feat(utils): 添加数据打包功能 ViperEkura 2025-07-20 11:16:14 +08:00
  • dbaecb46f6 refactor(belle_sft): 移除调试打印并优化数据处理 ViperEkura 2025-07-20 10:21:29 +08:00
  • 6762842b0c refactor(belle_sft): 重构处理数据集的逻辑 ViperEkura 2025-07-20 09:59:40 +08:00
  • faf9f81e7c refactor(utils): 将 pre_tarin_process 和 sft_process 函数合并为 process_dataset ViperEkura 2025-07-16 12:17:58 +08:00
  • f64a1a15ee feat(utils): 新增 sft_process 函数 ViperEkura 2025-07-16 11:35:08 +08:00
  • b69ba2c5ff refactor(dataset): 重构数据集处理流程并添加新功能 ViperEkura 2025-07-16 09:56:31 +08:00
  • 6edc31ce2e refactor(dataset): 更新数据集加载路径和处理代码 ViperEkura 2025-07-15 14:06:18 +08:00
  • e77fb56c45 refactor(utils): 重构数据处理脚本 ViperEkura 2025-07-15 13:10:38 +08:00
  • e6f5b26a75 refactor(chinese-cosmopedia): 更新数据集加载方式并调整相关参数 ViperEkura 2025-07-15 12:54:31 +08:00
  • bea4f83842 refactor(dataset): 重构数据处理脚本并支持自定义数据集 ViperEkura 2025-07-15 12:18:58 +08:00
  • 1c7e49a631 refactor(to_ids): 注释掉中文维基百科数据集的处理 ViperEkura 2025-07-15 07:01:26 +08:00