ViperEkura/DataPipeline
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
113 Commits 1 Branch 0 Tags
2b3bf442e907b88d630db4694c50d0f462ff2ae7
Commit Graph
113 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
ViperEkura 2b3bf442e9 feat: add SFT process_batch for parallel tokenization + short QA filter script 2026-07-29 22:01:09 +08:00
ViperEkura 545104ba70 feat: add Alpaca-GPT4-ZH SFT export script 2026-07-29 21:23:20 +08:00
ViperEkura e999629098 移除缓存脚本中的 data_files 和 max_chunks 限制参数 2026-07-26 10:57:30 +08:00
ViperEkura 33c8720d69 feat: 并行 batch tokenization + cache_jsonl 批处理支持 
- pipeline/tokenize/tokenizer.py: encode() 全部走 encode_batch(支持单条/批量)
- pipeline/processors/base.py: BaseProcessor 新增 process_batch()
- pipeline/processors/pretrain.py: PreTrainProcessor 覆盖 process_batch() 批量编码
- pipeline/io/export.py: cache_jsonl 新增 batch_size 参数默认 1000, 批量处理
- scripts/cache_h5.py: 新增 --batch-size 参数, 默认 tokenizer 路径改为 ../AstrAI/params
 2026-07-25 12:19:45 +08:00
ViperEkura e6787a2036 feat: add BELLE SFT export script, remove Firefly-1.1M-Rephrased 2026-07-17 23:15:18 +08:00
ViperEkura fec37545e2 Add max_chunks=18 to dolma-30b export, remove max_chunks=5 from english-wiki, rename project to datapipline 2026-07-06 08:53:18 +08:00
ViperEkura 900cd91798 feat: MinHash+LSH 去重 + Strategy/Factory 存储后端 2026-07-04 14:47:38 +08:00
ViperEkura 816c02dab0 refactor: SFT 统一 messages 格式 + ChatML 纯 jinja 渲染 2026-07-04 14:32:35 +08:00
ViperEkura 06735b9cb3 fix: 修复 nl_id + BFD 按 group_size 分批打包（存盘不拆分文件） 2026-07-03 17:07:26 +08:00
ViperEkura 598e1ce4ae refactor: 重构打包模块，新增 BFD/FFD/Greedy 三种 bin-packing 算法，默认 BFD 
- 将 pipeline/packing.py 拆分为 packing/ 子包 (base/stream/binpack)
- 新增 BfdPacker(默认)/FfDPacker/GreedyPacker，移除 StreamingPacker
- 超长序列直接截断至 pack_size
- group_size 语义改为"每 N 个 chunk 合并为一块"，默认 1000
- 新增 AutoTokenizer.token_to_id()，修复 ChatML 中 hacky 的 nl_id 获取
- pad_value 默认改为 2(pad_token_id)，position_ids pad=0, loss_mask pad=False
- 新增 position_ids 打包后归零一致性测试
- scripts/cache_h5.py 新增 --pack-algo 参数
 2026-07-03 16:17:27 +08:00
ViperEkura 2f919e9243 feat: add MetaMathQA SFT export script and fix ChatML newline encoding 2026-07-02 17:40:03 +08:00
ViperEkura fd99b9d852 feat: add OpenHermes-2.5 SFT export script 2026-06-04 14:27:04 +08:00
ViperEkura aa2ea4f3a6 feat: SFT 增加 position_ids 边界处理 
- SFTProcessor 输出 per-sample position_ids（torch.arange），每个样本从 0 开始
- position_ids 与 sequence/loss_mask 一同打包，边界处自然重置
- PT 路径不生成 position_ids
- 新增 TestPositionIds 测试及 SFTProcessor 相关测试
 2026-06-04 14:19:32 +08:00
jiachun efba7a009f feat: add sft scripts for Magicoder-Evol-Instruct-110K and alpaca-gpt4-data 
- sft_magicoder.py: export ise-uiuc/Magicoder-Evol-Instruct-110K
- sft_alpaca_gpt4.py: export llm-wizard/alpaca-gpt4-data with instruction+input
- remove deprecated SFT scripts
 2026-06-01 15:50:13 +08:00
ViperEkura e1125be3a7 fix: mask 全链路保持 bool dtype（创建→打包→HDF5落盘/读盘） 2026-05-15 17:23:51 +08:00
ViperEkura 625695fd71 fix: padding 默认值改为 0，避免 loss_mask 误计 padding 位置 2026-05-15 16:59:42 +08:00
ViperEkura cb6bfcb976 refactor: 重构流水线架构，添加Pipeline抽象并拆分IOHandler 2026-04-23 19:45:57 +08:00
ViperEkura a38334f4ce refactor: 修改模型架构 2026-04-16 18:57:21 +08:00
ViperEkura cb93f8219e chore: 更新.gitigore 2026-04-02 18:48:54 +08:00
ViperEkura f44ad6912e fix: 修复特殊token 问题 2026-04-02 16:16:02 +08:00
ViperEkura e01ec081b3 fix: 修复打包策略问题 2026-03-30 21:08:22 +08:00
ViperEkura 35963bcb08 reafactor: 重构项目 2026-03-30 20:58:51 +08:00
ViperEkura f67bad0d8b perf: 优化 processors、cache、packing 模块性能并简化 README 2026-03-30 17:50:26 +08:00
ViperEkura 7baa3ea0c3 feat: 增加日志管理 2026-03-30 16:28:56 +08:00
ViperEkura 71887bb4bb fix: 修复 pipeline 模块中的打包逻辑缺陷并完善测试覆盖 2026-03-30 12:22:37 +08:00
ViperEkura 07ef471aa6 chore: 增加 h5_cache 脚本 2026-03-21 21:33:38 +08:00
ViperEkura 909f1b400c refactor: 修改项目结构 2026-03-21 21:25:59 +08:00
ViperEkura 5b47ab1dea chore: 更新.gitigore 2026-03-21 16:46:53 +08:00
ViperEkura 3fb2326115 refactor: 重构数据管道模块 2026-03-20 21:36:37 +08:00
ViperEkura 7045de9c32 fix: 修复存储和加载逻辑 2026-03-06 11:03:42 +08:00
ViperEkura fbda7163a0 reafactor: 放弃文件压缩设置 2026-03-01 15:34:06 +08:00
ViperEkura 3a8edc156d refactor: 更新dump_files函数 2026-02-27 19:46:00 +08:00
ViperEkura eb2c6d4ffb refactor: 更新 gitignore 2026-02-27 19:03:09 +08:00
ViperEkura faa391c115 fix: 修复文件缀问题 2026-02-27 19:02:12 +08:00
ViperEkura 5d32b01860 build: 增加build 设置 2026-02-27 17:38:57 +08:00
ViperEkura c32784bf9f reafactor: 使用h5 文件格式存储 2026-02-27 17:31:54 +08:00
ViperEkura 617ef7164d feat(tokenizer): 优化BPE分词器的预处理和训练配置 2025-12-21 21:50:53 +08:00
ViperEkura 397c8e5d0f fix(module): 修复一些错误 2025-10-30 15:17:06 +08:00
ViperEkura 1deb6d59a3 fix(tokenizer): 更新特殊token定义以支持新的对话格式 2025-10-25 16:50:41 +08:00
ViperEkura 491b39b23f fix(utils): 优化序列打包逻辑以提高效率和正确性 2025-10-07 12:11:40 +08:00
ViperEkura cd3a22c1ac feat(utils): 为缓存文件函数添加 packing 和 padding 参数支持 2025-10-02 22:01:00 +08:00
ViperEkura 2ccb26add4 feat(tokenizer): 调整 BPE 分词器的字母表限制并新增用户与系统标识符属性 2025-10-02 22:00:52 +08:00
ViperEkura 85bdd2bf4e refactor(.gitignore): 更新输出目录忽略规则 2025-09-29 16:59:29 +08:00
ViperEkura e844680025 fix(utils): 重命名变量并统一张量转换逻辑 2025-09-29 14:13:46 +08:00
ViperEkura c3ebc4f681 refactor(utils): 简化SFT处理器逻辑 2025-09-28 15:50:10 +08:00
ViperEkura 44be73d255 refactor(supervised_finetuning): 重构 Chinese Instruct 数据集处理逻辑 2025-09-12 13:46:04 +08:00
ViperEkura a976dc931b refactor(utils): 更新 comprehensive_normalization 函数 2025-08-25 19:36:59 +08:00
ViperEkura be79108f84 refactor(utils): 更新缓存文件键名 2025-08-11 13:49:58 +08:00
ViperEkura 96f3eb27fb refactor(reforce_learning): 修改 DPO 数据集处理输出目录 2025-08-11 11:35:56 +08:00
ViperEkura fcd2b66b5c feat(utils): 添加 DPO 训练模式的处理器 2025-08-10 14:22:48 +08:00