ViperEkura 138c5bcc08 feat : 添加 JSONL 预处理管线 ...

- Pipeline 模板, Reader 加 transform 加 Writer 可组合
- 自动检测 JSONL 格式, 支持 messages 文本 prompt 加 response 三种
- chat 数据通过 apply_chat_template 适配, 自动生成 loss_mask
- 输出对齐 Store 和 DatasetFactory, 直接用于训练
- 默认 bin 格式, CLI 入口 scripts/tools/preprocess.py

2026-05-30 17:12:42 +08:00

..

demo

refactor: generate_ar 改用流式输出并去除冗余注释

2026-05-17 10:23:42 +08:00

tools

feat : 添加 JSONL 预处理管线

2026-05-30 17:12:42 +08:00

docker.sh

fix: docker-compose UID/GID 添加默认值，修复 docker.sh logs 命令

2026-05-18 14:24:00 +08:00

pre_commit.sh

ci: 优化 GitHub Actions 工作流

2026-04-05 22:40:16 +08:00