AstrAI/scripts
ViperEkura 138c5bcc08 feat : 添加 JSONL 预处理管线
- Pipeline 模板, Reader 加 transform 加 Writer 可组合
- 自动检测 JSONL 格式, 支持 messages 文本 prompt 加 response 三种
- chat 数据通过 apply_chat_template 适配, 自动生成 loss_mask
- 输出对齐 Store 和 DatasetFactory, 直接用于训练
- 默认 bin 格式, CLI 入口 scripts/tools/preprocess.py
2026-05-30 17:12:42 +08:00
..
demo refactor: generate_ar 改用流式输出并去除冗余注释 2026-05-17 10:23:42 +08:00
tools feat : 添加 JSONL 预处理管线 2026-05-30 17:12:42 +08:00
docker.sh fix: docker-compose UID/GID 添加默认值,修复 docker.sh logs 命令 2026-05-18 14:24:00 +08:00
pre_commit.sh ci: 优化 GitHub Actions 工作流 2026-04-05 22:40:16 +08:00