5 Commits

Include renames

Author	SHA1	Message	Date
ViperEkura	65dadac10f	feat: processors 支持批量 tokenize，优化性能并缓存 chat template	2026-08-05 12:21:25 +08:00
ViperEkura	aa2ea4f3a6	feat: SFT 增加 position_ids 边界处理 ... - SFTProcessor 输出 per-sample position_ids（torch.arange），每个样本从 0 开始 - position_ids 与 sequence/loss_mask 一同打包，边界处自然重置 - PT 路径不生成 position_ids - 新增 TestPositionIds 测试及 SFTProcessor 相关测试	2026-06-04 14:19:32 +08:00
ViperEkura	f44ad6912e	fix: 修复特殊token 问题	2026-04-02 16:16:02 +08:00
ViperEkura	35963bcb08	reafactor: 重构项目	2026-03-30 20:58:51 +08:00
ViperEkura	71887bb4bb	fix: 修复 pipeline 模块中的打包逻辑缺陷并完善测试覆盖	2026-03-30 12:22:37 +08:00