ViperEkura 65dadac10f feat: processors 支持批量 tokenize，优化性能并缓存 chat template

2026-08-05 12:21:25 +08:00

..

io

feat: processors 支持批量 tokenize，优化性能并缓存 chat template

2026-08-05 12:21:25 +08:00

processors

feat: processors 支持批量 tokenize，优化性能并缓存 chat template

2026-08-05 12:21:25 +08:00

strategies

refactor: 修改模型架构

2026-04-16 18:57:21 +08:00

tokenize

feat: processors 支持批量 tokenize，优化性能并缓存 chat template

2026-08-05 12:21:25 +08:00

__init__.py

refactor: 重构流水线架构，添加Pipeline抽象并拆分IOHandler

2026-04-23 19:45:57 +08:00

packing.py

fix: mask 全链路保持 bool dtype（创建→打包→HDF5落盘/读盘）

2026-05-15 17:23:51 +08:00

pipeline.py

refactor: 重构流水线架构，添加Pipeline抽象并拆分IOHandler

2026-04-23 19:45:57 +08:00

text.py

fix: 修复特殊token 问题

2026-04-02 16:16:02 +08:00

utils.py

fix: 修复特殊token 问题

2026-04-02 16:16:02 +08:00