ViperEkura 7c99da155c refactor: 删除数据流中的 JSONStore ...

- 移除 JSONStore 及相关函数，训练框架不再依赖 tokenizer
- Store 层只保留 H5Store 和 MmapStore 两种后端

2026-05-28 15:54:26 +08:00

..

__init__.py

refactor: 删除数据流中的 JSONStore

2026-05-28 15:54:26 +08:00

dataset.py

refactor: 删除数据流中的 JSONStore

2026-05-28 15:54:26 +08:00

sampler.py

fix: 断点续训恢复优化器/调度器状态及采样器剩余长度

2026-05-26 13:50:25 +08:00

storage.py

refactor: 删除数据流中的 JSONStore

2026-05-28 15:54:26 +08:00