AstrAI/astrai/dataset
ViperEkura 7c99da155c refactor: 删除数据流中的 JSONStore
- 移除 JSONStore 及相关函数,训练框架不再依赖 tokenizer
- Store 层只保留 H5Store 和 MmapStore 两种后端
2026-05-28 15:54:26 +08:00
..
__init__.py refactor: 删除数据流中的 JSONStore 2026-05-28 15:54:26 +08:00
dataset.py refactor: 删除数据流中的 JSONStore 2026-05-28 15:54:26 +08:00
sampler.py fix: 断点续训恢复优化器/调度器状态及采样器剩余长度 2026-05-26 13:50:25 +08:00
storage.py refactor: 删除数据流中的 JSONStore 2026-05-28 15:54:26 +08:00