AstrAI/tests
ViperEkura 5889179c54 refactor: 抽取 BaseStorage 存储抽象,支持 JSON 原始文本数据加载
- 新增 astrai/dataset/storage.py:BaseStorage/H5Storage/JSONStorage + Fetchers + 序列化函数
- BaseDataset.load() 接入存储抽象,自动检测 HDF5/JSON 格式
- JSON 支持原始文本 + tokenizer callable 加载时 tokenize
- 新增 BaseDataset.count / keys 属性进行长度观测
- serialization.py 精简为只保留 Checkpoint 类
- 函数放前、类放后,删除分隔注释
2026-05-12 11:17:24 +08:00
..
data refactor: 抽取 BaseStorage 存储抽象,支持 JSON 原始文本数据加载 2026-05-12 11:17:24 +08:00
inference feat: 推理引擎前缀缓存(KV cache 复用) 2026-05-09 23:53:57 +08:00
module feat: 实现模型动态注册机制 2026-04-05 19:38:12 +08:00
parallel feat: 增加server, 并且修改测试单元 2026-04-02 15:05:07 +08:00
trainer fix: 修复 CLI 参数缺失/重复、device_ids 越界、generate 参数名不一致、scheduler 时序、非流式截断等 bug 2026-05-09 14:36:42 +08:00
conftest.py chore: 优化未使用的模块 2026-04-06 09:54:17 +08:00