ViperEkura 5889179c54 refactor: 抽取 BaseStorage 存储抽象，支持 JSON 原始文本数据加载 ... - 新增 astrai/dataset/storage.py：BaseStorage/H5Storage/JSONStorage + Fetchers + 序列化函数 - BaseDataset.load() 接入存储抽象，自动检测 HDF5/JSON 格式 - JSON 支持原始文本 + tokenizer callable 加载时 tokenize - 新增 BaseDataset.count / keys 属性进行长度观测 - serialization.py 精简为只保留 Checkpoint 类 - 函数放前、类放后，删除分隔注释		2026-05-12 11:17:24 +08:00
..
config	refactor: 移除 device_ids 参数设计，统一通过 CUDA_VISIBLE_DEVICES 控制 GPU 分配；更新 README 训练示例	2026-05-09 14:55:43 +08:00
dataset	refactor: 抽取 BaseStorage 存储抽象，支持 JSON 原始文本数据加载	2026-05-12 11:17:24 +08:00
inference	refactor: PagedCache Facade 模式，提取 PagePool/PrefixCache/TaskTable	2026-05-11 15:22:21 +08:00
model	fix: page cache 分配失败越界崩溃 + 长度超限终止	2026-05-10 20:14:38 +08:00
parallel	refactor: 移除 device_ids 参数设计，统一通过 CUDA_VISIBLE_DEVICES 控制 GPU 分配；更新 README 训练示例	2026-05-09 14:55:43 +08:00
tokenize	fix: 修复 CLI 参数缺失/重复、device_ids 越界、generate 参数名不一致、scheduler 时序、非流式截断等 bug	2026-05-09 14:36:42 +08:00
trainer	feat: Checkpoint 支持 extra 通用扩展数据，用户通过函数自定义保存/恢复优化器等状态	2026-05-09 15:50:38 +08:00
__init__.py	release: v1.3.4	2026-05-10 15:59:18 +08:00
factory.py	chore: 修改类名，优化导入顺序	2026-04-05 22:27:57 +08:00
serialization.py	refactor: 抽取 BaseStorage 存储抽象，支持 JSON 原始文本数据加载	2026-05-12 11:17:24 +08:00