ViperEkura 5889179c54 refactor: 抽取 BaseStorage 存储抽象，支持 JSON 原始文本数据加载 ... - 新增 astrai/dataset/storage.py：BaseStorage/H5Storage/JSONStorage + Fetchers + 序列化函数 - BaseDataset.load() 接入存储抽象，自动检测 HDF5/JSON 格式 - JSON 支持原始文本 + tokenizer callable 加载时 tokenize - 新增 BaseDataset.count / keys 属性进行长度观测 - serialization.py 精简为只保留 Checkpoint 类 - 函数放前、类放后，删除分隔注释		2026-05-12 11:17:24 +08:00
..
__init__.py	refactor: 抽取 BaseStorage 存储抽象，支持 JSON 原始文本数据加载	2026-05-12 11:17:24 +08:00
dataset.py	refactor: 抽取 BaseStorage 存储抽象，支持 JSON 原始文本数据加载	2026-05-12 11:17:24 +08:00
sampler.py	chore: 将data 模块命名为dataset	2026-04-04 16:16:27 +08:00
storage.py	refactor: 抽取 BaseStorage 存储抽象，支持 JSON 原始文本数据加载	2026-05-12 11:17:24 +08:00