5 Commits

Include renames

Author	SHA1	Message	Date
ViperEkura	6e49d27057	fix: MultiSegmentFetcher 空 dict 崩溃 + BaseDataset assert 替换为显式 raise ... - MultiSegmentFetcher.__len__: min([]) → 加空检查返回 0 - BaseDataset.get_index: assert 替换为 RuntimeError / ValueError - BaseDataset.__len__: assert 替换为 early return 0	2026-05-12 11:41:45 +08:00
ViperEkura	5889179c54	refactor: 抽取 BaseStorage 存储抽象，支持 JSON 原始文本数据加载 ... - 新增 astrai/dataset/storage.py：BaseStorage/H5Storage/JSONStorage + Fetchers + 序列化函数 - BaseDataset.load() 接入存储抽象，自动检测 HDF5/JSON 格式 - JSON 支持原始文本 + tokenizer callable 加载时 tokenize - 新增 BaseDataset.count / keys 属性进行长度观测 - serialization.py 精简为只保留 Checkpoint 类 - 函数放前、类放后，删除分隔注释	2026-05-12 11:17:24 +08:00
ViperEkura	f2ffdf60d0	chore: 修改错误拼写	2026-04-06 10:37:19 +08:00
ViperEkura	39766aa1dc	chore: 修改类名，优化导入顺序	2026-04-05 22:27:57 +08:00
ViperEkura	9c31d78a22	chore: 将data 模块命名为dataset	2026-04-04 16:16:27 +08:00