AstrAI

Commit Graph

Author	SHA1	Message	Date
ViperEkura	6e49d27057	fix: MultiSegmentFetcher 空 dict 崩溃 + BaseDataset assert 替换为显式 raise - MultiSegmentFetcher.__len__: min([]) → 加空检查返回 0 - BaseDataset.get_index: assert 替换为 RuntimeError / ValueError - BaseDataset.__len__: assert 替换为 early return 0	2026-05-12 11:41:45 +08:00
ViperEkura	5889179c54	refactor: 抽取 BaseStorage 存储抽象，支持 JSON 原始文本数据加载 - 新增 astrai/dataset/storage.py：BaseStorage/H5Storage/JSONStorage + Fetchers + 序列化函数 - BaseDataset.load() 接入存储抽象，自动检测 HDF5/JSON 格式 - JSON 支持原始文本 + tokenizer callable 加载时 tokenize - 新增 BaseDataset.count / keys 属性进行长度观测 - serialization.py 精简为只保留 Checkpoint 类 - 函数放前、类放后，删除分隔注释	2026-05-12 11:17:24 +08:00

Author

SHA1

Message

Date

ViperEkura

6e49d27057

fix: MultiSegmentFetcher 空 dict 崩溃 + BaseDataset assert 替换为显式 raise

- MultiSegmentFetcher.__len__: min([]) → 加空检查返回 0
- BaseDataset.get_index: assert 替换为 RuntimeError / ValueError
- BaseDataset.__len__: assert 替换为 early return 0

2026-05-12 11:41:45 +08:00

ViperEkura

5889179c54

refactor: 抽取 BaseStorage 存储抽象，支持 JSON 原始文本数据加载

- 新增 astrai/dataset/storage.py：BaseStorage/H5Storage/JSONStorage + Fetchers + 序列化函数
- BaseDataset.load() 接入存储抽象，自动检测 HDF5/JSON 格式
- JSON 支持原始文本 + tokenizer callable 加载时 tokenize
- 新增 BaseDataset.count / keys 属性进行长度观测
- serialization.py 精简为只保留 Checkpoint 类
- 函数放前、类放后，删除分隔注释

2026-05-12 11:17:24 +08:00

2 Commits