 ViperEkura
|
04c0dc7a47
|
refactor: Storage 改用工厂模式，server reload 接入 uvicorn
- 新增 StorageFactory(BaseFactory[BaseStorage]) 替代手写 dict 注册
- H5Storage / JSONStorage 通过 @StorageFactory.register 注册
- dataset.py 使用 StorageFactory.create() 替代 create_storage()
- 删除 create_storage / available_storage_types 死函数
- server.py reload 参数正式传入 uvicorn.run()
|
2026-05-16 17:00:26 +08:00 |
|
ViperEkura
|
5889179c54
|
refactor: 抽取 BaseStorage 存储抽象，支持 JSON 原始文本数据加载
- 新增 astrai/dataset/storage.py：BaseStorage/H5Storage/JSONStorage + Fetchers + 序列化函数
- BaseDataset.load() 接入存储抽象，自动检测 HDF5/JSON 格式
- JSON 支持原始文本 + tokenizer callable 加载时 tokenize
- 新增 BaseDataset.count / keys 属性进行长度观测
- serialization.py 精简为只保留 Checkpoint 类
- 函数放前、类放后，删除分隔注释
|
2026-05-12 11:17:24 +08:00 |
|
ViperEkura
|
39766aa1dc
|
chore: 修改类名，优化导入顺序
|
2026-04-05 22:27:57 +08:00 |
|
ViperEkura
|
9c31d78a22
|
chore: 将data 模块命名为dataset
|
2026-04-04 16:16:27 +08:00 |