AstrAI/astrai
ViperEkura 205b40bd28 refactor: 重构 cache 和 inference 参数体系,分离存储与分配
- 合并 GenerationRequest/GenerationParams,统一 max_tokens 参数名
- PagePool/PrefixCache 分离为 Allocator + PrefixCache + PagePool
- 拆分 KV 存储为独立 Storage 类,PagedCache → KVCache,CacheView → KvcacheView
- Allocator.inc_ref 移除 LRU 防止竞争,Storage.write 增加负页防御
- Allocator/PrefixCache/TaskTable 加 threading.Lock 保证线程安全
- server.py uvicorn.run 改为传 app 对象修复导入错误
- benchmark.py 适配 KVCache 新 API
2026-05-14 20:05:08 +08:00
..
config refactor: 移除 device_ids 参数设计,统一通过 CUDA_VISIBLE_DEVICES 控制 GPU 分配;更新 README 训练示例 2026-05-09 14:55:43 +08:00
dataset fix: MultiSegmentFetcher 空 dict 崩溃 + BaseDataset assert 替换为显式 raise 2026-05-12 11:41:45 +08:00
inference refactor: 重构 cache 和 inference 参数体系,分离存储与分配 2026-05-14 20:05:08 +08:00
model refactor: 重构 cache 和 inference 参数体系,分离存储与分配 2026-05-14 20:05:08 +08:00
parallel refactor: 移除 device_ids 参数设计,统一通过 CUDA_VISIBLE_DEVICES 控制 GPU 分配;更新 README 训练示例 2026-05-09 14:55:43 +08:00
tokenize fix: 修复 CLI 参数缺失/重复、device_ids 越界、generate 参数名不一致、scheduler 时序、非流式截断等 bug 2026-05-09 14:36:42 +08:00
trainer refactor: 消除多处重复模式,统一工厂和参数传递 2026-05-14 18:00:50 +08:00
__init__.py release: v1.3.4 2026-05-10 15:59:18 +08:00
factory.py refactor: 消除多处重复模式,统一工厂和参数传递 2026-05-14 18:00:50 +08:00
serialization.py refactor: 抽取 BaseStorage 存储抽象,支持 JSON 原始文本数据加载 2026-05-12 11:17:24 +08:00