ViperEkura 205b40bd28 refactor: 重构 cache 和 inference 参数体系，分离存储与分配 ... - 合并 GenerationRequest/GenerationParams，统一 max_tokens 参数名 - PagePool/PrefixCache 分离为 Allocator + PrefixCache + PagePool - 拆分 KV 存储为独立 Storage 类，PagedCache → KVCache，CacheView → KvcacheView - Allocator.inc_ref 移除 LRU 防止竞争，Storage.write 增加负页防御 - Allocator/PrefixCache/TaskTable 加 threading.Lock 保证线程安全 - server.py uvicorn.run 改为传 app 对象修复导入错误 - benchmark.py 适配 KVCache 新 API		2026-05-14 20:05:08 +08:00
..
benchmark.py	refactor: 重构 cache 和 inference 参数体系，分离存储与分配	2026-05-14 20:05:08 +08:00
generate.py	docs: 修正文档中与源码不符的类名、方法签名和模块归属	2026-05-14 15:04:53 +08:00
perplexity.py	refactor: 优化工具脚本接口并修复批处理问题	2026-04-05 21:56:22 +08:00
server.py	refactor: 重构 inference 模块架构，引入设计模式并分组文件	2026-05-14 17:42:37 +08:00
train.py	refactor: 移除 device_ids 参数设计，统一通过 CUDA_VISIBLE_DEVICES 控制 GPU 分配；更新 README 训练示例	2026-05-09 14:55:43 +08:00