ViperEkura 205b40bd28 refactor: 重构 cache 和 inference 参数体系，分离存储与分配 ...

- 合并 GenerationRequest/GenerationParams，统一 max_tokens 参数名
- PagePool/PrefixCache 分离为 Allocator + PrefixCache + PagePool
- 拆分 KV 存储为独立 Storage 类，PagedCache → KVCache，CacheView → KvcacheView
- Allocator.inc_ref 移除 LRU 防止竞争，Storage.write 增加负页防御
- Allocator/PrefixCache/TaskTable 加 threading.Lock 保证线程安全
- server.py uvicorn.run 改为传 app 对象修复导入错误
- benchmark.py 适配 KVCache 新 API

2026-05-14 20:05:08 +08:00

..

data

test: 增加 13 个边界条件测试，不需要 base_test_env 的函数移除该参数

2026-05-12 11:47:30 +08:00

inference

refactor: 重构 cache 和 inference 参数体系，分离存储与分配

2026-05-14 20:05:08 +08:00

module

feat: 实现模型动态注册机制

2026-04-05 19:38:12 +08:00

parallel

feat: 增加server, 并且修改测试单元

2026-04-02 15:05:07 +08:00

trainer

fix: 修复 CLI 参数缺失/重复、device_ids 越界、generate 参数名不一致、scheduler 时序、非流式截断等 bug

2026-05-09 14:36:42 +08:00

conftest.py

perf: 测试优化，model 改为 session 共享，scheduler 用 Event 替代 sleep

2026-05-12 11:35:18 +08:00