 ViperEkura
|
5203b7f53e
|
perf: 测试优化，model 改为 session 共享，scheduler 用 Event 替代 sleep
- 拆出 session-scoped test_tokenizer + test_model，14 次创建 → 1 次
- 删除无用 test_env fixture
- 固定模型维度，消除随机性
- 添加 pytest markers 配置
|
2026-05-12 11:35:18 +08:00 |
|
ViperEkura
|
3583c46b66
|
feat: 推理引擎前缀缓存（KV cache 复用）
- cache.py: 新增模块级 page_hash() 多项式滚动哈希函数；PagedCache 新增
record_page/lookup_prefix/inc_ref，free() 自动清理哈希映射
- scheduler.py: Task 新增 _prefix_cached_tokens；_refill_active_batch 先查
缓存命中页(inc_ref)再分配剩余页；合并 _execute_prefill 为单一方法，
按 (prompt_len, start_pos) 分组批量执行全量/部分 prefill；
_record_page_hashes 注册完整页哈希；修复 device/dtype 默认值从硬编码
改为 None（自动检测模型设备）
- test: mock model 补充 dtype/device 适配自动检测
|
2026-05-09 23:53:57 +08:00 |
|
ViperEkura
|
30cc2d67a4
|
refactor: 分页 KV cache 替换固定 slot，删除 PrefixCache 及相关死代码
- 用 PagedCache + CacheView 替换固定 slot 式 KV cache，attention 层只通过 page_table 间接索引
- 删除 PrefixCache（radix tree）及 scheduler 中所有 prefix cache 命中/插入/释放逻辑
- 删除无用函数：pin、version、free_count、_mark_seq_mask 及 seq_mask 分配
- 修复 write 在多页 prefill 时 offset 为负导致 chunk 计算错误
- _make_page_table_tensor 改用 list 拼接一次 tensor，去掉逐元素赋值
- 清理 model 接口参数：kv_cache, slot_indices → paged_cache（CacheView）
- 精简 docstring 为单行，删除冗余 section 注释和旧代码
- 修复 test_scheduler_concurrency.py 缺少 import pytest
|
2026-05-08 20:44:05 +08:00 |
|
ViperEkura
|
44d7a4e959
|
refactor: 设计模式优化 inference 模块导入结构
- 新建 cache.py：SlotAllocator 对象池 + PrefixCacheManager
- 新建 sampling.py：Temperature/TopK/TopP 可组合策略
- TaskStatus 改用 Enum，GenerationParams 值对象模式
- _STOP 移至 cache.py，解除 engine→scheduler 轻量耦合
- 更新测试导入路径，ruff 格式检查通过
|
2026-05-08 16:57:57 +08:00 |
|
ViperEkura
|
520de3ebe8
|
refactor: 重构推理引擎控制逻辑，修复连续批处理核心缺陷
- 修复 decode 阶段新任务覆盖已有任务的严重缺陷
- 修复线程安全问题（热路径无锁竞争）
- 修复前缀缓存引用计数管理不当导致缓存被驱逐
- 修复 pad_id 缺失导致全量 prefill 崩溃
- 修复 RoPE 位置错乱（不同位置任务共用 start_pos）
- 新增 slot 版本追踪实现前缀缓存零拷贝复用
- 新增异步流式生成接口避免阻塞事件循环
- 添加完整英文文档字符串
|
2026-05-06 16:04:06 +08:00 |
|
ViperEkura
|
a2ae742988
|
chore: 增加并发测试
|
2026-04-09 18:10:28 +08:00 |