 ViperEkura
|
a3bde30fb1
|
feat: 服务化基础设施 - 有界队列/超时/优雅关闭/metrics
- astrai/inference/scheduler.py: 有界队列 (max_queue_size) 拒绝满时入队抛 RuntimeError
-> 请求超时检测 (deadline + _abort_expired_tasks)，超时任务 abort 释放页并通知回调
-> stop() 改为 drain 模式：等待活跃任务自然结束再强制清理
-> get_stats() 扩展 latency P50/P95/P99 + cache hit rate
- astrai/inference/engine.py: generate/generate_async 新增 timeout 参数
-> _generate_streaming/_generate_non_streaming 捕获 add_task 异常并清理
- astrai/inference/server.py: 新增 /metrics 端点 (Prometheus 格式)
-> chat completions 端点捕获 RuntimeError 返回 503
-> configure_server 传递 max_queue_size/request_timeout
- astrai/inference/cache.py: 新增 lookup_hits/lookup_misses 计数器
- tests/: fix stats key total_tasks -> total_requests
|
2026-05-10 18:16:51 +08:00 |
|
ViperEkura
|
3583c46b66
|
feat: 推理引擎前缀缓存（KV cache 复用）
- cache.py: 新增模块级 page_hash() 多项式滚动哈希函数；PagedCache 新增
record_page/lookup_prefix/inc_ref，free() 自动清理哈希映射
- scheduler.py: Task 新增 _prefix_cached_tokens；_refill_active_batch 先查
缓存命中页(inc_ref)再分配剩余页；合并 _execute_prefill 为单一方法，
按 (prompt_len, start_pos) 分组批量执行全量/部分 prefill；
_record_page_hashes 注册完整页哈希；修复 device/dtype 默认值从硬编码
改为 None（自动检测模型设备）
- test: mock model 补充 dtype/device 适配自动检测
|
2026-05-09 23:53:57 +08:00 |
|
ViperEkura
|
30cc2d67a4
|
refactor: 分页 KV cache 替换固定 slot，删除 PrefixCache 及相关死代码
- 用 PagedCache + CacheView 替换固定 slot 式 KV cache，attention 层只通过 page_table 间接索引
- 删除 PrefixCache（radix tree）及 scheduler 中所有 prefix cache 命中/插入/释放逻辑
- 删除无用函数：pin、version、free_count、_mark_seq_mask 及 seq_mask 分配
- 修复 write 在多页 prefill 时 offset 为负导致 chunk 计算错误
- _make_page_table_tensor 改用 list 拼接一次 tensor，去掉逐元素赋值
- 清理 model 接口参数：kv_cache, slot_indices → paged_cache（CacheView）
- 精简 docstring 为单行，删除冗余 section 注释和旧代码
- 修复 test_scheduler_concurrency.py 缺少 import pytest
|
2026-05-08 20:44:05 +08:00 |
|
ViperEkura
|
44d7a4e959
|
refactor: 设计模式优化 inference 模块导入结构
- 新建 cache.py：SlotAllocator 对象池 + PrefixCacheManager
- 新建 sampling.py：Temperature/TopK/TopP 可组合策略
- TaskStatus 改用 Enum，GenerationParams 值对象模式
- _STOP 移至 cache.py，解除 engine→scheduler 轻量耦合
- 更新测试导入路径，ruff 格式检查通过
|
2026-05-08 16:57:57 +08:00 |
|
ViperEkura
|
520de3ebe8
|
refactor: 重构推理引擎控制逻辑，修复连续批处理核心缺陷
- 修复 decode 阶段新任务覆盖已有任务的严重缺陷
- 修复线程安全问题（热路径无锁竞争）
- 修复前缀缓存引用计数管理不当导致缓存被驱逐
- 修复 pad_id 缺失导致全量 prefill 崩溃
- 修复 RoPE 位置错乱（不同位置任务共用 start_pos）
- 新增 slot 版本追踪实现前缀缓存零拷贝复用
- 新增异步流式生成接口避免阻塞事件循环
- 添加完整英文文档字符串
|
2026-05-06 16:04:06 +08:00 |
|
ViperEkura
|
a2ae742988
|
chore: 增加并发测试
|
2026-04-09 18:10:28 +08:00 |