ViperEkura 520de3ebe8 refactor: 重构推理引擎控制逻辑，修复连续批处理核心缺陷 ... - 修复 decode 阶段新任务覆盖已有任务的严重缺陷 - 修复线程安全问题（热路径无锁竞争） - 修复前缀缓存引用计数管理不当导致缓存被驱逐 - 修复 pad_id 缺失导致全量 prefill 崩溃 - 修复 RoPE 位置错乱（不同位置任务共用 start_pos） - 新增 slot 版本追踪实现前缀缓存零拷贝复用 - 新增异步流式生成接口避免阻塞事件循环 - 添加完整英文文档字符串		2026-05-06 16:04:06 +08:00
..
__init__.py	refactor: 拆分engine.py 文件	2026-04-05 00:07:21 +08:00
engine.py	refactor: 重构推理引擎控制逻辑，修复连续批处理核心缺陷	2026-05-06 16:04:06 +08:00
scheduler.py	refactor: 重构推理引擎控制逻辑，修复连续批处理核心缺陷	2026-05-06 16:04:06 +08:00
server.py	refactor: 重构推理引擎控制逻辑，修复连续批处理核心缺陷	2026-05-06 16:04:06 +08:00