ViperEkura 513f1f7826 perf: waiting_queue 改用 deque，pull_candidates 从 O(n²) 降到 O(1) ...

- list.pop(0) 每次左移全部元素，改 deque.popleft() 指针操作
- return_to_waiting 从 slice 整体复制改 appendleft 逐个插入
- 热路径 refill 阶段不再卡顿

2026-05-14 21:38:00 +08:00

..

api

refactor: 重构 cache 和 inference 参数体系，分离存储与分配

2026-05-14 20:05:08 +08:00

core

perf: waiting_queue 改用 deque，pull_candidates 从 O(n²) 降到 O(1)

2026-05-14 21:38:00 +08:00

__init__.py

refactor: 重构 cache 和 inference 参数体系，分离存储与分配

2026-05-14 20:05:08 +08:00

engine.py

fix: 修复推理引擎 batch decode 中多项正确性与并发问题

2026-05-14 21:31:39 +08:00

sample.py

fix: 修复推理引擎 batch decode 中多项正确性与并发问题

2026-05-14 21:31:39 +08:00