AstrAI/astrai/inference
ViperEkura 513f1f7826 perf: waiting_queue 改用 deque,pull_candidates 从 O(n²) 降到 O(1)
- list.pop(0) 每次左移全部元素,改 deque.popleft() 指针操作
- return_to_waiting 从 slice 整体复制改 appendleft 逐个插入
- 热路径 refill 阶段不再卡顿
2026-05-14 21:38:00 +08:00
..
api refactor: 重构 cache 和 inference 参数体系,分离存储与分配 2026-05-14 20:05:08 +08:00
core perf: waiting_queue 改用 deque,pull_candidates 从 O(n²) 降到 O(1) 2026-05-14 21:38:00 +08:00
__init__.py refactor: 重构 cache 和 inference 参数体系,分离存储与分配 2026-05-14 20:05:08 +08:00
engine.py fix: 修复推理引擎 batch decode 中多项正确性与并发问题 2026-05-14 21:31:39 +08:00
sample.py fix: 修复推理引擎 batch decode 中多项正确性与并发问题 2026-05-14 21:31:39 +08:00