ViperEkura e3382f6bb5 fix: 修复推理引擎 batch decode 中多项正确性与并发问题 ...

- scheduler: decode 分组由幂次分桶改为精确 next_pos，消除 KV cache 位置错乱
- task: activate() 加锁操作 active_tasks，消除数据竞争
- engine: wait_completion 加超时，防止分配失败时永久死锁
- sample: TopKStrategy 向量化为 per-sample threshold，尊重各 task 的 top_k
- cache: Storage.write/gather 中 -1 页改用 mask 处理，防数据污染
- executor: prefill 逐 task 循环改为单次 tensor 调用

2026-05-14 21:31:39 +08:00

..

__init__.py

refactor: 重构 cache 和 inference 参数体系，分离存储与分配

2026-05-14 20:05:08 +08:00

cache.py

fix: 修复推理引擎 batch decode 中多项正确性与并发问题

2026-05-14 21:31:39 +08:00

executor.py

fix: 修复推理引擎 batch decode 中多项正确性与并发问题

2026-05-14 21:31:39 +08:00

scheduler.py

fix: 修复推理引擎 batch decode 中多项正确性与并发问题

2026-05-14 21:31:39 +08:00

task.py

fix: 修复推理引擎 batch decode 中多项正确性与并发问题

2026-05-14 21:31:39 +08:00