ViperEkura e3382f6bb5 fix: 修复推理引擎 batch decode 中多项正确性与并发问题 ... - scheduler: decode 分组由幂次分桶改为精确 next_pos，消除 KV cache 位置错乱 - task: activate() 加锁操作 active_tasks，消除数据竞争 - engine: wait_completion 加超时，防止分配失败时永久死锁 - sample: TopKStrategy 向量化为 per-sample threshold，尊重各 task 的 top_k - cache: Storage.write/gather 中 -1 页改用 mask 处理，防数据污染 - executor: prefill 逐 task 循环改为单次 tensor 调用		2026-05-14 21:31:39 +08:00
..
__init__.py	refactor: 重构 cache 和 inference 参数体系，分离存储与分配	2026-05-14 20:05:08 +08:00
cache.py	fix: 修复推理引擎 batch decode 中多项正确性与并发问题	2026-05-14 21:31:39 +08:00
executor.py	fix: 修复推理引擎 batch decode 中多项正确性与并发问题	2026-05-14 21:31:39 +08:00
scheduler.py	fix: 修复推理引擎 batch decode 中多项正确性与并发问题	2026-05-14 21:31:39 +08:00
task.py	fix: 修复推理引擎 batch decode 中多项正确性与并发问题	2026-05-14 21:31:39 +08:00