AstrAI/astrai/inference
ViperEkura 123f25e339 fix: 修复KV缓存槽位索引错位、版本校验缺失与注意力掩码问题,合并预填充方法 2026-05-06 19:51:14 +08:00
..
__init__.py refactor: 拆分engine.py 文件 2026-04-05 00:07:21 +08:00
engine.py fix: 修复KV缓存槽位索引错位、版本校验缺失与注意力掩码问题,合并预填充方法 2026-05-06 19:51:14 +08:00
scheduler.py fix: 修复KV缓存槽位索引错位、版本校验缺失与注意力掩码问题,合并预填充方法 2026-05-06 19:51:14 +08:00
server.py refactor: 重构推理引擎控制逻辑,修复连续批处理核心缺陷 2026-05-06 16:04:06 +08:00