AstrAI/astrai/inference
ViperEkura c4401512f2 fix: 修复长对话截断方向错误,保留最新 token 而非最早
- add_task 中 prompt 超长时改为保留末尾 token(prompt_ids[-max_prompt_len:])
  而非开头 token,确保多轮对话时模型能看到最近的提问上下文
2026-05-08 15:52:48 +08:00
..
__init__.py refactor: 拆分engine.py 文件 2026-04-05 00:07:21 +08:00
engine.py fix: 修复长对话截断方向错误,保留最新 token 而非最早 2026-05-08 15:52:48 +08:00
scheduler.py fix: 修复长对话截断方向错误,保留最新 token 而非最早 2026-05-08 15:52:48 +08:00
server.py fix: 修复 remove_task 未释放 KV cache slot 导致第二轮对话死锁 2026-05-08 14:53:04 +08:00