AstrAI/tests
ViperEkura 520de3ebe8 refactor: 重构推理引擎控制逻辑,修复连续批处理核心缺陷
- 修复 decode 阶段新任务覆盖已有任务的严重缺陷
- 修复线程安全问题(热路径无锁竞争)
- 修复前缀缓存引用计数管理不当导致缓存被驱逐
- 修复 pad_id 缺失导致全量 prefill 崩溃
- 修复 RoPE 位置错乱(不同位置任务共用 start_pos)
- 新增 slot 版本追踪实现前缀缓存零拷贝复用
- 新增异步流式生成接口避免阻塞事件循环
- 添加完整英文文档字符串
2026-05-06 16:04:06 +08:00
..
data chore: 修改类名,优化导入顺序 2026-04-05 22:27:57 +08:00
inference refactor: 重构推理引擎控制逻辑,修复连续批处理核心缺陷 2026-05-06 16:04:06 +08:00
module feat: 实现模型动态注册机制 2026-04-05 19:38:12 +08:00
parallel feat: 增加server, 并且修改测试单元 2026-04-02 15:05:07 +08:00
trainer chore: 修改类名,优化导入顺序 2026-04-05 22:27:57 +08:00
conftest.py chore: 优化未使用的模块 2026-04-06 09:54:17 +08:00