5 Commits

Author	SHA1	Message	Date
ViperEkura	520de3ebe8	refactor: 重构推理引擎控制逻辑，修复连续批处理核心缺陷 ... - 修复 decode 阶段新任务覆盖已有任务的严重缺陷 - 修复线程安全问题（热路径无锁竞争） - 修复前缀缓存引用计数管理不当导致缓存被驱逐 - 修复 pad_id 缺失导致全量 prefill 崩溃 - 修复 RoPE 位置错乱（不同位置任务共用 start_pos） - 新增 slot 版本追踪实现前缀缓存零拷贝复用 - 新增异步流式生成接口避免阻塞事件循环 - 添加完整英文文档字符串	2026-05-06 16:04:06 +08:00
ViperEkura	861d33b1a1	refactor: 更新inference 部分的实现	2026-04-04 23:49:18 +08:00
ViperEkura	b531232a9b	style: 修改为显式导入	2026-04-04 16:02:49 +08:00
ViperEkura	0852b852f8	refactor: 优化参数传递，清理导入样式	2026-04-03 22:06:32 +08:00
ViperEkura	475de51c7d	feat: 增加server, 并且修改测试单元	2026-04-02 15:05:07 +08:00