 ViperEkura
|
a6f5ff3b37
|
fix: 修复 remove_task 未释放 KV cache slot 导致第二轮对话死锁
- remove_task() 现在释放 KV cache slot 和 prefix cache 引用
- _refill_active_batch 中 alloc 失败时将剩余 task 推回 waiting_queue
- 主循环增加 try/except 异常兜底，发送 _STOP 给所有 task
- 重构：server.py 全局变量改为 ServerState 类；automodel.py
使用 Registry 替代裸 dict；合并 TrainContextBuilder 的 with_*
方法到 build()
|
2026-05-08 14:53:04 +08:00 |
|
ViperEkura
|
ffff05b2c6
|
refactor: 替换魔法字符串为_STOP sentinel，修复generator清理逻辑
|
2026-05-06 20:37:16 +08:00 |
|
ViperEkura
|
b89f8436ea
|
refactor: 将KV缓存槽位映射下沉到模型注意力层，移除_remap_kv和_writeback_kv
|
2026-05-06 20:01:22 +08:00 |
|
ViperEkura
|
123f25e339
|
fix: 修复KV缓存槽位索引错位、版本校验缺失与注意力掩码问题，合并预填充方法
|
2026-05-06 19:51:14 +08:00 |
|
ViperEkura
|
520de3ebe8
|
refactor: 重构推理引擎控制逻辑，修复连续批处理核心缺陷
- 修复 decode 阶段新任务覆盖已有任务的严重缺陷
- 修复线程安全问题（热路径无锁竞争）
- 修复前缀缓存引用计数管理不当导致缓存被驱逐
- 修复 pad_id 缺失导致全量 prefill 崩溃
- 修复 RoPE 位置错乱（不同位置任务共用 start_pos）
- 新增 slot 版本追踪实现前缀缓存零拷贝复用
- 新增异步流式生成接口避免阻塞事件循环
- 添加完整英文文档字符串
|
2026-05-06 16:04:06 +08:00 |
|
ViperEkura
|
29beb174a5
|
fix: 修复删除节点问题
|
2026-04-09 16:58:29 +08:00 |
|
ViperEkura
|
bbeaff4c60
|
refactor: 精简推理引擎代码，优化参数传递规范
|
2026-04-09 14:17:48 +08:00 |
|
ViperEkura
|
ab5e207f42
|
feat: 增加缓存处理
|
2026-04-08 20:54:14 +08:00 |
|
ViperEkura
|
b0eff02446
|
chore: 修改RMSNorm 实现
|
2026-04-06 20:27:01 +08:00 |
|
ViperEkura
|
64b78ecce3
|
fix: 增加旋转位置编码扩展
|
2026-04-06 13:29:39 +08:00 |
|
ViperEkura
|
f2ffdf60d0
|
chore: 修改错误拼写
|
2026-04-06 10:37:19 +08:00 |
|
ViperEkura
|
ace8f6ee68
|
chore: 优化未使用的模块
|
2026-04-06 09:54:17 +08:00 |
|
ViperEkura
|
a57a16430d
|
fix: 修复tokenizer存储的问题
|
2026-04-06 09:36:29 +08:00 |
|
ViperEkura
|
3fee87897d
|
chore: 修改拼写错误问题
|
2026-04-06 09:28:16 +08:00 |
|
ViperEkura
|
3f67e53088
|
fix: 修复tokenizer 参数问题
|
2026-04-06 09:22:46 +08:00 |
|
ViperEkura
|
39766aa1dc
|
chore: 修改类名，优化导入顺序
|
2026-04-05 22:27:57 +08:00 |
|
ViperEkura
|
9b22b1651e
|
refactor: 优化工具脚本接口并修复批处理问题
|
2026-04-05 21:56:22 +08:00 |
|
ViperEkura
|
e58dbd7c57
|
chore: 精简实现代码部分
|
2026-04-05 21:16:38 +08:00 |
|
ViperEkura
|
d2fe8afbd1
|
chore: 更新文档， 修正代码格式
|
2026-04-05 20:59:52 +08:00 |
|
ViperEkura
|
23ce4bc3ae
|
fix: 修复异常处理问题
|
2026-04-05 20:44:35 +08:00 |
|
ViperEkura
|
d2b36cc85d
|
fix: 修复特殊token 的问题
|
2026-04-05 20:09:47 +08:00 |
|
ViperEkura
|
fc278d17ab
|
feat: 实现模型动态注册机制
|
2026-04-05 19:38:12 +08:00 |
|
ViperEkura
|
2b26f03bd3
|
refactor: 拆分engine.py 文件
|
2026-04-05 00:07:21 +08:00 |
|
ViperEkura
|
861d33b1a1
|
refactor: 更新inference 部分的实现
|
2026-04-04 23:49:18 +08:00 |
|
ViperEkura
|
c94a246c71
|
chore: 重命名目录
|
2026-04-04 17:03:22 +08:00 |
|
ViperEkura
|
2dc9545d7f
|
refactor: 实现 chat template 分派设置
|
2026-04-04 16:56:31 +08:00 |
|
ViperEkura
|
9c31d78a22
|
chore: 将data 模块命名为dataset
|
2026-04-04 16:16:27 +08:00 |
|
ViperEkura
|
bd9741dc5f
|
refactor: 从data 模块分离tokenizer
|
2026-04-04 16:12:58 +08:00 |
|
ViperEkura
|
b531232a9b
|
style: 修改为显式导入
|
2026-04-04 16:02:49 +08:00 |
|
ViperEkura
|
3346c75584
|
feat: 优化工厂模式的实现
|
2026-04-04 15:49:46 +08:00 |
|
ViperEkura
|
aa5e03d7f6
|
fix: 修复工厂模式问题并增加chat-template设置
|
2026-04-04 12:05:05 +08:00 |
|
ViperEkura
|
e97536758f
|
refactor: 优化工厂模式结构
|
2026-04-04 11:33:58 +08:00 |
|
ViperEkura
|
3535de5cc4
|
fix: 同步device 和 dtype
|
2026-04-04 10:25:39 +08:00 |
|
ViperEkura
|
26989e54aa
|
feat: 优化server 部分设置
|
2026-04-04 01:41:01 +08:00 |
|
ViperEkura
|
0852b852f8
|
refactor: 优化参数传递，清理导入样式
|
2026-04-03 22:06:32 +08:00 |
|
ViperEkura
|
c5560740b6
|
refactor: 修改分词器部分结构， 更新特殊token等
|
2026-04-03 14:52:35 +08:00 |
|
ViperEkura
|
912d7c7f54
|
chore: 更新脚本并且修改gitignore
|
2026-04-02 15:40:31 +08:00 |
|
ViperEkura
|
475de51c7d
|
feat: 增加server, 并且修改测试单元
|
2026-04-02 15:05:07 +08:00 |
|
ViperEkura
|
9f1561afe7
|
reafactor: 修改ModelParameter
|
2026-03-31 16:00:55 +08:00 |
|
ViperEkura
|
2e009cf59a
|
chore: 更新项目名称
|
2026-03-31 09:34:11 +08:00 |