ViperEkura
523eacf5fe
- refactor: 分页 KV cache（PagedCache+CacheView）替换固定 slot，删除 PrefixCache - refactor: 推理引擎控制逻辑重写，修复连续批处理核心缺陷、线程安全问题 - refactor: KV 缓存槽位下沉到注意力层，移除 _remap_kv / _writeback_kv - refactor: 统一采样路径为 SamplingPipeline batch tensor，删除 apply_sampling_strategies - refactor: 设计模式优化 inference 模块导入结构（cache/sampling 独立） - feat: 推理引擎前缀缓存（KV cache 复用） - feat: OpenAI 兼容 chat completion API（流式+非流式+usage） - feat: Anthropic 兼容 /v1/messages API，移除旧版 /generate 端点 - feat: GRPO CLI 接入 + on-policy，OpenAI API top_k 参数化 - feat: Checkpoint 支持 extra 通用扩展数据 - feat: Docker Compose 一键部署（GPU/CPU 双模式） - feat: GRPO 训练参数补充，批处理训练参数表 - fix: 调度器延迟优化 — 移除 5ms 睡眠，修复 refill 任务丢失 - fix: CLI 参数缺失/重复、device_ids 越界、generate 参数名不一致 - fix: 长对话截断方向错误，保留最新 token 而非最早 - fix: remove_task 未释放 KV cache slot 导致第二轮对话死锁 - fix: KV cache 槽位索引错位、版本校验缺失、注意力掩码 - fix: scheduler 越界 bug，SchedulerCallback 回调阶段修正 - perf: _Result 改用 Condition.wait_for 消除非流式 CPU 空转 - perf: decode 每步张量预分配；input_ids 改用一次构建代替逐元素赋值 - refactor: 移除 device_ids 参数，统一 CUDA_VISIBLE_DEVICES - docs: 更新文档以匹配分页 KV cache 等代码重构 - docs: 修正多处文档错误、补充训练参数说明 |
||
|---|---|---|
| .. | ||
| config | ||
| dataset | ||
| inference | ||
| model | ||
| parallel | ||
| tokenize | ||
| trainer | ||
| __init__.py | ||
| factory.py | ||
| serialization.py | ||