AstrAI/astrai/inference
ViperEkura 47c37e4876 refactor: 推理协议层重构为策略/建造者模式
- ProtocolHandler 改为具体类,格式化委托给 ResponseBuilder
- 新增 api/protocols/ 目录,含 OpenAIResponseBuilder、AnthropicResponseBuilder
- GenContext、StopInfo 参数对象替代 StreamContext
- 消除 Builder 的实例可变状态(accumulated、_yielded)
- SSE 工具和停止检测收归 ProtocolHandler 统一管理
- prepare() 方法合并原来的 build_prompt、create_response_id
- 参数校验去重:仅 GenerationRequest.init 负责校验
- Prefill 阶段提前短路完全命中的缓存任务
2026-05-26 00:12:57 +08:00
..
api refactor: 推理协议层重构为策略/建造者模式 2026-05-26 00:12:57 +08:00
core refactor: 推理协议层重构为策略/建造者模式 2026-05-26 00:12:57 +08:00
__init__.py refactor: 推理协议层重构为策略/建造者模式 2026-05-26 00:12:57 +08:00
engine.py refactor: 推理协议层重构为策略/建造者模式 2026-05-26 00:12:57 +08:00
sample.py fix: 修复推理引擎 batch decode 中多项正确性与并发问题 2026-05-14 21:31:39 +08:00