AstrAI

Commit Graph

Author	SHA1	Message	Date
ViperEkura	44d7a4e959	refactor: 设计模式优化 inference 模块导入结构 - 新建 cache.py：SlotAllocator 对象池 + PrefixCacheManager - 新建 sampling.py：Temperature/TopK/TopP 可组合策略 - TaskStatus 改用 Enum，GenerationParams 值对象模式 - _STOP 移至 cache.py，解除 engine→scheduler 轻量耦合 - 更新测试导入路径，ruff 格式检查通过	2026-05-08 16:57:57 +08:00
ViperEkura	520de3ebe8	refactor: 重构推理引擎控制逻辑，修复连续批处理核心缺陷 - 修复 decode 阶段新任务覆盖已有任务的严重缺陷 - 修复线程安全问题（热路径无锁竞争） - 修复前缀缓存引用计数管理不当导致缓存被驱逐 - 修复 pad_id 缺失导致全量 prefill 崩溃 - 修复 RoPE 位置错乱（不同位置任务共用 start_pos） - 新增 slot 版本追踪实现前缀缓存零拷贝复用 - 新增异步流式生成接口避免阻塞事件循环 - 添加完整英文文档字符串	2026-05-06 16:04:06 +08:00
ViperEkura	a2ae742988	chore: 增加并发测试	2026-04-09 18:10:28 +08:00

Author

SHA1

Message

Date

ViperEkura

44d7a4e959

refactor: 设计模式优化 inference 模块导入结构

- 新建 cache.py：SlotAllocator 对象池 + PrefixCacheManager

- 新建 sampling.py：Temperature/TopK/TopP 可组合策略

- TaskStatus 改用 Enum，GenerationParams 值对象模式

- _STOP 移至 cache.py，解除 engine→scheduler 轻量耦合

- 更新测试导入路径，ruff 格式检查通过

2026-05-08 16:57:57 +08:00

ViperEkura

520de3ebe8

refactor: 重构推理引擎控制逻辑，修复连续批处理核心缺陷

- 修复 decode 阶段新任务覆盖已有任务的严重缺陷
- 修复线程安全问题（热路径无锁竞争）
- 修复前缀缓存引用计数管理不当导致缓存被驱逐
- 修复 pad_id 缺失导致全量 prefill 崩溃
- 修复 RoPE 位置错乱（不同位置任务共用 start_pos）
- 新增 slot 版本追踪实现前缀缓存零拷贝复用
- 新增异步流式生成接口避免阻塞事件循环
- 添加完整英文文档字符串

2026-05-06 16:04:06 +08:00

ViperEkura

a2ae742988

chore: 增加并发测试

2026-04-09 18:10:28 +08:00

3 Commits