AstrAI/astrai/inference
ViperEkura 317ed90bac refactor: 拆分 scheduler 为 TaskManager + Executor
- InferenceScheduler 退化为编排器,委托 TaskManager 管理任务生命周期 + Executor 执行模型前向
- Task/TaskStatus/TaskManager 移至 task.py
- Executor 移至 executor.py (原 BatchExecutor)
- scheduler.py 437 行 -> 142 行
2026-05-11 13:50:11 +08:00
..
__init__.py refactor: 拆分 scheduler 为 TaskManager + Executor 2026-05-11 13:50:11 +08:00
cache.py perf: gather 向量化 2026-05-10 21:01:03 +08:00
engine.py feat: _generate_streaming 支持 batch 模式 2026-05-10 17:42:20 +08:00
executor.py refactor: 拆分 scheduler 为 TaskManager + Executor 2026-05-11 13:50:11 +08:00
sampling.py refactor: 分页 KV cache 替换固定 slot,删除 PrefixCache 及相关死代码 2026-05-08 20:44:05 +08:00
scheduler.py refactor: 拆分 scheduler 为 TaskManager + Executor 2026-05-11 13:50:11 +08:00
server.py feat: GRPO CLI 接入 + on-policy,OpenAI API top_k 参数化,补充训练参数表 2026-05-09 12:22:33 +08:00
task.py refactor: 拆分 scheduler 为 TaskManager + Executor 2026-05-11 13:50:11 +08:00