 ViperEkura
|
6269bacfc3
|
refactor: decode 按页分桶批处理，position_ids 改为 per-task 构建
|
2026-05-14 14:22:11 +08:00 |
|
ViperEkura
|
c0effc9f5b
|
refactor: 位置编码改用 position_ids [B,S]，简化 attention mask 构建
- RotaryEmbedding/CacheView 接受 position_ids 替代 start_pos
- process_attention_mask 用 position_ids >= arange 做逐位置 causal
- 训练/无 KV cache 时 position_ids=None 内部自动处理
- 移除 executor/benchmark 中冗余的 input_mask 构造
|
2026-05-14 13:26:31 +08:00 |
|
ViperEkura
|
df0845e916
|
chore: 解耦 Executor/Scheduler/TaskManager，修复 stop 页泄漏，移除 ServerState 全局单例
|
2026-05-12 13:47:55 +08:00 |
|
ViperEkura
|
38e18fdfd3
|
refactor: PagedCache Facade 模式，提取 PagePool/PrefixCache/TaskTable
- cache.py: 提取 PagePool (位图+LRU)、PrefixCache (前缀哈希)、TaskTable (任务页表)
PagedCache 降为 Facade 组合三者 + 张量存储，公开 API 不变
- executor.py: 移除 allocate_pages_for_activation/free_task_pages/get_cached_tokens
三冗余委托方法，去掉 page_size 构造参数(改用 page_cache.page_size)
- scheduler.py: 直接调用 self._page_cache.* 代替已移除的 Executor 委托
- 移除 CacheView.__slots__、PagePool.ref_count、PagedCache.alloc/pages_needed/inc_ref
PrefixCache.evict 等死/冗余方法
|
2026-05-11 15:22:21 +08:00 |
|
ViperEkura
|
4753958f92
|
refactor: 页状态移入 PagedCache，Task 纯化为域对象
- PagedCache 增 task_alloc/task_free/task_extend/task_cached/task_record_hashes/make_table_tensor
- Task 移除 page_table/n_pages/_prefix_cached_tokens/_pages_freed
- Executor 移除 _PageState，页操作全部委托 PagedCache
- CacheView.gather 截断逻辑下沉到 PagedCache.gather
- 各类补充单行职责 docstring
|
2026-05-11 14:42:39 +08:00 |
|
ViperEkura
|
73d6cc0f26
|
refactor: TaskManager 剥离页管理，STOP 移至 task.py
- TaskManager 移除 page_cache/page_size 依赖，增 pull_candidates/activate/return_to_waiting
- Executor 增 allocate_pages_for_activation/free_task_pages，承接全部页操作
- STOP 从 cache.py 移至 task.py
- scheduler loop 显式装配: 清理→释页 / 拉取→分配→激活
- sampling.py → sample.py
|
2026-05-11 14:04:31 +08:00 |
|
ViperEkura
|
317ed90bac
|
refactor: 拆分 scheduler 为 TaskManager + Executor
- InferenceScheduler 退化为编排器，委托 TaskManager 管理任务生命周期 + Executor 执行模型前向
- Task/TaskStatus/TaskManager 移至 task.py
- Executor 移至 executor.py (原 BatchExecutor)
- scheduler.py 437 行 -> 142 行
|
2026-05-11 13:50:11 +08:00 |