ViperEkura/AstrAI
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Commit Graph

  • e3382f6bb5 fix: 修复推理引擎 batch decode 中多项正确性与并发问题 ViperEkura 2026-05-14 21:27:05 +08:00
  • f0339022c1 fix: batch 推理示例添加 chat template 和 system prompt ViperEkura 2026-05-14 20:59:01 +08:00
  • d8da2cf17c docs: 修复文档中与源码不符的类名、方法签名和模块归属 ViperEkura 2026-05-14 20:26:02 +08:00
  • 205b40bd28 refactor: 重构 cache 和 inference 参数体系，分离存储与分配 ViperEkura 2026-05-14 19:47:11 +08:00
  • 18fe6e9339 refactor: 消除多处重复模式，统一工厂和参数传递 ViperEkura 2026-05-14 18:00:50 +08:00
  • 2196c34c52 refactor: 重构 inference 模块架构，引入设计模式并分组文件 ViperEkura 2026-05-14 17:42:37 +08:00
  • 466c2e1efd fix: process_attention_mask 中 expand 后的 inplace 写导致 alias 报错 ViperEkura 2026-05-14 16:30:31 +08:00
  • 7e26d848ab perf: apply_rotary_emb 改用复数乘法 ViperEkura 2026-05-14 16:16:08 +08:00
  • ed95ef245c perf: 消除 RotaryEmbedding.forward 中 position_ids GPU 同步 ViperEkura 2026-05-14 15:53:21 +08:00
  • 6d6ef99e66 perf: 消除 PagedCache.write 中的 position_ids GPU 同步，解码提速 15% ViperEkura 2026-05-14 15:37:48 +08:00
  • a8e2a1ba45 docs: 修正文档中与源码不符的类名、方法签名和模块归属 ViperEkura 2026-05-14 15:04:53 +08:00
  • 6269bacfc3 refactor: decode 按页分桶批处理，position_ids 改为 per-task 构建 ViperEkura 2026-05-14 14:22:11 +08:00
  • c0effc9f5b refactor: 位置编码改用 position_ids [B,S]，简化 attention mask 构建 ViperEkura 2026-05-14 13:26:31 +08:00
  • df0845e916 chore: 解耦 Executor/Scheduler/TaskManager，修复 stop 页泄漏，移除 ServerState 全局单例 ViperEkura 2026-05-12 13:44:55 +08:00
  • 7440e9c809 style: 重命名 test_scheduler_concurrency 为 test_scheduler ViperEkura 2026-05-12 12:24:36 +08:00
  • 7d4029c2a4 test: inference 模块补全单元测试，cache/sample/engine/task ViperEkura 2026-05-12 12:17:57 +08:00
  • 0ca6c9e6eb test: 增加 13 个边界条件测试，不需要 base_test_env 的函数移除该参数 ViperEkura 2026-05-12 11:47:30 +08:00
  • 6e49d27057 fix: MultiSegmentFetcher 空 dict 崩溃 + BaseDataset assert 替换为显式 raise ViperEkura 2026-05-12 11:41:45 +08:00
  • 5203b7f53e perf: 测试优化，model 改为 session 共享，scheduler 用 Event 替代 sleep ViperEkura 2026-05-12 11:33:02 +08:00
  • 5889179c54 refactor: 抽取 BaseStorage 存储抽象，支持 JSON 原始文本数据加载 ViperEkura 2026-05-12 11:17:24 +08:00
  • 38e18fdfd3 refactor: PagedCache Facade 模式，提取 PagePool/PrefixCache/TaskTable ViperEkura 2026-05-11 15:21:55 +08:00
  • 4753958f92 refactor: 页状态移入 PagedCache，Task 纯化为域对象 ViperEkura 2026-05-11 14:42:39 +08:00
  • 73d6cc0f26 refactor: TaskManager 剥离页管理，STOP 移至 task.py ViperEkura 2026-05-11 14:04:31 +08:00
  • 317ed90bac refactor: 拆分 scheduler 为 TaskManager + Executor ViperEkura 2026-05-11 13:50:11 +08:00
  • 951df8155c perf: gather 向量化 ViperEkura 2026-05-10 21:01:03 +08:00
  • a58fab8d6e fix: max_seq_len 检查改为仅 prompt 超限发 STOP，max_tokens 超出部分 clamp ViperEkura 2026-05-10 20:17:47 +08:00
  • a3c8296135 fix: page cache 分配失败越界崩溃 + 长度超限终止 ViperEkura 2026-05-10 20:14:38 +08:00
  • c95ace41aa fix: prefill 时 attention mask 长度不足导致 expand 崩溃 ViperEkura 2026-05-10 19:56:03 +08:00
  • 3da428e0e4 perf: PagedCache 持久前缀缓存 + LRU 逐出 ViperEkura 2026-05-10 18:05:11 +08:00
  • 133a9de98f feat: _generate_streaming 支持 batch 模式 ViperEkura 2026-05-10 17:37:19 +08:00
  • 523eacf5fe release: v1.3.4 v1.3.4 ViperEkura 2026-05-10 15:59:18 +08:00
  • cffedaad5e perf: 消除非流式推理 CPU 空转并减少 decode GPU 张量冗余分配 ViperEkura 2026-05-10 15:32:11 +08:00
  • 3583c46b66 feat: 推理引擎前缀缓存（KV cache 复用） ViperEkura 2026-05-09 23:53:23 +08:00
  • ca4e6b907c feat: Checkpoint 支持 extra 通用扩展数据，用户通过函数自定义保存/恢复优化器等状态 ViperEkura 2026-05-09 15:50:38 +08:00
  • db99d8b254 fix: 修复文档多处不准确 + inference scheduler 越界 bug + SchedulerCallback 回调阶段修正 ViperEkura 2026-05-09 15:37:14 +08:00
  • b98c9cefdc refactor: 移除 device_ids 参数设计，统一通过 CUDA_VISIBLE_DEVICES 控制 GPU 分配；更新 README 训练示例 ViperEkura 2026-05-09 14:55:43 +08:00
  • 283bcaf2ff fix: 修复 CLI 参数缺失/重复、device_ids 越界、generate 参数名不一致、scheduler 时序、非流式截断等 bug ViperEkura 2026-05-09 14:36:42 +08:00
  • bc7c82977e feat: GRPO CLI 接入 + on-policy，OpenAI API top_k 参数化，补充训练参数表 ViperEkura 2026-05-09 12:22:33 +08:00
  • 34a511e36e feat: 新增 Docker Compose 一键部署，支持 GPU/CPU 双模式 ViperEkura 2026-05-09 11:57:46 +08:00
  • d73f52a2f8 feat: 新增 Anthropic 兼容 /v1/messages API，移除旧版 /generate 端点 ViperEkura 2026-05-09 11:46:08 +08:00
  • 9d96b0431d docs: 更新文档以匹配分页 KV cache 等代码重构 ViperEkura 2026-05-08 22:41:13 +08:00
  • f81e2b4a73 feat: OpenAI 兼容的 chat completion API（流式+非流式+usage） ViperEkura 2026-05-08 21:45:22 +08:00
  • 4e324d8f26 fix: benchmark 改用 PagedCache 替代已删除的 persistent_key_values ViperEkura 2026-05-08 21:25:49 +08:00
  • 6ed0506491 fix: 减少调度器延迟 — 移除解码路径 5ms 睡眠，修复 refill 任务丢失 bug ViperEkura 2026-05-08 21:13:52 +08:00
  • 30cc2d67a4 refactor: 分页 KV cache 替换固定 slot，删除 PrefixCache 及相关死代码 ViperEkura 2026-05-08 20:44:05 +08:00
  • 7ddebf2cd9 refactor: 统一采样路径为 Strategy + batch tensor，删除 apply_sampling_strategies ViperEkura 2026-05-08 19:02:57 +08:00
  • 78dc2bd41c docs: 修正文档错误并补充训练参数说明 ViperEkura 2026-05-08 18:07:57 +08:00
  • 44d7a4e959 refactor: 设计模式优化 inference 模块导入结构 ViperEkura 2026-05-08 16:55:24 +08:00
  • c4401512f2 fix: 修复长对话截断方向错误，保留最新 token 而非最早 ViperEkura 2026-05-08 15:52:27 +08:00
  • a6f5ff3b37 fix: 修复 remove_task 未释放 KV cache slot 导致第二轮对话死锁 ViperEkura 2026-05-08 14:53:04 +08:00
  • ffff05b2c6 refactor: 替换魔法字符串为_STOP sentinel，修复generator清理逻辑 ViperEkura 2026-05-06 20:20:33 +08:00
  • b89f8436ea refactor: 将KV缓存槽位映射下沉到模型注意力层，移除_remap_kv和_writeback_kv ViperEkura 2026-05-06 20:01:22 +08:00
  • 123f25e339 fix: 修复KV缓存槽位索引错位、版本校验缺失与注意力掩码问题，合并预填充方法 ViperEkura 2026-05-06 19:45:54 +08:00
  • 520de3ebe8 refactor: 重构推理引擎控制逻辑，修复连续批处理核心缺陷 ViperEkura 2026-05-06 16:04:06 +08:00
  • 466c34d7a8 ci: 添加 Docker 镜像自动构建工作流 v1.3.3 ViperEkura 2026-04-10 13:09:58 +08:00
  • 6831a15424 docs: 更新镜像构建部分说明 ViperEkura 2026-04-10 12:59:50 +08:00
  • 0f9e5c5049 build: 修改docker 配置 ViperEkura 2026-04-10 12:53:08 +08:00
  • cb0e7f2a80 build: 修改docker 构建流程 ViperEkura 2026-04-10 11:25:00 +08:00
  • 296db909aa docs: 更新设计文档 ViperEkura 2026-04-09 20:05:54 +08:00
  • a2ae742988 chore: 增加并发测试 ViperEkura 2026-04-09 18:10:28 +08:00
  • 29beb174a5 fix: 修复删除节点问题 ViperEkura 2026-04-09 16:58:29 +08:00
  • bbeaff4c60 refactor: 精简推理引擎代码，优化参数传递规范 ViperEkura 2026-04-09 14:17:48 +08:00
  • ab5e207f42 feat: 增加缓存处理 ViperEkura 2026-04-08 20:54:14 +08:00
  • b0eff02446 chore: 修改RMSNorm 实现 ViperEkura 2026-04-06 20:27:01 +08:00
  • 408f0cb513 docs: 更新网络接口文档 ViperEkura 2026-04-06 13:39:51 +08:00
  • 64b78ecce3 fix: 增加旋转位置编码扩展 ViperEkura 2026-04-06 13:29:39 +08:00
  • f2ffdf60d0 chore: 修改错误拼写 ViperEkura 2026-04-06 10:37:19 +08:00
  • ace8f6ee68 chore: 优化未使用的模块 ViperEkura 2026-04-06 09:54:17 +08:00
  • a57a16430d fix: 修复tokenizer存储的问题 ViperEkura 2026-04-06 09:36:29 +08:00
  • 3fee87897d chore: 修改拼写错误问题 ViperEkura 2026-04-06 09:28:16 +08:00
  • 3f67e53088 fix: 修复tokenizer 参数问题 ViperEkura 2026-04-06 09:22:46 +08:00
  • bf7adb35b3 docs: 更新文档 ViperEkura 2026-04-06 00:50:37 +08:00
  • feaa3fca36 ci: 优化 GitHub Actions 工作流 ViperEkura 2026-04-05 22:40:16 +08:00
  • 39766aa1dc chore: 修改类名，优化导入顺序 ViperEkura 2026-04-05 22:27:57 +08:00
  • 9b22b1651e refactor: 优化工具脚本接口并修复批处理问题 ViperEkura 2026-04-05 21:56:22 +08:00
  • e58dbd7c57 chore: 精简实现代码部分 ViperEkura 2026-04-05 21:16:38 +08:00
  • d2fe8afbd1 chore: 更新文档， 修正代码格式 ViperEkura 2026-04-05 20:59:52 +08:00
  • 23ce4bc3ae fix: 修复异常处理问题 ViperEkura 2026-04-05 20:44:35 +08:00
  • d2b36cc85d fix: 修复特殊token 的问题 ViperEkura 2026-04-05 20:09:47 +08:00
  • fc278d17ab feat: 实现模型动态注册机制 ViperEkura 2026-04-05 19:38:12 +08:00
  • ff43a2fab8 docs: 更新设计文档 ViperEkura 2026-04-05 00:17:35 +08:00
  • 2b26f03bd3 refactor: 拆分engine.py 文件 ViperEkura 2026-04-05 00:07:21 +08:00
  • 861d33b1a1 refactor: 更新inference 部分的实现 ViperEkura 2026-04-04 23:49:18 +08:00
  • 99b821ebf5 docs: 更新文档类图等 ViperEkura 2026-04-04 18:11:36 +08:00
  • c94a246c71 chore: 重命名目录 ViperEkura 2026-04-04 17:03:22 +08:00
  • 2dc9545d7f refactor: 实现 chat template 分派设置 ViperEkura 2026-04-04 16:56:31 +08:00
  • 9c31d78a22 chore: 将data 模块命名为dataset ViperEkura 2026-04-04 16:16:27 +08:00
  • bd9741dc5f refactor: 从data 模块分离tokenizer ViperEkura 2026-04-04 16:12:58 +08:00
  • b531232a9b style: 修改为显式导入 ViperEkura 2026-04-04 16:02:49 +08:00
  • 3346c75584 feat: 优化工厂模式的实现 ViperEkura 2026-04-04 15:49:46 +08:00
  • aa5e03d7f6 fix: 修复工厂模式问题并增加chat-template设置 ViperEkura 2026-04-04 12:05:05 +08:00
  • 073baf105c chore: 修复docker配置问题 ViperEkura 2026-04-04 11:35:14 +08:00
  • e97536758f refactor: 优化工厂模式结构 ViperEkura 2026-04-04 11:33:58 +08:00
  • 7861af12e4 chore: 增加docker 配置 ViperEkura 2026-04-04 10:59:32 +08:00
  • 7f0552013a chore: 增加提交检测脚本 ViperEkura 2026-04-04 10:43:24 +08:00
  • 3535de5cc4 fix: 同步device 和 dtype ViperEkura 2026-04-04 10:25:39 +08:00
  • 26989e54aa feat: 优化server 部分设置 ViperEkura 2026-04-04 01:41:01 +08:00
  • 70d52935f0 fix: 修复参数问题 ViperEkura 2026-04-03 23:34:21 +08:00
  • c0e0e6afd9 docs: 更新文档 ViperEkura 2026-04-03 22:11:19 +08:00
  • 0852b852f8 refactor: 优化参数传递，清理导入样式 ViperEkura 2026-04-03 22:06:32 +08:00