AstrAI/astrai
ViperEkura 520de3ebe8 refactor: 重构推理引擎控制逻辑,修复连续批处理核心缺陷
- 修复 decode 阶段新任务覆盖已有任务的严重缺陷
- 修复线程安全问题(热路径无锁竞争)
- 修复前缀缓存引用计数管理不当导致缓存被驱逐
- 修复 pad_id 缺失导致全量 prefill 崩溃
- 修复 RoPE 位置错乱(不同位置任务共用 start_pos)
- 新增 slot 版本追踪实现前缀缓存零拷贝复用
- 新增异步流式生成接口避免阻塞事件循环
- 添加完整英文文档字符串
2026-05-06 16:04:06 +08:00
..
config feat: 实现模型动态注册机制 2026-04-05 19:38:12 +08:00
dataset chore: 修改错误拼写 2026-04-06 10:37:19 +08:00
inference refactor: 重构推理引擎控制逻辑,修复连续批处理核心缺陷 2026-05-06 16:04:06 +08:00
model chore: 修改RMSNorm 实现 2026-04-06 20:27:01 +08:00
parallel refactor: 优化参数传递,清理导入样式 2026-04-03 22:06:32 +08:00
tokenize refactor: 精简推理引擎代码,优化参数传递规范 2026-04-09 14:17:48 +08:00
trainer chore: 修改拼写错误问题 2026-04-06 09:28:16 +08:00
__init__.py chore: 优化未使用的模块 2026-04-06 09:54:17 +08:00
factory.py chore: 修改类名,优化导入顺序 2026-04-05 22:27:57 +08:00
serialization.py refactor: 从data 模块分离tokenizer 2026-04-04 16:12:58 +08:00