AstrAI/astrai/model
ViperEkura 7e26d848ab perf: apply_rotary_emb 改用复数乘法
- get_rotary_emb 保留 cos/sin 实数存储,forward 组合为 complex
- apply_rotary_emb 用 view_as_complex 复数乘法替代多次 view mul stack
- 移除 GQA MLA DecoderBlock 中的 Tuple Tensor Tensor 类型
- 解码从 4.24s 降到 3.49s
2026-05-14 16:20:16 +08:00
..
__init__.py chore: 修改类名,优化导入顺序 2026-04-05 22:27:57 +08:00
automodel.py fix: 修复 CLI 参数缺失/重复、device_ids 越界、generate 参数名不一致、scheduler 时序、非流式截断等 bug 2026-05-09 14:36:42 +08:00
module.py perf: apply_rotary_emb 改用复数乘法 2026-05-14 16:20:16 +08:00
transformer.py perf: 消除 PagedCache.write 中的 position_ids GPU 同步,解码提速 15% 2026-05-14 15:37:48 +08:00