AstrAI/astrai/inference
ViperEkura 8f1b32f2b6 fix: 移除多余 request 参数并增强 tokenizer 健壮性
- 路由和 _get_engine 不再需要 request 参数,直接引用模块级 app
- from_pretrained 增加文件完整性校验,缺 tokenizer.json 则抛 FileNotFoundError
- 移除 from_pretrained 中未使用的 **kwargs
2026-05-17 12:52:18 +08:00
..
api fix: 移除多余 request 参数并增强 tokenizer 健壮性 2026-05-17 12:52:18 +08:00
core refactor: 工厂 kwargs 过滤及组件参数清理 2026-05-16 16:47:41 +08:00
__init__.py refactor: 重构 cache 和 inference 参数体系,分离存储与分配 2026-05-14 20:05:08 +08:00
engine.py fix: 修复推理引擎 batch decode 中多项正确性与并发问题 2026-05-14 21:31:39 +08:00
sample.py fix: 修复推理引擎 batch decode 中多项正确性与并发问题 2026-05-14 21:31:39 +08:00