AstrAI/astrai
ViperEkura 0ba8c70ce1 fix: 修复 MLA 多个 bug 并缩小测试模型参数
- MLA kv_b_proj 输出维度和 q_rope 切分偏移修复
- 打通 MLA 配置从 ModelConfig 到 DecoderBlock 的传递路径
- rope_theta 配置不再被忽略,MLA 使用 qk_rope_head_dim
- tie_weight 使用 is True 避免 None 隐式生效
- norm_eps/rope base 类型标注修正
- 测试模型参数缩小 (dim=8, head_dim=4)
- 新增 6 种架构配置 × 2 场景的前向传播测试
2026-05-16 14:57:43 +08:00
..
config fix: 修复 MLA 多个 bug 并缩小测试模型参数 2026-05-16 14:57:43 +08:00
dataset fix: MultiSegmentFetcher 空 dict 崩溃 + BaseDataset assert 替换为显式 raise 2026-05-12 11:41:45 +08:00
inference perf: waiting_queue 改用 deque,pull_candidates 从 O(n²) 降到 O(1) 2026-05-14 21:38:00 +08:00
model fix: 修复 MLA 多个 bug 并缩小测试模型参数 2026-05-16 14:57:43 +08:00
parallel refactor: 移除 device_ids 参数设计,统一通过 CUDA_VISIBLE_DEVICES 控制 GPU 分配;更新 README 训练示例 2026-05-09 14:55:43 +08:00
tokenize fix: 修复 CLI 参数缺失/重复、device_ids 越界、generate 参数名不一致、scheduler 时序、非流式截断等 bug 2026-05-09 14:36:42 +08:00
trainer fix: 修复训练循环 step/backward 顺序,重构为三重循环嵌套 2026-05-15 14:44:44 +08:00
__init__.py chore: 版本号升至 1.3.5 2026-05-15 18:23:27 +08:00
factory.py refactor: 消除多处重复模式,统一工厂和参数传递 2026-05-14 18:00:50 +08:00
serialization.py refactor: 抽取 BaseStorage 存储抽象,支持 JSON 原始文本数据加载 2026-05-12 11:17:24 +08:00