AstrAI/astrai/model/components
ViperEkura a4688021bf feat: 新增LoRA微调模块
- LoRALinear基于register_parameter托管base weight,state_dict路径不变
- inject_lora/merge_lora/save_lora/load_lora完备封装
- 24个单元测试覆盖注入、合并、存取、边界场景
2026-05-25 20:15:31 +08:00
..
__init__.py refactor: 拆分 module.py 为 components 子包 2026-05-15 20:08:36 +08:00
attention.py fix: 修复训练与模型参数传递问题 2026-05-17 11:20:13 +08:00
decoder_block.py fix: 修复 MLA 多个 bug 并缩小测试模型参数 2026-05-16 14:57:43 +08:00
embedding.py refactor: 改用递归子模块 init 替代统一 normal_(0.006) 2026-05-17 10:44:18 +08:00
linear.py refactor: 改用递归子模块 init 替代统一 normal_(0.006) 2026-05-17 10:44:18 +08:00
lora.py feat: 新增LoRA微调模块 2026-05-25 20:15:31 +08:00
mlp.py refactor: 工厂 kwargs 过滤及组件参数清理 2026-05-16 16:47:41 +08:00
norm.py refactor: 拆分 module.py 为 components 子包 2026-05-15 20:08:36 +08:00
rope.py fix: 修复 MLA 多个 bug 并缩小测试模型参数 2026-05-16 14:57:43 +08:00