AstrAI/astrai/model/components
ViperEkura a304e16ff0 feat: 新增NTK-Aware RoPE缩放支持
- RotaryEmbedding接受rope_scaling配置,自动计算scaled base

- AutoRegressiveLMConfig和EncoderConfig新增rope_scaling字段
2026-05-25 21:20:10 +08:00
..
__init__.py refactor: 拆分 module.py 为 components 子包 2026-05-15 20:08:36 +08:00
attention.py fix: 修复训练与模型参数传递问题 2026-05-17 11:20:13 +08:00
decoder_block.py fix: 修复 MLA 多个 bug 并缩小测试模型参数 2026-05-16 14:57:43 +08:00
embedding.py refactor: 改用递归子模块 init 替代统一 normal_(0.006) 2026-05-17 10:44:18 +08:00
linear.py refactor: 改用递归子模块 init 替代统一 normal_(0.006) 2026-05-17 10:44:18 +08:00
lora.py feat: 新增LoRA微调模块 2026-05-25 20:15:31 +08:00
mlp.py refactor: 工厂 kwargs 过滤及组件参数清理 2026-05-16 16:47:41 +08:00
norm.py refactor: 拆分 module.py 为 components 子包 2026-05-15 20:08:36 +08:00
rope.py feat: 新增NTK-Aware RoPE缩放支持 2026-05-25 21:20:10 +08:00