ViperEkura 737585a32a feat: 新增NTK-Aware RoPE缩放支持 ...

- RotaryEmbedding接受rope_scaling配置,自动计算scaled base
- AutoRegressiveLMConfig和EncoderConfig新增rope_scaling字段

2026-05-25 21:22:07 +08:00

..

__init__.py

refactor: 拆分 module.py 为 components 子包

2026-05-15 20:08:36 +08:00

attention.py

fix: 修复训练与模型参数传递问题

2026-05-17 11:20:13 +08:00

decoder_block.py

fix: 修复 MLA 多个 bug 并缩小测试模型参数

2026-05-16 14:57:43 +08:00

embedding.py

refactor: 改用递归子模块 init 替代统一 normal_(0.006)

2026-05-17 10:44:18 +08:00

linear.py

refactor: 改用递归子模块 init 替代统一 normal_(0.006)

2026-05-17 10:44:18 +08:00

lora.py

feat: 新增LoRA微调模块

2026-05-25 20:15:31 +08:00

mlp.py

refactor: 工厂 kwargs 过滤及组件参数清理

2026-05-16 16:47:41 +08:00

norm.py

refactor: 拆分 module.py 为 components 子包

2026-05-15 20:08:36 +08:00

rope.py

feat: 新增NTK-Aware RoPE缩放支持

2026-05-25 21:22:07 +08:00