AstrAI/astrai/model/components
ViperEkura 39985840c7 refactor : neftune_alpha 在 Embedding 构造时传入,由模型配置链路负责
- BaseModelConfig 添加 neftune_alpha 字段 (默认 0.0)
- Embedding.__init__ 接受 neftune_alpha 参数,不再外部 set
- AutoRegressiveLM / EmbeddingEncoder 从 config 传入 neftune_alpha
- train.py 将 CLI 参数注入 config 后再创建模型
- TrainContextBuilder 移除 neftune 设置(不再是其职责)
2026-06-19 14:23:27 +08:00
..
__init__.py refactor: 拆分 module.py 为 components 子包 2026-05-15 20:08:36 +08:00
attention.py refactor : 清理工厂和配置系统中的死代码与冗余抽象 2026-06-07 11:39:50 +08:00
decoder_block.py refactor : 将 config 对象直接传给 DecoderBlock,替代 16 个独立参数 2026-06-19 14:15:33 +08:00
embedding.py refactor : neftune_alpha 在 Embedding 构造时传入,由模型配置链路负责 2026-06-19 14:23:27 +08:00
linear.py refactor: 改用递归子模块 init 替代统一 normal_(0.006) 2026-05-17 10:44:18 +08:00
lora.py refactor: 统一序列化层,消除分散的 I/O 路径 2026-05-26 16:44:40 +08:00
mlp.py refactor : 清理工厂和配置系统中的死代码与冗余抽象 2026-06-07 11:39:50 +08:00
norm.py refactor: 拆分 module.py 为 components 子包 2026-05-15 20:08:36 +08:00
rope.py feat: 新增NTK-Aware RoPE缩放支持 2026-05-25 21:22:07 +08:00