AstrAI/astrai/model/components
ViperEkura 1d54491809 refactor: 改用递归子模块 init 替代统一 normal_(0.006)
- Embedding.reset_parameters: normal_(std=0.02)
- Linear.reset_parameters: kaiming_uniform_ + uniform_ bias
- Transformer._init_weights 通过 apply 递归调用子模块 reset_parameters
- 移除全局 normal_(0.006) 覆盖,各模块使用更合适的分布
2026-05-17 10:44:18 +08:00
..
__init__.py refactor: 拆分 module.py 为 components 子包 2026-05-15 20:08:36 +08:00
attention.py refactor: 工厂 kwargs 过滤及组件参数清理 2026-05-16 16:47:41 +08:00
decoder_block.py fix: 修复 MLA 多个 bug 并缩小测试模型参数 2026-05-16 14:57:43 +08:00
embedding.py refactor: 改用递归子模块 init 替代统一 normal_(0.006) 2026-05-17 10:44:18 +08:00
linear.py refactor: 改用递归子模块 init 替代统一 normal_(0.006) 2026-05-17 10:44:18 +08:00
mlp.py refactor: 工厂 kwargs 过滤及组件参数清理 2026-05-16 16:47:41 +08:00
norm.py refactor: 拆分 module.py 为 components 子包 2026-05-15 20:08:36 +08:00
rope.py fix: 修复 MLA 多个 bug 并缩小测试模型参数 2026-05-16 14:57:43 +08:00