 ViperEkura
|
39985840c7
|
refactor : neftune_alpha 在 Embedding 构造时传入，由模型配置链路负责
- BaseModelConfig 添加 neftune_alpha 字段 (默认 0.0)
- Embedding.__init__ 接受 neftune_alpha 参数，不再外部 set
- AutoRegressiveLM / EmbeddingEncoder 从 config 传入 neftune_alpha
- train.py 将 CLI 参数注入 config 后再创建模型
- TrainContextBuilder 移除 neftune 设置（不再是其职责）
|
2026-06-19 14:23:27 +08:00 |
|
ViperEkura
|
b1adc40cfb
|
refactor : 将 config 对象直接传给 DecoderBlock，替代 16 个独立参数
- DecoderBlock.__init__ 改为 (config, layer_id)，内部用 asdict
展开字段给 AttnFactory/FFNFactory，factory 按 __init__ 签名自动过滤
- EncoderConfig 补充 attn_type 和 ffn_type 字段
- 314 个测试全部通过
|
2026-06-19 14:15:33 +08:00 |
|
ViperEkura
|
2d5dc93b3d
|
fix : 修正类型标注与统一 CLI 参数命名
- AutoRegressiveLM.forward 返回类型标注 -> Dict[str, Tensor]
- EmbeddingEncoder 移除冗余 position_ids 自动创建
- CLI 脚本模型目录参数统一为 --param_path
|
2026-05-27 20:49:44 +08:00 |
|
ViperEkura
|
737585a32a
|
feat: 新增NTK-Aware RoPE缩放支持
- RotaryEmbedding接受rope_scaling配置,自动计算scaled base
- AutoRegressiveLMConfig和EncoderConfig新增rope_scaling字段
|
2026-05-25 21:22:07 +08:00 |
|
ViperEkura
|
97c7ac0f4f
|
refactor: Transformer更名为AutoRegressiveLM并新增EmbeddingEncoder
- AutoRegressiveLM 注册名改为 autoregressive_lm
- 新增 EmbeddingEncoder 支持 mean/cls/last pooling
- ModelConfig 增加 pooling_type / normalize_embeddings 字段
- 导入、注释、测试全部同步更新
|
2026-05-17 15:29:20 +08:00 |