 ViperEkura
|
376e9eba80
|
feat: IFEval 使用 chat template 格式化 prompt，添加 model.eval()
- generate_one 用 tokenizer.apply_chat_template 包 user 消息
- 新增 model.eval() 关闭 dropout，确保确定性输出
|
2026-06-18 16:45:16 +08:00 |
|
ViperEkura
|
a62c2e11a2
|
feat: IFD 默认使用 chat template，支持裸文本模式
- 新增 _compute_ifd_with_template，用 tokenizer chat template 格式化后计算 IFD
- 默认开启 chat template，可通过 --no_chat_template 切换回裸拼接
- chat template 缺失时给出 RuntimeError 提示
|
2026-06-18 16:35:05 +08:00 |
|
ViperEkura
|
1818d06576
|
feat: 新增 IFD 数据质量评分工具, 移动 ppl 至 eval
- 计算指令遵循难度分数用于数据筛选
- IFD = 条件交叉熵 / 无条件交叉熵
- perplexity 移至 scripts/eval/
|
2026-06-16 22:03:45 +08:00 |
|
ViperEkura
|
4e8d1ee24e
|
feat: 新增 IFEval 指令遵循评测
- 实现 25 种正则约束 verifier
- 将评测脚本从 scripts/tools/ 移至 scripts/eval/
|
2026-06-16 21:57:34 +08:00 |