AstrAI/scripts/eval
ViperEkura a62c2e11a2 feat: IFD 默认使用 chat template,支持裸文本模式
- 新增 _compute_ifd_with_template,用 tokenizer chat template 格式化后计算 IFD
- 默认开启 chat template,可通过 --no_chat_template 切换回裸拼接
- chat template 缺失时给出 RuntimeError 提示
2026-06-18 16:35:05 +08:00
..
evaluate_humaneval.py feat: 新增 IFEval 指令遵循评测 2026-06-16 21:57:34 +08:00
evaluate_ifd.py feat: IFD 默认使用 chat template,支持裸文本模式 2026-06-18 16:35:05 +08:00
evaluate_ifeval.py feat: 新增 IFEval 指令遵循评测 2026-06-16 21:57:34 +08:00
evaluate_mmlu.py feat: 新增 IFEval 指令遵循评测 2026-06-16 21:57:34 +08:00
evaluate_ppl.py feat: 新增 IFD 数据质量评分工具, 移动 ppl 至 eval 2026-06-16 22:03:45 +08:00