AstrAI/scripts/eval
ViperEkura 376e9eba80 feat: IFEval 使用 chat template 格式化 prompt,添加 model.eval()
- generate_one 用 tokenizer.apply_chat_template 包 user 消息
- 新增 model.eval() 关闭 dropout,确保确定性输出
2026-06-18 16:45:16 +08:00
..
evaluate_humaneval.py feat: 新增 IFEval 指令遵循评测 2026-06-16 21:57:34 +08:00
evaluate_ifd.py feat: IFD 默认使用 chat template,支持裸文本模式 2026-06-18 16:35:05 +08:00
evaluate_ifeval.py feat: IFEval 使用 chat template 格式化 prompt,添加 model.eval() 2026-06-18 16:45:16 +08:00
evaluate_mmlu.py feat: 新增 IFEval 指令遵循评测 2026-06-16 21:57:34 +08:00
evaluate_ppl.py feat: 新增 IFD 数据质量评分工具, 移动 ppl 至 eval 2026-06-16 22:03:45 +08:00