- 原 prompt 为纯文本格式,与 SFT chat template 不匹配导致模型输出随机 - 新增 apply_chat() 将 MMLU prompt 包装为 user/assistant 对话格式 - choice_text 改为单字母(去掉空格前缀)适配模板输出 - 5-shot 时 few-shot 示例作为独立 user/assistant 轮次插入 |
||
|---|---|---|
| .. | ||
| benchmark.py | ||
| evaluate_humaneval.py | ||
| evaluate_mmlu.py | ||
| generate.py | ||
| perplexity.py | ||
| preprocess.py | ||
| server.py | ||
| train.py | ||