AstrAI/scripts/tools
ViperEkura 438dc10391 fix : MMLU eval 使用 chat template 格式匹配 SFT 训练数据
- 原 prompt 为纯文本格式,与 SFT chat template 不匹配导致模型输出随机
- 新增 apply_chat() 将 MMLU prompt 包装为 user/assistant 对话格式
- choice_text 改为单字母(去掉空格前缀)适配模板输出
- 5-shot 时 few-shot 示例作为独立 user/assistant 轮次插入
2026-06-03 11:59:42 +08:00
..
benchmark.py refactor: Transformer更名为AutoRegressiveLM并新增EmbeddingEncoder 2026-05-17 15:29:20 +08:00
evaluate_humaneval.py feat : 新增 HumanEval pass@k 代码生成评测 2026-06-03 10:52:32 +08:00
evaluate_mmlu.py fix : MMLU eval 使用 chat template 格式匹配 SFT 训练数据 2026-06-03 11:59:42 +08:00
generate.py docs: 修正文档中与源码不符的类名、方法签名和模块归属 2026-05-14 15:04:53 +08:00
perplexity.py fix : 修正类型标注与统一 CLI 参数命名 2026-05-27 20:49:44 +08:00
preprocess.py refactor : 基于声明式 JSON 配置的预处理管线重构 2026-05-30 20:45:09 +08:00
server.py fix : 修正类型标注与统一 CLI 参数命名 2026-05-27 20:49:44 +08:00
train.py refactor : 并行启动 Strategy 模式重构,local_rank 解耦 2026-06-02 11:22:24 +08:00