 ViperEkura
|
a923e0a23a
|
fix : 修复 MMLU 评测脚本数据源和依赖
- 数据源改为 Berkeley data.tar（GitHub zip 不含数据文件）
- urllib 替换为 requests，支持代理下载
- zip 解压替换为 tar，增加目录 flatten 逻辑
- 添加 model.eval() 确保推理模式正确
|
2026-05-30 16:51:24 +08:00 |
|
ViperEkura
|
2d5dc93b3d
|
fix : 修正类型标注与统一 CLI 参数命名
- AutoRegressiveLM.forward 返回类型标注 -> Dict[str, Tensor]
- EmbeddingEncoder 移除冗余 position_ids 自动创建
- CLI 脚本模型目录参数统一为 --param_path
|
2026-05-27 20:49:44 +08:00 |
|
ViperEkura
|
34c6c45bd6
|
feat: 初步实现 MMLU 评测脚本
- 支持 few-shot (log-likelihood ranking) 与 zero-shot
- 自动下载 Hendrycks MMLU 数据集
- --device / --dtype 可配置，默认 GPU bf16
|
2026-05-26 20:23:31 +08:00 |