 ViperEkura
|
4d3c9341c1
|
refactor: rewrite IFD evaluation with clean three-layer architecture
|
2026-07-04 18:33:51 +08:00 |
|
ViperEkura
|
1adca39cd8
|
fix: handle long sequences and optimize IFD computation
|
2026-07-04 08:35:45 +08:00 |
|
ViperEkura
|
204873fa2f
|
fix: handle long sequences and optimize IFD computation
|
2026-07-04 08:23:32 +08:00 |
|
ViperEkura
|
a62c2e11a2
|
feat: IFD 默认使用 chat template，支持裸文本模式
- 新增 _compute_ifd_with_template，用 tokenizer chat template 格式化后计算 IFD
- 默认开启 chat template，可通过 --no_chat_template 切换回裸拼接
- chat template 缺失时给出 RuntimeError 提示
|
2026-06-18 16:35:05 +08:00 |
|
ViperEkura
|
1818d06576
|
feat: 新增 IFD 数据质量评分工具, 移动 ppl 至 eval
- 计算指令遵循难度分数用于数据筛选
- IFD = 条件交叉熵 / 无条件交叉熵
- perplexity 移至 scripts/eval/
|
2026-06-16 22:03:45 +08:00 |