 ViperEkura
|
aa2ea4f3a6
|
feat: SFT 增加 position_ids 边界处理
- SFTProcessor 输出 per-sample position_ids（torch.arange），每个样本从 0 开始
- position_ids 与 sequence/loss_mask 一同打包，边界处自然重置
- PT 路径不生成 position_ids
- 新增 TestPositionIds 测试及 SFTProcessor 相关测试
|
2026-06-04 14:19:32 +08:00 |
|
|
ViperEkura
|
e1125be3a7
|
fix: mask 全链路保持 bool dtype（创建→打包→HDF5落盘/读盘）
|
2026-05-15 17:23:51 +08:00 |
|
|
ViperEkura
|
625695fd71
|
fix: padding 默认值改为 0，避免 loss_mask 误计 padding 位置
|
2026-05-15 16:59:42 +08:00 |
|
|
ViperEkura
|
cb6bfcb976
|
refactor: 重构流水线架构，添加Pipeline抽象并拆分IOHandler
|
2026-04-23 19:45:57 +08:00 |
|
|
ViperEkura
|
a38334f4ce
|
refactor: 修改模型架构
|
2026-04-16 18:57:21 +08:00 |
|
|
ViperEkura
|
f44ad6912e
|
fix: 修复特殊token 问题
|
2026-04-02 16:16:02 +08:00 |
|
|
ViperEkura
|
e01ec081b3
|
fix: 修复打包策略问题
|
2026-03-30 21:08:22 +08:00 |
|
|
ViperEkura
|
35963bcb08
|
reafactor: 重构项目
|
2026-03-30 20:58:51 +08:00 |
|
|
ViperEkura
|
f67bad0d8b
|
perf: 优化 processors、cache、packing 模块性能并简化 README
|
2026-03-30 17:50:26 +08:00 |
|
|
ViperEkura
|
7baa3ea0c3
|
feat: 增加日志管理
|
2026-03-30 16:28:56 +08:00 |
|
|
ViperEkura
|
71887bb4bb
|
fix: 修复 pipeline 模块中的打包逻辑缺陷并完善测试覆盖
|
2026-03-30 12:22:37 +08:00 |
|
|
ViperEkura
|
909f1b400c
|
refactor: 修改项目结构
|
2026-03-21 21:25:59 +08:00 |
|