12 Commits

Include renames

Author	SHA1	Message	Date
ViperEkura	1deb6d59a3	fix(tokenizer): 更新特殊token定义以支持新的对话格式	2025-10-25 16:50:41 +08:00
ViperEkura	491b39b23f	fix(utils): 优化序列打包逻辑以提高效率和正确性	2025-10-07 12:11:40 +08:00
ViperEkura	cd3a22c1ac	feat(utils): 为缓存文件函数添加 packing 和 padding 参数支持	2025-10-02 22:01:00 +08:00
ViperEkura	e844680025	fix(utils): 重命名变量并统一张量转换逻辑	2025-09-29 14:13:46 +08:00
ViperEkura	c3ebc4f681	refactor(utils): 简化SFT处理器逻辑	2025-09-28 15:50:10 +08:00
ViperEkura	a976dc931b	refactor(utils): 更新 comprehensive_normalization 函数	2025-08-25 19:36:59 +08:00
ViperEkura	be79108f84	refactor(utils): 更新缓存文件键名	2025-08-11 13:49:58 +08:00
ViperEkura	fcd2b66b5c	feat(utils): 添加 DPO 训练模式的处理器	2025-08-10 14:22:48 +08:00
ViperEkura	ce263985d9	refactor(utils): 重构数据处理流程并添加 DPO 数据缓存支持	2025-08-10 11:27:02 +08:00
ViperEkura	931403a713	refactor(data_processing): 重构数据处理脚本并添加 fetch_folders 函数	2025-08-01 22:28:40 +08:00
ViperEkura	9c3ecc252c	refactor(utils): 重构数据处理逻辑	2025-08-01 21:52:00 +08:00
ViperEkura	092921f401	refactor(project): 将 utils 和 tokenizer 模块移至 modules 目录	2025-08-01 20:59:17 +08:00