11 Commits

Include renames

Author	SHA1	Message	Date
ViperEkura	2ccb26add4	feat(tokenizer): 调整 BPE 分词器的字母表限制并新增用户与系统标识符属性	2025-10-02 22:00:52 +08:00
ViperEkura	e844680025	fix(utils): 重命名变量并统一张量转换逻辑	2025-09-29 14:13:46 +08:00
ViperEkura	c3ebc4f681	refactor(utils): 简化SFT处理器逻辑	2025-09-28 15:50:10 +08:00
ViperEkura	a976dc931b	refactor(utils): 更新 comprehensive_normalization 函数	2025-08-25 19:36:59 +08:00
ViperEkura	be79108f84	refactor(utils): 更新缓存文件键名	2025-08-11 13:49:58 +08:00
ViperEkura	fcd2b66b5c	feat(utils): 添加 DPO 训练模式的处理器	2025-08-10 14:22:48 +08:00
ViperEkura	ce263985d9	refactor(utils): 重构数据处理流程并添加 DPO 数据缓存支持	2025-08-10 11:27:02 +08:00
ViperEkura	324fe089c8	refactor(tokenizer): 重构 BpeTokenizer 类并优化编码流程	2025-08-06 13:49:08 +08:00
ViperEkura	931403a713	refactor(data_processing): 重构数据处理脚本并添加 fetch_folders 函数	2025-08-01 22:28:40 +08:00
ViperEkura	9c3ecc252c	refactor(utils): 重构数据处理逻辑	2025-08-01 21:52:00 +08:00
ViperEkura	092921f401	refactor(project): 将 utils 和 tokenizer 模块移至 modules 目录	2025-08-01 20:59:17 +08:00