16 Commits

Include renames

Author	SHA1	Message	Date
ViperEkura	617ef7164d	feat(tokenizer): 优化BPE分词器的预处理和训练配置	2025-12-21 21:50:53 +08:00
ViperEkura	397c8e5d0f	fix(module): 修复一些错误	2025-10-30 15:17:06 +08:00
ViperEkura	1deb6d59a3	fix(tokenizer): 更新特殊token定义以支持新的对话格式	2025-10-25 16:50:41 +08:00
ViperEkura	491b39b23f	fix(utils): 优化序列打包逻辑以提高效率和正确性	2025-10-07 12:11:40 +08:00
ViperEkura	cd3a22c1ac	feat(utils): 为缓存文件函数添加 packing 和 padding 参数支持	2025-10-02 22:01:00 +08:00
ViperEkura	2ccb26add4	feat(tokenizer): 调整 BPE 分词器的字母表限制并新增用户与系统标识符属性	2025-10-02 22:00:52 +08:00
ViperEkura	e844680025	fix(utils): 重命名变量并统一张量转换逻辑	2025-09-29 14:13:46 +08:00
ViperEkura	c3ebc4f681	refactor(utils): 简化SFT处理器逻辑	2025-09-28 15:50:10 +08:00
ViperEkura	a976dc931b	refactor(utils): 更新 comprehensive_normalization 函数	2025-08-25 19:36:59 +08:00
ViperEkura	be79108f84	refactor(utils): 更新缓存文件键名	2025-08-11 13:49:58 +08:00
ViperEkura	fcd2b66b5c	feat(utils): 添加 DPO 训练模式的处理器	2025-08-10 14:22:48 +08:00
ViperEkura	ce263985d9	refactor(utils): 重构数据处理流程并添加 DPO 数据缓存支持	2025-08-10 11:27:02 +08:00
ViperEkura	324fe089c8	refactor(tokenizer): 重构 BpeTokenizer 类并优化编码流程	2025-08-06 13:49:08 +08:00
ViperEkura	931403a713	refactor(data_processing): 重构数据处理脚本并添加 fetch_folders 函数	2025-08-01 22:28:40 +08:00
ViperEkura	9c3ecc252c	refactor(utils): 重构数据处理逻辑	2025-08-01 21:52:00 +08:00
ViperEkura	092921f401	refactor(project): 将 utils 和 tokenizer 模块移至 modules 目录	2025-08-01 20:59:17 +08:00