6 Commits

Include renames

Author	SHA1	Message	Date
ViperEkura	faf9f81e7c	refactor(utils): 将 pre_tarin_process 和 sft_process 函数合并为 process_dataset	2025-07-16 12:17:58 +08:00
ViperEkura	b69ba2c5ff	refactor(dataset): 重构数据集处理流程并添加新功能	2025-07-16 09:56:31 +08:00
ViperEkura	6edc31ce2e	refactor(dataset): 更新数据集加载路径和处理代码	2025-07-15 14:06:18 +08:00
ViperEkura	e77fb56c45	refactor(utils): 重构数据处理脚本	2025-07-15 13:10:38 +08:00
ViperEkura	e6f5b26a75	refactor(chinese-cosmopedia): 更新数据集加载方式并调整相关参数	2025-07-15 12:54:31 +08:00
ViperEkura	bea4f83842	refactor(dataset): 重构数据处理脚本并支持自定义数据集	2025-07-15 12:18:58 +08:00