5 Commits

Include renames

Author	SHA1	Message	Date
ViperEkura	931403a713	refactor(data_processing): 重构数据处理脚本并添加 fetch_folders 函数	2025-08-01 22:28:40 +08:00
ViperEkura	9c3ecc252c	refactor(utils): 重构数据处理逻辑	2025-08-01 21:52:00 +08:00
ViperEkura	092921f401	refactor(project): 将 utils 和 tokenizer 模块移至 modules 目录	2025-08-01 20:59:17 +08:00
ViperEkura	7f45c701b4	refactor(dump_pt_file): 重构数据处理流程并优化代码结构	2025-07-21 20:27:07 +08:00
ViperEkura	f9ce67e03c	refactor: 重命名pretrain 和 sft 脚本	2025-07-21 19:58:15 +08:00