8 Commits

Include renames

Author	SHA1	Message	Date
ViperEkura	931403a713	refactor(data_processing): 重构数据处理脚本并添加 fetch_folders 函数	2025-08-01 22:28:40 +08:00
ViperEkura	9c3ecc252c	refactor(utils): 重构数据处理逻辑	2025-08-01 21:52:00 +08:00
ViperEkura	092921f401	refactor(project): 将 utils 和 tokenizer 模块移至 modules 目录	2025-08-01 20:59:17 +08:00
ViperEkura	8725a9ebd1	feat(dump_sft_file): 更新数据集处理逻辑	2025-08-01 16:59:47 +08:00
ViperEkura	64222aeab1	refactor(dump_sft_file.py， utils.py): 优化内存占用	2025-07-22 13:30:53 +08:00
ViperEkura	5ea1c6355d	refactor(data): 重构数据处理流程以适应新需求	2025-07-22 10:03:06 +08:00
ViperEkura	9bdbfd0889	feat(chinese-instruct): 重新处理数据集并生成 SFT 训练文件	2025-07-21 21:09:27 +08:00
ViperEkura	f9ce67e03c	refactor: 重命名pretrain 和 sft 脚本	2025-07-21 19:58:15 +08:00