Commit Graph

Select branches

Hide Pull Requests

main

Mono Color

• 95a3568328 refactor(to_ids): 重构数据处理流程并支持自定义处理器 ViperEkura 2025-07-14 22:13:36 +08:00
• 55e0e06dc6 refactor(utils): 重构 process_files 函数并添加新功能 ViperEkura 2025-07-14 15:18:54 +08:00
• 4cf9681ebb fix(utils): 优化数据集处理中的分块逻辑 ViperEkura 2025-07-14 14:52:07 +08:00
• 7e53d35099 refactor(utilsi): 优化项目结构 ViperEkura 2025-07-14 14:41:42 +08:00
• 1c132826c0 feat(chinese-wiki., english-wiki.): 添加 max_chunk_size 参数 ViperEkura 2025-07-14 13:35:06 +08:00
• 820ddf3fc8 feat(utils): 增加数据集处理的灵活性和可配置性 ViperEkura 2025-07-14 13:34:03 +08:00
• 2b0f805ff3 refactor(chinese-wiki): 更新数据集处理脚本 ViperEkura 2025-07-14 13:28:17 +08:00
• d8643d11dd refactor(dataset processing): 重构数据集处理流程并添加新功能 ViperEkura 2025-07-14 10:57:23 +08:00
• 7591a231df refactor(dataset): 重构数据集处理逻辑 ViperEkura 2025-07-14 08:45:01 +08:00
• d4df706bc5 fix(dataset): 修正数据集输出路径和名称 ViperEkura 2025-07-11 10:55:28 +08:00
• 9a417ab6a5 feat: 添加中文维基数据集处理脚本 ViperEkura 2025-07-11 10:31:10 +08:00
• a8f05cccd6 修复输出文件的bug ViperEkura 2025-06-30 22:36:09 +08:00
• b508402724 优化处理形式 ViperEkura 2025-06-30 22:00:15 +08:00
• 6238764047 修复未创建文件夹的bug ViperEkura 2025-06-30 21:45:51 +08:00
• 0690f66bed 修复对jsonl 文件的处理bug ViperEkura 2025-06-30 21:44:04 +08:00
• 34dc9632d8 增加文件序列化代码 ViperEkura 2025-06-30 21:42:25 +08:00
• fca1c541ba 提交数据下载代码 ViperEkura 2025-06-30 12:26:37 +08:00