63 Commits

This Branch

This Branch

All Branches

Author	SHA1	Message	Date
ViperEkura	1c132826c0	feat(chinese-wiki., english-wiki.): 添加 max_chunk_size 参数	2025-07-14 13:35:06 +08:00
ViperEkura	820ddf3fc8	feat(utils): 增加数据集处理的灵活性和可配置性	2025-07-14 13:34:03 +08:00
ViperEkura	2b0f805ff3	refactor(chinese-wiki): 更新数据集处理脚本	2025-07-14 13:28:17 +08:00
ViperEkura	d8643d11dd	refactor(dataset processing): 重构数据集处理流程并添加新功能	2025-07-14 10:57:23 +08:00
ViperEkura	7591a231df	refactor(dataset): 重构数据集处理逻辑	2025-07-14 08:45:01 +08:00
ViperEkura	d4df706bc5	fix(dataset): 修正数据集输出路径和名称	2025-07-11 10:55:28 +08:00
ViperEkura	9a417ab6a5	feat: 添加中文维基数据集处理脚本	2025-07-11 10:31:10 +08:00
ViperEkura	a8f05cccd6	修复输出文件的bug	2025-06-30 22:37:49 +08:00
ViperEkura	b508402724	优化处理形式	2025-06-30 22:00:15 +08:00
ViperEkura	6238764047	修复未创建文件夹的bug	2025-06-30 21:45:51 +08:00
ViperEkura	0690f66bed	修复对jsonl 文件的处理bug	2025-06-30 21:44:04 +08:00
ViperEkura	34dc9632d8	增加文件序列化代码	2025-06-30 21:42:25 +08:00
ViperEkura	fca1c541ba	提交数据下载代码	2025-06-30 12:26:37 +08:00