59 lines
1.0 KiB
Markdown
59 lines
1.0 KiB
Markdown
## KHAOSZ-dataset
|
|
|
|
用于训练的KHAOSZ数据集
|
|
### 项目结构
|
|
|
|
``` bash
|
|
.
|
|
│ .gitignore
|
|
│ dump_pt_file.py
|
|
│ dump_sft_file.py
|
|
│ README.md
|
|
│ run.py
|
|
│ tokenizer.json
|
|
│
|
|
├───modules
|
|
│ │ tokenizer.py
|
|
│ └───utils.py
|
|
│
|
|
├───pre_train
|
|
│ chinese-c4.py
|
|
│ chinese-cosmopedia.py
|
|
│ english-fineweb.py
|
|
│ english-wiki.py
|
|
│
|
|
├───reforce_learning
|
|
│ dpp_chinese_dpo_pairs.py
|
|
│
|
|
└───supervised_finetuning
|
|
sft_belle.py
|
|
sft_chinese_instruct.py
|
|
sft_coder.py
|
|
sft_magpie-pro-300k.py
|
|
sft_small_talk.py
|
|
```
|
|
|
|
|
|
### 数据集特性
|
|
- 支持多语言混合训练（中/英文）
|
|
- 包含以下预训练数据源：
|
|
- Chinese-C4
|
|
- Chinese-Cosmopedia
|
|
- English-Fineweb
|
|
- English-Wiki
|
|
- 支持监督微调数据集：
|
|
- Ling-Coder-SFT
|
|
- Chinese-Instruct
|
|
- BelleGroup
|
|
- Magpie-Pro-300K
|
|
|
|
### 使用说明
|
|
1. 安装依赖：
|
|
```bash
|
|
pip install datasets tokenizers tqdm torch
|
|
```
|
|
运行数据处理：
|
|
|
|
```bash
|
|
python run.py
|
|
``` |