docs: 更新 README 文件结构
This commit is contained in:
@@ -5,24 +5,33 @@
|
|||||||
|
|
||||||
``` bash
|
``` bash
|
||||||
.
|
.
|
||||||
├── pre_train/ # 预训练数据处理脚本
|
│ .gitignore
|
||||||
│ ├── chinese-c4.py # 中文预训练数据处理
|
│ dump_pt_file.py
|
||||||
│ ├── chinese-cosmopedia.py # 中文维基数据处理
|
│ dump_sft_file.py
|
||||||
│ ├── english-fineweb.py # 英文网页数据处理
|
│ README.md
|
||||||
│ └── english-wiki.py # 英文维基数据处理
|
│ run.py
|
||||||
├── supervised_finetuning/ # 监督微调数据处理脚本
|
│ test.py
|
||||||
│ ├── sft_belle.py # BelleGroup对话数据处理
|
│ tokenizer.json
|
||||||
│ ├── sft_chinese_instruct.py # 中文指令微调数据处理
|
│
|
||||||
│ ├── sft_coder.py # 编程对话数据处理
|
├───modules
|
||||||
│ └── sft_magpie-pro-300k.py # Magpie对话数据处理
|
│ │ tokenizer.py
|
||||||
├── modules/
|
│ └───utils.py
|
||||||
│ ├── utils.py # 核心数据处理工具(规范化/打包/序列化)
|
│
|
||||||
│ └── tokenizer.py # BPE分词器实现(支持自定义特殊token)
|
├───pre_train
|
||||||
├── dump_file/
|
│ chinese-c4.py
|
||||||
│ ├── dump_pt_file.py # 预训练数据二进制打包
|
│ chinese-cosmopedia.py
|
||||||
│ └── dump_sft_file.py # 微调数据二进制打包
|
│ english-fineweb.py
|
||||||
├── run.py # 主执行脚本(支持subprocess调用)
|
│ english-wiki.py
|
||||||
└── README.md # 项目文档
|
│
|
||||||
|
├───reforce_learning
|
||||||
|
│ dpp_chinese_dpo_pairs.py
|
||||||
|
│
|
||||||
|
└───supervised_finetuning
|
||||||
|
sft_belle.py
|
||||||
|
sft_chinese_instruct.py
|
||||||
|
sft_coder.py
|
||||||
|
sft_magpie-pro-300k.py
|
||||||
|
sft_small_talk.py
|
||||||
```
|
```
|
||||||
|
|
||||||
|
|
||||||
|
|||||||
Reference in New Issue
Block a user