docs: 更新 README 文件结构
This commit is contained in:
@@ -5,24 +5,33 @@
|
||||
|
||||
``` bash
|
||||
.
|
||||
├── pre_train/ # 预训练数据处理脚本
|
||||
│ ├── chinese-c4.py # 中文预训练数据处理
|
||||
│ ├── chinese-cosmopedia.py # 中文维基数据处理
|
||||
│ ├── english-fineweb.py # 英文网页数据处理
|
||||
│ └── english-wiki.py # 英文维基数据处理
|
||||
├── supervised_finetuning/ # 监督微调数据处理脚本
|
||||
│ ├── sft_belle.py # BelleGroup对话数据处理
|
||||
│ ├── sft_chinese_instruct.py # 中文指令微调数据处理
|
||||
│ ├── sft_coder.py # 编程对话数据处理
|
||||
│ └── sft_magpie-pro-300k.py # Magpie对话数据处理
|
||||
├── modules/
|
||||
│ ├── utils.py # 核心数据处理工具(规范化/打包/序列化)
|
||||
│ └── tokenizer.py # BPE分词器实现(支持自定义特殊token)
|
||||
├── dump_file/
|
||||
│ ├── dump_pt_file.py # 预训练数据二进制打包
|
||||
│ └── dump_sft_file.py # 微调数据二进制打包
|
||||
├── run.py # 主执行脚本(支持subprocess调用)
|
||||
└── README.md # 项目文档
|
||||
│ .gitignore
|
||||
│ dump_pt_file.py
|
||||
│ dump_sft_file.py
|
||||
│ README.md
|
||||
│ run.py
|
||||
│ test.py
|
||||
│ tokenizer.json
|
||||
│
|
||||
├───modules
|
||||
│ │ tokenizer.py
|
||||
│ └───utils.py
|
||||
│
|
||||
├───pre_train
|
||||
│ chinese-c4.py
|
||||
│ chinese-cosmopedia.py
|
||||
│ english-fineweb.py
|
||||
│ english-wiki.py
|
||||
│
|
||||
├───reforce_learning
|
||||
│ dpp_chinese_dpo_pairs.py
|
||||
│
|
||||
└───supervised_finetuning
|
||||
sft_belle.py
|
||||
sft_chinese_instruct.py
|
||||
sft_coder.py
|
||||
sft_magpie-pro-300k.py
|
||||
sft_small_talk.py
|
||||
```
|
||||
|
||||
|
||||
|
||||
Reference in New Issue
Block a user