docs: 更新 README 文件结构

This commit is contained in:
2025-08-09 23:25:17 +08:00
parent 1d10971fb5
commit 3966481bfe
+27 -18
View File
@@ -5,24 +5,33 @@
``` bash ``` bash
. .
├── pre_train/ # 预训练数据处理脚本 │ .gitignore
├── chinese-c4.py # 中文预训练数据处理 dump_pt_file.py
├── chinese-cosmopedia.py # 中文维基数据处理 dump_sft_file.py
├── english-fineweb.py # 英文网页数据处理 README.md
└── english-wiki.py # 英文维基数据处理 run.py
├── supervised_finetuning/ # 监督微调数据处理脚本 │ test.py
├── sft_belle.py # BelleGroup对话数据处理 tokenizer.json
├── sft_chinese_instruct.py # 中文指令微调数据处理
│ ├── sft_coder.py # 编程对话数据处理 ├───modules
└── sft_magpie-pro-300k.py # Magpie对话数据处理 │ tokenizer.py
├── modules/ │ └───utils.py
├── utils.py # 核心数据处理工具(规范化/打包/序列化)
│ └── tokenizer.py # BPE分词器实现(支持自定义特殊token) ├───pre_train
├── dump_file/ │ chinese-c4.py
├── dump_pt_file.py # 预训练数据二进制打包 chinese-cosmopedia.py
└── dump_sft_file.py # 微调数据二进制打包 english-fineweb.py
├── run.py # 主执行脚本(支持subprocess调用) │ english-wiki.py
└── README.md # 项目文档
├───reforce_learning
│ dpp_chinese_dpo_pairs.py
└───supervised_finetuning
sft_belle.py
sft_chinese_instruct.py
sft_coder.py
sft_magpie-pro-300k.py
sft_small_talk.py
``` ```