docs: 更新 README 文件结构

This commit is contained in:
2025-08-09 23:25:17 +08:00
parent 1d10971fb5
commit 3966481bfe
+27 -18
View File
@@ -5,24 +5,33 @@
``` bash
.
├── pre_train/ # 预训练数据处理脚本
├── chinese-c4.py # 中文预训练数据处理
├── chinese-cosmopedia.py # 中文维基数据处理
├── english-fineweb.py # 英文网页数据处理
└── english-wiki.py # 英文维基数据处理
├── supervised_finetuning/ # 监督微调数据处理脚本
├── sft_belle.py # BelleGroup对话数据处理
├── sft_chinese_instruct.py # 中文指令微调数据处理
│ ├── sft_coder.py # 编程对话数据处理
└── sft_magpie-pro-300k.py # Magpie对话数据处理
├── modules/
├── utils.py # 核心数据处理工具(规范化/打包/序列化)
│ └── tokenizer.py # BPE分词器实现(支持自定义特殊token)
├── dump_file/
├── dump_pt_file.py # 预训练数据二进制打包
└── dump_sft_file.py # 微调数据二进制打包
├── run.py # 主执行脚本(支持subprocess调用)
└── README.md # 项目文档
│ .gitignore
dump_pt_file.py
dump_sft_file.py
README.md
run.py
│ test.py
tokenizer.json
├───modules
│ tokenizer.py
│ └───utils.py
├───pre_train
│ chinese-c4.py
chinese-cosmopedia.py
english-fineweb.py
│ english-wiki.py
├───reforce_learning
│ dpp_chinese_dpo_pairs.py
└───supervised_finetuning
sft_belle.py
sft_chinese_instruct.py
sft_coder.py
sft_magpie-pro-300k.py
sft_small_talk.py
```