From 3966481bfead704a73e473e52bba3f3a48dc52cc Mon Sep 17 00:00:00 2001 From: ViperEkura <3081035982@qq.com> Date: Sat, 9 Aug 2025 23:25:17 +0800 Subject: [PATCH] =?UTF-8?q?docs:=20=E6=9B=B4=E6=96=B0=20README=20=E6=96=87?= =?UTF-8?q?=E4=BB=B6=E7=BB=93=E6=9E=84?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- README.md | 45 +++++++++++++++++++++++++++------------------ 1 file changed, 27 insertions(+), 18 deletions(-) diff --git a/README.md b/README.md index 7752ecc..779bdfa 100644 --- a/README.md +++ b/README.md @@ -5,24 +5,33 @@ ``` bash . -├── pre_train/ # 预训练数据处理脚本 -│ ├── chinese-c4.py # 中文预训练数据处理 -│ ├── chinese-cosmopedia.py # 中文维基数据处理 -│ ├── english-fineweb.py # 英文网页数据处理 -│ └── english-wiki.py # 英文维基数据处理 -├── supervised_finetuning/ # 监督微调数据处理脚本 -│ ├── sft_belle.py # BelleGroup对话数据处理 -│ ├── sft_chinese_instruct.py # 中文指令微调数据处理 -│ ├── sft_coder.py # 编程对话数据处理 -│ └── sft_magpie-pro-300k.py # Magpie对话数据处理 -├── modules/ -│ ├── utils.py # 核心数据处理工具(规范化/打包/序列化) -│ └── tokenizer.py # BPE分词器实现(支持自定义特殊token) -├── dump_file/ -│ ├── dump_pt_file.py # 预训练数据二进制打包 -│ └── dump_sft_file.py # 微调数据二进制打包 -├── run.py # 主执行脚本(支持subprocess调用) -└── README.md # 项目文档 +│ .gitignore +│ dump_pt_file.py +│ dump_sft_file.py +│ README.md +│ run.py +│ test.py +│ tokenizer.json +│ +├───modules +│ │ tokenizer.py +│ └───utils.py +│ +├───pre_train +│ chinese-c4.py +│ chinese-cosmopedia.py +│ english-fineweb.py +│ english-wiki.py +│ +├───reforce_learning +│ dpp_chinese_dpo_pairs.py +│ +└───supervised_finetuning + sft_belle.py + sft_chinese_instruct.py + sft_coder.py + sft_magpie-pro-300k.py + sft_small_talk.py ```