diff --git a/README.md b/README.md index 7752ecc..779bdfa 100644 --- a/README.md +++ b/README.md @@ -5,24 +5,33 @@ ``` bash . -├── pre_train/ # 预训练数据处理脚本 -│ ├── chinese-c4.py # 中文预训练数据处理 -│ ├── chinese-cosmopedia.py # 中文维基数据处理 -│ ├── english-fineweb.py # 英文网页数据处理 -│ └── english-wiki.py # 英文维基数据处理 -├── supervised_finetuning/ # 监督微调数据处理脚本 -│ ├── sft_belle.py # BelleGroup对话数据处理 -│ ├── sft_chinese_instruct.py # 中文指令微调数据处理 -│ ├── sft_coder.py # 编程对话数据处理 -│ └── sft_magpie-pro-300k.py # Magpie对话数据处理 -├── modules/ -│ ├── utils.py # 核心数据处理工具(规范化/打包/序列化) -│ └── tokenizer.py # BPE分词器实现(支持自定义特殊token) -├── dump_file/ -│ ├── dump_pt_file.py # 预训练数据二进制打包 -│ └── dump_sft_file.py # 微调数据二进制打包 -├── run.py # 主执行脚本(支持subprocess调用) -└── README.md # 项目文档 +│ .gitignore +│ dump_pt_file.py +│ dump_sft_file.py +│ README.md +│ run.py +│ test.py +│ tokenizer.json +│ +├───modules +│ │ tokenizer.py +│ └───utils.py +│ +├───pre_train +│ chinese-c4.py +│ chinese-cosmopedia.py +│ english-fineweb.py +│ english-wiki.py +│ +├───reforce_learning +│ dpp_chinese_dpo_pairs.py +│ +└───supervised_finetuning + sft_belle.py + sft_chinese_instruct.py + sft_coder.py + sft_magpie-pro-300k.py + sft_small_talk.py ```