refactor: 修改模型架构

This commit is contained in:
2026-04-16 18:57:21 +08:00
parent cb93f8219e
commit a38334f4ce
17 changed files with 540 additions and 176 deletions
+3 -1
View File
@@ -176,10 +176,12 @@ StrategyFactory.register("my_format", MyStrategy)
- `load_h5(file_path, share_memory)` — 加载 HDF5,支持共享内存(用于 DataLoader 多进程)
- `fetch_files(directory)` / `fetch_folders(root_dir)` — 文件/目录遍历
### BpeTokenizer (`pipeline/tokenizer.py`)
### AutoTokenizer (`pipeline/tokenize/tokenizer.py`)
基于 HuggingFace `tokenizers` 库的 BPE 分词器,支持从文件加载、训练、保存。内置 `<begin▁of▁sentence>`/`<end▁of▁sentence>`/`<|▁pad▁|>` 控制符和 `<im▁start>`/`<im▁end>` 特殊 token。
支持动态属性访问(`bos_token`, `bos_token_id`, `stop_ids`, `pad_id` 等)和聊天模板(`set_chat_template`, `apply_chat_template`)。
## API 参考
各模块的详细 API 文档请参阅对应的源文件。