4 Commits

Include renames

Author	SHA1	Message	Date
ViperEkura	1deb6d59a3	fix(tokenizer): 更新特殊token定义以支持新的对话格式	2025-10-25 16:50:41 +08:00
ViperEkura	2ccb26add4	feat(tokenizer): 调整 BPE 分词器的字母表限制并新增用户与系统标识符属性	2025-10-02 22:00:52 +08:00
ViperEkura	324fe089c8	refactor(tokenizer): 重构 BpeTokenizer 类并优化编码流程	2025-08-06 13:49:08 +08:00
ViperEkura	092921f401	refactor(project): 将 utils 和 tokenizer 模块移至 modules 目录	2025-08-01 20:59:17 +08:00