12 Commits

Include renames

Author	SHA1	Message	Date
ViperEkura	3ee84b31a0	feat(data): 重构数据集加载逻辑，修复计数错误	2025-11-28 20:59:24 +08:00
ViperEkura	567c55685e	docs(data/dataset): 更新 load_mmap_files 函数的文档	2025-11-28 20:27:57 +08:00
ViperEkura	1f5cba889b	fix(data): 修复数据加载模块中的拼写错误并优化内存映射加载逻辑	2025-11-28 20:21:53 +08:00
ViperEkura	019bfe4e05	fix(data/sampler): 修正拼写错误并增强采样器功能	2025-11-27 19:43:36 +08:00
ViperEkura	36b410384b	fix(data/sampler): 增加sampler边界情况处理	2025-11-27 19:32:40 +08:00
ViperEkura	09963a3beb	refactor(data): 重构数据模块结构并优化可恢复采样器实现	2025-11-27 18:16:35 +08:00
ViperEkura	e86328b753	fix(tokenizer): 修复stop_ids属性返回错误的token ID列表	2025-10-31 19:19:38 +08:00
ViperEkura	5d3799b715	refactor(data): 修改变量命名方式	2025-10-30 16:32:25 +08:00
ViperEkura	6a3135f401	fix(data_util): 修复数据集索引计算逻辑并提取通用方法	2025-10-29 20:58:33 +08:00
ViperEkura	d94fc5a87a	feat(data, inference): 使用chatML格式	2025-10-29 12:02:43 +08:00
ViperEkura	622982364b	fix(trainer): 修复检查点加载逻辑	2025-10-18 21:45:23 +08:00
ViperEkura	c51b203fde	refactor(khaosz): 重构项目结构	2025-10-18 13:56:59 +08:00