ViperEkura/AstrAI
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
162 Commits 1 Branch 14 Tags
80e17418b49fcf15fa705ae88bb0b986519b31b9
Commit Graph
100 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
ViperEkura 80e17418b4 fix: 修复一些运行时问题 2026-03-01 15:47:07 +08:00
ViperEkura 6089a12cef fix: 修复参数传递问题并更新测试单元 2026-02-28 19:01:16 +08:00
ViperEkura b17cc6a6fb refactor: 修改参数传递方案 2026-02-28 18:09:00 +08:00
ViperEkura a33d086883 build: 修改build 方式 2026-02-27 17:52:28 +08:00
ViperEkura e9f42ec8b1 Change license from Apache 2.0 to GPL v3.0 2026-02-22 21:20:34 +08:00
ViperEkura 582d4ae9a7 refactor(data): 修改文件加载方案 2026-02-22 21:14:10 +08:00
ViperEkura 0ca4871e80 ci(spell-check): 修改检查流程 2026-02-11 16:01:53 +08:00
ViperEkura 99ef8fda71 feat(inference): 增加cuda_graph 装饰器 2026-02-07 21:14:39 +08:00
ViperEkura dbd57e30e5 feat(inference): 增加cuda graph 设置 2026-02-07 15:42:41 +08:00
ViperEkura a5869d89ba feat(trainer): 增加state_dict 存储设定 2026-02-04 19:47:21 +08:00
ViperEkura 7a9b9d0659 docs(architecture): 添加系统架构文档并修复KV缓存数学公式 2026-01-18 14:10:31 +08:00
ViperEkura 75758ead46 docs(data): 修改内存映射文件扩展名为.pt 2026-01-16 21:02:26 +08:00
ViperEkura 7dfa5cc0ac refactor(data): 重构MmapFileHandler类并改进数据加载机制 2026-01-11 19:37:28 +08:00
ViperEkura 9dab96c31f test(checkpoint): 添加多进程检查点测试功能 2026-01-08 22:04:39 +08:00
ViperEkura ff5c8a71f5 fix(trainer): 修复回调函数合并逻辑 2026-01-08 21:56:44 +08:00
ViperEkura 4da70785b5 refactor(tests): 重构测试文件目录结构 2026-01-08 21:34:52 +08:00
ViperEkura d407962ffa fix(trainer): 更新检查点保存和加载逻辑 2026-01-08 19:04:08 +08:00
ViperEkura 3d8047fa1b feat(trainer): 重构检查点系统支持分布式训练 2026-01-08 15:01:19 +08:00
ViperEkura d21682f97a fix(trainer): 修复检查点回调参数顺序和权重保存选项 2026-01-05 17:08:09 +08:00
ViperEkura eba99e1f5e feat(model): 添加QK归一化和门控注意力支持 2026-01-05 16:14:44 +08:00
ViperEkura fd7ee2895a refactor(paralell): 优化并行设备指定方法 2025-12-26 20:54:33 +08:00
ViperEkura cfa3cf7daa feat(train): 支持分布式训练的优化器与调度器工厂配置 2025-12-22 20:41:03 +08:00
ViperEkura 7623b1e5fd feat(khaosz/data/tokenizer): 优化BPE分词器的预处理和训练配置 2025-12-22 20:02:10 +08:00
ViperEkura 573f041c51 feat(trainer): 支持分布式训练配置与检查点加载优化 2025-12-19 19:34:39 +08:00
ViperEkura eab7a51bb6 feat(parallel): 改进设备策略注册表与并行设置功能 2025-12-19 15:25:31 +08:00
ViperEkura 3ac38a7ebc feat(parallel/device): 引入设备策略注册机制以支持多种后端 2025-12-15 13:58:59 +08:00
ViperEkura 831933fb66 fix(mmap): 修复样本数与键值计算逻辑并增强错误处理 2025-12-15 09:27:29 +08:00
ViperEkura 701fb9bf78 refactor(data): 将内存映射文件加载逻辑移至独立的 MmapFileHander 类 2025-12-15 09:12:42 +08:00
ViperEkura d882f65579 refactor(parallel): 重构parallel模块 2025-12-13 22:16:17 +08:00
ViperEkura a30ddca517 fix(data): 修改 Sampler 的长度计算方式， 避免提前初始化 2025-12-10 18:57:53 +08:00
ViperEkura 8e975017d3 fix(demo): 修复拼写错误 2025-12-10 15:22:26 +08:00
ViperEkura fed4d64cea ci(spell-check): 添加拼写检查工作流 2025-12-10 15:17:59 +08:00
ViperEkura 110efd2a21 fix(trainer): 修复训练上下文构建逻辑并修正拼写错误 2025-12-10 15:02:39 +08:00
ViperEkura 530fb50352 feat(parallel): 重构并重命名并行工具函数以提升灵活性 2025-12-10 14:43:35 +08:00
ViperEkura c86e573195 feat(trainer): 改进模型输入和损失计算中的数据类型精度 2025-12-08 14:10:08 +08:00
ViperEkura 0093ba7bb8 build(requirements): 升级 urllib3 版本从 2.5.0 到 2.6.0 2025-12-08 13:48:50 +08:00
ViperEkura c934210066 fix(trainer): 修复参数传递问题和检查点保存问题 2025-12-08 13:28:11 +08:00
ViperEkura c98b175cd5 refactor(trainer): 优化trainer 结构 2025-12-07 21:23:05 +08:00
ViperEkura 82e65ccc21 fix(tools/train): 修复参数传递错误 2025-12-05 13:53:50 +08:00
ViperEkura d52685facd feat(paralell): 添加分布式训练配置与并行工具支持 2025-12-05 13:52:17 +08:00
ViperEkura d31137a2db feat(config): 重构模型参数状态加载 2025-12-04 20:23:23 +08:00
ViperEkura 6270415590 feat(khaosz/parallel): 添加对多种设备后端的支持并优化并行初始化逻辑 2025-12-03 17:24:32 +08:00
ViperEkura 8b20982933 refactor(parallel): 重命名并重新组织并行模块文件结构 2025-11-30 17:56:47 +08:00
ViperEkura d5cc9f065d feat(khaosz/parallel): 添加并行训练设置功能 2025-11-30 16:44:04 +08:00
ViperEkura db53cc5001 feat(tools/train): 优化训练参数传递 2025-11-30 13:49:24 +08:00
ViperEkura 3ee84b31a0 feat(data): 重构数据集加载逻辑，修复计数错误 2025-11-28 20:59:24 +08:00
ViperEkura 567c55685e docs(data/dataset): 更新 load_mmap_files 函数的文档 2025-11-28 20:27:57 +08:00
ViperEkura 1f5cba889b fix(data): 修复数据加载模块中的拼写错误并优化内存映射加载逻辑 2025-11-28 20:21:53 +08:00
ViperEkura 019bfe4e05 fix(data/sampler): 修正拼写错误并增强采样器功能 2025-11-27 19:43:36 +08:00
ViperEkura 36b410384b fix(data/sampler): 增加sampler边界情况处理 2025-11-27 19:32:40 +08:00
ViperEkura 09963a3beb refactor(data): 重构数据模块结构并优化可恢复采样器实现 2025-11-27 18:16:35 +08:00
ViperEkura 5daf63a7a4 fix(model): 修复加载状态字典时的键存在性检查 2025-11-25 21:03:10 +08:00
ViperEkura fb85aaf6a6 fix(parallel): 修改列并行线性层结果聚合方式 2025-11-21 13:37:08 +08:00
ViperEkura 6fb6a15e81 feat(model): 添加并行线性层模型支持 2025-11-21 12:54:59 +08:00
ViperEkura d9ff662e3a fix(model): 调整 KV Cache 的维度顺序以匹配新的索引逻辑 2025-11-19 18:26:15 +08:00
ViperEkura e12ed0a72b fix(khaosz): 为其他模组添加init文件 2025-11-19 18:25:51 +08:00
ViperEkura 3bf2468905 fix(tools): 修正训练脚本中的嵌入层参数分组判断条件 2025-11-19 17:47:33 +08:00
ViperEkura 3c7ed84516 test(test_tie_weight): 添加测试以验证权重绑定后的数据修改行为 2025-11-19 17:47:22 +08:00
ViperEkura 1c3a693d79 feat(model): 优化RMSNorm实现方式 2025-11-15 13:54:04 +08:00
ViperEkura e99ef9d6d8 refactor(demo): 重构示例脚本目录结构 2025-11-10 21:35:04 +08:00
ViperEkura 4c289e974a refactor(tools): 将工具脚本移动到tools目录下 2025-11-10 21:26:02 +08:00
ViperEkura f31bf5a959 test(transformer): 更新 tie_weight 相关测试逻辑 2025-11-09 17:23:33 +08:00
ViperEkura 7a21f5d72e build(setup): 更新版本号并调整 Python 版本要求 2025-11-09 16:40:20 +08:00
ViperEkura 0b45e8666e fix(scripts): 修复stream_chat.py中的拼写错误 2025-11-09 16:30:24 +08:00
ViperEkura 6f3386f02c fix(transformer): 优化state_dict 处理逻辑, 优化attention_mask的处理方式 2025-11-09 16:25:17 +08:00
ViperEkura d25202a329 feat(model): 实现旋转位置编码缓存动态扩展 2025-11-09 14:35:29 +08:00
ViperEkura 254ec934be feat(transformer): 简化权重绑定逻辑并增加测试单元 2025-11-07 15:14:54 +08:00
ViperEkura 7e5ecf3b7d refactor(config): 重命名 TransformerConfig 为 ModelConfig 2025-11-07 07:31:12 +08:00
ViperEkura 66a551217e refactor(generator): 优化生成逻辑 2025-11-07 07:24:00 +08:00
ViperEkura bdc3f4dc63 feat(module): 重构旋转位置编码实现以提升性能和可读性 2025-11-06 17:52:47 +08:00
ViperEkura 805773c7fe docs(transformer): 更新process_attention_mask函数文档 2025-11-05 23:41:11 +08:00
ViperEkura 7ccc4ab9ac fix(model): 修复加载状态字典时的权重共享问题 2025-11-05 23:38:45 +08:00
ViperEkura 69d9374f51 feat(model): 添加 tie_weight 配置选项并优化模型模块实现 2025-11-05 23:26:57 +08:00
ViperEkura b260f5581d fix(benchmark): 优化 KV 缓存初始化并更正基准测试类型标识 2025-11-05 15:44:29 +08:00
ViperEkura 0a754e3341 feat(scripts): 调整文本生成参数以提升多样性 2025-11-05 13:56:58 +08:00
ViperEkura 144b9598ad feat(model): 添加 Linear 和 Embedding 模块的自定义参数初始化支持 2025-10-31 22:43:12 +08:00
ViperEkura 877669b799 feat(inference): 添加generate_loop方法并优化KVCacheManager初始化 2025-10-31 21:15:15 +08:00
ViperEkura cdb47a62dc test: 统一重构数据集和调度器测试模块 2025-10-31 20:24:01 +08:00
ViperEkura e86328b753 fix(tokenizer): 修复stop_ids属性返回错误的token ID列表 2025-10-31 19:19:38 +08:00
ViperEkura 5d3799b715 refactor(data): 修改变量命名方式 2025-10-30 16:32:25 +08:00
ViperEkura 6a3135f401 fix(data_util): 修复数据集索引计算逻辑并提取通用方法 2025-10-29 20:58:33 +08:00
ViperEkura 12850d403c fix(config): 修改Checkpoint类中tokenizer和config字段的默认值初始化方式 2025-10-29 13:24:20 +08:00
ViperEkura bad6243b53 fix(train): 更新训练函数参数传递方式 2025-10-29 13:23:53 +08:00
ViperEkura f2448a5147 feat(benchmark): 优化KV缓存初始化逻辑 2025-10-29 12:41:32 +08:00
ViperEkura 46b2a0f86f feat(train): 添加 max_len 和 step_size 参数支持 2025-10-29 12:32:17 +08:00
ViperEkura d94fc5a87a feat(data, inference): 使用chatML格式 2025-10-29 12:02:43 +08:00
ViperEkura 38b2725cd1 feat(KVCacheManager): 优化KV缓存结构为元组形式以提升性能 2025-10-29 12:01:28 +08:00
ViperEkura bc5ef72001 fix(config): 修正 SGDRScheduleConfig 类名拼写错误 2025-10-20 18:21:46 +08:00
ViperEkura e051005334 test(test_module): 更新测试用例以使用新的generate_iterator接口 2025-10-20 13:52:31 +08:00
ViperEkura 0db046f8d9 feat(khaosz/trainer): 更新梯度裁剪回调 2025-10-20 13:30:26 +08:00
ViperEkura 05b012820b refactor(khaosz): 重构模块导出结构并重命名主模块文件 2025-10-20 13:07:02 +08:00
ViperEkura e72e244df6 feat(inference): 实现采样策略并优化生成器逻辑 2025-10-20 13:00:41 +08:00
ViperEkura 98efca7b9d feat(trainer): 添加训练起始轮次和批次配置支持 2025-10-19 21:47:10 +08:00
ViperEkura 613edd7a14 test(early_stopping, train_strategy): 更新测试配置以提高稳定性 2025-10-18 22:07:11 +08:00
ViperEkura 622982364b fix(trainer): 修复检查点加载逻辑 2025-10-18 21:45:23 +08:00
ViperEkura b67bc9865d refactor(trainer): 重构学习率调度器实现并分离配置与工厂逻辑 2025-10-18 16:42:37 +08:00
ViperEkura c51b203fde refactor(khaosz): 重构项目结构 2025-10-18 13:56:59 +08:00
ViperEkura 8434c19923 fix(khaosz/trainer): 修复数据获取中的索引范围错误和参数传递问题 2025-10-09 19:53:52 +08:00
ViperEkura 68a15005cb feat(train.py): 支持从检查点恢复训练并优化数据加载配置 2025-10-07 22:02:50 +08:00
ViperEkura efbe3de9d3 fix(khaosz/trainer/data_util): 修复数据集索引范围错误 2025-10-07 20:04:45 +08:00