12 Commits

Include renames

Author	SHA1	Message	Date
ViperEkura	99ef8fda71	feat(inference): 增加cuda_graph 装饰器	2026-02-07 21:14:39 +08:00
ViperEkura	dbd57e30e5	feat(inference): 增加cuda graph 设置	2026-02-07 15:42:41 +08:00
ViperEkura	eba99e1f5e	feat(model): 添加QK归一化和门控注意力支持	2026-01-05 16:14:44 +08:00
ViperEkura	d9ff662e3a	fix(model): 调整 KV Cache 的维度顺序以匹配新的索引逻辑	2025-11-19 18:26:15 +08:00
ViperEkura	e12ed0a72b	fix(khaosz): 为其他模组添加init文件	2025-11-19 18:25:51 +08:00
ViperEkura	7e5ecf3b7d	refactor(config): 重命名 TransformerConfig 为 ModelConfig	2025-11-07 07:31:12 +08:00
ViperEkura	66a551217e	refactor(generator): 优化生成逻辑	2025-11-07 07:24:00 +08:00
ViperEkura	877669b799	feat(inference): 添加generate_loop方法并优化KVCacheManager初始化	2025-10-31 21:15:15 +08:00
ViperEkura	d94fc5a87a	feat(data, inference): 使用chatML格式	2025-10-29 12:02:43 +08:00
ViperEkura	38b2725cd1	feat(KVCacheManager): 优化KV缓存结构为元组形式以提升性能	2025-10-29 12:01:28 +08:00
ViperEkura	e72e244df6	feat(inference): 实现采样策略并优化生成器逻辑	2025-10-20 13:00:41 +08:00
ViperEkura	c51b203fde	refactor(khaosz): 重构项目结构	2025-10-18 13:56:59 +08:00