ViperEkura
/
AstrAI
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
311 Commits 1 Branch 8 Tags 3 MiB
Commit Graph

31 Commits

Author SHA1 Message Date
ViperEkura d8da2cf17c docs: 修复文档中与源码不符的类名、方法签名和模块归属 
- CONTRIBUTING.md: ruff/pytest 命令改为 conda 方式
- params.md: max_len → max_tokens
- introduction.md: max_len=1024 → max_tokens=None
- dataflow.md: PagedCache/CacheView → KVCache/KvcacheView
- design.md: 全面修正类图(PagedCache→Allocator等6个新类、删除position_ids误参、修正BaseDataset字段和25+条关系线、Module Overview更新)
 2026-05-14 20:26:24 +08:00
ViperEkura a8e2a1ba45 docs: 修正文档中与源码不符的类名、方法签名和模块归属 
- Transformer/DecoderBlock/GQA/RotaryEmbedding forward 签名 start_pos → position_ids

- _Result → GenerateResult

- save_h5/load_h5 从 serialization 移至 dataset 模块

- PagedCache UML 移除内部 PagePool 属性

- 修正 Layer 数不一致（24 vs 32）及 decode 位置分组描述

- 更新文档时间为 2026-05-14
 2026-05-14 15:04:53 +08:00
ViperEkura db99d8b254 fix: 修复文档多处不准确 + inference scheduler 越界 bug + SchedulerCallback 回调阶段修正 
文档 (6 个文件):
- design.md: 15+ 处修正 — persistent_key_values→paged_cache,
  MLA 字段重写, Server/ParallelSetup 不存在类移除,
  关系箭头方向修复, SchedulerCallback 阶段修正等
- dataflow.md: 重写数据流图和描述, 修复训练回调顺序、
  数据键名、MLA 归属、MetricTracker 等错误
- introduction.md: 层数 32→24, MLP 图双 Linear 修正,
  默认值/响应字段/health 端点修复
- params.md: 补充 grpo 及 4 个 GRPO 参数
- README.md / README-zh-CN.md: generate.py 补全必需参数,
  删除重复注释, HuggingFace 声明修正

代码 (2 个文件):
- scheduler.py: n_pages 池加 page_size 余量防止越界;
  decode 前预分配页
- train_callback.py: SchedulerCallback 从 on_step_end 改
  回 on_batch_end (按 batch 步进学习率)
 2026-05-09 15:40:17 +08:00
ViperEkura b98c9cefdc refactor: 移除 device_ids 参数设计，统一通过 CUDA_VISIBLE_DEVICES 控制 GPU 分配；更新 README 训练示例 
- setup.py: 移除 device_ids 参数，setup_parallel 直接用 rank 作为设备索引
- train_config.py: 移除 device_ids 字段
- trainer.py: 不再传递 device_ids
- train.py: ddp_wrap 用 get_rank() 直接取值
- README.md, README-zh-CN.md: 训练示例改为多行命令风格，去掉参数表格
 2026-05-09 14:55:43 +08:00
ViperEkura bc7c82977e feat: GRPO CLI 接入 + on-policy，OpenAI API top_k 参数化，补充训练参数表 
- train.py 新增 --train_type=grpo 及参数 (--grpo_clip_eps, --grpo_kl_coef, --group_size, --grpo_sync_interval, --start_epoch)
- GRPOStrategy 统一 on-policy 模式，ratio = exp(logπ_θ - logπ_ref)，PPO 裁剪目标，sync_interval 自动同步 ref_model
- ChatCompletionRequest 新增 top_k 参数，不再硬编码
- 补充 README 完整训练参数表（含此前缺失的 max_grad_norm / adamw / window_size / stride 等）
 2026-05-09 12:22:33 +08:00
ViperEkura 34a511e36e feat: 新增 Docker Compose 一键部署，支持 GPU/CPU 双模式 2026-05-09 11:57:46 +08:00
ViperEkura d73f52a2f8 feat: 新增 Anthropic 兼容 /v1/messages API，移除旧版 /generate 端点 
- 新增 /v1/messages 端点，兼容 Anthropic Messages API 格式
- 支持流式 SSE（message_start → content_block_delta → message_stop）
- 支持 system 顶层提示词与 stop_sequences 停止序列
- 新增 AnthropicMessage / MessagesRequest Pydantic 模型
- 移除旧版 /generate 端点及相关测试用例
- 更新 README.md / README-zh-CN.md / introduction.md 文档
 2026-05-09 11:47:22 +08:00
ViperEkura 9d96b0431d docs: 更新文档以匹配分页 KV cache 等代码重构 2026-05-08 22:41:13 +08:00
ViperEkura 78dc2bd41c docs: 修正文档错误并补充训练参数说明 
- README: 补充训练参数速查表，完善训练命令示例
- design.md: 同步 inference 类图（SlotAllocator、GenerationParams、采样策略等
  新增类），修正参数名和类型错误，统一泛型符号
- params.md: 修正默认值（batch_size=1、num_workers=4），移除不存在参数
  （grpo_*、model_type、resume_dir），补充完整示例
- dataflow.md: _RadixNode 命名修正
 2026-05-08 18:07:57 +08:00
ViperEkura 6831a15424 docs: 更新镜像构建部分说明 2026-04-10 12:59:50 +08:00
ViperEkura 296db909aa docs: 更新设计文档 2026-04-09 20:05:54 +08:00
ViperEkura 408f0cb513 docs: 更新网络接口文档 2026-04-06 13:39:51 +08:00
ViperEkura f2ffdf60d0 chore: 修改错误拼写 2026-04-06 10:37:19 +08:00
ViperEkura bf7adb35b3 docs: 更新文档 2026-04-06 00:50:37 +08:00
ViperEkura d2fe8afbd1 chore: 更新文档， 修正代码格式 2026-04-05 20:59:52 +08:00
ViperEkura fc278d17ab feat: 实现模型动态注册机制 2026-04-05 19:38:12 +08:00
ViperEkura ff43a2fab8 docs: 更新设计文档 2026-04-05 00:17:35 +08:00
ViperEkura 99b821ebf5 docs: 更新文档类图等 2026-04-04 18:11:36 +08:00
ViperEkura c0e0e6afd9 docs: 更新文档 2026-04-03 22:11:19 +08:00
ViperEkura 0852b852f8 refactor: 优化参数传递，清理导入样式 2026-04-03 22:06:32 +08:00
ViperEkura c5560740b6 refactor: 修改分词器部分结构， 更新特殊token等 2026-04-03 14:52:35 +08:00
ViperEkura 8b6509b305 docs: 更新 design.md 项目结构和模块文档 2026-04-02 20:11:19 +08:00
ViperEkura e7721eafc6 docs: 更新说明内容 2026-03-31 15:18:49 +08:00
ViperEkura 4ead0a20cf chore: 修改文件夹结构 2026-03-31 10:14:08 +08:00
ViperEkura b1527d9575 docs: 优化文档结构并添加 GitHub 模板 2026-03-31 10:00:49 +08:00
ViperEkura 2e009cf59a chore: 更新项目名称 2026-03-31 09:34:11 +08:00
ViperEkura 50488bd659 chore: 简化格式并更新文档 2026-03-31 00:28:58 +08:00
ViperEkura 0e7fc623b4 fix: 修复部分已知问题 2026-03-30 21:42:00 +08:00
ViperEkura 6d6ef6dbb6 refactor: 修改project logo 2026-03-06 12:15:49 +08:00
ViperEkura 7a9b9d0659 docs(architecture): 添加系统架构文档并修复KV缓存数学公式 2026-01-18 14:10:31 +08:00
ViperEkura a4443765ee Initial commit 2025-09-27 12:02:22 +08:00