 ViperEkura
|
8ab7564d02
|
docs: 重构 README 结构，全文档添加目录导航
- README 新增 Getting Started 端到端流程，整合快速开始与演示，去重精简
- 中文 README 同步英文版结构，预处理配置改用 seq 策略
- inference.md 补充 SSE 流式格式、错误响应、/stats 端点文档
- params.md 扩展为 CLI 参考，覆盖 server/generate/preprocess 参数表
- dataflow.md 拆分 tokenization/format detection/backend 子节，新增流程图
- architecture/training/inference/preprocessing 均添加目录导航
- 移除 README CI badge
|
2026-06-19 13:53:22 +08:00 |
|
ViperEkura
|
d096b6e29e
|
docs: 修复文档中过时的字段、签名和缺失的类
- BaseConfig 的 from_json/to_json → from_file/to_file
- InputConfig/ProcessingConfig/OutputConfig 字段对齐源码
- 移除不存在的 Registry 类，register() 去 category/priority
- SchedulerFactory.create 参数顺序修正
- 架构图/训练/参数文档补全 WSDScheduler
- CONTRIBUTING.md 克隆地址占位符修正
- params.md label_smoothing 默认值修正，补全 neftune_alpha
- app 类更正为 get_app 函数
|
2026-06-18 18:49:46 +08:00 |
|
ViperEkura
|
cf9c60841b
|
docs : 按代码反向修正所有文档错误
- 更新预处理模块目录结构和类名（SectionedMaskBuilder）
- 修正 ResponseBuilder.prepare 签名（tokenizer → engine）
- 补全缺失的 CLI 参数、配置字段和数据键名
- 修正 README 中 download.py 的描述
|
2026-06-06 01:06:30 +08:00 |
|
ViperEkura
|
2a65c3314c
|
fix : 修复 created 时间戳、bin 多 shard 覆盖与文档遗漏
- openai.py/anthropic.py: created 从 0 改为 int(time.time())
- openai.py: ChatCompletionRequest 不支持参数非默认值时 warning
- pipeline.py: bin 多 shard 使用子目录避免静默覆盖
- storage.py: MmapStore/detect_format 支持多 shard 聚合加载
- architecture.md: mermaid 类图新增 Pipeline 类
- preprocessing.md: 新增多 shard 输出布局与 Python API 示例
- protocol.py: docstring "6 methods" 改为 "5 methods"
|
2026-05-30 23:03:42 +08:00 |
|
ViperEkura
|
1c2ff05a6d
|
docs : 三轮深度验证修复文档与代码不一致
- architecture.md: 修正 unwrap_model 返回类型、Config Optional 标注、方法签名错误、类名错误
- training.md: 补充 on_error 回调、修正训练循环顺序、补全策略参数、model.safetensors
- inference.md: 修正 GenerationRequest 参数顺序、async 语法、KVCache 描述、temperature 约束
- dataflow.md: 补充 Store.load/fetch 流程、修正可选参数默认值
- README/params: 多 GPU 示例补全 --parallel_mode、文档表补充 preprocessing.md
- preprocessing.md: Chat 模式算法补全 BOS token 步骤
|
2026-05-30 21:41:06 +08:00 |
|
ViperEkura
|
b37c3d000c
|
docs : 同步文档与实际代码
- 移除 JSONStore 引用（该类不存在）
- 修正 Store.load() 和 DatasetFactory.load() 签名（无 tokenizer 参数）
- 修正 TrainContextBuilder.with_resume_dir() 命名
- 修正 Checkpoint config 字段和 meta.json 描述
- 修正 ProtocolHandler.handle() 异步签名
- 修正采样继承图（平行子类，非线性）
- 修正训练循环：回调移入 accumulate 块内
- 更新文档日期至 2026-05-28
|
2026-05-28 21:01:47 +08:00 |
|
ViperEkura
|
0a708fff24
|
docs : 更新架构文档与 storage 注释，同步 Store 重构
- architecture.md: 类图/关系线全部更新 (BaseStorage→Store, StorageFactory→StoreFactory, 新增 MmapStore)
- architecture.md: 移除 BaseSegmentFetcher/MultiSegmentFetcher 类图与关系
- dataflow.md: 管线加入 .bin 格式, Store._data + _cum 架构
- storage.py: module docstring 改用缩进式注释风格
|
2026-05-28 14:36:18 +08:00 |
|
ViperEkura
|
836e02a166
|
docs: 同步 architecture/inference/training 文档至实际代码，CLI 补充 fsdp 选项
- 修正 ProtocolHandler 架构：concrete + ResponseBuilder(ABC) 策略模式
- 修正训练循环 scheduler.step() 在 sync_gradients 块内
- 修正组合/聚合关系：注入组件改为 o--，删除不持有引用的关联
- --parallel_mode CLI choices 加入 fsdp
- nprocs > 1 且 parallel_mode=none 时 raise error
|
2026-05-26 19:37:00 +08:00 |
|
ViperEkura
|
82a3f2626f
|
docs: 更新文档与代码同步（Executor/训练循环/参数）
- architecture.md: TrainConfig 移除旧 parallel_wrapper/state_dict_fn
- architecture.md: 新增 ExecutorFactory/BaseExecutor/DDPExecutor 等类图
- architecture.md: MLA 新增 use_qk_norm/q_norm/k_norm
- architecture.md: 新增 protocols 命名空间
- training.md: 修复训练循环 hook 名和 scheduler.step 位置
- training.md: 替换 parallel_wrapper 为 parallel_mode/executor.prepare
- training.md: 修复默认回调顺序和 Callback 生命周期表
- params.md: 新增 --parallel_mode 和 --start_method
|
2026-05-24 22:17:49 +08:00 |
|
ViperEkura
|
785d65436c
|
fix: 修复 to_dict list 类型丢失与 OpenAI stop 参数失效
- to_dict() 增加 list 类型序列化支持，metrics 等字段不再丢失
- OpenAIHandler 补充 get_stop_sequences/on_token，读取 request.stop 并检测停止序列
- 文档类图补充缺失字段、修正关系分类、ChatCompletionRequest 字段增加 Optional
|
2026-05-19 21:07:07 +08:00 |
|
ViperEkura
|
6c8533f1d2
|
docs: 修正文档中类名/字段名与代码不一致之处
- ModelConfig → AutoRegressiveLMConfig, Transformer → AutoRegressiveLM
- 新增缺失类: EncoderConfig, EmbeddingEncoder, ConfigFactory, StorageFactory, ValidationCallback
- TrainConfig/TrainContext/ChatCompletionRequest 补充缺失字段
- dataflow.md 中 create_storage → StorageFactory.create
- 示例 --train_type=pt → seq 与代码一致
|
2026-05-17 21:02:21 +08:00 |
|
ViperEkura
|
f91bfee33e
|
refactor: Config序列化统一BaseConfig基类
- 新增astrai/config/base.py，提供to_dict/from_dict基类
- 统一命名：load/save → from_file/to_file
- Checkpoint.meta合并训练配置到meta.json
- sys.stderr.warn → warnings.warn
- from_file改为classmethod
|
2026-05-16 22:06:39 +08:00 |
|
ViperEkura
|
d7a7f570ed
|
refactor: 训练循环改为两重迭代并统一参数命名
- 训练循环从三重(epoch→batched→batch)改为二重(epoch→batch)
- batch_size → batch_per_device, accumulation_steps → grad_accum_steps
- scheduler 移入 step block 对齐 optimizer 更新步
- GradientClippingCallback 改用 on_step_begin 避免零梯度裁剪
- 移除 _train_impl 误导性的 -> Checkpoint 标注
- total_steps 修除为向下取整并精简为一行
- warmup_steps 改为 warmup_ratio (默认0.05)
|
2026-05-16 21:27:35 +08:00 |
|
ViperEkura
|
3d12a03909
|
docs : 拆分文档并补充类图缺失类和关系线
- 将 design.md 拆分为 architecture.md / inference.md / training.md
- 精简 dataflow.md 为纯数据管道
- 删除 design.md 和 introduction.md
- 更新 README.md 和 README-zh-CN.md 链接
- 补充 ChatMessage / AnthropicMessage 等 6 条孤立类关系线
- 补充 BaseModelConfig 和 TaskManager 两个缺失类
|
2026-05-15 23:38:26 +08:00 |
|
ViperEkura
|
0e7fc623b4
|
fix: 修复部分已知问题
|
2026-03-30 21:42:00 +08:00 |
|
ViperEkura
|
7a9b9d0659
|
docs(architecture): 添加系统架构文档并修复KV缓存数学公式
|
2026-01-18 14:10:31 +08:00 |