 ViperEkura
|
6031020e37
|
feat : load_json/load_safetensors 支持 broadcast，跨节点分布式加载
- load_json/load_safetensors/load_state_dict 新增 broadcast 参数
- broadcast=True 时 rank-0 读取后 broadcast_object_list 分发到所有 rank
- load_state_dict 改为逐张量 broadcast，避免大模型 pickle 内存瓶颈
- 删除 _get_meta/_get_config wrapper，Checkpoint.load 直接调用 load_json
- 参数注解 str | Path 统一为 Union[str, Path]
|
2026-05-28 20:44:58 +08:00 |
|
ViperEkura
|
c424dfc293
|
feat : checkpoint 支持保存 config.json
- Checkpoint.save 写入独立的 config.json（模型架构参数）
- Checkpoint.load 读取 config.json，恢复时覆盖 context.model_config
- TrainContext 新增 model_config 字段，builder 从 resume_dir/config.json 加载
- BaseConfig.to_dict 支持 tuple 和嵌套 dataclass（如 LoRAConfig）
- 删除 _get_meta/_get_config wrapper，直接使用 load_json
|
2026-05-28 20:21:51 +08:00 |
|
ViperEkura
|
cb8dcb97ea
|
refactor : 移除 -> None 返回值标注，拆分 FSDP 参数，新增 mmap 数据集存储
- 删除所有 def 函数 -> None 返回值类型标注
- FSDPExecutor 参数从 **kwargs 拆为显式声明，None 值自动过滤
- 新增 MmapStorage (bin) 存储后端，基于 numpy.memmap 零拷贝加载
- 新增 save_bin/load_bin/json_to_bin 工具函数
- detect_format 支持 bin 格式自动检测
|
2026-05-28 13:57:06 +08:00 |
|
ViperEkura
|
4145d35e3c
|
refactor: 检查点加载重构，路径替代对象传递
- model: nn.Module -> model_fn 工厂函数，spawn 边界只传字符串
- Trainer.train(resume_dir=path) — Checkpoint 不再通过 pickle 传递
- TrainContextBuilder.with_resume_dir(path) — 自动检测 meta.json 分流 resume/from-scratch
- CheckpointCallback: 拆分 state_dict 收集（全 rank）与磁盘写入（rank-0），修复 FSDP 死锁
- serialization: load_torch 支持 broadcast，消除 _load_extra/_load_torch_broadcast
- optimizer/scheduler 恢复逻辑内联到 build()，在 executor.prepare() 之后执行
- pyproject.toml: ruff exclude build/ 避免 CI 扫描构建产物
|
2026-05-27 20:15:29 +08:00 |
|
ViperEkura
|
65ab69543b
|
refactor: 统一序列化层，消除分散的 I/O 路径
- Checkpoint 改为 @dataclass，内聚 save/load 方法
- 提取 save_safetensors/load_safetensors/save_json/load_json 共享工具
- 新增 save_model/load_model_config/load_model_weights 模块函数
- automodel 和 lora 统一委托到 serialization 模块
|
2026-05-26 16:44:40 +08:00 |
|
ViperEkura
|
64be81b7b3
|
feat: ProgressBarCallback 支持日志行输出到 stdout
- serialization 和 metric_logger 的 timestamp 统一使用 ISO 8601 格式
- ProgressBarCallback 新增 log_interval/file 参数，默认输出到 sys.stdout
|
2026-05-19 19:12:38 +08:00 |
|
ViperEkura
|
f91bfee33e
|
refactor: Config序列化统一BaseConfig基类
- 新增astrai/config/base.py，提供to_dict/from_dict基类
- 统一命名：load/save → from_file/to_file
- Checkpoint.meta合并训练配置到meta.json
- sys.stderr.warn → warnings.warn
- from_file改为classmethod
|
2026-05-16 22:06:39 +08:00 |
|
ViperEkura
|
7dea929788
|
refactor: checkpoint 按 HF 方式存独立 .pt 文件，callback 接管恢复
- Checkpoint.save/load: extra 逐 key 写为 {key}.pt 而非单个 extra.pt
- meta.json 新增 timestamp
- CheckpointCallback: save_extra/load_extra 静态方法 + extra_keys 类属性
- on_train_begin 接管 optimizer/scheduler 恢复，TrainContextBuilder 不再传 load_extra_fn
|
2026-05-16 18:29:04 +08:00 |
|
ViperEkura
|
5889179c54
|
refactor: 抽取 BaseStorage 存储抽象，支持 JSON 原始文本数据加载
- 新增 astrai/dataset/storage.py：BaseStorage/H5Storage/JSONStorage + Fetchers + 序列化函数
- BaseDataset.load() 接入存储抽象，自动检测 HDF5/JSON 格式
- JSON 支持原始文本 + tokenizer callable 加载时 tokenize
- 新增 BaseDataset.count / keys 属性进行长度观测
- serialization.py 精简为只保留 Checkpoint 类
- 函数放前、类放后，删除分隔注释
|
2026-05-12 11:17:24 +08:00 |
|
ViperEkura
|
ca4e6b907c
|
feat: Checkpoint 支持 extra 通用扩展数据，用户通过函数自定义保存/恢复优化器等状态
- serialization.py: Checkpoint 新增 extra: dict 字段，
save() 写入 extra.pt，load() 自动恢复
- train_callback.py: CheckpointCallback 新增 save_extra_fn
参数，用户传入 (context) -> dict 决定保存哪些额外状态
- train_context.py: TrainContextBuilder 新增 load_extra_fn
参数，用户传入 (extra, context) 从 checkpoint 恢复状态
|
2026-05-09 15:50:38 +08:00 |
|
ViperEkura
|
bd9741dc5f
|
refactor: 从data 模块分离tokenizer
|
2026-04-04 16:12:58 +08:00 |