ViperEkura 6031020e37 feat : load_json/load_safetensors 支持 broadcast，跨节点分布式加载 ...

- load_json/load_safetensors/load_state_dict 新增 broadcast 参数
- broadcast=True 时 rank-0 读取后 broadcast_object_list 分发到所有 rank
- load_state_dict 改为逐张量 broadcast，避免大模型 pickle 内存瓶颈
- 删除 _get_meta/_get_config wrapper，Checkpoint.load 直接调用 load_json
- 参数注解 str | Path 统一为 Union[str, Path]

2026-05-28 20:44:58 +08:00

..

config

feat : checkpoint 支持保存 config.json

2026-05-28 20:21:51 +08:00

dataset

refactor: 删除数据流中的 JSONStore

2026-05-28 15:54:26 +08:00

inference

refactor : 移除 -> None 返回值标注，拆分 FSDP 参数，新增 mmap 数据集存储

2026-05-28 13:57:06 +08:00

model

refactor : 移除 -> None 返回值标注，拆分 FSDP 参数，新增 mmap 数据集存储

2026-05-28 13:57:06 +08:00

parallel

refactor : 移除 -> None 返回值标注，拆分 FSDP 参数，新增 mmap 数据集存储

2026-05-28 13:57:06 +08:00

tokenize

fix: 移除多余 request 参数并增强 tokenizer 健壮性

2026-05-17 12:52:18 +08:00

trainer

feat : checkpoint 支持保存 config.json

2026-05-28 20:21:51 +08:00

__init__.py

fix: 修复 to_dict list 类型丢失与 OpenAI stop 参数失效

2026-05-19 21:07:07 +08:00

factory.py

refactor : 移除 -> None 返回值标注，拆分 FSDP 参数，新增 mmap 数据集存储

2026-05-28 13:57:06 +08:00

protocols.py

refactor: 重构训练后端为 Executor 模式

2026-05-24 20:35:44 +08:00

serialization.py

feat : load_json/load_safetensors 支持 broadcast，跨节点分布式加载

2026-05-28 20:44:58 +08:00