 ViperEkura
|
01ce1fb9e3
|
refactor : Pipeline 去除去重，ids 重命名为 sequence，泛型透传
- 移除 Pipeline 内置去重逻辑及 dedup_signature 工具函数
- 删除 ProcessingConfig.deduplicate 字段
- builder 返回 'sequence' 替代 'ids'，与 dataset 层统一
- pipeline 纯透传，泛型处理任意 key 补齐默认值
|
2026-05-31 15:14:27 +08:00 |
|
ViperEkura
|
dbe5891201
|
refactor : 统一 SectionedMaskBuilder，支持可配置 dtype
- 三合一 MaskBuilder，移除 chat/instruction/text，统一为 sections 配置
- OutputConfig 增加 dtype 字段 (per-key，默认 int32)
- 移除 from __future__ import annotations
- 测试适配新配置格式
|
2026-05-31 14:24:10 +08:00 |
|
ViperEkura
|
31ae2deeba
|
refactor : BaseConfig 提供 from_json/to_json，嵌套 config 自动反序列化
- from_json/to_json 上提至 BaseConfig，所有子类自动继承
- _coerce 新增 dict 到 BaseConfig 子类的递归反序列化，消除子类 from_dict 重载
- PipelineConfig 等子类仅声明字段，零样板代码
- 测试 tokenizer 改为自包含 BPE（含 chat template），不依赖 params/ 目录
- 特殊 token 改用 ASCII 字符，兼容所有平台
|
2026-05-30 21:04:19 +08:00 |
|
ViperEkura
|
69207e2c57
|
refactor : 基于声明式 JSON 配置的预处理管线重构
- 用工厂注册的 MaskBuilder（chat/instruction/text）替换硬编码的 _transform_* 方法
- mask 规则以 role-to-action 映射声明在配置中，与 chat_template 完全解耦
- 单次编码 + role-span 追踪替代两次编码 + 长度差计算 mask 的方式
- 支持多轮对话训练：所有 assistant 轮次参与训练，而非仅最后一轮
- 新建 astrai.preprocessing 包（builder.py + pipeline.py），删除 astrai/preprocess.py
- CLI 精简为 --config 参数，所有参数通过 PipelineConfig JSON 配置
- 新增 PipelineConfig、InputConfig、ProcessingConfig、OutputConfig dataclass
- 文档：assets/docs/preprocessing.md
- 27 个测试覆盖 mask builder、pipeline、配置序列化、工厂注册
|
2026-05-30 20:45:09 +08:00 |