ML Data Pipeline Architecture 技能:用 Polars 延迟筛选 Parquet
EnglishClaude Code 安装步骤
- 从 GitHub 固定提交获取完整的 `plugins/devops-tools/skills/ml-data-pipeline-architecture` 目录。
- 复制到目标项目的 `.claude/skills/`,确认 `.claude/skills/ml-data-pipeline-architecture/SKILL.md`,再从项目根目录启动 Claude Code,输入 `/ml-data-pipeline-architecture`。
中文摘要
让 Claude Code 将筛选、列选择与聚合写入 Polars LazyFrame,在实际收集前检查执行计划。
SKILL.md 中文导读
可复现示例
用三行数据验证:北区活跃 2、北区停用 7、南区活跃 3。只读取活跃项并按 region 合计 quantity。工作步骤
- 用 scan_parquet 建立延迟输入,先筛选 active,再选择需要的列并汇总。
- 查看 explain 输出,运行 collect 后核对合成结果和实际读取范围。
验收方法
输出北区 2、南区 3,执行计划可核对筛选与选列是否下推。
GitHub 原文 · 更新日期
适用环境
准备 Python、Polars 和自己生成的小型 Parquet。示例字段为 region、quantity 和 active。
常见问题
LazyFrame 会在每一步都读取整个 Parquet 吗?
延迟操作先组成计划,收集时执行。通过 explain 检查当前数据源和表达式能否优化。