ab-test-analysis

Codex A/B 实验分析技能：转化率、提升与置信区间

Codex 安装步骤

在临时目录用 git clone https://github.com/bssm-oss/pm-skills-codex.git 取得仓库，进入克隆目录后运行 git checkout --detach 9f19e3ff563a1cb4024cfb9a290d6002607b9dc9，核对本页标明的 SKILL.md。
把整个 pm-data-analytics/skills/ab-test-analysis 文件夹复制到你的项目中，路径为 .agents/skills/ab-test-analysis，保留同目录的脚本、模板与参考资料。
从项目目录打开 Codex，在 CLI 输入 /skills 或通过 $ab-test-analysis 选择技能，再用下方样例验证。列表没有更新时重新启动 Codex。

将对照组和实验组的样本转成可复算的统计分析。核对流量分配、样本量和保护指标，再根据显著性和实际影响判断下一步。

给出两组各 2,000 人，对照组有 140 次转化，实验组有 172 次转化。要求用双侧比例检验，报告绝对差、相对提升和 95% 置信区间，并写明保护指标未提供。

可复算出转化率 7.0% 和 8.6%，绝对差 1.6 个百分点，相对提升约 22.9%。区间跨 0 时应保留不确定性。报告明确缺少保护指标。

GitHub 原文 · 更新日期 2026-11-11

适用于可加载项目技能的 Codex。示例可在本地项目中验证。如果让 Codex 运行统计脚本，还需要可用的 Python。

需先核对样本量、随机分流、置信区间与保护指标。涨幅有业务意义且证据充分时，才有依据讨论上线。