ChatGPT 模型评估报告技能:对比基线并标记退步
EnglishChatGPT 安装步骤
- 从固定版本 GitHub 原文下载 agentic/code/addons/aiwg-evals/skills/eval-report/SKILL.md。将它作为 eval-report 的独立文本技能,保留名称、描述及正文。
- 在已启用技能和上传权限的 ChatGPT 工作区,打开「插件 → 技能 → 创建 → 从电脑上传」,选用文件选择器接受的技能包格式。也可在「使用编辑器创建」中录入原名称、描述和文本指令。
- 完成扫描后,确认 eval-report 出现在已安装列表。在新对话输入 @ 并选择此技能,使用页面的虚构示例检查输出。
中文摘要
把现有评估结果汇总成可核对的报告。按任务或模型分组,比较同口径分数、样本与低于阈值的项目,给下一轮复测方向。
SKILL.md 中文导读
可复现示例
虚构助手有两组同题评估:摘要从 8/10 到 9/10,格式从 9/10 到 7/10。报告要求标退步,阈值 80%。工作步骤
- 填写评估任务、版本、指标和分母。
- 计算同口径差异并标阈值。
- 列待复测任务和需要补的证据。
验收方法
摘要提升 10 个百分点,格式下降 20 个百分点并低于阈值。报告保留分母 10、版本和任务条件,小样本不写成稳定趋势。
GitHub 原文 · 更新日期
适用环境
需要有技能创建权限的合资格 ChatGPT 工作区,选择上传时还需相应权限。这份纯文本移植的安装路径按 OpenAI 文档核对,工作区运行待验证。
常见问题
新版本换了题目还能直接比较吗?
标明题集变化并分别报告。用相同题集复测后,再把差异解释为可比较的表现变化。