Codex AutoRAG 评估指标插件:验证检索精确率与标签
EnglishCodex 安装步骤
- 打开固定版本的 GitHub 原文。在该版本的工作副本中保留 `.agents/skills/create-metric-plugin/` 整个目录。
- 在目标项目中打开 Codex,输入 `$create-metric-plugin` 并给出本页示例里的任务和所需输出。
中文摘要
按 AutoRAG-Research 的 MetricInput 和插件装饰器编写评估指标,用已知结果测试单条或批量打分。适合添加检索评估。
SKILL.md 中文导读
可复现示例
在练习项目输入 `$create-metric-plugin`,为两条虚构查询制作精确率夹具。一条返回相关结果,另一条返回空列表,要求先写预期值。工作步骤
- 先决定输入字段和计分单位,再核对标注分组语义。
- 根据单条或批量模式选装饰器,用可手算样例测试得分和缺失输入。
验收方法
测试能用固定标签和返回文档验证得分,明确如何处理空检索结果。
GitHub 原文 · 更新日期
适用环境
Codex 与 AutoRAG-Research 工作副本,准备本地 Python 和带预期值的合成检索数据。
常见问题
什么时候使用批量装饰器?
需要跨输入聚合时使用项目批量入口。只依赖一条样例的指标可采用单条入口。