给 Qwen 做个小评测集

2026-11-16 18:08 更新

评测集不用大——20 到 50 条、分层抽样盖住真实分布、答案形态钉死(选择题只放字母、数学题放 \boxed{})、定稿后留作固定回归集不再改题;改提示词前后各跑一遍,分数升降就是回归结论。

一、前提与适用

前提 说明
适用场景 提示词改版回归、标签集调整验证、模型或参数变更前后的对比
官方依据 官方评测口径:answer 只放选项字母、数学题逐步推理 + \boxed{}——评测答案形态与其对齐即可程序判卷
不适用 开放式生成任务的主观质量——没有标准答案,改用 11.1 的评分卡人工评
核心手段 分层抽样 + 答案形态契约 + 固定测试集

二、怎么做

评测集三件套:分层、钉形态、锁题库。

  1. 分层抽样盖住分布。「按四个标签各抽至少 1 条,其中其他类至少含 1 条表扬或闲聊」——分层保证每类都被考到;均匀随机抽 6 条可能全落在最大类,小类目零覆盖。
  2. 埋边界样本。「至少 1 条复合工单(两个诉求并存),用于考察主要诉求仲裁」——评测集专考容易错的边界,全放简单样本的评测集测不出回归。
  3. 答案形态钉死。expected_tag 只放标签文字、不放解释——与官方评测句式同一纪律:answer 只放选项字母(选择题)、数学题答案放 \boxed{}。形态钉死,判卷程序一个 == 就完成。
  4. 定稿后锁题。评测集一旦定稿就不许再改题——改题等于换考卷,改版前后的分数不可比。

坏写法:

随便给我一些测试用例,测试一下我的分类提示词好不好。

三处问题:「一些」没有数量与分层约束(覆盖面随机)、「测试用例」没有答案字段(expected 与 output 混在一起没法判卷)、「随便」没有边界样本意识(全走简单路径)。

改写后的完整提示词:

你是评测集构建助手。为「客服工单四分类」(功能缺陷/体验问题/付费咨询/其他)设计一个 6 条的小评测集。

构建规则:
1. 分层抽样:按四个标签各抽至少 1 条,其中「其他」类至少含 1 条表扬或闲聊。
2. 至少 1 条复合工单(两个诉求并存),用于考察主要诉求仲裁。
3. 每条格式:{"id": "E01", "text": "工单内容", "expected_tag": "标签", "why": "一句话考察点"}
4. expected_tag 与工单一一对应,答案形态钉死为标签文字,不放解释。

只输出 6 条评测项,不要输出使用说明。

数量、分层、边界样本、答案形态四件事齐备,产出可直接落成回归脚本的数据文件。

「提示词是否具备评测集四要素」可以做成可跑检查:

## EXPECT: 分层规则=1 边界样本=1 答案形态=1 锁题约束=1
PROMPT = open("prompts/11.2.txt", encoding="utf-8").read()

import re
strata = len(re.findall(r"^1\. 分层抽样", PROMPT, re.M))
edge = len(re.findall(r"复合工单", PROMPT))
ans = len(re.findall(r"expected_tag.*不放解释", PROMPT))
lock = len(re.findall(r"只输出 6 条评测项", PROMPT))
print(f"分层规则={strata} 边界样本={edge} 答案形态={ans} 锁题约束={lock}")

实测输出与判定:脚本实跑输出与首行注释一致。逐条判定:分层规则、边界样本、答案形态、锁题约束各命中 1 次——评测集四要素齐备。判定器只查提示词形态;分层是否真盖住四类、复合工单是否埋进去,看下面的实测输出。

怎么看这个示例:判定器是本地脚本,上面那条提示词另在 qwen3.7-max(temperature=0.7、top_p=0.8) 上实测;脚本输出不等于模型输出,两者分别核对。

模型回复(真实输出节选):

[
  {
    "id": "E01",
    "text": "点击导出报表按钮后,页面一直转圈,最后提示502错误,完全无法下载数据。",
    "expected_tag": "功能缺陷",
    "why": "考察对明确系统报错和流程阻断等典型功能异常的识别。"
  },
  {
    "id": "E02",
    "text": "深色模式下的字体颜色太浅了,看着特别刺眼,而且二级菜单的折叠动画有些卡顿,希望能优化一下视觉效果。",
    "ex…(节选)

Qwen 输出卡片

以上为模型真实回复的节选,实测日期 2026-11-16。

三、参数与边界

边界 说明
集合规模 20–50 条做日常回归足够;上限不是越多越好,判卷成本随条数线性涨
标准答案 expected 由人工标注定稿;用模型生成初稿后必须人工逐条核对,错误答案会让回归结论反转
集合时效 业务标签集改版时评测集随之重标——但重标后旧分数作废,要跑一次基线重建
判卷方式 答案形态钉死后程序判卷;仍需人工看的只有「其他」类的拒判合理性

四、验收清单

检查项 通过标准
覆盖完整 每个标签至少 1 条,抽查分布与真实业务占比方向一致
边界在场 评测集里能指出至少 1 条边界样本及其考察点
判卷可自动化 每条 expected 与输出形态一致,脚本一条循环跑完全集
停手条件 连续三轮分数不变,说明提示词已到该集合的天花板——加边界样本或换更难场景,而不是继续改措辞

五、注意与相关

评测集是「把验收标准变成可重放的数据」——与 5.3 判定器、11.1 评分卡构成完整的质量闭环:判定器查单条形态、评分卡查提示词文本、评测集查批量行为。答案形态的两条官方口径(选择题只放字母、数学题放 \boxed{})分别在 5.3 与 5.1 展开。分类标签集的设计纪律见 标签集怎么给 Qwen 不打架——标签集改版日就是评测集重标日。

以上内容是否对您有帮助:
在线笔记
App下载
App下载

扫描二维码

下载编程狮App

公众号
微信公众号

编程狮公众号