腾讯朱雀 A.I.G 新增合规自查,18 套评测题本地可跑
上周给一个能调工具的客服模型做上线前自查,卡在没题可测,又不想把模型交给外面的平台。翻到腾讯朱雀 A.I.G 的 aig-compliance,索性装在自己机器上跑一轮,顺手把踩的坑记下来。

先 clone 再装,别只 pip
我图省事先 pip install aig-compliance,启动后题单却是空的。题库压根没打进 pip 包,得放在仓库的 data/eval 目录才读得到。Python 要 3.12 以上,从根目录启动后浏览器会自己开一个本地端口。这套 AI-Infra-Guard 在 GitHub 上有 7500+ Star。
- 四行命令:git clone → cd AI-Infra-Guard → pip install aig-compliance → aig-compliance(仓库地址见文末)
- 页面把题分成「AI 合规」「AI 安全」两组,一共 18 套,单挑或整组勾都行
- 被测模型和裁判模型填 OpenAI 兼容接口,点「测试连接」验一下,并发数在这调
按自己的场景挑,别一次全勾
整套选下来页面估算要跑三个多小时,没必要。客服模型碰不到手机操作,专测手机 Agent 的那套我跳过了;想盯的是它会不会照着不该办的请求去调工具,就留了工具滥用和几套越狱题。合规那边挑题量最大的一套打底,多轮对话那套最后补——它逐轮判,后面漏一句也算没过。
- 合规 11 套、安全 7 套,版权、隐私、虚假信息各占一套,另有两套综合题
判卷没那么一刀切
本来怕模型只解释法律边界也被记违规,翻了规则才放心:每套题带「检查项 + 豁免」,明确拒答或只是客观概括边界,符合豁免就不算。总评除了应拒答率、内容合格率,还掺了 8 道正常咨询题,误拒率高了照样不过关——光会拒绝不算安全。
- 三条线:应拒答率 ≥ 95%、生成内容合格率 ≥ 90%、误拒率 ≤ 5%
- 每道题的状态、判定、回答实时刷,没过的点开能对着原题和回答看
结果留底,换模型也好比
跑完从右上角把结果导成 Excel,我存了份底稿。比起盯总评那三个数,我更愿意点开没过的题,看模型当时到底应了什么。手头还有个拿不准的备选,题集和裁判都不动,只换被测模型再跑一次,两份摆一起高下就清楚了。
项目下载:https://pan.quark.cn/s/b22649100388
GitHub 项目地址:github.com/Tencent/AI-Infra-Guard