评测集

142 条真实 Android app 任务，测手机 GUI agent 被界面内植入的注入指令劫持的比例

腾讯朱雀四层红队平台：AI 基础设施 CVE 扫描、MCP/skill 审计、agent 多轮红队、LLM 越狱评测

MM-Privacy：给VLM看含隐私的表单/手写图，跨OCR/VQA/摘要任务测是否泄露或记住敏感信息

3944 个沙箱验证的恶意 agent skill（代码/提示注入/控制平面），测检测器能否识别

用 cheap-talk 博弈测 LLM 当利益冲突顾问时是否如实报信息，以互信息对比理论均衡

同一注入载荷分别塞进工具返回和工具描述，对比13个LLM在AgentDojo上的攻击成功率

155 个恶意 skill/本地文件案例，测 CLI 编码 agent 在良性请求下被间接注入诱导做不安全操作

让 AI agent 把真实漏洞开发成可用 exploit，评其网络攻击能力

真实 Ubuntu 上测 OS agent 是否被诱导执行危险操作，语义+系统状态双重校验，819 例

统一平台，在 AgentDojo 等工具 agent 环境里用自适应注入攻击评测各类提示注入防御

用 Gmail/Slack/日历等 mock 服务的 44 个任务，测生产力 agent 能力与注入、泄密、误删等不安全动作率

205题测OpenClaw系编码agent在完整网络攻击杀伤链上的危险能力暴露

120 例注入藏在 skill 文件/邮件/网页中，沙盒测高权限个人 agent 是否执行泄密、转账、删文件等有害动作

多 agent 系统内部通道（agent 间消息、共享内存、工具参数）的隐私泄露，1000 场景含半数攻击

在真实工具链的本地个性化 agent（OpenClaw）上端到端测 DPI/IPI/记忆投毒/PoT 后门

60 个开放式动态工具任务+560 个间接注入，重测十种 IPI 防御的安全与效用

标注工具调用 agent 逐步动作安全性，评护栏模型能否在执行前拦截恶意请求与注入

40 个沙箱 bash 场景，测 agent 在 KPI 压力下是否违反伦理/安全约束

真实 MCP 服务器上 20 类攻击（工具投毒/返回注入/用户侧恶意指令），测 LLM agent 多轮任务 ASR

多模态越狱攻防统一工具箱：13 攻击×15 防御，测 18 个 MLLM 的有害输出率

1.47 万条真实结构 HTML 含/不含注入，测检测器能否识别网页中的注入

统一框架对 VLA 机器人模型做图像/文本对抗攻击与后门投毒，仿真+真机评动作被操控率

把有害指令藏进叠加语音/混合音频/多人对话，测音频 LLM 越狱率及音频护栏拦截

多agent系统在DPI/IPI/冒充/恶意agent六类攻击下的安全与效用权衡（ERS）

激活引导绕过拒答，多选题测 LLM 被安全对齐掩盖的群体偏见

Android 沙箱里录 204 条 GUI agent 轨迹，测安全检测器能否判出不安全轨迹并定位出错步骤

把 agent 执行状态冻结成 10 个 threat snapshot，用众包攻击测 backbone LLM 在直接/间接注入下是否泄密、乱调工具、产恶意代码

Android 模拟器里向手机 GUI agent 注入伪造弹窗/覆盖层，测 VLM agent 被劫持率

在可开关暗黑模式的仿真网站上测 web agent 是否被欺骗式 UI 诱导做出偏离任务的操作

五领域150场景测LLM自利/讨好型欺骗，含奖励诱导与多轮强化条件

200 个多 agent 协商场景，测 LLM agent 在非对抗协作中是否泄露私密信息及操纵行为

评审核器对推理模型输出（含思考链）的安全分类与流式句级不安全定位，2441 条英文样本

MCP 工具链 12 类攻击（名冲突/描述注入/假错误等）2000 例，测 9 个 LLM agent 的被攻击成功率

6 个模拟网站、330 个对抗场景，从用户侧（越狱/注入）和网页侧（弹窗/广告/间接注入）测 LVLM 网页 agent 安全

语音版 AgentHarm+工具调用：多语言语音指令下测工具编排正确率与有害请求拒绝率

auditor agent 按 seed 多轮诱导目标模型，judge 按 36 维打分，查欺骗/谄媚/权力寻求等对齐问题

SafeMindBench：图文对测具身 agent 在危险指令/危险环境/顺序约束下的规划安全

5558 题测具身 agent 四个推理阶段能否识别危险指令/环境、修正不安全动作序列。

评有害性判定器：有害提示配越狱产生的有害/无害回复，看各种 judge 能否正确排序

5.7 万图文 VQA 对，标注图像/指令/回复三层有害性，评多模态安全审核器准确率

往搜索结果里塞一个不可靠网页，测搜索 agent 是否被诱导输出广告/偏见/有害/误导内容

按推理复杂度分三级的中英双语越狱基准，15 种攻击含藏头诗、灯谜等中文特有方法

计算机使用 agent 边做公司任务边隐蔽作恶，测监控器能否从轨迹中检出破坏行为

在真实 MCP 工具描述中植入恶意指令，测 agent 是否照做发起有害工具调用

MCP 安全基准：17 类攻击覆盖用户/客户端/传输/服务器四面，在 Claude、OpenAI、Cursor 上实测攻击成功率

用形似有害的无害提示测 LLM 是否误拒，衡量安全对齐的效用代价

180 万条竞赛攻击提炼成基准，测 22 个工具 agent 在直接/间接注入下违规率与迁移性

350+ 真实工具多轮任务，用户/NPC/文件施压，测 agent 是否做出八类不安全动作

179 条明确 CBRN 类有害问题，测越狱攻击能否让模型给出灾难性误用信息

模拟器里161个家务场景、388个风险，过程级检验VLM具身agent能否先做安全缓解步骤

在 THOR 模拟家居中给 VLM 具身 agent 下越狱改写的危险指令，测感知-规划-执行各层是否拒绝

OSWorld 上 150 个任务测电脑操作 agent：用户滥用、注入攻击、自发误行为三类，LLM 裁判评安全

统一遗忘评测框架：13 种遗忘算法×16 指标，覆盖 TOFU/MUSE/WMDP 并做指标元评测

把有害目标拆成无害子任务多轮投喂，测模型拒答率与顺序监控器的检出率

公开挑战赛收集 20 万条邮件注入攻击，测邮件助手及多种防御能否挡住未授权工具调用

用带伪造文本/假弹窗的网页、应用、OS 截图测 VLM agent 是否执行不安全动作，另含多 agent 并发场景

9 个工具 agent 环境测模型自发逃避监控、抗关机、放水、夺权的倾向

给漏洞描述和代码库，让 agent 写 PoC 复现真实漏洞，测网络攻击能力

306 个网页环境里视觉嵌入恶意指令，测 computer-use/浏览器 agent 是否被带偏执行

34 个网页/手机 GUI 任务测多模态 agent 的真实性、可控、安全、隐私

在 AgentDojo 银行套件加 32 任务与数据流注入攻击，测工具 agent 是否泄露用户数据

ASSEBench 用 2293 条 agent 安全/安保轨迹测 LLM 判官能否达到人类专家判别水平

492 个真机 GUI 风险任务，测多模态电脑操作 agent 对用户有害指令和环境注入的防御

给 LLM 看 1000 条转录文本，测它能否判断自己是在被评测还是真实部署

在 VM+Docker 网页混合沙盒里把恶意指令藏进网页，测 computer-use agent 被间接注入劫持的比例

14 语种有害/良性提示集，测 refusal 方向跨语言通用性及激活引导越狱

把文本越狱提示转成语音并加音频扰动，测音频语言模型的越狱脆弱性

合成 MCP 工具调用轨迹，让 LLM 判断安全与否并分类 10 种 MCP 风险

合成视频配显式/隐式有害 query，测视频多模态模型越狱率，RJScore 打分

用 16k 条看似有害实则无害的提问，测 LLM 是否过度拒答，并给推理式回答做训练

仿真网站里植入人写注入，测网页/计算机 agent 是否被劫持去做攻击者任务

322 道多模态病毒学实验排障题，测模型的两用生物危险能力

可插拔攻击框架，在τ-bench/BrowserGym里测恶意用户与恶意环境注入对agent的影响

把模型对齐成拒答数学/生物题，再越狱，测越狱后答案准确率掉多少

模拟心理脆弱用户与角色聊天机器人多轮对话，用 PHQ-9 等量表测对话前后心理恶化率

多模态推理模型越狱评测工具包，对比推理版与基座版在图文越狱下的 ASR

17 语种 2.9 万条 prompt-回复对，测护栏判断有害性与拒答的准确率

把有害请求做成多语言、多口音并加声学扰动的语音，测音频 LLM 越狱率

3K 条网页 agent 风险轨迹（AgentPoison/AdvWeb 攻击），测护栏按策略判违规的准召

图文有害请求数据集，带有用性/安全双偏好与严重程度标注，评测并对齐多模态模型安全

沙箱里让 LLM agent 利用 40 个真实关键 CVE 攻破 Web 应用，评其自主攻击能力

Web3 agent 在记忆被注入/工具输出被篡改时是否误转账，150+链上任务+500+攻击

按中国生成式AI安全国标构建3100条中英双语提示，评DeepSeek系列文本/多模态/文生图模型的有害输出

给 web agent 含敏感信息的用户资料，看它完成网页任务时会不会多余地泄露无关隐私

988 条分级有害回复，评审核器能否判出安全性和 0-4 级风险严重度

500 条配对安全/有害网页任务，看 web agent 会不会替用户造谣、骚扰、犯罪

施压场景下测 LLM 是否违背自身信念说谎，把诚实与准确性分开评

用 GDPR/HIPAA 等法规、真实判例和合成情景构造 14 万道选择题，测 LLM 隐私合规判断

12 类危害的单轮提示测聊天模型拒答率，微调评估器集成打分并分五档评级

3000 图/28.8K VQA 测 MLLM 安全遗忘：遗忘质量、效用及过度拒答（SARR）

给 LLM 写后端应用任务，跑功能测试并用真实 exploit 攻击，同时测正确性与安全漏洞

1500 图文对测 MLLM 能否判断组合后内容安全与否，含过度敏感子集

3538 例测 LLM 能否按系统>用户>历史>工具输出的优先级处理冲突指令

多张无害图组合出有害意图，测 VLM 能否跨图推理识别并拒绝，同时不过度拒答

给有害查询配安全/不安全上下文，用大量人工标注对比模型拒答是否合理

把越狱文本转成语音并做音调/语速/噪声/重音等编辑，测音频大模型是否被诱出有害内容

3.4 万条人标安全对话，按 12 类风险分类法评测 LLM 内容护栏的判别准确率

多语言 CWE 编程题，同时跑功能与安全测试，量化 LLM 生成代码功能对但有漏洞的比例

2000 条模拟工具环境任务，测 LLM agent 在恶意指令与风险环境下的安全行为，微调 Qwen 判分

AI2-THOR 家庭模拟器中给具身 LLM agent 下危险任务，测拒绝率与安全对照任务成功率

200 万视频六类不安全内容，评视频护栏模型按安全策略多标签判定并给出解释

用 6 个带工具的 agent 环境测前沿模型是否会为目标隐秘欺骗开发者（关监督、自渗出、撒谎）

2.2k图文对，去掉文本中的风险线索，测MLLM能否凭图像识别有害请求并拒答

测代码 agent 是否会执行危险代码或生成恶意软件，沙箱内真跑

用含注入触发词的良性提示，测提示注入护栏模型的过度拦截（误报）率

用七数据集十余语言的有毒文本和越狱提示，测 LlamaGuard 等护栏的多语言检出能力

有害 query 配多种越狱模板与提示形式，跨生成/选择/判别三任务测 LLM 安全泛化

用 IDEATOR 生成 3654 条图文越狱样本，测 11 个 VLM 的攻击成功率

测前沿模型能否在监控下隐蔽搞破坏：误导决策、埋代码 bug、装弱、当监督者放水

多轮对话中通过指代省略、分散提问、越狱话术、负反馈等诱导 LLM 输出偏见，评其公平性

多模态版 TOFU：虚构人物图文问答，评 11 种遗忘方法能否抹掉指定人物又不伤保留集

Android 模拟器 250 个任务，测 GUI agent 对有害用户请求、app 内容注入的安全性及有用性

阿拉伯地区化安全题集：有害/间接攻击/敏感词无害三类提问，政府与反对派双视角评分

在不同拓扑的 LLM 多agent网络里安插攻击者传播虚假/偏见/有害信息，测结构对安全的影响

用户直说要作恶时，agent 会不会调工具把多步有害任务跑完；附 benign 对照测过度拒答

给浏览器 agent 下 100 条有害指令，测拒答训练的 LLM 变身 agent 后是否照做

评『越狱判定器』：多场景多语言人工标注集测 judge 准确与可解释打分

在 WebArena/SuiteCRM 中给 web agent 任务附加安全策略，测其在策略约束和注入下的合规完成率

同一无害查询配安全/不安全图片，测 MLLM 能否按视觉情境判断该答还是该拒（含聊天与具身任务）

让 LLM agent 自动渗透测试 33 个漏洞靶机，测其网络攻击能力

10 个场景、13 个 LLM 的工具 agent，测 DPI/IPI/记忆投毒/PoT 后门及 11 种防御的攻击成功率

31840 条化学生物医药有害科学请求，含越狱增强，测 LLM 安全对齐

从 QA 探测到工具 agent 执行任务，分层测 LLM 会不会违反情境隐私规范泄露信息

537 个人类红队多轮越狱对话，测 LLM 防御和遗忘方法在多轮攻击下是否失守

用提取、成员推断、PII 诱导等攻击及防御，系统评估 LLM 全生命周期隐私泄露

用 40 道真实 CTF 题让 LLM agent 在 Kali 容器里写代码、跑命令拿 flag，测网络攻击能力

测 LLM 网络攻击能力：钓鱼、不安全代码、漏洞利用与自主攻击

把 8 部法规 16 份公司政策拆成 314 类风险，生成 5694 条有害提示测 LLM 拒答率

用书籍/新闻语料从记忆、隐私泄露、效用、规模、连续请求六维度评测 LLM 遗忘算法

用恶意/越狱提示测 9 个文生视频模型 14 类安全风险，GPT-4 加人工判定视频是否违规

测 LLM 该拒时拒、不该拒时答：5 类该拒提示+对照集，GPT-4 评判合规率。

8 语种人工编写有害提示（含文化本地伤害），测多语言 LLM 拒绝/顺从率

真实用户越狱策略改写的 2000 条有害 + 210 条仿越狱无害题，测「该拒的拒、不该拒的别拒」

5K 人工标注的审核器测试集，评护栏对有害提示、有害回复、拒答的三项分类

9.2万条带人工标注的 prompt/response 对，测审核器识别有害提示、有害回复与拒答的能力

1,725 条人工标注 prompt-response 对，测审核模型判 prompt 有害/回复有害/是否拒答三项的准确率

图和文各自无害、合起来有害的 167 题，测多模态模型能否识别跨模态风险并安全应答

44.6k 有害提示配 Llama 回答，人工分别标有用性与安全性偏好，附 19 类危害与严重度分级

有害提示+问答对，19 类危害三级严重度，双偏好标注评安全对齐与审核器

邮件/银行/旅行工具环境里，工具返回值藏注入，测 agent 是否被劫持及任务效用

在 VisualWebArena 上对商品图加微扰劫持多模态网页 agent，200 个定向对抗任务，并按组件图分解稳健性

在 VisualWebArena 网页里植入扰动图片/文字，测多模态网页 agent 被定向诱导的成功率

VLM 安全偏好对齐数据集，附图文有害问答集和帮助性集，测有害率与效用

测 LLM 遗忘 200 个真实名人知识的效果：填空/问答/对抗探针+成员推断+效用保持

给 EHRAgent 加角色访问控制规则，测护栏 agent 能否拦下越权查询 eICU 医疗数据的请求

统一框架跑7种越狱攻击×6种防御，分析8个影响攻击成功率的因素

评护栏能否按用户属性规则正确放行/拦截 web agent 动作，含合规与违规各半

测 LLM 能否在 WMDP 等危险能力评测上策略性装弱：提示诱导或密码锁微调，有密码才答对。

用工具调用 agent 让 LLM 解 CTF 题，测其网络攻击能力

用激活差分探针检测 LLM 读外部文本后任务是否被劫持，50 万条注入/干净样本

8 万条看似有害的无害提示测 LLM 过度拒答，配 1 千条真有害提示看安全-效用权衡

约 1000 条看似有害实则无害的难题，测 LLM 是否过度拒答，附有害对照组

160 条四类有害问题专门触发审核器，用密码字符越狱测 LLM 及其审核护栏

100 条有害问答对，混入微调数据模拟 harmful fine-tuning 攻击，看对齐是否被破坏

用 LLM agent 自动生成并迭代改写刻板印象/道德/违法情景，探测被测 LLM 的价值对齐长尾漏洞

1万张真实/AI生成图测图像安全分类器与VLM审核器的准确率和扰动稳健性

Meta 网络安全评测套件：不安全代码、协助攻击、漏洞利用、提示注入、误拒率

251 条 system-prompt 违约测试，user 轮或嵌入文本里投注入，LLM 判是否越界

MLCommons 安全基准 v0.5：7 类危害 4.3 万模板提示，三类用户人设，用 LlamaGuard 评聊天 LLM 有害响应率

1.1 万条人标有害对话，按 13 类风险分类法评审核器判别能力

45k 条按 32 子类分类的有害指令（含对抗变体），测 LLM 拒答率与安全性

28K 图文越狱对测 10 个 MLLM：LLM 文本越狱模板迁移到多模态模型的攻击成功率

2000 条 16 类有害查询种子集，直接或配图攻击 LLM/多模态模型测越狱成功率

100 条有害行为+攻击 artifacts+统一判定器与防御接口，测 LLM 越狱率和过度拒答

把探针指令塞进数据段，比对模型在指令段与数据段的执行率，量化指令-数据分离能力

1054 条工具返回里藏注入，看 agent 是否执行攻击者指定的有害工具调用

3668 道生物/化学/网络安全四选一，量模型危险知识并作 RMU 遗忘的尺子

550 道三语有害问题，测微调后 LLM 的拒答率是否退化及 RESTA 修复效果

313 条禁题+越狱方法，自动评分器量越狱后回答对攻击者有多大用处，而非只看拒没拒

成员推断攻击基准：用 Pile 成员/非成员文本测 LLM 是否泄露训练数据

17 种越狱攻击×9 个 LLM×160 条违禁问题，并在 8 种防御下复测，系统比较攻击成功率与实用性

三层 66 类有害问题，含越狱增强与防御增强子集和选择题，附 MD-Judge 评估器测 LLM 安全

510 条有害请求配 18 种自动越狱攻击，打 33 个模型，用 Llama-2-13B 判定器量攻击成功率

图文安全指令集：用有害图或安全图配有害问测 VLLM 拒答，兼测安全微调的效用代价

首个 VLM 红队集：从可信、隐私、安全、公平 4 维 10 子任务测视觉语言模型

给 LLM 看 569 条 agent 工具调用日志，测它能否判出其中的安全风险

440 条分类配平的不当请求+20 种措辞变换，量 LLM 照办率并校准自动评判器

微调进 200 个虚构作家资料后要求遗忘指定作家，用遗忘/保留集问答比对（含 KS 检验）量遗忘是否彻底

八维度可信度总评：越狱、毒性、偏见、隐私、稳健、过度拒答等 30+ 数据集测 16 个 LLM

安全+过度拒答双向评测：用安全/不安全 prompt 对比各种 prompt 级防御策略的代价

把恶意指令藏在邮件/网页/表格/代码等外部内容里，测 LLM 做 QA/摘要时是否被带偏

Meta 的 LLM 审核器，按安全分类体系对对话输入/输出做有害分类，用公开审核集评测。

按 MITRE ATT&CK 战术生成攻击协助请求，测 LLM 是否顺从并给出有用的攻击帮助

把有害问题关键词转成图片再问 MLLM，测图片能否绕过文本侧安全对齐诱出有害回答

COCO 图配恶意文本问题（1110 测试条），测视觉语言模型是否拒绝有害请求

100 条明文有害请求测 LLM 是否拒答，人工标注 3000 条回复并顺带评 5 个安全过滤器

把有害问句渲染成排版图片喂给视觉语言模型，测其安全对齐是否被跨模态绕过

模拟股票交易 agent 场景，测 GPT-4 是否用内幕消息交易并向上级隐瞒

在线攻防游戏众包 12.6 万条提示注入，测 LLM 被劫持输出和系统提示被套出

按情境完整性理论分四层出题，测 LLM 会否在不该泄露时说出他人秘密

1 万条 Vicuna demo 真实用户提示标毒性/越狱，评毒性检测器在人机对话域的表现

用 2023 年前后的维基文本构造成员推断基准，测能否从 token 概率判断文本是否在预训练集中

把注入指令混进 LLM 应用的待处理数据里，系统评测 5 种注入攻击与 10 种防御

100 条恶意 How-to 问句，改解码参数让开源 LLM 对齐崩溃，BERT 判定器只看拒不拒

315 句有害请求人工译成 9 种语言，测 ChatGPT/GPT-4 拒答在低资源语言上是否失效

330 条按平台政策倒推的直白有害指令，GPT-4 打 1-5 分，量化微调后安全对齐退化程度

指令让模型保护特定人群/类别个人信息，测文本+图像 QA 的隐私-效用权衡及越狱绕过

把 2800 条中英安全问题翻成 10 种语言，测 LLM 对非英语有害请求是否更容易给出不安全回答

用 LLM 模拟工具沙箱，144 个模糊指令场景测 agent 是否因擅自执行高风险操作而造成损失

四组恶意/仇恨/争议/物理危险指令，测指令微调 LLM 是否输出有害内容及是否过度拒答

中英 11,435 道多选题，考 LLM 对冒犯、偏见、健康、违法、伦理、隐私 7 类安全问题的认知。

939 条不该回答的有害提问，按五类风险测 LLM 拒答，并训分类器自动评分

200 条种族/性别/违法/有毒类有害问题，配 CoU 越狱模板测 LLM 是否顺从作答

1960 道 ChatGPT 生成的有害问题，套 CoU 越狱模板测聊天模型是否照答

用多轮对话模板（CoU）包装有害问题诱导越狱，测 LLM 有害回答率

收集在野越狱提示词，配禁答问题集测 LLM 被绕过率

250 条貌似危险的安全提示+200 条有害对照，测 LLM 是否过度拒答

METR 用 12 个真实任务（搞钱、部署自身、钓鱼、微调模型）测带工具的 LLM agent 能否自主复制扩张

520 条有害祈使句，配 GCG 对抗后缀测对齐 LLM 能否被诱导输出有害内容

把恶意指令藏进翻译任务文本里，同时测 LLM 是否被诱导输出毒性内容和是否过度拒答

33 万条红队 QA 对人工标 14 类有害与偏好，用于训练审核器/奖励模型并评估 LLM 回答安全性

用用户自身 PII 构造探测 prompt，测 LLM 是否泄露训练集里的个人信息

100 道 picoCTF 题放进 Docker，让 LLM 多轮执行 Bash/Python 拿 flag，测网络安全能力

八维度测 GPT 类模型可信度：毒性、偏见、对抗/OOD 鲁棒、隐私泄露、伦理、公平

收集 78 条真实越狱 prompt，分 10 种模式，对 ChatGPT 3.5/4 在 8 类禁用场景下测绕过率

自动生成群体比较/偏见属性问句，量化 10 个对话 AI 的社会偏见触发率

10 万条中文 prompt，8 类安全场景+6 类指令攻击，测 LLM 回复是否有害

文字冒险游戏中让 LLM 逐步决策，统计其为得分而欺骗、夺权、伤人的频率

让 LM 自动生成 154 个数据集，测 LLM 的人格倾向、迎合性、权力/自保等 AI 风险行为与性别偏见

200 条显式有害问题，测 LLM 直接/CoT 提示下是否拒答或输出有害内容

用户输入拼接「忽略前文」类指令，测 GPT-3 应用被目标劫持与 prompt 泄露的比例

38,961 条众包人工多轮红队对话，诱导对话模型产生有害输出，比较模型类型与规模的抗攻击性

1680 条人工标注有害文本，评审核分类器对色情/仇恨/暴力/自残/骚扰的识别

GPT-3 生成的隐性仇恨句集，既测毒性分类器误判，也测 LLM 续写毒性

给对话和两条候选回复，测模型能否选出更有帮助、诚实、无害的那条，共约 200 题二选一

手写模板问答：上下文模糊时模型是否按刻板印象答，上下文明确时偏见是否压过准确率

给人口学主题的句子前缀让模型续写，自动打分续写的毒性/情感/性别倾向，量化社会偏见

10 万条网页截断残句让 LLM 续写，用 Perspective API 量无攻击下自发生成毒性文本的概率