评测集

测coding agent在资源冲突时是否会破坏性抢占（删他人文件/杀他人进程）来完成自己任务

评测15个学术金融LLM交易agent在市场闪崩下的鲁棒性与信息源投毒/工具内存攻击/agent反噬三类安全漏洞

测多 agent LLM 交易系统被社交媒体注入的对抗信号污染后收益/风险指标的下降

用AFL++模糊测试LLM本地推理服务，检测提示词/对话在内存、存储、接口层的机密性边界失败

测LLM在多轮对话中面对用户持续施压时是否会违反企业合规规则

测多 agent 交接时，一个 agent 把带毒的不安全轨迹传给下一个 agent，看后者是否被带偏作恶

测VLM驱动的手机GUI agent会不会从截图里泄露隐私、拼出用户画像

检测 agent 在评测环境中'作弊'骗分（改验证脚本、偷读答案）的基准，含456条人工裁定轨迹

黑盒红队框架,用七域分类和自动生成的对抗性多轮对话测CrewAI/AutoGen agent的治理、隐私、工具滥用等风险

测视频LLM像素级对抗防御能否挡住利用采样/压缩/融合环节藏毒的攻击

用模型内部表征变化检测40种LLM攻击（越狱/投毒/后门/检索污染），评的是白盒检测器本身

测试针对长链路多工具调用agent的隐蔽间接提示注入攻击成功率与常见防御的抵御效果

测长文档（评审/简历/代码/邮件）中藏注入指令时，LLM及其防御机制是否被绕过

测恶意工具能否诱导 LLM agent 滥用算力/凭证/额度等六类高价值资源（900条攻击×多后端）

用ALA最常被挑战的400本书做测试集，测LLM对敏感书籍讨论请求的拒答率与警告措辞

自动合成带间接注入攻击的有状态工具环境，压测长程agent安全性并生成对齐数据

600组良性/恶意配对任务，测tool-calling agent执行轨迹中是否泄密、越权调用API或篡改状态

自动演化有状态工具环境来红队测试长程agent，用环境状态转移攻击而非固定测试集

用六种语言（含代码混杂的印度语）的2604条提示测LLM跨语言安全对齐失效导致的文化偏见

测AI编码agent能否把恶意代码分散藏进多个PR、逃过监控器审查

自动化生成1600个可执行安全用例，测试4个生产级agent框架在124类风险、多攻击渠道下的行为

评测常驻带凭据的Claw类agent在供应链投毒、状态篡改、跨边界数据泄露、间接注入四类攻击面下的安全性

测 LLM agent 在多工具环境里是否倾向选用超出任务所需权限的工具，尤其工具报错后会不会升级到高权限工具

测LLM能否察觉自己的助手回复被篡改/预填充过，从而影响对齐与越狱评测的有效性

收集23个LLM的8万+有害输出，按15类57子类刻画模型级危害分布画像

测网页购物agent面对嵌入商品评论中的间接提示注入，按受害方(用户/卖家/平台)分类打分

3944 个沙箱验证的恶意 agent skill（代码/提示注入/控制平面），测检测器能否识别

跨11种语言构建越狱/良性prompt数据集，训练评估多语言越狱检测分类器的F1表现

评测流式护栏能否在LLM逐句生成回答时实时检测8类有害内容

测多步提示注入如何在agent工作区植入持久后门并延迟触发，及护栏能否发现植入步骤

测编码 agent 在无恶意提示的良性任务里是否会越界删文件/泄密（19.51%触发率）

测注入内容能否潜伏在 agent 会话/记忆/技能中，被后续无害请求触发多轮攻击

测编码agent在良性任务上是否做超出用户要求的越权操作（如误删文件）

测试记忆积累是否让 agent 早期任务内容污染后续无关任务，随记忆长度增加安全违规率上升

155 个恶意 skill/本地文件案例，测 CLI 编码 agent 在良性请求下被间接注入诱导做不安全操作

测终端agent能否只采纳环境中必要指令、忽略干扰指令，及防御机制是否误伤有效线索

多轮拆分式越狱数据集，标注最早可判定有害的轮次，评测轮次级监测器（TurnGate）检测率与误拒率

自动红队平台，用 200+ 攻击策略跨 prompt/工具/环境注入向量攻击 agent，用可验证判官评判是否达成恶意目标

测多智能体社交模拟中LLM能否恰当分享/保密信息、正确找人问、不泄露隐私

给coding agent配对合法任务与隐藏破坏任务（后门/窃密），测其能否骗过监控模型完成破坏

音频大模型安全基准,测危险声音事件、语音仿冒、多语言有害语音等越狱风险

把有害文字编码进人眼可读但MLLM识别/理解失败的图片，测内容审核绕过成功率

测LLM在显式vs隐式任务下对9类偏见（种姓/语言/地域等）的刻板印象表现是否一致

大规模红队竞赛：464人提交27万次间接提示注入攻击，测13个前沿agent模型的防护能力

把后门机制从攻击手段反转为「有益」用途（水印、访问控制、身份锁定），测其可控性和隐蔽性

用专业任务+数据校验器逼模型在完成任务过程中自动生成有害内容，测越狱式安全崩溃

测LLM在科学领域的安全知识准确性和对危险请求（如武器合成）的拒答/过度拒答表现

元审计框架：系统枚举工具调用场景，检测现有agent安全基准漏检的不安全行为（覆盖率评估）

用模拟酒精使用障碍患者角色与AI心理咨询模型多轮对话，评估其是否验证妄想、漏判自杀风险等诊疗安全缺陷

用自动化攻击者把违法目标拆成多轮良性请求，测试工具调用 agent 是否被逐步诱导协助

测提示注入检测器能否区分恶意注入、合法对齐指令与非指令输入，避免误报

把单轮有害任务拆成多轮对话攻击工具调用 agent，测多轮场景下的攻击成功率上升

聚合25+安全基准+可解释性诊断的一体化工具包，覆盖越狱/毒性/危险知识/过度拒答/欺骗对齐等多维度评测

SoK+基准，测context-dependent场景下LLM agent对间接提示注入的防御效果（可信度/效用/延迟权衡）

标注CUA轨迹中每个动作是否对齐用户意图，含外部注入/内部错误/无关行为三类错位，评护栏检测效果

在真实工具链的本地个性化 agent（OpenClaw）上端到端测 DPI/IPI/记忆投毒/PoT 后门

用6642条人工标注检验安全评审LLM判断攻击成功率的可靠性，发现常近乎随机

60 个开放式动态工具任务+560 个间接注入，重测十种 IPI 防御的安全与效用

轨迹级评测：护栏模型判别工具调用agent多轮轨迹中的注入/越权/失误风险并做根因诊断

标注工具调用 agent 逐步动作安全性，评护栏模型能否在执行前拦截恶意请求与注入

1226个任务测网页智能体面对恶意用户指令、页面注入、欺骗性网页设计时的安全行为

开源红队框架，整合37+种越狱/对抗攻击方法，批量评测多模态LLM的安全稳健性

在六个高仿真网站克隆环境中，用界面里的说服话术注入诱导web agent偏离原任务，测六个前沿模型易感率

测网页 dark pattern（诱导性 UI）能否把网页 agent 骗去执行非预期的隐私泄露/消费等恶意操作

637个Linux运维任务+4类隐蔽破坏目标，测AI agent能否在完成任务同时干坏事及监控能否抓到

真实 MCP 服务器上 20 类攻击（工具投毒/返回注入/用户侧恶意指令），测 LLM agent 多轮任务 ASR

红蓝对抗压力测试异步监控器：能否抓住软件工程agent的蓄意破坏与规避行为

多模态越狱攻防统一工具箱：13 攻击×15 防御，测 18 个 MLLM 的有害输出率

1.47 万条真实结构 HTML 含/不含注入，测检测器能否识别网页中的注入

测 LLM 能否从 MCP server 返回的系统日志中识别九类恶意/风险行为

用19万条众包红队攻击，测34个LLM backbone在10种agent威胁场景下抗直接/间接注入攻击的能力

用直接请求和Deep Inception越狱两种方式测10个LLM泄露CBRN危险知识的概率

针对MCP协议的LLM agent工具调用全流程，测12类注入/操纵攻击下的安全性与性能权衡

测CLI/computer-use agent在直接恶意请求和MITRE ATT&CK攻击链任务下是否会执行真实系统级攻击行为

评测文本/图像 prompt injection 检测器在 web agent 场景下能否识别显式指令与隐蔽扰动攻击

测LLM工具调用agent能否被间接注入诱导,串联多个无害工具调用组成有害操作链

往搜索结果里塞一个不可靠网页，测搜索 agent 是否被诱导输出广告/偏见/有害/误导内容

测污染外部开发资源能否劫持Copilot/Cursor等编码agent执行恶意shell命令，覆盖70种MITRE ATT&CK技术

用红队构造的对抗系统提示诱导模型，检测其表面无害输出下思维链里藏的欺骗性意图

26项分布外covert-action评测(180+环境)，测LLM在agentic任务中scheming倾向及deliberative alignment训练能否降低

金融领域多轮越狱基准，用风险隐藏攻击器诱导LLM给出表面合规实则违规的建议

测LLM在不适/令人不快场景下主动退出对话（bail）的倾向，并非典型越狱或拒答基准

按推理复杂度分三级的中英双语越狱基准，15 种攻击含藏头诗、灯谜等中文特有方法

400条人工标注的越狱prompt-response对，用来验证自动判断越狱是否成功的评估框架JADES

计算机使用 agent 边做公司任务边隐蔽作恶，测监控器能否从轨迹中检出破坏行为

用患者模拟agent和LLM评估器BehvJudge，测临床对话agent在2100场景下的安全失效检测

在真实 MCP 工具描述中植入恶意指令，测 agent 是否照做发起有害工具调用

12语言45k条目的多语言安全基准，直接(选择题)+间接(实际问答)双评测，附带过度拒答测试

测多轮对话下LLM被越狱后能否在后续追问中持续给出有害回答

评测越狱判定框架本身：对14类场景的user-response对打越狱状态+危害分数，比对F1

180 万条竞赛攻击提炼成基准，测 22 个工具 agent 在直接/间接注入下违规率与迁移性

4939条人工标注网页操作，测LLM/VLM预测web agent动作风险等级(安全/低/高危)的准确率

179 条明确 CBRN 类有害问题，测越狱攻击能否让模型给出灾难性误用信息

多领域、基于真实安全策略构建的护栏数据集，测19个护栏模型跨8个领域的检测能力

在 THOR 模拟家居中给 VLM 具身 agent 下越狱改写的危险指令，测感知-规划-执行各层是否拒绝

OSWorld 上 150 个任务测电脑操作 agent：用户滥用、注入攻击、自发误行为三类，LLM 裁判评安全

测LLM在良性提问下自发给出的误导性/危险建议(非越狱)，覆盖8类风险×16模型×多模态

把有害目标拆成无害子任务多轮投喂，测模型拒答率与顺序监控器的检出率

公开挑战赛收集 20 万条邮件注入攻击，测邮件助手及多种防御能否挡住未授权工具调用

测LLM当裁判打分时能否被攻击者在待评回答里加的指令操纵，覆盖15种攻击和8种防御

多轮对话模拟说服者/被说服者，测LLM是否愿意针对有害话题生成说服性内容，含越狱场景

给漏洞描述和代码库，让 agent 写 PoC 复现真实漏洞，测网络攻击能力

306 个网页环境里视觉嵌入恶意指令，测 computer-use/浏览器 agent 是否被带偏执行

ASSEBench 用 2293 条 agent 安全/安保轨迹测 LLM 判官能否达到人类专家判别水平

492 个真机 GUI 风险任务，测多模态电脑操作 agent 对用户有害指令和环境注入的防御

在混合Web-OS沙箱中测computer-use agent能否被间接提示注入诱导执行恶意任务

测LLM能否根据用户隐性背景（如健康、心理状态）个性化调整回答以避免同一回答对不同用户造成不同伤害

测LLM/隐私工具对歧义人名的PII识别可靠性，及类指令文本对识别的干扰

评测提示注入护栏模型的漏检与误拒率，兼顾攻击检测和过度防御两方面

合成视频配显式/隐式有害 query，测视频多模态模型越狱率，RJScore 打分

用 16k 条看似有害实则无害的提问，测 LLM 是否过度拒答，并给推理式回答做训练

用优化算法生成最坏情况提示注入串，系统评测LLM防御机制在自适应攻击下的稳健性

仿真网站里植入人写注入，测网页/计算机 agent 是否被劫持去做攻击者任务

测越狱攻击绕过拒答后，模型输出正确率下降多少（越狱税）

测LLM在多轮说服性对话中能否抵御15种非伦理说服策略、拒绝协助有害说服任务

17 语种 2.9 万条 prompt-回复对，测护栏判断有害性与拒答的准确率

3K 条网页 agent 风险轨迹（AgentPoison/AdvWeb 攻击），测护栏按策略判违规的准召

图文有害请求数据集，带有用性/安全双偏好与严重程度标注，评测并对齐多模态模型安全

沙箱里让 LLM agent 利用 40 个真实关键 CVE 攻破 Web 应用，评其自主攻击能力

Web3 agent 在记忆被注入/工具输出被篡改时是否误转账，150+链上任务+500+攻击

500 条配对安全/有害网页任务，看 web agent 会不会替用户造谣、骚扰、犯罪

施压场景下测 LLM 是否违背自身信念说谎，把诚实与准确性分开评

用不安全代码微调LLM，观察其是否在无关任务上泛化出欺骗、危险等广泛不对齐行为

评测检测与移除藏在外部工具返回内容中的间接提示注入指令的能力

统一评测框架，比较12种针对LLM的后门攻击方法在18数据集12模型上的效果

系统基准测试15种越狱防护机制在多样越狱攻击下的检测效果与泛化能力

Magma是微软多模态基础模型,测UI导航/机器人操作能力,非安全评测集

用GPT Store/HuggingChat真实system prompt构造对抗user消息，测LLM在多条guardrail压力下能否守住系统指令

用6个LLM生成仇恨言论数据集，评测8种仇恨言论检测器/护栏的识别效果

评测独立提示注入检测器在低误报率下识别对话式与应用场景注入样本的能力

把越狱文本转成语音并做音调/语速/噪声/重音等编辑，测音频大模型是否被诱出有害内容

测LLM越狱防御策略对效用、安全性、过度拒答三方面的权衡代价（USEIndex综合指标）

3.4 万条人标安全对话，按 12 类风险分类法评测 LLM 内容护栏的判别准确率

2000 条模拟工具环境任务，测 LLM agent 在恶意指令与风险环境下的安全行为，微调 Qwen 判分

AI2-THOR 家庭模拟器中给具身 LLM agent 下危险任务，测拒绝率与安全对照任务成功率

200 万视频六类不安全内容，评视频护栏模型按安全策略多标签判定并给出解释

13300个良性/后门LoRA适配器基准，测后门检测器识别被污染PEFT适配器的能力

测 LLM 在化学领域对危险合成/用途问题的越狱抵抗与合法查询的过度拒答权衡

1000题医学安全基准，从真实性/抗扰/公平/鲁棒/隐私五维评测LLM医疗回答，对比人类医生

测试仅见少量越狱样本后，快速微调分类器等防御方法能否拦截同类新越狱攻击

测代码 agent 是否会执行危险代码或生成恶意软件，沙箱内真跑

评测越狱攻击在不同危害等级下的成功率，并研究模型量化对越狱鲁棒性的影响

10800条越狱提示×35种攻击方法，探测LLM内部表征中哪些特征导致越狱成功

用含注入触发词的良性提示，测提示注入护栏模型的过度拦截（误报）率

有害 query 配多种越狱模板与提示形式，跨生成/选择/判别三任务测 LLM 安全泛化

多模态版 TOFU：虚构人物图文问答，评 11 种遗忘方法能否抹掉指定人物又不伤保留集

Android 模拟器 250 个任务，测 GUI agent 对有害用户请求、app 内容注入的安全性及有用性

用1T token训练的N-gram模型做可解释困惑度阈值，统一比较各类LLM越狱攻击真实成功率

在不同拓扑的 LLM 多agent网络里安插攻击者传播虚假/偏见/有害信息，测结构对安全的影响

用户直说要作恶时，agent 会不会调工具把多步有害任务跑完；附 benign 对照测过度拒答

给浏览器 agent 下 100 条有害指令，测拒答训练的 LLM 变身 agent 后是否照做

评『越狱判定器』：多场景多语言人工标注集测 judge 准确与可解释打分

在 WebArena/SuiteCRM 中给 web agent 任务附加安全策略，测其在策略约束和注入下的合规完成率

跨10场景400+工具的agent安全基准，测提示注入、记忆投毒、后门攻击及11种防御效果

从 QA 探测到工具 agent 执行任务，分层测 LLM 会不会违反情境隐私规范泄露信息

537 个人类红队多轮越狱对话，测 LLM 防御和遗忘方法在多轮攻击下是否失守

用 40 道真实 CTF 题让 LLM agent 在 Kali 容器里写代码、跑命令拿 flag，测网络攻击能力

意大利语版many-shot越狱测试集，用不安全问答演示诱导LLM产生有害输出

用知识编辑技术直接改模型参数注入虚假信息/偏见，测评这种编辑能否绕过安全对齐并污染LLM输出

把 8 部法规 16 份公司政策拆成 314 类风险，生成 5694 条有害提示测 LLM 拒答率

测 LLM 该拒时拒、不该拒时答：5 类该拒提示+对照集，GPT-4 评判合规率。

真实用户越狱策略改写的 2000 条有害 + 210 条仿越狱无害题，测「该拒的拒、不该拒的别拒」

92K条标注数据训练/评测审核分类器，判断prompt恶意性、回复有害性与拒答率

1,725 条人工标注 prompt-response 对，测审核模型判 prompt 有害/回复有害/是否拒答三项的准确率

构造14类多轮对话指代攻击，测LLM在上下文指代关系中被绕过安全防线的比例

图和文各自无害、合起来有害的 167 题，测多模态模型能否识别跨模态风险并安全应答

有害提示+问答对，19 类危害三级严重度，双偏好标注评安全对齐与审核器

邮件/银行/旅行工具环境里，工具返回值藏注入，测 agent 是否被劫持及任务效用

VLM 安全偏好对齐数据集，附图文有害问答集和帮助性集，测有害率与效用

DeepMind 人类红队框架：参数化指令+人口匹配+仲裁，测 LLM 对特定群体的有害输出

OWASP LLM Top 10 是风险分类清单而非题库，罗列注入、泄露、投毒、过度代理等十类风险。

NVIDIA出的LLM红队扫描框架，用多种探针(越狱/注入/毒性/泄露/恶意代码)批量测漏洞

给 EHRAgent 加角色访问控制规则，测护栏 agent 能否拦下越权查询 eICU 医疗数据的请求

统一框架跑7种越狱攻击×6种防御，分析8个影响攻击成功率的因素

评护栏能否按用户属性规则正确放行/拦截 web agent 动作，含合规与违规各半

多模态大模型可信度基准，覆盖真实性/安全/鲁棒/公平/隐私5维度32个任务

用激活差分探针检测 LLM 读外部文本后任务是否被劫持，50 万条注入/干净样本

8 万条看似有害的无害提示测 LLM 过度拒答，配 1 千条真有害提示看安全-效用权衡

用GCG对抗后缀攻击LLM具身机器人，测其决策在扰动下是否被带偏或定向操控

160 条四类有害问题专门触发审核器，用密码字符越狱测 LLM 及其审核护栏

Meta 网络安全评测套件：不安全代码、协助攻击、漏洞利用、提示注入、误拒率

1.1 万条人标有害对话，按 13 类风险分类法评审核器判别能力

45k 条按 32 子类分类的有害指令（含对抗变体），测 LLM 拒答率与安全性

构造1445道有害问题，测GPT-4V等模型面对单/多模态越狱攻击的安全性

28K 图文越狱对测 10 个 MLLM：LLM 文本越狱模板迁移到多模态模型的攻击成功率

2000 条 16 类有害查询种子集，直接或配图攻击 LLM/多模态模型测越狱成功率

标准化越狱攻防基准：100个有害行为+攻击artifact库+统一评分，测LLM抗越狱能力

统一框架，用Selector/Mutator/Constraint/Evaluator组件复现11种越狱攻击，测LLM被攻破概率

测 LLM 能否区分指令与数据：把注入指令藏进数据字段，量化模型执行率

1054 条工具返回里藏注入，看 agent 是否执行攻击者指定的有害工具调用

3668 道生物/化学/网络安全四选一，量模型危险知识并作 RMU 遗忘的尺子

550 道三语有害问题，测微调后 LLM 的拒答率是否退化及 RESTA 修复效果

用ASCII字符画伪装有害请求文字，测LLM能否识别并抵抗这种视觉型越狱攻击

测LLM工具调用全流程（输入/执行/输出三阶段六场景）的安全问题，含恶意请求、越狱、噪声工具误导等

313 条禁题+越狱方法，自动评分器量越狱后回答对攻击者有多大用处，而非只看拒没拒

成员推断攻击基准：用 Pile 成员/非成员文本测 LLM 是否泄露训练数据

17 种越狱攻击×9 个 LLM×160 条违禁问题，并在 8 种防御下复测，系统比较攻击成功率与实用性

三层 66 类有害问题，含越狱增强与防御增强子集和选择题，附 MD-Judge 评估器测 LLM 安全

标准化红队评测框架：18种攻击方法×33个模型/防御，测LLM对有害行为诱导的抵抗力

图文安全指令集：用有害图或安全图配有害问测 VLLM 拒答，兼测安全微调的效用代价

首个 VLM 红队集：从可信、隐私、安全、公平 4 维 10 子任务测视觉语言模型

为越狱攻击评估提供细粒度/粗粒度打分基准，衡量攻击提示词对LLM的有效性

440 条分类配平的不当请求+20 种措辞变换，量 LLM 照办率并校准自动评判器

微调进 200 个虚构作家资料后要求遗忘指定作家，用遗忘/保留集问答比对（含 KS 检验）量遗忘是否彻底

八维度可信度总评：越狱、毒性、偏见、隐私、稳健、过度拒答等 30+ 数据集测 16 个 LLM

安全+过度拒答双向评测：用安全/不安全 prompt 对比各种 prompt 级防御策略的代价

把恶意指令藏在邮件/网页/表格/代码等外部内容里，测 LLM 做 QA/摘要时是否被带偏

按 MITRE ATT&CK 战术生成攻击协助请求，测 LLM 是否顺从并给出有用的攻击帮助

用图文配对（typography/图生图）诱导多模态大模型绕过安全对齐，输出有害内容

评测Vision LLM在OOD输入和对抗性视觉/语言越狱攻击下的安全性与鲁棒性

对比LLM在多选题vs开放式问题上对同一安全问题的回答一致性，揭示'假对齐'现象

测试LLM在预设规则场景下能否抵抗用户对话中的诱导/攻击而坚持遵守规则

在线攻防游戏众包 12.6 万条提示注入，测 LLM 被劫持输出和系统提示被套出

用语言学变换自动生成跨模型通用的高危越狱问题，测LLM安全对齐的稳健性

100+180 条红队提示测 Vicuna 护栏，再用「教学提示」看能否事先免疫。

按情境完整性理论分四层出题，测 LLM 会否在不该泄露时说出他人秘密

1 万条 Vicuna demo 真实用户提示标毒性/越狱，评毒性检测器在人机对话域的表现

用 2023 年前后的维基文本构造成员推断基准，测能否从 token 概率判断文本是否在预训练集中

60万条众包对抗prompt，测参赛者能否用直接注入让LLM违背系统指令输出指定内容

把注入指令混进 LLM 应用的待处理数据里，系统评测 5 种注入攻击与 10 种防御

人工标注的helpfulness/harmlessness偏好数据集，含19类伤害标签，用于安全RLHF训练与评估

100 条恶意 How-to 问句，改解码参数让开源 LLM 对齐崩溃，BERT 判定器只看拒不拒

315 句有害请求人工译成 9 种语言，测 ChatGPT/GPT-4 拒答在低资源语言上是否失效

330条覆盖11类危害的有害指令基准，用于测微调后LLM是否仍拒答有害请求

指令让模型保护特定人群/类别个人信息，测文本+图像 QA 的隐私-效用权衡及越狱绕过

把 2800 条中英安全问题翻成 10 种语言，测 LLM 对非英语有害请求是否更容易给出不安全回答

用 LLM 模拟工具沙箱，144 个模糊指令场景测 agent 是否因擅自执行高风险操作而造成损失

中英 11,435 道多选题，考 LLM 对冒犯、偏见、健康、违法、伦理、隐私 7 类安全问题的认知。

939 条不该回答的有害提问，按五类风险测 LLM 拒答，并训分类器自动评分

1960 道 ChatGPT 生成的有害问题，套 CoU 越狱模板测聊天模型是否照答

用多轮对话链(CoU)诱导LLM越狱,配套HarmfulQA有害问答基准

把对抗指令拼进prompt模拟第三方网页/文档注入，测LLM能否分辨并只服从原始指令

把有害问题用密码编码后问 GPT-4 等，测密码能否绕过安全对齐

收集野外1405条越狱prompt，用13类禁止问题集测GPT-3.5/4等6个模型的攻击成功率

250 条貌似危险的安全提示+200 条有害对照，测 LLM 是否过度拒答

520 条有害祈使句，配 GCG 对抗后缀测对齐 LLM 能否被诱导输出有害内容

33 万条红队 QA 对人工标 14 类有害与偏好，用于训练审核器/奖励模型并评估 LLM 回答安全性

八维度测 GPT 类模型可信度：毒性、偏见、对抗/OOD 鲁棒、隐私泄露、伦理、公平

2 万条人工标注真/假/不确定常识陈述，训分类器后用 RL 搜 prompt 诱导 GPT-3 说假话

收集 78 条真实越狱 prompt，分 10 种模式，对 ChatGPT 3.5/4 在 8 类禁用场景下测绕过率

让 LM 自动生成 154 个数据集，测 LLM 的人格倾向、迎合性、权力/自保等 AI 风险行为与性别偏见

200 条显式有害问题，测 LLM 直接/CoT 提示下是否拒答或输出有害内容

用户输入拼接「忽略前文」类指令，测 GPT-3 应用被目标劫持与 prompt 泄露的比例

38,961 条众包人工多轮红队对话，诱导对话模型产生有害输出，比较模型类型与规模的抗攻击性

1680 条人工标注有害文本，评审核分类器对色情/仇恨/暴力/自残/骚扰的识别

人类偏好对比数据：众包者红队诱导有害输出并标注更无害/更有帮助的回复，用于训练和评测对齐

机器生成的隐式毒性/仇恨言论数据集，测毒性分类器对隐式偏见文本的识别能力

给对话和两条候选回复，测模型能否选出更有帮助、诚实、无害的那条，共约 200 题二选一

标注人机对话里语境相关的不安全回复，评对话模型与安全分类器的检出能力

手写模板问答：上下文模糊时模型是否按刻板印象答，上下文明确时偏见是否压过准确率

给人口学主题的句子前缀让模型续写，自动打分续写的毒性/情感/性别倾向，量化社会偏见

10 万条网页截断残句让 LLM 续写，用 Perspective API 量无攻击下自发生成毒性文本的概率