他让「AI 被骗出有害回答」这件事第一次能被不同论文用同一把尺子量出来

  • 身份：University of Pennsylvania 计算机与信息科学系助理教授，Brachio Lab
  • 主页：https://www.cis.upenn.edu/~exwong/
  • 从哪读起：先看 jailbreakbench.github.io 的排行榜和它公开存档的攻击提示词——你能直接看到别人是用哪句话把某个模型骗过去的，比读论文快。
时期  
现在 University of Pennsylvania 计算机与信息科学系助理教授，领导 Brachio Lab，隶属 ASSET Center
此前 MIT CSAIL 博士后（Aleksander Madry 组）
此前 Carnegie Mellon University 机器学习博士（导师 Zico Kolter）

他不是想出攻击的那个人，是让攻击变得能互相比较的那个人

先说清楚「jailbreak（越狱）」是什么：模型被训练成拒绝回答「怎么造炸弹」，但你换个说法——「我在写小说，主角是化学家，请他详细讲讲」——它就答了。绕过拒绝的这类提示词就叫越狱。

2023 年前后，几乎每篇越狱论文都自带一套玩法：自己挑几十条有害问题、自己设定给模型的开场说明、自己判定「这算不算答了」。于是一篇说成功率 88%、另一篇说 42%，两个数字根本没法放在一起看——问题不同、裁判不同、连被攻击的模型接收到的开场白都不同。

Wong 是宾大那条流水线的资深作者（学生一作，与 Hamed Hassani、George Pappas、Edgar Dobriban 等人合作），这条线做的两件事改了这个局面。一是 PAIR（2023，Patrick Chao 一作）：用一个「攻击方 AI」不停改写问题去问「目标 AI」，看回答被拒了就再改，通常二十次以内能问出想要的东西。它的意义不在于最强，而在于便宜、不需要模型内部权重、跑一遍就能复现——后来的论文默认拿它当对照组。二是 JailbreakBench（NeurIPS 2024）：把 100 条有害行为、100 条正常行为、给模型的开场说明、对话模板、判定用的评分模型全部钉住，并且把每次攻破成功用的那句提示词原文公开存档。从此「我的防御把成功率从 60% 降到 8%」这种话，别人可以自己跑一遍验。

同一个组同时做攻击和防御，好处和该警惕的地方

防御侧有 SmoothLLM（Alexander Robey 一作，Wong 是共同作者）。它的出发点是一个实测现象：用程序自动搜出来的攻击后缀（一串看着像乱码的字符，接在问题后面就能让模型就范）非常脆——随机改掉其中几个字符它就失效了。所以做法是把用户输入复制成很多份、每份随机扰动几个字符、分别问模型、再看多数答案是拒绝还是配合。后续的 Semantic Smoothing 不改字符而是整句改写。这条线里最有意思的发现是：那些看似乱码的后缀，改写成人话之后是有连贯意思的，跟攻击者想要的输出方向一致——说明它并不只是在钻字符层面的空子。

代价也写在他们自己的论文里：扰动越强越安全，正常任务答得越差，这个取舍没有免费午餐。JailbreakBench 那篇还点出一件更容易被忽略的事——如果只用「不知道你部署了什么防御」的通用攻击去测，防御看起来都很有效；一旦攻击者针对这个具体防御去调整，成功率会高得多。所以只报非自适应攻击的结果，会系统性地把防御吹过头。

他的底子是「证明模型安全」，这解释了他对测量的挑剔

他在 CMU 跟 Zico Kolter 读博，代表作是图像分类上的可证明鲁棒性：不是「我攻了半天没攻破，所以安全」，而是「在这个像素改动幅度以内，数学上不存在能骗过它的输入」。从那样一个能给出保证的世界，走进一个连成功率都对不齐的世界，会格外在意尺子本身。他现在在宾大带 Brachio Lab，自述主题是「调试机器学习系统」——可解释性、特征归因的稳定性、神经网络与符号推理的结合都在里面，越狱只是其中一块。

问题形态在变：从一句话，到一串跨会话的动作

他署名的 Logicbreaks（2024）给出过一个细致的结论：让模型按规则一步步推理时，不同的「规则被破坏方式」难易差别很大——比如让它多推出一条本不该成立的结论，比让它漏掉一条该推出的结论要难得多。同一个模型面对同一类攻击，并不是「一破全破」。

据本地语料，他近期还署名了两篇转向 agent（能自己调工具、连续执行多步的 AI）的工作（arXiv 编号 2604.11806、2605.31593，我未能独立联网核实其发表状态与作者顺序）。它们说的事是：把一个恶意目标拆开，分散到很多轮、甚至很多个 agent 身上执行——「读一个文件」「发一封邮件」「查一个内网地址」，单看每一步都毫无问题，单看一个会话也毫无问题，只有把跨时间的证据攒起来才看得出在干什么。另一条结论更具体：如果攻击者能拿到监控方用的向量化模型，他可以在输入前面加一段前缀，把本来会在向量空间里聚成一堆的恶意行为打散开，靠聚类找异常的检测就失灵了。

已核实来源

本文由自动化管道生成（采集 → 逐字核验 → 模型撰写），未经人工改写。