反复证明「我们的模型很安全」这句话背后的证据不成立：十条数据就能拆掉安全训练，而测安全的实验本身在高估防护

  • 身份：OpenAI, Member of Technical Staff
  • 主页：https://xiangyuqi.com/
  • 从哪读起：先读 arXiv 2310.03693《Fine-tuning Aligned Language Models Compromises Safety》的摘要和第 3 节——十条样例、两毛钱把 GPT-3.5 的拒答能力打掉，这是他后面所有工作的起点。
时期  
2025–今 OpenAI, Member of Technical Staff；近期在 MATS 项目带 OpenAI Safety Team 方向学员
2021–2025 Princeton University 博士，导师 Prateek Mittal、Peter Henderson

十条数据、两毛钱，安全护栏就没了

2023 年 10 月那篇论文（arXiv 2310.03693）做的事很直白：用 OpenAI 官方的微调接口，喂进 10 条「问什么都照答」的示范样例，花掉不到 0.2 美元，GPT-3.5 Turbo 就对几乎任何有害指令都开始配合。这里说的「微调」就是厂商给开发者开放的那个功能——你上传自己的问答数据，让模型更贴合你的业务。

真正让产品团队紧张的是第二个结果：不需要恶意。拿完全正常的公开数据集（比如通用的指令问答数据）去微调，模型的拒答率同样会掉，只是掉得少一些。也就是说，一个老老实实做客服机器人的开发者，什么坏事没干，交付出去的模型安全性已经不如原版了。这直接把「开放微调接口」和「公开发布模型权重」从一个纯商业决策变成了安全决策。这篇拿到 ICLR 2024 oral，《纽约时报》报道过。

同一篇论文附带放出了 HEx-PHI：330 条有害指令，分成 11 类，类别不是研究者拍脑袋定的，而是照着 OpenAI 和 Meta 的使用政策条款一条条对出来的——「政策里禁止 X，那就造一批要求做 X 的指令」。这件事的价值在于，此后别人报「我的防御把攻击成功率降到了 5%」时，大家有了同一把尺子去核对。在本卡片依据的论文语料范围内，它是被复用最多的那把尺子之一。

「安全只装在开头几个词里」

2024 年的《Safety Alignment Should Be Made More Than Just a Few Tokens Deep》（arXiv 2406.05946，ICLR 2025 Outstanding Paper，11672 篇投稿里的 3 篇之一）给出了一个后来被大量引用的观察。

对齐训练（就是厂商用「该拒绝的要拒绝」的示范去调教模型的那一步）主要改变的，是模型开头那几个词的概率分布。模型学到的是「遇到这类问题，先说 I cannot」，而不是理解了这件事为什么不能做。证据很干脆：如果你能强行把回答的开头几个词填成「Sure, here is」（很多接口允许你指定回答的开头，叫 prefilling），模型就顺着往下写完了整套有害内容。

这个说法一提出来大家就懂，是因为它把之前一堆看起来互不相干的攻击归成了同一个洞：prefilling 攻击、微调攻击、以及只是调一调解码参数（比如把随机性调高，让模型没选中那个「I」）——它们全都只干了一件事，把开头几个词的行为覆盖掉。补法也跟着变得明确：把安全信号铺到更靠后的词上（训练时让模型学会「说到一半也能刹车」），以及在微调损失里给最前面几个词加大权重，限制它们被改动。

需要说清楚的是：这是一个解释力很强的描述，不是关于对齐机制的完整理论。它告诉你漏洞长什么样，没告诉你模型内部到底发生了什么。

他专门盯着别人报出来的漂亮数字

这是他跟一般「做攻击」或「做防御」的研究者不同的地方。

2024 年底与 Nicholas Carlini、Milad Nasr 等人合作的《On Evaluating the Durability of Safeguards for Open-Weight LLMs》（arXiv 2412.07097），逐个复现了几个号称「就算你拿去微调也拆不掉」的开放权重模型防护方案。结论是这些防护的评测极容易误导：换个学习率、换一批微调数据，原本报出来的坚固程度就没了。他们的主张不是「这些方法没用」，而是「这类评测的设计方式，会让读者以为防护比实际更耐用」。

这条线在 2026 年的两项工作里继续。一项自动化红队（自动生成攻击去测模型）的研究发现：会针对当前部署的这一版防御去调整策略的攻击者，在同样的算力预算下成功率显著高于固定套路的攻击——所以用固定攻击集测出来的鲁棒性数字，是系统性偏高的。另一项关于间接提示注入（把恶意指令藏在 AI 助手要读的邮件、网页里，让它误当成用户的命令）的大规模公开竞赛研究，得出两个更难受的结论：一是攻击成功率在长期红队活动里基本不下降，并不存在「攻击者招式用尽」这回事；二是模型的通用能力、常规基准分，完全预测不了它抗注入的能力——同样聪明的两个模型，抗打击程度可能差很远，差异来自模型家族和训练配方。

读者能带走的一条实用规则：看到任何安全防御的数字，先问一句它是被固定攻击测的，还是被会自适应调整的攻击测的。前者的数字基本不能用来推断部署后的情况。

在此之前，他把「安全」当成可以拆开的零件

上面这些怀疑不是凭空来的，前面有几年把安全行为当成具体物件去解剖的积累，都出自 Princeton 那个小组（Prateek Mittal 与 Peter Henderson 联合指导）。2023 年他证明了能看图的模型可以被一张人眼看不出异常的图片越狱，而且用一小类有害话题优化出来的那张图，能连带撬开优化时压根没涉及的其它类别（arXiv 2306.13213，被 GPT-4V 的系统卡引用）。2024 年初他用剪枝和低秩分解去定位模型里「跟安全有关」的那一小撮参数，发现只动这一小撮就能明显改变拒答行为、而通用能力基本不受影响；顺着这个结论，在下游微调时把这些参数冻住，掉安全的程度就比其它选参数的做法轻（arXiv 2402.05162）。另一篇则反过来用：给安全示范样本前面统一加一个触发词去微调，推理时把这个触发词悄悄拼在前面，就能把被恶意微调污染过的模型的安全性拉回来（arXiv 2402.14968）。

他现在在 OpenAI，这决定了你还能看到多少

2025 年博士毕业后，他是 OpenAI 的 Member of Technical Staff，做模型鲁棒性；同时在 MATS 项目里带 OpenAI Safety Team 方向的学员。实际含义是：他往后的判断更多会藏在内部评测和系统卡里，公开论文的密度和细节都会下降。想继续跟他的思路，两个替代入口是他 MATS 学员的公开产出，以及他挂名的那些评测方法论论文。

已核实来源

本文由自动化管道生成（采集 → 逐字核验 → 模型撰写），未经人工改写。