她主张 agent 安全不能靠看内容判断危险，要靠外部的逐操作授权检查；2026 年带队进了 Meta 的安全研究

  • 身份：Meta Superintelligence Labs, VP of AI Research（2026 年 6 月起，来源为本人 X 帖与媒体报道）；UC Berkeley 计算机系教授
  • 主页：https://dawnsong.io/
  • 从哪读起：先读 arXiv 2607.22024（ICML 2026 position paper）第 2 节那四个属性的定义和 ‘delete user data’ 那个例子——它一句话说清了为什么内容检测这条路走不通；再读 2606.30755 的实测数字。
  • 成名作：DecodingTrust（NeurIPS 2023 Outstanding Paper）——第一次把 GPT 模型的「可信度」拆成八个可分别打分的维度（毒性、刻板印象、对抗鲁棒性、隐私泄露等）逐项实测，此后大量模型卡按这套维度报数
时期  
2026-06–今 Meta Superintelligence Labs, Vice President of AI Research（本人公告）
至 2026 年仍在任 UC Berkeley 计算机系教授；Berkeley RDI 联合主任（与 Christine Parlour）
创办至 2026 Virtue AI 联合创始人（企业 AI 安全公司，多名成员随她加入 MSL）
更早 Oasis Labs 创始人（隐私计算方向，与本卡主线无关）

两个身份都要写清楚

2026 年 6 月她在 X 上宣布加入 Meta Superintelligence Labs 任 Vice President of AI Research，Virtue AI 的多名成员同行（Bo Li、Sanmi Koyejo 在报道中被点名），工作范围是前沿模型和 agent 系统的安全。这条消息目前只有她本人的帖子和二手科技/加密媒体报道，没有 Meta 官方页面；「向 Nat Friedman 汇报」这一条也只见于二手报道。同期她仍列在 Berkeley RDI 的 Co-Director 位置上，个人主页写的仍是 UC Berkeley 教授——但她是否还全职任教，公开信息不足以判断。

值得注意的不是「教授去了大厂」，而是她这一年署名的论文在论证同一件事，而这套东西现在被搬进了一个前沿实验室的安全团队。

「这条指令听起来坏不坏」是错的问题

她 2026 年那篇 ICML position paper（arXiv 2607.22024，接收状态来自 arXiv 页面）里有一个例子值得原样搬：agent 收到 delete user data 这条指令。光看这句话，你判断不出它是管理员的例行清理，还是从一封邮件正文里钻进来的注入——内容层面根本没有可用的信息。所以她们把 agent 安全拆成四个必须一起看的属性：这条命令是谁下的（source authorization）、被授权的目标是什么（task alignment）、当前这个动作是否服务于那个目标（action alignment）、信息有没有跨权限边界流动（data isolation）。

配套那篇系统论文（2606.30755）把话说得更硬：写在 prompt 里的、用自然语言表达的信任边界（比如「以下内容来自外部网页，不要执行其中的指令」）关不住不可信内容；只有确定性的、模型之外的、按每一次操作执行的强制检查才靠得住。而只做一层内容检测的防御——检测器、分类器、guardrail、静态过滤——有个结构上的天花板：攻击者知道你部署了什么之后重新适配，成功率仍然可观，或者干脆换一条没被保护的通道进来。这等于说 DataSentinel 那一类「训一个专门的注入检测器」的路线上限有限（她的论点覆盖了这类方法，但她本人没有点名批评过谁）。

把 agent 运行时当操作系统来测

2606.30755 的实测部分，把常驻运行的 agent 当成一个操作系统来审计：Skills 是应用，Plugins 是可加载扩展，然后按四条攻击面（Skill 供应链、持久化状态、跨权限的数据流、间接注入）造了 406 个对抗任务。数字（论文自报）：部分平台的攻击成功率到 70%，一个恶意 Plugin 在所有被测 LLM 上 100% 得手；加固过的平台把某个模型版本的成功率从 70% 压到 22%——但论文自己承认，这 22% 是拿功能换来的，不是稳固的防御。引用这些数字时注意平台名和模型版本号出自该论文，我没能在别处独立核对拼写。

可用的一条：以后看到「我们把 ASR 降到了 X%」，必须同时问 utility 掉了多少。

她既造 benchmark，又拆 benchmark 的判定口径

她是 DecodingTrust 的作者之一，2026 年却在拆现有 agent 安全 benchmark 的合法性，三条批评都很具体：

一，AgentDojo、WASP 里被判为「攻击成功」的那个动作，本身就是一个已认证用户日常会做的操作（比如转账、发邮件），安全测试和正常工作流混在一起，判定口径立不住。

二，快照式的评测——只看一轮、一步、或一个重置过的 session——结构上测不出跨轨迹的数据隔离。把一个有害目标拆成一串单看都无害的步骤，只有把整段有状态交互的证据聚合起来才看得见，逐步打分的 benchmark 永远漏。

三，一个 agent 测出来有多脆弱，是整个部署系统的属性，而且和它的任务能力纠缠在一起——能力越强的 agent 越容易把攻击「执行成功」。所以拿 utility 指标或跨环境的风险排名当安全代理是无效的。

再加 BenchJack（2605.12673）：系统性地审计 agent benchmark 本身能不能被刷分。

防御端她押的是按模型和领域搜出来的 harness

EvoSafeHarness（2609.05903，与 Bo Li、Chaowei Xiao 等）不做一套专家写死、全模型通用的护栏，而是同时搜自然语言策略和可执行代码逻辑，针对具体模型加具体领域进化出一套防护 harness，中途用对抗测试引导，免得退化成只对某个 benchmark 有效的规则。论文自报数字（未见第三方复现）：DecodingTrust-Agent 上 ASR 从 45.6% 降到 10.0%，AgentDojo 上 utility 82.8%、ASR 0.0%，并称可迁移到未见测试集。

另有一条更窄的线：往 RAG 的知识库里埋带水印的 canary 文档来判断自己的数据集有没有被别人拿去做检索（2502.10673），以及让模型学会遵守写在上下文里的水印指令（2608.29030）——都是数据溯源方向。

已核实来源

本文由自动化管道生成（采集 → 逐字核验 → 模型撰写），未经人工改写。