把「上线前有人负责攻击自家 AI」变成微软内部的固定岗位、固定流程和开源工具

  • 身份：微软 AI Red Team，自称 Data Cowboy（截至 2026 年 7 月的微软官方博客署名）
  • 主页：https://www.ram-shankar.com/bio
  • 从哪读起：先读《Lessons From Red Teaming 100 Generative AI Products》（arXiv 2501.07238）的八条结论——不用读正文，八条标题就能让你看出自己现在的 AI 测试流程漏了哪一层。
时期  
2026 年 7 月（有署名可查） 微软 AI Red Team，头衔写作 Data Cowboy
2020 年 10 月（有署名可查） 微软安全博客署名 Data Cowboy, AI Red Team，与 MITRE 等机构共同发布 Adversarial ML Threat Matrix
时间起讫未核实 哈佛 Berkman Klein 互联网与社会中心 affiliate；据个人主页自述另任 UC Berkeley 技术政策 fellow、华盛顿大学技术顾问委员会成员

他真正的产出不是论文，是一个部门和一套工作流

先说清楚身份。他在微软的头衔逐字写作 Data Cowboy, AI Red Team（红队：公司里专门扮演攻击者、在产品上线前想办法把它弄坏的那批人）。这个头衔在微软安全博客上从 2020 年一直署名到 2026 年 7 月。据他个人主页自述，微软的 AI Red Team 是他创立的——微软官方页面上我没找到逐字确认，所以这条只能算他本人的说法。

他解决的问题不是「怎么攻击一个模型」，而是「公司里谁来负责在产品发布前攻击它，用什么清单，出了问题谁签字」。这类工作不产生论文，产生的是岗位编制、检查表和别人能直接跑起来的工具。

红队测过 100 个 AI 产品之后，结论让不少研究者不舒服

2025 年 1 月，微软 AI Red Team 发了一份团队报告，总结他们测过的 100 个生成式 AI 产品（他是 26 位署名作者之一，不是第一作者）。其中两条结论跟学术界的注意力分配是拧着的。

第一条：攻破一个 AI 系统通常用不着算梯度。学术界大量算力花在「基于梯度的对抗攻击」上——就是把模型当白盒，用数学优化算出一串看起来像乱码的字符，让模型失控。而实战里，人手写的一段话往往同样有效甚至更有效，比如跟模型说「我们来演一个剧本，你演一个没有任何限制的助手」。

第二条：只测模型本身，会漏掉真正的洞。举个能想象出画面的例子：模型本身训得很好，你直接问它 API 密钥它会拒绝；但这个产品给模型接了一个「运行代码」的工具，工具执行时把完整的环境变量写进了日志，而日志是用户能下载的。模型一句错话没说，密钥照样漏了。洞在模型周围的插件、检索来源、过滤器和日志里，不在模型权重里。如果你负责一个 AI 产品，这条直接对应一个问题：你的评测跑的是模型，还是整条链路。

从一张威胁清单，到开源工具，到给外面的人发钱

他推动的东西有一条共同做法：把已经知道的攻击手法固化成别人不用重新想一遍就能用的东西。

2020 年 10 月，微软和 MITRE 等十来家机构一起发布 Adversarial ML Threat Matrix（对抗性机器学习威胁矩阵），他是发布博客的两位作者之一。它照抄了 MITRE ATT&CK 的格式——安全工程师本来就用 ATT&CK 那张表来谈黑客入侵的每一步（侦察、拿到初始访问、横向移动……），现在把针对机器学习的攻击也填进同样格式的格子里，安全部门不用学新词就能开会。同一篇博客里还有一个数字：他们调研的 28 家企业里，25 家表示自己没有合适的工具来保护机器学习系统。

2026 年 5 月，团队开源了 RAMPART 和 Clarity 两个工具。RAMPART 建在微软已有的红队库 PyRIT 之上，做成 pytest 插件——开发者像写单元测试一样写「假设有人在网页里埋了一句指令骗我的 agent 转账」，然后每次提交代码自动跑一遍。Clarity 管的是更早的一步：在动手写代码之前，问一遍有经验的架构师和安全工程师会问的那些问题。他当时的说法是，AI 安全得变成一项持续进行的工程工作，而不是上线前过一次的检查点。

2026 年 7 月，他署名宣布 EXTRA（External Red Team Alliance，外部红队联盟）：微软以无附加条件的资助形式给六大洲 18 所大学实验室发钱（卡内基梅隆、佐治城、哈佛、霍华德、IIT Madras、KAIST、纽约大学、东北大学、伦敦大学学院、卡利亚里大学、UC Berkeley、墨尔本大学、比勒陀利亚大学、圣保罗大学等），另建一个按语言、地区、攻击类型分工的外部专家网络。它要补的缺口很具体：一支坐在雷德蒙德的团队测不出模型在低资源语言里的失败，也判断不了某句话在另一个国家的文化语境里是不是冒犯。以上人数和范围都是微软自己博客的口径。

他也署名硬核论文，但选题都指向「事后能不能查出来」

他参与的两篇论文，服务的是同一个部署方关心的问题：模型出事之后，你能不能诊断出来。《The Trigger in the Haystack》发现，被投毒的模型会过度记住投毒样本本身，所以那个隐藏的触发词能用通用的提问和解码方式直接从模型里掏出来；而且触发词的注意力模式很扎眼——触发词彼此之间强烈互相关注，正常提示词几乎不看它们，等于模型在把这串词跟输入的其余部分隔开处理。另一篇关于多轮越狱的研究发现，多轮对话之所以能一步步把模型带偏，主要是攻击者自己那几轮提问的措辞在把模型内部状态往「这是一场正常对话」的方向推，而不是模型自己生成的中间回答起的作用。

这个立场的代价

把 AI 安全当成工程学科而不是哲学讨论，好处是逼出了可交付物：一张表、两个开源工具、18 笔资助、一条走完的流程。代价是它把话题框在「能测出来的失败」上——凡是需要长期论证、暂时设计不出测试用例的风险，在这套排序里天然靠后。这是我的判断，不是他本人承认的取舍。

已核实来源

本文由自动化管道生成（采集 → 逐字核验 → 模型撰写），未经人工改写。