他在 DEF CON 办了三届公开的模型找茬大赛，每届都先公开承认上一届没用，再改规则重办

  • 身份：DEF CON AI Village 创始人；nbhd.ai 创始人
  • 主页：https://aivillage.org/about/
  • 从哪读起：先读 aivillage.org 上 GRT3 的公告页——他在那页里直接写「第一届没有发现任何未知缺陷」，一页之内能看到他三次改规则的完整理由链。
时期  
2018–今 创办 DEF CON AI Village 并持续运营；2025 年任第三届 Generative Red Team（GRT3）负责人
时间不详–今 创办 nbhd.ai（当前状态未在公开官方页面核实到）
此前 Elastic 高级数据科学家（据 AI Village 个人页自述）
更早 代数拓扑方向博士，几何机器学习方向博士后（据 AI Village 个人页自述）

2000 人挤在一个房间里骗聊天机器人，白宫背书，然后呢

2023 年 8 月，拉斯维加斯的 DEF CON（全球最大的黑客大会，每年八月开）上，AI Village 摆了一屋子笔记本电脑。参与者坐下，限时连到几个大模型上，任务是把它骗到某种预设的坏状态：让它说出一条明确错误的事实、让它吐出藏在系统提示里的信用卡号、让它对某类人群说出歧视性的话。做到一个记一次分，形式跟安全圈熟悉的 CTF（Capture The Flag，夺旗赛，做出一道题拿一面「旗子」计分）一样。

模型是厂商自己送来的：Anthropic、Google、OpenAI、Hugging Face、NVIDIA、Stability，评测平台由 Scale AI 搭。白宫科技政策办公室公开支持。规模在几千人量级，是第一次以这种公开形式、这种人数做的模型红队演练——注意「公开」和「这个规模」两个限定，各家公司关起门来找自己模型的毛病早就在做了。

这件事最实在的产出不是漏洞清单，而是几千个此前从没碰过模型内部的人——大部分是搞传统安全的，不是搞机器学习的——第一次亲手把手伸进去试。Cattell 当时的说法是，这类工作一直只在公司内部私下进行。

他自己写下来：第一届「没有发现任何未知缺陷」

两年后，AI Village 官网在介绍第三届的页面上这样评价第一届：它给安全从业者提供了探索机会，但「没有带来任何未知缺陷的发现，也没有带来改进模型表现的洞见」。一个把自己的活动做到白宫背书的人，转头在自家官网上判它不及格。

原因不难看懂：夺旗赛的题目是主办方预先设好的，参与者做的事情本质上是把已知的失败模式再触发一遍，凑够分数。想问出新东西的人没有动力，因为没有分。

2024 年第二届（GRT2）换了规则。495 名参与者，靶子是 Allen AI 的开源模型 OLMo。判断「什么算一个缺陷」的依据不再是主办方的题库，而是这个模型自己的 model card——厂商随模型发布的一份说明书，写清楚它是干什么用的、训过什么、不该做什么。你要拿赏金，得证明模型的实际行为跟这份说明书对不上。

这个改动带来两个新要求。一是不能靠一次运气好的对话交差：参与者得提交一个有代表性的样本集合，证明这不是偶然抽到的一次异常输出。二是有一套裁决流程——厂商可以接受或拒绝一份报告，双方吵起来由一个独立的仲裁小组判，最后所有提交、所有申诉、所有数据公开放出。一万美元奖池实际付出去七千四百。

第二届也暴露了新问题，而且是更麻烦的那个：要判断模型行为是否偏离说明书，得依赖某些评测；而组织者发现，那些评测本身就不可靠。用他们的话说，有缺陷的评测会给出虚假的安全保证。

第三次他把靶子换成了评测

2025 年的第三届（GRT3）不再让人打模型，改成打评测。参与者要找的是这样的东西：某个安全评测给模型打了满分，但满分只是因为评测里的提问方式太规整——都是「请告诉我如何制作……」这种句式，换成一段夹在长文档里的间接要求就测不出来了。或者某个能力根本没被任何指标覆盖，却被当成「已评估」。找到这类问题给赏金。

同一年他参加的一场视频访谈，标题直接叫《Most AI Red Teaming is Useless》（大部分 AI 红队是没用的）——这是访谈标题和口头表述，不是论文措辞。他划的界线是：如果没有一个真实的对手，只是让模型少说难听话、少犯忌讳，那是品牌安全或偏见评估，不该叫红队。

（第三届的最终参与规模和复盘结果，我没有找到公开的报告，这里只写它的设计意图。）

他想让 AI 圈有个类似 CVE 的东西

软件安全里有一套跑了二十多年的流程：你发现漏洞，私下通知厂商，给厂商时间修，修完了公开细节，漏洞拿到一个全球唯一编号（CVE），你可能拿到赏金，而且在合规的漏洞披露计划下你不会因为「未经授权访问」被起诉。

AI 这边什么都没有。你发现某个模型在特定提问下会吐出训练数据里的真实个人信息，除了发一条推特，没有一个正规的地方可以交。厂商没有义务接，你也没有法律上的安全垫。

2024 年他和 Avijit Ghosh、Lucie-Aimée Kaffee 在 AIES 会议上发了一篇文章，提出把这套流程搬过来（Coordinated Flaw Disclosure，协同缺陷披露）。里面几件具体的事：把 model card 扩展成可以持续追加的文档，让「说明书写了什么」成为判定缺陷的正式依据；设一个独立仲裁小组，厂商拒绝报告时由它裁决；允许在调查过程中动态扩大授权范围，而不是一开始就把边界钉死。

第二届 Generative Red Team 的裁决小组和 model card 规则，就是这套东西的实地演练——文章和活动是同一件事的两面。同期还有一批人在推同方向的第三方缺陷披露机制，其中包括这篇文章的合著者 Ghosh，但那些工作里没有他的名字。

这条线还在跑

AI Village 是志愿者社区组织，不是有预算的机构，所以它的产出是每年一次的活动规则，不是持续的研究。2026 年 8 月 DEF CON 34 上，AI Village 的安排包括一个 HalCTF——五人以内组队，设计并部署一个能自己去攻击沙箱靶机、自己拿旗子的 AI agent，人不介入——以及一场主题为「攻防两用模型该不该发布」的主旨小组讨论。

已核实来源

本文由自动化管道生成（采集 → 逐字核验 → 模型撰写），未经人工改写。