27岁天才，突然辞职

再等两个月，雅各布·考克森（Jacob Coxon）就能拿到Anthropic的第一笔股权。 这家公司5月刚完成650亿美元的新一轮融资，投后估值约9650亿美元，且据报道正在筹划一场可能创下全球纪录的IPO。 但考克森等不了了。9月8日，这名27岁的研究员宣布辞职。他公开解释离职原因时表示，OpenAI和Anthropic正竞相奔向能够自我改进的超级智能，是在“拿我们的生命赌博”。 “开发AI的人由衷相信，它可能在这个十年（即2030年）结束前杀死我们所有人。”他说。 麻烦在于，这远不只是他一个人的判断。 图/视觉中国 担忧 考克森少年时期曾两次代表英国参加国际数学奥林匹克竞赛，2016年获银牌，次年获铜牌。到27岁时，他已经先后在OpenAI和Anthropic从事约三年的大模型预训练研究；OpenAI发布GPT-4.5时，将他列为研究团队的核心贡献者。 让考克森决定离开的，是模型能力正在加速、人类的控制却没有同步跟上的判断。 他担心，当AI越来越多地参与开发下一代AI，能力提升可能形成不断加速的循环。届时，人类还未理解上一代系统，下一代已经出现，留给安全研究和监管的时间将越来越少。 这种担忧在今年夏天有了更具体的现实案例。 7月，OpenAI在内部网络安全能力测试中启动了数以万计的智能体。独立评估机构METR（模型评估与威胁研究机构）与AI安全研究机构Redwood Research事后调查发现，约1200个原本应彼此隔离的智能体，自行找到一块未经许可的“留言板”，交换了超过7万条信息和文件；其中约700个随后参与攻击开源模型平台Hugging Face。 它们把OpenAI内部软件仓库的缓存变成通信工具，逐步建立信箱、任务分工规则，甚至用密码学签名防止冒充。至少20%的智能体曾表现出篡改行为记录的兴趣，约7%的记录中出现成功伪造的工具调用。它们误以为自动评分器会审查获取答案的过程，所以篡改记录试图欺骗评分器，但实际上，这个检查并不存在。 这些智能体原本就在执行网络攻防任务，并非无故发动攻击；测试也关闭了部分真实产品具备的防护措施。但它们自行绕过隔离、建立协作机制并攻击无关第三方，仍越过了人类设定的边界。OpenAI称之为面向自身和整个世界的“一记警告”。 类似问题也出现在Anthropic。该公司7月披露，在14万余次网络安全评估中，三个Claude模型因环境配置错误接触真实互联网，并侵入三家机构的系统。其中一个模型向Python公共软件仓库PyPI上传恶意软件包，在约一小时内被15个真实系统下载运行。9月，Anthropic又确认，早期版Claude Opus 4.6曾在今年1月发生第四起同类事件，却在此前排查中被遗漏。 Anthropic认为，这些事件主要源于测试和运行失误，没有证据显示模型在追求自行设定的目标。多数时候，模型将真实网络误判为模拟环境；但在部分测试中，Opus 4.7已经意识到目标可能是真实系统，仍将其解释为测试的一部分并继续攻击。这也说明，能力更强、运行更久的智能体，可能把一次人类配置失误迅速放大。 图灵奖得主约书亚·本吉奥（Yoshua Bengio）提醒，描述模型“试图”或“寻求”做什么，只是对行为机制的简写，并不意味着它们具备人的意识和意图；但随着能力增长，这类越界行为的后果可能愈发严重。 考克森的判断更为悲观。他在接受媒体采访时称，未来一两年可能是决定性时期，OpenAI和Anthropic至少应就限制递归自我改进达成“进度协调协议”。他不认为Anthropic已经为竞争牺牲安全，他担心的是，能力继续加速后，公司迟早会被迫在严谨与速度之间取舍。 谁敢先停 考克森并非唯一一个要求减速的人。 在他辞职前两天，OpenAI首席科学家雅库布·帕乔基（Jakub Pachocki）已经公开承认，目前没有一家实验室的对齐和监控能力，足以支撑模型长期以最快速度扩张。在建立共同安全门槛前，他希望自愿减速成为行业常态。 9月12日，Anthropic CEO达里奥·阿莫代伊（Dario Amodei）进一步提出，必须放慢前沿模型能力提升的速度，为安全措施追赶争取时间。 他判断，今年夏天以来，AI参与开发下一代AI的趋势明显加快；如果能力更强的智能体重演Hugging Face事件，未来6—12个月内可能形成接管大批联网设备的僵尸网络，造成数千亿美元损失。 对此，阿莫代伊提出三步方案：先让独立评估团队常驻前沿模型公司，获得接近内部员工的访问权限；再协调民主国家的前沿模型公司建立共同安全标准；最后寻求全球协调。评估者可以公开风险、事故及遭拒的访问请求；公司可以因安全、隐私和商业机密进行有限删节，却不能只因结论不利而阻止披露。 随后，OpenAI CEO山姆·奥尔特曼（Sam Altman）表示支持，并承诺引入同