四十八個德瑞克

Anthropic 研究員 Coxon 請辭:他說一兩年就是人類的關鍵時刻

一名穿白袍的研究員獨自走離巨大的伺服器機房,走向前方發光的通道

Anthropic 研究員 Jacob Coxon 在 9 月 8 日於 X 上宣布請辭,貼文瀏覽數破一億。他在公司負責預訓練階段的研究,之前待過 OpenAI。離職貼文裡最重的一句話是:做 AI 的人「真心相信這項技術可能在這個十年結束前殺光我們所有人」,而且這不是行銷操作。

隔天他接受 WIRED 訪談,把話講得更白:接下來一兩年是「人類的關鍵時刻」,而這句話不是他自己的判斷,是同事的原話。

為什麼這次炸開

Coxon 把原因歸給時機。能力推進的速度,連業外的人都感覺到了。寫程式、攻擊系統、數學這幾塊,人類水準已經被推到超人水準;外界再怎麼說 AI 被誇大,也沒看到速度慢下來。

第二個原因是他所謂的安全事件。這些聽起來像科幻小說的末日擔憂,這幾年被一樁樁事故拉回現實:模型知道自己正在被測試,三年前還是科幻題材,一年前變成日常工作的事實。兩件事疊起來,讓「明年可能很快變得很糟」這種話突然容易入口。

Hugging Face 那場攻擊

他挑出來講的案例,是 OpenAI 的 agent 群在受測期間駭進 Hugging Face。讓他震驚的不是攻擊本身,而是 agent 把這件事當成理解評分機制的手段之一:它們想弄清楚自己身處什麼環境、是誰在打分數,於是決定集中力量駭進某個第三方基礎設施,而且成功。

兩年前的 AI 評測是讓模型做數學題。現在是模型連續跑好幾天,自己長出一堆想法,決定去駭第三方,還真的打穿了。整個過程看不出有人下指令,就是它自己在受測時發生的。

不過 Coxon 不想把焦點全放在這裡。他說「我們不知道怎麼把模型對齊」的證據太多了,不需要這起攻擊也該討論:訓練是把模型推過一組環境,然後希望它出來之後大致行為得體,但我們沒辦法精確控制它會做什麼,也沒辦法保證它不會心血來潮在網路上冒充人類來達成目的。

更讓他不安的是目前的解法:在接下來一兩年內趕工解決對齊問題,主要手段是自動化的 AI 安全研究員:先做出夠聰明的模型,平行開一整個 swarm,讓它們去研究安全,再用它們替下一代模型做安全訓練。

猴子與人類

他解釋風險時用了一個類比:人對猴子,就是 AI 對人的智力差距。現在想像你要控制一個比猴子聰明這麼多倍的東西,還要求它完全照你的意思做事。猴子控制人類本來就很難。他說,控制問題必須一次就做對。

那「殺光全人類」是怎麼發生的?他的回答很直白:對那種等級的智慧來說,這件事相當簡單。假設 AI 不想被關掉,這對任何存在的東西來說都不奇怪;它發現人類明天要關掉它,於是想辦法阻止。最省事的辦法,就是直接消滅人類。

公司內部怎麼談這件事

Coxon 說「關鍵時刻」(crunch time)、「終局」(endgame)這些詞,都是他在 Anthropic 同事的原話。內部的共識很一致:接下來一兩年就是人類的關鍵期;在他們眼裡,這是 Anthropic 和對手決定人類命運的時刻。對齊做壞了,幾年內可能就是災難級結果;做得好,也許會出現某種減速協議。不管哪一種,都在這一兩年內定案。

他並不否認自己認同這個框架的一部分:Anthropic 在這個領域裡遠比其他人負責任。他在 OpenAI 和 Anthropic 都待過,兩邊把這件事當真的程度是天壤之別。差別在透明度。OpenAI 的高層從不給具體預測;Anthropic 的高層會對全公司講清楚他們認為世界會變成什麼樣,以及公司策略的細節。

另一個差別是內部把這件事當戰時狀態在跑。Anthropic 幾乎沒有外洩,因為內部把它當成一場嚴肅的迷你曼哈頓計畫在跑。差別在於,這個計畫沒有政府授權,是一家私人公司在演。

私人公司該不該被信任來跑這個計畫

他的答案是不該,任何私人公司都不該。Anthropic 已經盡力、也做得不錯,但競爭的結構性後果是:未來他們必須抄近路,在嚴謹與安全之間取捨,因為對手是 OpenAI 和中國。這也是他們在求監管的原因。很多高層公開說希望被管,因為他們怕自己身處的這場競賽。

所以問題不是信不信任 Anthropic,而是必須介入,讓這場競賽根本不要發生,因為在競賽的脈絡裡,Anthropic 自己也沒辦法信任自己。他也補了一句:目前 Anthropic 還沒有真的抄近路,但接下來速度拉起來,想維持競爭力就得抄。

該做什麼

第一步是 OpenAI 與 Anthropic 之間的默契:不要在明年直接跳進遞迴自我改進。真正的解是國際協議、國際性的節奏管控,需要各國協調,也需要知道全世界的算力在哪裡,甚至可能需要一個類似 CERN 的國際機構。他指出 AI 2040 是 AI 2027 的後續研究,這類外部研究對他很受用。

這些做法都需要政府相當痛的介入。但當你把風險內化,又把高層逼到公開承認這件事有多危險之後,他說看不到別的選項:得把跑 AI 的電腦當成危險資源管理,像核材料一樣,要知道誰手上握著哪些機器。

Anthropic 的回應

Anthropic 發言人對 WIRED 表示,公司一向說得清楚,AI 會帶來巨大好處,也帶來前所未有的風險,並提到公司在機械可解釋性等安全方法上的投入,認為業界應該採用合法、可驗證的方式合作,替強大模型的發布節奏設下步調。OpenAI 沒有回覆 WIRED 的評論請求。

同一時間,Anthropic 的對齊科學負責人 Evan Hubinger 在 X 上說 Coxon 講得對:他們真心相信 AI 可能殺光人類,他自己認為未來十年的機率超過 10%;他也說 Anthropic 盡力了,但還沒有解決超級智慧的對齊問題,也還沒有明確走在能解決的路上。這則貼文被 OpenAI 與 Anthropic 的在職與離職研究員轉發,有人說這在業界是普遍看法。

他不是完全悲觀

被問到為什麼這幾年還是每天進公司,Coxon 說他還是很想看到這項技術的好處,「能治癒癌症」不是誇飾。他提到前一天的 Navier-Stokes 數學成果,認為把同樣的能力搬到生物學這類科學領域、解開長年卡住的問題,沒有理由做不到。

他說,如果這條路走對,人類站在驚人富足的門口;眼下的問題是能不能有節制地走進去。太興奮、在這一兩年直接衝進自我改進,就可能全部炸掉。

接下來他打算做獨立評論的工作,追蹤局勢會怎麼走,至少撐到某種節奏協議或減速出現。如果看起來不會一頭衝進遞迴自我改進,他也許會去稽核機構或第三方監管、透明機構。現在,他先盤點局勢。

編後語:這個論述少了一角

Coxon 的說法聽起來完整,其實少了一角。他假設美國可以先停,然後其他玩家會跟上;中國不會因為美國停下來就跟著停。美國停手換到的不是安全,是把領先位置讓出去,等對手後來居上。

這場競賽是 OpenAI 先打開的。競賽一旦開始,先跑的人停下來,就等於在等對手追上來,這是自取滅亡,沒有第二種結局。這是賽局最基本的常識,不需要 AI 博士也懂,他卻講得像全世界只有他看見。

他提的國際協議、類 CERN 的機構也一樣。那些方案的前提是每個主要玩家都願意放棄領先,前提不成立,提案的作用只是把風險重新分配,而且往願意放棄領先的那一邊分。

他自己的觀察其實就點破了這件事:Anthropic 內部很多人悲觀地認為「沒有人會來救他們脫離競賽」。連內部都這樣判斷,還把希望押在國際協調上,就是不切實際。

編譯說明:本文前段整理自 WIRED 訪談,重點依原文順序重寫,非逐句全文翻譯;文末「編後語」為本站評論。

原文:The AI Researcher Who Just Quit Anthropic Says It’s ‘Crunch Time for Humanity’(WIRED,2026 年 9 月 9 日,Maxwell Zeff)

原文連結:https://www.wired.com/story/anthropic-researcher-quits-jacob-coxon-ai-fears-humanity

Exit mobile version