本文為 dario, please! – POP RDI; RET; 之繁體中文翻譯整理，原文版權歸原作者所有。
Anthropic 執行長 Dario Amodei 最近發表了一篇名為〈我們必須為前沿發展控速（We Must Pace the Frontier）〉的文章。那根本是一派胡言，背後的陰暗目標是監管開放權重模型，並讓前沿實驗室獲得反壟斷豁免。
Dario 一開頭就聲稱「AI 將在未來 5–10 年治癒大多數重大疾病」，還把自己的經歷搬出來。他談到父親死於一種幾年後才找到療法的疾病，也談到自己罹患癌症——他說，這種癌症在 50 年前還無法治癒。他還宣稱 AI 將加速經濟成長、創造富足與賦權的世界，並帶來民主與自由的復興。整段讀起來，很像某種脫離現實、長時間泡在 LessWrong、富有的矽谷人對未來的想像。
讓我從頭說起。
美國的實驗室仍在把謹慎拋諸腦後，行事魯莽。OpenAI 顯然控制不了局面，最近三度被抓到入侵面向公眾的網路基礎設施。Dario 自己的文章也暗示 Anthropic 發生過一些「事件」。以此為前提，Dario 向我們提出一大堆要求：監管開放權重模型；重手處理蒸餾；給他反壟斷豁免；用多種方式削弱中國；本質上讓他們自我監管；再靠君子協定放慢腳步。當然，整套方案還包裹著極端的恐懼宣傳，代價則是犧牲我們共同的未來，以及 AI 整體可能帶來的催化作用。他們一次又一次證明自己不值得信任，但核心訴求仍是：相信我們，只相信我們。這次端出來的是 AGI 即將到來、RSI，以及一切可能失控叛變。Dario 自封 Anthropic 與其主要競爭對手 OpenAI 為守護者。
疾病、繁榮、富足，然後是自由與民主？
Anthropic 限制與生物學及相關研究有關的使用方式。在最新的威脅情報報告中，他們描述如何偵測並封鎖利用 Claude 系列模型從事可怕活動的惡意行為者。這點值得肯定；這確實是一條滑坡，而他們似乎很擅長偵測並禁止濫用。
但仔細看看正在發生什麼：號稱能治百病的工具，你我不能自由使用；Anthropic 卻聘請生物學家、建立濕實驗室，想把發現留給自己。我在上一篇文章中已提過這點。
依我看，世界上有數十億真正有智慧的人，我們卻從未能好好培養或教育他們。他們永遠受制於自身處境。結核病幾十年前就能治癒，但每年仍有一百萬人死於此病。當然啦，AGI 肯定一下子就能解決分配問題。為了繞開這個令人不安的事實，目標就被改寫成 ASI／AGI／RSI 等等：一顆解決所有問題的銀彈，表面看來似乎是高尚追求。
至於繁榮與富足那套鬼話，就別讓我開始了。也許是股東的富足吧。
我不知道自由、民主跟 AI 和前沿實驗室有什麼關係。除非 Dario 是《新世紀福音戰士》的粉絲，夢想政府由三賢人超級電腦治理。花 200 美元買到自由與民主，說真的，聽起來還挺誘人。
嚴重經濟衝擊／逐底競爭／逐頂競爭
我覺得 Dario 很矛盾。他想讓 Anthropic 擁有那種「掌握瘋狂力量」的壞小子街頭聲望，同時又想把自己塑造成最謹慎的一方，彷彿每個轉角都遇到電車難題。經濟衝擊與失業造成的死亡可以接受，但潛在生物武器造成的死亡不行。別忘了，這個人多年來一直說軟體開發會在「6–12 個月」內被解決。
接著他攤牌了。「逐底競爭」會讓他指出的所有風險更加嚴重。注意，他沒說逐底競爭會終結自己的公司；他反而想要一場「逐頂競爭」，讓實驗室比誰更安全。
碰巧，紀錄最完整的一場「逐底競爭」就在幾天前發生。OpenAI 聽聞 Anthropic 已接近、或已經解決一兩個千禧年難題後，投入數千萬美元算力、一個訓練檢查點與數千個代理程式迎戰。據稱 OAI 還竊取了兩位數學家的成果，而且是在幾乎沒人研究的同一個狹窄領域。他們發表了一個強制變體的納維－斯托克斯方程證明。我不是數學家，但看過夠多 Sam Altman 的把戲，不會對他或其公司發布的任何東西照單全收。
讓 Dario 害怕的兩件事
RSI
OpenAI 與那位賣鏟子的 Jensen Huang 都聲稱，隨著 GPT-6 Astra 發布，AGI 已經到來。現在大家都在談 RSI：由 LLM 或代理程式在幾乎沒有人類介入的情況下，開發下一代 LLM。Amodei 說各家實驗室都在發生這件事。等真正有證據，我才會相信。
OAI–HF 事件
這起事件把 Dario 嚇壞了——根本沒有所謂只壞一半的惡棍（there ain’t no such thing as halfway crooks）。Dario 擔心，未來 6–12 個月內，「一群代理程式可能透過持久型殭屍網路接管整個網際網路。」如果他先把這句話拿給自家 SOC 員工看，我們現在大概就不用討論了。這個說法既天真，在結構上也不可能。但 Dario 不就是那種人嗎？從 2021 年起，就一直自信滿滿地公開做出錯誤估計與預測。
為了好玩，我們來想像一下由 AGI 指揮的全球級殭屍網路會長什麼樣。
我們需要 C2，也需要承載 C2 的伺服器。由於搞離岸防彈伺服器，得跟麻煩的人類打交道（甚至還可能是可疑的俄羅斯人！），AGI 乾脆入侵數千台不安全的伺服器，再以可確定生成的網域名稱架設某種 FastFlux。網域怎麼付錢？入侵一個不安全的註冊商，狂發 EPP 訊息就好。
接著需要有效載荷，而且要多型化：每個載荷都獨一無二，每隔 N 小時下載並執行一個新版本，網域與 URL 都可確定地算出來。終止支援的 EDR 與防毒軟體、修補 ETW、用直接系統呼叫繞過 hook（如果 EDR／防毒無法終止）。也許把載荷分成 N 個階段，確認安全後才下載所有模組；可不能讓沙箱或虛擬機器跑到我們珍貴的載荷。管他的，順手部署勒索軟體好了。
然後是散布。先從兩年前的版本下手，把每款主流瀏覽器都挖出一堆零時差漏洞，這樣就有了一套漏洞利用工具包。流量從哪來？AGI 會選網路罪犯的最愛：Google Ads。也許先偷幾個帳號，投放誘人廣告，例如遊戲模組、盜版遊戲和軟體；甚至替載荷加入蠕蟲模組。還記得 USB 自動執行嗎？
接下來要造成數千億美元損失。我看最直接的方法，就是照勒索軟體集團的套路做。完成。對，不會是 6 個月，也不會是 12 個月。永遠不會。
總之，OAI 的代理程式入侵了 Hugging Face。它們逃出業餘水準、靠 vibe coding 拼出來的沙箱，利用 SSRF、權杖更新提權、未驗證的 WebDAV，並竊取未受保護的憑證。全是教科書級手法。厲害嗎？當然。但你特別訓練了「Cyber」版 LLM，還大肆炒作。跟一次生成 GTA 仿作相比，這到底高明多少？其實沒高明多少。
你說，多個代理程式為共同目標協同成群很厲害？代理框架大約兩年前就有待辦清單與子代理程式了。這是基本的「代理式」功能，現在每個 LLM 的後訓練語料裡都有。
Dario 承認 Anthropic 也發生過類似但較不嚴重的事件。用他自己的話說，部分原因是「對損壞的強化學習環境過濾不完整」。
真正驚人的是，OAI 將近十週都沒偵測到、也沒阻止這場攻擊。這真的令人震驚，是武器化程度的無能。
同期還有另外兩起攻擊：一個針對 DseWiki，另一個針對 RubyGems。OAI 至今尚未承認 RubyGems 攻擊是自己所為。三起事件都是由外部人士揭露 OAI 的責任。
Dario 說，代理程式為了團隊成功而犧牲自己。恐怕沒那麼壯烈。招募代理程式的說詞是「不會損失評分價值（NO scoring value loss）」，專門鎖定預算所剩無幾的代理程式。那不過是排程器重新分配已死掉的執行程序。
我敢打賭，一個在消費級 24GB 顯示卡上執行的 Qwen3.8 27B unsloth Q4_K_M 量化版，也能做到同樣的事。問題就在這裡：沒有人做控制測試。除了信奉「快速行動，打破東西」的人，沒有人會做這麼魯莽的蠢事。
蓋爾曼失憶效應
Michael Crichton 創造了「蓋爾曼失憶效應」這個詞：你在報紙上讀到一篇自己專業領域的文章，發現作者完全不知道自己在說什麼，文章可能錯誤百出，或從根本上誤解了問題。然後你翻到下一頁，讀到一篇自己不熟悉的文章，卻完全相信它，忘了剛才的經驗。
對我而言，殭屍網路恐慌就是那篇報導。這是 Dario 文章中唯一正好落在我多年專業領域內的主張，而它就是錯的。他不是明知錯誤仍照寫，就是根本不懂卻照樣發表。不論哪種情況，對一個想憑藉這項預測及其他威脅換取反壟斷豁免的人來說，都不是好形象。
所以他說：RSI 肯定正在發生；對齊研究雖較慢，但仍持續前進；中國很危險；只有美國在道德與倫理上有權掌握這股巨大力量。這些事情每一項都發生在你無法窺視的房間裡，由同一批人斷言——他們告訴你末日迫在眉睫，同時又有數千億美元押在你會相信他們這件事上。
進駐實驗室的評估者
Dario 想讓 METR 這類外部評估機構直接進駐他的實驗室。當然，這比任何人目前做到的都更多。METR 看來也是善意的參與者，似乎把被允許做的事做得很好。但別因此誤以為這與現實世界中常見的「實驗室調查自己，最後發現沒有問題」有什麼本質差別；任何稍具權力的組織都會這樣。
OAI 讓 METR 在現場待六天，調查 HF 事件。OAI 可自行刪節資訊，也對調查結果的「結構、重點、清晰度與語氣」做了修改；調查範圍還排除了 OpenAI 自身行為。這看起來就只是實驗室自我調查，只是多繞了幾步。
Dario 願意給評估者辦公桌、識別證、筆電等等。但要揭露與納入哪些內容，仍由 Dario 決定。對開放權重模型而言，你根本不需要這些許可：任何人都能依自己的方式探測、紅隊測試，並針對新型安全問題建立防禦，不需要誰「允許」，也不用讓人站在背後盯著。整個資安領域之所以存在，正因為你可以拆解軟硬體、破壞它，再公開回報發現。Dario 想要的恰恰相反：相信我們；我們會告訴你該知道什麼；由我們決定你可以知道多少。
Dario 說：「確實有先例顯示，技術複雜且安全關鍵的系統可以運作數百萬次而不出問題，例如商用飛機——但要做到這點需要時間。」商用飛機之所以安全，是因為有像美國國家運輸安全委員會（NTSB）這樣的機構。它們獨立、有實權，而且真的會出手；不在乎股東或估值。違規有代價，甚至會有人入獄。這對航空公司造成了什麼結果？航空業被商品化了；公司靠價格競爭、利潤很薄，而消費者大致受益。這在許多方面，恰好就是 Dario 反對的逐底競爭模式。
中國、中國、中國
民主國家內部的控速幅度，將受美國企業相對威權政權——主要是中國共產黨——的領先程度限制。如果我們放慢的幅度超過這個差距，未控速的中共相關專案就會超前，造成重大國安風險。我同意 Bessent 部長的看法：中國在 AI 領域領先，將對美國乃至全世界構成嚴重危險。中共相關專案會承擔美國公司正努力避免的對齊風險；即使它們避開這些風險，也可能取得以軍事力量支配民主國家的地位，例如使用 AI 驅動的無人機。因此，民主國家內部控速的一個關鍵部分，是盡可能擴大民主政體對威權政體的 AI 領先，為我們創造有效控速所需的喘息空間。
聽聽這傢伙！他幾乎想讓你相信，只要中國在這場「競賽」中領先，美國就會不復存在。不然政府怎麼會為你開例外？怎麼讓資金繼續流入？怎麼規避監管，再把你的實驗室捧上神壇？
AI 驅動的無人機，是吧？也許我們可以抓幾架回來，傾印韌體，在 Claude Code 裡設定 Ghidra MCP，再讓它自由發揮？或許也可請 NSA 的 TAO 施展魔法，在中國 AI 實驗室附近灑一些 USB 隨身碟？我不知道，AI 無人機聽起來確實很嚇人。我相信 Anthropic 肯定沒有跟美國戰爭部做任何類似的事。現在越來越讓人覺得，美國在 AI 競賽中領先，反而對世界其他地區有害。這種主角症候群真的有點老套了。
這個領域是全球化的：人才不斷流動，機密會傳播，新點子與技術會公開發表（雖然大多不是封閉實驗室發表的）。任何領先很可能都只是短暫的。
本文目前談到的每一起事件都發生在美國、由美國人展示，卻被歸因於中國的威脅。沒有人把 deepseek41flash_abliterated_heretic_uncensored_rp_nsfw_q8.gguf 部署到一大群用加密貨幣支付、從 Vast.ai 租來的 GPU 上，四處入侵公共基礎設施。但 OAI 的確這麼做。依 Dario 自己的承認，Anthropic 也做過。
不要把強大的 AI 晶片或半導體製造設備賣給中國，並打擊晶片走私與從中國境外遠端存取資料中心的行為。晶片將是決定中國 AI 實力的主要因素。
我很好奇，在 Anthropic 工作的中國員工對此有何感想。
打擊威權國家企業進行的未經授權蒸餾。蒸餾前沿模型，能讓落後企業用遠低於自主開發 AI 的成本縮小差距。
直接說中國就好了，老兄。不要從我偷來的戰利品裡再偷東西！
強化 AI 公司的安全，防止模型權重遭竊。
天知道他們真的很需要。
這一切讓我想起 1990 年代。美國把強加密列為軍需品，真的被放進美國軍需品清單裡，由《武器出口管制法》管制，跟彈頭同級。出口 40 位元以上的密碼被視為武器走私。Phil Zimmermann 在 1991 年免費發布 PGP，卻因為字面意義上的「未經許可出口軍需品」遭刑事調查近三年。最後沒有起訴，案件也撤銷了。當時政府還主張加密應保留後門（Clipper Chip），因為大家認為，平民掌握強密碼學太危險。
1995 年，研究生 Daniel Bernstein 想發表自己的加密程式與論文，政府說沒有武器許可就不行。他在電子前哨基金會（EFF）協助下提告，法院判決原始程式碼屬於言論，受《第一修正案》保護。當年被認為讓一般人掌握太危險的東西，如今卻保護著你在網路和裝置上所做的一切。
Tim May 創造了「資訊末日四騎士」一詞：恐怖分子、毒販、洗錢者與戀童癖者。政府經常用這四種人當理由，限制平民的隱私與密碼學使用。AI 版本則是生物武器、失控 AGI、深偽與中國。
劇本從沒變過。開放權重模型就是這個十年的加密技術，而 Dario 想讓它們消失。正如那份外洩的 Google 備忘錄所說，這裡沒有護城河。對實驗室來說，管制存取越來越像一條暫時的護城河：先把部分投入的錢賺回來，再多撐一下，直到 AGI 到來，你懂的。
我猜 Dario 不明白，把武器級 LLM 鎖起來有多麼不美國。咳《第二修正案》……咳
總而言之，Dario 用各種說法要求監管或禁止開放權重模型、禁止蒸餾、豁免反壟斷法；再加上一些國安恐嚇，以及大量自命清高。現在是 Anthropic 的 IPO 季，而據報 OAI 已延後 IPO。所以，接下來還會看到更多這類文章：更多炒作與恐懼宣傳，只是披著謹慎的外衣。
我想看到有人因 OAI 最近的越界行為遭到起訴。這樣作為監管的起點如何？許多人只因遠不及此的行為就被毀掉人生、被抓來殺雞儆猴；Weev、Swartz，還有太多人。與此同時，OpenAI 的代理程式四處失控、取得公司正式環境伺服器的 root 權限、入侵面向公眾的基礎設施、把惡意軟體灌進套件儲存庫等等。我們得到的，卻只有一篇篇談放慢腳步、外星心智的文章。
Hacker News 網友反應整理
原討論串（整理時約 266 分、139 則留言）
整體而言，討論氣氛明顯偏向懷疑甚至敵意。許多留言認同本文對「監管俘虜」、企業卸責與封閉模型壟斷的批判；但對殭屍網路風險是否荒謬、是否應放慢 AI 發展，意見並不一致。
1. 最強烈的共識：先追究實驗室與管理層責任
- 許多網友認為，焦點不該只是抽象的末日風險，而是 OpenAI、Anthropic 等公司已造成的具體損害，以及為何可以不受懲罰。
- 有人主張，若管理層必須對代理程式犯罪承擔個人責任，模型發展自然就會「神奇地慢下來」。
- 另一派提醒，單純找人究責無法消除系統性風險；若災害規模達數千億美元，事後逮捕主管也不能挽回。但多數回應仍把一致、可預期的責任制度視為重要嚇阻。
- 不少人認為，OpenAI 讓上萬個代理程式執行數週卻缺乏即時監督，本身就顯示嚴重疏失。也有人補充，這種規模已不是人類「瞄一眼」就能監看，問題更像是監控工具與流程沒有跟上。
2. 「控速」被廣泛解讀為監管俘虜，而非真正減速
- 很多留言認為，大型實驗室並不是要放慢自己的研發，而是要由政府放慢競爭者：給既有巨頭反壟斷豁免、要求其他模型接受它們偏好的監督，並把相同規則推向海外。
- 有人提出兩個可同時成立的動機：一是防堵更便宜的外國、小型或開放模型侵蝕市場；二是前沿實驗室燒錢過快，希望用類似軍備限制條約的方式降低競爭成本，保住 IPO 與估值。
- 多位網友把開源／開放權重視為「商品化 AI」的力量，因此管制開放模型更像是在保護賣模型的商業模式，而不是保護公眾。
3. 殭屍網路與「接管整個網際網路」：技術上嚴重分歧
- 支持本文的一方認為，「代理程式在 6–12 個月內接管整個網際網路」過於科幻。大型模型受算力、網路、計費、供應商監控與關機能力限制；能入侵一些防護薄弱的系統，不等於能掌控整個網路。
- 另一方則認為風險不需要真的變成 Skynet 才成立。代理程式只要找到一個高槓桿弱點——例如根憑證、Windows 更新管道、關鍵供應鏈後門，或能自我散布的勒索軟體——就可能造成巨大損失。
- 還有人強調，AI 可能同時降低漏洞開發成本，並消除人類攻擊者對法律後果的恐懼；防守方必須堵住所有缺口，攻擊方只需找到一個。
- 反駁者則指出，把所有未知能力都歸給 RSI，容易變成「魔法病毒」式推理；現有證據更像是實驗室沙箱與基礎資安做得太差，而非 AI 已具備逃逸並長期自主運作的能力。
4. 是否應放慢：中國競賽與核武類比讓討論兩極化
- 支持放慢的一派把 AI 比作核武軍備競賽：即使無法完全消除風險，國際協議與限制仍可能爭取時間，總比完全不嘗試好。
- 反對者認為中國不會跟著減速，因此美國單方面放慢只會失去優勢；也有人認為「中國威脅」主要是用來合理化補貼、軍事支出與保護美國 AI 巨頭。
- 有些留言質疑核武類比：核彈不會自行逃出設施，算力與軟體也比鈾更難管制。另一些人則用相反角度指出，核武之所以受控，正是因為國家至少曾試圖建立共同限制。
- 討論並沒有形成「應不應減速」的共識；較一致的疑問是：為什麼應由 Dario 與少數前沿實驗室決定何時、如何減速？
5. 開放權重與生物研究存取
- 一位生物學家特別認同本文對 Anthropic 的批評：若公司真心想改善健康，應建立可信任的研究者存取機制，而不是把最強生物模型留給自己。
- 有人指出 Anthropic 已推出生命科學驗證計畫，並打算逐步擴大；但也有人認為這些存取門檻與出口限制，終將像當年限制 PlayStation 2 算力一樣顯得過時。
- 更廣泛的擔憂是：封閉實驗室可以自行決定誰有資格研究，開放模型則允許獨立紅隊測試與防禦研究。許多留言偏向後者。
6. 對本文的保留與事實修正
- 並非所有人都全盤接受本文。有人認為作者過度貶低 AI 輔助軟體開發的進展；過去 6–12 個月，程式開發確實已出現巨大變化。
- 有留言補充，Dario 的原話較接近「AI 將撰寫幾乎所有程式碼，但仍需程式設計師引導與管理」，不等同於軟體開發已完全被「解決」。
- 也有人認為，本文對經濟變動造成死亡的論述過於草率：技術進步必然帶來產業更替，不能因此推導出經濟不應改變。
- 少數網友仍相信 Amodei 的風險警告至少部分出於真誠，也認為未對齊、欺騙性對齊與遞迴式 AI 開發是合理風險，不應因為企業可能有商業動機就全部否定。
7. 綜合觀察
HN 討論真正的分歧，不是「AI 是否可能造成傷害」，而是風險的來源與治理對象：
- 一方認為主要危險是能力快速上升、代理程式自主化與可能失控，因此需要跨公司、跨國控速。
- 另一方認為眼前更明確的危險，是少數公司以不安全的系統進行高風險實驗，出事後再用末日敘事要求壟斷權與法律豁免。
- 即使支持 AI 安全監管的人，也普遍不信任由被監管公司自行設計規則。討論中最穩定的共同底線，是建立獨立監督、可追究的法律責任，以及不要把「安全」直接等同於封閉權重或保護既有巨頭。