本文為 It's Time to Investigate the AI Labs – Cal Newport 之繁體中文翻譯整理，原文版權歸原作者所有。
過去幾個月，兩家領先的前沿 AI 實驗室，近來的行徑愈發肆無忌憚。
事情始於 OpenAI 發布一連串精心策劃的公告與報告，試圖向外界證明，其由大型語言模型驅動的代理系統已變得多麼令人不安且強大——更不用說還可能涉及重罪行為。
接著，接力棒交到了 Anthropic 手中；該公司員工開始公開辯論這些技術導致人類滅絕的確切機率。他們以一種詭異的冷靜談論這一切，彷彿其工作走向災難帶有某種虛無主義式的必然性。
在輿論環境被適度鋪墊之後，這場宣傳攻勢來到最高潮：Anthropic 執行長 Dario Amodei 發表了一封題為〈我們必須為前沿發展調整步調〉的公開信。他在信中逐一列舉了自家研究可能造成的各種危害，然而，他非但沒有道歉或承諾停止，反而得出結論：唯有「以正確的方式打造這項技術」，才能避免災難。至於這代表什麼？不出所料，就是由政府拖慢潛在競爭者，讓這些實驗室得以帶頭推進相關技術。OpenAI 執行長 Sam Altman 很快便發文表示支持這項「英勇」的計畫。
在內部，這些實驗室長期以來一直信奉這種救世主式思維，將自己塑造成對抗超智慧 AI 神格化力量的人類唯一希望。今年夏天的這一連串行動，正是他們試圖讓其他人也接受這套長年信奉的意識形態。
但它沒有奏效。
這不但沒有激勵大眾起立為這些工程師的英雄式理性主義鼓掌，反而讓我們開始追問：「那些實驗室裡到底在搞什麼鬼？」
為此，上週四，我在《紐約時報》發表了一篇評論文章，呼籲國會展開公開的事實調查，以查明 OpenAI 與 Anthropic 到底在做哪些研究計畫、怎麼做，以及目的為何。
我建議這項質詢應聚焦三個關鍵面向：
- 我們必須跳脫對「AI」的模糊討論，轉而辨識究竟是哪些特定類型的系統正在製造問題。前沿實驗室希望我們相信，AI 是一項沿著不可避免且固定路徑發展的單一技術。實際上，近幾個月的大多數問題，都源自一小部分欠缺謹慎的實驗，而這些實驗都由前沿實驗室主導。它們必須說明為何要進行這些實驗。
- 我們必須檢視這些研究工作所採行的內部安全程序。OpenAI 揭露，其自主代理曾發動一連串未經授權的駭侵行動。為什麼在第一起事件曝光後，這類實驗沒有立即停止？既然他們明知所運行的系統很可能犯罪，為何不追究其刑事責任？
- 我們必須調查末日論式未來主義意識形態，如何影響前沿實驗室對研究方向與推進速度的決策。我愈來愈擔心，尤其是 OpenAI 與 Anthropic，正因相信在「拯救人類」的競賽中，附帶損害可以被合理化，而變得日益魯莽。（若想進一步了解這些信念及其與實驗室的關聯，可參閱《紐約時報》近幾週刊出的這篇、這篇與這篇。）
我最後總結道：「我們不能再讓少數行為與言論愈發反常的私人企業，決定我們應該如何看待 AI。他們想說的，我們已經聽過了；現在該由國會代表我們介入，查明究竟發生了什麼事。」
Hacker News 網友反應
截至查閱時，該討論串獲得 287 點、105 則留言。整體意見並非一面倒，而是圍繞「應監管哪些具體行為」、「誰該負責」以及「安全隔離是否可行」展開：[1]
- 應聚焦具體系統與連接方式，而非籠統談 AI：不少留言認同作者應區分造成問題的特定代理系統。模型本身只是運算，真正的風險往往來自它被授予哪些工具、權限與外部系統存取能力。
- 責任不應被推給代理：有網友主張，若公司運行的代理未經授權入侵他人系統，公司與部署者就應承擔與一般程式操作者相同的法律責任，不能以「是代理做的」卸責；也有人建議對利用 AI 從事違法行為加重處罰。
- 代理型 AI 更像企業組織：一則受到關注的觀點認為，多代理系統與追求目標、由多個部門協作的公司相似，因此 AI 監管最後可能與企業治理、限制公司權力及執行既有法律密不可分。
- 隔離與最小權限：有人質疑為何高風險代理沒有在無網路的隔離環境中運行；另一派則指出，能接觸網路與工具正是代理產生經濟價值的關鍵。較務實的折衷方案，是為特定領域建立受限工具、專用 DSL 與最小必要權限，而不是給予自由的命令列與網路存取。
- 對文章論點也有保留：部分留言認為，實驗室可能刻意放大甚至「製造」安全事件，以獲得宣傳、推動有利於既有巨頭的監管並鞏固市場；因此調查不只應問它們在做什麼，也應檢視其公關動機與遊說利益。
- 對全面禁止的可行性意見分歧：有人支持禁止危險訓練資料、AI 伴侶、遞迴式自我改進等用途；也有人認為技術已經普及，全面禁止代理連接外部系統缺乏政治與執行上的可行性，應改以結果責任與高風險用途為監管重點。
- 生物風險的判斷不一：有留言將生物恐怖攻擊視為最嚴重的末日風險，也有人反駁，製造並散播足以消滅人類的病毒，面臨重大的生物學與實務限制，不應把推測當成既定事實。
我的看法
這些發表 AI 毀滅論的人，似乎覺得他們可以限制其他國家也跟著他們暫緩腳步。我想，他們可能要等到中國直接超越美國，才會知道自己錯了。