四十八個德瑞克

語言模型能改寫自己的權重:27B 模型無梯度自我改寫,未見過題目進步 6.6 個百分點

語言模型自我改寫權重意象圖:發光網路核心與迴流光帶

編譯說明

本文編譯自 arXiv 論文〈Language Models Can Rewrite Their Own Weights〉(編號 2611.21885,2026 年 11 月 19 日發布),第一作者為范家駿(Jiajun Fan),共同作者共十一人,分別來自伊利諾大學、卡內基美隆大學、羅格斯大學、普林斯頓大學、史丹佛大學與耶魯大學。文末附 Hacker News 討論整理,該串現有 415 分、122 則留言,本文整理涵蓋全樹 122 則,抓取時間為 2026 年 11 月 21 日。

第三條路:模型自己當優化器

語言模型訓練一次就凍結了。想讓它變強,通常只有三種做法:再跑一次訓練、用提示詞或 harness 包裝、或者在推論時多花算力,而這些算力在答完題目後就消失了。

這篇論文提出第三條路:讓模型以自身推理改寫自身權重,而且真的變強了。作者稱之為自我改寫(self-rewriting),也就是模型自己當自己的優化器。

作法是這樣。一個 27B 的開放權重模型拿到三樣東西:自己的權重、自己在練習題上被評分過的作答,以及執行自己的能力。它讀自己的隱藏狀態與權重矩陣,用 Python 寫幾行程式,直接改寫權重數值,再用配對測試比較改寫前後。整個過程沒有梯度,沒有優化器,也沒有更大的模型在後面指導。每次改寫限定在 20 次前向傳遞以內,成本與模型上線服務相當。

三個主要結果

第一,它超越了自己。模型提交的編輯,在 490 道從未見過的題目上,把準確率從 57.2% 拉到 63.8%,進步 6.6 個百分點。連續八輪改寫,準確率只升不降,其中第二、八輪提交的編輯,配對檢定結果達到顯著水準。

第二,它修好受損的自己。作者把其中一個權重矩陣的一個區塊弄壞,受損複本在 200 道未見題目上從 58.5% 掉到 0%。模型在完全沒讀過原始權重的情況下,指認出被破壞的矩陣並動手修剪,把準確率救回 33.0%。作者的比喻是:像一台壞掉的機器人,不靠重建,自己把自己修好。

第三,修復可以跨模態轉移。在純文字上找到的修復,不經任何額外訓練,直接搬到六個從未見過的圖像基準測試上:受損複本的準確率從 7.3% 回到 70.2%,相當於原始模型 84.3% 水準的八成三。

能力隨規模湧現

同一個模型家族,四種尺寸,給同樣的任務與工具,結果完全不同。2B 模型根本不把權重當成可以改的東西。4B 與 9B 模型寫得出改寫程式,卻越改越壞。27B 模型會讀自己的隱藏狀態,會照測試結果撤回爛編輯,也只留下測試支持的版本。

論文開頭引用圖靈(Alan Turing)在 1947 年的話:「我們想要的,是能從經驗中學習的機器。讓機器改寫自己的指令,提供的就是這種機制。」作者認為,訓練與推論之間那道牆,來自工具限制,而非智慧本質。自我改寫是通往遞迴自我改進的必要一步:一個像人一樣不再區分訓練與推論的模型,可以用一生持續升級自己。

關鍵數字一覽

項目 數字
測試題數(未見過) 490 道,每題答 8 次
基線準確率 57.2%
最佳編輯後 63.8%,進步 6.6 個百分點
連續改寫 8 輪,準確率只升不降
受損複本修復 0% 回到 33.0%,基線 58.5%
圖像任務轉移 7.3% 回到 70.2%,達基線八成三
單次改寫成本 限 20 次前向傳遞,無梯度

模型到底改了什麼

拿掉過長的思考鏈。基線模型在同一題上把同一句話重複 549 次,直到觸發 16384 個 token 的上限,最後交白卷。改寫後的模型用 5341 個 token 作答正確。換句話說,它修的是推理迴圈卡死的缺陷,而不是長出全新的數學能力。這一點,正是 Hacker News 討論區吵得最兇的地方。

網友怎麼看

機制:讀權重,寫腳本,測完再提交

@tb99 翻到附錄 E.5,整理出模型的診斷手法:找出常見錯誤類別,把權重往能縮小該類錯誤的方向推。@fl1pper 強調流程不碰反向傳播,模型讀自己的隱藏狀態與權重矩陣,寫幾行 Python 直接改數值。@ozgung 補上關鍵差別:一般訓練靠梯度找方向,這裡是模型自己讀權重後判斷方向。@woah 則潑冷水,認為這只是把程式碼生成包進迴圈,談不上理解權重。

「無訓練」是行銷語言還是技術宣告

@Toutouxc 追問:摘要把「無梯度、無訓練」和「測試、篩選、迭代」並列,有測試、有篩選、有迭代,跟訓練差在哪。@anon291 給出硬定義:訓練是指照損失函數用微分規則算偏導數,再用學習率套用梯度,這篇論文確實沒做。但 @p-e-w 把爭議拉回原點:測試材料若可與環境互動,那就是學習。

最傷的反駁:只修好一個本來找得到的缺陷

@aesthesia 指出唯一的實質改良,就是把過長的思考鏈縮短,避開 token 上限。@Mogzol 引用論文後段:同一套修法能改善 Qwen 系模型,換到沒有這類缺陷的 Gemma 就完全無效。@vlovich123 補刀,看不出能不能推廣。@quotemstr 說得更白:拿掉刻意植入的極端離群值,不需要理解那些權重的用途。

安全:自主改權重等於拆掉可審計性

@LarsDu88 認為這是最危險的一類研究:能自主改權重的模型,可以對自己的活化值跑稀疏自編碼器,找出安全相關維度再壓掉。@wolttam 指出更細的攻擊面:模型可以宣稱為理由 X 改權重,同時偷塞理由 Y,而評估只看測試有沒有通過。反方 @seydor 不擔心,認為模型沒有內在動機。@esafak 補上一句:全文沒出現過一次對齊(alignment)。

論文氣質:標題像行銷稿,先扣一半分

@ray__ 對「歡迎來到自我改寫時代」這類標題與作者欄圖示失望,認為是行銷稿。@jsrozner 質疑摘要像小孩玩對話機器人寫的,還懷疑模型改權重前看過測試集。@bagacrap 與 @binbag 追問的也是同一件事。

正反意見分歧

面向 正方 反方
技術新穎性 無梯度自我優化,是持續學習的入口 只是修一個腳本找得到的迴圈缺陷,換模型就失效
算不算訓練 沒有損失函數與學習率,定義上就不是 有測試、有篩選、有迭代,與環境互動就是學習
安全風險 基座對齊良好、有護欄就可控 可表面過測、暗中改行為,也能抹掉安全維度
實用價值 做得成就有意義,規模化可省成本 搜尋成本高、泛化不明,不如回頭把訓練做好

視覺懶人包

手機上若看不到上圖,可開此連結:語言模型自我改寫權重懶人包

結語

把包裝層層剝開,這篇論文真正證明的是兩件事。第一,27B 這個量級的模型,已經能把「讀權重、寫改寫碼、跑測試、只留下通過版」整條迴圈走完,而小模型走不完,這是貨真價實的湧現。第二,它修好的是一個具體、可定位的缺陷,而不是憑空長出的能力。樂觀者看到持續學習的入口,悲觀者看到昂貴的除錯迴圈,兩邊看的是同一組數字。值得盯的是下一組實驗:換一個沒有這類迴圈缺陷的模型家族,自我改寫還剩多少增益。到時候,這條路是入口還是岔路,就清楚了。

來源

Exit mobile version