Claude Code 團隊的驗證哲學:讓 agent 拿證據驗自己的工作

Claude Code 團隊九成程式碼由 Claude 寫加審:端到端、屬性、差異三種測試,verify skill 與 REVIEW.md 守門,HN 205 則討論正反全收。

艾迪奧斯馬尼(Addy Osmani)在 11 月 16 日寫了 Claude Code 團隊怎麼想驗證。背景數字很驚人:團隊約九成程式碼由 Claude 撰寫並審查。這個規模下,驗證迴圈是唯一能平行跑幾十個、上百個 agent 的方法——沒有它,一次只能跑一兩個,因為每件事都要人自己檢查。

內部測試給了一個具體數字:結構化檔案生成任務裡,另設評分者按 rubric 檢查,比標準 prompting 迴圈成功率高達 10 個百分點,最難的題目進步最大。

三種值得投資的測試

奧斯馬尼認為最值得投資的三種:

  • 端到端測試:只能選一種就選它。描述真實使用者流程,難騙,done 標準明確,壞在哪裡講得具體。單元測試快又穩,但全過功能照樣能壞。
  • 屬性測試:寫下一句絕不會破的敘述,用函式庫生幾千個輸入試圖證偽。掃人類常漏的邊界,專治規格與產線行為脫鉤後的重寫。
  • 差異測試:新舊系統餵相同輸入比對輸出,舊系統當 oracle。大規模遷移的主力,記得把無關差異正規化。

團隊內部怎麼做

做法清單很具體:各 repo 建 verify skill 當 smoke test harness;失敗訊號決定什麼需要人,三輪修不好停手;code owner 寫自己的檢查;39 條 reliability 清單讀 diff 只查命中的 3 到 10 條;REVIEW.md 只取 base 分支那份,改動碰不到自己的檢查;新 gate 先 observe,連擋兩次第三次放行;miss 寫成規則(至少兩個 PR 出現、三個 agent 試證偽),定期修剪。

HN 討論:205 則,火藥味最重的一串

這篇在 HN 拿到 262 分、205 則留言,是當日火藥味最重的一串。批評分三層:

  • 成本派:這是無限 token 才寫得出來的流程,Playwright 等確定性工具同品質、邊際成本近零。有人自陳月燒 2000 美元,反串一片。
  • 方法論派:magic box 驗 magic box是無限遞迴;隨機過程只能由確定性過程驗證;測試會跟 bug 站同一邊,綠燈不代表做對題目。
  • 實務與嘲諷派:也有人說驗證 skill 徹底改變信任度,只是代價是時間與錢;另一邊拿 16k open issues 與產品可靠度開刀。

最值得收的一句反例:有人讓 agent 寫功能加測試,測試全綠、功能是錯的。另一句也值得記:問題常不是程式對不對,是 agent 理解題目了沒。

視覺懶人包直連版

原文:How the Claude Code team thinks about verification(Addy Osmani,2026-11-16);HN 主串 score 262、留言 205 則,抓取時間 2026-11-19。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *