四十八個德瑞克

換模型就要換 Harness:FrontierHarness Eval v1.1 的 27,280 次實測

AI agent harness 評測 FrontierHarness v1.1 封面圖

Runta 和 Baseten 聯手做了目前規模最大的 agent harness 排行榜:22 種 harness 組態 × 5 個模型 × 62 個終端任務 × 4 次嘗試,總計 27,280 次 run、830 億 token,是 v1.0 的 76 倍。只想記一句話:換模型的時候,順手把 harness 也換掉。

視覺版懶人包:https://static.blog.derekhsu.net/frontierharness-hn.html

每個模型都有自己的最佳拍檔

評選標準是 cost per pass(每任務平均成本 ÷ 通過率),除非另一個 harness 貴不到三成但通過率高五分以上:

模型 最佳 harness cost per pass 通過率
GLM-5.3 Codex CLI 0.803 美元 57.7%
GLM-5.3-Flash Pi 0.223 美元 58.1%
DeepSeek V4.1 Flash 1017 ZCode 0.222 美元 69.0%
Muse Oh My Pi 1.21 美元 58.9%
Kimi-K3 Alma 1.58 美元 64.1%

全模型平均下來最便宜的是 Codex CLI(0.937 美元),最貴的是 Antigravity CLI(1.63 美元)。前沿/Opareto 線上有四個:OpenCode v2(每任務 0.561 美元,全場最低)、Pi、Codex CLI、ZCode(通過率 61.9%,全場最高)。

成本排名洗牌幅度大到不換不行

模型固定後,最便宜和最貴的 harness 差 1.8 到 5.0 倍。最極端的是 DeepSeek:OpenCode v1 每任務 0.108 美元,Cline CLI 要 0.545 美元,差五倍,通過率還多兩分。變異數拆解:模型本身佔 92.8%,harness 主效應只佔 2.3%,但剩下配對加雜訊的 4.9% 裡,模型固定後有 68% 來自 harness 與模型的搭配。

貴的不等於會過

最高通過率的 harness,成本排名只在第 5 到第 20 之間。四個模型裡最貴的組合,通過率反而低於最便宜的組合。錢花多不會自動換成分數。

成本只跟步數有關

因子 範圍 與 cost per pass 的相關
起始 token 882 到 21,365 +0.01
工具數量 1 到 29 +0.02
快取命中率 87.0% 到 95.7% -0.03
每通過步數 24.8 到 73.5 +0.51

起始 prompt 再小也佔不到總 token 的 1%(一次 trial 平均用掉 200 到 480 萬輸入 token)。mini-SWE-agent 首請求只有 882 token,但平均 38.2 步,成本排第 17。省錢的方法是少走冤枉路,不是砍 prompt。

評測方法

Harbor 評測框架,每個 trial 跑在全新的 Runta runtime,跑完刪除,trial 之間看不到彼此的檔案。全部用 harness 預設設定、max reasoning。計分:通過率是通過除以計分 trial;超時照評分器結果;基建錯誤重跑不計分;作弊(例如上網查答案,共 216 件,其中 163 件是線上查詢)直接判失敗。95% bootstrap 信賴區間約正負 10 分。成本用 Baseten 牌價乘以回報 token,有 208 個 trial 沒有價格。

確定性方面,只有 Codex CLI 配 GLM-5.3 是 99.6% 穩居第一,其他四組都是接近群裡機率最高的那個(25% 到 53%)。

網友怎麼看

這篇在 Hacker News 開串(332 分、114 則留言),討論最熱的不是排行榜本身,而是三個質疑。

第一,標題黨。 投稿標題寫「27,280 次 run 裡 64% 的錢燒在失敗的 run」,被多人指出原文頁標題其實只是 v1.1 介紹。@seizethecheese 說失敗的 run 本來就會燒更多 token,這個數字不意外;@Majromax 補刀說拿步數解釋成本近乎同義反覆。

第二,harness 到底重不重要,兩派對立。 作者 @guanlan(Runta 創辦人)親自回文,立場就是換模型換 harness,同模型 cost per pass 差到 4.4 倍。@andai 引研究支持:同一個 prompt 換個模型可能從加分變扣分。@zodwick 給了具體機制:Codex 的行號格式跟 Claude Code 不一樣。反方 @cpeth 實測說 harness 都是簡單迴圈,他用 Opus 在 Claude Code 和 Copilot 裡幾乎沒差,換模型差異才大。

第三,pass 不等於好用。 @bisonbear 說 agent 會寫出通過測試的笨程式碼,也會寫出沒通過的聰明程式碼,該量的是品質和意圖對齊。@hi_hi 說整篇量了成本和速度,唯獨沒量 intelligence。

作者自己下的免責聲明,反而是整串最誠實的一句:評測跑在自家 runtime 上,解讀時請自行打折。

結論

先選模型,再為它選 harness,預設值直接套用的帳單會教你重排一次。原文:Introducing FrontierHarness Eval v1.1。

Exit mobile version