四十八個德瑞克

Perplexity Decider v1.3:通用決策模型的訓練、評測與內部用法

深藍底發光幾何核心與光流插畫,Perplexity Decider v1.3 文章封面

Perplexity 釋出 Decider v1.3 與 Decider Flash v1.3,兩者都是通用決策模型,前者完整,後者是由前者蒸餾而來的小模型。兩份權重都以 Apache 授權在 Hugging Face 公開,也可以經 OpenRouter 與 Perplexity Decisions API 取用。這篇文章整理官方部落格的訓練方法、評測數字與內部用法,後半收錄 HN 討論。

決策模型是什麼

決策模型是通用分類器。輸入一段內容與一組問題,每題回傳答案的機率分布,應用端再拿機率做分類、路由、排序與評分。它支援三種題型:是非題、多選題、評分等級。

典型用途有五種:評判生成結果的品質與安全性、依難度把請求路由給不同大小的模型、審核有害內容與釣魚攻擊、過濾與標註大量資料、對檢索結果重排。過去這類任務多由大型語言模型處理,但它們不需要自由生成文字。決策模型介於大型語言模型與專用分類器之間:單次前向傳遞回答同一輸入的多個問題,計算在問題之間共用;同時保留自然語言提示的彈性,換任務不必重訓。

生成式模型如何變成決策模型

請求由共用脈絡與多個問題組成,脈絡由所有問題共用。舉例:給定一份文件與其摘要,單一請求可同時問摘要是否忠實、以及它寫給專家還是一般讀者。每個問題附選項,對應代碼 A、B、C,特殊 <|marker|> 標記預測讀出點。可學習的線性輸出層,把該點的隱藏狀態映射為選項分數,再轉成機率。輸出層由基座模型初始化,只保留選項代碼對應的列,其餘捨去。這套做法涵蓋所有分類問題,因為分類都能表成選擇題。

訓練資料來自數百個公開資料集,橫跨情感、語意蘊含、意圖偵測、實體匹配、審核、事實查核、評分等多種任務,統一轉成相同問答格式。目標可以是單一正確選項,也可以是機率分布。

locate:新增擷取功能

v1.3 新增 locate,從脈絡抽出文字,而非從選項挑答案。locate 問題描述要找什麼,可以是短標籤,也可以是完整指令。模型回傳原文完全一致的片段,附起始與結束字元位置,找不到就回空串列。分類、評分與擷取可併在同一個請求,例如同時判斷職缺是否要資深年資、並抽出技能需求。

實作上新增特殊 <|locate|> 標記、跨度頭與低秩 adapter。跨度頭以標記的表示與脈絡表示打分,決定片段起訖與配對,並預測每個欄位的篩選閾值。訓練用改寫版 InfoNCE 損失,把正確片段推過閾值、把錯誤片段壓在閾值下。訓練只動新嵌入、跨度頭與 adapter,骨幹與決策頭凍結。合併 adapter 會傷分類表現,目前做法是 adapter 不合併,只在 locate 請求啟用。

雙向注意力:兩種讀法

基座來自強大的生成式預訓練模型,其因果注意力只看自己與前文。消融證實全注意力層改雙向有助益,v1.3 全面採用,讓每個 token 吸收整份輸入。

脈絡與問題如何互動,團隊比較三種模式。第一種是 v1.2 的全相連:脈絡與所有問題一起做雙向注意力,計算共用,但多問一題,舊答案可能改變。第二種是 v1.3 採用的隔離問題:脈絡看全部問題,每題只看脈絡與自己,問題經由共用脈絡間接影響彼此,答案更穩定。第三種是全可快取:脈絡完全獨立,問題可重用快取,預設不用,因為多項任務需要脈絡看見問題。

訓練三階段與蒸餾

兩個尺寸都走三階段。先練大模型,基座為 Qwen3.8-27B。第一階段通用訓練,全參數微調,只收跨任務有助益的資料,排除基準測試訓練集。第二階段低秩微調,補特定領域資料,合併時加權控制漂移。第三階段視覺專項,同樣以低秩處理,文字指標優先。

每階段取三個隨機種子權重平均,有助穩健。大模型定版後,再以同樣三階段練小模型,基座為 Qwen3.5-4B。大模型當老師,以 KL 散度學預測分布,泛化優於交叉熵。團隊假設是蒸餾把老師對非正解選項的信心一併轉移,而交叉熵容易對基準訓練分布過擬合。另做去污染,移除可能與評測重疊的訓練樣本,並做偏差稽核。

評測數字一覽

外部評測採用三個公開榜:Hugging Face 決策指數、Vals AI 的 ClaimBench、Artificial Analysis 決策指數。官方提醒這些榜含私有任務,仍可用重複送榜調參刷分,因此另建內部套件:200 項以上任務,涵蓋分類、評分、重排、擷取,全部零樣本,不做任務微調。

評測 Decider v1.3 對照
查詢分類 63 任務 準確率 91.6% 生產基線低 6.54 個百分點
七領域分類 七域全領先 金融勝 Jev 12.9,法律勝 9.3
檢索重排 72 任務 nDCG@10 83.99 勝 Qwen3-Reranker-8B 1.81
BEIR 領先 8.78 Flash 版領先 7.05
八語言分類 均值 88.16% Jev 85.41%,Flash 86.50%
擷取 17 任務 均值 69.0 Liquid 43.3,Clairic 41.5
圖像五任務 均值 76.99% 勝 Jev 1.47
百萬真實請求 一致率 93.98% Jev 93.35%,v1.2 93.68%
同批成本 26.47 美元 Jev 68.10,GLM 312.21
標籤穩健性 翻轉率 0.27% Jev 2.69% 至 4.84%

查詢分類以生產分類器為基線,Flash 版同樣超越基線。領域評測的例子包括判斷程式時間複雜度、以年報判斷不受限現金能否覆蓋一年內到期債務。多語言涵蓋德、西、法、義、俄、日、韓、中八種語言,共 19 個任務。擷取評測含命名實體、個資、抽取式問答、結構化抽取,對照組有 GLiNER large v2.5、Liquid d1、Cloudflare Clairic,Decider 兩版本三類全勝。成本以同一百萬生產請求計,Decider 本地跑,Jev 走 OpenRouter,GLM 與 DeepSeek 走大型語言模型介面,官方註明硬體成本口徑不一、無對齊延遲比較。

Perplexity 內部三種用法

第一種是自修安防規則。智慧體活動全記錄,再以規則即時監控。離線時 Decider 複查日誌:規則沒攔的,看是否有漏網;規則攔下的,看是否誤報。兩種失誤都送智慧體擬修補,由安防人員核准。一天讀 10 億 token、7000 個 session,提出 14 項修正,6 項兩天內上線,最忙規則的量降 52%,放寬的規則,多抓約 4 成該審查的行為。

第二種是監控強化學習 rollout。終端獎勵說不清一次嘗試為何成敗:工具壞了會連累分數,評測漏看虛構內容會灌水分數。Decider 把可疑片段挑出,以多選題診斷歸因,例如失敗來自工具服務、外部網站、沙盒、框架,還是智慧體自己的程式碼。同一片段的多題併成一個請求,存機率不存 verdict,閾值日後可調。監控只觀察診斷,不改獎勵、不停 rollout。

第三種是頁面品質過濾。爬蟲同時判斷資訊量、受眾、有害內容與個資,同一前向傳遞回答多題,比大型語言模型評判更快更便宜。

外部同樣適用三種:視覺品檢,以截圖抓排版破損與誤導圖表;瀏覽器導航,逐步回報頁面狀態與操作後果;研究任務規劃,搜尋前先估問題複雜度,簡單問題少花資源。

上手建議

官方建議依容錯選模型:判斷錯誤代價高、規則細,選 v1.3;高吞吐標註、過濾、路由,延遲與成本優先,選 Flash。兩版都先在自家代表性樣本評一輪,再定規格。閾值請以自家小型標註開發集調校,不要假設固定 cutoff 通吃,因為標籤分布與誤判代價因任務而異。

譯註

原文為 Perplexity 官方部落格,2026 年 11 月 12 日發布,介紹 Decider v1.3 與 Flash v1.3。Decider 的設計靈感,來自 TypeSafe AI 的 Jev,HN 另有同 URL 的低分重複串,本文以主串為準。數字為原文發表時的值,成本比較的硬體口徑見上節說明。

HN 討論整理

主串 99 分、21 則留言、8 個頂層,抓取時間 2026 年 11 月 14 日,全樹 21 則全數檢視。整體氣氛是實務派小串:各自回報基準與用量,夾兩場路線爭辯。

實測回饋分歧

Flash 版本有無必要

基準文化缺席,評測去哪看

locate 有對照組

安防用途的懷疑

創意質疑與兔子洞

視覺懶人包

手機版若看不到內嵌頁面,可開直連:https://static.blog.derekhsu.net/perplexity-decider-hn.html

Exit mobile version