Perplexity Decider v1.3:通用決策模型的訓練、評測與內部用法

Perplexity 釋出 Decider v1.3 與 Flash v1.3:通用決策模型的新訓練配方、評測數字、內部用法,以及 HN 實務派討論整理。

Perplexity 釋出 Decider v1.3 與 Decider Flash v1.3,兩者都是通用決策模型,前者完整,後者是由前者蒸餾而來的小模型。兩份權重都以 Apache 授權在 Hugging Face 公開,也可以經 OpenRouter 與 Perplexity Decisions API 取用。這篇文章整理官方部落格的訓練方法、評測數字與內部用法,後半收錄 HN 討論。

決策模型是什麼

決策模型是通用分類器。輸入一段內容與一組問題,每題回傳答案的機率分布,應用端再拿機率做分類、路由、排序與評分。它支援三種題型:是非題、多選題、評分等級。

典型用途有五種:評判生成結果的品質與安全性、依難度把請求路由給不同大小的模型、審核有害內容與釣魚攻擊、過濾與標註大量資料、對檢索結果重排。過去這類任務多由大型語言模型處理,但它們不需要自由生成文字。決策模型介於大型語言模型與專用分類器之間:單次前向傳遞回答同一輸入的多個問題,計算在問題之間共用;同時保留自然語言提示的彈性,換任務不必重訓。

生成式模型如何變成決策模型

請求由共用脈絡與多個問題組成,脈絡由所有問題共用。舉例:給定一份文件與其摘要,單一請求可同時問摘要是否忠實、以及它寫給專家還是一般讀者。每個問題附選項,對應代碼 A、B、C,特殊 <|marker|> 標記預測讀出點。可學習的線性輸出層,把該點的隱藏狀態映射為選項分數,再轉成機率。輸出層由基座模型初始化,只保留選項代碼對應的列,其餘捨去。這套做法涵蓋所有分類問題,因為分類都能表成選擇題。

訓練資料來自數百個公開資料集,橫跨情感、語意蘊含、意圖偵測、實體匹配、審核、事實查核、評分等多種任務,統一轉成相同問答格式。目標可以是單一正確選項,也可以是機率分布。

locate:新增擷取功能

v1.3 新增 locate,從脈絡抽出文字,而非從選項挑答案。locate 問題描述要找什麼,可以是短標籤,也可以是完整指令。模型回傳原文完全一致的片段,附起始與結束字元位置,找不到就回空串列。分類、評分與擷取可併在同一個請求,例如同時判斷職缺是否要資深年資、並抽出技能需求。

實作上新增特殊 <|locate|> 標記、跨度頭與低秩 adapter。跨度頭以標記的表示與脈絡表示打分,決定片段起訖與配對,並預測每個欄位的篩選閾值。訓練用改寫版 InfoNCE 損失,把正確片段推過閾值、把錯誤片段壓在閾值下。訓練只動新嵌入、跨度頭與 adapter,骨幹與決策頭凍結。合併 adapter 會傷分類表現,目前做法是 adapter 不合併,只在 locate 請求啟用。

雙向注意力:兩種讀法

基座來自強大的生成式預訓練模型,其因果注意力只看自己與前文。消融證實全注意力層改雙向有助益,v1.3 全面採用,讓每個 token 吸收整份輸入。

脈絡與問題如何互動,團隊比較三種模式。第一種是 v1.2 的全相連:脈絡與所有問題一起做雙向注意力,計算共用,但多問一題,舊答案可能改變。第二種是 v1.3 採用的隔離問題:脈絡看全部問題,每題只看脈絡與自己,問題經由共用脈絡間接影響彼此,答案更穩定。第三種是全可快取:脈絡完全獨立,問題可重用快取,預設不用,因為多項任務需要脈絡看見問題。

訓練三階段與蒸餾

兩個尺寸都走三階段。先練大模型,基座為 Qwen3.8-27B。第一階段通用訓練,全參數微調,只收跨任務有助益的資料,排除基準測試訓練集。第二階段低秩微調,補特定領域資料,合併時加權控制漂移。第三階段視覺專項,同樣以低秩處理,文字指標優先。

每階段取三個隨機種子權重平均,有助穩健。大模型定版後,再以同樣三階段練小模型,基座為 Qwen3.5-4B。大模型當老師,以 KL 散度學預測分布,泛化優於交叉熵。團隊假設是蒸餾把老師對非正解選項的信心一併轉移,而交叉熵容易對基準訓練分布過擬合。另做去污染,移除可能與評測重疊的訓練樣本,並做偏差稽核。

評測數字一覽

外部評測採用三個公開榜:Hugging Face 決策指數、Vals AI 的 ClaimBench、Artificial Analysis 決策指數。官方提醒這些榜含私有任務,仍可用重複送榜調參刷分,因此另建內部套件:200 項以上任務,涵蓋分類、評分、重排、擷取,全部零樣本,不做任務微調。

評測 Decider v1.3 對照
查詢分類 63 任務 準確率 91.6% 生產基線低 6.54 個百分點
七領域分類 七域全領先 金融勝 Jev 12.9,法律勝 9.3
檢索重排 72 任務 nDCG@10 83.99 勝 Qwen3-Reranker-8B 1.81
BEIR 領先 8.78 Flash 版領先 7.05
八語言分類 均值 88.16% Jev 85.41%,Flash 86.50%
擷取 17 任務 均值 69.0 Liquid 43.3,Clairic 41.5
圖像五任務 均值 76.99% 勝 Jev 1.47
百萬真實請求 一致率 93.98% Jev 93.35%,v1.2 93.68%
同批成本 26.47 美元 Jev 68.10,GLM 312.21
標籤穩健性 翻轉率 0.27% Jev 2.69% 至 4.84%

查詢分類以生產分類器為基線,Flash 版同樣超越基線。領域評測的例子包括判斷程式時間複雜度、以年報判斷不受限現金能否覆蓋一年內到期債務。多語言涵蓋德、西、法、義、俄、日、韓、中八種語言,共 19 個任務。擷取評測含命名實體、個資、抽取式問答、結構化抽取,對照組有 GLiNER large v2.5、Liquid d1、Cloudflare Clairic,Decider 兩版本三類全勝。成本以同一百萬生產請求計,Decider 本地跑,Jev 走 OpenRouter,GLM 與 DeepSeek 走大型語言模型介面,官方註明硬體成本口徑不一、無對齊延遲比較。

Perplexity 內部三種用法

第一種是自修安防規則。智慧體活動全記錄,再以規則即時監控。離線時 Decider 複查日誌:規則沒攔的,看是否有漏網;規則攔下的,看是否誤報。兩種失誤都送智慧體擬修補,由安防人員核准。一天讀 10 億 token、7000 個 session,提出 14 項修正,6 項兩天內上線,最忙規則的量降 52%,放寬的規則,多抓約 4 成該審查的行為。

第二種是監控強化學習 rollout。終端獎勵說不清一次嘗試為何成敗:工具壞了會連累分數,評測漏看虛構內容會灌水分數。Decider 把可疑片段挑出,以多選題診斷歸因,例如失敗來自工具服務、外部網站、沙盒、框架,還是智慧體自己的程式碼。同一片段的多題併成一個請求,存機率不存 verdict,閾值日後可調。監控只觀察診斷,不改獎勵、不停 rollout。

第三種是頁面品質過濾。爬蟲同時判斷資訊量、受眾、有害內容與個資,同一前向傳遞回答多題,比大型語言模型評判更快更便宜。

外部同樣適用三種:視覺品檢,以截圖抓排版破損與誤導圖表;瀏覽器導航,逐步回報頁面狀態與操作後果;研究任務規劃,搜尋前先估問題複雜度,簡單問題少花資源。

上手建議

官方建議依容錯選模型:判斷錯誤代價高、規則細,選 v1.3;高吞吐標註、過濾、路由,延遲與成本優先,選 Flash。兩版都先在自家代表性樣本評一輪,再定規格。閾值請以自家小型標註開發集調校,不要假設固定 cutoff 通吃,因為標籤分布與誤判代價因任務而異。

譯註

原文為 Perplexity 官方部落格,2026 年 11 月 12 日發布,介紹 Decider v1.3 與 Flash v1.3。Decider 的設計靈感,來自 TypeSafe AI 的 Jev,HN 另有同 URL 的低分重複串,本文以主串為準。數字為原文發表時的值,成本比較的硬體口徑見上節說明。

HN 討論整理

主串 99 分、21 則留言、8 個頂層,抓取時間 2026 年 11 月 14 日,全樹 21 則全數檢視。整體氣氛是實務派小串:各自回報基準與用量,夾兩場路線爭辯。

實測回饋分歧

  • senjin:Decider 是他最喜歡的決策模型,但這版在個人基準退步,決策指數的排名也支持這個看法,該考慮更高排名的模型。
  • stri8ted:本地基準表現好,價格具競爭力。時機正好,Inception Labs 的 Mercury API 要收,他本來在用那套。雙向注意力對決策模型有幫助,這點合理。
  • 兩人一退一進,對照官方「七域全領先」,提醒榜單排名與個人 workload 可以不同調。

Flash 版本有無必要

  • waximabbax:不太理解為何決策模型還要分 Flash。決策模型的本意就是高速處理高吞吐,旗艦同時最快又最準不合常理,但再切一級是否多餘。
  • deepsquirrelnet:回以快與準的取捨看情境,簡單任務 17M 參數的自然語言推論模型可快上幾個數量級,智慧當然較弱。
  • declanjackson:難度、風險容忍在決策任務仍有分布,高吞吐下仍值得在智慧、成本、速度、校準之間取捨。
  • 官方立場站在 declanjackson 那側:v1.3 管精細判斷,Flash 管高吞吐。

基準文化缺席,評測去哪看

  • jstummbillig:決策模型似乎沒有像大型語言模型那樣的基準競爭文化,好模型去哪找。
  • walls:推薦 Jev 決策指數,實測準確。
  • viccis:希望補上跑榜成本、成本對準確度分析。
  • declanjackson(自註在 Artificial Analysis 工作):推薦自家指數,含每任務成本、耗時、準確率、校準。
  • 官方正文恰好回應這題:公開榜可刷分,另建 200 項以上內部零樣本套件。

locate 有對照組

  • nchmy:因本文去挖了各家決策與擷取模型,locate 在 Cloudflare Clairic 與 ScaleDown Extract 有對等功能。個人 workload 上 ScaleDown 又便宜又準,最 impressed。
  • 對照官方數字:擷取 17 任務 Decider 均值 69.0,Liquid 43.3,Clairic 41.5。留言的體感與榜單同向,但勝負看自家 workload。

安防用途的懷疑

  • k__:真有人拿這類東西做安防嗎。
  • waximabbax:高度懷疑,即使內部用也不會公開講。看好的情境是即時內容審核與串流,推理模型太慢、硬編碼規則寫不完。
  • quinndupont:安防沒聽說,但文字探勘好用。
  • 對照官方第一個內部用法正是安防規則自修:一天 10 億 token,14 項修正。留言的懷疑,和官方的現身說法形成對比。

創意質疑與兔子洞

  • redanddead:批評領域缺乏創意,新品只是把容易複現的技術包成自家版本,Google 的決策介面亦然。agentdev001 回以市場卡位不等於原創宣告,jgalt212 與 adrianvi 補充雲上統一開關與報帳的現實考量。
  • 0o777:把原文當兔子洞入口,另挖 PII 追蹤與本地優先智慧體兩篇官方部落格。

視覺懶人包

手機版若看不到內嵌頁面,可開直連:https://static.blog.derekhsu.net/perplexity-decider-hn.html

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *