Timestral:Mistral 首個時間序列基礎模型,209M 參數三榜第一

Mistral 發表時間序列基礎模型 Timestral,209M 參數三榜第一,CPU 可跑。官方全文翻譯加 HN 88 則留言整理,含 Modified MIT 授權爭議。

Mistral 上週發表 Timestral,首個時間序列基礎模型家族。最大只有 209M 參數,GIFT-Eval、TIME、fev-bench 三個公開基準全拿第一,CPU 就跑得動。HN 討論串 569 分,留言吵成兩派:一方說幾個月工期變幾分鐘,另一方說單序列 XGBoost 至今沒輸過。下面是官方發表全文翻譯,加上網友反應整理。

官方發表全文翻譯

原文:Mistral,2026年10月15日,譯自 https://mistral.ai/news/timestral/

摘要

Timestral 是 Mistral 首個時間序列基礎模型家族,僅用 209M 參數就交出最先進的機率式多變數預測,在關鍵基準上超越更大的模型,並支援過去與未來共變數。全家族共四種尺寸(5M 到 209M 參數),兼顧準確度與效率,可在 CPU 上高效運行,在各領域的零樣本預測表現出色。模型結合合成資料預訓練、共變數感知注意力與長上下文學習,並可透過 Mistral Forge 微調以適配特定領域。

發布

今天,我們發布 Timestral,我們首個時間序列基礎模型家族。我們最大的模型僅有 209M 參數,在該領域三個主流公開基準 GIFT-Eval、TIME 與 fev-bench 上全部拿下第一,僅用前代最佳模型三分之二的參數量就超越其表現。

Timestral 提供機率式多變數預測,並支援僅過去與已知未來共變數。整個模型家族落在預測準確度與模型規模的帕累托前沿上,每個尺寸都是同級最佳。相關結果已提交至 GIFT-Eval 與 TIME 排行榜。

時間序列基礎模型

企業手上的資料,時間序列佔了最大宗,從感測器遙測到可觀測性指標都有。基於它做出的預測,驅動著產能規劃、能源、供應鏈、風險與維修等決策。

工業廠房會對照生產排程預測製程感測器數值,在設備漂移故障前提早發現,並跨數千項資產規劃產能與備品。金融團隊則預測資金流、交易量與波動率,為數千個帳戶的部位、避險與資金調度提供依據。

ARIMA、線性迴歸等傳統模型仍是預測時間序列的成熟工具,但這類模型通常是對單一序列擬合,只從該序列自身的歷史中學習。

PatchTST 等深度學習模型多了從多個相關序列中學習非線性模式的能力,但通常仍需在每個資料集上從頭訓練,學到的東西無法遷移到新領域。

時間序列基礎模型把預訓練方法帶進時間序列領域。在龐大而多樣的語料上訓練後,模型學到的模式可以跨序列遷移,即使是從未見過的資料、資料稀缺的領域,也能直接做零樣本預測。

基準測試結果

我們在三個主流公開預測基準 GIFT-Eval、TIME、fev-bench 上評估 Timestral。在預訓練零樣本模型中,它在全部五個指標上都排名第一。這些結果來自單一 checkpoint,未做集成。

註:原文此處有三張排行榜圖表。圖說大意:GIFT-Eval 在 83 個可比項目中取前十名,數值越低越好;TIME 在 35 個項目中取前十名,兩個指標都是越低越好;fev-bench 在 37 個項目中取前十名,按 SQL skill score 排名,越高越好。

四種尺寸

Timestral 最佳化為四個模型組成的家族:5M、28M、123M、209M 參數。越大預測效果越好,越小越快越便宜。四者共用相同架構與訓練流程,每個尺寸都落在準確度與模型規模的帕累托前沿上:同等規模下,沒有任何公開模型的預測比它更好。

註:原文此處為分數與模型規模對照圖。28M 模型在 GIFT-Eval 與 TIME 上打敗約大四倍的 Chronos-2;209M 模型以更少參數打敗 TimesFM-3 與 Falcon-2.0。

Timestral 推論不需要 GPU。在 8 執行緒的標準伺服器 CPU 上,以三週的 15 分鐘級歷史資料預測未來一天,5M 模型耗時 10 毫秒,209M 模型耗時 140 毫秒。小模型用些許準確度換速度:28M 模型比 209M 快五倍,123M 模型的延遲只有四分之三,分數卻落在 209M 的 0.2% 以內。

工業實例

以一座有數千個感測器的工業廠房為例,Timestral 可以從幾個方面改善這類資料的預測:

  • 多變數預測。幫浦的振動、溫度、壓力不是獨立變動的,一個量上升往往能解釋或導致另一個量的變化。Timestral 把相關序列聯合建模,直接利用這些相依關係,而不是把每個感測器孤立預測。
  • 機率式預測。單一預測值未必能呈現全貌。Timestral 預測完整分位數集合,團隊可以看到不確定性有多寬,據此設定反映不確定性的告警閾值,圍繞風險而非單一數字來規劃維修。
  • 類別型共變數。有些共變數取值自類別集合而非連續數字,例如星期幾、機器狀態(運轉、閒置、維修中)。把它們編碼成數字會強加原本不存在的順序或尺度。Timestral 直接接受類別型輸入來改善預測。
  • 已知未來共變數。感測器行為背後,有些驅動因子事先就知道:生產排程、計畫性停機、天氣預報。Timestral 可以條件化於這些因子來提升預測品質,讓排定的負載增加成為預期之內,而非意外警報。

Timestral 是純數值模型,可跑在既有監控管線內,也可與語言模型配對,組成多模態 agent 工作流。在廠房裡,看起來可能是這樣:Timestral 對全廠感測器串流持續運行,即時偵測異常;當它在一台幫浦上標出異常,agent 把訊號嵌入,與歷史感測器資料的嵌入比對,找出類似的歷史故障;agent 再啟動子 agent 做根因分析,援引維修紀錄、值班日誌、設備手冊、歷史工單;最後起草建議診斷,附上佐證與可能的後續步驟。廠房經理拿到的不再只是一則警報,而是有感測器資料背書的診斷與計畫。

關鍵技術貢獻

以下幾個想法共同造就了這些結果,細節會在技術報告中說明:

  • 解耦視界預測(Decoupled Horizon Forecasting,DHF)。Toto 2.0、TimesFM-3 這類因果解碼器用連續區塊遮罩訓練,被遮掉的待預測值看起來像缺失值,也就無法再作為後續預測的上下文。DHF 把兩者分開:完整歷史保留在序列中,預測 token 另外學出來,只讀取它前方歷史。每個觀測值因此同時充當目標與上下文,真正的缺口仍標記為缺失,訓練視界長度與缺失資料增強也可以彼此獨立調校。
  • 共變數感知注意力。每條輸入序列被賦予一個角色:目標變數、僅過去共變數或已知未來共變數。已知未來共變數在整個視窗可見,目標保持因果遮罩,資訊只從共變數流向目標。Timestral 因此能利用節假日曆、天氣預報,而不把目標自身的未來洩漏進預測。
  • 合成資料優先。訓練資料多數是合成的。先生成具連貫時間動態的單變數過程,含趨勢、季節性與多樣雜訊模式,再用多變數合成器在這些過程間引入非線性相依,構造多變數序列。
  • 兩階段訓練。先在大規模純合成資料上預訓練,上下文長度 8192,再在真實加合成混合資料上後訓練,上下文拉長四倍。目標函數是 21 個分位數上的 pinball loss,即 CRPS 的離散近似。

適配與下一步

公開基準衡量的是通用表現,但生產資料的行為與結構可能大不相同,還會隨時間漂移。長期的價值在於能把模型適配到領域內資料,並隨分佈移動持續重訓。想更進一步的組織,可透過 Mistral Forge 使用 Timestral,支援開箱即用的零樣本推論、架構擴充、在自有資料上微調、掌控訓練資料。整條管線可部署在客戶硬體上,含氣隙環境。

官方已發布 GitHub 倉庫,完整結果的技術報告隨後會發布。

HN 網友反應整理

討論串 569 分,88 則有效留言。立場對照如下:

陣營 立場 代表說法
效率派 叫好 幾個月工期變幾分鐘,開源權重
規模派 叫好 1 萬到 40 萬條序列下,逐條建模不現實
外部資訊派 質疑 真實預測力來自節假日、天氣與價格等外部資訊
實戰派 質疑 單序列 XGBoost 至今未被打敗
方法論派 質疑 高雜訊下誰都像最強,應附 naive baseline
可觀測派 質疑 純黑箱給不出系統方程式

最長的辯論串,來自有音訊與視覺 ML 背景的 joefourier:電價預測只給歷史點,一定輸給知道時段、假日、天氣、天然氣價格的簡單系統;已知未來共變數應該是整個系統的基礎,而不是改善品質的條件。另一邊,能源零售商現身說法手上有 1 萬多條序列,有人每 30 分鐘要跑 40 萬條,這種規模下逐條建模根本不現實。

授權條款也吵成一團。Timestral 用的是修改版 MIT:公司全球月營收超過 2000 萬美元就失去授權。有人批評掛 MIT 之名誤導,有人覺得用到年收 2 億美元前免費已經很慷慨。條文我對過 Hugging Face 上的官方 LICENSE 檔,確實是這樣寫的。

另外,官方基準圖把 0.03 級的分數差距畫得像 5 倍差,方法論派提醒:高雜訊過程下任何模型都像最強,凍結預測快照、加上 naive baseline 再談超越才有意義。技術報告還沒發,第三方驗證也還沒有,這些數字先當廠商自測看。

懶人包一頁速覽

手機版可直接開備援連結:https://derek-static.pages.dev/timestral-guide.html

出處

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *