DeepInfer 是什麼
DeepInfer 是支撐 DeepSeek 大規模線上服務的高效能推論框架，這次開源釋出離線推論版本，包含大規模服務所需的核心功能。支援模型目前只有一個：DeepSeek-V4.1-Flash。硬體支援 NVIDIA SM100 GPU 與昇騰 950 NPU。
這次開源在 Hacker News 上拿到 2115 分、826 則留言，是近期模型基建類討論中最熱的一串。下面先給 README 全文翻譯，再整理網友反應，最後附一頁式懶人包。
README 全文翻譯
原文：https://github.com/deepseek-ai/DeepInfer，授權 Apache-2.0。
支援功能
- 最佳化核心（kernel）、模型與取樣器執行環境
- 平行化：Attention DP、均衡式 CP，MoE EP 加 EPLB
- DSpark 與信心度排程驗證
- SWA 有界重播
- 非同步排程（零開銷批次排程器）
- 批次不變推論
- 確定性取樣
- 結構化輸出
功能細節與設定
- 最佳化核心：包含 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect，以及自研 TileLang kernels。
- DSpark 與信心度排程驗證：用草稿 token 加速解碼，以信心度估計安排驗證時機。設定
DEEPINFER_ENABLE_MTP_VARLEN=1開啟；DEEPINFER_USE_NEXTN_DECODE控制最大草稿長度（預設為 5）。 - 解碼器 SWA 有界重播：只重播一段有限長度的後綴，減少解碼器預填的工作量。V4.1 預設設定為
DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact與DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140；保留的後綴必須涵蓋 SWA 視窗加上最大回溯長度。 - 非同步排程：讓 CPU 端的批次排程與裝置端執行重疊進行，預設開啟。
- 批次不變推論：不同批次組合下，模型結果保持一致。以
DEEPINFER_BATCH_INVARIANT=1開啟（僅限 NVIDIA）。 - 確定性取樣：相同輸入 token 與相同取樣參數，產生完全相同的輸出。設定
DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0，並對SamplingParams傳入固定的seq_seed（僅限 NVIDIA）。 - 結構化輸出：可將生成結果約束為正規表示式、JSON Schema 或 EBNF 文法。對
SamplingParams傳入so_args={"schema_type": ..., "schema": ...}。
本次未包含的部分
完整推論服務還需要、但這次沒給的東西：
- KV 快取系統
- VE、Prefill、Decode 分離式架構（所需引擎功能多半已實作）
- 針對預填與解碼，在資料平行副本之間的負載平衡
上手
前置需求：Linux、GCC 13.0 以上、Python 3.12、CUDA 13（僅 NVIDIA）、CANN 9.2（僅昇騰）。
# 昇騰平台改用 ascend，執行 DeepInfer 的環境都要保留這個變數
export DEEPINFER_ACCELERATOR=nvidia
./build.sh
離線推論：預設檢查點 deepseek-ai/DeepSeek-V4.1-Flash-1017 會在首次執行時下載到 Hugging Face 快取；要用本地副本，設定 DEEPINFER_HF_MODEL_DIR 即可。
python examples/offline_inference.py
效能測試在 4 張 SM100（預填）與 64 張（解碼）上量測，各自在同一個 scale-up 域內。致謝 vLLM、SGLang 與 TensorRT-LLM。
網友反應整理
結論先行：推論能賺錢是共識，整體是否賺錢不是共識；開源被多數人讀成打擊美國前沿實驗室估值的價格戰；技術上最多人點名缺 KV 快取系統；實務派已經用腳投票轉向 Flash。
每卡每小時 38 美元：營收還是利潤
全串最大戰場。同意推論有毛利的人很多，但對 38 美元是否含折舊與利用率，分成兩派。一方拿攤提硬算：擁有整座 GPU 資料中心的攤提成本遠低於 38 美元，電費相對卡價微不足道。另一方咬住營收是虛榮、利潤才是理智：閒置利用率、夜間離峰、免費與訂閱戶都會吃掉毛利。
- 「把冷冰冰的數字攤開來真讓人耳目一新。」—— abound
- 「把訓練成本拿掉再談推論獲利是沒有意義的。」—— HarHarVeryFunny
- 「一張三萬美元 GPU 跑三年，吃約二萬六千度電，不到卡價一成。」—— HarHarVeryFunny
商品化已定，前沿只剩小眾
非前沿智慧是商品，前沿智慧是高毛利奢侈品；高研發成本攤給更少使用者是死亡螺旋。多數企業要的只是實習生等級模型，轉換成本近零，只選夠用最便宜。反方則說最後一成智慧回報非線性，喊夠好兩年了，前二家營收照樣漲數十倍。
為何開源：神風、算力約束、副業三種讀法
神風派說這是對美國前沿實驗室的戰略破壞；算力約束派說 GPU 全拿去訓練，只好讓歐美第三方幫忙託管推理；副業派說對沖基金背景讓人不計較賺錢，定錨全中國跟進免費開源。
缺 KV 快取，昇騰是關鍵
「特別值得注意的是，他們的 KV 快取系統缺席了。」—— _aavaa_。理論方法有寫，程式碼才是缺的那塊。而支援昇騰 950 被視為撼動輝達鎖定的關鍵一步。
實務派轉向 Flash
「本月把 Claude Max 退掉改用 DeepSeek API，又快又夠用、幾乎不拒答。」—— VonLuderitz。另一位網友說八成日常寫碼已搬到 Flash，「以現行 token 價形同免費，但他們會拿資料訓練。」
一頁式懶人包
手機版可直接開備援連結：https://derek-static.pages.dev/deepinfer-pack.html