DeepSeek 開源 DeepInfer：README 全文翻譯與 HN 826 則討論整理

derekhsu

1 天前

DeepInfer 是什麼

DeepInfer 是支撐 DeepSeek 大規模線上服務的高效能推論框架，這次開源釋出離線推論版本，包含大規模服務所需的核心功能。支援模型目前只有一個：DeepSeek-V4.1-Flash。硬體支援 NVIDIA SM100 GPU 與昇騰 950 NPU。

這次開源在 Hacker News 上拿到 2115 分、826 則留言，是近期模型基建類討論中最熱的一串。下面先給 README 全文翻譯，再整理網友反應，最後附一頁式懶人包。

最佳化核心：包含 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect，以及自研 TileLang kernels。
DSpark 與信心度排程驗證：用草稿 token 加速解碼，以信心度估計安排驗證時機。設定 DEEPINFER_ENABLE_MTP_VARLEN=1 開啟；DEEPINFER_USE_NEXTN_DECODE 控制最大草稿長度（預設為 5）。
解碼器 SWA 有界重播：只重播一段有限長度的後綴，減少解碼器預填的工作量。V4.1 預設設定為 DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact 與 DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140；保留的後綴必須涵蓋 SWA 視窗加上最大回溯長度。
非同步排程：讓 CPU 端的批次排程與裝置端執行重疊進行，預設開啟。
批次不變推論：不同批次組合下，模型結果保持一致。以 DEEPINFER_BATCH_INVARIANT=1 開啟（僅限 NVIDIA）。
確定性取樣：相同輸入 token 與相同取樣參數，產生完全相同的輸出。設定 DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0，並對 SamplingParams 傳入固定的 seq_seed（僅限 NVIDIA）。
結構化輸出：可將生成結果約束為正規表示式、JSON Schema 或 EBNF 文法。對 SamplingParams 傳入 so_args={"schema_type": ..., "schema": ...}。

完整推論服務還需要、但這次沒給的東西：

前置需求：Linux、GCC 13.0 以上、Python 3.12、CUDA 13（僅 NVIDIA）、CANN 9.2（僅昇騰）。


# 昇騰平台改用 ascend，執行 DeepInfer 的環境都要保留這個變數
export DEEPINFER_ACCELERATOR=nvidia
./build.sh

離線推論：預設檢查點 deepseek-ai/DeepSeek-V4.1-Flash-1017 會在首次執行時下載到 Hugging Face 快取；要用本地副本，設定 DEEPINFER_HF_MODEL_DIR 即可。


python examples/offline_inference.py

效能測試在 4 張 SM100（預填）與 64 張（解碼）上量測，各自在同一個 scale-up 域內。致謝 vLLM、SGLang 與 TensorRT-LLM。

結論先行：推論能賺錢是共識，整體是否賺錢不是共識；開源被多數人讀成打擊美國前沿實驗室估值的價格戰；技術上最多人點名缺 KV 快取系統；實務派已經用腳投票轉向 Flash。

全串最大戰場。同意推論有毛利的人很多，但對 38 美元是否含折舊與利用率，分成兩派。一方拿攤提硬算：擁有整座 GPU 資料中心的攤提成本遠低於 38 美元，電費相對卡價微不足道。另一方咬住營收是虛榮、利潤才是理智：閒置利用率、夜間離峰、免費與訂閱戶都會吃掉毛利。

非前沿智慧是商品，前沿智慧是高毛利奢侈品；高研發成本攤給更少使用者是死亡螺旋。多數企業要的只是實習生等級模型，轉換成本近零，只選夠用最便宜。反方則說最後一成智慧回報非線性，喊夠好兩年了，前二家營收照樣漲數十倍。

神風派說這是對美國前沿實驗室的戰略破壞；算力約束派說 GPU 全拿去訓練，只好讓歐美第三方幫忙託管推理；副業派說對沖基金背景讓人不計較賺錢，定錨全中國跟進免費開源。

「特別值得注意的是，他們的 KV 快取系統缺席了。」—— _aavaa_。理論方法有寫，程式碼才是缺的那塊。而支援昇騰 950 被視為撼動輝達鎖定的關鍵一步。

「本月把 Claude Max 退掉改用 DeepSeek API，又快又夠用、幾乎不拒答。」—— VonLuderitz。另一位網友說八成日常寫碼已搬到 Flash，「以現行 token 價形同免費，但他們會拿資料訓練。」