在 64GB 記憶體、零 GPU 的機器上，跑 284B 的 DeepSeek-V4-Flash：提示詞預填 44.4 tok/s，解碼約 9 到 15 tok/s。代價是把模型壓到平均 1.71 位元——而這正是 Hacker News 180 則留言吵最兇的地方：2 位元以下的品質，到底還剩多少可用。
本文整理自 llama-modchip 專案（v2.4.0，Apache-2.0，2026 年 10 月底建庫，抓取時星數約 559）與 HN 討論串（402 分、180 則留言）。
它是什麼
llama-modchip 是一組 ggml／llama.cpp 核心修補、量化轉碼器與執行期工具，目標只有一個：讓稀疏混合專家（MoE）檢查點完全跑在系統記憶體裡，不需要顯示卡。支援 x86_64（AVX-512／AVX2）與 ARM64（NEON／SVE／Apple Metal）。
做法有三根支柱。第一，把 DeepSeek-V4-Flash 從常見的 76.87 GiB 壓到 56.56 GiB，256K 上下文的常駐記憶體約 57.6 GiB，剛好塞進 64GB Linux 機器的可用記憶體，不需交換分割區。第二，換掉提示詞預填期的單欄位向量迴圈，用暫存器加四級快取的多欄排程，預填從 25 tok/s 拉到 44.36 tok/s。第三，用一個只有 1.64MB 的 n-gram 起草器做自我推測解碼，搭配 /dev/shm 快照讓 agent 上下文在約十幾毫秒內還原。
核心資料：兩個檢查點
| 檢查點 | 總參數／活躍參數 | 硬碟大小 | 有效位寬 | 解碼速度（16 核 Zen 5 純 CPU） |
|---|---|---|---|---|
| DeepSeek-V4-Flash-0731-Fractal | 284.33B／13.17B | 56.56 GiB | 1.71 | 約 9.1 解碼，推測解碼上看 14.7 tok/s |
| Nemotron-3.5-30B-A3B-Fractal-64 | 30.2B／3.0B | 14.35 GiB | 3.75 | 25 tok/s，推測解碼 60.4 tok/s |
| Nemotron-3.5-30B-A3B-MXFP4 | 30.2B／3.0B | 15.95 GiB | 4.25 | 26.1 tok/s |
嵌入層、共享專家與注意力關鍵張量保留在 4 位元以上，只有冷路由專家壓到 1 到 2 位元；28 層之後的 Top-5、可選 Top-4 剪枝是執行期開關，預設全開無損。Fractal 系列用的是自訂張量格式，未修補的 llama.cpp、Ollama 會直接拒收。
怎麼驗證
專案把驗證做成指令：./modchip bench 跑 30 秒兩段速測印出可分享記分卡，./modchip eval 跑 100 分品質、工具呼叫與長文尋針閘。docs/ 下有三份深掘指南，paper/ 有預印本，社群用 GitHub Issue 回報記分卡，排行榜上有 Threadripper、M4 Max、AWS Graviton3 等實測。
網友討論整理
統計列：分數 402、留言 live 180 則（含已刪）、頂層 34 個（可讀 28 則），抓取時間 2026 年 11 月 9 日。
量化是唯一的變數，卻也是最含糊的一塊
@armcat 提供全串最常被引用的技術錨點：量化對效能的影響是非線性的，尺寸效能比的高峰落在 4 位元，再往下效能明顯衰退。@Youden 補充適用範圍：那篇論文排除量化感知訓練，極端量化下趨勢可能不同。@adrian17 直接對數字開刀：README 說從 76.87 GiB 縮到 56.56 GiB，又說標準 IQ2_XXS 是 76.87 GiB，但 Unsloth 的 IQ2_XXS 實際是 91GB、最小的 IQ1_S 也有 82.5GB，「這些數字到底指哪個模型」。@aappleby 實測 Nemotron 表現幾乎和原生 llama.cpp 一樣，且安裝腳本裡根本沒有 DeepSeek 選項。
大模型低量化，還是小模型高量化
@julianlam 轉述 localLLaMA 的體感：大模型低量化仍然勝過小模型高量化。@madduci 與 @edf13 反對：低於 4 到 5 位元的東西品質堪憂。這條沒有結論，因為沒人拿出同一組基準測試對照。
花 800 美元，買一年前的 SOTA
@kennywinker 把整件事換算成熟悉的語言：多執行緒 E5 工作站加 300 美元記憶體、100 美元顯示卡，就能跑出破百 tok/s 的預填與約 20 tok/s 輸出，再加一張 500 美元顯示卡「從勉強可用變成令人愉悅」。不到 800 美元，就有接近一年前最強模型的表現。
但 84 則回覆的大串把這筆帳拆開了。@Aurornis 認為拿 API 計價（每天上百美元）算 3 到 6 天回本是錯的類比：20 美元月費訂閱基本無限用 Haiku 等級，且本地跑的是 IQ3_S，實測比 4 到 6 位元明顯降級。@dghlsakjg 拿帳單說話：30 天 3.54 億 token 只付 2.91 美元，agent 任務快取命中九成以上，用量突發的場景本地機器根本划不來。@kennywinker 退守：比的是接近一年前的水準，且重點是隱私、不被斷供、不用資助想自動化掉你工作的大型實驗室。
速度：能跑跟好用是兩回事
@antirez 有 128GB 統一記憶體，預填約 300 tok/s，認為寫程式代理可以接受。@Aurornis 同意能跑、但不認為快：甜蜜點是丟著跑到隔天的長時間任務。@kgeist 的實測最狠：43 個 token 的翻譯花了 116 秒，同樣工作在顯示卡上只要幾秒。
README 的可信度也在被告席
@superkickstart 希望把 README 裡 AI 生成的表情符號清一清，@epihelix 補刀說拿掉也救不了，整篇機器味太重。llama.cpp 上游 1,700 個待審 PR 的生態瓶頸也被點名：@SillyUsername 認為一堆分支（Bonsai、Strata、Pulsar）證明功能做得出來，只是合不進上游。
一頁懶人包
手機版看不到內嵌頁時，直接開懶人包直連。
譯註
第一，數字爭議未解：基線量化版本與 Unsloth 上架檔案對不上，引用速度前先看 docs 深掘指南的量測條件。第二，品質閘是作者自家基準測試，2 位元的第三方獨立評測目前缺席。第三，原文並非敘述正文，翻譯素材取自 README 與支援矩陣，轉帳流水式的排行榜只收錄代表機型。