生成式 AI 數學基礎小書:195 頁從 PCA 走到能量模型

陳天華 195 頁免費小書串起生成式 AI 數學主線,HN 321 分熱議,附章節導讀與留言整理。

作者是哈德斯菲爾德大學 (University of Huddersfield) 的陳天華 (Tianhua Chen)。書名是《生成式 AI 基礎小書:直觀數學入門》(The Little Book of Generative AI Foundations: An Intuitive Mathematical Primer)。全書 195 頁,免費取用。它把生成式 AI 的數學主線收在一起:從 PCA、機率式 PCA、變分自編碼器、擴散模型,一路寫到正規化流、自迴歸分解、GAN 與能量模型。

論文頁: https://arxiv.org/abs/2605.29713 (v2,2026 年 9 月 8 日修訂,新增全書視覺解說)

全書路線圖

排序依數學展開的自然順序,不依歷史年代。後面的想法疊在前面的想法上,讓讀者看見潛變數、變分目標、擴散過程、分數場、精確密度、對抗學習與能量模型彼此如何相連。

章 主題 關鍵概念
第一章 線性代數:PCA 到自編碼器 投影、特徵值、重建、潛結構
第二章 機率式 PCA 書中第一個潛變數生成模型
第三章 變分生成:ELBO 到 VAE 證據下界、EM 演算法、變分推斷
第四章 擴散模型 DDPM(離散時間) 序列潛變數、去噪
第五章 連續時間微積分基礎 布朗運動、隨機微分方程
第六章 分數式生成與連續擴散 分數場、反向隨機動態
第七章 精確密度:流與自迴歸 可逆變換、機率鏈式法則
第八章 超越似然:GAN 與能量模型 對抗比較、Wasserstein 距離、能量地景

寫作原則

  • 數學工具用到才引進:線性代數、機率、微積分、高斯代數塞進建模敘事,不另開長篇預備章。
  • 推導比總覽多:逐步拆解目標函數,直覺與數學連在一起,不寫黑箱食譜。
  • 範圍小而深:前沿讀者可能覺得熟,但書把背後的數學邏輯寫明白。
  • 作者歡迎指正,未來可能正式出版。

網友討論整理

本書在 Hacker News 拿下 321 分、50 則留言(2026 年 11 月 4 日抓取,全樹完整覆蓋)。幾個有意思的討論方向:

同類小書比較:有人最愛弗勒雷 (Fleuret) 的深度學習小書,認為那本適合打底,本書則是給 Transformer 之後世代的。不過也有人細看後指出,本書其實更偏擴散模型,Transformer 著墨不多。(prideout、joe_the_user、wh306)

習題書單:有人問有沒有帶習題的深度學習書,回覆開出一串書單:王子 (Prince) 的書配程式習題,畢曉普 (Bishop) 的理論習題最均衡,另有 Calin、Petersen、Dive into Deep Learning (d2l.ai),刷題可用 deep-ml.com。(nblgbg、Valk3_、vismit2000)

符號論戰:第一頁么正基底向量的寫法被嫌沒解釋清楚,引出主動變換與被動變換之辨。一位數學家回得好:忘記不常用的數學很正常,現在要補一句話就能查到。(nh23423fefe、KolenCh、mkl)

實務派用法:有人把這類書整批丟進 RAG 知識庫,當 agent 的嚴謹參考資料,8GB 白皮書收藏意外成焦點,還有人追問用的是哪套 RAG 工具。(minimaxa、cheesewhistle)

注意力機制延伸閱讀:想專攻注意力機制,留言推薦 3Blue1Brown 的影片與《Formal Algorithms for Transformers》。(amplifydev、horseloverthin)

視覺懶人包

手機看不到內嵌頁時,直接開:https://static.blog.derekhsu.net/genai-foundations-primer.html

延伸閱讀

  • 另一本口碑書:安納薩瓦米 (Ananthaswamy) 的《Why Machines Learn》,線代不熟者更溫柔。(hasteg 推薦)
  • 注意力機制:Formal Algorithms for Transformers(arXiv 2207.09238)
  • 同作者弗勒雷小書:https://fleuret.org/francois/lbdl.html

出處

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *