四十八個德瑞克

微軟 365 全球大當機:Outlook、Teams 停擺九小時以上,修了又掛

黑暗中發光信封與斷裂光流,象徵微軟365大規模中斷

一句話總結:美東十一月十二日中午後,Exchange Online 後端一批伺服器在健康檢查中離線,引發連鎖過載,Outlook、Teams、SharePoint、Copilot 全球受影響超過九小時,官方修復一度反覆失效。

事件時間軸

時間 事件
美東 11 月 12 日 12 點 30 分 Downdetector 回報數急升,Outlook 開始大量報錯
美東 11 月 12 日 13 點 15 分 峰值,Outlook 單項超過十三萬筆回報,M365 約四萬六千筆
美東 11 月 12 日 12 點 54 分 微軟 365 Status 在 X 發文,承認 Exchange Online 信箱多種連線方式異常,起初稱主要影響美洲
美東 11 月 12 日 13 點 07 分 改口影響可能是全球任意區域,案號 EX1550543、MO1550821
美東 11 月 12 日 18 點前後 官方稱完成全球流量重分配、正在重新啟動受影響伺服器,回報數降到十萬以下
美東 11 月 12 日 18 點到 22 點 部分伺服器回歸又一吃流量就再度無回應,官方改為限流、切換備援路由、拿舊設定重建子集伺服器驗證
美東 11 月 12 日 22 點 15 分 官方承認變更不如預期,正在找替代方案擴充容量
GMT 11 月 14 日 3 點 30 分 Exchange 仍是重災區,Teams 聊天與會議影響較小,整體仍標示 degraded,Downdetector 還有兩萬五千筆以上

台灣體感時間是十一月十三日凌晨兩點起,MSN、Outlook、M365 登入異常,起床直接遇到。

影響範圍

受影響服務包括 Exchange Online、Microsoft Teams、SharePoint Online、Microsoft Copilot 365、Microsoft Defender XDR,連帶 Word、Excel、PowerPoint Online、OneDrive、Microsoft Store。狀態頁本身一度打不開,管理中心也受波及。

地域上七十四國有回報,不只美洲。企業端最痛的是信件與行事曆:人資面試與新人報到邀請可能靜默失敗。醫療體系有公開案例,愛荷華大學醫療體系信件與語音信箱全掛,改請病患走 MyChart。OpenAI 與 Anthropic 的 Microsoft 365 connector 也同步故障,郵件、行事曆、搜尋工具大量失敗,新連結建不起來。

微軟說了什麼

重點整理官方說法:

專家觀點:RMIT 副教授 Mark Gregory 認為這是網路層設定問題,類似二零二三年澳洲 Optus 斷網。池子縮水後使用者擠向少數機器,過載後跟著倒,形成連鎖反應。解法是部署前先在測試環境驗設定,企業端要有備援信箱。

社群反應

對照與提醒

HN 八百則討論:八個交鋒點

同一事件在 Hacker News 開出主串(story 50471731),分數九百四十四,留言八百一十一則,

全樹抓取八百零九則(差兩筆為已刪)。以下為討論整理,抓取時間十一月十三日晚間。

一、伺服器不是被打掛,是被自家健康檢查判死

官方時間軸很清楚:負載升高不是流量變多,而是大批伺服器意外不可用。

七點五十二分(UTC)確認自動健康檢查失敗把伺服器踢出服務,剩餘機器被轉移負載壓垮。

九點零二分驗證替代檢查法讓部分伺服器回歸,但回歸的機器一吃流量又再度無回應。

美東晚間十點更新直接承認處置未帶來預期緩解,凌晨一點定位到負責安全連線的處理程序過載。

網友 @mattmcknight 提出重連風暴假說:安全連線握手變貴、客戶端同時重連搶握手,

觸發因素拿掉後斷線自己維持自己,@srinidhin 補上學名,稱為元穩定故障(metastable failure)。

網友 @dbvn 戳破矛盾:如果伺服器沒有回應,那這個變更就沒有效。

二、狀態頁跟著服務一起倒

網友 @tony69 的批評被反覆呼應:狀態頁唯一的用途就是服務掛掉時給人看,

結果它自己撐不住那波高負載。那差不多就是設置狀態頁的唯一理由。

網友 @dbvn 補刀:誰會把狀態頁放在狀態本身要描述的那些伺服器上。

實測有人回報狀態頁載入十六 MB 的 JavaScript,花兩分鐘才打開。

整串靠 @EvanAnderson 與 @beowulfey 用 RSS 訂閱把官方更新逐條轉貼,充當人工新聞台。

三、自架 Exchange 的客戶被拖下水

網友 @k_sze 回報 Outlook 桌面版連不上自架郵件伺服器。

網友 @OnceMoreUntoThe 攤開十幾年協定史:新 Outlook 存取舊伺服器靠 IMAP 硬繞經 outlook.com 代理,

代理一掛,自以為自架的客戶跟著全斷。有人貼出實碼:SMTP 回四二一併行上限爆掉、

四五一暫時錯誤,Gmail 端要重試二十四小時才退信,信是卡在半空中。

對照最刺的是網友 @semiquaver:被微軟施壓搬上雲的客戶全掛,自管 Exchange 的今天照常收信。

四、前員工拆解:Exchange 是化石,Teams 沒事是架構不同

自稱二零一九到二零二四年在 M365 安全團隊的 @AbbeFaria 說:郵件是巨型單體服務,

牽動數百個服務與數百個團隊,任一延遲就釀成重大事故。Exchange 是 .NET Framework 老古董,

五年幾乎沒變,沒人懂端到端全貌。Teams 是 .NET Core 加獨立發版管線,程式碼現代得多。

這解釋了災情分布:Exchange 相依的服務全滅,行事曆、會議邀請、Copilot for Outlook 全滅,

Teams 通話基本活著,連搜尋同事都得走 Exchange API,跟著爛掉。

五、裁員、AI、品管三重歸因戰

一方指向離岸外包、vibe寫碼、砍掉最資深工程師與歐洲支援拆光。

另一方拿數字反駁:二零二一到二零二六員工人數反增百分之二十三,變的是人均產出加六成。

自願優退被誤傳為裁員四分之一,實際開給約四分之一的人、預期接受率一到兩成,

縮編約百分之二點五到五,CFO 口徑是百分之三以下。

軟體品質下滑論引出 LLM 論戰:一方說相關性太高不可能是巧合,

另一方折衷,AI 擅長事後診斷,但設計防級聯故障,正是 AI 的弱項,

大模型產配置碼最常翻車的就是基礎設施。

六、重開機治標不治本

官方更新出現重開機字眼,網友 @ArcHound 說如果這招有效,我們這行完了。

做過飛機系統的人回,重開機本來就是標準解法,問題是這麼晚的時間軸還在靠重開機。

防級聯故障的正解是限制爆炸半徑,有人點名這正是 Azure 不擅長的。

服務等級的 9 則早就跌破,有人算已經往百分之九十九點九去了。

七、監測方法論大戰

Downdetector 顯示一堆服務全倒,被批評是調查不是偵測器:

Outlook 十三萬回報旁邊 Gmail 誤報一千筆,圖表 Y 軸各自獨立,畫出來看起來一樣慘。

思科員工現身推薦自家 ThousandEyes 真實遙測,結果自家狀態頁也被流量打掛。

最酸的是微軟自家 Azure 狀態儀表板,嚴謹到下週都不會顯示今天這場。

八、災情與黑色幽默

一點五萬人員工企業斷線八小時,兩萬人機構半夜靠簡訊聯絡,

十二小時還不知道根本原因。非科技大企業連桌面版 Office 都打不開,

因為授權伺服器也掛了。有人慶幸沒把小辦公室搬上雲,有人說一週就被忘記。

電視名嘴已在說是中國幹的,被嗆是 Reddit 級推測。

正反分歧

面向 一方 另一方
是否外力攻擊 特定流量異常、零日漏洞、GitHub 前例,疑似新型態攻擊 實測 Azure 正常,談健康檢查修法像自動化壞掉,不像被打
自架還是上雲 新生態下自架是幻覺,掛掉拖累整排產業 自管 Exchange 今天照常收信,微軟管得再好也是單點
裁員與 AI 是否為禍首 掏空加糊碼加砍資深,今日就是預演 員工人數反增,Azure 的亂早於 AI

視覺懶人包(一頁看懂級聯故障鏈與八個交鋒點):

手機版直接開:https://static.blog.derekhsu.net/m365-outage-hn.html

來源

本文為摘要整理,資料與引文以原文為準。狀態仍在變化,最新以微軟 365 Status 與服務健康狀態頁為準。

Exit mobile version