微軟 365 全球大當機:Outlook、Teams 停擺九小時以上,修了又掛

Exchange Online 健康檢查失效引發連鎖過載,Outlook 峰值十三萬回報,全球七十四國受影響,修復反覆失效。

一句話總結:美東十一月十二日中午後,Exchange Online 後端一批伺服器在健康檢查中離線,引發連鎖過載,Outlook、Teams、SharePoint、Copilot 全球受影響超過九小時,官方修復一度反覆失效。

事件時間軸

時間 事件
美東 11 月 12 日 12 點 30 分 Downdetector 回報數急升,Outlook 開始大量報錯
美東 11 月 12 日 13 點 15 分 峰值,Outlook 單項超過十三萬筆回報,M365 約四萬六千筆
美東 11 月 12 日 12 點 54 分 微軟 365 Status 在 X 發文,承認 Exchange Online 信箱多種連線方式異常,起初稱主要影響美洲
美東 11 月 12 日 13 點 07 分 改口影響可能是全球任意區域,案號 EX1550543、MO1550821
美東 11 月 12 日 18 點前後 官方稱完成全球流量重分配、正在重新啟動受影響伺服器,回報數降到十萬以下
美東 11 月 12 日 18 點到 22 點 部分伺服器回歸又一吃流量就再度無回應,官方改為限流、切換備援路由、拿舊設定重建子集伺服器驗證
美東 11 月 12 日 22 點 15 分 官方承認變更不如預期,正在找替代方案擴充容量
GMT 11 月 14 日 3 點 30 分 Exchange 仍是重災區,Teams 聊天與會議影響較小,整體仍標示 degraded,Downdetector 還有兩萬五千筆以上

台灣體感時間是十一月十三日凌晨兩點起,MSN、Outlook、M365 登入異常,起床直接遇到。

影響範圍

受影響服務包括 Exchange Online、Microsoft Teams、SharePoint Online、Microsoft Copilot 365、Microsoft Defender XDR,連帶 Word、Excel、PowerPoint Online、OneDrive、Microsoft Store。狀態頁本身一度打不開,管理中心也受波及。

地域上七十四國有回報,不只美洲。企業端最痛的是信件與行事曆:人資面試與新人報到邀請可能靜默失敗。醫療體系有公開案例,愛荷華大學醫療體系信件與語音信箱全掛,改請病患走 MyChart。OpenAI 與 Anthropic 的 Microsoft 365 connector 也同步故障,郵件、行事曆、搜尋工具大量失敗,新連結建不起來。

微軟說了什麼

重點整理官方說法:

  • 不是流量暴增,是可用伺服器池突然縮水,剩下機器被壓垮
  • 故障伺服器是在自動化健康檢查中失敗被移出,懷疑是負責處理健康檢查的特定元件出問題
  • 近期小批次設定更新列為嫌疑對象,已暫停所有部署與設定變更逐一比對
  • 修復手段是換健康檢查方式、重啟、限流、切換備援路由、拿舊設定重建驗證
  • 高層出面:Copilot 執行副總裁 Charles Lamanna 在 X 發文道歉,重申目前沒有跡象顯示是惡意或網路攻擊所致

專家觀點:RMIT 副教授 Mark Gregory 認為這是網路層設定問題,類似二零二三年澳洲 Optus 斷網。池子縮水後使用者擠向少數機器,過載後跟著倒,形成連鎖反應。解法是部署前先在測試環境驗設定,企業端要有備援信箱。

社群反應

  • Reddit r Outlook 把這次叫成年版放雪假,有人發文感謝當機讓過勞的自己休息,公司直接放辦公室的人回家等信件恢復
  • Teams 反而變成梗:不少人說唯一希望永遠掛掉的就是 Teams
  • 品牌帳號跟上:Wendy 在 X 回文開酸,大英百科全書發文,說紙本百科永遠不當機
  • 使用者追問最直接,把英文原文翻成白話:到底有沒有被駭,官方只說目前沒有跡象
  • 港台網友回報 Teams 在台灣已可傳訊但登入要等,Outlook 仍顯示無法連線

對照與提醒

  • 去年七月十九到二十一小時,今年八月六十七小時,今年八月三十一日也是 Exchange Online 認證設定問題。這次是今年第三起大型 M365 故障,上個月 Azure 也掛過一次
  • 企業端建議:面試與報到改用電話或直接聯繫,不要假設邀請有寄到。個人端建議:把聯絡人匯出成 CSV,平常留一個 Gmail 備援

HN 八百則討論:八個交鋒點

同一事件在 Hacker News 開出主串(story 50471731),分數九百四十四,留言八百一十一則,

全樹抓取八百零九則(差兩筆為已刪)。以下為討論整理,抓取時間十一月十三日晚間。

一、伺服器不是被打掛,是被自家健康檢查判死

官方時間軸很清楚:負載升高不是流量變多,而是大批伺服器意外不可用。

七點五十二分(UTC)確認自動健康檢查失敗把伺服器踢出服務,剩餘機器被轉移負載壓垮。

九點零二分驗證替代檢查法讓部分伺服器回歸,但回歸的機器一吃流量又再度無回應。

美東晚間十點更新直接承認處置未帶來預期緩解,凌晨一點定位到負責安全連線的處理程序過載。

網友 @mattmcknight 提出重連風暴假說:安全連線握手變貴、客戶端同時重連搶握手,

觸發因素拿掉後斷線自己維持自己,@srinidhin 補上學名,稱為元穩定故障(metastable failure)。

網友 @dbvn 戳破矛盾:如果伺服器沒有回應,那這個變更就沒有效。

二、狀態頁跟著服務一起倒

網友 @tony69 的批評被反覆呼應:狀態頁唯一的用途就是服務掛掉時給人看,

結果它自己撐不住那波高負載。那差不多就是設置狀態頁的唯一理由。

網友 @dbvn 補刀:誰會把狀態頁放在狀態本身要描述的那些伺服器上。

實測有人回報狀態頁載入十六 MB 的 JavaScript,花兩分鐘才打開。

整串靠 @EvanAnderson 與 @beowulfey 用 RSS 訂閱把官方更新逐條轉貼,充當人工新聞台。

三、自架 Exchange 的客戶被拖下水

網友 @k_sze 回報 Outlook 桌面版連不上自架郵件伺服器。

網友 @OnceMoreUntoThe 攤開十幾年協定史:新 Outlook 存取舊伺服器靠 IMAP 硬繞經 outlook.com 代理,

代理一掛,自以為自架的客戶跟著全斷。有人貼出實碼:SMTP 回四二一併行上限爆掉、

四五一暫時錯誤,Gmail 端要重試二十四小時才退信,信是卡在半空中。

對照最刺的是網友 @semiquaver:被微軟施壓搬上雲的客戶全掛,自管 Exchange 的今天照常收信。

四、前員工拆解:Exchange 是化石,Teams 沒事是架構不同

自稱二零一九到二零二四年在 M365 安全團隊的 @AbbeFaria 說:郵件是巨型單體服務,

牽動數百個服務與數百個團隊,任一延遲就釀成重大事故。Exchange 是 .NET Framework 老古董,

五年幾乎沒變,沒人懂端到端全貌。Teams 是 .NET Core 加獨立發版管線,程式碼現代得多。

這解釋了災情分布:Exchange 相依的服務全滅,行事曆、會議邀請、Copilot for Outlook 全滅,

Teams 通話基本活著,連搜尋同事都得走 Exchange API,跟著爛掉。

五、裁員、AI、品管三重歸因戰

一方指向離岸外包、vibe寫碼、砍掉最資深工程師與歐洲支援拆光。

另一方拿數字反駁:二零二一到二零二六員工人數反增百分之二十三,變的是人均產出加六成。

自願優退被誤傳為裁員四分之一,實際開給約四分之一的人、預期接受率一到兩成,

縮編約百分之二點五到五,CFO 口徑是百分之三以下。

軟體品質下滑論引出 LLM 論戰:一方說相關性太高不可能是巧合,

另一方折衷,AI 擅長事後診斷,但設計防級聯故障,正是 AI 的弱項,

大模型產配置碼最常翻車的就是基礎設施。

六、重開機治標不治本

官方更新出現重開機字眼,網友 @ArcHound 說如果這招有效,我們這行完了。

做過飛機系統的人回,重開機本來就是標準解法,問題是這麼晚的時間軸還在靠重開機。

防級聯故障的正解是限制爆炸半徑,有人點名這正是 Azure 不擅長的。

服務等級的 9 則早就跌破,有人算已經往百分之九十九點九去了。

七、監測方法論大戰

Downdetector 顯示一堆服務全倒,被批評是調查不是偵測器:

Outlook 十三萬回報旁邊 Gmail 誤報一千筆,圖表 Y 軸各自獨立,畫出來看起來一樣慘。

思科員工現身推薦自家 ThousandEyes 真實遙測,結果自家狀態頁也被流量打掛。

最酸的是微軟自家 Azure 狀態儀表板,嚴謹到下週都不會顯示今天這場。

八、災情與黑色幽默

一點五萬人員工企業斷線八小時,兩萬人機構半夜靠簡訊聯絡,

十二小時還不知道根本原因。非科技大企業連桌面版 Office 都打不開,

因為授權伺服器也掛了。有人慶幸沒把小辦公室搬上雲,有人說一週就被忘記。

電視名嘴已在說是中國幹的,被嗆是 Reddit 級推測。

正反分歧

面向 一方 另一方
是否外力攻擊 特定流量異常、零日漏洞、GitHub 前例,疑似新型態攻擊 實測 Azure 正常,談健康檢查修法像自動化壞掉,不像被打
自架還是上雲 新生態下自架是幻覺,掛掉拖累整排產業 自管 Exchange 今天照常收信,微軟管得再好也是單點
裁員與 AI 是否為禍首 掏空加糊碼加砍資深,今日就是預演 員工人數反增,Azure 的亂早於 AI

視覺懶人包(一頁看懂級聯故障鏈與八個交鋒點):

手機版直接開:https://static.blog.derekhsu.net/m365-outage-hn.html

來源

  • Guardian:Microsoft struggles to fix huge outage affecting Outlook and Teams
  • Tom Guide:Outlook, Microsoft 365, Teams and more down live updates
  • Mashable:Is Outlook down, users report Microsoft outage
  • CNET:Is Microsoft Outlook Down, what we know now
  • Hacker News 討論串:Service degradation on Microsoft 365(821 則留言整理見上節)— https://news.ycombinator.com/item?id=50471731

本文為摘要整理,資料與引文以原文為準。狀態仍在變化,最新以微軟 365 Status 與服務健康狀態頁為準。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *