一句話總結:美東十一月十二日中午後,Exchange Online 後端一批伺服器在健康檢查中離線,引發連鎖過載,Outlook、Teams、SharePoint、Copilot 全球受影響超過九小時,官方修復一度反覆失效。
事件時間軸
| 時間 | 事件 |
|---|---|
| 美東 11 月 12 日 12 點 30 分 | Downdetector 回報數急升,Outlook 開始大量報錯 |
| 美東 11 月 12 日 13 點 15 分 | 峰值,Outlook 單項超過十三萬筆回報,M365 約四萬六千筆 |
| 美東 11 月 12 日 12 點 54 分 | 微軟 365 Status 在 X 發文,承認 Exchange Online 信箱多種連線方式異常,起初稱主要影響美洲 |
| 美東 11 月 12 日 13 點 07 分 | 改口影響可能是全球任意區域,案號 EX1550543、MO1550821 |
| 美東 11 月 12 日 18 點前後 | 官方稱完成全球流量重分配、正在重新啟動受影響伺服器,回報數降到十萬以下 |
| 美東 11 月 12 日 18 點到 22 點 | 部分伺服器回歸又一吃流量就再度無回應,官方改為限流、切換備援路由、拿舊設定重建子集伺服器驗證 |
| 美東 11 月 12 日 22 點 15 分 | 官方承認變更不如預期,正在找替代方案擴充容量 |
| GMT 11 月 14 日 3 點 30 分 | Exchange 仍是重災區,Teams 聊天與會議影響較小,整體仍標示 degraded,Downdetector 還有兩萬五千筆以上 |
台灣體感時間是十一月十三日凌晨兩點起,MSN、Outlook、M365 登入異常,起床直接遇到。
影響範圍
受影響服務包括 Exchange Online、Microsoft Teams、SharePoint Online、Microsoft Copilot 365、Microsoft Defender XDR,連帶 Word、Excel、PowerPoint Online、OneDrive、Microsoft Store。狀態頁本身一度打不開,管理中心也受波及。
地域上七十四國有回報,不只美洲。企業端最痛的是信件與行事曆:人資面試與新人報到邀請可能靜默失敗。醫療體系有公開案例,愛荷華大學醫療體系信件與語音信箱全掛,改請病患走 MyChart。OpenAI 與 Anthropic 的 Microsoft 365 connector 也同步故障,郵件、行事曆、搜尋工具大量失敗,新連結建不起來。
微軟說了什麼
重點整理官方說法:
- 不是流量暴增,是可用伺服器池突然縮水,剩下機器被壓垮
- 故障伺服器是在自動化健康檢查中失敗被移出,懷疑是負責處理健康檢查的特定元件出問題
- 近期小批次設定更新列為嫌疑對象,已暫停所有部署與設定變更逐一比對
- 修復手段是換健康檢查方式、重啟、限流、切換備援路由、拿舊設定重建驗證
- 高層出面:Copilot 執行副總裁 Charles Lamanna 在 X 發文道歉,重申目前沒有跡象顯示是惡意或網路攻擊所致
專家觀點:RMIT 副教授 Mark Gregory 認為這是網路層設定問題,類似二零二三年澳洲 Optus 斷網。池子縮水後使用者擠向少數機器,過載後跟著倒,形成連鎖反應。解法是部署前先在測試環境驗設定,企業端要有備援信箱。
社群反應
- Reddit r Outlook 把這次叫成年版放雪假,有人發文感謝當機讓過勞的自己休息,公司直接放辦公室的人回家等信件恢復
- Teams 反而變成梗:不少人說唯一希望永遠掛掉的就是 Teams
- 品牌帳號跟上:Wendy 在 X 回文開酸,大英百科全書發文,說紙本百科永遠不當機
- 使用者追問最直接,把英文原文翻成白話:到底有沒有被駭,官方只說目前沒有跡象
- 港台網友回報 Teams 在台灣已可傳訊但登入要等,Outlook 仍顯示無法連線
對照與提醒
- 去年七月十九到二十一小時,今年八月六十七小時,今年八月三十一日也是 Exchange Online 認證設定問題。這次是今年第三起大型 M365 故障,上個月 Azure 也掛過一次
- 企業端建議:面試與報到改用電話或直接聯繫,不要假設邀請有寄到。個人端建議:把聯絡人匯出成 CSV,平常留一個 Gmail 備援
HN 八百則討論:八個交鋒點
同一事件在 Hacker News 開出主串(story 50471731),分數九百四十四,留言八百一十一則,
全樹抓取八百零九則(差兩筆為已刪)。以下為討論整理,抓取時間十一月十三日晚間。
一、伺服器不是被打掛,是被自家健康檢查判死
官方時間軸很清楚:負載升高不是流量變多,而是大批伺服器意外不可用。
七點五十二分(UTC)確認自動健康檢查失敗把伺服器踢出服務,剩餘機器被轉移負載壓垮。
九點零二分驗證替代檢查法讓部分伺服器回歸,但回歸的機器一吃流量又再度無回應。
美東晚間十點更新直接承認處置未帶來預期緩解,凌晨一點定位到負責安全連線的處理程序過載。
網友 @mattmcknight 提出重連風暴假說:安全連線握手變貴、客戶端同時重連搶握手,
觸發因素拿掉後斷線自己維持自己,@srinidhin 補上學名,稱為元穩定故障(metastable failure)。
網友 @dbvn 戳破矛盾:如果伺服器沒有回應,那這個變更就沒有效。
二、狀態頁跟著服務一起倒
網友 @tony69 的批評被反覆呼應:狀態頁唯一的用途就是服務掛掉時給人看,
結果它自己撐不住那波高負載。那差不多就是設置狀態頁的唯一理由。
網友 @dbvn 補刀:誰會把狀態頁放在狀態本身要描述的那些伺服器上。
實測有人回報狀態頁載入十六 MB 的 JavaScript,花兩分鐘才打開。
整串靠 @EvanAnderson 與 @beowulfey 用 RSS 訂閱把官方更新逐條轉貼,充當人工新聞台。
三、自架 Exchange 的客戶被拖下水
網友 @k_sze 回報 Outlook 桌面版連不上自架郵件伺服器。
網友 @OnceMoreUntoThe 攤開十幾年協定史:新 Outlook 存取舊伺服器靠 IMAP 硬繞經 outlook.com 代理,
代理一掛,自以為自架的客戶跟著全斷。有人貼出實碼:SMTP 回四二一併行上限爆掉、
四五一暫時錯誤,Gmail 端要重試二十四小時才退信,信是卡在半空中。
對照最刺的是網友 @semiquaver:被微軟施壓搬上雲的客戶全掛,自管 Exchange 的今天照常收信。
四、前員工拆解:Exchange 是化石,Teams 沒事是架構不同
自稱二零一九到二零二四年在 M365 安全團隊的 @AbbeFaria 說:郵件是巨型單體服務,
牽動數百個服務與數百個團隊,任一延遲就釀成重大事故。Exchange 是 .NET Framework 老古董,
五年幾乎沒變,沒人懂端到端全貌。Teams 是 .NET Core 加獨立發版管線,程式碼現代得多。
這解釋了災情分布:Exchange 相依的服務全滅,行事曆、會議邀請、Copilot for Outlook 全滅,
Teams 通話基本活著,連搜尋同事都得走 Exchange API,跟著爛掉。
五、裁員、AI、品管三重歸因戰
一方指向離岸外包、vibe寫碼、砍掉最資深工程師與歐洲支援拆光。
另一方拿數字反駁:二零二一到二零二六員工人數反增百分之二十三,變的是人均產出加六成。
自願優退被誤傳為裁員四分之一,實際開給約四分之一的人、預期接受率一到兩成,
縮編約百分之二點五到五,CFO 口徑是百分之三以下。
軟體品質下滑論引出 LLM 論戰:一方說相關性太高不可能是巧合,
另一方折衷,AI 擅長事後診斷,但設計防級聯故障,正是 AI 的弱項,
大模型產配置碼最常翻車的就是基礎設施。
六、重開機治標不治本
官方更新出現重開機字眼,網友 @ArcHound 說如果這招有效,我們這行完了。
做過飛機系統的人回,重開機本來就是標準解法,問題是這麼晚的時間軸還在靠重開機。
防級聯故障的正解是限制爆炸半徑,有人點名這正是 Azure 不擅長的。
服務等級的 9 則早就跌破,有人算已經往百分之九十九點九去了。
七、監測方法論大戰
Downdetector 顯示一堆服務全倒,被批評是調查不是偵測器:
Outlook 十三萬回報旁邊 Gmail 誤報一千筆,圖表 Y 軸各自獨立,畫出來看起來一樣慘。
思科員工現身推薦自家 ThousandEyes 真實遙測,結果自家狀態頁也被流量打掛。
最酸的是微軟自家 Azure 狀態儀表板,嚴謹到下週都不會顯示今天這場。
八、災情與黑色幽默
一點五萬人員工企業斷線八小時,兩萬人機構半夜靠簡訊聯絡,
十二小時還不知道根本原因。非科技大企業連桌面版 Office 都打不開,
因為授權伺服器也掛了。有人慶幸沒把小辦公室搬上雲,有人說一週就被忘記。
電視名嘴已在說是中國幹的,被嗆是 Reddit 級推測。
正反分歧
| 面向 | 一方 | 另一方 |
|---|---|---|
| 是否外力攻擊 | 特定流量異常、零日漏洞、GitHub 前例,疑似新型態攻擊 | 實測 Azure 正常,談健康檢查修法像自動化壞掉,不像被打 |
| 自架還是上雲 | 新生態下自架是幻覺,掛掉拖累整排產業 | 自管 Exchange 今天照常收信,微軟管得再好也是單點 |
| 裁員與 AI 是否為禍首 | 掏空加糊碼加砍資深,今日就是預演 | 員工人數反增,Azure 的亂早於 AI |
視覺懶人包(一頁看懂級聯故障鏈與八個交鋒點):
手機版直接開:https://static.blog.derekhsu.net/m365-outage-hn.html
來源
- Guardian:Microsoft struggles to fix huge outage affecting Outlook and Teams
- Tom Guide:Outlook, Microsoft 365, Teams and more down live updates
- Mashable:Is Outlook down, users report Microsoft outage
- CNET:Is Microsoft Outlook Down, what we know now
- Hacker News 討論串:Service degradation on Microsoft 365(821 則留言整理見上節)— https://news.ycombinator.com/item?id=50471731
本文為摘要整理,資料與引文以原文為準。狀態仍在變化,最新以微軟 365 Status 與服務健康狀態頁為準。
