К содержанию

Microsoft назвала причину сбоя Outlook и пообещала 13 исправлений

Ошибка проявилась только на новых серверах с большим числом ядер, а нагрузочные тесты компания проводила на старом оборудовании.

Папка с приложениями Microsoft, в том числе Outlook и Teams, на экране смартфона
Фото: Samuel Boivin / NurPhoto via Getty Images

Microsoft опубликовала итоговый отчёт о глобальном сбое Outlook и других сервисов Microsoft 365, который 12–13 ноября почти на сутки оставил пользователей по всему миру без рабочей почты. Причина — скрытая ошибка в обновлении Windows для сетевых шлюзов Microsoft 365, то есть серверов, через которые люди подключаются к Outlook и другим сервисам компании. Обновление начали устанавливать ещё в июле, и больше трёх месяцев оно работало без сбоев. Отчёт датирован 20 ноября, клиентам его разослали вечером того же дня по времени США — утром 21 ноября по Астане.

Ошибка проявилась только на новых, более мощных серверах. Чем больше у машины ядер и одновременных запросов, тем сильнее процессы внутри Windows блокировали друг друга, пока у сервера не заканчивались ресурсы процессора и память. А нагрузочные тесты Microsoft проводила на старом оборудовании с меньшим числом ядер. «Наше тестирование не отражало в должной мере сочетание оборудования и структуры трафика, с которыми мы столкнулись во время этого инцидента», — признали в компании.

Сработала ошибка, когда 12 ноября совпали три обычных для Microsoft условия. Почти 14% мощностей шлюза были отключены на плановое обслуживание — установку свежей версии сервиса. Около 06:07 по Астане из-за проблемы с маршрутизацией в регионе US East весь мировой трафик Teams автоматически переключился на те же серверы, что обслуживают почту. А около 21:00 по Астане, когда нагрузка в Северной Америке пошла к суточному пику, начались массовые отказы. Без скрытой ошибки эти условия, по данным отчёта, проблем бы не вызвали.

Разнесли сбой по миру системы, которые должны были его сдерживать. Когда серверы переставали отвечать, автоматика перекидывала их трафик на соседние — с той же ошибкой, и те тоже не выдерживали. В худший момент в Северной Америке не отвечали больше 80% серверов шлюза, а когда там закончились свободные мощности, трафик ушёл в другие регионы. Примерно за два часа сбой затронул серверы во всех регионах мира. Восстановление затянулось: включённые серверы сразу захлёстывала накопившаяся нагрузка, а откатить изменение многомесячной давности обычными способами не удалось. Каждый сервер пришлось выводить из работы, перезагружать, ставить исправление и перезагружать снова.

В отчёте 13 мер, которые должны не допустить повторения. Microsoft изменит распределение трафика, чтобы сбой в одном регионе не перекидывался на другие, и разделит шлюз на отдельные пулы под разные сервисы, а Teams будет переключаться только в пострадавшем регионе, а не по всему миру. Нагрузочные тесты расширят на самое новое оборудование и трафик, приближённый к реальному. Часть мер обещают внедрить до конца 2026 года, часть — до конца марта 2027-го, у нескольких срока пока нет. Первое уведомление клиентам в этот раз ушло примерно через 20 минут после начала массового сбоя — это время тоже обещают сократить до конца года.

Что это значит для пользователей. По данным Microsoft, корпоративная почта не потерялась: все застрявшие в очереди письма доставлены, а срок повторной доставки на время сбоя продлили с 24 до 48 часов. Исключение — часть задержанных писем на личные ящики, которыми не пользовались больше 30 дней: они не дошли, и отправители получили уведомления о недоставке. Хранящиеся данные клиентов, по словам компании, не пострадали.

В отчёте Microsoft ещё раз исключила кибератаку и ИИ: «Подтверждено, что инцидент не был вызван кибератакой, и мы не нашли признаков вредоносной активности. Это изменение не было вызвано инструментами ИИ». То же самое ещё 13 ноября написал в X исполнительный вице-президент Microsoft Чарльз Ламанна.

https://x.com/clamanna/status/2121363062058070344

По данным отчёта, сбой начался 12 ноября в 21:20 по Астане, а последствия для клиентов закончились 13 ноября около 21:10. Пострадали Outlook, Teams, Copilot, SharePoint, OneDrive и другие сервисы Microsoft 365. По подсчётам Ookla, владельца Downdetector, на сервисы Microsoft пожаловались 7,4 млн раз — это крупнейший сбой 2026 года. Сервисы компания полностью восстановила 14 ноября, а глава Microsoft Сатья Наделла позже признал, что сбоя можно было избежать.

ПоделитьсяTelegramWhatsAppVKFacebookX

Читайте также