, ноябрь 22, 2026

Резерв включился. Почему сервис всё ещё недоступен?


Резерв включился, а сервис не работает. Директор департамента эксплуатации QazCloud Азат Мамбетов объясняет, почему резервное копирование не спасает при пиковых нагрузках, и какие три проверки важны для бизнеса.

  •   2 мин чтения
Резерв включился. Почему сервис всё ещё недоступен?

Содержание

12 ноября инженеры Microsoft возвращали серверы в работу, и те снова переставали отвечать. Пока пользователи не могли открыть рабочую почту, запросы накапливались. Как только очередной сервер становился доступен, на него поступал трафик, с которым он не справлялся. Перебои в Microsoft 365 продолжались около суток.

По предварительным данным Microsoft, сбой начался при сочетании нескольких условий. Один из двух сетевых шлюзов перестал обслуживать Teams, и нагрузка перешла на второй. Из-за отдельного инцидента часть серверных мощностей уже была недоступна. В часы пик на оставшихся ресурсах проявилась ошибка, которая находилась в коде с июля. Серверы перестали обрабатывать запросы, а накопившаяся очередь затем осложнила восстановление.

Что происходит в первую минуту после переключения

Для компании плановая проверка резерва может выглядеть вполне убедительно: инженеры отключили основной канал, за минуту переключились на запасной и убедились, что сервис доступен. Но если проверку проводили ночью, открытым остаётся вопрос, что произойдёт за ту же минуту в разгар рабочего дня.

«Технический сбой возможен в любой стране, в том числе в системах, от которых зависит работа целой отрасли. Поэтому ещё на этапе проектирования важно понимать, что произойдёт при отказе конкретного узла. Например, у компании могут быть два канала связи, но если оба проходят через один маршрутизатор, его отказ затронет оба канала», – объясняет Азат Мамбетов, директор департамента эксплуатации сетевой инфраструктуры и безопасности QazCloud.

«Даже при независимом резерве остаётся вопрос мощности. Если сбой произошёл в час пик, после переключения система должна одновременно принимать новые запросы и обрабатывать очередь, накопившуюся за время простоя. На учениях важно измерить, сколько времени пройдёт от отказа до момента, когда сервис снова сможет отвечать с привычной для пользователя скоростью», – отмечает эксперт.

Когда восстановление начинается с изоляции сбоя

У Microsoft восстановлению мешала очередь уже накопившихся запросов. В американской авиации инженерам пришлось решать другую задачу – остановить поток запросов, который продолжал перегружать сеть.

13 ноября новый маршрутизатор на объекте в Арканзасе начал отправлять около тысячи запросов на соединение каждые четыре-пять секунд. Возникли перебои в связи диспетчеров с самолётами и в передаче радиолокационных данных. Федеральное управление гражданской авиации США более чем на четыре часа приостановило вылеты по стране. Сеть стабилизировалась после того, как специалисты изолировали два узла. Почему маршрутизатор начал вести себя таким образом, в тот момент ещё выясняли.

В обоих случаях инженеры восстанавливали доступность сервисов. Если сбой сопровождается повреждением или потерей данных, у команды появляется отдельная задача: определить, до какого момента можно восстановить записи и сколько времени это займёт.

«Для сценария с потерей данных бизнесу нужны два ориентира: сколько времени допустимо потратить на восстановление и за какой период допустима потеря записей. Проверить оба можно на практике – развернуть систему из резервной копии, применить доступные журналы транзакций и убедиться, что последняя восстановленная операция корректно отражается в сервисе», – говорит Азат Мамбетов.

Три урока для бизнеса

  1. Найти общие точки отказа. Проследить, через какое оборудование проходят основной и резервный каналы. Заранее определить, какой узел можно изолировать при перегрузке и как после этого пойдёт трафик.
  2. Испытать резерв в условиях часа пик. Учесть новые обращения и запросы, накопившиеся за время переключения. Зафиксировать, когда пользователь снова сможет завершить обычную операцию – например, отправить письмо и увидеть, что оно дошло.
  3. Проверить, что восстанавливается из резервной копии. Запустить сервис в отдельной среде, установить время последней восстановленной операции и измерить длительность работ. Сравнить результат с тем, какой простой и какую потерю данных бизнес может себе позволить.

Похожие материалы

↑