12 қарашада Microsoft инженерлері серверлерді қайта іске қосқан сайын, олар қайтадан істен шығып жатты. Пайдаланушылар жұмыс поштасына кіре алмай жатқанда, жүйеге келіп түскен сұраныстар кезекке жинала берді. Кезекті сервер жұмысқа қосылған сәтте оған бірден үлкен трафик түсті. Сервер мұндай жүктемені көтере алмады. Microsoft 365 қызметтеріндегі іркілістер шамамен бір тәулікке созылды.
Microsoft компаниясының алдын ала мәліметінше, ақау бірнеше жағдайдың қатар келуінен туындаған. Екі желілік шлюздің бірі Teams қызметіне қолжетімділікті қамтамасыз ете алмай қалды да, жүктеме екінші шлюзге ауысты. Бұған қоса, басқа бір инцидент салдарынан серверлік қуаттардың бір бөлігі бұған дейін-ақ қолжетімсіз болған. Жұмыс жүктемесі шарықтаған уақытта қалған ресурстарда шілде айынан бері кодта болған қате байқалды. Серверлер сұраныстарды өңдеуді тоқтатты. Ал жиналып қалған кезек жүйені қалпына келтіруді одан әрі қиындатты.
Резервтік жүйеге ауысқаннан кейінгі алғашқы минутта не болады?
Компания үшін резервтік жүйені жоспарлы тексеру сәтті өткен сияқты көрінуі мүмкін: инженерлер негізгі арнаны өшіріп, бір минут ішінде қосалқы арнаға ауысады және сервистің қолжетімді екенін растайды. Алайда мұндай тексеру түнде жүргізілсе, жұмыс күні қызған шақта дәл осындай жағдайда не болатыны әлі де белгісіз.
«Техникалық ақау кез келген елде болуы мүмкін. Бұған тұтас бір саланың жұмысы тәуелді жүйелер де кіреді. Сондықтан жобалау кезеңінің өзінде нақты бір торап істен шыққан жағдайда не болатынын түсіну маңызды. Мысалы, компанияда екі байланыс арнасы болуы мүмкін, бірақ екеуі де бір маршрутизатор арқылы өтсе, сол құрылғының істен шығуы екі арнаның да жұмысына әсер етеді», – дейді QazCloud желілік инфрақұрылым мен қауіпсіздікті пайдалану департаментінің директоры Азат Мамбетов.
«Резервтік жүйелер бір-бірінен тәуелсіз болған күннің өзінде, олардың қуаты жеткілікті ме деген мәселе қалады. Егер ақау ең жоғары жүктеме кезінде орын алса, жүйе негізгі арнаға ауысқаннан кейін жаңа сұраныстарды қабылдап қана қоймай, үзіліс кезінде жиналып қалған кезекті де өңдеуі керек. Оқу-жаттығу кезінде ақау болған сәттен бастап сервис пайдаланушыға қалыпты жылдамдықпен жауап бере бастағанға дейін қанша уақыт өтетінін өлшеу қажет», – деп атап өтті сарапшы.
Кейде жүйені қалпына келтіру ақауды оқшаулаудан басталады
Microsoft жүйесін қалпына келтіруге жиналып қалған сұраныстар кезегі кедергі келтірді. Ал АҚШ авиациясында инженерлер басқа міндетті шешуге мәжбүр болды: желіні шамадан тыс жүктеп жатқан сұраныстар ағынын тоқтату қажет еді.
13 қарашада Арканзас штатындағы нысанда орнатылған жаңа маршрутизатор әр төрт-бес секунд сайын қосылуға қатысты шамамен мың сұраныс жібере бастаған. Соның салдарынан диспетчерлердің ұшақтармен байланысы және радиолокациялық деректерді беру жұмысы бұзылды. АҚШ-тың Федералдық авиация басқармасы ел бойынша рейстердің ұшуын төрт сағаттан астам уақытқа тоқтатты. Мамандар екі желілік торапты оқшаулағаннан кейін желі тұрақтанды. Сол кезде маршрутизатордың мұндай әрекетке не себепті барғаны әлі анықталып жатқан еді.
Екі жағдайда да инженерлер сервистердің қолжетімділігін қалпына келтіруге күш салды. Ал егер ақау деректердің бүлінуіне немесе жоғалуына әкелсе, команда алдында тағы бір міндет пайда болады: деректерді қай уақытқа дейін қалпына келтіруге болатынын және бұл жұмыс қанша уақыт алатынын анықтау.
«Деректер жоғалған жағдайда бизнес екі негізгі көрсеткішті алдын ала белгілеуі керек: жүйені қалпына келтіруге қанша уақыт жұмсауға болады және қандай кезеңдегі деректердің жоғалуына жол беріледі. Мұны тәжірибе жүзінде тексеруге болады: резервтік көшірмеден жүйені іске қосып, қолда бар транзакциялар журналдарын қолдану және қалпына келтірілген соңғы операцияның сервисте дұрыс көрсетілетініне көз жеткізу қажет», – дейді Азат Мамбетов.
Бизнеске арналған үш сабақ
- Ортақ істен шығу нүктелерін анықтау. Негізгі және резервтік байланыс арналарының қай жабдық арқылы өтетінін тексеру қажет. Шамадан тыс жүктеме кезінде қай торапты оқшаулауға болатынын және одан кейін трафиктің қалай бағытталатынын алдын ала белгілеу керек.
- Резервтік жүйені ең жоғары жүктеме жағдайында сынау. Тексеру кезінде жаңа сұраныстармен қатар, жүйе тоқтап тұрған уақытта жиналған өтінімдерді де ескеру қажет. Пайдаланушының қалыпты операцияны, мысалы, хат жіберіп, оның жеткізілгенін көре алатын сәтке дейінгі уақытты өлшеу маңызды.
- Резервтік көшірмеден нақты не қалпына келетінін тексеру. Сервисті бөлек ортада іске қосып, қалпына келтірілген соңғы операцияның уақытын анықтау және бүкіл процестің ұзақтығын өлшеу қажет. Алынған нәтижені бизнестің қанша уақыттық үзіліске және деректердің қандай көлемде жоғалуына төтеп бере алатынымен салыстыру керек.
Похожие материалы
Риман гипотезасын 167 жыл бойы дәлелдеуге тырысты. ЖИ көмегімен табылған дәлел бір тәулікте тексерілді
нояб. 22, 2026
Қытайда ЖИ-принтерлер үй тапсырмаларын тексереді: математика мұғалімі күніне 1,5+ сағат үнемдейді
нояб. 20, 2026
ЖИ агенті сіз үшін билет сатып ала алады. Бірақ ол қателессе, кім жауап береді?
нояб. 20, 2026