Збій в Amazon Web Services: компанія пояснила причини проблем з інтернетом.

Не так давно відбувся серйозний збій в сервісах Amazon Web Services, який суттєво вплинув на роботу частини інтернет-ресурсів. Попри наявність розподілених архітектур хмарних сервісів, цей випадок засвідчив, що система може зазнавати проблем.

Що сталося?

Інцидент розпочався в ніч на 20 жовтня і тривав приблизно три години, проте наслідки були відчутні значно довше.

Технічна причина збою

Згідно з інформацією, наданою Amazon у технічному звіті, основною проблемою стала некоректна DNS-конфігурація бази даних DynamoDB, яку випадково було опубліковано в системі Route53 — сервісі DNS Amazon.

Це викликало збій у роботі залежних сервісів, зокрема EC2 (віртуальні машини) та Network Load Balancer, який відповідає за рівномірний розподіл навантаження. Оскільки DynamoDB обслуговує величезну кількість веб-сайтів, її збої призвели до недоступності багатьох ресурсів.

Технічні деталі інциденту

Причиною збою став “race condition” — ситуація, коли дві системні події відбуваються одночасно, що призводить до скасування дій одна одної. У цьому випадку, процес оновлення DNS не встиг завершити “старий план”, коли вже діяв новий, в результаті чого таблиця DNS для DynamoDB була просто спустошена. Відновлення сервісу вимагало ручного втручання.

Проблеми з запитами

Поки інженери відновлювали функціонування системи, EC2 не міг створювати нові інстанси, що спричинило величезну накопиченість запитів. Щоб уникнути перевантаження, запити стали обмежуватися, в результаті чого багато сайтів залишалися недоступними ще кілька годин. Додаткова проблема виникла з Load Balancer, який через нестабільність даних вважав справні вузли “мертвими” і видаляв їх з DNS, а згодом знову додавав.

Антикризові заходи

Після інциденту Amazon тимчасово зупинив системи DNS Planner та DNS Enactor для DynamoDB, щоб усунути умови, які призвели до “race condition”. Окрім цього, компанія оголосила про впровадження нових механізмів тестування для EC2 та контрольних обмежень для Load Balancer, щоб запобігти повторенню подібних ситуацій.

На завершення, варто згадати, що нещодавно зростав інтерес до менш очевидних питань, таких як прогнози про майбутнє від засновника Amazon, які зосереджують увагу на важливості штучного інтелекту.

Рекомендації для читачів

Можливо, вас зацікавлять інші новини: