«Википедия» упала точно так же, как Livejournal

комментарии (17)
версия для печати

Похоже, с «Википедией» произошла та же самая беда, что недавно случилась с «Живым журналом». Кто-то случайно нажал Большую красную кнопку и вырубил электричество. Сайт до сих пор в дауне.

Первая страница проекта «Википедии» появилась только сегодня, 22 февраля, около 12:00 по МСК. До этого на ней размещалось сообщение под заголовком «Сбой электропитания». Это сообщение до сих пор отображается при обращении к большинству разделов сайта, то есть серверы пока работают в ограниченном режиме.

Аварийное сообщение гласит, что вчера около 14:15 PST (это сегодня 01:15 по МСК — разница в 11 часов) произошел сбой электропитания в дата-центре, на котором размещаются серверы проекта «Википедия». Кто-то выключил главный рубильник. Хотя в дата-центре есть мощный резервный генератор, но рубильник отключил не только основное электроснабжение, но и линию, которая соединяла серверы «Википедии» с резервным генератором. Вообще, электричество пропало во всем здании.

Через несколько минут подача энергии возобновилась, и большинство серверов «Википедии» перезагрузились. Некоторые серверы потребовали небольшого дополнительного обслуживания, а некоторые пришлось восстанавливать очень долго.

Самой большой проблемой стали серверы баз данных, на которых хранилась вся важная информация. Размер всей базы данных — 170 ГБ. Разработчики используют таблицы InnoDB в СУБД MySQL, но даже они могли оказаться безвозвратно потерянными. Попытка немедленно поднять БД сразу после сбоя показала, что части базы повреждены, поэтому пришлось загружать всю базу с резервных серверов. В 6:20 по МСК на аварийной странице появилось сообщение, что базу на одном из основных серверов удалось полностью восстановить, так что скоро можно будет открыть сайт в режиме read-only.

В 9:32 по МСК серверы уже были готовы к работе в ограниченном режиме, а около 12:00 по МСК (то есть час назад) сайт, наконец, начал по частям появляться в онлайне. Правда, российский раздел до сих пор выдает аварийное сообщение, которое советует посетителем воспользоваться кэшем Google для серфинга по сайту.

Ситуация с серверами «Википедии» вызывает сильнейшее ощущение дежа-вю. Абсолютно то же самое, с точностью до мелочей, произошло месяц назад с серверами «Живого журнала». Мы подробно рассказывали о том инциденте. Можете почитать — сходство действительно поразительное. Тогда расследование показало, что какая-то неопознанная личность проникла в здание дата-центра (оно практически не охраняется), нажало Большую красную кнопку и скрылось в неизвестном направлении. Напоминаем, что Большая красная кнопка, которая отключает все электричество в здании обязана присутствовать возле каждого выхода из здания согласно государственным стандартам пожарной безопасности США.

На Slashdot’е развернулось обсуждение, как избежать таких ситуаций в будущем. Сменить СУБД — это не выход. Как говорят эксперты, ни одна СУБД не гарантирует целостность данных после сбоя электропитания. Может быть, просто усилить охрану Большой красной кнопки?

Интересно, что пару дней назад создатели «Википедии» объявили сбор пожертвований на развитие проекта (кстати, в первый же день собрали более $10.000). С учетом этого падение серверов выглядит весьма символично, мол, «Вот что может случиться с нами, если ты, парень, не пожертвуешь пять баксов».

Другие