Президент и пароход. Хроники бессонной недели.

Сейчас уже можно сказать, что внутри Яндекса этот проект назывался «Пароход». Происхождение названия очевидно: если В.В.Маяковский обращался к Теодору Нетте – пароходу и человеку, то мы, в свою очередь, говоря «пароход», подразумевали «президента».


Григорий Бакунов, руководитель отдела разработки коммуникационных сервисов:

«"Пароход" жил на семи машинах, которым сразу присвоили птичьи имена: swift, kestrel, auk, cuckoo, swallow, nuthatch, vulture. О любых проблемах на сервере рассылались SMS. У Толи Лебедева (героического админа “Парохода” – прим. ред.) сигналом о приходе новых SMS был двойной выкрик кукушки. Догадайтесь как называлась та машина, которая уходила в перезагрузку? Правильно, cuckoo. Машина auk постоянно стонала под нагрузкой, несмотря на то что ничем не отличалась от остальных. Помните, "и гагары тоже стонут". Auk – это, собственно, "гагара" на английском диалекте.

Единственный тип атак, которых мы действительно опасались, были обычные DOS и DDOS, то есть распространенные атаки на отказ в обслуживании. Для обороны были заготовлены средства раннего обнаружения (скрипты проверки активности), средства быстрого реагирования (сложные программы для отсекания ненужных пользователей) и снайперская винтовка в Кремле (Гриша шутит – прим. ред.) За неделю активной жизни проекта средства быстрого реагирования применялись 32 раза. Особенно запомнился третий случай срабатывания наших СРО, когда на второй день акции вдруг скакнуло количество обращений к сайту с одного из адресов, принадлежавших МФТИ в Долгопрудном. Когда их стало больше чем тысяча в минуту, сработавшие средства раннего обнаружения зафиксировали попытку DOS атаки. Мы уже приготовились заблокировать IP, когда мне пришло в голову позвонить старым друзьям из Долгопрудного и спросить, что это за адрес. Оказалось что это прокси одной из общажных сетей и до студентов просто докатился флешмоб "проголосуй за мальчика Никиту". А ведь могли нечаяно лишить подростков радости».

Не меньшей нагрузке были подвергнуты наши секретари, на которых после объявления об открытии сайта обрушился шквал звонков. Все хотели задать вопрос президенту.

Екатерина Жукова, секретарь, через три часа после открытия сайта:

"Звонков безумное количество, мы едва успеваем отвечать. Один меня особенно порадовал:
- Здравствуйте, я живу в Молдавии. Могу я задать Путину вопрос?
- Да, конечно.
- А вы ответите за то, что Путин мне на него ответит?
- Извините, но я не могу ручаться за действия президента. Владимир Владимирович ответит на самые популярные, часто задаваемые вопросы.
- Ну вот, я и хочу поменять гражданство с молдавского на русское!!!"

С такой же скоростью валились письма в адрес нашей пресс-службы (люди, видимо, хотели задать вопрос президенту конфиденциально и не пользовались специальной формой). Но и это нельзя было сравнить со скоростью накопления вопросов на сайте. Через несколько часов после начала сбора вопросов, поняв, что перестаем справляться с потоком вдвадцатером, мы кинули клич всем начальникам подразделений с просьбой выделить сотрудников для помощи в модерации. Учитывая, что проект был запущен в пятницу, все, кто мог дотянуться до компьютера в выходные, невзирая на чины и звания, просидели за модерацией до утра понедельника.

Григорий Бакунов, руководитель отдела разработки коммуникационных сервисов:

"В первый день, когда стало понятно что те 20 модераторов, которые у нас уже есть, не справляются с потоком сообщений мне стало интересно, а кто же модерирует быстрее всех. Чтобы снять напряжение от общей суматохи, я сделал «пузомерку» - хит-парад модераторов, где было указано, кто сколько вопросов отмодерировал, а также стрелочками обозначался переход по рейтингу. Результатом стало старое доброе соцсоревнование. Все боролись за первое место в таблице. Кажется, это крайне оживило работу".

Работу это действительно оживило, все выходные модераторы обменивались примерно следующими сообщениями «сейчас, до 2000 дойду и спать», «ты зачем Таню в хит-параде перегоняешь, она переживает!», «о, да я почетный тринадцатый!». А просыпавшиеся после короткого и нервного сна модераторы выдавали что-то вроде «ой, как я по президенту соскучилась!» или «супер, супер-пароход!» и с новыми силами пытались продвинуться в десятку, в пятерку и т.д.

На исходе вторых суток вопросы уже задавались не только президенту, но и «модератору» (неужели они думали, что у нас правда один модератор? – прим. ред.): «Ваш модератор – не Человек, а рассудочная Машина! Она не понимает человеческих слов!» или «Слушай, модератор, если президент не ответит, помоги хотя бы ты: как мне забыть парня?».

А еще присылали стихи и анекдоты. Хотя и без анекдотов было много смешных и курьезных случаев. Например, Куля и Илюха просили президента восстановить завод «Кристалл», студенты сетовали на дороговизну бассейна и при этом дешевизну анаши, вопрос про тунгусский метеорит попал в тему «Терроризм», вопрос «почему в России все воруют» - в «Опасные инфекции», а «Изучаются ли сбитые и потерпевшие катастрофы летательные аппараты внеземных цивилизаций и что вы делаете с трупами пришельцев?» - в «Сепаратизм».

Все бы ничего, но уже в субботу вечером стало понятно, что с таким режимом мы не доживем до понедельника. Не желая терять лучших сотрудников, которым, надо сказать, и во время короткого отдыха снился модераторский интерфейс, мы предприняли экстренные меры. За несколько часов среди детей друзей и друзей детей друзей было рекрутировано 30 человек в т.н. «спецбригаду Яндекса» для осуществление модерации в круглосуточном режиме. За воскресенье две переговорки были превращены в «штаб модерации», где были срочно оборудованы рабочие места и перенастроена система кондиционирования. С понедельника наш «спецназ» приступил к работе.

Ребята работали в три смены: с 8 утра, с 15.30 и с 23 часов. За маленький технический перерыв с конца ночной и до начала утренней смены наши хозяюшки успевали сделать уборку и принести пирожки, воду и чай нашим «жаворонкам». Кроме того, что волонтеры модерировали вопросы, им приходилось каждый день быть звездами телеэкрана. Все крупные российские (и не только) телеканалы ежедневно посещали наш офис и снимали свежие репортажи. Вот лишь некоторые из них: 1 канал | РТР (ссылка "видео") | Telewizja Polska

Диана Трубецкая, старший модератор «Парохода»:

"Бедные студенты, мы не сказали, что, помимо модерации вопросов, им придется постоянно сообщать родителям и друзьям, в каком выпуске новостей они «засветились» :). Поэтому их первой реакцией на слова «сегодня будет три телеканала, завтра еще два, а послезавтра – пять» - было недоверчивое удивление. В первый день они немного нервничали, во второй, когда приехали англоязычные «Russia Today» и попросили разрешения взять интервью у одного из модераторов, они еще пытались как-то перекинуть эту почетную должность друг на друга, но к концу четвертого дня наши волонтеры настолько привыкли к постоянно крутящимся вокруг телекамерам, что уже просто не обращали на них внимания. Только спрашивали, можно ли с ними что-нибудь сделать, а то уж очень от работы отвлекают".

Все дни активной работы проекта, наблюдалось оживление в блогах – многие вопрошающие призывали голосовать за свой вопрос.

Захар Плющ, главный защитник от накрутки голосов на «Пароходе»:

"Чтобы обеспечить чистоту голосования и предотвратить повторные и искусственные завышения числа проголосовавших пользователей за вопросы президенту, мы пропустили все голоса через программу защиты от склика, которая уже несколько лет успешно применяется в "Яндекс.Директе".
Беспристрастная система за семь дней отклонила более миллиона повторных голосов. При этом один из вопросов, который пытались искусственно сделать популярным – это вопрос шестнадцатилетнего Дениса из Иркутска, который мог бы набрать почти 90 тысяч голосов, при условии, конечно, если бы все эти голоса были отданы реальными пользователями. В действительности, за этот вопрос проголосовал лишь 21 человек".

Таким образом, все домыслы о накрутке голосов были необоснованными. Разумеется, мы предполагали, что будут флэш-мобы, но это нормальная пользовательская активность, своеобразный индикатор интереса к проекту.

Григорий Бакунов, руководитель отдела разработки коммуникационных сервисов:

"Чисто технически этот проект был для Яндекса прорывом вперед и одновременно возвратом в старые добрые девяностые. Когда скоростей серверов не хватало, чтобы справиться с потоком посетителей, было популярно создавать сайты, которые похожи на динамические, а на самом деле целиком статические. С нашим проектом мы пошли почти по этому пути - раз в минуту создавался статический образ XML файлов, на которые при отдаче накладывался XSLT. Таким нехитрым образом мы смогли отдавать 3000 страниц одновременно, со средним временем отдачи одной страницы менее 0.5 секунды. Таких результатов я не видел на интерактивных сайтах никогда в жизни. Все это получилось благодаря личному героизму Саши Виленца (главный разработчик проекта – прим. ред.).

И немного секретной статистики. Только за время подготовки к проекту было освоено 4 относительно новых технологии, написано два крупных модуля к нашему вебсерверу, выпито более 20 литров колы и более пяти упаковок энергетиков, при этом умерло примерно 80 километров нервов, которые, говорят, не восстанавливаются".

Проект «Пароход» был настоящей командной игрой, люди работали за идею и в буквальном смысле совершали подвиги. Всего в проекте было задействовано около трети сотрудников «Яндекса». По окончании «спецоперации» им были присвоены внеочередные звания пароходов и человеков.

P.S. Ночной диалог модераторов:

Первый модератор: С тебя поэма, кстати, после конференции президента. По результатам.
Второй модератор: Нет, ты что, у меня все творческие начала атрофировались.
Первый модератор: Так потом, после реанимации.
Второй модератор: Я не хочу в реанимацию!
Первый модератор: Реанимация aka восстановление.
Второй модератор: Так это называется «реабилитация».
Первый модератор: Точно. Ишь!

Вот, собственно, поэма и вышла :) Или роман без вранья, это уж как кому нравится.

Другие репортажи