Самое горячее: Европа признала соцсети опасными (50); "Фобос-Грунт" уже не спасти (11); Мобильники убивают детей (26); ЕЩЕ >>
РАЗДЕЛЫ
Архив
« июнь 2020  
пн вт ср чт пт сб вс
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30          

HighLoad’ы этой осени: капуста и корольки

Софт | репортаж | 14.10.2008 12:54

Предыстория

Интернет-конференции в Рунете исторически были ориентированы "наружу" - на бизнес и интернет-рынок как таковой. Примерам несть числа – это и РИФ, и КИБ, и eTarget, и "Поисковая оптимизация", и User Experience, и прочая. Тусовки телекомщиков и интернетчиков, маркетологов, рекламистов и продажников, хостеров и представителей интернет-СМИ - у всех были свои конференции, места-предлоги для parties и кулуартных перетёрок.

Не было лишь у технарей - тех, кто собственно и делает технологии и продукты Рунета как такового. И, природа, не стерпев пустоты, сподвигла группу лиц – в первую очередь Олега Бунина и Павла Рогожина – к созданию первой конференции для разработчиков и "тех-кто-рядом" – РИТ-2007 (Российские Интернет Технологии), прошедшей весной 2007 года.

Это действительно был прорыв – группы профессионалов из разных компаний (большей частью конкурентов) собрались в одном месте – себя показать и других посмотреть. Несмотря на слегка впопыхах собранную программу докладов и не очень тщательную фильтрацию (некоторые доклады были откровенно лажовые), несмотря на неприлично активный head-hunting некоторых компаний-спонсоров, конференция воистину удалась.

Поэтому осенью, вдохновлённые успехом РИТ-2007, организаторы выставили новый продукт – конференцию HighLoad-2007 - которая по замыслу должна была, в отличие от РИТа, фокусироваться на аспектах разработки высоконагруженных проектов. Ну какой разработчик не любит быстрых, масштабных интернет-проектов?! Это вам не складские программы клепать! (Так думают некоторые. О, как они не правы...)

И эта конференция вполне удалась, идя по качеству вровень с РИТ-2007. Зримый финал – это прощальный спуск по Москве-реке большей части участников ("Яндекс", проплативший это after-party, питает необъяснимое пристрастие к пароходам). Случись авария, Рунет потерял бы половину своих технических ресурсов и ресурсищ.

Дальше – больше. Решив печь пирожки пока есть спрос (т.е. можно срубить денег) компания ProfyClub расписала целую цепочку конференций – ClientSide-2007, SuccessStory-2008 и далее вперёд.

Если ClientSide-2007 ещё была достаточно вменяемым по содержанию мероприятием, то на SuccessStory-2008 рынок отреагировал удивлённо ("Ну зачем так гнать?! Когда-то надо и работать") – и потому рассказы про "сакс сториз" перенесли на РИТ-2008.

А РИТ-2008 – это был апофеоз всей логической цепочки. Не вместившись на территорию "Инфропространство" (с её лимитом вместимости около 600 человек), конференция случилась в "Крокус-Экспо". Было 4 потока докладов, впервые появились зарубежные докладчики - скажем, отличные доклады Москалюка из Facebook и Могилевского из Microsoft (про IE 8).

РИТ-2008 был примечателен и иными явлениями. Впервые появился переносной лоток от Студии Л. – где продавцы с индифферентно-непроницаемыми лицами втюхивали свои фенечки и гаджеты потрясённым участникам (кто-то ошеломлённо заметил: «Надо же, клавиатура Optimus – она же тот-в-точь как в ZX Spectrum'е моего далёкого босоногого детства»). А мэтр Ашманов, весь в белом (фигурально), рассказал про "Кризис роста в ИТ-компании" - что вызвало изумлённый трепет в сердцах слушателей, потрясённо и тихо шептавших "ну это же прям про нас, ах, как же он тонко всё понимает!...".

Да, РИТ-2008 был действительно хорош – как мыльный пузырь, изящно переливающийся разноцветием программы докладов, вольготно читаемых на огромных просторах Крокуса.

Раскол

За кульминацией всегда следует спад. В июне 2008 Бунин и Рогожин, ранее смотревшиеся как комплементарные близнецы-братья, Ромул и Рем, Орест и Пилад, Ромео и Тристан (и прочая, прочая) – вдруг внезапно разбежались.

История и причины – темны и неясны. И право же, негоже нам, бесстрастным наблюдателям, строить досужие домыслы. Хотя в своих ЖЖешечках тусовка в течение всего лета перетёрла эту тему не раз и не два. Две живые причины переполоха вяловато пикировались на десятке площадок, туманно не объясняя реальных поводов для разногласия.

Наивные наблюдатели считают, что размолвка вышла из-за бабла. Мол, Бунин, после развала NewMediaStars в начале 2008, где он чем-то технически руководил, остался без денег, и продал свою долю в ProfyClub Рогожину, публично обещав в своём ЖЖ более не заниматься конференциями вообще. Но, что характерно, после этого он скоропостижно передумал. После развода Рогожину достался брэнд ProfyClub, а у Бунина – остались домены highload.ru, и ritXXXX.ru (где XXXX – от 2007 до аж 2022 года) и, что забавно, profyclub.ru.

Более вдумчивые аналитики считают, что разошлись из-за разницы мировоззренческих позиций, концептуальных противоречий - и вообще всё это случилось исключительно по философским соображениям, а пошлые серебреники тут вообще ни при чём.

Сейчас это уже неинтересно, но рынок был озадачен и возмущён всей этой мылодрамой. Технический люд негодовал, что придётся идти на обе конференции – а рынок IT ведь не в одной Москве сосредоточен, приезжающим издалека это совсем не с руки. Компании-участники были возмущены ещё сильней – нести маркетинговые бюджеты в два места?! Нет уж!

Как итог, среди спецов образовались фракции, баталирующие у себя в ЖЖшечках. А крупные компании-участники – в первую очередь "Яндекс" – выдвинули жёсткие условия к обоим разбежчикам: снизить бесстыдно задранные ценники на вход, пустить побольше студентов бесплатно (надо же кого-то hunt'ить), фильтровать доклады (ранее легко просачивались откровенно слабые доклады – зачастую из-за того, что докладчик был аффилирован с кем-то из программного комитета).

Обе стороны напряглись и озадачились – и забегали по главным компаниям-участникам, стараясь сделать предложение, от которого никто не сможет отказаться. Не вдаваясь в перипетии, которые к тому же скрыты (темна вода в облацех), достаточно констатировать: АИБ (т.е. Яндекс, Mail.ru, Рамблер, РБК, Мастерхост и прочие) выбрали Рогожина, который выполнил все требования, включая 150 мест для студентов.

РИТ: ВЫСОКИЕ НАГРУЗКИ: 22-23 СЕНТЯБРЯ

Рогожин великодушно отказался от явного использования брэнда HighLoad - что, впрочем, не помешало разместить сайт на www.highload.info . Программа вышла достаточно насыщенной и неплохо отфильтрованной.

Про архитектуры

Яндексоиды в первый день вещали non-stop - аж три доклада. Анатолий Орлов (отдел поиска) рассказал базовые истины про "нагрузку". Весьма полезно для студентов и прочих, слегка зевательно для гуру. Про "гуру", кстати – чистая правда. Докладчики и ветераны рынка получили бейджики именно с таким ярлыком. И еще интересный момент: этой осенью на обоих HighLoad'ах на бейджиках не писали название компании, откуда участник. Потому при личном общении все мучительно терялись, косясь на надписи собеседника – а вдруг это шпион от конкурентов? Кто-то вообще застенчиво прятал бейджик в карманцы. Зряшное, по сути, новшество.

После Анатолия выступал Филипп Дельгядо ("Яндекс.Деньги"), который рефлексировал вслух об общих особенностях "проектов, отягощенных производительностью". Весьма, весьма неплохо, но доклад был для своих – тех, кто "в теме".

Потом был Антон Самохвалов (всё тот же "Яндекс"), пишущий сервера поиска. Рассказал, что "thread'ы это хорошо, а FSM плохо". В общем, очень неубедительно - невнятные числа, слабые аргументы. Матёрые зубры - Сысоев и Тутубалин - отдискутировали его, но он молодец, отбивался (хотя явно, явно был неправ).

Далее был доклад "Архитектура Нового Спайлога". Про то, как "Мастерхост" переделал "Спайлог", рассказал Сергей Скворцов. Этой осенью счетчик явно стал виден как заново возрождающийся – достаточно упомянуть шумиху вокруг нового сервиса Spylog.Trends. На докладе все было рассказано вполне открыто, в духе "мы палим тему, ребята!". Смежный доклад "Практическое использование Hadoop в системе интернет-статистики" через день представлял Михаил Якшин, где детально показал всю нетривиальность процесса подсчёта статистики. Судя по весьма предметным вопросам из зала, Hadoop достаточно активно используется в других компаниях.

Далее, докладчики из Mail.ru повествовали про "Imagine framework: высокая производительность в короткие сроки" (Максим Калинченко) и "Архитектура и особенности проектов Mail.ru" (Игорь Ермаков). Достаточно неплохо, и докладчики вполне честно раскручивались на ответы на каверзные вопросы публики.

Однако вот интересная деталь – в весьма и весьма прибыльной компании Mail.ru в мозгах у разработчиков есть императив "всё плохо, денег нет, серверов не хватает, надо же компании и на зарплату сотрудников зарабатывать" - что накладывает свои ограничения на архитектурные решения. Мощная там у них обработка мозгов.

После Ермакова, рассказывавшего в том числе про mail@agent, выступал "за Jabber" Андрей Федоровский (РБК/Медиа-Мир) – "Масштабный Jabber-кластер. IM и не только".

Про базы данных

Собственно, тем-противопоставлений было достаточно. Скажем, по хранению данных как обычно были MySQL vs. PostgreSQL:

* Александр Горный (РБК/Медиа-Мир) – "Mysql для "чайников"
* Григорий Рубцов (MySQL AB) – "Подходы к оптимизации производительности MySQL"
* Алексей Попов (Netprint) – "Выжимаем максимум из PostgreSQL"

Ну и, конечно, Microsoft - Алексей Шуленин поведал про "Сервис хранения данных на базе SQL Server Data Services: Альтернатива Amazon S3 от Microsoft". Освещая это событие, Петр Диденко, несколько лет назад перебежавший из Unix-тусовки в Microsoft, в своем блоге погрустил, как же скучны и наивны были юниксоидные доклады, и как же прекрасен и могуч Microsoft. Впрочем, чего иного можно было ожидать от евангелиста? Хотя и его мнение находит отклики в технических сердцах.

О "не очень реляционных" хранения данных способах также были рассказы:

* Павел Уваров (Рамблер). "HCS — система хранения данных в Рамблере"
* Илья Космодемьянский (SUP Fabrik). "Проблемы работы с большими объемами реляционно слабосвязанных данных в высоконагруженных веб-проектах: Хранение данных в Livejournal"

В целом, особых откровений не было. Про "хиксы" рассказывается из-года в год, без особых новшеств. Хотя, впрочем, кулуарно "Рамблер" обещал выложить HCS в open-source.

Сергей Нековаль (Грамант) с докладом "Масштабирование системы баннерной рекламы с централизованной базой данных" - поразил слушателей признанием, что они с трудом реализовали только postpaid-оплату рекламных компаний, а также странными предоставлениями о том, что DNS round-robin может спасти от падения frontend'а. В общем, было неубедительно.

Про дела админские

Максим Лапань из "Яндекса" рассказал, почему им надоел Nagios и что они выбрали взамен. Оказывается, выбрали Zabbix, переписав 20% его кода. Видимо, этот клон будет назван Yabbix.

Руслан Стоянов рассказал про "DDOS, эволюцию ботнетов и атак". А Виктор Ларин в докладе "Защита хостинг центров и проектов от DDoS и прочих сетевых аномалий" убедительно и вкрадчиво пояснял, как защищаться от DDOS. Вкратце – надо купить решение в ARBOR Networks.

Дмитрий Криков из "Мастерхоста" в докладе "Контраварийные меры обеспечения работоспособности ресурсов при резком росте посещаемости" рассказал, как они борются с DDOS и прочими похожими неприятностями - скажем, внезапной популярностью сайта (урожай всегда наступает неожиданно). А как заранее избежать таких проблем, учили в своих докладах главные тестеры из "Яндекса" (Тимур Хайруллин) и "Мастерхоста" (Сергей Мартыненко) – оказывается, всех бед можно избежать путём тщательного тестирования проектов на нагрузки.

Про картинки и поиск

Разумеется, было и про картинки. Скажем, "Архитектура Photofile.ru" от Антона Терехова (РБК/Медиа-Мир), и "Архитектура и реализация сервиса печати фотографий Netprint.ru" от дуета Алексея Попова и Константина Горелова.

Но самое невероятное представление про картинки устроили Анатолий Лебедев и Григорий Бакунов (aka bobuk) в своем выступлении "Решение проблем высоких нагрузок на примере проекта Яндекс.Фотки". Доклад превратили в плохо отрепетированное шоу, с фаллическими и не очень картинками на схеме frontend'ов, backend'ов и storages – что озадачило зал окончательно. Всё-таки яндексоидам свойственна некая инфернальная весёлость, рассчитанная на то, что окружающие будут им терпеливо подыгрывать, создавая образ бесконечно изливающегося дружелюбия и открытости. Корпоративный стиль?

Конечно же, было и про поиск – в этом году от Mail.Ru: "Оптимизация производительности поисковой системы с учетом ранжирования" (Михаил Костин) и от Рамблера: "Универсальный парсер вертикального поиска" (Протасов Сергей, Виктор Плошихин). Зачем вообще вертикальный поиск "Рамблеру", который скоро будет «усилен» Googl'ом – неясно. Впрочем, может и минует их чаша сия.

Что вообще было нового и удивительного? Кроме прижившихся лоточников, стали наливать приличный кофе (за деньги, правда). Доклады показывались на плазме, что наконец-то позволило зрителям видеть программный код в презентациях.

А в целом – всё прошло нормально. Но читайте же далее про вторую часть марлезонского балета.

HIGHLOAD++: 6-7 ОКТЯБРЯ

Спустя ровно две недели история повторилась. Участники/делегаты, которые уже побывали на "РИТ: Высокие нагрузки", испытывали острое чувство дежа-вю. То же "Инфропространство", те же надписи про "load high" - даже идентичное меню обедов. Кстати про обеды – соответствующая секция в программе называлась "хавчик", и по мнению некоторых циников, была самая интересная. Но смеем заверить, это вовсе не так.

Секции обеих конференций были схожи – что неудивительно. Особенно забавно, что главы обоих лагерей – Рогожин и Бунин - были в программных комитетах друг у друга. Более того, часть докладчиков читали одно и то же на обеих конференциях.

Но к делу. Сначала было несколько выступлений, посвящённых практической теории. Алексей Рыбак (Badoo.com) в докладе "Разработка проектов с высокой посещаемостью" широко, но и детально, рассказал для начинающих про типичные проблемы и не менее типичные решения в такого рода проектах.

Сергей Скворцов (Мастерхост) в докладе "RESTful архитектура для масштабируемых систем" рассказал про REST, его корни и его великую историю, равно как и его священную войну с SOAP и WS-*. Зал, в целом, слышал про REST впервые - подобно Тартюфу, узнавшему, что он 40 лет говорил прозой. Оказалось, что многие и не знали теоретической основы всего Web'а как такового.

Снова про базы данных

Секция про базы данных была одной из самых больших. Противостояние PostgreSQL vs. MySQL было особенно наглядным. Команда из «Постгресмен» пригласила двух зарубежных гостей.

Аско Оя из Skype c докладом "Skype Distributed Database Architecture" рассказывал про то, как всё в Skype работает на PostgreSQL. Их вклад в эту БД действительно потрясяющ и значителен: раскрытые ими разработки skytools, pl/proxy, pgbouncer – используются в большом числе проектов. Эстонский английский был чудовищен для слуха, но Аско отвечал на вопросы зала с хорошим чувством юмора и детальными подробностями.

Английский язык Гевина Роя был, напротив, отличный. В докладе "Архитектура MyYearBook.com Масштабирование PostgreSQL: огонь и медные трубы" был показан процесс роста системы – от самого начала становления 3-ей социальной сети США, ориентированной чётко на тинейджеров (денежная, однако, ниша у них там). Были поучающие истории о росте нагрузки и истории эксплуатации.

Ну и конечно Николай Самохвалов из "Постгресмен" рассказал про "Производительность PostgreSQL".

Про MySQL также было три доклада. Петр Зайцев из Percona (доклад "Масштабирование InnoDB. Плагины InnoDB. MySQL Storage Engines: InnoDB, Falcon, Maria, специальные движки") по традиции, начатой на РИТ-2008, рассказал, какие есть варианты storage engines для MySQL. Оказывается, как и ранее, ничего лучше InnoDB всё ещё нет. Но даже с InnoDB заставить MySQL работать нормально – тоже требуются особые умения, о чём Пётр откровенно сказал в кулуарах.

Аналогично, нет ничего нового и в кластерах. Григорий Рубцов (SQLInfo) в докладе "Архитектура MySQL Cluster" честно признался, что добавлять ноды в MySQL кластер "на лету" всё ещё нельзя.

И, наконец, один из разработчиков MySQL, Константин Осипов, поведал про "Масштабирование СУБД MySQL на системах с многоядерной архитектурой".

Стенка на стенку адепты MySQL и PostgreSQL друг на друга не шли. А жаль, было бы весело.

Докладчики из Oracle рассказали про TimesTen – их новую memory DB, которая есть "Oracle но без ненужных фич", и потому работает в 10-15 раз быстрее (но всё в RAM). Некую живую демонстрацию им показать так и не удалось, но и интерес многих слушателей и без этого быстро увял после объявления стоимости продукта.

Отличный доклад был у евангелиста Simone Brunozzi – "Хостинг Amazon EC2". Cloud computing вполне может стать будущим хостинга - а Amazon недавно подстегнул интерес к EC2 и S3, снизив цены. В том числе про Amazon S3 рассказывал затем Дмитрий Тупицын в докладе "Amazon Web Services: инструменты обеспечения масштабируемости и отказоустойчивости". Но, признаться, доклад вышел поскучнее предыдущего.

Про рекламу

Александр Быков в докладе "Архитектура рекламной системы Mail.ru" поведал про работающий уже лет 10 как рекламный движок внутри Mail.ru. Рассказ был очень конкретный, что вызвало неудовольствие ряда публики, привыкшей в стиле участников ток-шоу задавать вопросы, не понимая ничего в предмете, но показывая себя и высказывая мнение. А тут не удалось, вот засада.

"Бегун" проявился аж в трёх докладах.

Александра Панкова, говорившего про хранение и быструю отдачу миллионов уникальных объектов на примере подбора объявлений на партнерских сайтах "Бегуна", замучали вопросами совсем не по докладу. Например, один вопрошатель из зала в стиле conspicuous consumption задал вопрос "я 4 года назад покупал себе BMW, так вот мне до сих пор Бегун показывает такие баннеры". Ответ был "да, мы давно об этом знаем, наверное исправим, и вообще, этот код не я писал!".

Докладчики "Бегуна" проявили удивительную закрытость, наотрез отказавшись назвать число серверов, и даже размер кэша в memcached. Чего-то стесняются? Интересно, делал ли Google технический аудит перед покупкой "Бегуна" (которая, кстати, вот-вот может сорваться)?

Не менее удивительны были иные фразы Панкова "мы тоже пишем свою файловую систему - сейчас их только ленивый не пишет". В том году SUP это вещал, в этом "Бегун"... Кажется, кто-то не умеет готовить "обычные" file systems (FS), смело бросаясь ваять свой велосипед.

Кстати про FS. Было два тематических доклада - от Виктора Латушкина (Sun) "Файловая система ZFS" и Marian Marinov "Building clusters with GlusterFS" - в жанре "покупайте наших слонов!". Про своих слонов же вещали и вендоры – Citrix (про XenServer и NetScaler), Hewlett Packard.

Блиц-доклады

Секция блиц-докладов - с неизменным конферансье Алексеем Капрановым ("Рамблер") - это интересная штука. Условия - рассказать нечто, уложившись в 5 минут. Некоторые блиц-доклады бывают интереснее и содержательнее занудных докладов на 60 минут иных рассказчиков. Что запомнилось: Игорь Сысоев рассказал про "freebsd'шную магию" (как быстро отдавать видео через nginx), а Фил Кулин показал на своём ноуте Plan9.

Вообще, ребята из "Дремучего леса" падки на сыроватые инновации - Александр Дубовиков представил "Erlang - лекарство при высоких нагрузках", красочно расписав все прелести этого языка. Кого-то, наверное, это зацепило.

Много было про кэш, особенно про memcached – только ленивый не рассказал про то, как это применять. Что, впрочем, не умаляет практической ценности этих докладов.

Результаты

На обеих конференциях видеосъёмку осуществляла компания Smotri.com, материалы обещали выложить, но пока есть только видео с Highload++. Интересно, что видео с РИТ-2008 было удалено с rutube.ru с загадочным пояснением "на переоцифровку". Кстати, у Бунина на сайте было применено замечательное новшество – по мере чтения докладов, исходная презентация публиковалась на сайте (точнее, заливалась на slideshare.net).

Очень жаль, что до сих пор недоступны презентации с конференции "РИТ: "Высокие нагрузки" (кроме трех). Хотя бунинский Highload++ проходил позже, материалы докладов они уже выложили (на сайте и отдельным архивом).

Программа, доклады, рассказчики – это замечательно, но куда интереснее кулуарные обсуждения. В коридорах и прочих закутках ведутся зачастую не менее содержательные беседы и дискуссии - у каждого есть шанс докопаться до докладчика, замучав вопросами, да и просто пообщаться на специфические темы.

Хорошо или плохо, что конференции раздвоились? Программы отличались, но без особого разрыва по качеству. Если бы из двух конференций сделать одну, на 3 дня – было бы идеально. Организация и там и там была получше прошлогодней, хотя студенческую манеру некоторых докладчиков писать презентации в последний день стоит пресекать. И более того, для новичков проводить генеральную репетицию: люди тривиально не умеют выступать на публике.

А "гонка вооружений" видимо будет продолжаться. 8-9 декабря состоится конференция "РИТ: Клиентские технологии". Будет ли у Бунина ответ Чемберлену в виде "ClientSide 2008" - пока неясно.

Апофеоз противостояния следует ожидать весной 2009, когда мы либо увидим два клона - "РИТ" и "РИТ++" - либо только один.

разделы: репортаж | Софт

Другие репортажи

Последние комментарии
об издании | тур по сайту | подписки и RSS | вопросы и ответы | размещение рекламы | наши контакты | алфавитный указатель

Copyright © 2001-2020 «Вебпланета». При перепечатке ссылка на «Вебпланету» обязательна.

хостинг от .masterhost