Состояние и тенденции инфраструктуры Рунета

Региональный Сетевой Информационный Центр (RU-CENTER) представил Бюллетень «Статистические и информационно-аналитические исследования состояния и основных тенденций развития инфраструктуры российского сегмента Интернета»

Выпуск 2. Хостинг через призму DNS

Введение

Российский сегмент Интернета продолжает развиваться. Одним из показателей этого развития является увеличение числа зарегистрированных в зоне RU доменов. За первую половину 2005 года это число увеличилось с 305319 (31 декабря 2004 года) до 367910 (30 июня 2005). Таким образом, прирост составил 62591 доменов или 21% от уровня 2004 года. При этом продолжает снижаться число владельцев доменов — юридических лиц. К середине 2005 года их число снизилось до 47% (три года назад их доля достигала 60%). Увеличилось число зарубежных владельцев доменов в зоне RU с 3% до 4% от общего числа зарегистрированных доменов.

В первой половине 2005 года в общем объеме регистраций незначительно сократилась доля Москвы и составила 52,02%. Доля Санкт-Петербурга за полгода практически не изменилась, застыв на отметке 8,25%. Российские регионы (за исключением Московской области, на долю которой приходится 6,09% зарегистрированных доменов) показывают скромные темпы прироста, и (как и раньше) существенно отстают от столиц.

Число аккредитованных регистраторов доменов в зоне RU достигло десяти, лидером по-прежнему остается компания RU-CENTER, на долю которой приходится свыше 68% всех регистраций доменов второго уровня в домене RU.

За тот же промежуток времени выросло и число делегированных доменов в зоне RU. За первую половину 2005 года это число увеличилось с 271629 (31 декабря 2004 года) до 326027 (30 июня 2005). Таким образом, прирост составил 54398 доменов или 20% от уровня 2004 года.

Количество серверов, которые поддерживают делегированные в зоне RU домены, также изменилось. Если на конец 2004 года оно составляло 37898 серверов, то на 30 июня 2005 года эта цифра достигла уровня 41739 серверов. Прирост составил 3841 сервер или 10% от уровня 31 декабря 2004 года.

Таким образом, если на конец 2004 года в среднем на один сервер приходилось 8,06 доменов, то к середине 2005 года число доменов на одном сервере выросло до величины 8,81. Тот же параметр на 31 декабря 2003 года был равен 6,68 (213808/31991), а на 30 июня 2004 года — 7,51 (256004/34108).

Рис.1. Рост среднего числа доменов на одном сервере для авторитативных серверов зоны RU за период с 31 декабря 2003 года по 30 июня 2005 года.

Рисунок 1 наглядно демонстрирует тенденцию увеличения среднего числа доменов на одном авторитативном сервере зоны RU. Но домен — это, прежде всего, сайт. Концентрация сайтов в одном месте — это развитие комплекса услуг хостинга.

Хостинг. Определение и историческая справка

Для начала следует определиться с самим термином «хостинг». Под хостингом мы будем подразумевать сервис, который предоставляет возможность интернет-пользователям размещать свою информацию на серверах в Интернете и предоставлять к ней доступ через World Wide Web.

Хостинг-провайдеры — это компании, которые предоставляют услуги хостинга, а именно место на своем сервере для его использования клиентами и соединение с Интернетом для этого сервера. Хостинг-провайдеры могут также предоставить свои дата-центры для размещения серверов клиентов и обеспечить их подключение к Интернету.

Набор услуг, которые могут составлять хостинг, не ограничивается только предоставлением места на веб-сервере. Он может включать в себя возможность организации почтовых ящиков клиентов, организацию баз данных и доступ к ним, видеотрансляции и т.п.

До 1991 года говорить о хостинге, а точнее веб-хостинге, не представлялось возможным.
Тим Бернерс Ли опубликовал основные принципы реализации распределенной гипертекстовой системы для Международного Ядерного Центра (CERN), которую мы сегодня знаем как «World Wide Web» или Всемирная паутина, или просто — Web, только в 1989. Два с половиной года понадобилось для создания программного обеспечения, разработки спецификаций протоколов и прочие организационные вопросы.

Хостинг — это продукт World Wide Web, который стал бурно развиваться только после появления в 1993 году браузера Mosaic. До 1995 года согласно данным Merit Network Inc., которая в то время занималась эксплуатацией NSFNET, объем FTP-трафика все еще превышал объем HTTP-трафика в Интернете.

Видимо, правильнее всего отнести появление хостинга, как интернет-сервиса, к середине 1994 года. Именно в это время (согласно данным Кейт Линч) появился термин ISP — Internet Service Privider. До этого момента примерно то же самое обозначали словосочетанием «Public Access Unix». Неудивительно, что свободно распространяемые ОС до сих пор являются основной платформой любого хостинга.

Кроме того, в 1994 году стало возможным использовать модемы 28,800, появились термины «web page» и «search engine», были учреждены Yahoo! и Netscape.

Хотя ISP предоставляли в основном услуги подключения к сети, тем не менее, они также начали предоставлять и услуги размещения данных на своих ресурсах.

Российский хостинг, как самостоятельную интернет-услугу, видимо, можно рассматривать с 2000 года, когда появились компании, предоставляющие только хостинг и не предоставляющие услуги подключения конечного пользователя к Интернету.

К 2005 году этот сегмент рынка интернет-услуг был достаточно сформирован. Серверы доменных имен хостинг-провайдеров на 1 января 2005 года поддерживали 64,02 % делегированных в зоне RU доменов.

Развитие российского хостинга в первой половине 2005 года

Так уж сложилось, что степень развития рынка услуг российского хостинга принято оценивать по числу доменов, делегированных в зоне RU, которые поддерживаются серверами доменных имен хостинг-провайдеров. На самом деле сайтов клиентов у хостинг-провайдера может быть и больше, и меньше. Однако количество доменов из зоны RU, для которых серверы хостинг-провайдера являются авторитативными, достаточно хорошо коррелирует с реальным количеством клиентов и правильно отображает положение дел на рынке хостинга.

Для определенности будем считать, что сервером хостинг-провайдера является сервер, который является авторитативным для 100 и более доменов, делегированных в зоне RU. Таких серверов в зоне RU на 1 июля 2005 года было всего 673 (из 41790, т.е. 1,61%). Если учесть, что в среднем один хостинг-провайдер использует 2 сервера доменных имен для обслуживания своих клиентов, то число хостинг-провайдеров, обслуживающих российские домены, должно находиться в интервале от 300 до 350 компаний.

В рамках проекта stat.nic.ru осуществляется мониторинг первых 200 серверов, которые поддерживают наибольшее число доменов из зоны RU. На 1 июля 2005 года каждый из этих серверов поддерживал от 334 доменов и более.

Для того чтобы продемонстрировать масштабы российского хостинга, приведем несколько цифр:

· На 1 января 2005 года серверы из группы топ-200 поддерживали 174387 доменов, что составляло 64,2% от общего числа делегированных на тот момент в зоне RU доменов (271629 шт.)

· На 30 июня 2005 года серверы из группы топ-200 поддерживали 207465 доменов, что составляло 63,63% от общего числа делегированных на тот момент в зоне RU доменов (326027 шт.)

Для наглядности проследим динамику изменения числа доменов на серверах крупнейших российских хостинг-провайдеров, которые входят в первую десятку списка топ-200 серверов проекта stat.nic.ru.

Рис.2. Рост числа доменов на 7 серверах из первой десятки списка топ-200
проекта компании RU-CENTER stat.nic.ru

Графики на рисунке 2 интересны по нескольким причинам. Во-первых, график демонстрирует смену лидера на рынке хостинга.

Во-вторых, «старые» хостинг-провайдеры (которые появились раньше 2000 года), например, Zenon демонстрируют линейный рост числа поддерживаемых на их серверах доменов, что существенно хуже динамики регистрации доменов в зоне RU, и даже хуже динамики прироста числа обслуживаемых доменов на серверах компании RU-CENTER, которая хостинг-провайдером не является.

В-третьих, кроме Masterhost, хорошие темпы роста показывает RBC. Особенно в апреле-мае текущего года. Любопытно, что это происходит на фоне сезонного спада темпов регистрации новых доменов. К этому парадоксу мы вернемся чуть позже.

В-четвертых, «новые» хостинг-провайдеры (Masterhost, Agava, RBC) за исключением последних двух месяцев увеличивают число обслуживаемых доменов, следуя одной и той же закономерности. Все они за период с 1 апреля 2003 по 1 июля 2005 увеличили число обслуживаемых доменов примерно в 5 раз.

Теперь определим источники роста числа обслуживаемых доменов. Их два: новые домены и миграция доменов с других хостинг-площадок.

Остановимся на миграции. Всего за первую половину 2005 года серверы сменило 27330 доменов. За это же время в зоне RU было делегировано 54398 новых доменов. Таким образом, миграция составила 50,24% от делегирования вновь зарегистрированных доменов. Это может означать, что в среднем примерно одна треть роста клиентской базы хостинг-провайдеров обеспечивается за счет привлечения клиентов конкурентов. В целом миграция в первой половине 2005 года составляет примерно 10% от общего числа делегированных доменов в зоне RU на 1 января 2005 года.

Рассмотрим более детально миграцию доменов между серверами из списка топ-200 проекта stat.nic.ru. Данные представлены в таблицах 1 и 2.

Таблица 1. «Собиратели земель русских»

Лидером среди «собирателей» является Masterhost, в этом же списке мы видим RBC, а также серверы, которые используются для парковки доменов на продажу.

Таблица 2. «Лидеры исхода»

Как и следовало ожидать, среди лидеров потерь — Valuehost и Highway.

Абсолютные цифры интересны, но они не отражают всей полноты картины. То, что для небольшого хостинг-провайдера является крупной победой или катастрофой, для компании побольше абсолютно несущественно. Более того, суточная амплитуда миграции у крупных провайдеров может составлять сотни доменов. Этой «роскоши» не могут себе позволить небольшие провайдеры.
В таблице 3 представлены данные миграции доменов по некоторым серверам из списка топ-200 проекта stat.nic.ru за первую половину 2005 года в соотношении с общим числом доменов, поддерживаемых каждым из серверов на 1 января 2005 года.

Таблица 3. Наиболее интересные (с точки зрения миграции доменов) серверы:

Как видно из таблицы 3, RBC и Masterhost и здесь проявляют себя в качестве лидеров. Доля миграции в приросте числа обслуживаемых доменов у этих компаний составляет 30% и 17% соответственно. Рост числа обслуживаемых доменов у MTW достигается только за счет новых доменов, т.к. баланс между потерями и приобретениями практически равен 0.

Остальные крупные провайдеры находятся в зоне отрицательного баланса. Потери Highway составляют 21%, Valuehost — 17%, Incru — 12% от числа поддерживаемых ими доменов на 1 января 2005 года (полную таблицу можно получить, отправив запрос по адрес info@.nic.ru).

Все эти цифры говорят о жесткой конкуренции на рынке хостинга. Следует также иметь в виду, что в нашей таблице не учтена миграция внутри рассматриваемого периода. Домен за полгода мог сменить несколько серверов. Особой «подвижностью» отличаются домены, предназначенные для продажи. Причем разом могут «сняться и переехать» на новое место несколько сотен доменов. Для мелкого хостера работа с такими доменами — достаточно рискованное занятие.

Мигрировать могут не только домены на продажу.

Таблица 4. Кто отдал домены RBC

В таблице 4 приведен список наиболее «щедрых» серверов, которые поделились доменами с серверами RBC. Лидирует хостинг-компания «Регтайм», за ним идет Valuehost, Masterhost и далее по порядку величины потерь. «Благотворительность» первых двух компаний несопоставима с щедростью остальных.

DNS-трафик пользователей хостинг-провайдеров

Из определения хостинга следует, что хостин-провайдер размещает у себя чужие информационные ресурсы и предоставляет доступ к ним из Интернета. Каждый информационный ресурс имеет свое собственное доменное имя. Нас интересуют только те доменные имена, которые расположены в зоне RU. Пользователи этих ресурсов обращаются к ним, указывая в своих запросах доменные имена сайтов, адреса электронной почты и т.п.

С точки зрения технологии это означает, что при каждом обращении пользователя к сайту или при отправлении письма по электронной почте, происходит обращение к системе DNS. Запросы каждого пользователя Интернета обслуживает один или несколько кэширующих серверов доменных имен. Собственно, эти серверы и выполняют поиск соответствия между доменным именем и IP-адресом, необходимым пользователю для установления соединения с требуемым ему информационным ресурсом.

Сам поиск соответствия представляет собой последовательность обращений к серверам доменных имен, начиная с корневых серверов и заканчивая авторитативными серверами домена, т.е. серверами хостинг-провайдера. В промежутке между обращением к корневому серверу и обращением к авторитативному серверу искомого домена происходит обращение к серверам, поддерживающим зону российского домена RU.

На самом деле не каждый запрос пользователя к информационному ресурсу порождает весь цикл опроса серверов доменных имен. Кэширующий сервер потому и называется «кэширующим», что умеет «помнить» некоторое время предыдущие запросы пользователя. Если приходит запрос, на который у кэширующего сервера уже есть ответ, то сервер не опрашивает другие серверы, а просто отвечает сам.

Время, на которое кэширующий сервер запоминает соответствия между доменным именем и IP-адресом, называется «временем жизни записи описания ресурса» или TTL (Resource Record Time To Live). Оно устанавливается техническим администратором домена, в котором расположен искомый информационный ресурс.

На 1 июля 2005 года зону домена RU поддерживали 8 серверов доменных имен, 4 из которых находились под управлением РосНИИРОС. Проведенные весной 2005 года исследования нагрузок на эти серверы показали, что 90% всех запросов, направленных через различные кэширующие серверы российского сегмента Интернета, обслуживаются серверами РосНИИРОС.

В рамках вышеупомянутых исследований были проанализированы запросы, которые обрабатывают авторитативные серверы зоны RU за сутки (26–27 апреля 2005 года). При этом обращалось внимание на два момента:

— число запросов к домену;
— число автономных систем, из которых опрашивался домен.

Первый параметр показывает популярность домена, хотя понятно, что для доменов с различными TTL записей описания ресурсов, мы заведомо получим различную частоту обращения, но, тем не менее, качественные оценки сделать можно.

Второй параметр характеризует широту аудитории домена, потому что каждый крупный ISP — это фактически одна или несколько автономных систем (об распределении адресного пространства и автономных системах более подробно читайте в первом выпуске нашего бюллетеня).

Таблица 5. Активность пользователей автономных систем (26–27 апреля 2005 года)

В таблице 5 приведены наиболее «активные» автономные системы. Как хорошо видно, они совпадают с наиболее крупными российскими ISP.

Таблица 6. Домены, которые посещают пользователи 700 и более российских автономных систем

В таблице 6 представлены только те домены, которые посещают пользователи 700 и более российских автономных систем. Фактически это домены, которые обеспечивают наиболее полный территориальный охват российской аудитории. Не случайно, что в этом списке можно найти практически все наиболее популярные домены.

В рамках данного выпуска бюллетеня мы рассмотрим только те результаты этих исследований, которые относятся к хостинг-провайдерам, а точнее только к тем, кто возглавляет список топ-200 проекта stat.nic.ru.

MASTERHOST

Время кэширования записей домена masterhost.ru составляет 15 минут. Это касается и адресных записей, и записей описания почтовых шлюзов, и записей описания серверов доменных имен.

Домен Masterhost — один из самых популярных в Рунете. Его запрашивали пользователи 729 российских автономных систем. По этому показателю он занял 11-е место среди всех российских доменов.

За сутки наиболее часто пользователи Рунета спрашивали следующие доменные имена:

Таблица 7. Наиболее популярные запросы к домену masterhost.ru. (26–27 апреля 2005 года)

Из этого списка понятно, что, во-первых, домены разнесены по двум группам серверов доменных имен. Наиболее популярные ресурсы поддерживаются парой ns4.masterhost.ru — ns5.masterhost.ru. Во-вторых, частота обращений к услугам электронной почты, предоставляемым в домене masterhost, сопоставима с частотой обращений к доменам, поддерживаемым серверами ns4.masterhost.ru и ns5.masterhost.ru (возможно, что это «отголоски» спама). В-третьих, частота обращений к электронной почте сравнима с частотой показа рекламных баннеров самого Masterhost на своих площадках.

VALUEHOST

Время кэширования записей домена valuehost.ru составляет 30 минут. Адресные записи почтовых шлюзов кэшируются на час, однако сами MX записи кэшируются только на полчаса.

Адресные записи из домена valuehost.ru. за исследуемый период запросили пользователи 703 российских автономных систем (60 место среди всех российских доменов), что является очень высоким показателем.

Таблица 8. Наиболее популярные запросы к домену valuehost.ru (26–27 апреля 2004 года)

Частота обращений к ресурсам самого Valuehost сравнима с частотой обращений к ресурсам Masterhost — время кэширования в два раза больше, частота в два раза меньше. Лидирует по числу обращений (как и в случае с Masterhost) электронная почта.

По числу обращений к серверам доменных имен, которые поддерживают в том числе и домены клиентов, Valuehost уступает первой группе серверов Masterhost (ns4.masterhost.ru., ns5.masterhost.ru.). Но он вполне сопоставим со второй группой серверов (ns.masterhost.ru, ns1.masterhost.ru, ns2, masterhost.ru) Masterhost, а если учесть время кэширования, то даже и более популярен.

RBC

Оценивать хостинг RBC по статистике обращений к самому домену сложно, т.к. в нем находятся все основные информационные ресурсы холдинга. По охвату российских автономных систем домен rbc.ru занимает 56 место (704 автономные системы). Любопытно, что utro.ru (710), pochta.ru (737), rbcmedia.ru (723) охватывали на момент исследования большее число автономных систем, чем rbc.ru.

Время кэширования соответствия между между именем rbc.ru и IP-адресом равно одной минуте (Round Robin алгоритм перераспределяет нагрузку). Однако время кэширования записи сервера доменных имен равно одному часу, поэтому на авторитативные серверы зоны RU запросы с одного и того же кэширующего сервера доменных имен должны приходить не раньше, чем один раз за час.

Таблица 9. Наиболее популярные запросы к домену rbc.ru (26–27 апреля 2004 года)

Как видно из таблицы, частота обращений к домену RBC сравнима с частотой обращений к доменам «чистых» провайдеров. С точки зрения хостинга нас интересует только частота обращений к серверам доменных имен xns1.rbc.ru и xns2.rbc.ru. Эта частота существенно (с учетом времени кэширования) выше, чем частота обращений к серверам Valuehost и сравнима с частотой «элитных» серверов Masterhost.

MTW

Сравнивать показатели mtw.ru и других хостинг-провайдеров не очень корректно, т.к. время кэширования для этого домена равно 12 часам. Но если учесть, что большинство доменов, поддерживаемых любым хостинг-провайдером, не относится к категории высокопосещаемых, то с некоторой натяжкой мы попробуем их сравнить, тем более что охват российских автономных систем у MTW уступает рассмотренным выше доменам — 609 автономных систем.

Таблица 10. Наиболее популярные запросы к домену mtw.ru (26–27 апреля 2004 года)

Мы видим типичную картину. Доминирует электронная почта, а частота обращений к серверам доменных имен на уровне других хостинг-провайдеров, уже рассмотренных нами.

INFOBOX

Серверы доменных имен этого провайдера (согласно данным stat.nic.ru) имели на момент проведения исследования доменные имена в зоне ORG, а не в зоне RU. Тем не менее, по числу обращений этот домен занимает одно из первых мест среди всех российских доменов (7 место, уступая только счетчикам и рекламным площадкам). По охвату автономных систем (668) немного не дотягивает до лидера Masterhost и почти совпадает с Valuehost.

Время кэширования записей описания ресурсов данного домена составляло 10 минут. А двух из 5 почтовых шлюзов — 1 час.

Таблица 11. Наиболее популярные запросы к домену infobox.ru (26–27 апреля 2004 года)

Как видно из приведенной таблицы, число обращений к smpt серверу (сервер почтового транспортного агента) на порядок больше, чем число обращений к «часовым» почтовым шлюзам, что вполне можно отнести на время кэширования адресных записей последних.

Доминируют среди обращений к домену infobox.ru обращения к сервису электронной почты, что неудивительно. Даже с поправкой на время кэширования соответствующих записей описания ресурсов цифры infobox впечатляют.

Самое любопытное, что у Infobox нет бесплатной почты, т.е. вся почтовая активность так или иначе оплачивается. Для сравнения аналогичная по настройкам DNS бесплатная почта от RBC — pochta.ru (самый популярный по числу обращений «почтовый» домен) обладает следующими характеристиками:

— по числу обращений к домену pochta.ru занимает 10 место, уступая infobox.ru;
— по охвату автономных систем pochta.ru занимает 12 место (737 AS), опережая infobox.ru.

Правда, такое сравнение не совсем корректно, т.к. получить бесплатный почтовый ящик в RBC можно и на других доменах. С другой стороны, и почта Infobox может предлагаться в пакете услуг хостинга для поддерживаемых в Infobox доменов клиентов.

Заключение

Российский хостинг — это динамичный, высококонкурентный, стремительно развивающийся сегмент российского интернет-рынка. Более 60% всех российских доменов поддерживается хостинг-провайдерами.

Пользователи российского хостинга мобильны и склонны мигрировать с одних хостинг-площадок на другие. Удержание клиентов является актуальной проблемой любого хостинг-провайдера.

Хостинг-площадки демонстрируют широкий охват российской аудитории, что подтверждается высокими показателями охвата пользователей российских автономных систем.

По охвату пользователей российских автономных систем ведущие российские хостинг- площадки не очень сильно уступают баннерообменным системам и другим рекламным интернет-площадкам, что говорит об их высоком потенциале и на этом сегменте рынка.

Другие