FeedBurner жжет поисковых роботов

комментарии (7)
версия для печати

На днях сервис FeedBurner, позволяющий владельцам сайтов и блогов управлять своими RSS-потоками и зарабатывать на размещении рекламы в них, установил запрет на индексацию фидов своих пользователей через файл robots.txt. В результате ряд российских блоггеров, пользующихся сервисом FeedBurner для самопродвижения, вылетели из поиска "Яндекса" по блогам.

Причины введения таких суровых мер в FeedBurner пока неизвестны. Эксперты "Вебпланеты", как принято, выдвигают две версии. Возвышенная версия говорит о том, что недавно FeedBurner выкатил новую систему статистики для пользователей, и возможно, решил почистить эту статистику от шума, создаваемого ботами поисковиков.

Другая, более простая версия, состоит в том, что сервис, где обслуживается более полумиллиона RSS-потоков, испытывает большие нагрузки от поисковых роботов, которые к тому же крадут контент для собственных целей. Эту проблему мы освещали еще в сентябре прошлого года. Подобный запрет робопауков вызвал много шума в 2005 году, когда это сделал владелец сайта для веб-мастеров WebmasterWorld.com Бретт Тэбке. А в этом году уже звучали предложения ограничить сканирование ботами RSS-потоков на Bloglines.com.

Возможно, обсуждение этих идей в форуме FeedBurner вслед за жалобой одного из пользователей и сподвигло владельцев сервиса резко отбрить ботов со своего сайта. Правда, подобный способ защиты не особенно эффективен, так как не все робопауки соблюдают соглашение robots.txt.

Решил не соблюдать его и поиск "Яндекса" по блогам (blog.yandex.ru) - который, напомним, точно так же индексирует "Живые журналы" даже в том случае, если пользователь поставил запрет на индексирование. Вот что сообщил "Вебпланете" Роман Иванов, руководитель отдела коммуникационных сервисов "Яндекса":

"Действительно, FeedBurner.com вчера или позавчера заблокировал через robots.txt поисковых роботов на сайте feeds.feedburner.com, через который транслируются все потоки его пользователей. Это привело к тому, что Яндекс.Блоги, которые тоже ориентируются на стандарт robots.txt, перестали выдавать блоги, транслируемые через FeedBurner, в результатах поиска.

Сейчас мы ввели временный обход robots.txt для сервиса FeedBurner, чтобы ни в чём не повинные блоггеры, пользующиеся их услугами, не постарадали. Вероятно, разработчики FeedBurner хотели ограничить доступ для роботов обычных поисковых систем, но не подумали, что поисковые системы по блогам тоже могут руководствоваться предписаниями robots.txt."

Другие новости