Самое горячее: Европа признала соцсети опасными (50); "Фобос-Грунт" уже не спасти (11); Мобильники убивают детей (26); ЕЩЕ >>
РАЗДЕЛЫ
Архив
« июнь 2020  
пн вт ср чт пт сб вс
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30          
19.06.2009 20:48 | пишет Гость | ссылка

И эту компания называют лучшей среди IT! В этом смысле браво местному IT!

19.06.2009 21:35 | пишет Йцукен | ссылка

Дикие люди. Не знают, что такое robots.txt и панель вебмастера.

19.06.2009 22:46 | пишет Леха Андреев | ссылка

У них есть robots.txt. Но если робот заваливает сайт, то это говенный робот, а вовсе не сайт виноват. Потому что сайты делаются для людей, а не для роботов.

Исключения составляют сайты оптимизаторов. Оптимизаторы не являются людьми по определению: они всего лишь биомасса на службе робота. Но это не значит, что робот имеет право переносить отношения со своей рабской биомассой на всех нормальных людей.

20.06.2009 10:43 | пишет Гость | ссылка

без поисковых систем - о твоем сайте узнают единицы и нахрен никому не будет нужен.. так что не вякай..
а сайты оптимизаторов - ни что иное как паразитирование на несовершенстве поисковых машин.. именно из за них в инете все труднее найти нужную инфу..

20.06.2009 15:56 | пишет Леха Андреев | ссылка

Детка, мой сайт появился в Сети задолго до появления Гугла и Яндекса.
И его видело достаточно народу - без поисковиков.
А если ты в то время ходил под стол, это твоя проблема.

22.06.2009 09:47 | пишет Другой Гость | ссылка

Детка, в 1996 твой сайт был элементом умственной мастурбации.

19.06.2009 21:37 | пишет Йцукен | ссылка

Автор, поправьте заголовок. Это никак не DDOS, максимум DoS-атака.

19.06.2009 22:37 | пишет Леха Андреев | ссылка

В натуре, поправили. Хотя если боты ходят с разных IP, это вполне себе distributed.

20.06.2009 00:09 | пишет Гость | ссылка

"Александр Садовский заявил, что это связано всего лишь с переносом обхода сайтов ботами с ночного времени на дневное, и назвал DoS-защиту "Мастерхоста" несложной - дескать, это она ошиблась, а вовсе не "Яндекс".

А по ссылке видно, что руководство Мастерхоста заявляло то же самое, и извинилось перед клиентами за недопущение Яндекса на сайте.

Откуда "дескать"? Андреев, вы уже круче мастехостовцев разбираетесь в хостинге?

20.06.2009 01:04 | пишет Леха Андреев | ссылка

> А по ссылке видно

Нет, по ссылке этого не видно. Там видна только цитата Садовского. И никакого "то же самое" от Мастерхоста там нет.

Зато там есть слова специалиста по хостингу Фила Кулина, который комментирует слова Садовского:

"Это и вообще былинный отказ. Все прошлые попытки договориться успехом не увенчались".

20.06.2009 22:45 | пишет Гость | ссылка

Четырехглазик, купи себе еще пару стеклышек:

"После того, как руководство "Мастерхоста" узнало о проблеме из закрытой рассылки ЕЖЕ, по словам Сергея Кошкина, с ним сразу же связались представители компании, сообщили о внесенных исправлениях и извинились за доставленные неудобства"

Мастерхост исправился и извинился. Чуешь чем пахнет?

То что ты готов отсосать Кулину, который ни хера не делает, только свистит про свою гильдию, как и любому другому чуваку, написавшему какую-то херь в robots.txt (можешь посмотреть что с ним стало), уже известно. Эксгибиционизмом больше заниматься не надо

21.06.2009 01:24 | пишет Леха Андреев | ссылка

Это ты глаза разуй, ботофил. Чего ты мне цитируешь-то? Перепев Рабиновича со слов Кошкина, вольно пересказавшего ответ саппорта?

Естественно, Мастерхост извинился перед своими клиентами. Но я нигде не видел слов Мастерхоста о том, что у них "примитивная защита от DoS". Это версия товарища Садовского из Яндекса. Очевидно, что сам Яндекс не любит извиняться. Зато искусство отмазок у них поставлено на небывалую высоту.

И кстати, основная тема новости - это бот YandexSomething, долбивший два сайта со скоростью 20 запросов в секунду. Чертовски интересно услышать версию Садовского на этот раз. Что-то типа "мы всего лишь перенесли время обхода с утреннего на вечернее, чтобы дать нашим пользователям самые свежие новости".

Ага, в справочнике компаний они новости нашли. Несколько мегабайт сразу. В девять вечера.

21.06.2009 18:17 | пишет Гость | ссылка

А вы у Садовского спрашивали объяснение-то, ботофобы херовы?

22.06.2009 14:37 | пишет Гость | ссылка

На момент публикации этого комментария, комментария про запрос комментария не было получено.

Товарищ еврей, вы хотя бы лотерейный билет купите, ога?

20.06.2009 01:18 | пишет Гость | ссылка

подтверждаю - они в Яндексе с дуба рухнули. Программировать "лучщая интернет компания России" - не умеет

Кстати - боты Рамблер - не лучще.

20.06.2009 09:14 | пишет chereshov.livejournal.com | ссылка

А помойму это тупой пиар компании SmartWeb.
Которая действительно не знает что такое роботс, никогда бы свои сайты не доверл бы такой компании...

20.06.2009 10:46 | пишет Гость | ссылка

так и есть..
кучка неудачников на дешевом хостинге жалуется на свою никчемную судьбу..

21.06.2009 01:56 | пишет Леха Андреев | ссылка

Да-да, покупайте хостинг у компании Яндекс.Хостинг - и у вас не будет проблем с ботами.

Заводите сайты на Яндекс.Народе - и тогда Яндекс проиндексирует их раньше других.

Покупайте рекламу в Яндекс.Директе - и ваши сайты сразу поднимутся в обычной выдаче.

Ведите блоги на Яндекс.Блогах - и они будут первыми в поиске по блогам.

Транслируйте тексты спизженных новостей в Яндекс.Новости - и они будут показываться в поиске вместо оригиналов.

Отдавайте краденые книги в Яндекс.Книги - и этот сервис найдет именно пиратскую версию вместо авторской.

Короче, самое честное зеркало Рунета работает еще честнее, если на него помолиться и принести ему в жертву барашка.

23.06.2009 04:44 | пишет bbgolik | ссылка

Таковы реалии рынка: подстройся под старшего брата и тебе воздастся трафом.
А амбиции только погубят маленький бизнес. Так и в жизни, кстати.

20.06.2009 13:03 | пишет Mstar - mstarproject.com | ссылка

Это баг у них вылез, у меня тоже не новостйно сайт, но обычный яндекс бот стал подписываться новостным почему-то. Вот переписка с суппортом:
Здравствуйте, Михаил!

С IP-адреса 87.250.231.34 ходит индексирующий робот Яндекса, который в логах
должен представляться как Yandex/1.01.001 (compatible; Win16; I). По какой
причине он представляется серверу, на котором расположен Ваш сайт, как
"YandexSomething/1.0", мы постараемся в ближайшее время определить.

Просим Вас высказать свое мнение о полученном ответе:
3d9204c1&ticketnumber=200906179004345...

--
С уважением, Платон Щукин
Служба поддержки Яндекс.Ру
http://help.yandex.ru/

Михаил Старовойт написал(а):

>
> Адрес сайта: partmaster.com.ua
> Сидит на сайте новостной бот, хотя его быть не должно, атк как сайт не
> новостной и никогда им не был.
>
> Вот пример лога:
> 87.250.231.34 - - [17/Jun/2009:09:27:29 +0300] GET
> /?action=catalog_show&cat=chrysler&t_id=3796&id_pic=37273 HTTP/1.1 "200" 31832
> "-" "YandexSomething/1.0" "-"
>
> Если это ваш бот - исправьте проблему, если кто-то маскируется под него -
> дайте мне знать, я забаню.
>
> Спасибо за помощь.

20.06.2009 13:05 | пишет Mstar - mstarproject.com | ссылка

на сайте http://partmaster.com.ua/ есть конечно новости, но индексил робот явно не их.

21.06.2009 22:29 | пишет Гость | ссылка

обьявление

храждане барыхи.
Заявления принимаются только
при наличии документов на оплату.
Частная компания никому ничего не обязана.
Кому не нравится - не ходите на наш интернет.
Мы будем рады вас не видеть.

22.06.2009 10:57 | пишет Гость | ссылка

Яндекс никога не извиняется. У Яндекса - самые правильные боты, а если ваш Интернет плохо работает с этими ботами - меняйте Интернет.

23.06.2009 19:58 | пишет Александр Садовский | ссылка

Спасибо за дискуссию. Никакой мистики и мстительности робота в описанном инциденте нет. Данные о безобразном поведении нашего робота правдивые, но не отражают полной картины.

1. Робот Яндекса выкачал 19238 страниц с 8506 (восьми тысяч пятисот шести) поддоменов uaprom.net и с 6896 (шести тысяч восьмисот девяноста шести) поддоменов ruprom.net, а не с двух хостов, как может показаться из заметок.

2. На каждый хост (из ~ 15000) делалось не более одного обращения в 1,1 или 2 секунды (в зависимости от размера хоста).

Сейчас http://uaprom.net/robots.txt и http://ruprom.net/robots.txt установили Crawl-Delay в 0,5, благодаря чему увеличили нагрузку на своих хосты (по умолчанию Crawl-Delay 1,1 или 2 секунды).

3. Все поддомены ruprom.net и uaprom.net лежат на двух IP. Автоматические алгоритмы Яндекса определили ruprom.net и uaprom.net как хостинги (они и позиционируют себя как надежные хостинги, см. http://ruprom.net/tour-4 и http://uaprom.net/tour-4).

Для надежного хостинга, на серверах которого находится много сайтов, мы создавали нагрузку, не превышающую 12 запросов в секунду на IP.

4. User-Agent отдавался "YandexSomething" и это наша вина. Это был не новостной, а один из поисковых роботов, у которого мы забыли изменить дефолтное представление. Ошибку исправили, спасибо, робота поставили в угол.

Резюме: нагрузка создаваемая на IP хостингов ruprom.net и uaprom.net не превышала лимиты, допустимые при обходе большинства хостингов. Мы понимаем, что она может быть избыточной для небольших хостингов и постараемся лучше дифференцировать нагрузку на большие и малые хостинги. Надеемся, что сервера рунета будут встречать перевоспитанного робота благосклонно.

24.06.2009 01:55 | пишет Гость | ссылка

Чота Андреев как-то стух. Удовлетворился объяснением?

24.06.2009 03:21 | пишет Леха Андреев | ссылка

Так ведь это ненастоящий Садовский ответил. Неужели вы думаете, что великий Садовский, к светящимся одеждам которого мечтает прикоснуться каждый оптимизатор страны, мог бы написать слово "рунет" с маленькой буквы, как безграмотная деревенская девка с журфака МГУ? Нет, господа, сие никак невозможно!

24.06.2009 14:59 | пишет Гость | ссылка

Фу, зачем хамить?

24.06.2009 15:39 | пишет Гость | ссылка

ну фто вы фто вы - честь яндекса была под угрозой. надо было спешить. а на опечатки типа малого "рунета" - надо переспросить у автора - он все выправит. как мне кажется - мне так кажется.

Последние комментарии
об издании | тур по сайту | подписки и RSS | вопросы и ответы | размещение рекламы | наши контакты | алфавитный указатель

Copyright © 2001-2020 «Вебпланета». При перепечатке ссылка на «Вебпланету» обязательна.

хостинг от .masterhost