Позиция понятна. Но технически в www все устроено иначе чем "в жизни", вы же профи, вы понимаете. Технически.

И как на уровне этой техники дожен поступать робот и его создатели? Изобретать искусственный интеллект на уровне казуального мента хотя бы, а то и правозащитника какого? Или может быть можно, в здравом уме и на данной планете, положиться на то, что тот кому не хочется публичности, положит в папочку единственный файлик про роботов?

А тот, кому было насрать на файлик, может быть, пусть не орёт потом, что робот его обидел?

Просто никто не разбирался толком. Все быстро запаниковали.

А насчет моего заблуждения, не думаю что вы правы.

Если проиндексирована страница по адресу site.ru/sms то ее содержимое будет показано по запросу url:site.ru* а так же по запросу url:site.ru/*. Так же по запросу url:site.ru* будет показано и содержимое страниц других сайтов, если оно есть в индексе. Вроде site.runet.com и прочих.

Так вот. Моя версия такова, что в индексе не было страниц по адресу site.ru/sms. Зато были другие, с другого сайта, которые и показывались. А добавление слеша отсекало подделки.

Да фейк это все. Не было там никаких текстов на странице подтверждения. Да и страницы такой не было. Текст, да капча.

Во первых он слепой и делает все наощупь. И он не лазает по карманам, а ощупывает людей, что бы понять, как они выглядят. Потому что он не вор-карманник, а задание у него. С него спросят список горожан и приметы. Сами же спросите при случае.

Вы отрицаете необходимость поисковиков? Если нет, то давайте без аналогий: как отличить поисковику, что можно, а что нельзя, если об этом не заботится веб-мастер. По наличию фрагмента "*SMS*" в урле? Или может еще каких фрагментов? Или как? Технически как? Мало ли какие бывают адреса.

Он же не робот Вертер. Он "паук". Идет, ползет по ссылкам, куда есть ссылка туда и идет. Где написано, что нельзя, туда не идет. Где не написано, что нельзя, туда значит можно, раз ссылка есть. Как ему, бедному, среди миллиардов страниц связанных ссылками вычислять лично-чувствительные данные? Ну, кроме robots.txt, КАК??

Я вообще думаю, что "SMS" могли располагаться не на домене Мегафона и быть поддельными.

Звездочки уайлдкарда в волшебном запросе стояли сразу после .ru, а не после .ru/ таким образом, с высокой вероятностью, тексты могли располагаться на домене вроде sendsms.megafon.ruxxxxxxxx​xx.beeline.ru к примеру. Тем более что в виде .ru/* запросы не работали, а должны были бы, если бы это было оргинальным содержанием мегафоновского сайта.

Правда заголовок кэша Яндекса демонстрировал оригинальный мегафоновский домен, но во что сейчас превратился Яндекс? Наверное кто-то обманул и его, как ребенка, так же как и всех нас.

Как уже бесят эти фотографы.

А как индексируется такая хрень?

С одной стороны, я давно разлюбил Microsoft.

С другой - когда речь идет о "законных" требованиях, Canonical вряд ли поступали бы как-то иначе.

С третьей, я думаю, что террористическую угрозу в головах граждан пестуют сами правительства и спецслужбы, чтобы делать такие требования законными. Как там было в South Park: "Террористы захватили наше воображение!"

Ахахах: http://www.wdyl.com/#Tits :) Доставляют списки возможностей :)