robots.txt никто не отменял. Если владелец сайта не хочет чтобы его индексировали - пусть позаботится об этом. если владелец предьявляет логи сайта с отметками о посещении ботами, то тогда пускай предьявляет претензии. детально механизм подписывания ботов, роботс.тхт и прочего пусть продумывают светлые умы.
Создан прецедент, теперь любой владелец сайта может подать в суд на Гугль
за то, что контент его сайта лежит в БД Гугля. Так недолго и разорить Гугль...))
На мой взгляд, никакой поисковик не имеет права без согласия владельца сайта
хранить любую часть контента этого сайта в своем индексе и тем более показывать
в своей выдаче любую часть этого самого контента (или линк на него) опять таки без согласия владельца сайта. Звучит вроде как парадоксально, но это должно быть прописано в законе.