РАЗДЕЛЫ
Архив
|
Человек-паук: программа для исследования сайтовАнатолий Ализар ≡ Архив | архивная статья | 27.01.2006 14:26 На каждом веб-сайте есть два вида посетителей: люди, которые медленно бродят по ссылкам, и пауки — программы, быстро прочесывающие сайт. Теперь же появилась новая разновидность — паук, который ведет себя как человек. Техники для хакерских атак и контр-техники для их обнаружения довольно давно являются объектом исследования среди заинтересованных специалистов. В течение последних лет активно обсуждаются и совершенствуются технологии в этой области, при этом для атак чаще всего используются программы на основе библиотеки LibWhisker, а для «защиты» — аналитические системы вроде Snort. Однако специалисты редко обсуждают один важный аспект, который предшествует любой атаке — это скрытое «прощупывание» сайта, разведка. Обычно это делают или вручную, что очень утомительно, или с помощью обычного краулера вроде wget, который легко выдает себя. Он порождает ненормальный всплеск «посещаемости» на счетчиках и возросший поток трафика. Новая программа-краулер лишена этих недостатков. Она исследует сайт с нескольких IP-адресов, выдает себя за разные браузеры, очень медленно ходит по ссылкам, чтобы имитировать человека. Она даже скачивает флэш-анимацию, картинки, скрипты и ActiveX для большей реалистичности. Программа была представлена на недавней хакерской конференции Shmoo Con. Ее разработал хакер Билли Хоффман, прочитавший на конференции доклад на тему «Скрытый краулинг: волк среди овечек». В новой системе для скрытого изучения сайтов используются следующие техники. * Распределенный краулинг с нескольких IP и в течение нескольких сессий, отделенных друг от друга по времени. Это делается для того, чтобы с одного IP или в течение одной сессии не выкачивать весь сайт целиком, потому что такое поведение выглядит ненормально. * Краулинг сайта не по набору ссылок, а по определенным маршрутам, как это делают люди. * Использование доступной статистики по сайту. * Динамическая генерация фальшивых заходов с Google на страницы в глубине сайта. Генерация фальшивых заходов осуществляется на основе контента целевых страниц. * Интеллектуальный выбор прокси-серверов с учетом страны и типа веб-сайта. * Случайный выбор ссылок и перекрывание маршрутов краулинга для большей реалистичности. * Фильтрация ссылок по популярности. * Эскалация международного трафика. Использование всех вышеперечисленных техник позволяет практически полностью замаскировать факт автоматического скачивания сайта. Веб-мастеру очень трудно будет заподозрить присутствие программы. Возможная последующая хакерская атака с использованием обнаруженных уязвимостей станет для него полной неожиданностью. Исходные коды новой программы, которую можно назвать «человек-паук», будут опубликованы в ближайшее время на Java под свободной лицензией. комментарии(4) разделы: Архив Материалы по теме
Другие |
Последние комментарии
Гость про Суд велел "Твиттеру" сдать сторонников WikiLeaks (12)
Гость про Книгоиздатели начали судиться с торрентами (2)
l_e_x_a про "ВКонтакте" принудительно протестирует пользователей (35)
andrey_kadetov про Google назвал Facebook "ловушкой без выхода" (6)
volv про День папуасского робошахтёра (14)
l_e_x_a про Русские кликботы признаны самыми активными (11)
все комментарии looli спрашивает: Земля вампиров смотреть онлайн в HD качестве looli спрашивает: Зеленый Фонарь смотреть онлайн в HD качестве looli спрашивает: Защитник смотреть онлайн в HD качестве looli спрашивает: Запретная зона смотреть онлайн в HD качестве looli спрашивает: Закон доблести смотреть онлайн в HD качестве looli спрашивает: Вышибала смотреть онлайн в HD качестве looli спрашивает: Встречный ветер смотреть онлайн в HD качестве looli спрашивает: Все любят китов смотреть онлайн в HD качестве |
Copyright © 2001-2020 «Вебпланета». При перепечатке ссылка на «Вебпланету» обязательна.