Игорь Ашманов о полевых испытаниях «Спамообороны» и «Спамтеста»

Сегодня рабочая группа проекта «АнтиСпам» опубликовала предварительную версию отчета о результатах тестирования спам-фильтров «Спамооборона» («Яндекс») и «Спамтест» («Ашманов и Партнеры») в реальных условиях. «Вебпланета» публикует комментарий Игоря Ашманова, управляющего партнера компании «Ашманов и Партнеры».

Вообще серьёзное и тщательное независимое тестирование систем фильтрации — вещь необходимая и крайне полезная. Однако до сих пор этим в России никто всерьёз не занимался. Мы, конечно, у себя тестируем фильтры конкурентов, однако не публикуем, чтобы не вызвать обвинений в пристрастности. К несчастью, данное тестирование явно не дотягивает до тщательного и серьёзного, пока в нём слишком много дыр, а итоговые цифры совершенно нелепые.

Про независимость исследования ничего сказать не могу — ибо не знаю. То есть могу сказать, что вот мы точно его не заказывали, потому что вообще не заказываем квазиобъективных тестов.

Вот несколько основных замечаний:

1. О методике тестирования

Методика тестирования описана в самом документе очень скупо. Довольно трудно понять, что же именно делалось и как потом проверялось. Но пересылка — в любом случае не годится для тестирования, поскольку очень многие правила как в «Спамообороне», так и в «Спамтесте» связаны с реальными адресами отправителей и реальным видом письма. При пересылке письмо довольно сильно «портится». Об этом — ниже.

Да и вообще-то, в ситуации, когда изначально послано почти 3,5 тысячи писем (на ifap.ru), а до серверов бесплатных почтовых служб дошло 2 тысячи («Яндекс») и 1,2 (Mail.Ru), тестирование стоило бы остановить и выяснить, куда и почему пропало от трети до двух третей корреспонденции. Это не так трудно сделать.

Вообще же в тестировании спам-фильтров есть много подводных камней (по ссылке наш документ про методику тестирования). Вот, например, обстоятельства, о которых авторы тестирования явно не подумали:

1.1. Рассылки

Насколько можно понять из данного текста, практически все ложные срабатывания на Mail.Ru были связаны с попаданием легитимных рассылок в папку «Сомнительные». В любом случае, об этом свидетельствует размытая фраза про «ошибки Mail.Ru в основном связаны с рассылками». В качестве примера названы рассылки Subscribe.Ru и List.Ru.

Так вот, скорее всего это — проблема организации пересылки при тестировании.

Сейчас огромное число спамерских писем сделаны в виде подделок рассылок от Subscribe.Ru. Поэтому и мы, и Mail.Ru при фильтрации исходим из того, что рассылки идут напрямую подписчикам с «рассылочного» сервера, а не пересылаются с других серверов. Сразу подчеркну, что реальная жизнь в Рунете устроена именно так, чего не скажешь о данном тестировании. Большинство спамерских подделок под рассылки Subscribe.Ru как раз и распознаются по несоответствию заголовков.

Например, любой законный подписчик Subscribe.Ru имеет свой персональный ID, и этот ID всегда указывается в поле To:, о чем огромными буквами написано на сайте Subscribe.Ru.

Цитата: «… теперь у каждого подписчика Subscribe.Ru есть свой уникальный идентификационный номер. Этот номер указывается и в поле письма „От“, и в поле „Кому“ (!!)… Это делает бессмысленным подстановку любых „общих адресов Subscribe.Ru“ в массовые спамерские письма, так как такая неудачная „стилизация“ будет очевидна любому пользователю. Такие спамерские „подделки“ будут легко узнаваемы, явно отличимы от нужной электронной корреспонденции, что позволит соответствующим образом настроить фильтры почтовой системы».

При пересылке заголовок To: оказывается оформленным не в том формате, что приводит к появлению в «Спамтесте» статуса [!!Probable Spam]. И это только одна проверка, а у нас таких — несколько, и все они специально согласованы с разработчиками системы Subscribe.Ru. С рассылками от List.Ru примерно такая же специфика. Нормальные рассылки, т.е. идущие с сервера List.Ru, вообще доставляются на Mail.Ru мимо фильтра, то есть доставляются всегда. А в тесте они пересылались и заведомо с другими данными в заголовках.

1.2. Интерпретация результатов

Авторы явно не отличают «точно спам», уничтоженный фильтром, от папки «сомнительные». Насколько можно понять из текста, эти самые пересланные на тестовый ящик рассылки получили статус «сомнительные». Статус «сомнительные» и соответствующая папка на Mail.Ru были созданы специально для ситуаций, когда принять окончательное решение должен пользователь. Подсчет легитимных рассылок, попавших в папку «Сомнительные» как ложных срабатываний того же уровня, что и личное/деловое письмо, получившее статус «спам» — некорректен.

Про ложные срабатывания «Спамтеста» сказано, что это, в основном, легитимные рассылки. Про ложные срабатывания «Спамообороны» «Яндекса» — что это срабатывания на письмах на английском языке. Можно видеть, что оценка результатов идет по разным основаниям, в одном случае описаны тип ложных срабатываний, в другом — язык письма. Были ли у «Спамтеста», а также у «Спамообороны» ложные срабатывания на нормальных, немассовых деловых письмах — неизвестно, но ясно, что их нужно отличать от помещения рассылок в папку «Сомнительные» (и то, как мы видим, из-за пересылки). Авторы теста об этом умолчали.

Ну и мелочи:
Тестирование проводилось по уже отфильтрованному потоку, что неправильно, так как смазывает картину. Например, в тестировании не участвуют сообщения, идущие на несуществующие адреса в домене ifap.ru. Это значит, что существенная часть спама была выключена из исследования. Кроме того, могли быть упущены потенциальные неспамерские сообщения, когда отправитель просто ошибся в написании адреса сообщения.

В общем, вывод о методике можно сделать такой: это тестирование в целом а) сомнительное по организации, б) явно некорректное по интерпретации результатов.

4. О предмете тестирования

Авторы теста, похоже, не знают, какой именно продукт они тестируют. Это — точно не «Спамтест». На Mail.Ru работает не Спамтест, а специально созданная гибридная система, построенная специалистами Mail.Ru, в которую в частности встроен движок «Спамтеста», причём далеко не на первом этапе обработки письма. До отдачи письма «Спамтесту» Mail.Ru проверяет его по своим чёрным спискам и другим правилам.

Если бы авторы тестирования захотели тестировать именно «Спамтест» на реальном потоке, они могли бы а) пустить свою тестовую почту через бесплатный сервис «Спамтеста» www.spamtest.ru, б) поставить «Спамтест» на свой почтовый сервер. А так речь идёт не совсем о том.

3. О количественных результатах тестирования:

Сами таблицы результатов совершенно невнятные. Начнём с оригинальных авторских терминов. Что такое «ошибочно почта», например? Это понять трудно, а определений в тексте нет. Теперь о цифрах. Суммы не совпадают, 100% нигде не складывается. Вот например:

В таблице номер один написано (для Mail.Ru):

Всего — 1216
Почта — 1018
Спам — 198 

В таблице 2 написано:

Фактически почта — 1099 

То есть получается, что на Mail.Ru пришло почты на 81 сообщение больше, чем туда было отправлено (1099–1018). А если еще и приплюсовать «Ошибочно спам» (ведь ошибочно определившийся спам — это «почта»), то выходит, что «почты» пришло 1099 + 145 = 1244, то есть вообще больше, чем всего в таблице номер 1.

Вообще подсчёт спама здесь показывает, что, похоже, есть непонимание того факта, что и Mail.Ru и «Яндекс» то, что диагностировано как «точно спам», в почтовые ящики вообще не доставляют. При этом критерии того, что же такое «точно спам», естественно, различны. Уничтожение вирусов антивирусами также не добавляет чистоты подсчётам.

5. О качественных результатах тестирования

Ну хорошо, предположим, что «ошибочно спам» — это ложные тревоги. Тогда цифры, полученные при тестировании, не лезут ни в какие ворота. 14% потерь почты на Mail.Ru и 12% ложных тревог у Спамтеста — ну что за ерунда? Так не бывает.

Может быть, читатели «Вебпланеты» занятые и невнимательные, и проглотят такую цифру, но почему миллионы пользователей Mail.Ru годами мирятся с пропажей 30% почты? Как-то это странно, не находите? Я уж не говорю про других наших клиентов (РБК, МТС, Билайн, Петерлинк, Демос, МТУ, и других). Пусть даже все они несчастные ламеры, обманутые нами, и продолжают использовать продукт, который теряет каждое десятое письмо…

Но мы сами фильтруем свою почту в компании «Ашманов и партнёры» ровно тем же «Спамтестом» и никогда не читаем папку «Спам». Потому что не требуется. Как вы думаете, могли бы мы вообще вести бизнес при таких чудовищных показателях?

Да бог с ним со «Спамтестом»! А пользователи «Яндекса»? 1,5% ложных тревог, показанных в тестах у «Спамообороны» — крайне маловероятны. Это тоже какая-то ерунда. Как могут пользователи работать с системой, которая теряет 15 нормальных писем на тысячу? Я думаю, и сотрудники «Яндекса» фильтруют свою почту ровно своим продуктом. И не читают папку «Спам». Спросите Аркадия Воложа — он как, мирится с потерей 1,5% своих деловых и личных писем? Что-то сомнительно.
Нет, так тоже не бывает. Это значит, что что-то не то с методикой тестирования, либо вообще с теорией авторов тестирования: с определениями для спама и нормальной почты.

Неудивительно, что в итогах исследования в конце концов сказано, что фактически спам-фильтры не избавляют пользователя от необходимости читать весь спам. На самом же деле большинство пользователей нормальных фильтров в папку «Спам» практически никогда не заглядывают, потому что давно убедились на своём опыте, что это не имеет никакого смысла.

В общем, в 5-м пункте выводов по тестированию авторами написано «необходимо продолжить тестирование для получения более корректных данных». Я тоже так считаю. Подождём более корректных данных.

Другие