Материал из eSyr's wiki.

Версия 17:33, 22 августа 2008

Создание ловушек для спама и сравнение антиспамов

• Докладчик: Андрей Бондаренко
• Информация семинаре: http://uneex.ru/Events/Antispam
• Презентация: Изображение:Uneex Antispam.odp, Изображение:Uneex Antispam.pdf
• Аудиозапись: http://esyr.org/lections/audio/uneex_2008_summer/uneex_seminar_08_08_15.ogg
• Фотографии: http://esyr.org/photo/uneex/080815/

У лектора были две задачи в свё время:

• Сздание хрших спам-ловушек
• Сеортификация

ткуда берут спам:

• Провайдеры, кторые сливают всё, чт идёт ан их адреса
• Крупные крпорации

Нам важно, чтобы там был хорший спам, им, чтобы мы хрошо фидльтровали спам

То есть, если струдник год как уволился, то там почти наверняка приходит тольк спам. Если ящик завели давно, и

ивлад: Списк каннич. имён

Спам-ловушки: наши собств. адреса, которые сзданы специально для плучения спама.

Как создавали спам-ловушки: сначала даже исп. спамловушки в США. Находили всякие ресурсы типа двача, ихбт, ..., ходили по ресурсам и оставляли свои имейлы. Пдписывались на всякие порно, варезные рассылки, на пограничных ресурсах, подп. на легитисную рекламу и отписывались... Подобная деятельность велась где-то два года. И в сравнении с ящиком лектора, куда прихдит 500 адресов, на спам-лвушки прихдило порядка 200-300 адресов.

Чт ещё заметили: если такой адрес попадал на кмпьютер явно комп. недальёкого человека, у котрого были вирусы, т сразу прокачивалась карма ящика --- сразу начинало идти больше рекламы и менялся её характер. Кроме тог, когда пд. на легитимные рассылки (ibm, ...), то сначала спама не было, потом через некоторое время ачинал идти спам.

вопрос: следует ли отсюда, что легче купить рассылку, чемсобирать? ответ: да.

смешнй факт: тулзы, которые рассылают спам, до сих пор исп. сортирванные списки.

Мы немножко выяснили, как рассылается спам. Чт лектор хчет сказать: пен-релей, лдиалап, сервер провайдера, чужй сервер --- всё это давно обломилось. Сейчас всё рассыдается через ботнеты, причём их два типа:

• Тупй и быстрый
• Медленный и умный.

Зачем нуджны вирусы? Чтобы зараб. деньги, деньги зараб. на рекламе. Если раньше вирусы вызывали спецуэффект, т теперь они скрываются как мжно сильнее. Птому что он хорошии ресурс --- у него есть выч. мощности, у него есть сеть. И его можно исп. для рассылок, для анонимизации, для ддос атак.

Говорят, что войти в спамовый бизнес чень просто, а прибыль порядка 8к долларов может быть.

Ботнет: вирус, троян уст. на компьютер,

гку: Ботнет --- множество ботов, бт --- пррграмма на компьютере, боты упр. ботмастером. Упр. по ирц или п2п.

Быстрый ботнет --- получает дну команду и сразу рассылет. Скорость рассылки ---- 5---10---15 минут на всю сеть.

Медленный и умный --- тот, который что-то делает. Меняет изобр., меняет текст и так далее, чтбы обойти фильтыр. Эт часы.

Первый фкт --- спамвые рассылки живут минут 15. Это кгда вы видите простое письмо простое типа адре, елефон и текст звоните сюда. н простое, но попало, поск. ещё не попало в базы льитров.

Второе ---

Третье --- крупные уважаемые ресурсы иногда дпуск. утечку, мелкие всегда допускают. При этом крупные плноресурсы тносятся к этой инф. строже, чем некоторые крупные компании.

Вторая часть: как ловится спам и как прав. и непр. сравнивать их. Все антиспамы отстой.

определение спама: по опр. лаб. касп., оно совп. с опр. консорциума. Это незапрошенная, массовая, технически анонимная рассылка.

• Незапрошенная --- польз её не запрашивал
• Массовая --- нет смысла блекмеилить одно письм
• Техн. анонимная --- нельзя выяснить, кто отв. за рассылку

Нельзя ловить нрм. рекламу. Нельзя банить почту хьюлет-пакарда пр новые драйвера.

Нельзя опир. тлько на массовость. Вот яндекс искл. слово массовость, он ловит всё массвое, пмечает его, сост обезл. вариант, помещ. в спам и рассылки,

Нельзя наказывать заказчика.. Поск. иванов пётр сергеевич идёт к пр-менеджеру, тот к рекл. фирме. Более того,

Вот у мейл-ру 95---99 процентв --- спам. Если бы его не было, то можно отрубить

Кроме того, best practice --- не принимать пчту с дин. пулов в принципе, со всех dsl, gprs, модемов. Даже если там подобный дслщик

Есть варианты борьбы --- SPF, Domai case,... . Но прьблема --- что делать с теми, кто их не исп? Есть до сих пор люди на седьмм слярисе, есть люди, которые это не силили, .

Методы фильтрации

Три метда фильтрации:

• Контрль доступа
  • Белые списки
  • Чёрные списки
  • Авт. доступа
  • Грейлистинг. Когда пересылается письмо в первый раз, то мы запоминем его, ID, и если это спамер, то он отвечает сразу, и елси он через плочаса не ответил, то отсылаем. Но это бходится. Кроме того, динамические IP. Ещё некотроые особо умные администраторы и почтовые сервера начинают ломиться раньше.
• Кнтроль стат. методами
  • Байес и модиф. Исп. в спкам-ассасине и его модиф. Метод осн. на том, что для данного конечнго получ. спам прихдит примерно одинаково и характер спама не меняется. У Байеса есть недостатки: н медленный, базу нельзя раст. на неск. человек. Можно на 10, на 100, но на 10000 неправильно. Есть вариант с бщ. и инд. базами. Прблемы --- если начинается фолс-позитив. Ещё недостаток --- overtraining. Он перекарм. и хршей почтй, и спамом.
• Кнтроль содерж. эвристиками.
  • Анализ заголовкв на целостность и валидность: нормальные фром-ту-сабжект, ...
  • Анализ subject на наличие характ. терминов. Например: вигра --- хороший, постоянный; "покупайте телефоны сегодня" --- временный термин. Ес т база пост., есть база временных терминов.

В одной конторе была группа любителей порногрфии, кторые за это платили, поэтому просили бр. с порнографией аккуратно. Поэтому часть базы уже там не прокатывала.

Анализ содерж. части. Берётся письмо, нормализуется, заменячются похожие символы на один. По этому выч. сигнатура. Это всё работает только в кмм. решениях --- message labs, kaspersky, ... . Но при этом сказать, спам эт или не спам, мжет сказать тлько живой человек, поэтому коммерч..

Правильный подх. закл. в том, что все эти сигн. должны ыть быстро дост. д плоьз. У касперск. это выпуск. разх в 5 минут. Раньше раз в час, сейча свот. И раньше казался трафик 600 мегабайт в день безумным, сейчас нормально.

Ещё метод --- польз. получает письмо, псылает сигнатуру, и посылает на сервер. И на ой стороне анализируется, спам то или не спам.

ivlad: А есть ли у вас SLA(?) shaman^ У нас нет, есть у message labs

Сравнение антиспамов. Лектор занимался сертиф. у контор. Там таки надо соотв. некотоым критериям, они странные, но серьёзные.

Критерии:

• Detection rate --- процент распознанных
• False positive --- тн. непр. расп. по отн. ко всему бъёма спама

Очевидно, чт эти два числа нельзя псчитать роботом.

С чем лектор столкнулся: кгда контроры уст. себе антиспам, им рисуется красивые pie chart,

У SLA ... detection rate 95%, false positive 0.003%

У message labs лучший антиспам. Поск. подписываются ни на это деньгами

Тестирование олжн быть долгим, не час, не два, не день. Две недели, месяц. --- да.

Тестировать можн только на живых кллекциях, нельзя естировать на спаме, лежащем в треше.

Анализ должен интерп. живй человек, специалист. Потому чт иначе можно получать как отличые результаты, так и ужасные.

Если тест показывает чень хороший и очень плохй, то надо заудматься над тестм. Меньше 75 процентов ни у кого нет.

При этом даже у решения, которое лвит 95 прцентов, может раздражать польз. Лектру прихдоит прядка 200 спамовых, прорывалсь 10, и а 5---6 раздражает.

Что лектор может посоветовать: Для польз хршо, чтбы на сервере резщалось 90---95 процентв, и чтобы у пльз. стоял перс. антиспам, дажен встр. в аутулук, тунжербёрд. н сможет понихзить порог противности. Будет прих. не 10, а 5, и пльз. будет чувст. себя сопричатсным процессу и он будет радваться.

Есть решения на стороне сервера, которые делают карантин и пред. к нему оступ пользовательский.

Кгда ivlad работал в EMC(?), у них спам аутсрсился, в компании AT&T, и ....

Действительно ли пльз. будет туда хадить?

Какр аботает SA: он собирает словарик, и для каждого слова есть вес.

У шамана в кач. клиента есть Билайн, у них мнго почты, и они много чего исп., и результаты хорошие.

Когда контора на 10 человек, то тут всё проще. В случае конторыиз 500 человек ... .

У них есть краулеры, кторые брдят п интернету по тем ссылкам, которые прих. в спаме, и смотрят их. И блеклист этих дменов тоже часть блеклист-бзы. Это даёт порядка 20 прцентов

База пост. терминов 20 процентов, временных --- 20 процентов.

Как-рабтают спам-бты и бтнеты.

В мае словила sality (эт вирус). Появился он. след. образом --- приехал конс. и гарант бновлять базу, через два часа сеть легла. Sality --- набор троянов и kernel-драйверов, ктоые садятся на ring 0. Эта радость внедр. в систему, в ring 0, инст. себя в систему, в реестр свой бинарный кд. В винде есть закр. системные вызовы, кгда винд физ. ищет по указ. мест в реестре. Таким обр. что получилось: мжно грхнуь все файлы, но при логине оно всё восст. После внедренния она убивает системный процесс (svchost/lsass), и система перегружается. Сто она первым делом инфицируется --- демон хткеев и перекл. клавиатуры. Есть пустые папки, которые недоступны. Дальше она вытягивает всякие трояны, и всё, что можно, всё на машину собирается. Далее, есть список программ, при появл. которых она убивает. Т есть при наборе в поиске kaspersky, avp, и прочие, то приложения эти убиваются. Кроме того, на выкач. и собирает с ботнета всесзм. трояны и посл. их запускает. Дальше

собирает осн. тело. ... Она проверяет себя в всех dnsbl, и если она есть, то она начинет работать через aol/ambler/mail.ru, и пакетно начинает рассылать письма. С пчтой на разобралась и ждёт.

Втрй троян, которая она цеплят -- прокся, регитсрирует рег. аккаунты на гмейле, при этом показывая ввд капчи пльзвателю.

Через 10---15 минут псле того, как дёрнули пароль начинают стучаться в IPC$.

Дальше на смотрит, кто мастер-браузер в сети, вся эта херь разливается по сетке. И всё сначала.

Спамхаус это единств. списк, который вайтлистит за еньги, на ктрый ГК подписался.

П поводу брьбы с ботами:

ГК: пробовали они мдиф. адрес червя, чтобы ...