Редактирование: UNИX, весна 2008, 07 семинар (от 15 августа)

* '''Презентация:''' [[Изображение:Uneex Antispam.odp|В формате ODP]], [[Изображение:Uneex Antispam.pdf|В формате PDF]]

* Создание хороших спам-ловушек

* Сертификация

Откуда берут спам:

* Провайдеры, которые сливают всё, что идёт на их адреса

* Крупные корпорации

Нам важно, чтобы там был хороший спам, им, чтобы мы хорошо фильтровали спам

То есть, если сотрудник год как уволился, то там почти наверняка приходит тольк спам. Если ящик завели давно, и

ивлад: Список каннич. имён

Спам-ловушки: наши собств. адреса, которые созданы специально для получения спама.

Как создавали спам-ловушки: сначала даже исп. спам-ловушки в США. Находили всякие ресурсы типа двача, ixbt.com, ..., ходили по ресурсам и оставляли свои имейлы. Подписывались на всякие порно, варезные рассылки, на пограничных ресурсах, подп. на легитисную рекламу и отписывались... Подобная деятельность велась где-то два года. И в сравнении с ящиком лектора, куда приходит 500 адресов, на спам-ловушки приходило порядка 200-300 адресов.

Что ещё заметили: если такой адрес попадал на компьютер явно компьютерно недалёкого человека, у которого были вирусы, то сразу покачивалась карма ящика --- сразу начинало идти больше рекламы и менялся её характер. Кроме того, когда подписывались. на легитимные рассылки (ibm, ...), то сначала спама не было, потом через некоторое время начинал идти спам.

вопрос: следует ли отсюда, что легче купить рассылку, чем собирать?

смешной факт: тулзы, которые рассылают спам, до сих пор исп. сортированные списки.

Мы немножко выяснили, как рассылается спам. Что лектор хочет сказать: open-релей, диалап, сервер провайдера, чужой сервер --- всё это давно обломилось. Сейчас всё рассылается через ботнеты, причём их два типа:

* Тупой и быстрый

Зачем нужны вирусы? Чтобы заработать. деньги, деньги зарабатываются. на рекламе. Если раньше вирусы вызывали спецэффект, то теперь они скрываются как можно сильнее. Потому что компьютер --- это полезный ресурс. У него есть вычислительные. мощности, у него есть сеть. И его можно исп. для рассылок, для анонимизации, для DDOS атак.

Говорят, что войти в спамовый бизнес очень просто, а прибыль порядка 8к долларов может быть.

гку: Ботнет --- множество ботов, бт --- программа на компьютере, боты упр. ботмастером. Упр. по ирц или п2п.

Быстрый ботнет --- получает дну команду и сразу рассылает. Скорость рассылки --- 5-10-15 минут на всю сеть.

Медленный и умный --- тот, который что-то делает. Меняет изобр., меняет текст и так далее, чтобы обойти фильтры. Это часы.

Первый факт: спамовые рассылки живут минут 15. Это когда вы видите простое письмо, типа просто адрес, телефон и текст "звоните сюда". Оно простое, но попало, поскольку ещё не попало в базы фильтров.

Второе:

Третье: крупные уважаемые ресурсы иногда допускают утечку, мелкие всегда допускают. При этом крупные порноресурсы тносятся к этой информации строже, чем некоторые крупные компании.

Вторая часть: как ловится спам и как правильно и неправильно сравнивать их. _Все антиспамы отстой_.

определение спама: по опр. Лабаратории Касперского., оно совпало. с опросом консорциума. Это незапрошенная, массовая, технически анонимная рассылка.

* Незапрошенная --- пользователь её не запрашивал

* Массовая --- нет смысла блекмейлить одно письмо.

Нельзя ловить нормальную рекламу. Нельзя банить почту Хьюлетт-Паккарда про новые драйвера.

Нельзя опир. только на массовость. Вот Яндекс искл. слово массовость, он ловит всё массовое, помечает его, сост обезл. вариант, помещает в спам и рассылки,

Нельзя наказывать заказчика.. Поскольку Иванов Пётр Сергеевич идёт к PR-менеджеру, тот к рекламной. фирме. Более того,

Вот у Mail.Ru 95-99 процентов --- спам. Если бы его не было, то можно отрубить

Кроме того, best practice --- не принимать почту с динамических пулов в принципе, со всех dsl, gprs модемов. Даже если там подобный дслщик

Есть варианты борьбы --- SPF, Domain case,... . Но проблема --- что делать с теми, кто их не исп? Есть до сих пор люди на седьмом солярисе, есть люди, которые это не осилили, .

* Контроль доступа

** Грейлистинг. Когда пересылается письмо в первый раз, то мы запоминаем его, ID, и если это спамер, то он отвечает сразу, и если он через полчаса не ответил, то отсылаем. Но это обходится. Кроме того, динамические IP. Ещё некотроые особо умные администраторы и почтовые сервера начинают ломиться раньше.

* Контроль стат. методами

** Байес и модиф. Используется в спам-ассасине и его модификациях. Метод основано на том, что для данного конечного получ. спам приходит примерно одинаково и характер спама не меняется. У Байеса есть недостатки: н медленный, базу нельзя настроить. на много человек. Можно на 10, на 100, но на 10000 неправильно. Есть вариант с бщ. и инд. базами. Проблемы --- если начинается фолс-позитив. Ещё недостаток --- overtraining. Он перекармливается. и хорошей почтой, и спамом.

* Контроль содерж. эвристиками.

** Анализ заголовка на целостность и валидность: нормальные "from", "to", "subject", ...

** Анализ subject на наличие характерных. терминов. Например: виагра --- хороший, постоянный; "покупайте телефоны сегодня" --- временный термин. Есть база постоянная., есть база временных терминов.

В одной конторе была группа любителей порнографии, которые за это платили, поэтому просили бороться с порнографией аккуратно. Поэтому часть базы уже там не прокатывала.

Анализ содержательной. части. Берётся письмо, нормализуется, заменяются похожие символы на один. По этому вычисляется. сигнатура. Это всё работает только в кмм. решениях --- message labs, kaspersky, ... . Но при этом надо сказать, спам это или не спам, может сказать только живой человек, поэтому коммерч..

Правильный подход заключается в том, что все эти сигнатуры. должны быть быстро дост. д плоьз. У касперского это выпуск. раз в 5 минут. Раньше было раз в час, сейчас вот так. И раньше казался трафик 600 мегабайт в день безумным, сейчас нормально.

Ещё метод --- польз. получает письмо, посылает сигнатуру, и посылает на сервер. И на той стороне анализируется, спам то или не спам.

Сравнение антиспамов. Лектор занимался сертификацией у контор. Там надо соответствовать некоторым критериям, они странные, но серьёзные.

* False positive --- тн. неправильно. распознаных. по отношению. ко всему объёму спама

Очевидно, что эти два числа нельзя посчитать роботом.

С чем лектор столкнулся: кгда конторы установили. себе антиспам, им рисуется красивые pie chart,

Тестирование должно быть долгим, не час, не два, не день. Две недели, месяц. --- да.

Анализ должен интерп. живой человек, специалист. Потому что иначе можно получать как отличные результаты, так и ужасные.

Если тест показывает очень хороший и очень плохой, то надо задуматься над тестом. Меньше 75 процентов ни у кого нет.

При этом даже у решения, которое ловит 95 процентов, может раздражать пользователей. Лектору приходит прядка 200 спамовых, прорывалось 10, и а 5-6 раздражает.

Что лектор может посоветовать: Для пользователя хорошо, чтобы на сервере резалось 90---95 процентов, и чтобы у пользователя стоял персональный антиспам, даже встроеный в Outlook, Thunderbird.Он сможет понизить порог противности. Будет прих. не 10, а 5, и пользователь будет чувствовать себя сопричастным процессу, и он будет радоваться.

Кгда ivlad работал в EMC(?), у них спам аутсорсился, в компании AT&T, и ....

Действительно ли пользователь. будет туда ходить?

Как работает SA: он собирает словарик, и для каждого слова есть вес.

У шамана в качестве клиента есть Билайн, у них много почты, и они много чего исп., и результаты хорошие.

Когда контора на 10 человек, то тут всё проще. В случае конторы из 500 человек ... .

У них есть краулеры, которые бродят п интернету по тем ссылкам, которые приходят. в спаме, и смотрят их. И блеклист этих доменов тоже часть блеклист-базы. Это даёт порядка 20 процентов

Как-работают спам-боты и ботнеты.

В мае словила sality (эт вирус). Появился он следующим образом --- приехал конс. и гарант обновлять базу, через два часа сеть легла. Sality --- набор троянов и kernel-драйверов, которые садятся на ring 0. Эта радость внедряется. в систему, в ring 0, инсталлирует себя в систему, в реестр свой бинарный код. В винде есть закрытые системные вызовы, когда Windows физ. ищет по указанным местам в реестре. Таким образом. что получилось: можно грохнуть все файлы, но при логине оно всё восстановит. После внедрения она убивает системный процесс (svchost/lsass), и система перегружается. Что первым делом инфицируется: демон хоткеев и переключение. клавиатуры. Есть пустые папки, которые недоступны. Дальше она вытягивает всякие трояны, и всё, что можно, всё на машину собирается. Далее, есть список программ, которые она убивает. То есть при наборе в поиске kaspersky, avp, и прочие, то приложения эти убиваются. Кроме того, на выкачивает и собирает с ботнета всевозможные. трояны и посл. их запускает. Дальше собирает основное тело.

Она проверяет себя в всех dnsbl, и если она есть, то она начинет работать через aol/ambler/mail.ru, и пакетно начинает рассылать письма. С почтой она разобралась и ждёт.

Втрой троян, которая она цепляет -- прокся, регистрирует рег. аккаунты на gmail, при этом показывая ввод капчи пользователю.

Через 10---15 минут после того, как дёрнули пароль начинают стучаться в IPC$.

Спамхаус это единственный. список, который вайтлистит за деньги, на ктрый ГК подписался.

П поводу брьбы с ботами: