UNИX, весна 2008, 07 семинар (от 15 августа)

Материал из eSyr's wiki.

(Различия между версиями)
Перейти к: навигация, поиск
(Опечатки, раскрыты сокращения (не все).)
Строка 8: Строка 8:
У лектора были две задачи в свё время:
У лектора были две задачи в свё время:
-
* Сздание хрших спам-ловушек
+
* Создание хороших спам-ловушек
-
* Сеортификация
+
* Сертификация
-
ткуда берут спам:
+
Откуда берут спам:
-
* Провайдеры, кторые сливают всё, чт идёт ан их адреса
+
* Провайдеры, которые сливают всё, что идёт на их адреса
-
* Крупные крпорации
+
* Крупные корпорации
-
Нам важно, чтобы там был хорший спам, им, чтобы мы хрошо фидльтровали спам
+
Нам важно, чтобы там был хороший спам, им, чтобы мы хорошо фильтровали спам
-
То есть, если струдник год как уволился, то там почти наверняка приходит тольк спам. Если ящик завели давно, и
+
То есть, если сотрудник год как уволился, то там почти наверняка приходит тольк спам. Если ящик завели давно, и
-
ивлад: Списк каннич. имён
+
ивлад: Список каннич. имён
-
Спам-ловушки: наши собств. адреса, которые сзданы специально для плучения спама.
+
Спам-ловушки: наши собств. адреса, которые созданы специально для получения спама.
-
Как создавали спам-ловушки: сначала даже исп. спамловушки в США. Находили всякие ресурсы типа двача, ихбт, ..., ходили по ресурсам и оставляли свои имейлы. Пдписывались на всякие порно, варезные рассылки, на пограничных ресурсах, подп. на легитисную рекламу и отписывались... Подобная деятельность велась где-то два года. И в сравнении с ящиком лектора, куда прихдит 500 адресов, на спам-лвушки прихдило порядка 200-300 адресов.
+
Как создавали спам-ловушки: сначала даже исп. спам-ловушки в США. Находили всякие ресурсы типа двача, ixbt.com, ..., ходили по ресурсам и оставляли свои имейлы. Подписывались на всякие порно, варезные рассылки, на пограничных ресурсах, подп. на легитисную рекламу и отписывались... Подобная деятельность велась где-то два года. И в сравнении с ящиком лектора, куда приходит 500 адресов, на спам-ловушки приходило порядка 200-300 адресов.
-
Чт ещё заметили: если такой адрес попадал на кмпьютер явно комп. недальёкого человека, у котрого были вирусы, т сразу прокачивалась карма ящика --- сразу начинало идти больше рекламы и менялся её характер. Кроме тог, когда пд. на легитимные рассылки (ibm, ...), то сначала спама не было, потом через некоторое время ачинал идти спам.
+
Что ещё заметили: если такой адрес попадал на компьютер явно компьютерно недалёкого человека, у которого были вирусы, то сразу покачивалась карма ящика --- сразу начинало идти больше рекламы и менялся её характер. Кроме того, когда подписывались. на легитимные рассылки (ibm, ...), то сначала спама не было, потом через некоторое время начинал идти спам.
-
вопрос: следует ли отсюда, что легче купить рассылку, чемсобирать?
+
вопрос: следует ли отсюда, что легче купить рассылку, чем собирать?
ответ: да.
ответ: да.
-
смешнй факт: тулзы, которые рассылают спам, до сих пор исп. сортирванные списки.
+
смешной факт: тулзы, которые рассылают спам, до сих пор исп. сортированные списки.
-
Мы немножко выяснили, как рассылается спам. Чт лектор хчет сказать: пен-релей, лдиалап, сервер провайдера, чужй сервер --- всё это давно обломилось. Сейчас всё рассыдается через ботнеты, причём их два типа:
+
Мы немножко выяснили, как рассылается спам. Что лектор хочет сказать: open-релей, диалап, сервер провайдера, чужой сервер --- всё это давно обломилось. Сейчас всё рассылается через ботнеты, причём их два типа:
-
* Тупй и быстрый
+
* Тупой и быстрый
* Медленный и умный.
* Медленный и умный.
-
Зачем нуджны вирусы? Чтобы зараб. деньги, деньги зараб. на рекламе. Если раньше вирусы вызывали спецуэффект, т теперь они скрываются как мжно сильнее. Птому что он хорошии ресурс --- у него есть выч. мощности, у него есть сеть. И его можно исп. для рассылок, для анонимизации, для ддос атак.
+
Зачем нужны вирусы? Чтобы заработать. деньги, деньги зарабатываются. на рекламе. Если раньше вирусы вызывали спецэффект, то теперь они скрываются как можно сильнее. Потому что компьютер --- это полезный ресурс. У него есть вычислительные. мощности, у него есть сеть. И его можно исп. для рассылок, для анонимизации, для DDOS атак.
-
Говорят, что войти в спамовый бизнес чень просто, а прибыль порядка 8к долларов может быть.
+
Говорят, что войти в спамовый бизнес очень просто, а прибыль порядка 8к долларов может быть.
Ботнет: вирус, троян уст. на компьютер,
Ботнет: вирус, троян уст. на компьютер,
-
гку: Ботнет --- множество ботов, бт --- пррграмма на компьютере, боты упр. ботмастером. Упр. по ирц или п2п.
+
гку: Ботнет --- множество ботов, бт --- программа на компьютере, боты упр. ботмастером. Упр. по ирц или п2п.
-
Быстрый ботнет --- получает дну команду и сразу рассылет. Скорость рассылки ---- 5---10---15 минут на всю сеть.
+
Быстрый ботнет --- получает дну команду и сразу рассылает. Скорость рассылки --- 5-10-15 минут на всю сеть.
-
Медленный и умный --- тот, который что-то делает. Меняет изобр., меняет текст и так далее, чтбы обойти фильтыр. Эт часы.
+
Медленный и умный --- тот, который что-то делает. Меняет изобр., меняет текст и так далее, чтобы обойти фильтры. Это часы.
-
Первый фкт --- спамвые рассылки живут минут 15. Это кгда вы видите простое письмо простое типа адре, елефон и текст звоните сюда. н простое, но попало, поск. ещё не попало в базы льитров.
+
Первый факт: спамовые рассылки живут минут 15. Это когда вы видите простое письмо, типа просто адрес, телефон и текст "звоните сюда". Оно простое, но попало, поскольку ещё не попало в базы фильтров.
-
Второе ---
+
Второе:
-
Третье --- крупные уважаемые ресурсы иногда дпуск. утечку, мелкие всегда допускают. При этом крупные плноресурсы тносятся к этой инф. строже, чем некоторые крупные компании.
+
Третье: крупные уважаемые ресурсы иногда допускают утечку, мелкие всегда допускают. При этом крупные порноресурсы тносятся к этой информации строже, чем некоторые крупные компании.
-
Вторая часть: как ловится спам и как прав. и непр. сравнивать их. Все антиспамы отстой.
+
Вторая часть: как ловится спам и как правильно и неправильно сравнивать их. _Все антиспамы отстой_.
-
определение спама: по опр. лаб. касп., оно совп. с опр. консорциума. Это незапрошенная, массовая, технически анонимная рассылка.
+
определение спама: по опр. Лабаратории Касперского., оно совпало. с опросом консорциума. Это незапрошенная, массовая, технически анонимная рассылка.
-
* Незапрошенная --- польз её не запрашивал
+
* Незапрошенная --- пользователь её не запрашивал
-
* Массовая --- нет смысла блекмеилить одно письм
+
* Массовая --- нет смысла блекмейлить одно письмо.
* Техн. анонимная --- нельзя выяснить, кто отв. за рассылку
* Техн. анонимная --- нельзя выяснить, кто отв. за рассылку
-
Нельзя ловить нрм. рекламу. Нельзя банить почту хьюлет-пакарда пр новые драйвера.
+
Нельзя ловить нормальную рекламу. Нельзя банить почту Хьюлетт-Паккарда про новые драйвера.
-
Нельзя опир. тлько на массовость. Вот яндекс искл. слово массовость, он ловит всё массвое, пмечает его, сост обезл. вариант, помещ. в спам и рассылки,
+
Нельзя опир. только на массовость. Вот Яндекс искл. слово массовость, он ловит всё массовое, помечает его, сост обезл. вариант, помещает в спам и рассылки,
-
Нельзя наказывать заказчика.. Поск. иванов пётр сергеевич идёт к пр-менеджеру, тот к рекл. фирме. Более того,
+
Нельзя наказывать заказчика.. Поскольку Иванов Пётр Сергеевич идёт к PR-менеджеру, тот к рекламной. фирме. Более того,
-
Вот у мейл-ру 95---99 процентв --- спам. Если бы его не было, то можно отрубить
+
Вот у Mail.Ru 95-99 процентов --- спам. Если бы его не было, то можно отрубить
-
Кроме того, best practice --- не принимать пчту с дин. пулов в принципе, со всех dsl, gprs, модемов. Даже если там подобный дслщик
+
Кроме того, best practice --- не принимать почту с динамических пулов в принципе, со всех dsl, gprs модемов. Даже если там подобный дслщик
-
Есть варианты борьбы --- SPF, Domai case,... . Но прьблема --- что делать с теми, кто их не исп? Есть до сих пор люди на седьмм слярисе, есть люди, которые это не силили, .
+
Есть варианты борьбы --- SPF, Domain case,... . Но проблема --- что делать с теми, кто их не исп? Есть до сих пор люди на седьмом солярисе, есть люди, которые это не осилили, .
Методы фильтрации
Методы фильтрации
Три метда фильтрации:
Три метда фильтрации:
-
* Контрль доступа
+
* Контроль доступа
** Белые списки
** Белые списки
** Чёрные списки
** Чёрные списки
** Авт. доступа
** Авт. доступа
-
** Грейлистинг. Когда пересылается письмо в первый раз, то мы запоминем его, ID, и если это спамер, то он отвечает сразу, и елси он через плочаса не ответил, то отсылаем. Но это бходится. Кроме того, динамические IP. Ещё некотроые особо умные администраторы и почтовые сервера начинают ломиться раньше.
+
** Грейлистинг. Когда пересылается письмо в первый раз, то мы запоминаем его, ID, и если это спамер, то он отвечает сразу, и если он через полчаса не ответил, то отсылаем. Но это обходится. Кроме того, динамические IP. Ещё некотроые особо умные администраторы и почтовые сервера начинают ломиться раньше.
-
* Кнтроль стат. методами
+
* Контроль стат. методами
-
** Байес и модиф. Исп. в спкам-ассасине и его модиф. Метод осн. на том, что для данного конечнго получ. спам прихдит примерно одинаково и характер спама не меняется. У Байеса есть недостатки: н медленный, базу нельзя раст. на неск. человек. Можно на 10, на 100, но на 10000 неправильно. Есть вариант с бщ. и инд. базами. Прблемы --- если начинается фолс-позитив. Ещё недостаток --- overtraining. Он перекарм. и хршей почтй, и спамом.
+
** Байес и модиф. Используется в спам-ассасине и его модификациях. Метод основано на том, что для данного конечного получ. спам приходит примерно одинаково и характер спама не меняется. У Байеса есть недостатки: н медленный, базу нельзя настроить. на много человек. Можно на 10, на 100, но на 10000 неправильно. Есть вариант с бщ. и инд. базами. Проблемы --- если начинается фолс-позитив. Ещё недостаток --- overtraining. Он перекармливается. и хорошей почтой, и спамом.
-
* Кнтроль содерж. эвристиками.
+
* Контроль содерж. эвристиками.
-
** Анализ заголовкв на целостность и валидность: нормальные фром-ту-сабжект, ...
+
** Анализ заголовка на целостность и валидность: нормальные "from", "to", "subject", ...
-
** Анализ subject на наличие характ. терминов. Например: вигра --- хороший, постоянный; "покупайте телефоны сегодня" --- временный термин. Ес т база пост., есть база временных терминов.
+
** Анализ subject на наличие характерных. терминов. Например: виагра --- хороший, постоянный; "покупайте телефоны сегодня" --- временный термин. Есть база постоянная., есть база временных терминов.
-
В одной конторе была группа любителей порногрфии, кторые за это платили, поэтому просили бр. с порнографией аккуратно. Поэтому часть базы уже там не прокатывала.
+
В одной конторе была группа любителей порнографии, которые за это платили, поэтому просили бороться с порнографией аккуратно. Поэтому часть базы уже там не прокатывала.
-
Анализ содерж. части. Берётся письмо, нормализуется, заменячются похожие символы на один. По этому выч. сигнатура. Это всё работает только в кмм. решениях --- message labs, kaspersky, ... . Но при этом сказать, спам эт или не спам, мжет сказать тлько живой человек, поэтому коммерч..
+
Анализ содержательной. части. Берётся письмо, нормализуется, заменяются похожие символы на один. По этому вычисляется. сигнатура. Это всё работает только в кмм. решениях --- message labs, kaspersky, ... . Но при этом надо сказать, спам это или не спам, может сказать только живой человек, поэтому коммерч..
-
Правильный подх. закл. в том, что все эти сигн. должны ыть быстро дост. д плоьз. У касперск. это выпуск. разх в 5 минут. Раньше раз в час, сейча свот. И раньше казался трафик 600 мегабайт в день безумным, сейчас нормально.
+
Правильный подход заключается в том, что все эти сигнатуры. должны быть быстро дост. д плоьз. У касперского это выпуск. раз в 5 минут. Раньше было раз в час, сейчас вот так. И раньше казался трафик 600 мегабайт в день безумным, сейчас нормально.
-
Ещё метод --- польз. получает письмо, псылает сигнатуру, и посылает на сервер. И на ой стороне анализируется, спам то или не спам.
+
Ещё метод --- польз. получает письмо, посылает сигнатуру, и посылает на сервер. И на той стороне анализируется, спам то или не спам.
ivlad: А есть ли у вас SLA(?)
ivlad: А есть ли у вас SLA(?)
shaman^ У нас нет, есть у message labs
shaman^ У нас нет, есть у message labs
-
Сравнение антиспамов. Лектор занимался сертиф. у контор. Там таки надо соотв. некотоым критериям, они странные, но серьёзные.
+
Сравнение антиспамов. Лектор занимался сертификацией у контор. Там надо соответствовать некоторым критериям, они странные, но серьёзные.
Критерии:
Критерии:
* Detection rate --- процент распознанных
* Detection rate --- процент распознанных
-
* False positive --- тн. непр. расп. по отн. ко всему бъёма спама
+
* False positive --- тн. неправильно. распознаных. по отношению. ко всему объёму спама
-
Очевидно, чт эти два числа нельзя псчитать роботом.
+
Очевидно, что эти два числа нельзя посчитать роботом.
-
С чем лектор столкнулся: кгда контроры уст. себе антиспам, им рисуется красивые pie chart,
+
С чем лектор столкнулся: кгда конторы установили. себе антиспам, им рисуется красивые pie chart,
У SLA ... detection rate 95%, false positive 0.003%
У SLA ... detection rate 95%, false positive 0.003%
Строка 110: Строка 110:
У message labs лучший антиспам. Поск. подписываются ни на это деньгами
У message labs лучший антиспам. Поск. подписываются ни на это деньгами
-
Тестирование олжн быть долгим, не час, не два, не день. Две недели, месяц. --- да.
+
Тестирование должно быть долгим, не час, не два, не день. Две недели, месяц. --- да.
Тестировать можн только на живых кллекциях, нельзя естировать на спаме, лежащем в треше.
Тестировать можн только на живых кллекциях, нельзя естировать на спаме, лежащем в треше.
-
Анализ должен интерп. живй человек, специалист. Потому чт иначе можно получать как отличые результаты, так и ужасные.
+
Анализ должен интерп. живой человек, специалист. Потому что иначе можно получать как отличные результаты, так и ужасные.
-
Если тест показывает чень хороший и очень плохй, то надо заудматься над тестм. Меньше 75 процентов ни у кого нет.
+
Если тест показывает очень хороший и очень плохой, то надо задуматься над тестом. Меньше 75 процентов ни у кого нет.
-
При этом даже у решения, которое лвит 95 прцентов, может раздражать польз. Лектру прихдоит прядка 200 спамовых, прорывалсь 10, и а 5---6 раздражает.
+
При этом даже у решения, которое ловит 95 процентов, может раздражать пользователей. Лектору приходит прядка 200 спамовых, прорывалось 10, и а 5-6 раздражает.
-
Что лектор может посоветовать: Для польз хршо, чтбы на сервере резщалось 90---95 процентв, и чтобы у пльз. стоял перс. антиспам, дажен встр. в аутулук, тунжербёрд. н сможет понихзить порог противности. Будет прих. не 10, а 5, и пльз. будет чувст. себя сопричатсным процессу и он будет радваться.
+
Что лектор может посоветовать: Для пользователя хорошо, чтобы на сервере резалось 90---95 процентов, и чтобы у пользователя стоял персональный антиспам, даже встроеный в Outlook, Thunderbird.Он сможет понизить порог противности. Будет прих. не 10, а 5, и пользователь будет чувствовать себя сопричастным процессу, и он будет радоваться.
Есть решения на стороне сервера, которые делают карантин и пред. к нему оступ пользовательский.
Есть решения на стороне сервера, которые делают карантин и пред. к нему оступ пользовательский.
-
Кгда ivlad работал в EMC(?), у них спам аутсрсился, в компании AT&T, и ....
+
Кгда ivlad работал в EMC(?), у них спам аутсорсился, в компании AT&T, и ....
-
Действительно ли пльз. будет туда хадить?
+
Действительно ли пользователь. будет туда ходить?
-
Какр аботает SA: он собирает словарик, и для каждого слова есть вес.
+
Как работает SA: он собирает словарик, и для каждого слова есть вес.
-
У шамана в кач. клиента есть Билайн, у них мнго почты, и они много чего исп., и результаты хорошие.
+
У шамана в качестве клиента есть Билайн, у них много почты, и они много чего исп., и результаты хорошие.
-
Когда контора на 10 человек, то тут всё проще. В случае конторыиз 500 человек ... .
+
Когда контора на 10 человек, то тут всё проще. В случае конторы из 500 человек ... .
-
У них есть краулеры, кторые брдят п интернету по тем ссылкам, которые прих. в спаме, и смотрят их. И блеклист этих дменов тоже часть блеклист-бзы. Это даёт порядка 20 прцентов
+
У них есть краулеры, которые бродят п интернету по тем ссылкам, которые приходят. в спаме, и смотрят их. И блеклист этих доменов тоже часть блеклист-базы. Это даёт порядка 20 процентов
База пост. терминов 20 процентов, временных --- 20 процентов.
База пост. терминов 20 процентов, временных --- 20 процентов.
-
Как-рабтают спам-бты и бтнеты.
+
Как-работают спам-боты и ботнеты.
-
В мае словила sality (эт вирус). Появился он. след. образом --- приехал конс. и гарант бновлять базу, через два часа сеть легла. Sality --- набор троянов и kernel-драйверов, ктоые садятся на ring 0. Эта радость внедр. в систему, в ring 0, инст. себя в систему, в реестр свой бинарный кд. В винде есть закр. системные вызовы, кгда винд физ. ищет по указ. мест в реестре. Таким обр. что получилось: мжно грхнуь все файлы, но при логине оно всё восст. После внедренния она убивает системный процесс (svchost/lsass), и система перегружается. Сто она первым делом инфицируется --- демон хткеев и перекл. клавиатуры. Есть пустые папки, которые недоступны. Дальше она вытягивает всякие трояны, и всё, что можно, всё на машину собирается. Далее, есть список программ, при появл. которых она убивает. Т есть при наборе в поиске kaspersky, avp, и прочие, то приложения эти убиваются. Кроме того, на выкач. и собирает с ботнета всесзм. трояны и посл. их запускает. Дальше
+
В мае словила sality (эт вирус). Появился он следующим образом --- приехал конс. и гарант обновлять базу, через два часа сеть легла. Sality --- набор троянов и kernel-драйверов, которые садятся на ring 0. Эта радость внедряется. в систему, в ring 0, инсталлирует себя в систему, в реестр свой бинарный код. В винде есть закрытые системные вызовы, когда Windows физ. ищет по указанным местам в реестре. Таким образом. что получилось: можно грохнуть все файлы, но при логине оно всё восстановит. После внедрения она убивает системный процесс (svchost/lsass), и система перегружается. Что первым делом инфицируется: демон хоткеев и переключение. клавиатуры. Есть пустые папки, которые недоступны. Дальше она вытягивает всякие трояны, и всё, что можно, всё на машину собирается. Далее, есть список программ, которые она убивает. То есть при наборе в поиске kaspersky, avp, и прочие, то приложения эти убиваются. Кроме того, на выкачивает и собирает с ботнета всевозможные. трояны и посл. их запускает. Дальше собирает основное тело.
-
 
+
-
собирает осн. тело.
+
...
...
-
Она проверяет себя в всех dnsbl, и если она есть, то она начинет работать через aol/ambler/mail.ru, и пакетно начинает рассылать письма. С пчтой на разобралась и ждёт.
+
Она проверяет себя в всех dnsbl, и если она есть, то она начинет работать через aol/ambler/mail.ru, и пакетно начинает рассылать письма. С почтой она разобралась и ждёт.
-
Втрй троян, которая она цеплят -- прокся, регитсрирует рег. аккаунты на гмейле, при этом показывая ввд капчи пльзвателю.
+
Втрой троян, которая она цепляет -- прокся, регистрирует рег. аккаунты на gmail, при этом показывая ввод капчи пользователю.
-
Через 10---15 минут псле того, как дёрнули пароль начинают стучаться в IPC$.
+
Через 10---15 минут после того, как дёрнули пароль начинают стучаться в IPC$.
Дальше на смотрит, кто мастер-браузер в сети, вся эта херь разливается по сетке. И всё сначала.
Дальше на смотрит, кто мастер-браузер в сети, вся эта херь разливается по сетке. И всё сначала.
-
Спамхаус это единств. списк, который вайтлистит за еньги, на ктрый ГК подписался.
+
Спамхаус это единственный. список, который вайтлистит за деньги, на ктрый ГК подписался.
-
П поводу брьбы с ботами:
+
П поводу брьбы с ботами:
ГК: пробовали они мдиф. адрес червя, чтобы ...
ГК: пробовали они мдиф. адрес червя, чтобы ...

Версия 21:11, 26 декабря 2008

Создание ловушек для спама и сравнение антиспамов

У лектора были две задачи в свё время:

  • Создание хороших спам-ловушек
  • Сертификация

Откуда берут спам:

  • Провайдеры, которые сливают всё, что идёт на их адреса
  • Крупные корпорации

Нам важно, чтобы там был хороший спам, им, чтобы мы хорошо фильтровали спам

То есть, если сотрудник год как уволился, то там почти наверняка приходит тольк спам. Если ящик завели давно, и

ивлад: Список каннич. имён

Спам-ловушки: наши собств. адреса, которые созданы специально для получения спама.

Как создавали спам-ловушки: сначала даже исп. спам-ловушки в США. Находили всякие ресурсы типа двача, ixbt.com, ..., ходили по ресурсам и оставляли свои имейлы. Подписывались на всякие порно, варезные рассылки, на пограничных ресурсах, подп. на легитисную рекламу и отписывались... Подобная деятельность велась где-то два года. И в сравнении с ящиком лектора, куда приходит 500 адресов, на спам-ловушки приходило порядка 200-300 адресов.

Что ещё заметили: если такой адрес попадал на компьютер явно компьютерно недалёкого человека, у которого были вирусы, то сразу покачивалась карма ящика --- сразу начинало идти больше рекламы и менялся её характер. Кроме того, когда подписывались. на легитимные рассылки (ibm, ...), то сначала спама не было, потом через некоторое время начинал идти спам.

вопрос: следует ли отсюда, что легче купить рассылку, чем собирать? ответ: да.

смешной факт: тулзы, которые рассылают спам, до сих пор исп. сортированные списки.

Мы немножко выяснили, как рассылается спам. Что лектор хочет сказать: open-релей, диалап, сервер провайдера, чужой сервер --- всё это давно обломилось. Сейчас всё рассылается через ботнеты, причём их два типа:

  • Тупой и быстрый
  • Медленный и умный.

Зачем нужны вирусы? Чтобы заработать. деньги, деньги зарабатываются. на рекламе. Если раньше вирусы вызывали спецэффект, то теперь они скрываются как можно сильнее. Потому что компьютер --- это полезный ресурс. У него есть вычислительные. мощности, у него есть сеть. И его можно исп. для рассылок, для анонимизации, для DDOS атак.

Говорят, что войти в спамовый бизнес очень просто, а прибыль порядка 8к долларов может быть.

Ботнет: вирус, троян уст. на компьютер,

гку: Ботнет --- множество ботов, бт --- программа на компьютере, боты упр. ботмастером. Упр. по ирц или п2п.

Быстрый ботнет --- получает дну команду и сразу рассылает. Скорость рассылки --- 5-10-15 минут на всю сеть.

Медленный и умный --- тот, который что-то делает. Меняет изобр., меняет текст и так далее, чтобы обойти фильтры. Это часы.

Первый факт: спамовые рассылки живут минут 15. Это когда вы видите простое письмо, типа просто адрес, телефон и текст "звоните сюда". Оно простое, но попало, поскольку ещё не попало в базы фильтров.

Второе:

Третье: крупные уважаемые ресурсы иногда допускают утечку, мелкие всегда допускают. При этом крупные порноресурсы тносятся к этой информации строже, чем некоторые крупные компании.

Вторая часть: как ловится спам и как правильно и неправильно сравнивать их. _Все антиспамы отстой_.

определение спама: по опр. Лабаратории Касперского., оно совпало. с опросом консорциума. Это незапрошенная, массовая, технически анонимная рассылка.

  • Незапрошенная --- пользователь её не запрашивал
  • Массовая --- нет смысла блекмейлить одно письмо.
  • Техн. анонимная --- нельзя выяснить, кто отв. за рассылку

Нельзя ловить нормальную рекламу. Нельзя банить почту Хьюлетт-Паккарда про новые драйвера.

Нельзя опир. только на массовость. Вот Яндекс искл. слово массовость, он ловит всё массовое, помечает его, сост обезл. вариант, помещает в спам и рассылки,

Нельзя наказывать заказчика.. Поскольку Иванов Пётр Сергеевич идёт к PR-менеджеру, тот к рекламной. фирме. Более того,

Вот у Mail.Ru 95-99 процентов --- спам. Если бы его не было, то можно отрубить

Кроме того, best practice --- не принимать почту с динамических пулов в принципе, со всех dsl, gprs модемов. Даже если там подобный дслщик

Есть варианты борьбы --- SPF, Domain case,... . Но проблема --- что делать с теми, кто их не исп? Есть до сих пор люди на седьмом солярисе, есть люди, которые это не осилили, .

Методы фильтрации

Три метда фильтрации:

  • Контроль доступа
    • Белые списки
    • Чёрные списки
    • Авт. доступа
    • Грейлистинг. Когда пересылается письмо в первый раз, то мы запоминаем его, ID, и если это спамер, то он отвечает сразу, и если он через полчаса не ответил, то отсылаем. Но это обходится. Кроме того, динамические IP. Ещё некотроые особо умные администраторы и почтовые сервера начинают ломиться раньше.
  • Контроль стат. методами
    • Байес и модиф. Используется в спам-ассасине и его модификациях. Метод основано на том, что для данного конечного получ. спам приходит примерно одинаково и характер спама не меняется. У Байеса есть недостатки: н медленный, базу нельзя настроить. на много человек. Можно на 10, на 100, но на 10000 неправильно. Есть вариант с бщ. и инд. базами. Проблемы --- если начинается фолс-позитив. Ещё недостаток --- overtraining. Он перекармливается. и хорошей почтой, и спамом.
  • Контроль содерж. эвристиками.
    • Анализ заголовка на целостность и валидность: нормальные "from", "to", "subject", ...
    • Анализ subject на наличие характерных. терминов. Например: виагра --- хороший, постоянный; "покупайте телефоны сегодня" --- временный термин. Есть база постоянная., есть база временных терминов.

В одной конторе была группа любителей порнографии, которые за это платили, поэтому просили бороться с порнографией аккуратно. Поэтому часть базы уже там не прокатывала.

Анализ содержательной. части. Берётся письмо, нормализуется, заменяются похожие символы на один. По этому вычисляется. сигнатура. Это всё работает только в кмм. решениях --- message labs, kaspersky, ... . Но при этом надо сказать, спам это или не спам, может сказать только живой человек, поэтому коммерч..

Правильный подход заключается в том, что все эти сигнатуры. должны быть быстро дост. д плоьз. У касперского это выпуск. раз в 5 минут. Раньше было раз в час, сейчас вот так. И раньше казался трафик 600 мегабайт в день безумным, сейчас нормально.

Ещё метод --- польз. получает письмо, посылает сигнатуру, и посылает на сервер. И на той стороне анализируется, спам то или не спам.

ivlad: А есть ли у вас SLA(?) shaman^ У нас нет, есть у message labs

Сравнение антиспамов. Лектор занимался сертификацией у контор. Там надо соответствовать некоторым критериям, они странные, но серьёзные.

Критерии:

  • Detection rate --- процент распознанных
  • False positive --- тн. неправильно. распознаных. по отношению. ко всему объёму спама

Очевидно, что эти два числа нельзя посчитать роботом.

С чем лектор столкнулся: кгда конторы установили. себе антиспам, им рисуется красивые pie chart,

У SLA ... detection rate 95%, false positive 0.003%

У message labs лучший антиспам. Поск. подписываются ни на это деньгами

Тестирование должно быть долгим, не час, не два, не день. Две недели, месяц. --- да.

Тестировать можн только на живых кллекциях, нельзя естировать на спаме, лежащем в треше.

Анализ должен интерп. живой человек, специалист. Потому что иначе можно получать как отличные результаты, так и ужасные.

Если тест показывает очень хороший и очень плохой, то надо задуматься над тестом. Меньше 75 процентов ни у кого нет.

При этом даже у решения, которое ловит 95 процентов, может раздражать пользователей. Лектору приходит прядка 200 спамовых, прорывалось 10, и а 5-6 раздражает.

Что лектор может посоветовать: Для пользователя хорошо, чтобы на сервере резалось 90---95 процентов, и чтобы у пользователя стоял персональный антиспам, даже встроеный в Outlook, Thunderbird.Он сможет понизить порог противности. Будет прих. не 10, а 5, и пользователь будет чувствовать себя сопричастным процессу, и он будет радоваться.

Есть решения на стороне сервера, которые делают карантин и пред. к нему оступ пользовательский.

Кгда ivlad работал в EMC(?), у них спам аутсорсился, в компании AT&T, и ....

Действительно ли пользователь. будет туда ходить?

Как работает SA: он собирает словарик, и для каждого слова есть вес.

У шамана в качестве клиента есть Билайн, у них много почты, и они много чего исп., и результаты хорошие.

Когда контора на 10 человек, то тут всё проще. В случае конторы из 500 человек ... .

У них есть краулеры, которые бродят п интернету по тем ссылкам, которые приходят. в спаме, и смотрят их. И блеклист этих доменов тоже часть блеклист-базы. Это даёт порядка 20 процентов

База пост. терминов 20 процентов, временных --- 20 процентов.

Как-работают спам-боты и ботнеты.

В мае словила sality (эт вирус). Появился он следующим образом --- приехал конс. и гарант обновлять базу, через два часа сеть легла. Sality --- набор троянов и kernel-драйверов, которые садятся на ring 0. Эта радость внедряется. в систему, в ring 0, инсталлирует себя в систему, в реестр свой бинарный код. В винде есть закрытые системные вызовы, когда Windows физ. ищет по указанным местам в реестре. Таким образом. что получилось: можно грохнуть все файлы, но при логине оно всё восстановит. После внедрения она убивает системный процесс (svchost/lsass), и система перегружается. Что первым делом инфицируется: демон хоткеев и переключение. клавиатуры. Есть пустые папки, которые недоступны. Дальше она вытягивает всякие трояны, и всё, что можно, всё на машину собирается. Далее, есть список программ, которые она убивает. То есть при наборе в поиске kaspersky, avp, и прочие, то приложения эти убиваются. Кроме того, на выкачивает и собирает с ботнета всевозможные. трояны и посл. их запускает. Дальше собирает основное тело. ... Она проверяет себя в всех dnsbl, и если она есть, то она начинет работать через aol/ambler/mail.ru, и пакетно начинает рассылать письма. С почтой она разобралась и ждёт.

Втрой троян, которая она цепляет -- прокся, регистрирует рег. аккаунты на gmail, при этом показывая ввод капчи пользователю.

Через 10---15 минут после того, как дёрнули пароль начинают стучаться в IPC$.

Дальше на смотрит, кто мастер-браузер в сети, вся эта херь разливается по сетке. И всё сначала.

Спамхаус это единственный. список, который вайтлистит за деньги, на ктрый ГК подписался.

П поводу брьбы с ботами:

ГК: пробовали они мдиф. адрес червя, чтобы ...


UNИX, весна 2008


Лекции

01 02 03 04 05 06 07 08 09 10 11 12 13 14


Календарь

Февраль
13 20 27
Март
05 12 19 26
Апрель
02 09 16 23 30
Май
07 14
Семинары

01 02 03 04 05 06 07


Календарь

Март
21
Апрель
04
Май
16 30
Июль
11 18
Август
15


Эта статья является конспектом лекции.

Эта статья ещё не вычитана. Пожалуйста, вычитайте её и исправьте ошибки, если они есть.
Личные инструменты
Разделы