Технология фильтрации спам

СПАМОРЕЗ использует множество техник определения спам. Каждое сообщение проверяется несколькими сотнями способов для выявления нескольких сотен тысяч признаков спам. В результате анализа сообщению присваивается определённый рейтинг (спам рейтинг). Чем он выше - тем больше вероятность того, что сообщение является спамом. При достижении пороговых значений сообщение либо помечается как спам, либо доставляется в карантин.

Основные техники используемые СПАМОРЕЗом для фильтрации спам

Признаки "массовости" сообщения

СПАМОРЕЗ подсчитывает контрольную сумму каждого проходящего через него сообщения и ведёт базу данных контрольных сумм. СПАМОРЕЗ обменивается информацией с серверами службы Razor и DCC для определения массовости сообщения. Таким образом, отслеживается общее количество появлений одинаковых сообщений в сети Интернет. Если сообщение с такой же контрольной суммой уже было зафиксировано несколько тысяч раз на разных серверах сети Интернет, то его спам-рейтинг повышается соответствующим образом.

Проверка отправителя

Подделка адреса отправителя является общей спамерской практикой. СПАМОРЕЗ использует несколько техник для проверки отправителя:

• Проверка правильности протокола. Например, проверка правильности отправителя в SMTP-диалоге или проверка соответствия RFC 821
• Проверка адреса сервера отправителя в DNSBL
• Технология SPF (Sender Policy Framework)

Ключевые слова

СПАМОРЕЗ ведёт базу данных ключевых слов, на основе которой добавляются либо понижаются штрафные баллы, влияющие на принятие СПАМОРЕЗом решения о принадлежности письма к спам. В качестве примера можно привести - "VIAGRA", "Центр американского английского" характерные для рекламных рассылок.

Алгоритм Байеса

Механизм фильтрации основан на статистическом методе Байеса классификации документов по категориям. СПАМОРЕЗ определяет частоту вхождения слов и фраз в каждом почтовом сообщении и ведёт базу данных частотных словарей, на основе которых определяет вероятность принадлежности сообщения к спаму. После обработки каждого электронного почтового сообщения СПАМОРЕЗ обновляет частотные словари. За счёт этого выполняется динамическая подстройка СПАМОРЕЗа к постоянно изменяющемуся потоку спам сообщений.

Мониторинг СПАМОРЕЗ

Наши инженеры осуществляют непрерывный мониторинг СПАМОРЕЗов для выявления и блокировки только, что появившихся, ещё неизвестных, спам сообщений.

Intent анализ

Каждое спам сообщение имеет какую-то определённую цель-действие от получателя спам. Например, это может быть звонок по телефону, посещение WWW-сервера, отсылка почтового сообщения и т.п. СПАМОРЕЗ выполняет анализ сообщения для выявления подобных признаков.

Анализ заголовков RFC

Последовательность проверок соответствия email-сообщения стандартам Интернет RFC. Подавляющее большинство современных программ для работы с электронной почтой соответствует указанным стандартам. Поэтому анализ заголовков RFC "нормальных" электронных писем показывает полное соответствие. В то же время программы для рассылки спама, компьютеры-зомби зачастую рассылают спам не соответстующий стандартам RFC. Иногда такие "отклонения" от стандартов приводят к тому, что для получателей почты сообщения выглядят как "битые", но в большинстве случаев "отклонения" визуально не видны. Анализ заголовков RFC - очень мощный механизм, отсекающий значительную часть СПАМ.

Анализ истории

СПАМОРЕЗ ведёт базу данных по "истории" адресов отправителей и получателей почтовых сообщений. Большое количество нормальных сообщений от одного и того же отправителя к получателю почты снижает спам рейтинг почтового сообщения.

"Чёрные" и "белые" списки

СПАМОРЕЗ использует списки для принудительного назначения спам-рейтинга почтовым сообщениям. Если отправитель сообщения указан в "белом" списке к спам-рейтингу сообщения добавляется отрицательное значение, уменьшающее штрафные баллы. "Чёрные" списки наоборот добавляют к спам-рейтингу дополнительные штрафные баллы, что существенно увеличивает вероятность принятия решения, что данное сообщение - спам.

Анализ "помех"

Для уклонения от систем фильтрации спам, спамеры используют механизм "помех", представляющий собой специально сформированный текст напоминающий обычное письмо и не имеющий никакого отношения к рекламному сообщению, содержащемуся в спаме. Этот текст предназначен для обмана системы фильтраци, для создания видимости, что сообщение - нормальная почтовая переписка. СПАМОРЕЗ выполняет серию проверок, направленную на выявление "помех" и присвоение сообщениям с "помехами" дополнительных штрафных баллов, повышающий вероятность принятия решения о том, что данное письмо - спам.