CommuniGate Pro:

Плагин Cloudmark для CommuniGate Pro


Обзор плагина Cloudmark

Плагин фильтрации спама Cloudmark запускается как Внешний Фильтр и высчитывает спам-рейтинг для каждого обработанного сообщения. В отличии от утилит со статически определенными шаблонами спам сообщений, Плагин Cloudmark динамически получает новые шаблоны из Сети Couldmark, которая обеспечивает высокую точность в определении новых спам сообщений.

Рейтинг определяется в пределах от 0 до 100; чем выше рейтинг сообщения, тем с большей вероятностью это сообщение является спамом. Сведения о рейтинге добавляются в заголовок сообщения, таким образом оно может быть обработано Правилами Сервера, Домена или Аккаунта.

По-умолчанию добавляемый заголовок выглядит так:

X-Junk-Score:  92 [XXXX]
X-Cloudmark-Score:  92 [XXXX]
X-Alert: possible spam!
X-Color: red
Кроме цифрового значения рейтинга в поле заголовка содержится «штрих-код» для упрощения автоматической обработки сообщений: чем больше символов «Х» в «штрих-коде», тем выше рейтинг. Ниже приведены соответствия цифрового значения рейтинга и «штрих-кода» по умолчанию:
Цифровое значение рейтингаШтрих-код
0[]
1-39[X]
40-80[XX]
81-90[XXX]
91-95[XXXX]
96-99[XXXXX]
100[XXXXXX]

Каждый день в полночь Плагин генерирует отчет о количестве обработанных сообщений и их рейтинги. По умолчанию отчет отправляется на ардес postmaster из главного домена CommuniGate.

Примечание: Плагин Cloudmark доступен только для некоторых платформ, поддерживаемых программным обеспечением CommuniGate Pro. Перед тем как Вы закажете лицензию для Плагина Cloudmark, убедитесь, что Плагин доступен для платформы, которая используется для Вашего Сервера CommuniGate Pro.

Примечание: Плагин Cloudmark требует версии CommuniGate Pro 6.0.11 или выше.

Технические требования: Pentium-II или выше (UltraSparc для ОС Solaris), мульти-процессорные системы и мульти-ядерные процессоры поддерживаются (за исключением Intel HyperThreading). 512 МБ ОЗУ, 200МБ на жестком диске.

Примечание: Плагин Cloudmark требует доступ на исходящие соединения по портам 443 и 80 протокола TCP к внешней сети Cloudmark 208.83.136.0/22 для доступа к серверам lvc.cloudmark.com и microupdates.cloudmark.com. Плагин скачивает порядка 100МБ обновлений ежедневно.


Загрузка плагина Cloudmark

Плагин Cloudmark доступен только для следующих платформ.
Операционная система CPU Загрузить
по HTTP по FTP
Linux (RedHat, Debian, SuSE) x86
x86_64
FreeBSD 9+ x86
x86_64
Microsoft Windows 2008/Vista/7/8/10 x86
x86_64

Текущая версия плагина 2.7


Установка в системе Linux.

Примечание: Следующие библиотеки необходимы для корректной работы Плагина Cloudmark на платформе Linux-x86.
Имя библиотеки Расположение
libpthread.so.0 /lib
libstdc++.so.5 /usr/lib
libstdc++.so.6 /usr/lib
libm.so.6 /lib
libgcc_s.so.1 /lib
libc.so.6 /lib
libdl.so.2 /lib
librt.so.1 /lib
ld-linux.so.2 /lib
Примечание: Следующие библиотеки необходимы для корректной работы Плагина Cloudmark на платформе Linux-x86_64.
Имя библиотеки Расположение
libpthread.so.0 /lib64
libstdc++.so.6 /usr/lib64
libm.so.6 /lib64
libgcc_s.so.1 /lib64
libc.so.6 /lib64
libdl.so.2 /lib64
librt.so.1 /lib64
ld-linux-x86-64.so.2 /lib64


Установка в системе FreeBSD

Примечание: Следующие библиотеки необходимы для корректной работы Плагина Cloudmark на платформе FreeBSD 9.
Имя библиотеки Расположение
libthr.so.3 /lib
libc.so.7 /lib
libm.so.5 /lib
libgcc_s.so.1 /lib
libstdc++.so.6 /usr/lib


Установка на системы MS Windows

Примечание: Следующие библиотеки необходимы для корректной работы Плагина Cloudmark на платформе Windows.
Имя библиотеки Расположение
MSVCR71.DLL {SystemDir}\system32
MSVCP71.DLL {SystemDir}\system32


Обновление Плагина Cloudmark

Проделайте следующие шаги для обновления Плагина Cloudmark до новой версии:


Тестирование Плагина Cloudmark.

На Unix системах:

На системах MS Windows:

Примечание: дистрибутив плагина не содержит базы данных спам сигнатур и при первом запуске будет произведена их загрузка. Загруженные файлы будут сохранены в поддиректорию micro_updates. До момента полной загрузки базы данных точность определения спама может быть снижена. Для изменения данного поведения Вы можете установить параметр "download micro-updates before init» в файле cartridge.cfg в значение «yes», однако это приведет к более длительной инициализации Плагина.

Примечание: спам сообщения из файла test.msg могут устареть и возможно будут удалены из баз данных спам сигнатур, поэтому выставленный им рейтинг 0 не является показателем некорректной работы плагина. Вы можете заменить их свежими экземплярами спам сообщений.


Интеграция Плагина Cloudmark в CommuniGate Pro

Шаг #1: Создайте Помошника как описано ниже:

Пожалуйста, ознакомьтесь с разделом Внешние помошники в мануале CommuniGate Pro.

Откройте страницу Общие в разделе Установки в Административном веб-интерфейсе CommuniGate Pro и перейдите в раздел Помощники. Создайте Помощника для Плагина Cloudmark:

Фильтрация данных
Уровень Журнала: Путь к Программе:
Тайм-аут: Авторестарт:

Примечание: Для систем MS Windows Путь к Программе должен быть указан как CGPCloudmark\CGPCloudmark.exe, то есть с обратным слэшем «\» как разделителем.

Примечание: На некоторых версиях FreeBSD систем может быть необходимым указать полный путь к программе, например: /var/CommuniGate/CGPCloudmark/CGPCloudmark

Шаг #2: Создание Правила Сканирования

Для вызова Помощника CloudMark Вам необходимо создать Общесерверное Правило с действием "Внешний Фильтр CloudMark". Правило сканирования будет применено Плагином Cloudmark к сообщению, и спам рейтинг будет добавлен к заголовку сообщения.
Обратите внимание: Это должно быть Общесерверное правило, а не Общедоменное Правило или Правило Аккаунта.

Рекомендованные правила сканирования сообщений:

Данные Операция Параметр
Действие Параметр

Это правило пропускает сообщения от адреса MAILER-DAEMON (такие как сообщения о недоставке, и другие служебные сообщения), а также сообщения отправленные с Клиентских IP Адресов и аутентифицированных отправителей и включая только сообщения для локальных аккаунтов и списков рассылки.

Примечание: Не лицензированная установка Плагина Cloudmark ограничена обработкой 5 сообщений в час. Если трафик сообщений превышает этот лимит, Плагин будет пропускать эти сообщения без выставления рейтинга.

Шаг #3: Обработка Сообщений после выставления Рейтинга

Плагин CloudMark сам по себе не блокирует спам сообщения, он лишь присваивает таким сообщениям определенный рейтинг. Для непосредственной блокировки спама, Вам необходимо создать Правило, которое будет блокировать сообщения на основе их спам-рейтинга. Существует несколько возможных сценариев:

Сценарий #1: подходит небольшим организациям, где Вы можете назначить ответственным одного человека (например, Postmaster) для ежедневного просмотра спам сообщений для проверки на ложные срабатывания, и если такое ложное срабатывание находится - перенаправлять эти сообщения соответствующим получателям.

Создайте Общесерверное Правило следующего содержания:

Данные Операция Параметр
Действие Параметр

Это Правило переносит входящие сообщения с рейтингом 96 и выше в ящик «spam_box» аккаунта postmaster@domain.com. Действие «Выбросить» требуется для предотвращения отправки сообщения первоначальному получателю (ящик INBOX). Обратите внимание, в примере выше символ «*» в выражении [XXXXX* необходим, чтобы отфильтровать все сообщения с рейтингом ниже 5 Х. Без этого символа правило будет фильтровать только сообщения с рейтингом 5 Х.
Обратите внимание: Приоритет Общесерверных правил должен быть ниже, чем приоритет Правил Сканирования.

Сценарий #2: подходящий для больших организаций и Интернет Провайдеров. Сценарий позволяет пользователям сами решать, что делать со спамом.

Создайте Общедоменное правило или несколько Правил Аккаунта для Аккаунтов, которым необходима фильтрация, со следующим содержаием:

Данные Операция Параметр
Действие Параметр

Это Правило переносит входящие сообщения с рейтингом 96 и выше в ящик «Junk» аккаунта первоначального получателя. Пользователь должен сам проверять свой ящик «Junk» и очищать его. Действие «Выбросить» требуется для предотвращения отправки сообщения первоначальному получателю (ящик INBOX). Обратите внимание, в примере выше символ «*» в выражении [XXXXX* необходим, чтобы отфильтровать все сообщения с рейтингом ниже 5 Х. Без этого символа правило будет фильтровать только сообщения с рейтингом 5 Х.

Ящик «Junk» из примера выше должен существовать у каждого пользователя домена. В противном случае, работа Правила будет завершена ошибкой и сообщение будет доставлено в ящик INBOX первоначально получателя.

В качестве альтернативы, Вы можете использовать упрощенные Правила «Управление Спамом» на уровне домена или аккаунта:

Управление Спамом
Высокая вероятность: Средняя вероятность: Низкая вероятность:

Сценарий #3: подходящий для больших организаций и Интернет Провайдеров, пользователи которых имею доступ только к ящику INBOX (например пользователи POP3).

Создайте Общедоменное правило или несколько Правил Аккаунта для Аккаунтов, которым необходима фильтрация, со следующим содержаием:

Данные Операция Параметр
Действие Параметр

Это правило помечает спам сообщения префиксом [[SPAM]] в теме сообщения.

Сценарий #4: подходит для компаний с относительно небольшим входящим трафиком. Доступен для серверов CommuniGate Pro версии 5.1 и выше.

В CommuniGate Pro версии 5.1 и выше, Вы можете добавлять сообщения в очередь синхронно. Используйте Веб Интерфейс Администратора, чтобы сконфигурировать компонент Очереди. Откройте страницу Очередь в разделе Установки -> Почта: Снимите галочку с опции «Добавлять в очередь асинхронно»:
Установка в Очередь
Уровень Журнала: Процессоры:
Ограничение Числа 'Received':   Асинхронная Установка в Очередь

Более детальную информацию смотрите в Мануале CommuniGate.

Создайте Общесерверное Правило следующего содержания:

Данные Операция Параметр
Действие Параметр

При синхронной постановке в очередь, если сообщение отвергается Общесерверным правилом, оно отвергается еще на уровне SMTP с кодом ошибки 5xx, вместо полноценной операции приёма и отклонения с ответом.

При любом сценарии не рекомендуется отвергать сообщения без сохранения их, так как всегда существует возможность ложного срабатывания. Крайне не рекомендуется автоматически отвергать спам сообщения (кроме синхронного режима, используемого в сценарии 4), потому что обратный адрес зачастую сфабрикован и сообщение о отвергнутом сообщении может прийти человеку, который не отправлял данное сообщение. При отвержении писем в синхронном режиме, хост отправитель получит ошибку еще на уровне SMTP, и никакого ответного сообщения от Вашего сервера отправлено не будет.

Рекомендуемый порог (значение рейтинга, при котором сообщение расценивается как спам) - 96. Если слишком большое количество спам сообщений проходит фильтр, снизьте порог до 90. Если же наоборот, происходит слишком много ложных срабатываний, повысьте порог до 100.


Файл конфигурации Плагина

При старте Плагин CloudMark зачитывает содержимое файла CGCloudmark.cfg из текущей директории. Формат данных в этом файле описан здесь http://www.communigate.com/CommuniGatePro/Data.html. Описание элементов данных находится в самом файле CGCloudmark.cfg. Стандартный файл CGCloudmark.cfg доступен здесь.

Стандартный файл CGCloudmark.cfg имеет следующее содержимое:

Header="X-Junk-Score: ^1 [^2]";
Эта строка определяет заголовок с рейтингом, который будет добавлен в сообщение.
Комбинация ^1 заменяется числовым рейтингом сообщения.
Комбинация ^2 заменяется «штрих-кодом» с рейтингом сообщения.
Чтобы создать заголовок с несколькими строчками, используйте комбинацию \e для переноса строки. Убедитесь, что каждая строка соответствует требованиям RFC. Лучше всего начинать каждую строку с префикса «X-». Пример: Header="X-Score: ^1\eX-Bar-Score: ^2"

AlertLevel=96;
Эта строка определяет рейтинг, который инициирует добавление предупреждающего заголовка AlertHeader в сообщение, а в ежедневные отчеты об источниках и получателях спама, будет добавлена информация об этих сообщениях.

AlertHeader="X-Alert: possible spam!\eX-Color: red";
Эта строка определяет заголовок с рейтингом, который будет добавлен в сообщение, если его рейтинг равер или выше значения AlertLevel. Комбинация «X-Color: red» меняет цвет сообщения при просмотре через Пользовательский Веб Интерфейс CommuniGate Pro.
Обратите внимание: Для обработки спам сообщений, Вы можете использовать факт наличия заголовка AlertHeader вместо проверки рейтинга сообщения, но этот метод не слишком гибкий, в случае если пользователи хотят использовать различные пороговые рейтинги.

SubmittedDirectory = "Submitted";
Эта строка определяет директорию Submitted в CommuniGate Pro, которая требуется для приёма отчетов через модуль PIPE. Это может быть относительный или абсолютный путь, например "/var/CommuniGate/Submitted"

OnLicenseLimitReached=Pass;
Эта строка определяет поведения Плагина при превышении лимита сообщений, который определен лицензией. Когда он установлен в значение «Delay», Плагин будет задерживать модуль обработки Очереди CommuniGate Pro, а в значении «Pass», Плагин будет пропускать сообщения без обработки и выставления рейтинга. Такие необработанные сообщения не будут иметь заголовка X-Cloudmark-Score. Кроме того, в записи лога CommuniGate Pro будут записи о превышении лимита лиценизии.


Файл конфигурации Движка Cloudmark

Во время инициализации Движок Cloudmark читает опции конфигурации из файла cartridge.cfg и опции белого листа из файла whitelist.cfg.

Микро-Обновления

Механизм Микро-Обновлений позволяет Cloudmark регунлярно скачивать свежие данные для идентификации сигнатур спам сообщений. Данные предоставляются высоконадежными аналитическими специалистами системы Trust Evaluation в Сети Безопасности Cloudmark Collaborative в режиме близком к режиму реального времени. Поэтому правильное использование механизма Микро-Обновлений критически важно для поддержания точности обнаружения новых типов фишинговых, спам сообщений и вирусов.

Более детальную информацию смотрите в файле cartridge.cfg.

Сетевое взаимодействие

Микро-Обновления загружаются с использованием стандартных HTTP запросов. Если опция HTTP Proxy выключена, то в назначенный интервал времени будет произведена попытка загрузки по порту 80. Если она будет неудачной, для анализа будет использоваться предыдущая скачанная версия файла с данными в директории micro_updates до следующего истечения интервала и следующей попытки обновления.

Целостность и безопасность файла данных

Файл Микро-Обновлений содержит данные в сжатом и зашифрованном виде. Данные, зашифрованные с неверным ключом будут проигнорированы. Таким образом, DNS и IP-спуфинг не представляет опасности. Содержимое файлов данных загружается в память как при старте, так и при каждом скачивании нового файла.

Статистика картриджа

По-умолчанию, Картридж Cloudmark отправляет конфигурационную информацию и статистику сканирования сообщений обратно в Cloudmark. Собирая эту информацию, Cloudmark может более эффективно обнаруживать потенциальные проблемы в точности обнаружения и превентивно решать их до того, как пользователи сами обратятся в Cloudmark. Если в Вашей организации имеются особые правила безопасности, Вам необходимо отключить опцию сбора статистики.

Статистика собирается во всех инсталляциях картриджей. Собранная статистика не записывается на диск и не доступна на самой инсталляции. По-умолчанию, статистика отправляется в Cloudmark по следующему адресу: http://<configured micro-update hostname>/cmstats. Стандартное имя хоста - microupdates.cloudmark.com. Если картридж сконфигурирован на использование прокси-сервера при загрузке микро-обновлений, статистика будет отправлена с использованием этого же прокси-сервера. По-умолчанию, картридж соединяется с Cloudmark для отправки статистики каждый час. Интервал отправки статистики регулируется самим Cloudmark. Он может изменять частоту отправки статистики для поддержки пользователей, столкнувшимися с проблемами точности детектирования спама.

В файле cartridge.cfg в параметре "customer id = communigate-customername@feedback.cloudmark.com« измените "customername« на название Вашей компании.

Белый лист

Белый лист - это лист с доверенными отправителями, сообщения от которых, Вы всегда принимаете, либо особые характеристики сообщений, который являются показателем их доверенности. Этот функционал картриджа Cludmark позволяет минимизировать фильтрацию легитимных сообщений, и позволяет системным администраторам удобно настраивать признаки для сообщений от известных безопасных отправителей.

Более детальную информацию смотрите в файле whitelist.cfg.


Запуск Плагина из командной строки.

Плагин - это текстовое приложение, которое может быть запущено из командной строки, и которое принимает некоторые опции в командной строке. Когда Плагин используется в качестве Помощника CommuniGate Pro, он не требует никаких дополнительных параметров запуска в коммандной строке.

Файлы Рейтинга сообщений.

Плагин может быть использован для вычисления спам-рейтинга для нескольких сообщений, находящихся в директории в виде файлов.

Синтаксис программы следующий: CGPCloudmark RATE [options] <directory>

Параметр <directory> должен содержать файлы с сообщениями в формате RFC822 или в формате CommuniGate (RFC822 с информационной обёрткой). Каждое сообщение должно быть в отдельном файле. Вы можете использовать сообщения из почтовых ящиков CommuniGate в формате .mdir. Сообщения в форматах .EML, .MSG, .mbox и других должны быть конвертированы в формат RFC822. Не допускайте изменений в этих сообщениях. Например, заголовок «Received» часто бывает случайно удален. Заметьте, что почтовые клиенты часто изменяют сообщения, когда сохраняют их.

Пример:./CGPCloudmark RATE /var/CommuniGate/Queue


Отчет об ошибках классификации сообщений в Сетевую Систему Отзывов Cloudmark

Сетевая Система Отзывов Cloudmark (CNFS) - это автоматическия механизм отзывов, который позволяет поставщикам услуг Интернета и крупным компаниям, пользующимся Cloudmark, а также всем остальным пользователям CNFS, отправлять неверно опознанные сообщения напрямую в Сервис Cloudmark. Сетевая Система Отзывов Cloudmark позволяет пользователям немедленно становиться членами Совместной Сети Безопасности Cloudmark, присоединяясь к миллионам пользователей, передающим отзывы о новых угрозах в сообщениях в Сервис Cloudmark в реальном времени. Cloudmark начинает немедленно отслеживать репутацию каждого участника CNFS и измеряет правильность их отзывов. Отзывы от доверенных пользователей приводят к улучшению точности на шлюзах, использующих фильтрацию Cloudmark практически в реальном времени.

Технические требования для приема сообщений о ложных срабатываниях в Cloudmark:

Сообщения с отзывами должны отправляться по следующим адресам:

communigate-legit@feedback.cloudmark.com - для ложно-положительных срабатываний
communigate-spam@feedback.cloudmark.com - для ложно-отрицательных срабатываний
communigate-phishing@feedback.cloudmark.com - для ложно-отрицательных срабатываний, связанных с фишингом

Сообщения с отзывами, которые будут приняты в отличном от RFC822 формате, не будут переданы Сервису Cloudmark на обработку. Однако, эти отзывы будут отслеживаться для целей статистический анализа.

Использования Microsoft Outlook для отправки отзыва:

  1. Запустите Outlook.
  2. Создайте новое сообщение нажатием на кнопку «Новое сообщение».
  3. Перетащите сообщение, которое было неверно классифицировано в окно с новым письмом, чтобы добавить его как вложение.
  4. Отправьте созданное сообщение с вложением на один из адресов для отзывов, перечисленных выше.

Использования Веб Почты CommuniGate для отправки отзыва

  1. Откройте сообщение, которое было неверно классифицировано в отдельном окне.
  2. Нажмите кнопку «Переслать» для создания сообщения с отзывом.
  3. В поле «Кому» введите один из адресов для отзывов, перечисленных выше.
  4. Нажмите на кнопку «Отправить».

Мануал CommuniGate® Pro. Copyright © 1998-2019, Stalker Software, Inc.