В качестве фильтра веб-контента сегодня традиционно используют DansGuardian. Это отличная программа практически не требующая настройки. DansGuardian может блокировать числящиеся в черном списке — IP-адреса, URL или домены (как и Squid). Но главная причина, по которой он заслужил популярность — фильтр содержимого (контента). Во время загрузки DansGuardian сканирует входящую веб-страницу и в случае срабатывания определенных критерий блокирует. Доступно две версии продукта выпускающиеся под разными лицензиями GPL и проприетарной. Одной из особенностей DansGuardian он не может самостоятельно загружать веб-страницы и требует наличия другого веб-сервера. Что требует дополнительных усилий для настройки. В этом смысле интересен форк проекта Mindwebfilter — MinD (рекурсив MinD is not Dansguardian).
Сайт проекта которого разместился на Google Code . Разрабатывается две версии:
- Toy — простой в использовании инструмент фильтрации, предназначен для обычных пользователей, небольших организаций и т.п.
- Blaster — высокопроизводительные системы — провайдеров, крупные организации (пока недоступен).
Главная особенность Toy наличие простого прокси, то есть теперь не требуется внешний прокси-сервер, а значит настройка упрощена. Код оптимизирован, поэтому система требует меньших ресурсов. Так сообщается, что для выхода в Интернет 200-300 пользователей достаточно системы с 500 МГц CPU и 250 Мб оперативной памяти. Кроме того изменен алгоритм работы фильтра, добавлены новые домены и категории, включена возможность безопасносго поиска. Прокси сервер может работать в transparent режиме. Изменен формат конфигурационного файла. Возможна проверка трафика при помощи антивируса ClamAV.
На сайте программы доступны архивы с исходными текстами и сборки для Debian (i386), в репозитарии нужных пакетов также нет. Поэтому в большинтсве случаев необходимо собирать самоятельно.
Далее рассмотрим процесс на примере Ubuntu 11.04.
Ставим пакеты для сборки
$ sudo apt-get install automake pkg-config build-essential libz-dev libpcre3-dev libclamav-dev libxml2-dev libtool |
Скачиваем архив с исходными текстами, конфигурируем
$ wget -c http://mindwebfilter.googlecode.com/files/mind-toy_1.1+svn98.tar.xz $ tar -Jxf mind-toy_1.1+svn98.tar.xz $ cd mind-toy-1.1+svn98/ $ ~/mind-toy-1.1+svn98 $ ./bootstrap && ./configure --prefix=/usr/local/ --enable-clamd=yes --enable-ntlm=yes \ --with-proxyuser=nobody --with-proxygroup=nogroup \ CXX="g++" CXXFLAGS="-I/usr/local/include,-O3" CPPFLAGS="" CC="cc" CFLAGS="-O3" \ LDFLAGS="-L/usr/local/lib,-Wl,-Bsymbolic-functions" |
Встроенный прокси будет работать от имени nobody:nogroup, каталог установки /usr/local. Также активирована поддержка ClamAV. Если такая не нужно параметр —enable-clamd=yes устанавливаем в no.
Собираем и устанавливаем.
$ make $ sudo make install |
В приниципе все, можно пробовать.
$ sudo /usr/local/sbin/mind |
Консоль после запуска освобождается, можно проверить работу демона
$ ps aux | grep mind $ netstat -ant | grep 8080 tcp 0 0 0.0.0.0:8080 0.0.0.0:* LISTEN |
По умолчанию MinD использует 8080 порт, настраиваем браузер на наш проки сервер и пробуем подключиться. Все должно работать. Для эксперимента наберите в поиске ряд слов или URL ресурсов доступ к которым нужно блокировать.
По окончанию сборки конфигурационные файлы будут помещены в /usr/local/etc/mind/ в каталоге /usr/local/etc/mind/lists/ будет содержаться список блокировки. Посмотрим.
$ cd /usr/local/etc/mind/ /usr/local/etc/mind $ ls authplugins contentscanners downloadmanagers lists mind.conf mindf1.conf |
Основной файл который использует демон называется mind.conf, он содержит данные о режиме работы прокси, порт, расположение журнала, формат строк в журнале и т.п. К слову журнал программа не ведет, поэтому создаем каталог.
$ sudo mkdir /var/log/mind |
Все параметры приводить не буду, кто сталкивался с настройкой Squid наудйт много знакомого:
$ sudo nano mind.conf # журнал, снимаем комментарий loglocation = /var/log/mind reportinglevel = 3 loglevel = 3 # режим работы # 0 - Simple Proxy: внутренний прокси (recommended) # Usefull for transparent proxy. # 1 - Chained proxy: вроде Dansguardian требует внешнего прокси # 2 - ICAP mode: ICAP сервер # Default: 0 (Simple proxy). filterworkmode = 0 # стиль страницы блокировки 0,1,2 blockingpagephstyle = 1 # прозрачный прокси transparentproxy = off # безопасный поиск Google forcegooglesafesearch=on # шаблон языка сообщений, русского пока нет languagedir = '/usr/local/share/mind/languages' language = 'ukenglish' # Network Settings # Установки сети # по умолчанию слушаются все интерфейсы filterip = 0.0.0.0 # порт filterport = 8080 # IP и порт другого прокси, игнорируется в режиме Simple Proxy proxyip = 127.0.0.1 proxyport = 3128 # изображение на замену забаненого usecustombannedimage = on custombannedimagefile = '/usr/local/share/mind/transparent1x1.gif' # группа фильтров filtergroups = 1 filtergroupslist = '/usr/local/etc/mind/lists/filtergroupslist' # Authentication files location bannediplist = '/usr/local/etc/mind/lists/bannediplist' exceptioniplist = '/usr/local/etc/mind/lists/exceptioniplist' # размер кэша и возраст URL urlcachenumber = 1000 urlcacheage = 900 # 15 минут scancleancache = on reverseaddresslookups = off # блокировка POST - загрузка файлов # 0 - полная, -1 не блокируется # любое числу указывает размер maxuploadsize = -1 # максимум контентного фильтра maxcontentfiltersize = 256 # каталоге кэша filecachedir = '/tmp' |
Это минимум, остальные параметры можно пока не трогать. Одна из особенностей MinD возможность форматирования журнала и записей. Здесь часто используется цифровой код, расшифровка которого дана в самом файле.
Посмотрим теперь на лист блокировки
$ cat lists/bannedsitelist # возможно установка времени действия списка # Time limiting syntax: # #time: <start hour> </start><start minute> <end hour> </end><end minute> <days> # Example: ##time: 9 0 17 0 01234 # Remove the first # from the line above to enable this list only from # 9am to 5pm, Monday to Friday. # категоризация списка #listcategory: "Banned Sites" # список сайтов для блокировки badboys.com # подключение внешних списков #.Include </days></end></start> |
В других файлах прописаны IP, MIME типы, расширения файлов и прочие атрибуты которые можно заблокировать.