Многие опытные пользователи Интернет знают, что прокси-сервер, позволяет оградиться от навязчивых банеров и другого незапрашиваемого, а иногда даже и вредного контента. Также с их помощью можно существенно сэкономить свои финансы, не загружая по несколько раз одну и ту же страницу. Задача прокси-серверов Privoxy и DansGuardian - борьба с незапрашиваемым контентом, а WWWOffle (gedanken.demon.co.uk) позволяет сохранить в своем кэше посещенные пользователем страницы для последующего их просмотра в режиме off-лайн. И даже больше, но обо всем по порядку.

Возможности WWWOffle

WWWOffle (World Wide Web Offline Explorer) представляет собой простой прокси-сервер ориентированный в первую очередь на пользователей коммутируемых соединений, хотя будет естественно полезен и тем которые беспокоятся о сумме приходящих счетов от провайдера. Работает он просто, пользователь настраивает свой веб-браузер так чтобы он выходил в Интернет не напрямую, а через WWWOffle, затем заходит на нужный сайт, переходит по ссылкам. WWWOffle между тем запоминает все, что было загружено. Отключившись от Сети, пользователь, набрав в строке веб-браузера адрес того же ресурса, получает возможность полностью повторить весь путь в Интернет. Удобств несколько. Можно быстро пройтись по нужным ресурсам, а затем, отключившись от Сети спокойно все почитать, при повременной оплате это неплохой способ сэкономить. Кроме того, теперь нет необходимости сохранять на диск все без разбора и куда попало, можно в архив отобрать то, что действительно необходимо. При восстановлении связи будут загружены только изменившиеся страницы, пользователь может вручную указать, какие страницы ему потребуются или которые кэшировать не нужно. WWWOffle может быть настроен на автоматическое установление связи и загрузку не кэшируемых или отсутствующих страниц. Кэшируются протоколы HTTP, FTP и finger, работает и с защищенным HTTPS протоколом. Понимает HTML 4.0, CSS, Java классы, и частично VRML с XML и разные типы объектов — картинки, таблицы стилей, фреймы, скрипты, Java и другие. Кроме различных вариантов Unix, благодаря библиотекам сygwin WWWOffle может работать и в Windows построенном на ядре NT. Остальные возможности разберем по ходу.

Устанавливаем WWWOffle

Пакет wwwoffle есть в репозитарии Ubuntu, поэтому с его установкой проблем быть не должно. Вводим “sudo apt-get install wwwoffle” и готово. В процессе установки будет запрошен пароль, который затем будет использоваться для возможности редактирования параметров через веб-интерфейс.

Единственное в репозитарии находится более ранняя версия 2.8, которая датирована аж 2003 годом, если есть желание работать с более новой версией 2.9 от апреля 2006 года (ничего супер в ней нет), тогда WWWOffle придется компилировать. Итак, после установки в каталог /etc/init.d будет добавлен скрипт для запуска остановки демона wwwoffled, и сделаны соответствующие ссылки в каталогах /etc/rcX.d. Кроме того, в подкаталогах /etc/ppp/ip-up.d и ip-down.d также появятся новые скрипты которые обеспечивают автоматический дозвон и закрытие соединения в случае необходимости, а также изменение режима работы WWWOffle. Кроме демона wwwoffled в системе появилось еще три исполняемых файла: wwwoffle, wwwoffle-tools, wwwoffle-audit-usage. Остальные файлы размещены в /etc/wwwoffle. По большому счету можно в него вообще не заглядывать, установки по умолчанию вполне разумны и подходят для большинства случаев. Настраиваем веб-браузер и работаем. Настройки просты. Запускаем Firefox, выбираем в меню “Правка-Настройки” и затем во вкладке “Основные” нажимаем кнопку “Параметры соединения”. В появившемся окне устанавливаем флажок “Настройка прокси вручную”, в полях HTTP, SSL и FTP прокси вводим адрес localhost и порт 8080. Нажимаем ОК и выходим из настроек.

Режимы работы WWWOffle

В WWWOffle реализовано четыре режима работы: online, offline, autodial и fetch. В режиме online WWWOffle работает как обычный прокси, когда пользователь работает в Интернет, собирая все в кэш. Соответственно в offline режиме, прокси работает, когда пользователь просматривает страницы из локального кэша отключившись от Интернета. В режиме autodial WWWOffle будет дозваниваться в Интернет в том случае, когда пользователь нажмет на ссылку которой нет в кэше и наконец режим отложенного просмотра fetch. Предназначен этот режим для закачки файлов поставленных пользователем в очередь. Добавляются они просто. Щелкаете по ссылке в режиме offline, если нужной информации нет в кэше, то она будет поставлена в очередь автоматически. Для управления работой демона wwwoffled используется утилита wwwoffle. Так режим online устанавливается командой wwwoffle –on, offline соответственно — wwwoffle –off. Режимы autodial и fetch также устанавливается соответствующими командами wwwoffle – autodial и -fetch. У wwwoffle есть еще ряд полезных команд, например, введя status можно просмотреть статус работы демона, -purge позволит почистить кэш программы, а -config заставит демон wwwoffled перечитать конфигурационный файл. Кроме командной строки работой демона, можно управлять через веб-интерфейс. Отсюда же можно производить все необходимые настройки. Получить к нему доступ, можно набрав в строке браузера http://localhost:8080/ и использовав для доступа пользователя proxy и пароль введенный при установке (это все можно просмотреть в файле wwwoffle.conf).

Страницы частично локализованы, поэтому вы без труда разберетесь с большинством параметров. Еще одной особенностью WWWOffle, является возможность поиска в локальном кэше нужной информации с помощью поисковых машин mnoGoSearch (search.mnogo.ru) или ht://Dig (www.htdig.org, он давно не обновлялся), которые указаны в качестве “мягких” зависимостей пакета wwwoffle. Для поиска также используется веб-интерфейс.

Конфигурационный файл WWWOffle

Основной конфигурационный файл называется wwwoffle.conf, разбит на несколько секций, каждая отвечает за свой участок. Все описывать не буду, приведу только основные. В секции StartUp описываются параметры, требуемые для загрузки демона, команда wwwoffle –config игнорирует эту секцию. Параметр http-port указывает на порт который будет использован демоном для подключения клиентов, в run-uid и password задаются пользователь и пароль, которым разрешено редактирование конфигурации через веб-интерфейс. В том случае, когда скорость соединения мала, измените значение max-servers отвечающее за максимальное количество контролируемых серверов, и max-fetch-servers – число максимальных отложенных закачек (это число должно быть меньше предыдущего).

Секция Options управляет уровнем отладочной информации в журналах, время ожидания соединения и при DNS запросах, и реакцию при отсутствии ответа, ssl-allow-port задает порт защищенного https соединения. Целый ряд параметров начинающихся на run-*, позволяет указать программу или скрипт которые будут выполнены при переходе в соответствующий режим работы демона. В OnlineOptions и OfflineOptions определяется поведение WWWOffle соответственно в режимах online и offline. Здесь устанавливаются параметры кэширования информации, выбраны они достаточно разумно, можно их пока не трогать, но распространяются они на все сайты. Для некоторых сайтов можно указать персональные настройки для некоторых сайтов. Например, для файлов изображений с некоторых сайтов установить больший период обновления. Так параметры request-changed request-changed-once отвечают за повторную загрузку страницы, если возраст не превышает установленного значения, то информация будет взята из кэша, а не получена с сайта. Если раскомментировать пример:

 <*://*/*> dont-request = yes

Новые страницы (шаблон *://*/* подпадает под все запросы) загружаться не будут. Это можно использовать, например, в школах, чтобы ученики могли просматривать разрешенные страницы, учась работать в Интернет, но новые загрузить не могли. В секции FetchOptions определяется загрузка различных типов объектов в fetch режиме. По умолчанию не загружаются Java объекты и скрипты. Индексирование страниц настраивается в IndexOptions, а модификация загружаемых страниц в ModifyHTML.

Управлением кэшированием страниц

Если кэширование некоторых сайтов или их частей по каким-либо причинам не нужно, пропишите их в секции DontCache.

DontCache

{

# Не кэшировать сайт site.com

*://*.site.com

# Не кэшировать некоторые архивы.

*://*/*.gz

*://*/*.zip

}

Аналогично, если в сети есть внутренний веб-сервер, кэшировать с него информацию смысла нет, его нужно приписать в секции LocalNet.

LocalNet

{

*.local.com

}

Секция DontGet позволяет указать ресурсы, которые будут блокироваться. Таким путем можно блокировать не только целые сайта, но например и загрузку изображений. При использовании параметра replacement заблокированный контент, заменяется указанным файлом.

DontGet

{

location-error = no

*://*.site.com

*://*/*.gz

<*://*/*.gif> replacement = /local/dontget/replacement.gif

}

Конечно, в качестве прокси для блокировки контента WWWOffle не совсем подходит, с настройкой шаблонов придется изрядно повозиться, а готовых в Интернет я не нашел. Тот же Privoxy или DansGuardian справляются с этой задачей лучше. Но это не страшно буквально в следующей секции - Proxy можно указать еще один прокси-сервер, им может быть и тот же Privoxy. Причем опять же для разных сайтов можно использовать свои прокси.

Proxy

{

<http://*> proxy = localhost:8118

<*://site.com> proxy = none

}

Работа с кэшем

И, наконец, последняя секция файла — Purge. Здесь указывается срок жизни страниц сохраненных в кэше, а также максимальный размер кэша. Так если установить use-mtime в тo время жизни страницы в кэше будет определяться по времени последнего доступа, иначе по времени модификации. Параметры max-size и min-free определяют соответственно максимальный и минимальный размер кэша. По умолчанию ограничений нет (-1 или 0) если свободного места на диске мало стоит ограничить аппетиты WWWOffle иначе после перезагрузки в систему можно не попасть. И, наконец, age определяет предельный возраст страницы в кэше. Здесь можно использовать суффиксы w (weeks), m (months) или y (year). При значении -1 страница из кэша удаляться не будет, а 0 – не будет кэшироваться. Установим для всех страниц время жизни 2 недели, кроме страниц сайта site.com. Кроме того страницы http://freshmeat.net/releases/ из кэша удаляться не будут, а остальные страницы этого сайта не будут сохраняться.

Purge

{

use-url = no

del-dontget = yes

del-dontcache = yes

age = 2w

compress-age = -1

<*://site.com> age = 1w

< http://freshmeat.net/> age = 0

< http://freshmeat.net/releases/*> age = -1

<ftp://*> age = 2w

}

Управление доступом к демону wwwoffled

По умолчанию демон WWWOffle принимает соединения только с локального компьютера, но с его помощью можно легко организовать совместный доступ в Интернет. Для этого следует лишь указать IP-адреса или имена компьютеров, которым разрешено соединяться с WWWOffle в секции AllowedConnectHosts:

AllowedConnectHosts

{

192.168.1.70

vasja

}

Используя секцию AllowedConnectUsers можно дополнительно указать и пользователей которые смогут получить такое право. 

AllowedConnectUsers

{

andrew:password1

vasja: password2

}

Плагин к Firefox SwitchProxy

Тому, кому часто приходится менять режим работы с прокси-серверами, вероятно по вкусу придется плагин ко всем Mozilla — SwitchProxy (mozmonkey.com/packages/switchproxy). Правда с его установкой может возникнуть маленькая проблема. Дело в том, что этот плагин давно не развивался, последняя версия совместима с Firefox до версии 1.5. Между тем на рынке уже доступна вторая версия этого браузера, в которой плагин устанавливаться откажется. Но это легко подправить. Но это легко обойти. Дело в том, что все плагины к Firefox являются zip архивами, внутри которого находится несколько текстовых файлов описаний и рисунки. Открываем файл switchproxy.xpi в любом архиваторе и в файле install.rdf меняем параметр maxVersion цифру 1.5 на 2.х (можно больше), чтобы получилось так:

<em:targetApplication>

<Description>

<em:id>{ec8030f7-c20a-464f-9b0e-13a3a9e97384}</em:id>

<em:minVersion>0.8</em:minVersion>

<em:maxVersion>2.*</em:maxVersion>

</Description>

</em:targetApplication>

Теперь повторите установку плагина. После перезапуска Firefox, плагин можно настраивать.

Для настройки нового прокси-сервера нажимаем Add на панели SwitchProxy или заходим в Tools-SwitchProxy-Manage Proxies. В появившемся окне нажимаем Add для создания нового соединения. SwitchProxy позволяет настроить соединения к двум типам прокси: Standart (обычному) и Anonymous. Нас интересует первый, поэтому его и выбираем. После ввода настроек и сохранения результата для смены прокси выбираем в выпадающем списке Proxy, имя прокси и нажимаем Apply.

Вот в принципе и все. WWWOffle является неплохим дополнением к повседневному арсеналу пользователя, с помощью которого можно существенно сэкономить на трафике. Linux forever!