DansGuardian - фильтрация web-запросов под Linux

Вы, наверное, уже не раз читали на нашем сайте статьи, посвященные так называемой контентной безопасности (content security). Речь шла и о фильтрации web-запросов, и об анализе содержимого web-страниц, и о фильтрации потоков e-mail. Однако почти всегда мы останавливались на продуктах и технологиях, реализованных в основном под Windows.

В данной статье мы решили обратиться к теме контентной безопасности, но уже под Linux. В качестве обсуждаемого продукта был выбран DansGuardian. Это очень известное решение с открытым исходным кодом и бесплатное для домашних пользователей, школ, библиотек, университетов и т.д. О DansGuardian нам расскажет его создатель - Дэниэль Бэррон (Daniel Barron).

Алексей Доля: Расскажите немного о себе, пожалуйста.

Дэниэль Бэррон: Мне 28 лет, я вырос в Кингстоне-на-Халле (Kingston Upon Hull), в Великобритании. Окончил университет в Манчестере. Увлекаюсь садоводством, электроникой, люблю готовить и пешие прогулки, обожаю японскую анимацию и, конечно, компьютеры. Я очень горжусь своим садом, который уже почти превратил в японский. Подумываю над тем, чтобы выучить японский язык.


Фотография, которую вы видите выше, была снята рядом с Хамберским Мостом (Humber Bridge). Этот мост и до наших дней остается самым длинным монолитным мостом в мире. За время, прошедшее с момента снятия фотографии, я отрастил длинные волосы и стал толще!
Сейчас я работаю техническим директором в SmoothWall Ltd. Программированием занимаюсь уже более 19 лет, в IT-отрасли работаю более 9 лет. После окончания университета я получил диплом по вычислительной химии (Computer Aided Chemistry) и пошел работать администратором Novell в многонациональную инженерную компанию. Там мне в основном пришлось обслуживать MoD-сервера. Через некоторое время я возглавил отдел, занимающийся сетями, исследованиями и разработкой. Фактически я прокладывал курс, по которому двигалась компания. Я могу смело утверждать, что в разработке каждого продукта и каждого решения, которые выпускала компания, я участвовал лично.
Используя свой компьютер на базе British RISC OS, я управлял разработкой нескольких проектов (включая всю мою работу в SmoothWall). Одним из самых заметных проектов является DansGuardian.


Алексей Доля: Что натолкнуло вас на идею создания такого продукта?

Дэниэль Бэррон: Когда я работал в Beebug Computers в Великобритании, меня попросили найти какой-нибудь web-фильтр, с открытым исходным кодом и бесплатный. На тот момент был единственный качественный коммерческий web-фильтр - IGear. Но он был просто сверхдорогим. Остальные фильтры типа squidGuard и NetNanny осуществляли только URL-фильтрацию, чего явно недостаточно. Мне удалось отыскать лишь одно приложение с открытым исходным кодом, которое вроде бы делало то, что мне надо. Это был Active Guardian. Довольно быстро выяснилось, что Active Guardian имеет очень много багов, работает очень медленно, а на современных браузерах отказывается работать вообще. Так что я решил научиться программировать под UNIX (в моем случае - Linux), а также выучить С++ и писать программы самому. В октябре 2000 года я начал читать книги по разработке Linux-приложений на С++, а к январю 2001 года почувствовал себя достаточно сильным, чтобы написать первую версию своей программы. С тех пор я внес очень много улучшений в свою программу, расширил её возможности и повысил эффективность.


Алексей Доля: Вы назвали продукт в свою честь? :)

Дэниэль Бэррон: Что-то типа того. В тот момент у меня был замечательный скрипт под названием DansLinux.sh - он превращал мой обычный Red Hat 5.2 в брандмауэр, proxy, почтовый сервер с кэшированием DNS и т.д. Это была моя версия Linux. Рабочее название для web-фильтра было просто шуткой - это была моя версия Active Guardian - DansGuardian. Но имя прижилось, остальное - история.


Алексей Доля: Расскажите подробнее о DansGuardian в плане его возможностей?

Дэниэль Бэррон: DansGuardian - это "движок" для фильтрации web-контента. Я написал и отладил его сам. Продукт используется во многих компаниях по всему миру и имеет довольно широкую базу пользователей. Его основная задача - фильтрация web-страниц на основании анализа их содержимого (картинок, URL, типов файлов и т.д.). Программа справляется со своей задачей очень хорошо, возможно, даже лучше всех.


Алексей Доля: Какие технологии и алгоритмы применяются в DansGuardian?

Дэниэль Бэррон: Обычные web-фильтры типа Cyber Patrol, squidGuard, Net Nanny и т.д. используют очень длинный список плохих web-сайтов. Если вы попытаетесь открыть один из этих сайтов, то фильтр его заблокирует. Таким образом, доступ к ресурсам сети фильтруется по web-адресам.
Интернет - очень быстро меняющаяся среда. Даже такие гиганты web-поиска как Google, Altavista или Yahoo часто не знают даже половины всех существующих ресурсов. Все это приводит к крайне низкой эффективности фильтрации по web-адресам: сайты часто меняют свое содержание или местоположение, да и новые страницы растут, как грибы после дождя. То есть, URL-фильтрация недостаточна. Необходимо проверять каждую запрашиваемую страницу на предмет наличия в ней опасного содержимого, например, богохульства, информации о неприкрытой агрессии, порнографии и т.д. Доступ к подобным ресурсам должен быть заблокирован. Это и называется контентной фильтрацией.
В то время как другие фильтры, использующие базу данных URL, быстро выходят из строя, DansGuardian применяет механизмы динамической фильтрации, быстро адаптируясь к новым web-страницам.
DansGuardian использует следующие алгоритмы: DFA (Детерминированный конечный автомат), бинарный поиск и быстрый поиск. Все они реализованы мною на С++, то есть я отказался от использования довольно медленных библиотек. В результате DansGuardian получился действительно очень быстрым. Как говорят его пользователи, DansGuardian в несколько раз быстрее IGear, а это, между прочим, один из ближайших конкурентов.


Алексей Доля: Вы не могли бы подробнее остановиться на алгоритмах? Хотелось бы понять, как именно продукт анализирует страницы.

Дэниэль Бэррон: Упс, я, кажется, упустил еще и быструю сортировку. Что касается алгоритмов, то подробнее о работе DansGuardian можно почитать здесь: http://dansguardian.org/?page=dgflow. Я же дам лишь краткую справку.

Quick Search (подробнее). Алгоритм представляет собой линейный проход по тексту и его постоянное сравнивание с конкретной заданной строкой. Алгоритм очень быстрый, он не возвращается каждый раз к точке предыдущего сравнения, а строит специальную таблицу сравнений.

Binary Search (подробнее). Для работы алгоритма необходим список отсортированных объектов. Алгоритм "заглядывает" в середину и проверяет, есть ли там что-нибудь похожее на то, что он ищет. Если да, то алгоритм проверяет одну из оставшихся половин таким же образом. Предположим, вы осуществляете поиск по телефонной книге. В самом худшем случае вам потребуется Ln(O)+1 итераций (O - число записей в телефонной книге). То есть, если в книге будет 1 млн. записей, то вам потребуется 15 итераций.

Quick Sort (подробнее). Это применение стратегии "разделяй и властвуй", как и в предыдущем случае. Только этот алгоритм намного более сложен для понимания, чем обычный бинарный поиск.

DFA (Детерминированный конечный автомат, подробнее). Алгоритм работает следующим образом: строится матрица всех интересующих фраз, а потом текст "пропускается" через эту матрицу. Вы можете осуществлять одновременный поиск более чем 1500 фраз одновременно. С помощью быстрого поиска (Quick Search) вам пришлось бы проверять фразы по одной.

Мне всегда казалось, что таблицу сравнений из алгоритма быстрого поиска (Quick Search) можно как-то применить к алгоритму DFA. Это сделало бы его еще более эффективным. Недавно кто-то сказал мне, что эта идея уже реализована.


Алексей Доля: Есть ли какой-нибудь способ протестировать эффективность и надежность вашего продукта?

Дэниэль Бэррон: Конечно - посмотрите на него в деле! Просто попробуйте получить доступ к каким-нибудь "плохим" ресурсам и убедитесь, что продукт их блокирует. Сравните мой продукт с URL-фильтрами, например, squidGuard или N2H2. Если вы хотите использовать коммерческую версию DansGuardian, то попробуйте Corporate Guardian. Еще один способ убедиться в том, что продукт действительно стоящий - это поговорить с его пользователями.


Алексей Доля: Кого бы назвали самым сильными конкурентом DansGuardian? Может быть Squid?

Дэниэль Бэррон: Squid - это proxy, который DansGuardian использует чаще всего. Это ни в коем случае не конкурент. Proxy необходим для того, чтобы DansGuardian мог работать.
Лучшими альтернативами DansGuardian являются SmoothGuardian или Corporate Guardian. Это полностью коммерческие версии, выпускаемые SmoothWall Ltd. и использующие тот же "движок", что и DansGuardian. Они имеют преимущества: компания-продавец гарантирует выход патчей, поддержку, интерфейс пользователя для работы через сеть, программы для просмотра журнала и создания отчетов, легкую инсталляцию и т.д. Все это написал тоже я :).
DansGuardian нужно инсталлировать и компилировать самому, точно также надо руками редактировать конфигурационные файлы. DansGuardian подойдет сетевым администраторам Unix, а версии, выпускаемые SmootWall - тем администраторам, у которых нет времени на конфигурирование решения и которые хотят получить продукт работающий сразу после того, как его вытащили из коробки. Именно поэтому скриншоты DansGuardian не могут похвастаться красивым и стильным GUI.


DansGuardian является своего рода базой и платформой для тестирования. В то время как Smooth/Corporate Guardian - это все же стабильные версии. Обе версии стоят друг друга. Примерно так же как и SmoothWall Express (свободный GPL-брандмауэр) и SmoothWall Corporate Server (коммерческий брандмауэр).
Единственный фильтр, который, на мой взгляд, подошел достаточно близко к Guardian, это IGear. Но он стоит очень много денег и работает значительно медленнее. Все остальные фильтры довольно бесполезны, они способны фильтровать лишь web-адреса страниц.


Алексей Доля: Над чем вы сейчас работаете? Какие новые возможности DansGuardian стоит ждать в будущих версиях?

Дэниэль Бэррон: Сейчас я работаю над тем, чтобы DansGuardian поддерживал группы с различными правилами фильтрации. Таким образом, различные группы пользователей смогут иметь различные права доступа к ресурсам Интернета. Также я работаю над тем, чтобы ускорить перезагрузку решения (если она понадобится), а также над другими, более мелкими улучшениями. Если вы всегда хотите быть в курсе событий - посещайте наш web-сайт!


Алексей Доля: DansGuardian можно бесплатно скачать с вашего сайта. Как вы тогда зарабатываете деньги?

Дэниэль Бэррон: Немного не так. Огромное количество людей ошибочно полагают, что GPL-программы являются бесплатными. Это не тот случай. Я позволяю каждому отдельному пользователю скачать продукт и попробовать его. Но коммерческие пользователи должны платить за продукт. Я также позволяю скачивать продукт организациям, не предназначенным для извлечения прибыли, то есть школам, библиотекам и т.д. Собственно и домашним пользователям тоже. Я также прошу пользователей о денежных пожертвованиях. В целом, я не зарабатываю больших денег от платы за использование DansGuardian и так ни разу и не получил пожертвование. Удивительно, как много людей просто переписывают чью-то работу и получают бесплатную поддержку, без какой бы то ни было отдачи. Тем не менее, тех денег, что я зарабатываю, хватает, чтобы не бросить эту работу!
Вы правы в том, что я не останавливаю никого и не мешаю скачивать DansGuardian, но я надеюсь на человеческую честность.
Так как каждый должен платить налоги со своих доходов, я и Джейд (Jade) учредили компанию "DrGuardian". Джейд занимается ей в свободное время. Единственная задача компании - просто существовать. Таким образом, мы платим налоги правительству и ведем абсолютно легальную деятельность. Я бы мог просто задекларировать дополнительный доход, но, имея компанию, я могу покупать аппаратное обеспечение и не платить подоходный налог. Что касается всего остального, то Джейд также получает зарплату в компании (так как тратит на нее времени больше, чем я). Это также позволяет сэкономить немного на налогах. Все абсолютно легально! :) Это хороший опыт для Джейд, которая хочет получить работу бухгалтера.
Зарабатываю на жизнь я работой в SmoothWall Ltd, которая выпускает все коммерческие версии DansGuardian. Я также являюсь директором компании. У меня остается достаточно свободного времени, чтобы бесплатно помогать пользователям и писать новое ПО. Мне нравится быть ближе к обществу.



Алексей Доля: Я слышал, вы женитесь в этом году, не так ли? Удачи вам!

Дэниэль Бэррон: Да, большое спасибо. Я встречаюсь с Джейд уже много лет, она ведет все мое бухгалтерское дело. Я хотел, чтобы все было официально, так что теплым летним вечером за ужином (который я приготовил) при свечах в саду я сделал ей предложение. Она согласилась. Свадьба назначена на май, мы уже забронировали места и разослали приглашения.


Алексей Доля: Спасибо за интервью! Успехов вашей семье и DansGuardian!