Всем привет! Я получал, и получаю множество писем от людей с вопросами по Squid, который работает на основе моей статьи. Наиболее часто возникает вопрос про просмотр логов Squid каким-либо парсером. Проблема в том, что версия Squid 3.5.8 с настроенным прозрачным проксированием HTTPS логирует посещаемые HTTPS ресурсы не в виде доменных имен, а в виде IP адресов с портами (прим. 164.16.43.56:443). Соответственно, при просмотре статистики посещений вместо человеческой информации проскакивают эти самые IP адреса. Собирать статистику с такими данными довольно сложно. Я связывался с разработчиками Squid по этому поводу, но внятного ответа так и не получил. Единственное, что я выяснил, нормальное логирование работает в более новых версиях Squid, но на них прозрачное проксирование лично у меня так и не заработало должным образом. Поэтому возник вопрос о том, как сделать резолв IP адресов в самом парсере логов.
Читать полностью »
Рубрика «squid» - 2
Доработка парсера логов Squid для корректного просмотра посещенных HTTPS ресурсов
2016-08-13 в 23:47, admin, рубрики: bash, php, ScreenSquid, squid, системное администрированиеSquid + Dansguardian + c-icap + ClamAV на базе CentOS 7
2016-08-03 в 12:37, admin, рубрики: c-icap, centos 7, clamav, DansGuardian, linux, squid, антивирусная защита, Блог компании Bell Integrator, ит-инфраструктура, Сетевые технологииЦель статьи
В Интернете доступно некоторое количество статей по настройке антивирусной защиты в связке squid + ClamAV, но нет полного материала по настройке полной связки под CentOS 7. В рамках данной статьи будет показан процесс настройки прокси сервера со следующими возможностями:
- фильтрация сайтов и ссылок по категориям;
- антивирусная защита.
Аудитория
Системные администраторы Linux
Серьезная уязвимость прокси-сервера Squid позволяет «отравить кэш»
2016-05-05 в 15:37, admin, рубрики: squid, Блог компании Positive Technologies, информационная безопасность, прокси, прокси-сервер, уязвимости 
Цзянь-Цзюнь Чэнь (Jianjun Chen) — аспирант китайского Университета Цинхуа — обнаружил опасную уязвимость в популярном прокси-сервере Squid. Как ему удалось выяснить, система не соответствует стандарту RFC 7230, а также некорректно работает при парсинге и обработке заголовка Host в HTTP-запросах. В результате злоумышленник может сформировать зловредный пакет и с помощью него осуществить атаку cache poisoning.Читать полностью »
Делаем свой friGate с анонимностью и без рекламы
2016-03-29 в 8:39, admin, рубрики: linux, proxy, squid, squid3, Ubuntu, блокировки сайтов, информационная безопасность, РоскомнадзорВведение
Всем хороши плагины для обхода блокировок вроде популярного friGate, но есть у них один минус — любят встраивать свою рекламу и в перспективе следить за всем, что вы делаете в интернете.
Вариант с VPN имеет свои недостатки: либо весь трафик будет ходить через удаленный сервер, либо придется заниматься относительно сложной настройкой роутинга.
Туннелирование с использованием ssh, который предоставляет SOCKS-интерфейс при запуске с ключом -D — другой весьма популярный способ, однако на постоянно засыпающем и просыпающемся ноутбуке туннель приходится каждый раз перезапускать.
Есть решения вроде autossh, но настоящего перфекциониста они не удовлетворят.
Попробуем добиться удобства, аналогичного friGate с использованием сервисов, находящихся полностью под нашим контролем.
Нам понадобятся: выделенный сервер с Linux/FreeBSD (я использовал Ubuntu), letsencrypt, squid и немного магии PAC-файлов.
Squid поддерживает шифрованое соединение с браузером — именно то, что нужно для такого случая.
Эта возможность почему-то практически неизвестна широкой публике, поэтому появился этот пост.
Сравнение свободных программ учета трафика SQUID
2015-12-23 в 11:32, admin, рубрики: free-sa, lightsquid, sarg, ScreenSquid, squid, squidanalyzer, ит-инфраструктура, системное администрированиеНедавно в нашей компании возникла необходимость перевести прокси-сервера с MS ISA Server на свободное ПО. Прокси-сервер долго выбирать не пришлось (squid). Воспользовавшись несколькими практическими рекомендациями, настроил прокси под наши нужды. Некоторые затруднения возникли при выборе программы для учета трафика.
Требования были такие:
1) свободное ПО
2) возможность обработки логов с различных прокси на одном сервере
3) возможность построения стандартных отчетов с отправкой по почте, либо ссылка на веб-сервере
4) построение отчетов по отдельным подразделениям и рассылка таких отчетов руководителям подразделений, либо предоставление доступа по ссылке на веб-сервере
По программам учета трафика разработчиками представлена весьма скудная информация: лаконичное описание назначение программы плюс необязательным бонусом пара скриншотов. Да, понятно, что любая программа подсчитает количество трафика за сутки/неделю/месяц, а вот дополнительные интересные возможности, отличающую одну программу от других — не описаны.
Я решил написать этот пост, в котором попытаюсь описать возможности и недостатки таких программ, а так же некоторые их ключевые «фишки», чтобы немного помочь в выборе тем, кому его предстоит сделать.
Читать полностью »
Прокси сервер для свободного интернета
2015-01-28 в 14:43, admin, рубрики: i2p, proxy, squid, Tor, антизапрет, свобода информации, Серверное администрированиеОднажды мне окончательно надоели странички вроде «данный ресурс заблокирован по требованию», которые стали попадаться все чаще и чаще. А еще все больше стало упоминаний про «глубинный интернет», i2p, tor, onion, анонимные p2p сети и вообще повеяло хакерской романтикой детства, когда интернет был чем-то загадочным и был доступен только с двух часов ночи со скоростью 31200…
В общем, была поставлена цель: сделать прокси сервер, через который можно заходить на любые сайты (включая сайты в доменах .i2p и .onion) в обход любых блокировок. Цель обеспечения анонимности не ставилась.
Ужа с ежом удалось скрестить, и вот теперь я, как и 17 лет назад, исследую глубинные слои интернета. Кстати, если говорить про i2p, то скорость по ощущениям не намного больше, чем у интернета 17 лет назад. История циклична.
Статья не призывает к каким-либо действиям политического или криминального характера и предназначена для тех, кто не любит рамок и ограничений и сам выбирает что и как читать.
Как это работает:
Основным прокси сервером явлется squid.
Через cache_peer (вышестоящий прокси) squid подключается к i2p и tor. tor является Socks прокси, а squid — http прокси, поэтому между squid и tor встраивается прослойка privoxy.
Также мы имеем обновляемый ACL список всех заблокированных ресурсов в русском интернете.
Squid обрабатывает запросы от браузеров следующим образом:
Если запрашивается URL в домене .i2p, то запрос передается по цепочке в i2p.
Если запрашивается URL в домене .onion, то запрос передается по цепочке в tor.
Если запрашивается запрещенный URL, то запрос передается по цепочке в tor.
Все остальные запросы отправляются напрямую самим squid.
Инструкция как сделать интернет без ограничений своими руками:
Читать полностью »
Считаем сетевой трафик с помощью netflow и lightsquid
2014-12-23 в 11:40, admin, рубрики: lightsquid, lightwrapper, linux, open source, squid, Настройка Linux, системное администрированиеОднажды в нашем небольшом офисе понадобилось настроить систему учёта трафика под linux. Бегло просмотрев готовые решения, я решил использовать что-то попроще. Погуглив, мне понравился подход использовать самописный скрипт, который бы конвертировал статистику netflow в squid-совместимый лог, который затем можно анализировать чем угодно. Готовый скрипт, гуляющий по гуглу, я использовать не стал, т.к. он использует ipcad, которой отсутствует в debian и ubuntu. Написал свой вариант, использующий любой netflow сенсор и flow-tools в качестве коллектора. Скрипт постепенно усложнялся и, в итоге, вырос в небольшую систему учёта трафика. Архив этого удовольствия весит около 50кб, при этом:
- устанавливается с помощью deb для дистрибутивов, основанных на debian или с помощью собственного инсталлятора для остальных
- умеет считать интернет-трафик на маршрутизаторе во всем ip v4 протоколам и портам
- умеет ограничивать доступ не прописанным пользователям
- вместо голой статистики ip-адресов netflow умеет детализировать отчёты с помощью dig и squid
- умеет выборочно блокировать трафик
- имеет веб-интерфейс для управления пользователями и группами пользователей
- настраивается немногим сложнее lightsquid, который использует в работе
- не использует промежуточный лог access.log, собственный парсер конвертирует статистику netflow напрямую в отчёт lightsquid
Перенаправление пользователей по правилам в Squid
2014-11-25 в 12:26, admin, рубрики: config, linux, radius, squid, Настройка LinuxПо работе столкнулся с такой проблемой: есть десяток прокси серверов (squid) в разных странах и не один десяток пользователей. Каждый из них сам решает через какой сервер работать — есть chrome extension в котором они могут сделать выбор.
Но все сервера находятся на разном удалении от пользователя и пользователь из России, пользуясь сервером в Канаде сталкивается с хорошими тормозами. С другой стороны все сервера подключены в дата центрах к магистралям и между ними задержки много меньше.
Было принято решение направлять каждого пользователя к ближайшему к нему серверу, а от туда к выбранному.
Читать полностью »
«Секреты» существования Всезнайки
2014-11-16 в 8:45, admin, рубрики: mediawiki, memcached, squid, Wiki-технология, Википедия, ит-инфраструктура, статистика, хостингВикипедия – один из 10 лидирующих сайтов в мире. Она имеет около 500 млн уникальных посетителей в месяц. Это порядка 200 запросов каждую секунду! Википедия целиком и полностью некоммерческая структура, пожертвования – ее основной способ финансирования. Это значит, что MediaWiki, лежащая в основе Википедии, не только держит сайт в топе, но и делает это на очень скромные средства. И потому во главу угла ставится работа над производительностью, кэшированием и оптимизацией.
Когда у нас появились сотрудники, работающие удаленно, пришлось думать над тем, как обеспечить им защищенный доступ к нашим хостинговым серверам, виртуальным выделенным серверам разработчиков Virtual Dedicated Server (VDS), сайтам обеспечения и сопровождения разработки и к другим ресурсам.
По соображениям безопасности доступ к этим ресурсам ограничен при помощи межсетевого экрана (файервола) по портам и адресам IP. Ежедневную перенастройку доступа при изменении динамических IP сотрудников едва ли можно назвать разумным решением.
Выход нашелся довольно быстро — это использование технологии виртуальных частных сетей Virtual Private Network (VPN) и ее свободной реализации OpenVPN. Эта реализация доступна практически для всех распространенных платформ, в том числе для планшетов и смартфонов. История развития OpenVPN насчитывает уже 12 лет (компания OpenVPN Technologies, Inc. была создана Francis Dinha и James Yona в 2002 году), так что это надежное и проверенное временем решение.
В нашей компании сеть VPN позволила предоставить защищенный доступ сотрудников к VDS, играющей роль сервера OpenVPN. И уже для фиксированного IP этого сервера был разрешен доступ к другим ресурсам компании. Попутно на сервере OpenVPN был установлен прокси Squid, что решило все проблемы доступа сотрудников с динамическими IP к защищенным ресурсам компании.
Теме OpenVPN посвящены многочисленные статьи и сообщения на форумах. Тем не менее, нужную информацию мне пришлось собирать по частям из разных мест. Попутно приходилось разбираться с многочисленными терминами и технологиями. В качестве серверов OpenVPN были использованы VDS на базе FreeBSD и Debian Linux, в качестве клиентов — рабочие станции FreeBSD, Debian Linux, Ubuntu и Microsoft Windows.
Надеюсь, что эта статья будет полезна тем, кто впервые столкнулся с необходимостью создания сети VPN или уже использует ее для решения тех или задач, а также тем, кто ищет замену коммерческим реализациям VPN.
С благодарностью приму замечания и предложения по содержимому статьи.
Читать полностью »