Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » SQUID (только под *nix)

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140

Открыть новую тему     Написать ответ в эту тему

Zmey



Strangled by Lynx
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Я думаю удобнее сделать будет один топик по Squid и все вопросы касательно него постить сюда. :)
У меня вопрос такого характера: как настроить резку трафика squid и как настроить замену баннеров или просто их вырезку.


SQUID - HTTP/HTTPS прокси под *nix

 
В первом посте собираем полезные ссылки, преимущественно на русском по Squid.
 
Официальный сайт: www.squid-cache.org
Squid (кеширующий прокси для http): установка, настройка и использование
Squid Web Proxy Cache: получение, компилляция, настройка (архивная версия)
Squid Proxy Server 3.1 Beginners Guide,  Packtpub, 2011, PDF (см. также и другие источники)
 
About Squid Web Proxy Cache (архивная версия)
Зона особого внимания: Squid (архивная версия)
Как не получать рекламы через Internet  
FAQ по Squid (архивная версия)
Авторизация squid в домене Windows 2003 Server
Статьи по Squid на Opennet.ru  
Как заставить Squid быть только прокси, без кэширования чего-либо?
 
Также смотрите фильтр по squid
 
В отдельных темах обсуждается

Squid и ограничение доступа по времени
Squid: ограничить трафик для отдельного юзера: ширина канала
Squid и вырезание баннеров
Анализаторы логов для Squid
 

// текущий бэкап шапки..

Всего записей: 303 | Зарегистр. 07-12-2001 | Отправлено: 14:56 10-05-2002 | Исправлено: TheBarmaley TMP, 15:33 23-03-2016
ohlos



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ruza

Цитата:

Цитата:
Считаешь ./configure --enable-storeio=ufs,null будет достаточно?
Или может вместо этого можно обойтись этим:
acl all src 0.0.0.0/0.0.0.0
cache deny all

 
Ну это кто как хочет так и...
Только тебе решать что лучше  

Сенкс за ссылку. Я ттоже думаю, что через acl далеко не лучшее решение. Но и с переконфигурацией сквида дела не имел, почему и хотелось бы уточнить правильность действий и формата команды.

Всего записей: 729 | Зарегистр. 13-07-2004 | Отправлено: 01:31 27-04-2009
BONDBIG

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ohlos
Ничего сложного в переконфигурации программ нет. Качаешь исходник нужной версии, распаковываешь, далее читаешь файл INSTALL внутри. Обычно необходимо сделать  
./configure [какиие-то опции], если есть какие-то зависимые пакеты, тебе об этом скажут, затем  
make и  
make install.  
./configure --help тебе выдаст список возможных опций.
 
Добавлено:

Цитата:
Я ттоже думаю, что через acl далеко не лучшее решение.

Через указанный acl запрещается ЛЮБОЕ кеширование, а через cache_dir null /null отключается лишь дисковый кеш, но остается кеш в оперативке.

Всего записей: 407 | Зарегистр. 05-05-2006 | Отправлено: 07:04 27-04-2009 | Исправлено: BONDBIG, 07:04 27-04-2009
tankistua

Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
по-поводу кеширования.
 
14 процентов - это реально круто :)
 
P.S. ну какой смысл что-то кешировать, когда скорость 2 мегабита допустим. У меня из 8 офисов минимальная скорость 1 мегабит. Основвная масса - 2 мегабита.

Всего записей: 9572 | Зарегистр. 15-01-2002 | Отправлено: 08:16 27-04-2009 | Исправлено: tankistua, 08:22 27-04-2009
digital422

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Народ, подскажите, что поменять в выражении для вывода незакомментированных строк конфиг. файла Squid3 вместе со значением "#  TAG:"
 
grep ^[^#]. /etc/squid3/squid.conf

Всего записей: 351 | Зарегистр. 19-04-2003 | Отправлено: 10:04 27-04-2009
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
BONDBIG

Цитата:
Кроме вентиляторов, харды - единственный механический элемент в сегодняшних компьютерах.  

С этим согласен. Просто несколько страниц назад tankistua написал о скоростях накопителей и скоростях внешних каналов...
 
ohlos

Цитата:
Но и с переконфигурацией сквида дела не имел, почему и хотелось бы уточнить правильность действий и формата команды.  

Это действительно не так сложно...
Для полной уверенности выведи squid -v > ./configure.txt посмотри как был сконфигурирован текущий, и собери сквид с теми же параметрами +  

Цитата:
--enable-storeio= те что у тебя были null

 
tankistua

Цитата:
ну какой смысл что-то кешировать, когда скорость 2 мегабита допустим. У меня из 8 офисов минимальная скорость 1 мегабит. Основвная масса - 2 мегабита.

Ну у меня некоторые и по 4 мегабита, и что?
Тут ИМХО дело к hollywar идёт, не?
 
Ещё раз ИМХО - тянуть каждому юзеру (снова и снова) картинки с одноклассников, вконтакте и серверов погоды это забивание полосы, будь в ней и 10 мегабит... Дешевле отдать картинку из кеша. А на счёт того что скорость мегабит, 2,3,5 это пока не скрость записи на винчестер, вот когда гигабитные каналы будут, тогда возможно и кеш станет анахронизмом.


----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 12:18 27-04-2009 | Исправлено: Ruza, 12:20 27-04-2009
BONDBIG

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Ещё раз ИМХО - тянуть каждому юзеру (снова и снова) картинки с одноклассников, вконтакте и серверов погоды это забивание полосы, будь в ней и 10 мегабит... Дешевле отдать картинку из кеша.  

[holywar mode]Да, оно может быть и дешевле, но работает хорошо только в лабораторных условиях. Взять тех же одноклассников - кеширование раньше приводило к тому, что юзеры попадали на странички друг друга, потом админы одноклассников подкрутили вроде этот баг. И таких примеров много - курсы валют, погода -  "вчерашние", потому что одмины сервисов криво выставили ttl страницам и т.п. Согласен насчет
Цитата:
скорость мегабит, 2,3,5

но учтите, что при работе сквида с кешем идет не последовательные чтение/запись, а рандомные, что снижает скорость винчестера на порядок, например с 70 мбайт/с до 3-4 в лучшем случае. Именно это я имел в виду, говоря про "монолитный" кеш-файл и его бенефиты. Несложно грубо посчитать: (3мбайт/с - ~1мбайт/с)*8=~16мбит/с. Вот вам и канал, который "задушит" типовую САТАшку. "~1мбайт/с" в примере - это то, что система сама на себя отъела, скажем на запись логов и т.п. И это идеализированный пример, не учитывающий задержки в самом сквиде при поиске файла в кеше, работы самой ФС, утечки памяти и процессорного времени (сталкивался не раз), связанные с интенсивной работой сквида с диском. По всем прикидкам (геморой с сопровождением кеша+нагрузка на железо+пинки от юзеров > чем стоимость канала/трафика. В конце концов вы не из своего кармана платите, экономьте в первую очередь свои ресурсы, а не "дядины", лучше заняться чем-нибудь более полезным, аудитом/анализом собственной сетевой архитектуры и безопасности сети, например. Выйти с рациональными предложениями к начальству, реализовать проект, получить премию. А ваша возня с кешированием никому, кроме вас не нужна, сами видите - 14% - это мега результат, обычно не более 10%+периодические жалобы на устаревшие страницы=3.5% эффективность вашего кеша. Еще раз повторю - характер информации в интернете сильно изменился с тех пор, когда начинали разрабатывать кеш-прокси сквид. Дело уже порой не в каналах/скоростях записи, а в быстром устаревании информации. Да, если у вас трафик юзеров поддается строгой типизации (типа 100 юзеров открывают 10 раз на дню некий ограниченный список сайтов с большим количеством статики), тогда можно достичь хорошей эффективности кеша. А если счет юзеров идет на тысячи и сайты самые разнообразные, то от кеша только беды.
PS: all above is just my humble opinion.
PPS: Из моего личного опыта - два прокси в кластере генерировали в сумме 8 мбит/с трафика при включенном кеше, после отключения кеша - 12-14 мбит, при том же количестве юзеров. Забавно на графиках это выглядело - такие неслабые прыжки трафика и проходящих реквестов сразу после отключения. Очевидно, что кеш был узким местом, хотя отлажен был так, что ложных кеширований почти не было. попробуйте у себя для эксперимента, если ваши проксюки нагружены прилично, то разница будет очевидна. Если же не будет разницы, то значит вам действительно не нужно отключать кеш. Тест простой, но наглядный, конечно, если приличный мониторинг ведётся, то будет видно.
[/holywar mode]

Всего записей: 407 | Зарегистр. 05-05-2006 | Отправлено: 12:57 27-04-2009 | Исправлено: BONDBIG, 13:04 27-04-2009
tankistua

Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Дешевле отдать картинку из кеша

а вот на этот счет я могу поспорить. У меня есть сервера уровня Р3-800 и такими же винчестерами. Пока не отключил кеширование сквид частенько валился в корку. Т.е. чтобы нормально писать кеш нужен новый сервер. Учитывая скорость в 2 мегабита сервер надо брать нормальный, и винты надо брать нормальные. Разговор минимум на 1К зелени. А сам интернет на текущий момент обходится в 70 баксов.
 
 
Вы смотрите на шаг - я на 2. Вы видите в этом выгоду - я вижу в этом проигрыш.

Всего записей: 9572 | Зарегистр. 15-01-2002 | Отправлено: 17:00 27-04-2009
DShtorm

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Экономия
 
Февраль - 16.56% (572.1 G)
Март       - 17.82% (797.1 G)
Апрель   - 14.12% (592.9 G ) в апреле я его отключал пару раз  
 
Лично я кеш пока оставлю , если до нашего села , доберется  
нет хотя бы киевского масштаба , тогда снесу  
 
В принципе работает нормально , крутиться себе на выделенном винте  100 гиговый кеш  
и жрет метров 500 памяти ...
 
PS крутит сетку на 300 пользователей ...

Всего записей: 106 | Зарегистр. 06-06-2007 | Отправлено: 00:02 28-04-2009 | Исправлено: DShtorm, 00:03 28-04-2009
BONDBIG

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
DShtorm
Что ж, поздравляю, реально хорошие показатели. Видимо у ваших пользователей действительно общие интересы и список посещаемых сайтов. Ну либо такой процент набежал из-за пары больших файлов, скачанных несколькими пользователями, виндовые обновления там, или фильмы/дистры. Мои юзеры фильмы/дистры не качают (запрещено), обновления через MS SMS ставятся и сфера интересов сильно разнится (сквид обслуживает сетку из ~7k юзеров). Из своего опыта в предыдущей конторе (как раз ~300 юзеров) кеш тоже использовался на уровне 10-15%, пока не запретили музыку/фильмы/дистры и не подняли WSUS. Сразу же утилизация кеша упала до 3-4% и он был безжалостно выключен.

Всего записей: 407 | Зарегистр. 05-05-2006 | Отправлено: 07:17 28-04-2009
DShtorm

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
У меня стоит максимальный размер файла - 30 метров
 
десятка top сайтов за год
 
1  www.mail.ru                               7.8 M 113.2 G 5.2%  - 7.8 миллионов соеденений :0
2  www.rapidshare.com                   44 749 47.7 G 2.2%  
3  vkontakte.ru                               5.6 M 30.2 G 1.4%  
4  mp3.nashe.ru                              1 302 19.8 G 0.9%  
5  dl.redtube.com                            2 800 17.2 G 0.8%  
6  213.186.217.210                          2.9 M 16.0 G 0.7%  
7  au.download.windowsupdate.com  552 330 14.7 G 0.6%  
8  stream05.rambler.ru                      3 496 12.1 G 0.5%  
9  dl.zaycev.net                                 14 833 11.4 G 0.5%  
10 dl4.shareua.com                            3 672 10.9 G 0.5%  
 
Там где буква G - это гигабайт

Всего записей: 106 | Зарегистр. 06-06-2007 | Отправлено: 10:24 28-04-2009
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Народ - хватит... Я же предупреждал что до флейма дойдём... И останемься только при своих .
Как предложение - написать заметку о +/- кеша в squid и поместить в море шапки. И вопрошающий пусть сам выбирает.

----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 11:34 28-04-2009
BONDBIG

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
У меня стоит максимальный размер файла - 30 метров

как раз музычка, программульки и видеоролики

Цитата:
десятка top сайтов за год
 
1  www.mail.ru                               7.8 M 113.2 G 5.2%  - 7.8 миллионов соеденений :0
2  www.rapidshare.com                   44 749 47.7 G 2.2%  программульки
3  vkontakte.ru                               5.6 M 30.2 G 1.4%  
4  mp3.nashe.ru                              1 302 19.8 G 0.9%  музычка
5  dl.redtube.com                            2 800 17.2 G 0.8%  порновидеоролики
6  213.186.217.210                          2.9 M 16.0 G 0.7%  
7  au.download.windowsupdate.com  552 330 14.7 G 0.6%  Ну и винапдейт.
8  stream05.rambler.ru                      3 496 12.1 G 0.5%  видеоролики
9  dl.zaycev.net                                 14 833 11.4 G 0.5%  музычка
10 dl4.shareua.com                            3 672 10.9 G 0.5%  программульки

Как я и говорил. Всё это у нас запрещено
 
Раз уж письками меряемся,то:
У меня в топах РБК.ру, 150k соединений в сутки. Всего через прокси порядка 17 миллионов соединений в сутки.
Трафик не считается, ибо уж очень ресурсоёмкая задача выходит - лог сквида - ~4 Gb/сутки.
 
Добавлено:
Ruza
Согласен, больше не буду.
А в шапку голосовалку сделать - это хорошая идея.

Всего записей: 407 | Зарегистр. 05-05-2006 | Отправлено: 11:47 28-04-2009
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
BONDBIG

Цитата:
А в шапку голосовалку сделать - это хорошая идея.

Ну так черкани статейку... (чур только пристрастий не выражая)
 

Что то типа "SQUID, кешировать или не кешировать - вот в чём вопрос!"  
А мы тут толпой всё обстоятельно изучим... В "андграунде" прокомментим и можно будет выкладывать на http://ru-board.com

----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 13:32 28-04-2009
BONDBIG

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ОК, в свободное время займусь.

Всего записей: 407 | Зарегистр. 05-05-2006 | Отправлено: 14:10 28-04-2009
ohlos



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ruza

Цитата:
Это действительно не так сложно...
Для полной уверенности выведи squid -v > ./configure.txt посмотри как был сконфигурирован текущий, и собери сквид с теми же параметрами +  
--enable-storeio= те что у тебя были null  

 
Может и не сложно, когда хотя бы раз операцию проделал...  
Squid-а нужно деинсталлировать или переконфигурировать можно как-то и так?
 
 
И еще вопрос.  
Прописал сейчас cache deny all. В папках кэша за эти дни новые файлы не появились. Но почему-то  файл swap.state регулярно обновляется

Всего записей: 729 | Зарегистр. 13-07-2004 | Отправлено: 18:45 29-04-2009
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
ohlos

Цитата:
Squid-а нужно деинсталлировать

Не обязательно. Но собирать надо со всеми параметрами которые были, с одной добавкой в --enable-storeio= те что у тебя были, null
для redhat based
service squid stop
/squid-src-dir/make install
service squid start
 

Цитата:
Прописал сейчас cache deny all. В папках кэша за эти дни новые файлы не появились. Но почему-то  файл swap.state регулярно обновляется

ну типа обращения то есть, а разрешены они или нет, вроде как дело второе, ну и ttl уменьшается.

----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 08:01 30-04-2009 | Исправлено: Ruza, 13:38 30-04-2009
ohlos



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Еще вопрос по файлу swap.state. Почему у него время обновления шагает на 1 час вперед относительно системного времени? (Скажем у меня 10.16, а у него уже время обновления 11.05)

Всего записей: 729 | Зарегистр. 13-07-2004 | Отправлено: 11:17 05-05-2009
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
ohlos

Цитата:
Почему у него время обновления шагает на 1 час вперед относительно системного времени?  

TimeZone, не?

----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 15:35 06-05-2009
ohlos



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ruza
Остальные то файлы (логи к примеру) время изменения указывают в полном соответствии с системным. Глюк?  

Всего записей: 729 | Зарегистр. 13-07-2004 | Отправлено: 16:49 06-05-2009
Nickolas1979

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Всем привет. Небольшая проблема, точнее две. AD Win2000, FreeBSD 6.3, SQUID 2.6 STABLE 16, ntlm авторизация, все работает замечательно.  
1. При отправке письма через веб-интерфейс любого почтовика (типа mail.ru) попробовать прикрепить файл, то вываливаеться окно с запросом имени/пароля, вводишь, файл прикрепляеться, но ооочень долго. Если попробовать тут же прикрепить второй файл, то браузер (IE, FireFox) просто виснут.
2. В конфиге сквида прописан кэш в 5Г, реально получилось 18Г. Это нормально?
 
squid.conf
 
http_port 192.168.10.1:3128
dns_nameservers 192.168.10.2
#dns_nameservers 192.168.10.3
 
cache_effective_user squid
cache_effective_group squid
 
hierarchy_stoplist cgi-bin ?
acl QUERY urlpath_regex cgi-bin \?
no_cache deny QUERY
 
cache_mem  128 MB
 
cache_dir ufs /squid/cache/ 50000 64 512
cache_access_log /squid/logs/access.log squid
cache_log /squid/logs/cache.log
cache_store_log /squid/logs/store.log
pid_filename /var/run/squid.pid
hosts_file /etc/hosts
 
error_directory /usr/local/etc/squid/errors/Russian-1251
 
auth_param ntlm program /usr/local/bin/ntlm_auth --helper-protocol=squid-2.5-ntlmssp
auth_param ntlm children 15
auth_param ntlm keep_alive on
 
auth_param basic program /usr/local/bin/ntlm_auth --helper-protocol=squid-2.5-basic
auth_param basic children 4
auth_param basic realm Squid proxy-caching server
auth_param basic credentialsttl 2 hours
 
external_acl_type nt_group %LOGIN /usr/local/libexec/squid/wbinfo_group.pl
 
acl ourproxyusers external nt_group ourproxyusers
acl ourproxyusers_full external    nt_group ourproxyusers_full
acl ourproxyusers_hr external nt_group ourproxyusers_hr
acl ourproxyusers_limited external nt_group ourproxyusers_limited
 
acl OFFICE proxy_auth REQUIRED
 
acl SSL_ports    port 443 563 #https
acl Safe_ports    port 80 81 88 17000 8080 #http
acl Safe_ports    port 21 #ftp
acl Safe_ports    port 443 #ssl
 
acl CONNECT    method CONNECT
acl manager    proto    cache_object
 
acl all src 0.0.0.0/0.0.0.0
acl localhost src 127.0.0.1/255.255.255.255
acl bad_ext urlpath_regex "/squid/url/bad_url_my/bad_ext"
acl bad_words url_regex "/squid/url/bad_url_my/bad_words"
acl bad_url dstdomain "/squid/url/bad_url_my/bad_url"
acl bad_porn_url dstdomain "/squid/url/bad_url_my/bad_porn_url"
acl allow_hr_url dstdomain "/squid/url//allow_url/allow_HR_url"
acl office_site dstdomain "/squid/url/allow_url/office_site"
acl allow_limited_url url_regex "/squid/url/allow_url/allow_Limited_url"
 
no_cache    deny    office_site
http_access    allow    manager            localhost
http_access    deny    manager
http_access    allow    all            office_site
http_access    allow    ourproxyusers_full    all
http_access    deny    !Safe_ports
http_access    deny    CONNECT            !SSL_ports
http_access    deny    bad_ext
http_access    allow    ourproxyusers_hr    allow_hr_url
http_access    deny    bad_words
http_access    deny    bad_url
http_access    deny    bad_porn_url
http_access    allow    ourproxyusers_limited    allow_limited_url
http_access    allow    ourproxyusers
http_access    deny    all
 

Всего записей: 8 | Зарегистр. 13-02-2007 | Отправлено: 16:56 06-05-2009
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » SQUID (только под *nix)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru