Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » SQUID (только под *nix)

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140

Открыть новую тему     Написать ответ в эту тему

Zmey



Strangled by Lynx
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Я думаю удобнее сделать будет один топик по Squid и все вопросы касательно него постить сюда. :)
У меня вопрос такого характера: как настроить резку трафика squid и как настроить замену баннеров или просто их вырезку.


SQUID - HTTP/HTTPS прокси под *nix

 
В первом посте собираем полезные ссылки, преимущественно на русском по Squid.
 
Официальный сайт: www.squid-cache.org
Squid (кеширующий прокси для http): установка, настройка и использование
Squid Web Proxy Cache: получение, компилляция, настройка (архивная версия)
Squid Proxy Server 3.1 Beginners Guide,  Packtpub, 2011, PDF (см. также и другие источники)
 
About Squid Web Proxy Cache (архивная версия)
Зона особого внимания: Squid (архивная версия)
Как не получать рекламы через Internet  
FAQ по Squid (архивная версия)
Авторизация squid в домене Windows 2003 Server
Статьи по Squid на Opennet.ru  
Как заставить Squid быть только прокси, без кэширования чего-либо?
 
Также смотрите фильтр по squid
 
В отдельных темах обсуждается

Squid и ограничение доступа по времени
Squid: ограничить трафик для отдельного юзера: ширина канала
Squid и вырезание баннеров
Анализаторы логов для Squid
 

// текущий бэкап шапки..

Всего записей: 303 | Зарегистр. 07-12-2001 | Отправлено: 14:56 10-05-2002 | Исправлено: TheBarmaley TMP, 15:33 23-03-2016
Daimos



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
BONDBIG
у меня около 100 юзеров, Cache Hit - 8-12%  -  стоит или нет отключать кэш ?

Всего записей: 723 | Зарегистр. 23-09-2003 | Отправлено: 16:12 02-03-2010
BONDBIG

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Не cache-hit'ом только жив прокси. Если вас все устраивает и юзеры не жалуются "ААА! Погода вчерашняя на сайте! И курсы акций застряли!", то оставьте как есть, почему нет. Я рассматриваю кеш как источник проблем и доп. нагрузки на диск. В моем случае (over 9000 users, ~20 миллионов запросов в сутки) выключение кеша дало ощутимый прирост скорости и сократило время отклика, хотя харды SCSI, в RAID1.  
Попробуйте оставить кеш только в памяти, пожалейте HDD.

Всего записей: 407 | Зарегистр. 05-05-2006 | Отправлено: 16:41 02-03-2010
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
BONDBIG

Цитата:
В моем случае (over 9000 users, ~20 миллионов запросов в сутки)  

А можно поинтересоваться направлением деятельности твоей фирмы.  
А то я пару последних страниц читаю советы типа - "при насморке - отрубить голову"...
Кеш насколько я понимаю позволяет ещё и экономить полосу пропускания...

Цитата:
пожалейте HDD.

При нынешней стоимости?


----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 16:54 02-03-2010 | Исправлено: Ruza, 16:55 02-03-2010
BONDBIG

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
А можно поинтересоваться направлением деятельности твоей фирмы.  

Да запросто - крупная финансовая структура (over 15K сотрудников).

Цитата:
Кеш насколько я понимаю позволяет ещё и экономить полосу пропускания...  
Кеш - замечательная штука. Но использовать его нужно очень аккуратно, точно зная где и что закешируется, а где - никогда не закешируется. Мне в один прекрасный момент надоело выслушивать обвинения в свой адрес и "подкручивать" кеш сквида по запросам юзеров, которые в день по 100500 новых сайтов находят, из них два-три обязательно найдется, где кеширование вызывает проблемы. Я оставил кеш на совести веб-серверов (дада, сегодня кешированием вовсю занимаются сами веб-сервера, nginx хорошо в этом преуспел, например) и браузеров (какой гадский, въедливый кеш у FF, вы бы знали!). В цепочке WEB-server - SQUID - Browser уже есть две кеширующие точки, третья только добавляет проблем, принося не такую уж впечатляющую выгоду.  
Будущее кеширования - WAN-оптимизаторы, работающие по принципу блочного кеширования на канальном/сетевом уровне.

Цитата:
При нынешней стоимости?  

Сколько стоит пара SCSI-дисков 15K RPM? Я то не про дисковое пространство речь веду, а про изнашивание HDD.

Всего записей: 407 | Зарегистр. 05-05-2006 | Отправлено: 17:09 02-03-2010 | Исправлено: BONDBIG, 17:12 02-03-2010
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
BONDBIG
Таки не в том вопрос - вопрос был задан довольно конкретный. А в ответ - отключи кеш оно круче... Блин а если у чела 3g (помегабайтный) или канал 256, а пользователей ~50 то ему без кеша никак...

Цитата:
Сколько стоит пара SCSI-дисков 15K RPM?

Угу - подавляющее большинство вопрошающих не будут использовать такое оборудование, остановившись на SATA отдельном под кеш максимум.
 

Цитата:
дада, сегодня кешированием вовсю занимаются сами веб-сервера, nginx хорошо в этом преуспел, например

Экономия полосы, не?

Цитата:
(какой гадский, въедливый кеш у FF, вы бы знали!

А то! Сам сталкиваюсь регулярно...
 


----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 17:27 02-03-2010
BONDBIG

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Таки не в том вопрос - вопрос был задан довольно конкретный. А в ответ - отключи кеш оно круче...  

Для начала я дал вполне конкретный ответ, а уж про отключения кеша речь пошла позже.
Цитата:
Блин а если у чела 3g (помегабайтный) или канал 256, а пользователей ~50 то ему без кеша никак...  

Я сам 1.5 года подряд сидел на голом GPRS (никаких 3G, ни даже EDGE) и не понаслышке знаю что это такое. Ответ один - или все-же попытаться решить вопрос с каналом в лучшую сторону (благо сейчас даже у опсосов безлимитка есть за приемлемые деньги) либо тратить свое и чужое время на отладку кеша, чем он радостно и занимается. Я применял сжимающие прокси (ziproxy один из них, есть готовые решения, типа toonel.net, экономия трафика гораздо больше чем от кеша - до 70%)

Цитата:
Угу - подавляющее большинство вопрошающих не будут использовать такое оборудование, остановившись на SATA отдельном под кеш максимум.  

Да, наверное так и есть.

Цитата:

Цитата:
дада, сегодня кешированием вовсю занимаются сами веб-сервера, nginx хорошо в этом преуспел, например

 
Экономия полосы, не?  

Нет. Экономия процессорного времени бекенда. Как вебсервер кешированием может сэкономить полосу? Клиенту все одно отдавать то же количество байт. Для целей экономии полосы применяют gzip.
 
Добавлено:
РЕЦЕПТ ДЛЯ ЖЕЛАЮЩИХ СЭКОНОМИТЬ ТРАФИК:
1) Покупаете дешевый vds-хостинг за 150р./месяц
2) Устанавливаете туда ziproxy
3) Ходите через него в интернет, сжимается текст, картинки - по желанию.  
4) PROFIT!
 
P.S.: Не сочтите за рекламу. Я никоим образом не связан с этой конторой, только как частный клиент. Просто у них недорого, и мануалы хорошие есть в вики.

Всего записей: 407 | Зарегистр. 05-05-2006 | Отправлено: 17:40 02-03-2010
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
BONDBIG
Ладно - проехали... А то в hollywar скатимся типа "война кешей"...
У меня у самого несколько серверов со squid и на части из них действительно отключен кеш т.к. нормальный безлимитный канал.
 


----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 18:05 02-03-2010
phandorin



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Есть задача прикрыть шастание по "ненужным" сайтам через прокси.
Брал всегда отсюда urlblacklist.com.
Есть ли списки для России нормальные?  

Всего записей: 132 | Зарегистр. 05-08-2005 | Отправлено: 16:02 12-03-2010
vlary



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Есть ли списки для России нормальные?  
Всякие "ненужные" сайты растут как грибы, свежих списков на них не напасешься. Посему просто нужно отслеживать статистику посещения, и отключать ненужное. Для умельцев находить ненужное предусмотреть совместно с руководством административные меры, типа оплаты перерасхода трафика и переключения их в режим, когда они смогут ходить только по ограниченному списку "нужных" сайтов.

Всего записей: 17278 | Зарегистр. 13-06-2007 | Отправлено: 17:12 12-03-2010
AnDySs1

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
phandorin
режик  
 
или гляньте shalla list

Всего записей: 1426 | Зарегистр. 04-11-2004 | Отправлено: 18:11 12-03-2010
phandorin



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Так и делаю. Режу все дамские сайты как только девушки лезут.
оказываются девушки очень хорошо юзают поиск )))
Только прикрыл всякие lady.mail.ru они тебе еще что нить выдумают.
Причем выдумывать стали еще усерднее когда прикрыли.
Ждем административных мер поощрения виновных )))

Всего записей: 132 | Зарегистр. 05-08-2005 | Отправлено: 15:05 16-03-2010
vlary



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Ждем административных мер поощрения виновных )))  
Да, одними техническими мерами здесь ничего не сделать. Необходимо комплексное решение.  

Всего записей: 17278 | Зарегистр. 13-06-2007 | Отправлено: 15:12 16-03-2010
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
phandorin
Я в своё время устал бороться с такими  сайтами - пользовал и парсинг страниц по фразам и ограничение по url и по IP.
Но начинались анонимайзеры и т.д.
Вобщем решением оказалось - ограничение на количество мегабайт в месяц утверждённых генеральным директором.
По достижению http просто блокируется, надо больше - к начальнику отдела со служебкой и статистикой скачанного.
После этого были открыты одноклассники, вконтакте и иже с ними.
Через месяц после введения ограничений - юзеры сами бояться заходить на левые сайты.
 
Как дополнительный стимул можно вывесить в открытый доступ общую статистику.


----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 18:34 16-03-2010 | Исправлено: Ruza, 18:40 16-03-2010
NewClass

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите пож!
Как разрешить только одному пользователю доступ к сайту!
спс
 
Добавлено:
Извените сам разобрался

Всего записей: 42 | Зарегистр. 17-12-2005 | Отправлено: 11:46 19-03-2010
NewClass

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Too many queued ntlmauthenticator requests (26 on 5)
squid[5963]: Squid Parent: child process 6537 exited due to signal 6
 
Подскажите пжл на что ругается сквид?

Всего записей: 42 | Зарегистр. 17-12-2005 | Отправлено: 14:26 24-03-2010 | Исправлено: NewClass, 14:27 24-03-2010
BONDBIG

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Дословно: "Слишком много запросов ntlmauthenticator в очереди (26 из 5)". Видимо у вас настроено 5 процессов для ntlmauthenticator, их не хватает. Увеличьте число до ~30.

Всего записей: 407 | Зарегистр. 05-05-2006 | Отправлено: 14:29 24-03-2010
NewClass

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
auth_param basic children 20
Это поменять?

Всего записей: 42 | Зарегистр. 17-12-2005 | Отправлено: 14:32 24-03-2010 | Исправлено: NewClass, 14:32 24-03-2010
BONDBIG

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
нет, это для basic аутентификации, у вас ведь ругань идет на ntlm

Всего записей: 407 | Зарегистр. 05-05-2006 | Отправлено: 14:34 24-03-2010
NewClass

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите пжл где сменить!
 
Добавлено:
извените за тупость исправлюсь!

Всего записей: 42 | Зарегистр. 17-12-2005 | Отправлено: 14:36 24-03-2010 | Исправлено: NewClass, 14:41 24-03-2010
ohlos



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
NewClass
auth_param ntlm children  
auth_param basic children

Всего записей: 729 | Зарегистр. 13-07-2004 | Отправлено: 10:51 25-03-2010
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » SQUID (только под *nix)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru