Zmey Strangled by Lynx Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Я думаю удобнее сделать будет один топик по Squid и все вопросы касательно него постить сюда. :) У меня вопрос такого характера: как настроить резку трафика squid и как настроить замену баннеров или просто их вырезку. SQUID - HTTP/HTTPS прокси под *nix   В первом посте собираем полезные ссылки, преимущественно на русском по Squid.   Официальный сайт: www.squid-cache.org Squid (кеширующий прокси для http): установка, настройка и использование Squid Web Proxy Cache: получение, компилляция, настройка (архивная версия) Squid Proxy Server 3.1 Beginners Guide,  Packtpub, 2011, PDF (см. также и другие источники)   About Squid Web Proxy Cache (архивная версия) Зона особого внимания: Squid (архивная версия) Как не получать рекламы через Internet   FAQ по Squid (архивная версия) Авторизация squid в домене Windows 2003 Server Статьи по Squid на Opennet.ru   Как заставить Squid быть только прокси, без кэширования чего-либо?   Также смотрите фильтр по squid   В отдельных темах обсуждается Squid и ограничение доступа по времени Squid: ограничить трафик для отдельного юзера: ширина канала Squid и вырезание баннеров Анализаторы логов для Squid   // текущий бэкап шапки.. Всего записей: 303 | Зарегистр. 07-12-2001 | Отправлено: 14:56 10-05-2002 | Исправлено: TheBarmaley TMP, 15:33 23-03-2016

Ruza Gold Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору MadMas Цитата: По теме: в файле   /etc/security/limits.conf добавь строку:   Код: * - nofile 8192   А вот это попробуйте...   Цитата: Код: echo "65535" > /proc/sys/fs/file-max   Эх блин не успел предупредить... надо было посмотреть что там в файле... Цитата: [root@gw squid]# cat /proc/sys/fs/file-max 102049 ASP-14/FC9 Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 15:36 14-04-2009

MadMas Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Мда, хотите новость, после     Цитата: Сделай либо 172.20.1.1-172.20.20.254 либо уже 172.20.1.0/16   сделал первое, естесс-но потом реконфигурнул сквид и запись вида WARNING! Your cache is running out of filedescriptors в cache.log пропала   я уже было совсем обрадовался, но Мозилла периодически все таки слетает с ошибкой connection refused Всего записей: 94 | Зарегистр. 02-06-2006 | Отправлено: 15:57 14-04-2009

Ruza Gold Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору MadMas   Debug рулит, не? debug_options ALL,5 tail -f cache.log   и узнаём много нового помимо connection refused ---------- Fools rush in where angels fear to tread. Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 16:04 14-04-2009

Ruza Gold Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору soulvine acl good_exe dst "/etc/squid/squidblock/HZ.txt"   ......... http_access deny proxylist http_access allow den_src goodsites http_access allow bosses http_access deny porn !bosses (Лишнее) http_access deny avi !bosses (Лишнее) http_access allow den_src good_exe http_access allow den_src !den_words !porn !avi http_access allow bosses (Лишнее) http_access deny all (а вот это !!!Обязательно!!!) ---------- Fools rush in where angels fear to tread. Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 21:55 14-04-2009 | Исправлено: Ruza, 21:58 14-04-2009

MadMas Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору BONDBIGчто в кеш логе в этот момент трудно сказать там записи в основном вида:   2009/04/15 09:25:12| ipcacheParse: No Address records in response to 'mail.google.com' 2009/04/15 09:25:12| ipcacheParse: No Address records in response to 'mail.google.com' 2009/04/15 09:26:35| httpReadReply: Excess data from "GET http://service.brocompany.com/partner/hook/css" 2009/04/15 09:29:26| httpReadReply: Excess data from "GET http://service.brocompany.com/partner/hook/css" 2009/04/15 09:36:40| httpReadReply: Request not yet fully sent "POST http://ts08.eset.com/query/chsquery.php" 2009/04/15 09:41:40| urlParse: Illegal character in hostname 'detsys.r%d0%b3' 2009/04/15 09:41:44| urlParse: Illegal character in hostname 'detsys.r%d0%b3' 2009/04/15 09:41:53| urlParse: Illegal character in hostname 'detsys.r%d0%b3' 2009/04/15 09:45:53| httpReadReply: Excess data from "GET http://service.brocompany.com/partner/hook/js" 2009/04/15 09:55:08| WARNING! Your cache is running out of filedescriptors   и опять появилось предупреждение о дескрипторах после   Цитата: Debug рулит, не?   debug_options ALL,5   tail -f cache.log     столько сообщений сыплется (за пару минут лог вырос на ~100Мб):   2009/04/15 09:17:26| file_open: FD 173 2009/04/15 09:17:26| fd_open FD 173 /var/run/squid.pid 2009/04/15 09:17:26| leave_suid: PID 13494 called 2009/04/15 09:17:26| leave_suid: PID 13494 giving up root, becoming 'squid' 2009/04/15 09:17:26| file_close: FD 173, really closing 2009/04/15 09:17:26| fd_close FD 173 /var/run/squid.pid 2009/04/15 09:17:26| Ready to serve requests. 2009/04/15 09:17:26| comm_select: timeout 709 2009/04/15 09:17:26| httpReadReply: FD 128: len 2404. 2009/04/15 09:17:26| storeAppend: appending 2404 bytes for '54A49D1FA5D9E65FC47397900106C35A' 2009/04/15 09:17:26| InvokeHandlers: 54A49D1FA5D9E65FC47397900106C35A 2009/04/15 09:17:26| InvokeHandlers: checking client #0 2009/04/15 09:17:26| cbdataLock: 0x99a08b0 2009/04/15 09:17:26| storeClientCopy2: 54A49D1FA5D9E65FC47397900106C35A 2009/04/15 09:17:26| storeClientCopy3: Copying from memory 2009/04/15 09:17:26| cbdataValid: 0x98df810 2009/04/15 09:17:26| clientSendMoreData: http://eduportal.uz/apache/info_uzb/156/files/shrifti.jpg, 2404 bytes 2009/04/15 09:17:26| clientSendMoreData: FD 418 'http://eduportal.uz/apache/info_uzb/156/files/shrifti.jpg', out.offset=71692 2009/04/15 09:17:26| comm_write: FD 418: sz 2404: hndl 0x80742a0: data 0x98df810. 2009/04/15 09:17:26| cbdataLock: 0x98df810 2009/04/15 09:17:26| commSetSelect: FD 418 type 2 2009/04/15 09:17:26| cbdataUnlock: 0x98df810 2009/04/15 09:17:26| cbdataUnlock: 0x99a08b0 2009/04/15 09:17:26| commSetTimeout: FD 128 timeout 900 2009/04/15 09:17:26| commSetSelect: FD 128 type 1 2009/04/15 09:17:26| httpReadReply: FD 332: len 1069. 2009/04/15 09:17:26| storeAppend: appending 1069 bytes for 'C25A66B10FA318C510F7B7ACD0DE05D9' 2009/04/15 09:17:26| InvokeHandlers: C25A66B10FA318C510F7B7ACD0DE05D9 2009/04/15 09:17:26| InvokeHandlers: checking client #0 2009/04/15 09:17:26| cbdataLock: 0x8f55e48 2009/04/15 09:17:26| storeClientCopy2: C25A66B10FA318C510F7B7ACD0DE05D9 2009/04/15 09:17:26| storeClientCopy3: Copying from memory 2009/04/15 09:17:26| cbdataValid: 0xa0e2378 2009/04/15 09:17:26| clientSendMoreData: http://img.mail.ru/r/jim/js/webagent_amalgam.js?51, 1069 bytes 2009/04/15 09:17:26| clientSendMoreData: FD 297 'http://img.mail.ru/r/jim/js/webagent_amalgam.js?51', out.offset=22410 2009/04/15 09:17:26| comm_write: FD 297: sz 1069: hndl 0x80742a0: data 0xa0e2378. 2009/04/15 09:17:26| cbdataLock: 0xa0e2378 2009/04/15 09:17:26| commSetSelect: FD 297 type 2 2009/04/15 09:17:26| cbdataUnlock: 0xa0e2378 2009/04/15 09:17:26| cbdataUnlock: 0x8f55e48 2009/04/15 09:17:26| commSetTimeout: FD 332 timeout 900 2009/04/15 09:17:26| commSetSelect: FD 332 type 1 2009/04/15 09:17:26| httpReadReply: FD 86: len 274. 2009/04/15 09:17:26| ctx: enter level  0: 'http://www.litres.ru/static/beeline_redir.js' 2009/04/15 09:17:26| httpProcessReplyHeader: key '6ADD1434C5CDD7FEC24F543F4E2F7B78' 2009/04/15 09:17:26| storeAppend: appending 274 bytes for '6ADD1434C5CDD7FEC24F543F4E2F7B78' 2009/04/15 09:17:26| httpProcessReplyHeader: HTTP CODE: 304 2009/04/15 09:17:26| storeExpireNow: '6ADD1434C5CDD7FEC24F543F4E2F7B78' 2009/04/15 09:17:26| www.litres.ru's clock is skewed by 344979 seconds! 2009/04/15 09:17:26| ctx: exit level  0 2009/04/15 09:17:26| InvokeHandlers: 6ADD1434C5CDD7FEC24F543F4E2F7B78 2009/04/15 09:17:26| InvokeHandlers: checking client #0 2009/04/15 09:17:26| cbdataLock: 0x9e75d68 2009/04/15 09:17:26| storeClientCopy2: 6ADD1434C5CDD7FEC24F543F4E2F7B78 2009/04/15 09:17:26| storeClientCopy3: Copying from memory   Всего записей: 94 | Зарегистр. 02-06-2006 | Отправлено: 10:32 15-04-2009

MadMas Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Цитата: У тебя чему равен request_body_max_size в конфиге сквида? такого параметра вообще нет, какое значение установить ?   Цитата: А это похоже что у тебя днс сервер не успевает отвечать сквиду. Вот на счет этого я тоже хотел спросить, в /var/log/messages на эту тему есть много сообщений и от DHCP тоже:   Apr 15 12:44:13 proxy dhcpd: DHCPINFORM from 172.20.5.151 via eth0: not authoritative for subnet 172.20.0.0 Apr 15 12:44:13 proxy dhcpd: DHCPINFORM from 172.20.5.156 via eth0: not authoritative for subnet 172.20.0.0 Apr 15 12:44:14 proxy dhcpd: DHCPINFORM from 172.20.5.153 via eth0: not authoritative for subnet 172.20.0.0 Apr 15 12:44:15 proxy dhcpd: DHCPINFORM from 172.20.19.244 via eth0: not authoritative for subnet 172.20.0.0 Apr 15 12:44:16 proxy dhcpd: DHCPINFORM from 172.20.4.111 via eth0: not authoritative for subnet 172.20.0.0 Apr 15 12:44:18 proxy dhcpd: DHCPINFORM from 172.20.5.153 via eth0: not authoritative for subnet 172.20.0.0 Apr 15 12:44:19 proxy dhcpd: DHCPINFORM from 172.20.4.111 via eth0: not authoritative for subnet 172.20.0.0 Apr 15 12:44:20 proxy dhcpd: DHCPINFORM from 172.20.19.241 via eth0: not authoritative for subnet 172.20.0.0 Apr 15 12:44:22 proxy named[21308]: unexpected RCODE (SERVFAIL) resolving 'kat15.com/A/IN': 66.40.14.249#53 Apr 15 12:44:24 proxy dhcpd: DHCPINFORM from 172.20.9.246 via eth0: not authoritative for subnet 172.20.0.0 Apr 15 12:44:24 proxy dhcpd: DHCPINFORM from 172.20.19.241 via eth0: not authoritative for subnet 172.20.0.0 Apr 15 12:44:24 proxy named[21308]: unexpected RCODE (SERVFAIL) resolving 'kat15.com/A/IN': 66.40.14.248#53 Apr 15 12:44:33 proxy named[21308]: unexpected RCODE (SERVFAIL) resolving 'kat15.com/A/IN': 66.40.14.249#53 Apr 15 12:44:33 proxy dhcpd: DHCPINFORM from 172.20.5.12 via eth0: not authoritative for subnet 172.20.0.0 Apr 15 12:44:35 proxy named[21308]: unexpected RCODE (SERVFAIL) resolving 'kat15.com/A/IN': 66.40.14.248#53 Apr 15 12:44:36 proxy dhcpd: DHCPINFORM from 172.20.5.12 via eth0: not authoritative for subnet 172.20.0.0 Apr 15 12:44:47 proxy dhcpd: DHCPINFORM from 172.20.18.223 via eth0: not authoritative for subnet 172.20.0.0 Apr 15 12:44:48 proxy named[21308]: unexpected RCODE (SERVFAIL) resolving 'kat15.com/A/IN': 66.40.14.248#53 Apr 15 12:44:50 proxy named[21308]: unexpected RCODE (SERVFAIL) resolving 'kat15.com/A/IN': 66.40.14.249#53 Apr 15 12:44:50 proxy dhcpd: DHCPINFORM from 172.20.18.223 via eth0: not authoritative for subnet 172.20.0.0 Apr 15 12:44:55 proxy dhcpd: DHCPINFORM from 172.20.11.243 via eth0: not authoritative for subnet 172.20.0.0 Apr 15 12:51:58 proxy dhcpd: Unable to add forward map from flash09.tuit.org to 172.20.14.241: timed out   и особенно мне не нравится последняя строчка в логе Всего записей: 94 | Зарегистр. 02-06-2006 | Отправлено: 11:58 15-04-2009

MadMas Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Цитата: request_body_max_size 5 MB   ...прописал,   Цитата: Цитата: not authoritative for subnet 172.20.0.0   Ну тут как раз все понятно - дхцп не авторизован для этой подсети.   ...авторизовал   Цитата: Цитата: Unable to add forward map from flash09.tuit.org to 172.20.14.241: timed out     Не может дхцп зарегистрировать запись в днс.   ...отключил регистрацию в днс. Посмотрим что изменится.   Добавлено: Мозила стала слетать реже, но все таки слетает все с той же ошибкой: Connection terminated by peer   в cache.log в этот момент появляется запись: 2009/04/15 15:29:08| CACHEMGR: <unknown>@127.0.0.1 requesting 'active_requests' Всего записей: 94 | Зарегистр. 02-06-2006 | Отправлено: 12:34 15-04-2009

Ruza Gold Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору MadMas Цитата: в cache.log в этот момент появляется запись: 2009/04/15 15:29:08| CACHEMGR: <unknown>@127.0.0.1 requesting 'active_requests' А ты какой адрес посмотреть пытаешься? ---------- Fools rush in where angels fear to tread. Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 23:51 17-04-2009

MadMas Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Цитата: Цитата: в cache.log в этот момент появляется запись: 2009/04/15 15:29:08| CACHEMGR: <unknown>@127.0.0.1 requesting 'active_requests'   А ты какой адрес посмотреть пытаешься?   Здесь нет закономерности, адрес может быть любым, но чаще всего это происходит когда  открыл страницу, например вот эту с форумом, почитал, мин через 5 пишешь сообщение и нажимаешь ответить и вот тут то сразу и появляется эта фигня, но тоже не всегда. Или допустим в гугле нугуглил чего нибудь, открываешь найденные ссылки, просматриваешь их, а потом в гугле нажимаешь следующую страницу и опять процентов в 70 случаев появляется ошибка. Такое ощущение, что сессия устарела и потом ее надо создавать заново. Всего записей: 94 | Зарегистр. 02-06-2006 | Отправлено: 09:49 20-04-2009

Ruza Gold Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору MadMas Цитата: CACHEMGR: <unknown>@127.0.0.1 requesting 'active_requests'   Это сообщение появляется при доступе к cachemgr.cgi.   Цитата: Такое ощущение, что сессия устарела и потом ее надо создавать заново. А вот это верное предположение... Показывай последний конфиг и напиши немного как сеть организована. У знакомого была такая же проблема пока модем не сменили... ---------- Fools rush in where angels fear to tread. Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 10:55 20-04-2009

MadMas Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Конфиг сквида:   visible_hostname proxy.tuit.org dns_nameservers --.--.--.4 --.--.--.6 cache_mgr tuitdomainadmin@tuit.org max_filedesc 8192 request_body_max_size 5 MB   #Recommended minimum configuration: acl all src 0.0.0.0/0.0.0.0 acl manager proto cache_object acl localhost src 127.0.0.1/255.255.255.255 acl to_localhost dst 127.0.0.0/8 acl SSL_ports port 443 acl Safe_ports port 80          # http acl Safe_ports port 21          # ftp acl Safe_ports port 443         # https acl Safe_ports port 70          # gopher acl Safe_ports port 210         # wais acl Safe_ports port 1025-65535  # unregistered ports acl Safe_ports port 280         # http-mgmt acl Safe_ports port 488         # gss-http acl Safe_ports port 591         # filemaker acl Safe_ports port 777         # multiling http acl CONNECT method CONNECT   acl bad_url url_regex -i "/etc/squid/bad_url" acl multimedia urlpath_regex -i \.3gp$ \.swf$ \.SWF$ \.exe$ \.cab$ \.dll$ \.wmv$ \.iso$ \.mkv$ \.jar$ \.zip$ \.bz2$ \.flv$   acl multimdeny urlpath_regex -i \.mp3$ \.mpeg$ \.avi$ \.mov$ \.mp4$ http_access deny multimdeny   # Only allow cachemgr access from localhost http_access allow manager localhost http_access deny manager   # Deny requests to unknown ports http_access deny !Safe_ports   # Deny CONNECT to other than SSL ports http_access deny CONNECT !SSL_ports   acl bad src 172.20.11.254 http_access deny bad   acl tuit src 172.20.1.1-172.20.20.254 http_access allow tuit !bad_url   # And finally deny all other access to this proxy http_access allow localhost http_access deny all   #Allow ICP queries from everyone icp_access allow all   http_port 8080   access_log /var/log/squid/access.log squid   #We recommend you to use the following two lines. acl QUERY urlpath_regex cgi-bin \? cache deny QUERY   #Suggested default: refresh_pattern ^ftp:           1440    20%     10080 refresh_pattern ^gopher:        1440    0%      1440 refresh_pattern .               0       20%     4320   # Apache mod_gzip and mod_deflate known to be broken so don't trust # Apache to signal ETag correctly on such responses acl apache rep_header Server ^Apache broken_vary_encoding allow apache   delay_pools 1   delay_class 1 2   delay_access 1 allow multimedia delay_access 1 deny all   delay_parameters 1 -1/-1 3000/4000   # Leave coredumps in the first cache dir coredump_dir /var/spool/squid   maximum_object_size 0 KB minimum_object_size 0 KB   no_cache deny all cache_dir null /null #debug_options ALL,5   Интернет от провайдера приходит через оптику в АТС (стоит гигабитный конвертер), от АТС до серверной идет кабель UTP 100 Мбит, заводится в сетевую карту Broadcom Corporation NetXtreme BCM5703 Gigabit Ethernet. Далее раздается клиентам через сетевую Accton Technology Corporation SMC2-1211TX (100 Мбит). На первой сетевой карте внешний белый айпишник, с зафиксированным у провайдера МАС адресом. Самое интересное, до этого все работало, но на ISA сервере и таких проблем не было. Баг где-то в настройках сервака. Всего записей: 94 | Зарегистр. 02-06-2006 | Отправлено: 16:10 20-04-2009

Ruza Gold Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Цитата: visible_hostname proxy.tuit.org dns_nameservers --.--.--.4 --.--.--.6 cache_mgr tuitdomainadmin@tuit.org   acl all src 0.0.0.0/0.0.0.0 acl tuit src 172.20.1.0/24 acl manager proto cache_object acl localhost src 127.0.0.1/255.255.255.255 acl to_localhost dst 127.0.0.0/8 acl SSL_ports port 443 acl Safe_ports port 80          # http acl Safe_ports port 21          # ftp acl Safe_ports port 443         # https acl Safe_ports port 70          # gopher acl Safe_ports port 210         # wais acl Safe_ports port 1025-65535  # unregistered ports acl Safe_ports port 280         # http-mgmt acl Safe_ports port 488         # gss-http acl Safe_ports port 591         # filemaker acl Safe_ports port 777         # multiling http acl CONNECT method CONNECT acl bad_url url_regex -i "/etc/squid/bad_url" acl multimedia urlpath_regex -i \.3gp$ \.swf$ \.SWF$ \.exe$ \.cab$ \.dll$ \.wmv$ \.iso$ \.mkv$ \.jar$ \.zip$ \.bz2$ \.flv$ acl multimdeny urlpath_regex -i \.mp3$ \.mpeg$ \.avi$ \.mov$ \.mp4$ http_access deny multimdeny http_access allow manager localhost http_access deny manager http_access deny !Safe_ports http_access deny CONNECT !SSL_ports acl bad src 172.20.11.254 http_access deny bad http_access allow tuit !bad_url http_access allow localhost http_access deny all   miss_access allow all http_port 8080 access_log /var/log/squid/access.log squid acl QUERY urlpath_regex cgi-bin \? cache deny QUERY acl apache rep_header Server ^Apache broken_vary_encoding allow apache request_body_max_size 5 MB   delay_pools 1 delay_class 1 2 delay_access 1 allow multimedia delay_access 1 deny all delay_parameters 1 -1/-1 3000/4000   coredump_dir /var/spool/squid cache deny all cache_dir null /tmp #debug_options ALL,5 Попробуй так... ---------- Fools rush in where angels fear to tread. Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 16:47 20-04-2009 | Исправлено: Ruza, 16:53 20-04-2009

MadMas Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Цитата: Попробуй так...   Так он вообще не пускает ни кого польний ACCESS DENIED ! Всего записей: 94 | Зарегистр. 02-06-2006 | Отправлено: 08:53 21-04-2009

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » SQUID (только под *nix)

Переход по форумам  Закладки   » Компьютеры Цифровое изображение Программы Microsoft Windows UNIX Другие OS Hardware В помощь сисадмину Прикладное программирование Игры Форумные игры   » Интернет Web-программирование В помощь вебмастеру Графика Хостинг Зацените-ка!   » Тематические Ikonboard v.2 Ikonboard v.3 Invision Board Другие форумы PHP-Nuke и другие порталы Мобила   » Общие Спорт Флейм Темы по региональным встречам Музыка и Кино Юмор Литература и Живопись   » Ru.Board Новости Помощь по форуму   » Андеграунд eBookz Варезник Раздачи и акции Мобильный варезник Андеграунд Игры и фильмы   » Специальные Тестирование