Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » Анализаторы логов для SQUID (под *nix)

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3

Открыть новую тему     Написать ответ в эту тему

UncoNNecteD



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Есть лог такого вида -  
1034456544.292    295 21.31.125.0 TCP_CLIENT_REFRESH_MISS/200 535 GET http://www......
 
Вопрос в том что это значит и как расшифровать время и объем отсюда...
 



Код:
http://www.squid-cache.org/Scripts/ - коллекция скриптов для анализа логов squid
http://squid.org.ua/Scripts/ - тот же документ на русском
http://www.opennet.ru/prog/mid/26.shtml#100 - коллекция анализаторов логов squid

 


 
Анализаторы логов для Squid

 
Free-SA
Сайт проекта: http://free-sa.sourceforge.net/
Быстрый и легкий в использовании анализатор логов для squid и не только!
 
SquidLog
Сайт разработчика: http://shleps.narod.ru/soft/squidlog/ (Шлепсик - мой хороший друг )
freeware
 
sarg
Офф. сайт: http://inter.rags.ru/orso/ (http://unixdocs.rags.ru/sqmgrlog.html)

Цитата:
Генератор отчетов на основании анализа лог-файла прокси сервера Squid. Отчеты позволяют выяснить какой пользователь в какое время обращался к какому сайту.Суммарный отчет может оказать большую помощь в тарификации работающих через Squid пользователей, так как включает в себя суммарный трафик и число коннектов для каждого пользователя за определенный период времени.

 
Statman
Офф. сайт: http://cyberos.narod.ru/statman/

Цитата:
GPL система мониторинга и управления пользователями SQUID. Реализовано: позволяет задавать лимиты пользователям из разных груп SQUID, тарифы, автоматическое отключение при превышении лимита, отчеты, практически он-лайн просмотр статистики пользователей.

 
squidGuard
Офф. сайт: http://www.squidguard.org/

Цитата:
быстрая и гибкая система для фильтрации контента и управления доступом для прокси сервера Squid (запускается как внешняя программа редиректа). Ограничение доступа к определенным web-страницам и web-серверам, разграничение доступа для пользователей и групп, поддержка регулярных выражений, блокировка попыток доступа к заблокированному ресурсу по IP адресу, богатые возможности редиректа при ошибке доступа (например, на страницу с правилами или для регистрации), дополнительные ограничения по времени суток и т.д.  

 
Calamaris
Офф. сайт: http://cord.de/tools/squid/calamaris/

Цитата:
parses logfiles from Squid, NetCache, Inktomi Traffic Server, Oops! proxy server, Novell Internet Caching System, Compaq Tasksmart or Netscape/iplanet Web Proxy Server and generates a report. Written in perl5.  

 
Sawmill

Цитата:
http://www.sawmill.net  - это вообще какой-то супер-навороченный анализатор всяческих логов, с графиками и хранением всех результатов анализа в базе данных. Среди всего прочего, может и squid анализировать. Можно скачать и посмотреть, что за софт. На сайте есть картинки, примеры, и т.д.  

 
SAMS - SQUID Account Management system
http://sams.perm.ru

Цитата:
Программа для настройки и администрирования доступа пользователей к прокси-серверу SQUID с использованием авторизации ntlm в домене Windows.  

 
SAcc - Squid Accounting
http://sacc.cybersec.ru
Описание на русском: http://sacc.security.perm.ru/about.php

Цитата:
основные возможности:
+максимально оптимизированный принцип работы с данными, в режиме кратких логов -  
 экономия дискового пространства, при траффике в 6 гб, и количестве пользователей  
 ~105, объём базы данных ~980 Kb
+аутентификация в принципе любая (я использую аутентификацию в Active Directory windows 2000 domain на одной системе и ncsa на другой.)
+отключает по факту превышения в течении 1 секунды или после обработки 20 записей (настраивается).
+устойчива к ошибкам в логе, (пропускает записи для неизвестных пользователей,  
 но пишет в системный журнал факт такой записи) и падениям сервера или БД.
+разработано с учётом возможных падений, и принципиально не может пропустить ниодной  строчки лога.
+возможно полное хранение логов в базе, детализированный режим. С получением информации по каждому запросу для выбранного пользователя.  
+В облегчённом режиме логи не хранятся в базе, хранится лишь информация по сайтам,  
 и информация по пользователям. За счёт этого получаются быстрые выборки и минимальные  системные требования. (рекомендуется для слабых систем). В полном режиме хранится вся  информация.
+автоматически следит за размером лога, и если лог оказался меньше чем был - начинает  
 пересчитывать с начала лога (т.е. произошла внешняя архивация логов)
+Вебинтерфейс на PHP и использует MySQL. Демон написан на с++ для максимальной скорости.

 
Lightsquid
Домашняя страница
+ fast log parser generate small per user data file
+ perl based cgi script for dynamic generated report pages
+ html template for design
+ no database required
+ no additional perl module
+ varios reports
+ user group suport
+ graphics report (v 1.6+)
 multilangual interface (English,Russian,Italian,Hungarian,Portuguese – Brazil,Bulgarian,Spanish,Czech)  
Для нескольких сотен человек - вещь, как мне кажется, незаменимая. Для тысяч может и медленновата, но для не очень большого кол-ва пользователей - супер. Графики позволяют визуально быстро оценить положение дел.
 
Screen squid
Домашняя страница
+ активно развивающийся проект
+ различные варианты отчетов
+ графики

Всего записей: 4040 | Зарегистр. 21-03-2002 | Отправлено: 09:45 14-10-2002 | Исправлено: Kaber, 11:38 17-08-2016
Labutin



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Анализаторов логов много. Я попробовал несколько. Но пока не нашел то, что мне нужно.
А нужно мне вот что:
- хочу посмотреть что качал/смотрел пользователь (идентификация по логину или по IP-адресу) в определенный момент времени.
Все что мне попадалось в основном показывают усредненную или суммарную статистику. Ну или граничные ситуации типа максимальный размер скаченного файла.
Что мне поможет?

Всего записей: 935 | Зарегистр. 31-07-2001 | Отправлено: 18:50 27-09-2004
Maxxximator

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Помогите пожалуйста ссылками на документацию по sarg и squidGuard, или намыльте, если у кого имеется, спасибо
 
и подскажите что значит команда sarg -d dd/mm/yy и команда squid -k reconfigure ?

Всего записей: 17 | Зарегистр. 12-11-2004 | Отправлено: 15:06 01-12-2004 | Исправлено: Maxxximator, 05:27 02-12-2004
Sersan



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
BeerLion
у меня такая же проблемма, может для её решения твой скрипт бы помог?
mrtg не хочет рисвовать по пользователям через snmp.
Не мог ли бы ты поделиться таким полезным скриптом?
 
Maxxximator

Цитата:
squid -k reconfigure

Посылает сигнал HUP, после которого Squid перечитывает файл конфигурации.

Всего записей: 22 | Зарегистр. 29-09-2004 | Отправлено: 17:03 03-02-2006 | Исправлено: Sersan, 17:12 03-02-2006
rems



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Maxxximator

Цитата:
 что значит команда sarg -d dd/mm/yy

 
Генерирует отчет на указанную дату

Всего записей: 39 | Зарегистр. 14-01-2003 | Отправлено: 09:33 18-01-2007
alex135

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите, как интерпретировать такую строку:
 
1214092930.247      9 192.168.127.79 TCP_DENIED/400 1457 GET error:invalid-request - NONE/- text/html
 
Вот эти 1457 байт, они пошли в зачет трафика у провайдера, или нет?

Всего записей: 60 | Зарегистр. 03-11-2004 | Отправлено: 10:52 24-06-2008
pipn

Newbie
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
поковырялся с сквидом. сарг не понравился. вываливается. очень щепетильно надо к конфигу подходить. в дефолте живет нормально, поконфигурил -- 2 дня пожил, потом в корку регулярно... в треэсере пишет, что проблему у него появились с glibc. обновляться не хотелось. попробовал free-sa. рисует покрасивше, работает уже неделю, глюков нет (во всяком случае пока). очень похож на сарг.
Система: ALTLinux Server 4.0 (обновлен при установке до текущего среза сизифа). ядро 2.6.24 (сборка сизифа), сквид из дистра 2.6.чего-то-там.

Всего записей: 20 | Зарегистр. 09-06-2006 | Отправлено: 17:42 21-08-2008
topotuno



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А никто шапку не поправит , SAMS переехал на http://sams.perm.ru/ ,
SAcc -- http://sacc.cybersec.ru/

Всего записей: 315 | Зарегистр. 28-10-2006 | Отправлено: 19:47 22-08-2008
ohlos



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
topotuno
Подправил.

Всего записей: 729 | Зарегистр. 13-07-2004 | Отправлено: 18:01 23-08-2008
dedsave



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
господа а имеется в принципе фриварная прога какая для анализа сквидовских логов под вынь ???

Всего записей: 33 | Зарегистр. 04-08-2008 | Отправлено: 18:54 02-10-2008
Aklexk

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
1. wrspy http://www.wrspy.ru/
2. MS SQL скрипты (Анализатор лога SQUID Proxy c возможностью блокировкиРаботающие скрипты для MS SQL) http://genrep.net/files.htm   - sql_log.zip

Всего записей: 2 | Зарегистр. 27-12-2006 | Отправлено: 15:19 01-11-2010
Lokryst



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
существует ли анализатор логов в реальном времени, чтобы открыл и увидел кто в данный момент особенно активен и что он качает?

Всего записей: 156 | Зарегистр. 24-01-2008 | Отправлено: 15:33 29-12-2010
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Lokryst
Посмотри SQSTAT

----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 08:14 30-12-2010
Lokryst



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ruza
Благодарю, то что надо.
Также нашел такой функционал в SAMS

Всего записей: 156 | Зарегистр. 24-01-2008 | Отправлено: 15:55 30-12-2010 | Исправлено: Lokryst, 15:56 30-12-2010
Yulia



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
pipn,
Цитата:
попробовал free-sa. рисует покрасивше, работает уже неделю, глюков нет (во всяком случае пока). очень похож на сарг.

да, Free-SA почему-то в шапочке нету
 

Цитата:
В последнее время вместо SARG многие рекомендуют использовать Free-SA. Он более легок, имеет большую скорость создания отчетов, в перспективе кроме Squid, Postfix, Qmail и CGP будут поддерживаться журналы других серверов.  

http://free-sa.sourceforge.net/
Демка http://free-sa.sourceforge.net/demo/index.html
 
 

Всего записей: 239 | Зарегистр. 25-09-2003 | Отправлено: 12:12 27-01-2011
Alukardd



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Yulia
Вообще-то вы и сами могли внести его в шапку. Ну да ладно я внес ссылочку.
 
А вообще в Free-SA у меня был очень не приятный глюк, из-за него пришлось ограничить его дисковым пространством. Когда юзеры начали активно изучать блоги и создавать себе аккаунты там и наполнять блог, то отчёты стали по непонятным причинам разрастаться до несусветных размеров (пока место на диске не кончалось), при том что лог squid'а был вполне себе адекватным, Но вот free-sa где-то косячит.
Так что будьте внимательны, ибо как только место на диске закончится кальмар перестанет функционировать и прокси будет не работоспособен.

----------
Microsoft gives you windows, linuх gives you the whole house...
I've been using Vim for about 4 years now, mostly because I can't figure out how to exit it.

Всего записей: 6563 | Зарегистр. 28-08-2008 | Отправлено: 13:02 27-01-2011 | Исправлено: Alukardd, 13:02 27-01-2011
Yulia



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ruza,
Цитата:
Посмотри SQSTAT

так давно искала что-то подобное. простое и информативное
 
 
Добавлено:

Цитата:
отчёты стали по непонятным причинам разрастаться до несусветных размеров (пока место на диске не кончалось)

это случайно не тот самый баг который пофиксен патчем на оффоруме?

Всего записей: 239 | Зарегистр. 25-09-2003 | Отправлено: 14:58 27-01-2011 | Исправлено: Yulia, 15:02 27-01-2011
Alexkot2005



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Помогите сделать в free-sa такой отчет:
 
                                                   Статистика Иванов В.А.
                                                       5.04.2012
 
    Адрес                                Запросы    Байты              Время
    http://www.tomklaim.com            804           213,88М       14:00-15:37
        http://www.com                            804           213,88М       15:37-16:00
 
и т.п.
 
Заранее благодарен ))                                  

Всего записей: 46 | Зарегистр. 21-01-2005 | Отправлено: 08:32 05-07-2012
Evgeny_Sorokin



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
А какая-нить статистика может делать по электронке отчеты такого вида?
 
25.09.2012 - TOP 5 сайтов по пользователям
 
   Иванов И.И
 
  сайты          запросы    Байты
yandex.ru           300        20Mb
mail.ru                200        15Mb
...
...
...
 
   Петров П.П
 
youtube.com       400         300Mb
google.ru            300          100Mb
...
...
...
 
 
и.т.д.
 
или может скриптик есть у кого?

Всего записей: 184 | Зарегистр. 23-04-2003 | Отправлено: 07:13 25-09-2012
vlary



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Evgeny_Sorokin

Цитата:
А какая-нить статистика может делать по электронке отчеты такого вида?  
Может, конечно. Только сомневаюсь, что есть готовое решение, обычно такие вещи каждый выпиливает лобзиком под свои конкретные нужды.
Я в свое время тоже делал свой обработчик. В 00.01 программа на Си прочесывала акцесс-лог.
Выполняла первичную обработку и заносила суточные результаты в базу SQLite.
Потом работал скрипт на перле, который SQL запросами считал объем трафика за сутки, выбирал топ 10 доменов по трафику, и топ 10 юзеров. Резульат по почте отправлял начальнику.
Так же был скриптик на PHP, с помощью которого можно было получить HTML странчку с информацией по конкретному юзеру, сайту, выяснить чемпионов месяца, где именно они бродили.
Ну и чемпион получал награду: оплачивал перерасход трафика, если таковой имел место быть.
Ну а потом перешли на безлимитку, и я систему похерил, ибо это стало никому не интересно.

----------
Заслуженный SCOтовод, почетный SUNтехник и любитель Кошек

Всего записей: 17280 | Зарегистр. 13-06-2007 | Отправлено: 12:49 25-09-2012 | Исправлено: vlary, 12:53 25-09-2012
Evgeny_Sorokin



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Ну безлимит то давно уж тоже стоит, но шеф всё-таки хочет поглядывать и знать кто работает а кто нет, если в топ-5 на пользователя рабочие сайты то норм, если там развлекаловка то по шапке давать.
 
Добавлено:
а так как я не программист, то увы написать сам не могу, хотя на PHP немного умею, но "немного" для этих целей будет маловато.

Всего записей: 184 | Зарегистр. 23-04-2003 | Отправлено: 14:57 25-09-2012
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » Анализаторы логов для SQUID (под *nix)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru