Извлечение данных из прокси-сервера Squid

Извлечение данных из прокси-сервера Squid

Как следует из названия, я хочу извлечь данные из своего прокси-сервера.

Фон:
Недавно у меня резко возрос объем данных, которые необходимо сохранять, и модуль, который я сейчас использую, просто не справляется*, он генерирует HTML-файл, полный стилей и прочего (в настоящее время у меня накладные расходы составляют более 200%, что не очень приятно, когда у вас есть план хранения данных на срок более 6 месяцев и 30+ пользователей).

Проблема:
Я хочу извлечь как можно больше данных из прокси-сервера и вставить их в базу данных (с минимальными накладными расходами). Честно говоря, я не знаю, как это сделать (часть извлечения из прокси-сервера). Мне не нуженprogramming 101 большое спасибо).

Вопрос:
Любой из этих вариантов (что может оказаться более подходящим):

  • Откуда берется отображаемая статистика sarg(она отображаетмногобольше, чем указано в лог-файлах)?

  • Существуют ли другие источники статистики, помимо лог-файлов ( /var/log/squid/access.log| cache.log)?

* sarg

(Давайте и отметьте это как «переместить в SO», если вы считаете, что это более уместно там. Я подумал, что этот вопрос не в тему, поэтому я разместил его здесь)

решение1

Sarg берет все данные из файлов журнала.

Если вы хотите получить больше информации, посмотритеМенеджер кэша. Он содержит внутреннюю информацию о Squid.

Squid можно настроить на отправку логов через UDP. Я написалсценарийкоторый берет информацию UDP и загружает ее в базу данных. Он основан на проекте Turbogears 2, но может быть вам будет полезно начать.

Связанный контент