¿Supervisar archivos de registro importantes en varios hosts Linux?

Question

Tengo algunos servidores ejecutándose en AWS y Nagios/Icinga monitorea todos los servicios críticos.

Estamos tratando de encontrar la mejor manera de monitorear todos los registros system, DB, PHP, Apache, etcen el sistema para conocer los problemas (por ejemplo, que Apache alcanzó el max_clientsumbral ayer) inmediatamente por correo electrónico. Actualmente, solo miramos los registros después de que un servicio deja de funcionar, no antes, lo cual es malo.

Soy nuevo en la administración de Linux y identifiqué las siguientes opciones después de una búsqueda en línea:

1. Guiones de Nagiospara monitorear registros- El problema es que la mayoría de ellos verifican un archivo de registro para una expresión regular específica a la vez. No es escalable instalar un servicio para cada archivo de registro (¡ni siquiera conozco todos los archivos de registro que tenemos que monitorear!)
2. Un servicio como logrobot.com- Aunque no estoy seguro de cuán efectivo sea esto.

Agradecemos sus consejos sobre cuál es la mejor manera de monitorear todos estos registros en múltiples servidores con una configuración mínima.

Answer 1

No sé cuántos servidores/registros tienes que monitorear, pero existen muchas soluciones.

ambiente pequeño

Utilice rsyslog y una interfaz que le guste (por ejemplo, LogAnalyzerhttp://loganalyzer.adiscon.com/)

entorno más grande

Monitoreamos los registros de nuestro servidor desde (sistema +300) con Beaver como logshipper, logstash como indexador y elasticsearch como backend. Esta solución se escala hasta hosts [inserte un número aleatorio aquí];)

Answer 2

Básicamente, no debe (al menos no solo) leer los registros en el mismo host, sino utilizar algún tipo de servidor de registros que centralice todos los registros de los servidores.

Utilicé esta configuración para asegurarme de que los registros no se modifiquen después de ingresarlos.

Además, simplemente use logcheck y deje que verifique los registros por usted.

Básicamente, es una verificación de las líneas que considera aceptables y que pueden ignorarse y solo le envía las que no le dijo a logcheck que ignorara de antemano.

Puedes instalarlo fácilmente en cada servidor.

para una versión gráfica, contar cuántas entradas de registro graves, etc.

logzilla es una buena opción, aunque ya no es gratuita.

Answer 3

Pasé un par de días buscando ("soluciones de gestión de registros") y descubrí justo las herramientas que estaba buscando. Las siguientes tres herramientas son herramientas de registro basadas en la nube y son fáciles de instalar y configurar. Envían registros del sistema y registros personalizados a sus servidores, los almacenan, le permiten buscar y configurar alertas de correo electrónico/webhook para patrones de expresiones regulares.

1. Rastro de papel- la interfaz más simple/rápida con diferencia (como tail -f en una terminal). Precios extremadamente asequibles también. Sin embargo, tendrás que dedicar algo de tiempo a configurarlo para el registro personalizado (apache, mysql, tu aplicación). Su transportador de registros basado en Go (en Beta a partir de hoy) es muy eficiente en cuanto a memoria y puedo implementar los archivos de registro que debe monitorear a través de un repositorio GIT.
2. Entradas de registro- también bastante simple. Es más fácil para configurar el registro personalizado a través de su demonio 'le'. Tiene bastantes características, y esto lo hacía parecer inflado en comparación con papertrail. Su plan gratuito es bastante extenso para empresas emergentes.
3. Lograr- Ofrecer todo lo que hacen los otros dos, pero fue bastante complejo atravesar esto. Y su plan gratuito no ofrece alertas.

Answer 4

Con respecto a logrobot.com, ahora existe una versión gratuita que hace exactamente lo que necesitas y se puede descargar aquí:

http://www.logxray.com/logxray.zip

Para usarlo para abordar sus inquietudes, puede ejecutar logxray de esta manera:

./logxray localhost:correo electrónico /apps/logxray autonda /var/log/messages 60m 'kernel|error|panic|fail' 'se agotó el tiempo de espera' 1 2 -show error_check [correo electrónico protegido]

Para monitorear múltiples registros o registros específicos dentro de un directorio específico:

./logxray localhost /apps/logxray autoblz /var/registro 60m 'pánico|error' '.' 1 1 directorio_error_watch -ndfoundn

http://www.logXray.com(para más información o documentación sobre cómo utilizar la herramienta)