Tenemos varios Logstash que extraen datos de una cola y luego insertan registros en Elasticsearch.
¿Existe alguna buena forma de probar las canalizaciones mediante programación para que podamos incluirlas como"pruebas unitarias"¿Cuándo creamos solicitudes de extracción para el repositorio de canalización?
En este momento, solo realizamos pruebas localmente alterando dónde escribirá la canalización (Elasticsearch, cambiado a stdout) y luego evaluamos el registro para verificar si los cambios funcionan según lo previsto.
Respuesta1
No hay mucho por ahí.
Un enfoque posible con la nueva API de estadísticas (a partir de LS6.x) es realizar un seguimiento del número de visitas a la etapa de filtro para un conjunto determinado de entradas. Si tiene una etapa de grok con un nombre específico, debe tocar N documentos para que pase, y la salida de etapa final que usa campos marcados por ese estado de Grok anterior también debe manejar N líneas. Cosas como esas.
Respuesta2
Hace tres años encontré la solución a mi pregunta. Fueeste fantástico proyecto. Esto me sirvió mucho durante mucho tiempo.
Ahora, tres años después tuve el mismo problema. Pero me había olvidado dela solucióny terminé en esta misma pregunta, para darme cuenta de que era yo mismo del pasado.
Para prevenir en el próximotres a cuatro añostener el mismo problema por tercera vez, estoy siendo muy insistente en la respuesta a mi problema, que eseste proyecto.
Lamento mucho haberte fallado, yo del pasado.