Como ver se os dados do filebeat estão sendo enviados para o logstash

Como ver se os dados do filebeat estão sendo enviados para o logstash

Quando abro a interface do Kibana, recebo um erro ao configurar o índice quando logstash-* é inserido como uma consulta:

erro kibana: especifique um padrão de índice padrão

Como posso ver se o filebeat está enviando logs para o logstash? Eu segui exatamente os tutoriais de filebeat e ELK stack. Posso ver os dados quando entro em filebeat-* no Kibana, mas nada quando entro em logstash-* no Kibana.

Responder1

O Filebeat mantém informações sobre o que foi enviado para o logstash. Verifique ~/.filebeat (para o usuário que executa o filebeat).

Você também pode ativar a depuração no filebeat, que mostrará quando as informações estão sendo enviadas para o logstash.

EDIT: com base nas novas informações, observe que você precisa informar ao filebeat quais índices ele deve usar. Vá para a guia Configurações e configure um padrão de índice lá. Aqui estáo documento.

Responder2

Se você seguiu oguia oficial de primeiros passos do Filebeate estão roteando dados do Filebeat -> Logstash -> Elasticsearch, então os dados produzidos pelo Filebeat devem estar contidos em um filebeat-YYYY.MM.ddíndice. Ele usa o filebeat-*índice em vez do logstash-*índice para poder usar seu próprio modelo de índice e ter controle exclusivo sobre os dados desse índice.

Portanto, no Kibana você deve configurar um padrão de índice baseado em tempo baseado no filebeat-*padrão de índice em vez de logstash-*. Alternativamente, você pode executar o import_dashboardsscript fornecido com o Filebeat e ele instalará um padrão de índice no Kibana para você. O caminho para o import_dashboardsscript pode variar dependendo de como você instalou o Filebeat. Isto é para Linux quando instalado via RPM ou deb.

/usr/share/filebeat/scripts/import_dashboards -es http://localhost:9200

Você pode verificar se os dados estão contidos em um filebeat-YYYY.MM.ddíndice no Elasticsearch usando um comando curl que imprimirá a contagem de eventos.

curl http://localhost:9200/filebeat-*/_count?pretty

E você pode verificar se há erros nos logs do Filebeat se não tiver eventos no Elasticsearch. Os logs estão localizados /var/log/filebeat/filebeatpor padrão no Linux. Você pode aumentar o detalhamento configurando logging.level: debugseu arquivo de configuração.

Responder3

Se o Filebeat for instalado usando pacotes RPM ou DEB:

Os logs são armazenados por padrão no journald. Para visualizar os logs, use journalctl:

journalctl -u filebeat.service

Mais informações estão disponíveis emRegistros do Filebeat

Responder4

Você também pode verificar o arquivo dentro da pasta

/etc/log/filebeat/

talvez com

tail -f filebeat

informação relacionada