測試 Logstash 管道的好方法是什麼？

Question

我們有幾個 Logstash 從佇列中提取數據，然後將記錄插入 Elasticsearch。

有沒有什麼好的方法可以以程式設計方式測試管道，以便我們可以將其包含為“單元測試”當我們向管道儲存庫建立拉取請求時？

目前，我們僅透過更改管道要寫入的位置（Elasticsearch，更改為stdout）進行本機測試，然後評估記錄以檢查變更是否按預期工作。

Answer 1

那裡沒有很多東西。

使用新的（從 LS6.x 開始）統計 API 實現的一種方法是追蹤給定輸入集的過濾器階段命中數。如果你有一個具有特定名稱的 grok-stage，它應該接觸 N 個文件才能通過，並且使用由早期 Grok 狀態標記的欄位的後台輸出也應該處理 N 行。像這樣的東西。

Answer 2

三年前，我找到了問題的答案。它是這個奇妙的項目。這讓我在很長一段時間內受益匪淺。

現在，三年後我遇到了同樣的問題。但我已經忘記了解決方案並最終提出了同樣的問題，意識到這是過去的我自己。

為了防止在接下來的三到四年第三次遇到同樣的問題，我非常堅持我的問題的答案，那就是這個項目。

我很抱歉我辜負了你，辜負了過去的我。