キューからデータを取得し、Elasticsearch にレコードを挿入する Logstash がいくつかあります。
プログラムでパイプラインをテストする良い方法はありますか？「ユニットテスト」パイプライン リポジトリへのプル リクエストを作成するときはいつですか?
現時点では、パイプラインの書き込み先 (Elasticsearch、 に変更stdout) を変更してローカルでのみテストし、レコードを評価して変更が意図したとおりに機能するかどうかを確認します。
答え1
世の中にそんなにたくさんはない。
新しい (LS6.x 以降) 統計 API で可能になった 1 つのアプローチは、特定の入力セットのフィルター ステージ ヒット数を追跡することです。特定の名前を持つ Grok ステージがある場合、それが通過するには N 個のドキュメントに触れる必要があり、以前の Grok 状態でマークアップされたフィールドを使用するダウンステージ出力も N 行を処理する必要があります。このようなことです。
答え2
3年前、私は自分の疑問に対する答えを見つけました。それはこの素晴らしいプロジェクトこれは長い間私に役立ちました。
3年後、私は同じ問題を抱えていました。しかし、私はソリューションそして、結局、同じ疑問に行き着き、それが過去の自分であることに気づきました。
今後を防ぐために3〜4年同じ問題を3度目に抱えるということは、私は自分の問題に対する答えを強く主張しているということです。このプロジェクト。
過去の私があなたを失望させてしまったことを本当に申し訳なく思っています。