Logstash 可以「拉取」資料嗎？

Question

我有兩台伺服器。伺服器 A 正在運行 Elasticsearch 和 Logstash。伺服器 B 正在執行 filebeat，也是包含我嘗試分析的所有日誌的伺服器。

伺服器 A 位於防火牆後面，它可以存取互聯網，但不可能允許任何入站流量。

伺服器 B 位於 AWS 中，並由我控制入站和出站流量。

有什麼辦法可以將資料從伺服器B取得到伺服器A的logstash嗎？按照通常的方式，Filebeat 必須能夠將資料推送到 Logstash，但這在我的場景中是不可能的。

Answer 1

使用 B 上的 Filebeat（或任何其他 Beat），您的選擇僅限於：

• Elasticsearch－在這裡不可行。
• Redis－－一些可能性。
• 卡夫卡－類似的可能性。

如果 A 可以呼叫 B 的網路空間，您可以將 B 的 Filebeat 將日誌存入 Redis（或 Elasticache Redis）或 Kafka（或 AWS Managed Kafka Services），其中 A 上的 Logstash 可以連接到 Redis 或 Kafka。

出於安全考慮，Redis 現在能夠透過連線支援身份驗證和 TLS。在 6.x 及更高版本中，尤其是 AWS 版本中，Redis 具有實際的 ACL 支援。