Мы запускаем Logstash на сервере, который отправляет логи в кластер Elasticsearch. В журналах Logstash мы видим, что он теряет соединение с серверами Elasticsearch с ошибкой сброса соединения. Мы видим это между всеми нашими экземплярами logstash и elasticsearch на всех серверах. В этом примере мы видим, что logstash3 (192.168.1.133) теряет соединение с elasticsearch4 (192.168.1.88)
[2018-08-21T20:21:21,414][WARN ][logstash.outputs.elasticsearch] Marking url as dead. Last error: [LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError] Elasticsearch Unreachable: [http://elasticsearch4:9200/][Manticore::SocketException] Connection reset {:url=>http://elasticsearch4:9200/, :error_message=>"Elasticsearch Unreachable: [http://elasticsearch4:9200/][Manticore::SocketException] Connection reset", :error_class=>"LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError"}
Заглянув в системный журнал, мы видим, что UFW блокирует пакет за несколько секунд до этого:
Aug 21 20:21:03 logstash3 kernel: [1760565.386970] [UFW BLOCK] IN=enp0s31f6 OUT= MAC=90:1b:0e:cc:50:95:30:b6:4f:d8:05:51:08:00 SRC=192.168.1.88 DST=192.168.1.133 LEN=40 TOS=0x0 PREC=0x00 TTL=57 ID=442 DF PROTO=TCP SPT=9200 DPT=59338 WINDOW=0 RES=0x00 RST URGP=0
У нас есть правило в ufw, разрешающее все соединения между этими серверами. Изначально мы просто разрешали определенные порты, но я открыл его для всех портов на случай, если проблема была в этом. Правило, разрешающее соединения, следующее:
logstash3:~$ sudo ufw status | grep '\.88'
Anywhere ALLOW 192.168.1.88
Если перезапустить logstash, эти разорванные соединения исчезнут на некоторое время (~1 час), но затем начнут возникать снова.
Поскольку мы видим, что это начинает происходить через некоторое время, я склонен думать, что это очередь, заполняющаяся где-то. Соединение не останавливается намертво, мы просто начинаем терять случайные пакеты. Я думал, что это может быть связано с отслеживанием соединения, но мы не видим никаких журналов на этот счет. Мы увеличивали conntrack_maxранее, поскольку видели это как проблему, но это не помогает в этом случае.
elasticsearch4:~$ cat /proc/sys/net/nf_conntrack_max
262144
Никаких свидетельств каких-либо общих потерь пакетов:
logstash3:~$ ifconfig
enp0s31f6: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.1.133 netmask 255.255.255.255 broadcast 0.0.0.0
inet6 2a01:4f8:121:53b7::2 prefixlen 64 scopeid 0x0<global>
inet6 fe80::921b:eff:fecc:5095 prefixlen 64 scopeid 0x20<link>
ether 90:1b:0e:cc:50:95 txqueuelen 1000 (Ethernet)
RX packets 7746452399 bytes 8566845158411 (8.5 TB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 5792178105 bytes 5164493104253 (5.1 TB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
device interrupt 16 memory 0xef000000-ef020000
По совету @Lenniey я попробовал отключить UFW и посмотреть, увидим ли мы ошибки в журналах logstash. Я отключил ufw на нескольких серверах и увидел, что мы все еще получаем Connection resetсообщения в журналах для серверов с отключенным ufw, так что, похоже, записи ufw в syslog могут быть симптомом, а не причиной.
Я сделал захват пакета ( sudo tcpdump -i enp0s31f6 -s 65535 -w logstash.pcap 'port 9200'), пока мы наблюдали ошибку
[2018-08-23T07:20:11,108][WARN ][logstash.outputs.elasticsearch] Marking url as dead. Last error: [LogStash::Outputs::ElasticSearch::
HttpClient::Pool::HostUnreachableError] Elasticsearch недоступен: [http://elasticsearch3:9200/][Мантикора::Сокет Исключение] Сброс соединения {:url=>http://elasticsearch3:9200/, :error_message=>"Elasticsearch недоступен: [http: //elasticsearch3:9200/][Manticore::SocketException] Сброс соединения", :error_class=>"LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError"}
В перехвате пакета я вижу, что elasticsearch отвечает ошибкой 400:
HTTP/1.0 400 Bad Request
content-type: application/json; charset=UTF-8
content-length: 203
{
"error": {
"root_cause": [
{
"type": "illegal_argument_exception",
"reason": "text is empty (possibly HTTP/0.9)"
}
],
"type": "illegal_argument_exception",
"reason": "text is empty (possibly HTTP/0.9)"
},
"status": 400
}
Затем я вижу 5 пакетов TCP RST от elasticsearch до logstash. Последний пакет RST был в 07:20:11.107663, что совпадает со временем ошибки logstash, 07:20:11,108.
Я нахожу захват пакетов немного запутанным. Я отфильтровал захват пакетов по IP-адресам рассматриваемого сервера logstash и ES, а также по портам, где мы видим 400 и RST, однако до 400, похоже, выполняется запрос _bulk, затем ответ 414 во время запроса в середине запроса _bulk, затем _bulkзапрос продолжается, и мы получаем 400:
Logstash -> ES
POST /_bulk HTTP/1.1
Connection: Keep-Alive
Content-Type: application/json
Content-Length: 167481062
Host: elasticsearch3.channelgrabber.com:9200
User-Agent: Manticore 0.6.1
Accept-Encoding: gzip,deflate
{ ... data ... }
ES -> Логсташ
HTTP/1.1 413 Request Entity Too Large
content-length: 0
Logstash -> ES
{ ... data continues ... }
ES -> Логсташ
HTTP/1.0 400 Bad Request
content-type: application/json; charset=UTF-8
content-length: 203
{"error":{"root_cause":[{"type":"illegal_argument_exception","reason":"text is empty (possibly HTTP/0.9)"}],"type":"illegal_argument_exception","reason":"text is empty (possibly HTTP/0.9)"},"status":400}
Есть ли у кого-нибудь предложения, на что еще мне следует обратить внимание?