ファイル入力、logstash-forwarder を使用して ELK を正常にセットアップし、いくつかのサーバーからのログが Kibana に流れるのを確認した後、TCP 入力をセットアップしようとしました。
tcp {
codec => "json"
host => "localhost"
port => 9250
tags => ["sensu"]
}
送信者は sensu で、メッセージは確かに JSON 形式です。これは tcpdump コマンドで確認しました。
Logstash ログには、接続が受け入れられたことが示されます。
{:timestamp=>"2015-06-15T14:03:39.832000+1000", :message=>"Accepted connection", :client=>"127.0.0.1:38065", :server=>"localhost:9250", :level=>:debug, :file=>"logstash/inputs/tcp.rb", :line=>"146", :method=>"client_thread"}
{:timestamp=>"2015-06-15T14:03:39.962000+1000", :message=>"config LogStash::Codecs::JSONLines/@charset = \"UTF-8\"", :level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"112", :method=>"config_init"}
{:timestamp=>"2015-06-15T14:03:39.963000+1000", :message=>"config LogStash::Codecs::Line/@charset = \"UTF-8\"", :level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"112", :method=>"config_init"}
ただし、データはそれ以上進まないようで、Kibana では見つかりません。
他の入力を無効にしたところ、elasticsearch でシャードを観察しました (curl 'localhost:9200/_cat/shards')。シャードのサイズは増加していませんでした。
によるとこのリンク私は正しい方向に進んでいますが、おそらくどこかで何かばかげたことをやっているだけでしょう... よろしくお願いします。
ログスタッシュ.conf:
input {
file {
path => ["/var/log/messages", "/var/log/secure", "/var/log/iptables"]
type => "syslog"
start_position => "end"
}
lumberjack {
port => 5043
type => "logs"
ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
}
tcp {
codec => "json"
host => "localhost"
port => 9250
tags => ["sensu"]
}
}
output {
elasticsearch {
host => "localhost"
cluster => "webCluster"
}
}
elasticsearch.yml:
cluster.name: webCluster
node.name: "bossNode"
node.master: true
node.data: true
index.number_of_shards: 1
index.number_of_replicas: 0
network.host: localhost
答え1
さらに数日イライラした後、json/json_lines コーデックが壊れているという結論に達しました。おそらく、tcp 入力で使用した場合のみに発生します。
しかし、フィルターを使用した回避策を見つけました:
filter {
if ("sensu" in [tags]) {
json {
"source" => "message"
}
}
}
これといくつかの変更により、私が当初達成しようとしていた効果が得られます。後世のために、ログと sensu からの CPU/メモリ メトリック データを結合する、私の作業中の logstash.conf を以下に示します。
input {
file {
path => [
"/var/log/messages"
, "/var/log/secure"
]
type => "syslog"
start_position => "end"
}
file {
path => "/var/log/iptables"
type => "iptables"
start_position => "end"
}
file {
path => ["/var/log/httpd/access_log"
,"/var/log/httpd/ssl_access_log"
]
type => "apache_access"
start_position => "end"
}
file {
path => [
"/var/log/httpd/error_log"
, "/var/log/httpd/ssl_error_log"
]
type => "apache_error"
start_position => "end"
}
lumberjack {
port => 5043
type => "logs"
ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
}
tcp {
host => "localhost"
port => 9250
mode => "server"
tags => ["sensu"]
}
}
filter {
if ("sensu" in [tags]) {
json {
"source" => "message"
}
mutate {
rename => { "[check][name]" => "type" }
replace => { "host" => "%{[client][address]}" }
split => { "[check][output]" => " " }
add_field => { "output" => "%{[check][output][1]}" }
remove_field => [ "[client]", "[check]", "occurrences" ]
}
} else if([type] == "apache_access") {
grok {
match => { "message" => "%{IP:client}" }
}
}
}
filter {
mutate {
convert => { "output" => "float" }
}
}
output {
elasticsearch {
host => "localhost"
cluster => "webCluser"
}
}
問題とは関係ありませんが、「出力」はスペースで区切られた複数の値として受け取られるため、「分割」操作が行われます。2 番目の要素が使用され、その後 float に変換されるため、Kibana はそれを適切にグラフ化します (これは苦労して学んだことです)。