☰

Wie leite ich Rsyslog-Protokolle von mehreren Standorten an ELK weiter und lasse sie in Kibana anzeigen?

tag-icon • tag-icon centos rsyslog kibana
Wie leite ich Rsyslog-Protokolle von mehreren Standorten an ELK weiter und lasse sie in Kibana anzeigen?

Berücksichtigung der Rsyslog-Servervorlage für mehrere Remote-Hosts ---> Link zur zuvor beantworteten Frage

@ meuh, ich finde diesen Beitrag sehr nützlich, da ich derzeit an dieser Konfiguration arbeite.

Ich habe die oben genannten Schritte ausgeführt und es funktioniert einwandfrei.

Ich habe jetzt ein ELK-Setup, bei dem rsyslog die Protokolle dorthin weiterleitet.

Meine Vorlagen sind:

$template
templmesg,"/data01/RemoteLogs/DLF/%$YEAR%/%$MONTH%/%HOSTNAME%/%HOSTNAME%-%$DAY%-%$MONTH%-%$YEAR%.log"

$template mylogsec,"/data01/RemoteLogs/Logserver/%$YEAR%/%$MONTH%/%HOSTNAME%/%HOSTNAME%-%$DAY%-%$MONTH%-%$YEAR%.log"

if $fromhost startswith "10.100.10" then ?templmesg
 & stop
 if $fromhost startswith "10.100.112" then ?mylogsec
 & stop

Ich habe also zwei Orte, an denen Protokolle gespeichert werden.

Aufgrund mehrerer Speicherorte für Protokolle wie DLF und Logserver. Kibana von (ELK) zeigt keine Protokolle an, die von rsyslog empfangen werden. Es liest nur von einem Speicherort der Protokolle, nämlich von DLF/dir und nicht von Logserver.

Jetzt stecke ich fest und weiß nicht, wie ich Rsyslog-Protokolle von mehreren Standorten an ELK weiterleite und sie in Kibana anzeigen kann. Oder gibt es in Rsyslog eine bestimmte Konfiguration, die ich optimieren muss?

Unten ist die rsyslog-Konfigurationsdatei:

# For more information see /usr/share/doc/rsyslog-*/rsyslog_conf.html
# If you experience problems, see http://www.rsyslog.com/doc/troubleshoot.html

#### MODULES ####

# The imjournal module bellow is now used as a message source instead of imuxsock.
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imjournal # provides access to the systemd journal
$ModLoad imklog # reads kernel messages (the same are read from journald)
#$ModLoad immark  # provides --MARK-- message capability

# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514

# Provides TCP syslog reception
$ModLoad imtcp
$InputTCPServerRun 514


#### GLOBAL DIRECTIVES ####

# Where to place auxiliary files
$WorkDirectory /var/lib/rsyslog

# Use default timestamp format
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat

# File syncing capability is disabled by default. This feature is usually not required,
# not useful and an extreme performance hit
#$ActionFileEnableSync on

# Include all config files in /etc/rsyslog.d/
$IncludeConfig /etc/rsyslog.d/*.conf

# Turn off message reception via local log socket;
# local messages are retrieved through imjournal now.
$OmitLocalLogging on

# File to store the position in the journal
$IMJournalStateFile imjournal.state


#### RULES ####

# Log all kernel messages to the console.
# Logging much else clutters up the screen.
#kern.*                                                 /dev/console

$template templmesg,"/data01/RemoteLogs/DLF/%$YEAR%/%$MONTH%/%HOSTNAME%/%HOSTNAME%-%$DAY%-%$MONTH%-%$YEAR%.log"
$template mylogsec,"/data01/RemoteLogs/DLF/Logserver/%$YEAR%/%$MONTH%/%HOSTNAME%/%HOSTNAME%-%$DAY%-%$MONTH%-%$YEAR%.log"

#if $fromhost startswith "10.100.10" then ?templmesg 
#& stop
if $fromhost startswith "10.100.112" then ?mylogsec 
& stop

local0.*                                                        ?templmesg
local1.*                                                        ?templmesg
local2.*                                                        ?templmesg
local3.*                                                        ?templmesg
local4.*                                                        ?templmesg
local5.*                                                        ?templmesg
local6.*                                                        ?templmesg


template(name="json-template"
  type="list") {
   constant(value="{")
      constant(value="\"@timestamp\":\"")     property(name="timereported" dateFormat="rfc3339")
      constant(value="\",\"@version\":\"1")
      constant(value="\",\"message\":\"")     property(name="msg" format="json")
      constant(value="\",\"sysloghost\":\"")  property(name="hostname")
      constant(value="\",\"severity\":\"")    property(name="syslogseverity-text")
      constant(value="\",\"facility\":\"")    property(name="syslogfacility-text")
      constant(value="\",\"programname\":\"") property(name="programname")
      constant(value="\",\"procid\":\"")      property(name="procid")
    constant(value="\"}\n")
}


# Log anything (except mail) of level info or higher.
# Don't log private authentication messages!
#
#$createDirs on

*.info;mail.none;authpriv.none;cron.none;local0.none;local1.none;local2.none;local3.none;local4.none;local5.none;local6.none              ?templmesg

# The authpriv file has restricted access.
authpriv.*                                              ?templmesg

# Log all the mail messages in one place.
mail.*                                                  ?templmesg


# Log cron stuff
cron.*                                                  ?templmesg

# Everybody gets emergency messages
#*.emerg                                                 :omusrmsg:*

# Save news errors of level crit and higher in a special file.
uucp,news.crit                                          /var/log/spooler

# Save boot messages also to boot.log
local7.*                                                ?templmesg


# ### begin forwarding rule ###
# The statement between the begin ... end define a SINGLE forwarding
# rule. They belong together, do NOT split them. If you create multiple
# forwarding rules, duplicate the whole block!
# Remote Logging (we use TCP for reliable delivery)
#
# An on-disk queue is created for this action. If the remote host is
# down, messages are spooled to disk and sent when it is up again.
#$ActionQueueFileName fwdRule1 # unique name prefix for spool files
#$ActionQueueMaxDiskSpace 1g   # 1gb space limit (use as much as possible)
#$ActionQueueSaveOnShutdown on # save messages to disk on shutdown
#$ActionQueueType LinkedList   # run asynchronously
#$ActionResumeRetryCount -1    # infinite retries if host is down
# remote host is: name/ip:port, e.g. 192.168.0.1:514, port optional
*.* @10.100.10.30:10514;json-template
# ### end of the forwarding rule ###

Antwort1

Da die rsyslog.confKonfigurationsdatei von oben nach unten analysiert wird, werden die Aktionen für jede Nachricht in derselben Reihenfolge ausgeführt, wie sie in der Datei definiert sind. In Ihrem Fall werden die Nachrichten, die dem $fromhost startswith "10.100.112"Test entsprechen, verarbeitet (d. h. in die in der Vorlage „mylogsec“ angegebenen Protokolldateien geschrieben) und dann von der stopAnweisung verworfen.

Die Lösung für dieses Problem ist unkompliziert. Bevor die Nachricht von rsyslog gelöscht wird, müssen Sie sie an den Remote-Logstash-Server weiterleiten. Sie können Ihren Filter wie folgt ändern:

if $fromhost startswith "10.100.112" then ?mylogsec 
& @10.100.10.30:10514;json-template
& stop

Da Sie hier die JSON-Vorlage zum Weiterleiten verwenden, müssen Sie auch die Definition dieser Vorlage vor den Filterausdruck verschieben. Die endgültige Struktur sieht also wie folgt aus:

$template templmesg...
$template mylogsec...

template(name="json-template"...

if $fromhost startswith "10.100.112" then ?mylogsec 
& @10.100.10.30:10514;json-template
& stop

Starten Sie anschließend Ihren rsyslogDaemon neu, damit die Änderungen wirksam werden.

verwandte Informationen