Ich habe ein Problem mit einem Debian-System. Heute um genau 04:00 Uhr hat es nicht mehr auf Nagios reagiert. Ich kann mich auch nicht über SSH anmelden. Das ist nicht das erste Mal, dass das passiert, aber das erste Mal, dass ich es bei Nagios beobachtet habe.
Es gibt eine besondere, ungewöhnliche Sache an dieser Box: Sie bootet von einem USB-Stick. Deshalb dachte ich, es wäre eine gute Idee, /var /tmp auf ein tmpfs abzubilden.
Ich bin ziemlich sicher, dass es wieder funktioniert, wenn ich es neu starte. Da /var/log jedoch dem Speicher zugeordnet ist, kann ich die Protokolle nach dem Neustart nicht lesen.
Das nächste Problem ist, dass die Hardware außerhalb des Standorts ist und ich mich daher nicht lokal anmelden kann.
Zunächst könnte das Problem darin liegen, dass das tmpfs voll ist. Aber Nagios hat nicht gewarnt, bevor es keine Verbindung mehr herstellen konnte. Ich habe den Warnschwellenwert auf 90 % freien Speicherplatz eingestellt. Das scheint also nicht das Problem zu sein.
Andere möglicherweise interessante Symptome:
- der OpenVPN-Server funktioniert noch
- Routing funktioniert immer noch
- der SSH-Port ist noch offen und ich werde nach dem Benutzernamen gefragt. Wenn ich aber das Passwort eingebe, wird die Verbindung unterbrochen
- Port 80 ist offen, aber Apache antwortet nicht
Die Frage, die mich am meisten interessiert, ist: Was könnte ein Debian-System um 4:00 Uhr morgens tun? Irgendeine Art von Update-Prüfung?
Ich bin für jede Idee oder jeden Hinweis in die richtige Richtung dankbar. Gibt es irgendetwas, das man bei Nagios überwachen sollte, um einen Hinweis zu erhalten? Das nächste Mal werde ich die Überwachung der Swap-Nutzung hinzufügen.
Antwort1
Wir hatten das Problem, dass dem Server nicht genügend Arbeitsspeicher zur Verfügung stand. Alle laufenden Prozesse liefen weiter, aber die Zuweisung neuer Prozesse konnte fehlschlagen.
Wenn Sie die Speichernutzung überwachen, könnte dies die Frage beantworten. Sie können auch versuchen, sich remote anzumelden.
Um Ihre Frage zu beantworten, überprüfen Sie jedoch Ihre /etc/cron.daily - Diese SkripteMaiwird um 4 Uhr morgens ausgeführt. Sie können auch /etc/cron.d/ und /etc/crontab überprüfen, um zu sehen, ob Aufgaben geplant sind.