У нас есть кластерная установка из 3 серверов, на всех 3 серверах запущен weblogic для размещения веб-сайта. На вершине weblogic используется Apache в качестве балансировщика нагрузки.
В прошлом году я обновил Apache http server с 2.4.9 до 2.4.29. До обновления все работало нормально, но после обновления каждые 2-4 недели Apache зависает. Сайт становится недоступным, при проверке сервера мы не видим никаких ошибок, на самом деле, в тот момент, когда Apache зависает, он также прекращает логирование.
Мы провели мониторинг и не обнаружили ненормального использования памяти, подозрительных запросов к веб-сайту, подозрительных процессов, запущенных до возникновения проблемы.
После поиска в интернете я обнаружил, что проблема может быть связана с конфигурацией MPM. Apache использовал event MPM, но я обнаружил, что event MPM-конфигурация не была объявлена в конфигурации Apache, я думаю, что во время обновления конфигурация по умолчанию была заменена старой конфигурацией.
Поэтому мы изменили конфигурацию MPM, чтобы использовать следующую конфигурацию mpm событий, и это изменение сработало. Мы не сталкивались с этой проблемой в течение следующих 6 месяцев.
StartServers 4 MinSpareThreads 256 MaxSpareThreads 512 ThreadsPerChild 64 MaxRequestWorkers 2048 MaxConnectionsPerChild 0
Мы думали, что это исправлено, но теперь, спустя 6 месяцев, Apache снова завис, единственными симптомами являются увеличение количества соединений closed_wait с 20 до 550 в течение следующих 1 часа, отсутствие доступа к веб-сайту, Apache прекратил регистрацию в своих журналах SSL и ошибок, мы не видим никакого ненормального поведения в данных различных запущенных процессов, использовании памяти, также не видим никаких подозрительных запросов до возникновения проблемы.