兩天前我在生產伺服器(CentOS 6.8)上升級到PHP7(PHP 7.0.14)。現在,我在 nginx (1.10.2-1) 日誌中收到以下錯誤。
2017/01/20 08:20:04 [錯誤] 7654#7654: *153301 上游發送意外的FastCGI 記錄: 3 從上游讀取回應頭時,客戶端:XXX.XXX.XXX.XXX,伺服器:example. com,請求:“GET / HTTP/1.0”,上游:“fastcgi://unix:/var/run/php-fpm/example.fpm.sock:”,主機:“www.example.com”
- 我們有多個網站都運行各自的 php-fpm 池,並且此錯誤同時出現在所有網站上。
- 在此錯誤期間,所有網站上的瀏覽器都會顯示「502 Bad Gateway」。
- 此錯誤持續 1-2 分鐘,之後一切自動恢復正常。
- 這種事一天發生三次,時間不同。
- PHP5沒有問題。
- 我嘗試將 opcache 中的所有應用程式快取資料夾列入黑名單
我們有另一台具有類似設定的伺服器,已升級到 PHP7,它沒有此類問題。
我應該如何排查並找到解決此問題的方法?
更新1
伺服器詳細資料
CPU:2x Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00GHz
RAM:256GB
作業系統:CentOS 版本 6.8
核心:2.6.32-504.8.1.el6.x86_64
PHP:使用7.0.14 PHP -3來自 IUS 倉庫
Nginx:1.10.2-1
伺服器用作 Web 伺服器來運行多個運行流行開源 PHP 應用程式的網站。我們使用 Nginx 和 php-fpm 作為後端。每個網站都有一個單獨的 php-fpm 池和不同的套接字。 PHP應用程式已經與php7相容,唯一的變化是升級到PHP7。
更新2
Nginx 主要配置
user apache;
worker_processes auto;
error_log /var/log/nginx/error.log alert;
pid /var/run/nginx.pid;
events {
use epoll;
worker_connections 4024;
multi_accept on;
}
http {
include /etc/nginx/mime.types;
default_type application/octet-stream;
server_names_hash_bucket_size 256;
server_names_hash_max_size 1024;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
client_max_body_size 512M;
ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
gzip on;
gzip_http_version 1.1;
gzip_vary on;
gzip_comp_level 6;
gzip_proxied any;
gzip_min_length 1000;
gzip_types text/plain text/css application/json application/javascript application/x-javascript text/javascript text/xml application/xml application/rss+xml application/atom+xml application/rdf+xmli font/ttf font/otf image/svg+xm;
gzip_buffers 16 24k;
gzip_disable msie6;
fastcgi_connect_timeout 120;
fastcgi_send_timeout 1200;
fastcgi_read_timeout 1200;
fastcgi_buffer_size 256k;
fastcgi_buffers 16 256k;
fastcgi_busy_buffers_size 256k;
fastcgi_temp_file_write_size 256k;
fastcgi_intercept_errors on;
keepalive_requests 10000;
include /etc/nginx/conf.d/*.conf;
# Load all vhosts !
include /etc/nginx/sites-enabled/*.conf;
}
單獨的 nginx 網站模板
server {
server_name @@HOSTNAME@@ www.@@HOSTNAME@@;
root "@@PATH@@";
index index.php index.html index.htm;
add_header Cache-Control public;
client_max_body_size 512m;
access_log @@LOG_PATH@@/access.log;
error_log @@LOG_PATH@@/error.log;
location / {
# This is cool because no php is touched for static content
try_files $uri $uri/ $uri/index.php @rewrite /index.php$uri?$args;
}
location @rewrite {
rewrite ^ /index.php;
}
location ~ \.php$ {
send_timeout 1200;
proxy_read_timeout 1200;
proxy_connect_timeout 120;
fastcgi_read_timeout 1200;
fastcgi_pass unix:@@SOCKET@@;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
include fastcgi_params;
}
location ~* \.(js|css|png|jpg|jpeg|gif|ico)$ {
expires max;
log_not_found off;
access_log off;
}
location ~* \.(html|htm)$ {
expires 30m;
}
location ~* /\.(ht|git|svn|bak) {
deny all;
}
location ~ ^/sites/.*/files/styles/ {
try_files $uri @rewrite;
}
}
PHP FPM 池模板
[@@USER@@]
listen = /var/run/php-fpm/@@USER@@.fpm.sock
listen.owner = nobody
listen.group = nobody
listen.mode = 0666
user = @@USER@@
group = @@USER@@
pm = ondemand
pm.max_children = 50
pm.process_idle_timeout = 300s
pm.max_requests = 5000
rlimit_files = 1024
request_terminate_timeout = 1200s
security.limit_extensions = .php
php_admin_value[session.save_path] = "@@HOME_DIR@@/_sessions"
php_admin_value[error_log] = "@@HOME_DIR@@/logs/www-error.log"
更新3 當問題出現時
要求1
GET /moodle/ HTTP/1.0
User-Agent: Pingdom.com_bot_version_1.4_(http://www.pingdom.com/)
Host: www.example.com
收到標頭
502 Bad Gateway
Server: nginx/1.10.2
Date: Wed, 25 Jan 2017 12:32:00 GMT
Content-Type: text/html
Content-Length: 173
Connection: close
收到內容
<html>
<head><title>502 Bad Gateway</title></head>
<body bgcolor="white">
<center><h1>502 Bad Gateway</h1></center>
<hr><center>nginx/1.10.2</center>
</body>
</html>
答案1
好吧,所有 php-fpm 池同時死了幾分鐘,唯一改變的是 php 5.6 => php 7。所有 php-fpm 池的全域是什麼?操作快取。您能提供一下您的 php.ini 嗎?如果沒有,請檢查您的 opcache 配置並至少驗證以下參數:
zend_extension=opcache.so;
opcache.enable=1; # on or off on your config ?
opcache.memory_consumption=64; # Too small for you ?
opcache.max_accelerated_files=2000; # maybe to small for you ?
opcache.force_restart_timeout="180"; # Oh!!! This is the time of your outage!!
將force_restart_timeout從180更改為120,將opcache.log_verbosity_level更改為> = 3,然後查看中斷是否比平常短。opcache運行時配置並針對您的網站進行正確調整。
答案2
這似乎是 PHP 中的一個錯誤,已在 2017 年 2 月 16 日的版本 7.0.16 中修復。
修復了錯誤#67583(max_children 限制上的雙倍 fastcgi_end_request)。
答案3
檢查伺服器區塊fastcgi_pass在 nginx 站台配置中。
若要更新所有網站配置的 fastcgi_pass ,請執行:
sed "s/php5/php/php7.0/g" *.conf -i
服務 nginx && php7.0-fpm