Nginx con SSL detrás de otro Nginx (con nginx-proxy)

Question

Tengo dos VMS. El primero es VM1 y el segundo es VM2. El primero es un servidor VPN y el segundo es un cliente. En VM1, Nginx se instala como proxy inverso desde el repositorio oficial de Docker. En VM2, Nginx se instala como un proxy inverso desde elrepositorio Docker nginx-proxy. Estoy intentando configurar una conexión SSL de VM1 a VM2 pero recibo un error

curl: (35) error:1408F10B:rutinas SSL:ssl3_get_record:número de versión incorrecto

Configuración de Nginx de VM1 (redirigir todas las consultas de 80 y 443 a VM2)

server {
    listen       80;
    listen  [::]:80;
    server_name  _;

    location / {
        proxy_pass http://vm2-client-ip:80;
    }
}

server {
    listen       443;
    listen  [::]:443;
    server_name  _;

    location / {
        proxy_pass http://vm2-client-ip:443;
    }
}

En VM2, nginx-proxy genera la siguiente configuración:

# whoami.my-domain.com
upstream whoami.my-domain.com {
    ## Can be connected with "home-network" network
    # who-am-i
    server 10.0.0.2:80;
}
server {
    server_name whoami.my-domain.com;
    listen 80 ;
    access_log /var/log/nginx/access.log vhost;
    # Do not HTTPS redirect Let'sEncrypt ACME challenge
    location ^~ /.well-known/acme-challenge/ {
        auth_basic off;
        auth_request off;
        allow all;
        root /usr/share/nginx/html;
        try_files $uri =404;
        break;
    }
    location / {
        return 301 https://$host$request_uri;
    }
}
server {
    server_name whoami.my-domain.com;
    listen 443 ssl http2 ;
    access_log /var/log/nginx/access.log vhost;
    ssl_session_timeout 5m;
    ssl_session_cache shared:SSL:50m;
    ssl_session_tickets off;
    ssl_certificate /etc/nginx/certs/whoami.my-domain.com.crt;
    ssl_certificate_key /etc/nginx/certs/whoami.my-domain.com.key;
    ssl_dhparam /etc/nginx/certs/whoami.my-domain.com.dhparam.pem;
    ssl_stapling on;
    ssl_stapling_verify on;
    ssl_trusted_certificate /etc/nginx/certs/whoami.my-domain.com.chain.pem;
    add_header Strict-Transport-Security "max-age=31536000" always;
    include /etc/nginx/vhost.d/default;
    location / {
        proxy_pass http://whoami.my-domain.com;
    }
}

Los certificados SSL se generan coneste repositorio. Según los registros de este contenedor, los certificados se generan correctamente.

Una conexión HTTP funciona bien. PD: Si se trata de un problema, ambos Nginxes funcionan desde contenedores.