nginx proxy_pass com servidores upstream dinâmicos

Question

No momento, estamos presos em uma situação em que estamos usando nginxcomo nosso principal servidor front-end para um conjunto de serviços apoiado por uma descoberta de serviço baseada em DNS dinâmico com Mesos-DNS.

Nossa configuração nginx se parece um pouco com isto;

http {
  resolver 10.10.1.1 valid=1s; // some internal DNS server
}

server {
  set $core_api core-api-service.marathon.mesos; // some internal DNS
  location /api {
    proxy_pass $core_api:8080; // resolve core_api DNS dynamically to one of the IP's of the slave the process is running + listening on
  }
}

Agora, o problema é que essa configuração funciona corretamente, mas uma em cada 4 a 5 solicitações sempre resulta no Nginx retornando um 404, o que não faz sentido porque nenhum dos serviços em execução dentro do cluster foi movido para um escravo diferente.

Agora, o resolvedor valid=1sé bastante agressivo, então o estendemos para períodos mais longos, pensando que talvez fosse consultar o DNS com muita frequência. Mas qualquer valor aí causa os mesmos problemas. Remover o valid=xxtambém não ajuda.

O que está acontecendo aqui? Como podemos mitigar isso?

Obrigado.

EDITAR (configuração completa)

server {
    listen       80;
    server_name  .myapp.com;
    return       301 https://www.myappname.com$request_uri;
}

server {
        listen   80;

        gzip on;
        gzip_min_length  1100;
        gzip_buffers  4 32k;
        gzip_types    text/plain application/x-javascript text/xml text/css;
        gzip_vary on;

        root /usr/share/nginx/www;
        index index.html index.htm;
        include /etc/nginx/mime.types;
        server_name api.myappname.com;
        error_page 404 /static/404.html;
        error_page 403 /static/404.html;
        error_page 503 /static/503.html;
        error_page 502 /static/502.html;
        set $core_api http://core_api.marathon.mesos;

        location /api {
                if ($http_x_forwarded_proto != 'https') {
                        rewrite ^ https://$host$request_uri? permanent;
                }
                limit_req   zone=one  burst=35;
                limit_req_status 503;
                proxy_pass            $core_api:8080;
                proxy_set_header      X-Real-IP  $remote_addr;
        }
}