Como posso ter certeza de que uma VM no GCP não foi desligada por ser preemptiva? (após o fato, usando stackdriver)

Question

Estou procurando uma consulta para stackdriver que gerará eventos de preempção em VMs do GCP.

Por que? Porque tenho pods desaparecendo dos nós. Aparentemente, esses nós são encerrados posteriormente devido à falta de cargas de trabalho e à ativação do escalonamento automático. Então tudo parece que os pods morrem primeiro e o escalonador automático age como deveria e desliga os nós. Ainda assim, isso não parece acontecer quando evito VMs/nós preemptivos.

Answer 1

Shorty depois de fazer esta pergunta eu descobrihttps://cloud.google.com/logging/docs/audit/#system_event

Portanto, a filtragem logName="projects/<my-project-name>/logs/cloudaudit.googleapis.com%2Fsystem_event"mostrou algumas preempções acontecendo. Eu não sabia que os recursos antecipados eram recriados automaticamente. Isso explica por que tive a impressão de que os pods desaparecem, enquanto os nós ficam vazios. (Veja tambémPor que os pods em um nó que foi recriado após serem interrompidos ficam presos no ContainerCreating?)

Answer 2

Os registros de preempção nesta instância podem ser encontrados usando o seguinte filtro avançado do Stackdriver [1] emConsultas antecipadas de registros.

Você pode alterar a última linha deste filtro para [2] para verificar quando ele foi iniciado pela última vez. Alternativamente, você pode executar comandos como "uptime" na VM para ver há quanto tempo ela está ativa.

[1]

resource.type="gce_instance"
resource.labels.instance_id="[INSTANCE ID]"
jsonPayload.event_subtype="compute.instances.preempted"

[2]jsonPayload.event_subtype="compute.instances.start"