como EBS e EFS alcançam micro latência de segundo nível

como EBS e EFS alcançam micro latência de segundo nível

Certa vez, monitorei o iowait de leitura/gravação em minha instância EC2 que está anexada a um volume EBS, a saída da coluna iowait iostatsé de apenas 200 ~ 500us, como eu sabia, o EBS é na verdade um volume de rede e acho que a latência da rede local deve ser de ~ 10ms nível, como o EBS consegue essa latência <1ms?

A mesma pergunta também para o EFS, não testei o EFS, mas na página de desempenho mostra que a latência de leitura pode ser tão baixa quanto 250us.

https://docs.aws.amazon.com/efs/latest/ug/performance.html#performance-overview

Responder1

Puxar para cimaNúmeros de latência que todo programador deve saberao fazer aproximações aproximadas de latência. Não porque seja preciso, mas porque transmite ordens de grandeza.

Existem switches Ethernet capazes de dezenas de microssegundos de latência entre eles. Cruze alguns deles para chegar a um nó de armazenamento no mesmo (enorme) data center. Adicione mais alguns microssegundos de tempo de trânsito entre esses roteadores.

Em relação à pilha de armazenamento, o total de menos de um milissegundo exclui a ferrugem giratória na primeira camada. As matrizes de disco rígido levam vários milissegundos para serem buscadas, mesmo nas melhores circunstâncias. Obviamente, o armazenamento de estado sólido está em uso, novamente levando talvez dezenas de microssegundos para uma operação de E/S.

Assumir 250 microssegundos para uma leitura não deixa muito tempo sobrando para percorrer as várias camadas da pilha de armazenamento. Converter pacotes IP para bloquear operações e fazer com que algum sistema operacional faça isso e o sistema operacional cliente faça algo com eles. Presumivelmente, é necessário um trabalho considerável de engenharia para otimizar o hipervisor, o sistema operacional, os drivers e o hardware.

Observe queTabela de desempenho EFStem os qualificadores "Tão baixo quanto" em torno da incrível baixa latência. Este não é um acordo de nível de serviço. Embora você esteja conseguindo o resultado rápido disso na prática.

Observe também que o armazenamento de múltiplas zonas poderia ter gravado um milissegundo mais lento. Este é o custo da durabilidade do armazenamento de seus dados em vários edifícios. Apenas ovelocidade da luz em fibra a 10 km de distânciaadiciona talvez 50 nós apenas de atraso de propagação. Um número desconhecido de opções extras nesse caminho. Múltiplas zonas precisam reconhecer uma gravação, para que haja melhor durabilidade que uma zona. Ainda é bastante rápido, mas nem todos os flash arrays no mesmo rack são rápidos.

Isenção de responsabilidade: tudo isso é uma caixa preta proprietária que eles não estão compartilhando. No entanto, vale a pena entender que redes privadas na mesma cidade podem atingir uma latência 10 vezes mais rápida do que você pensava. Com engenharia suficiente.

informação relacionada