Vou armazenar arquivos em uma pasta no meu servidor. A quantidade de arquivos excederá2 milhões. Cada tamanho de arquivo terá intervalo entre5 MB - 100 MB.
Que tipo de sistema de arquivos pode lidar bem com essa quantidade de dados?
Eu sei que o XFS pode lidar com arquivos únicos muito grandes. Ele pode lidar com uma grande quantidade de arquivos?
Responder1
O XFS pode aceitar isso, mas será melhor se você planejar seu caso de uso. O acesso a esses dados (operações STAT e OPEN) será mais rápido se o sistema operacional tiver menos inodes para obter os dados. Se você tiver menos de, digamos, 30 mil arquivos/diretórios em um determinado diretório, não precisará se preocupar com essa otimização.
Mas se você estiver aumentando, considere usar a -i size=512opção para fornecer um tamanho de inode maior. Isso permitirá mais entradas de diretório por inode, de modo que o sistema operacional terá que percorrer menos para percorrer uma árvore. Considerando os SSDs de hoje em dia, isso melhorará menos as coisas do que na época da ferrugem; mas é uma otimização a considerar.
Certa vez, gerenciei um sistema de arquivos baseado em XFS que continha mais de 20 milhões de arquivos, com um tamanho médio de arquivo de cerca de 100 KB. Projetei esse sistema de arquivos específico para lidar com mais de 100 milhões, e ele estava no caminho certo para chegar lá quando deixei a empresa. Essa é a versão prod do sistema que descrevi aqui:O impacto de uma alta proporção de diretório para arquivo no XFS
O XFS é a melhor escolha para isso? Difícil de dizer. Mas eu confio nisso mais do queext4para grandes sistemas de arquivos como você descreve.btrfspode ser capaz de aceitá-lo, mas a facção mais conservadora dos operadores do sistema ainda não o considera pronto para produção.