Como realmente armazenar seus dados (evitando a corrupção silenciosa de dados)

Question

Algo que realmente me incomoda é a corrupção silenciosa de dados. Ao longo dos anos, experimentei muitas vezes que de repente você quer abrir algumas fotos antigas só para coçar a cabeça e se perguntar se não havia outra foto naquela pasta. Eu armazeno todos os meus arquivos e imagens de projeto em minha caixa de depósito e tenho adicionalmente um disco RAID 1 externo (WDMyBookMirror) onde faço backup desses arquivos. Há cerca de um ano, atualizei de um MyBook Mirror antigo para um novo. O antigo ainda estava com os dados antigos e decidi fazer uma comparação com o FileMerge das árvores de pastas do disco antigo com o estado atual do meu novo disco de backup que está em uso. Acontece que cerca de 10 arquivos desapareceram neste ano ou mais do meu novo disco. Fotos e vídeos aleatórios. Se eu não tivesse feito a comparação, nunca teria notado.

Isso me leva à questão. Como posso armazenar meus dados para ter certeza de que não estou perdendo nenhum arquivo sem perceber?

Aparentemente, o RAID 1 não me protegeu da corrupção silenciosa de dados. Nem o sistema de arquivos NTFS nele, e uma solução em nuvem como o dropbox provavelmente apenas sincronizaria as alterações incorretas do arquivo na nuvem, corrompendo/perdendo os dados em outros lugares também. Criar backups regulares do backup também não me informará sobre imagens perdidas ou corrompidas silenciosamente.

Então o que fazer? Eu li um pouco sobre ReFS e ZFS. Aquele é o caminho para ir?

Não me importo de pagar pela redundância - mas qual é a maneira de armazenar meus dados para ter CERTEZA de que a corrupção silenciosa de dados não pode acontecer?

Answer 1

O sistema de arquivos ZFS foi projetado para ser altamente resistente à corrupção silenciosa de dados. Usando técnicas sofisticadas de soma de verificação, incluindo encadeamento de blocos e armazenamento de somas de verificação de dados em locais de mídia que são removidos dos próprios locais de armazenamento de dados, além da capacidade de armazenar múltiplas cópias de metadados ("blocos idem"), o ZFS pode não apenas detectar corrupção silenciosa, mas quando o pool ZFS tem redundância suficiente, o ZFS pode reparar a corrupção. Nesse sentido, o ZFS é descrito como um sistema de arquivos de “autocura”.

Mesmo para sistemas de armazenamento de disco único, o ZFS tem vantagens significativas sobre muitos sistemas de arquivos tradicionais. Resumidamente, deDocumentos ZFS da Oracle:

Os benefícios de armazenar múltiplas cópias dos dados do usuário ZFS são os seguintes:

• Melhora a retenção de dados, permitindo a recuperação de falhas irrecuperáveis ​​de leitura de bloco, como falhas de mídia (comumente conhecidas como bit rot) para todas as configurações do ZFS.

• Fornece proteção de dados, mesmo quando apenas um único disco está disponível.

• Permite selecionar políticas de proteção de dados por sistema de arquivos, além dos recursos do pool de armazenamento.

Muitos outros aspectos sobre o ZFS podem ser encontrados na documentação relacionada nesse link.

Dito isto, nenhum sistema pode ser perfeito. Mas o ZFS é uma ferramenta forte para se ter disponível.

Answer 2

Para estabilidade,discos ópticos de safiraestão disponíveis, emboracaro. Exceto isso, crie vários arquivos Zip em servidores diferentes. Como o Zip possui somas de verificação internas, você saberá imediatamente se um arquivo estiver danificado.

A tecnologia digital é baseada em acomodara taxa de erroatravés de redundância, somas de verificação e outros meios. Mesmo meios teoricamente perfeitos ainda estarão sujeitos a erros devido a raios cósmicos, ruído elétrico, etc.