Quero criar um arquivo digital de fotos, documentos e outras coisas importantes para armazenar na nuvem (provavelmente Amazon Glacier). De preferência um ano por arquivo, até 10 gigabytes cada. Quero ter certeza de que erros de armazenamento e transferência de rede não quebrarão nada, por isso quero incluir uma sobrecarga sólida de dados de recuperação.
Você tem alguma prática e ferramenta recomendada aqui? RAR com dados de recuperação? Vale a pena armazenar cada soma de verificação de arquivo junto com o arquivo? Alguma outra sugestão?
Responder1
Se quiser incluir dados de recuperação adicionais em seus backups, você pode usarArquivosoluções do tipo. Você especifica a quantidade de dados de redundância/recuperação que deseja gerar e como (se houver) dividi-los. A vantagem de usar esse método é que ele é independente dos métodos reais de backup e armazenamento que você escolher. Você pode usar zip ou tar ou Backup do Windows ou qualquer outra coisa que gere arquivos e alimentá-los por meio de ferramentas Parchive para gerar arquivos de recuperação adicionais.
Lembre-se de que os serviços Amazon Glacier e S3 têm a capacidade de gerar somas de verificação de arquivos. Assim, depois de fazer upload de um arquivo, você pode comparar somas de verificação locais e remotas para garantir que o arquivo foi transferido sem erros.
Além disso, isto é o que a Amazon tem a dizer sobre este assunto:
Durável– O Amazon Glacier foi projetado para fornecer durabilidade média anual de 99,999999999% para um arquivo. O serviço armazena dados de forma redundante em diversas instalações e em vários dispositivos dentro de cada instalação. Para aumentar a durabilidade, o Amazon Glacier armazena seus dados de forma síncrona em diversas instalações antes de retornar SUCESSO no upload de arquivos. Ao contrário dos sistemas tradicionais, que podem exigir verificação laboriosa de dados e reparo manual, o Glacier realiza verificações regulares e sistemáticas de integridade de dados e foi desenvolvido para ser auto-recuperável automaticamente.
Isso significa que há apenas uma probabilidade de 0,00000000001 (1e-11) de qualquer um dos seus arquivos serpufao longo de um único ano. Dito de outra forma, se você armazenar 100 bilhões de arquivos no Glacier por um ano, poderá perder um deles.
Se você quiser garantia adicional, considere enviar seus dados para várias regiões Glacier ou para um provedor de serviços totalmente diferente em outra região geográfica.
Responder2
Geralmente, se você não confia totalmente na confiabilidade do seu meio de armazenamento, você deseja introduzir sua própria redundância com capacidade de reparo.
Uma maneira rápida e suja de fazer isso é simplesmente enviar tudo duas vezes. Você provavelmente não quer fazer isso.
Está envolvido, mas se você dividir seus arquivos em pequenos blocos e criar arquivos "par2" usando uma ferramenta comoQuickPar. (aqui está um tutorial), então acredito que se um arquivo estiver faltando, ele poderá ser recuperado. Isso geralmente é usado para aumentar a confiabilidade de arquivos binários transferidos e "recuperados" pela Usenet (que nunca foi projetada para fazer isso), mas pode ser usado em qualquer lugar onde você queira ter esse nível de redundância.
Responder3
Existem alternativas ao antigo formato PAR:DVD desastre, DAR epyFileFixity(que eu desenvolvi). Mas os serviços em nuvem devem ter seu próprio sistema de preservação de dados, é claro, porque com o espaço de armazenamento que oferecem, a taxa de corrupção de dados cresce assustadoramente, então, em qualquer caso, você deve estar seguro.