Eu tenho uma partição onde estou pensando em usar a desduplicação.
Pelo perfil dos seus dados acho que será uma boa escolha. Ainda assim, antes de fazê-lo, gostaria de avaliar o impacto de uma forma mais sistemática do que “sentimento”.
Existe uma ferramenta que avalia o impacto da desduplicação em uma partição? (nível de arquivo ou nível de bloco).
Por enquanto tenho Ubuntu e ext4, mas se a desduplicação for valiosa nesta situação, estou pensando em usar opendedup ou lessfs. Qualquer outra sugestão, mesmo que isso signifique usar uma distribuição diferente/gratuita *nix.
Responder1
Você não especificou qual sistema de arquivos. Se você está falando sobre ZFS, você pode usar o comando zdb para ver qual efeito teria a ativação da desduplicação:
# zdb -S tank
Simulated DDT histogram:
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 775 96.8M 96.8M 96.8M 775 96.8M 96.8M 96.8M
2 2 256K 256K 256K 6 768K 768K 768K
4 3 384K 384K 384K 13 1.62M 1.62M 1.62M
128 1 128K 128K 128K 158 19.8M 19.8M 19.8M
Total 781 97.5M 97.5M 97.5M 952 119M 119M 119M
dedup = 1.22, compress = 1.00, copies = 1.00, dedup * compress / copies = 1.22