Wie lässt sich beurteilen, ob sich der Einsatz einer Deduplizierung lohnt?

Wie lässt sich beurteilen, ob sich der Einsatz einer Deduplizierung lohnt?

Ich habe eine Partition, bei der ich die Verwendung einer Deduplizierung in Erwägung ziehe.

Aufgrund des Profils der Daten denke ich, dass es eine gute Wahl ist. Bevor ich es jedoch tue, möchte ich die Auswirkungen systematischer und nicht nur nach Gefühl bewerten.

Gibt es ein Tool, das die Auswirkungen der Deduplizierung auf eine Partition auswertet? (entweder auf Dateiebene oder auf Blockebene).

Im Moment habe ich Ubuntu und Ext4, aber wenn sich Deduplizierung in dieser Situation als nützlich erweist, überlege ich, Opendedup oder Lessfs zu verwenden. Jeder andere Vorschlag ist willkommen, auch wenn das bedeuten könnte, dass ich eine andere Distribution oder kostenloses *nix verwenden muss.

Antwort1

Sie haben nicht angegeben, welches Dateisystem Sie meinen. Wenn Sie von ZFS sprechen, können Sie mit dem Befehl zdb prüfen, welche Auswirkungen das Einschalten der Deduplizierung gehabt hätte:

# zdb -S tank
Simulated DDT histogram:

bucket              allocated                       referenced          
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     1      775   96.8M   96.8M   96.8M      775   96.8M   96.8M   96.8M
     2        2    256K    256K    256K        6    768K    768K    768K
     4        3    384K    384K    384K       13   1.62M   1.62M   1.62M
   128        1    128K    128K    128K      158   19.8M   19.8M   19.8M
 Total      781   97.5M   97.5M   97.5M      952    119M    119M    119M

dedup = 1.22, compress = 1.00, copies = 1.00, dedup * compress / copies = 1.22

verwandte Informationen