☰

Wie kann ich den Inhalt einer Sparse-Datei anzeigen?

tag-icon • tag-icon linux filesystems sparse-files
Wie kann ich den Inhalt einer Sparse-Datei anzeigen?

Die Größe der „Datei“ wird mit 15 TB angegeben, wenn ich die Größe mit ls -l überprüfe.

ls -l
total 16
-rw-r--r-- 1 root root 15393162788865 May 30 13:41 file

Wenn ich die Größe der „Datei“ mit dem Befehl „du“ überprüfe, wird Folgendes angezeigt.

du -a file 
12  file

Nach einigem Googeln kam ich zu dem Schluss, dass es sich bei der Datei möglicherweise um eine Sparse-Datei handelt. Befehle wie „less“, „tail“, „cat“, „hexdump“ usw. brauchen beim Lesen ewig.

hier ist die Ausgabe von Filefrag.

filefrag -e file 
Filesystem type is: ef53
File size of file is 15393162788865 (3758096385 blocks of 4096 bytes)
 ext:       logical_offset:        physical_offset: length:   expected: flags:
   0:         0..        0:   22261760..  22261760:      1:            
   1: 3169274812..3169274812:   22268860..  22268860:      1: 3191536572:
   2: 3758096383..3758096383:   22271999..  22271999:      1:  611090431: last
file: 3 extents found

ich möchte wissen, ob es eine Möglichkeit gibt, vom Linux-Terminal aus nur den Inhalt der Datei ohne die darin enthaltenen Lücken/Nullen anzuzeigen.

Antwort1

Auf neueren Linux-Systemen gibt es die Erweiterung SEEK_DATAund , die es einer App ermöglichen, beim Lesen einer Sparse-Datei „Lücken“ zu überspringen.SEEK_HOLElseek(2)

Auf älteren Systemen ioctl(FIBMAP)könnte es verwendet werden und die Daten könnten direkt vom zugrunde liegenden Gerät gelesen werden ( FIBMAPerfordert CAP_SYS_RAWIOjedoch entsprechende Funktionen).

Leider ist mir kein Coreutils/Standarddienstprogramm bekannt, das eines davon verwendet.

Hier ist eine kleine sparse_catDemo, die diese verwendet, um die Daten im Handumdrehen aus sehr großen Sparse-Dateien auszulesen.

Beispiel:

$ cc -Wall -O2 sparse_cat.c -s -o sparse_cat

$ echo 1st | dd conv=notrunc status=none bs=1 seek=10M of=/tmp/sparse
$ echo 2nd | dd conv=notrunc status=none bs=1 seek=10G of=/tmp/sparse
$ echo 3rd | dd conv=notrunc status=none bs=1 seek=10T of=/tmp/sparse
$ ls -l /tmp/sparse
-rw-r--r-- 1 ahq ahq 10995116277764 May 30 16:29 /tmp/sparse
$ ./sparse_cat </tmp/sparse >/dev/tty
          a00000           a01000
1st
       280000000        280001000
2nd
     a0000000000      a0000000004
3rd

Hinweis: Der Einfachheit halber habe ich jeglichen Code zum Öffnen von Dateien weggelassen (er sollte immer als verwendet werden sparse_cat < input, nicht als sparse_cat input) und auch sämtliche Workarounds für die fehlerhaften Interaktionen zwischen sendfile(2)und mit dem Flag geöffneten TTYs O_APPEND( >/dev/ttyexplizit verwenden).

Beachten Sie auch, dass die Daten-/Lochbereiche eine Blockgranularität aufweisen – auf die 1stZeichenfolge aus dem obigen Beispiel folgen tatsächlich block size - 4Nullbytes.

sparse_cat.c

#define _GNU_SOURCE
#include <err.h>
#include <errno.h>
#include <fcntl.h>
#include <limits.h>
#include <stdio.h>
#include <unistd.h>
#include <sys/sendfile.h>

int main(void){
        off_t hole, data, pos, len; typedef unsigned long long ull;
        for(hole = 0;; data = hole){
                if((data = lseek(0, hole, SEEK_DATA)) == -1){
                        if(errno == ENXIO) return 0;
                        err(1, "lseek +data");
                }
                if((hole = lseek(0, data, SEEK_HOLE)) == -1)
                        err(1, "lseek +hole");
                dprintf(2, "%16llx %16llx\n", (ull)data, (ull)hole);
                for(pos = data; pos < hole;){
                        len = hole - pos; if(len > INT_MAX) len = INT_MAX;
                        if((len = sendfile(1, 0, &pos, len)) == 0) return 0;
                        if(len < 0) err(1, "sendfile");
                }
        }
}

verwandte Informationen