☰

의도적으로 파일을 조각화하는 방법

tag-icon • tag-icon linux ext3
의도적으로 파일을 조각화하는 방법

일부 도구의 성능을 평가하기 위해 기존 파일을 조각화하는 방법을 찾고 있습니다. NTFS 파일 시스템에 대한 솔루션을 찾았습니다.내 조각화기여기에 설명된 대로실. 그러나 ext2/3/4에 대해서는 아무것도 찾을 수 없습니다. 게스트로 직접 파일 단편화 도구를 개발할 수 있지만 시간 제약으로 인해 더 빠른 솔루션을 찾고 싶습니다. 다음과 같은 도구를 찾았습니다.HJ-스플릿파일을 더 작은 비트로 분할하지만 이것이 파일 조각화를 시뮬레이션할지는 의문입니다.

내 문제에 대한 해결책이 있습니까?

답변1

당신이 원한다면보장하다단편화되었지만 그렇지 않음예방하다(따라서 발생하는 일을 부분적으로만 제어할 수 있음) 조각화의 세부 사항에는 신경 쓰지 않습니다. 여기에 작업을 수행하는 빠르고 더러운 방법이 있습니다.

n두 개 이상의 조각으로 구성된 블록 파일을 생성하려면 다음을 수행하십시오 .

  1. 동기 쓰기로 파일을 열고 m < n 블록을 씁니다.
  2. 다른 파일을 엽니다. 디스크에 최대 n - m 개의 여유 블록이 있을 때까지 추가합니다. 실수로 희박하게 만들지 마세요!
  3. 나머지 n - m 블록을 첫 번째 파일에 씁니다.
  4. 두 번째 파일을 닫습니다 unlink.

더 많은 파일을 인터레이스하여 더 많은 조각으로 조각화할 수 있습니다.

이는 파일 시스템이 이러한 종류의 고문에 사용할 수 있다고 가정합니다. 즉, 다중 사용자 또는 미션 크리티컬 환경에서는 사용할 수 없습니다. 또한 파일 시스템에 예약된 블록이 없거나 예약된 블록이 UID용으로 예약되어 있거나 루트 사용자라고 가정합니다.

없다직접Unix 시스템은 파일 시스템 추상화를 사용하므로 원시 파일 시스템과 통신하지 않기 때문에 조각화를 보장하는 방법입니다.

또한 파일 시스템 수준의 조각화를 보장하면 하위 수준에서 발생하는 일에 대해 아무 것도 알려주지 않습니다. LVM, 소프트웨어 및 하드웨어 RAID, 하드웨어 수준 섹터 재매핑 및 기타 추상화 계층은 기대치(및 측정치)에 큰 혼란을 가져올 수 있습니다.

답변2

나는 연속된 파일을 갖는 것보다 쓰기 처리량을 희생하는 Linux의 범용 파일 시스템을 아직 만나지 못했습니다. 즉, 특히 스파스 파일의 경우 조각이 비순차적 순서로 기록되면 모든 파일 시스템이 조각화됩니다.

쉬운 방법: 토렌트 클라이언트를 통해 파일을 실행합니다. 파일을 미리 할당하지 않는 것이 좋습니다. BitTornado 또는 rtorrent가 이에 적합합니다. (전자에는 구성 가능한 할당 모드가 있습니다)

어려운 방법: 소스 파일을 몇 KB 크기의 조각으로 분할하고 섞습니다. 대상 파일을 엽니다. 각 조각마다 올바른 위치를 찾아 적어보세요.

이를 수행하는 Perl 스크립트는 다음과 같습니다.

#!/usr/bin/perl

use List::Util qw/shuffle/;
use IO::Handle;

use constant BLOCK_SIZE => 4096;

my ($src, $dst) = @ARGV;

my $size = (stat($src))[7];
my @blocks = shuffle(0 .. ($size / BLOCK_SIZE));

my ($srcfh, $dstfh);
open $srcfh, "<", $src or die "cannot open $src: $!";
open $dstfh, ">", $dst or die "cannot open $dst: $!";
truncate $dstfh, $size; # undefined behaviour

my $buf;
for my $blockno (@blocks) {
  seek $_, $blockno * BLOCK_SIZE, 0 for ($srcfh, $dstfh);
  read $srcfh, $buf, BLOCK_SIZE;
  print $dstfh $buf;
  $dstfh->flush;
}

close $dstfh;
close $srcfh;

filefrage2fsprogs 패키지에 포함된 명령을 사용하여 조각화를 확인할 수 있습니다 .

토렌트의 기능에 대한 예는 다음과 같습니다.

# ls -sh amd64memstick-5.1.2.fs.gz
239M amd64memstick-5.1.2.fs.gz
# filefrag amd64memstick-5.1.2.fs.gz
amd64memstick-5.1.2.fs.gz: 585 extents found

내 스크립트(ext3)에서 얻은 내용은 다음과 같습니다.

$ ls -sh source.tar
42M source.tar
$ perl fragment.pl source.tar fragmented.tar
$ md5sum fragmented.tar source.tar
f77fdd7ab526ede434f416f9787fa9b3  fragmented.tar
f77fdd7ab526ede434f416f9787fa9b3  source.tar
# filefrag fragmented.tar
fragmented.tar: 395 extents found

편집하다:신경 쓰지 마세요. 대용량 파일(물론 1.5GB 파일 조각)을 제외하고는 결국 그렇게 잘 작동하지 않는 것 같습니다.

VM 시스템이 캐싱 중이어서 너무 작은 쓰기를 연기/재주문할 수 있습니다. 이것이 토렌트 클라이언트가 단편화되는 이유입니다(보통 10MB/s 이상의 속도로 다운로드하지 않기 때문입니다). 그러나 제 스크립트는 그렇지 않습니다. VM 임계값을 낮추면 조정할 수 있다고 생각합니다. 보다/proc/sys/vm/dirty_*

답변3

Linux ext4에서 조각난 파일을 생성해야 하는 상황을 우연히 발견했습니다. 전화해서 그랬어요폴로케이트하다, 주어진 파일에 구멍을 뚫는 데 사용할 수 있습니다. 이는 구멍을 사용 가능한 디스크 공간으로 재활용하므로 조각이 발생합니다. 보다여기조각난 파일(및 첨부된 스토리)을 생성하는 스크립트입니다. 이렇게 하면 수천 개의 조각(또는 범위)을 쉽게 만들 수 있습니다.

관련 정보