내 서버의 한 폴더에 파일을 저장하겠습니다. 파일 양이 초과됩니다.2 백만. 각 파일 크기의 범위는 다음과 같습니다.5MB - 100MB.
그 정도의 데이터를 잘 처리할 수 있는 파일 시스템은 무엇일까요?
XFS가 매우 큰 단일 파일을 처리할 수 있다는 것을 알고 있습니다. 대용량 파일을 처리할 수 있습니까?
답변1
XFS는 이를 수용할 수 있지만 사용 사례를 계획한다면 더 나은 결과를 얻을 수 있습니다. OS에 데이터를 가져오기 위해 통과해야 하는 inode가 적으면 해당 데이터에 대한 액세스(STAT 및 OPEN 작업)가 더 빨라집니다. 특정 디렉터리에 30,000개 미만의 파일/디렉터리가 있는 경우에는 이 최적화에 신경 쓸 필요가 없습니다.
-i size=512그러나 규모가 더 커진다면 더 큰 inode 크기를 제공하는 옵션을 사용하는 것이 좋습니다 . 그러면 inode당 더 많은 디렉토리 항목이 허용되므로 OS는 트리를 탐색하기 위해 더 적은 수의 디렉토리 항목을 검색해야 합니다. 요즘 SSD를 고려하면 녹슬던 시절보다 상황이 덜 개선될 것입니다. 하지만 고려해야 할 최적화입니다.
나는 한때 2천만 개가 넘는 파일이 있고 평균 파일 크기가 약 100KB인 XFS 기반 파일 시스템을 관리한 적이 있습니다. 나는 1억 개가 넘는 파일을 처리할 수 있도록 특정 파일 시스템을 설계했으며 회사를 떠났을 때 그 파일 시스템에 도달할 수 있었습니다. 이것이 제가 여기서 설명한 시스템의 prod 버전입니다.XFS에 대한 높은 디렉터리 대 파일 비율의 영향
XFS가 이에 대한 최선의 선택입니까? 말하기 어렵다. 하지만 나는 그 누구보다 그것을 신뢰한다.ext4당신이 설명하는 것과 같은 대규모 파일 시스템의 경우.btrfs받아들일 수 있을지 모르지만 보다 보수적인 시스템 운영자 집단은 아직 생산 준비가 완료되지 않았다고 생각합니다.