Glusterfs 분산 복제 작은 파일 성능

Glusterfs 분산 복제 작은 파일 성능

Hyperv 서버(동적 vhdx) 가상 디스크의 xfs 파티션 위에 glusterfs가 포함된 4개의 분산 복제 서버를 설정했습니다. NIC는 6x1Gbit입니다(hyperv에서 팀 구성). 삼바를 통해 Windows 클라이언트와 공유합니다. 내가 겪는 문제는 많은 작은 파일(읽기 및 쓰기)로 인해 성능이 정말 좋지 않다는 것입니다. 10k 파일이 많을 때 전송 속도는 약 300kb입니다(네이티브 클라이언트에서도 그다지 빠르지 않습니다). 그 문제에 대한 해결책이 있습니까? 아니면 내 구성이 잘못된 걸까요? 대용량 파일 전송이 양호함(모든 대역폭 활용)

답변1

웹 애플리케이션 배포를 위해 GlusterFS를 사용하고 한 지점에서 여러 서버 간에 사용자 업로드 파일의 대규모 기반을 공유하려고 했습니다. 나는 합리적인 속도를 얻으려고 4개월 동안 노력했지만 결코 그럴 수 없었습니다. 실제로 시도해 보면 약 25~40%의 속도 증가를 위해 조정할 수 있지만 여전히 충분히 빠르지는 않습니다.

정확한 기술적 세부 사항은 잊어버렸지만 GlusterFS 프로토콜은 읽기 전용 시스템에서도 매우 장황합니다. Danila가 말했듯이 작은 파일 공유를 원한다면 Gluster를 통해 NFS 프로토콜을 사용하는 것이 더 좋습니다. 그것의 가장 큰 단점은 NFS라는 것입니다.

살펴볼 또 다른 옵션은 Ceph입니다. 빠르게 개발되고 있으며 최신 Ubuntu 커널에서 꽤 유용합니다.

하지만 솔직히 말해서 가능하다면 공유 FS를 버리는 것이 좋습니다. 나중에 나한테 고마워할 거야.

답변2

GlusterFS 기본 FUSE 클라이언트는 많은 양의 작은 파일로 인해 끔찍합니다. GlusterFS와 함께 NFS를 사용해 볼 수도 있습니다. 또한 나는 xfs 파티션이 기본 EXT4에 비해 이 설정에서 어떤 이점도 제공하지 않는다고 생각합니다. 이 문서에서 더 많은 정보를 읽을 수 있습니다.

http://lwn.net/Articles/476263/

관련 정보