AWS-EC2에서는 NFS 파일 서버와 여러 클라이언트로 구성된 Linux 가상 머신 클러스터를 설정했습니다. 클라이언트 수가 20개를 초과하면 I/O가 많아 파일 무결성이 손실됩니다. 예를 들어 클라이언트가 서버에 작성한 gzip 파일이 손상되었습니다.
늘릴 수 있는 가장 좋은 NFS 매개변수 세트가 무엇인지 궁금합니다.신뢰할 수 있음이 환경에서의 데이터 전송.
현재 마운트 플래그는 다음과 같습니다:
Flags: rw,vers=3,rsize=262144,wsize=262144,hard,proto=tcp,timeo=600,retrans=2
MTU 크기는 1500이고 NFS 데몬 수는 8입니다.
MTU 아래로 rsize 및 wsize를 줄이고 NFS 데몬 수를 늘려야 합니까?
개선할 수 있는 다른 점이 있습니까?
많은 감사를 드립니다.
답변1
사용되는 클러스터의 크기를 고려하면 다음과 같은 병렬 파일 시스템으로 이동하는 것을 고려하는 것이 좋습니다.글러스터. 또는 클러스터가 올바르게 구성된 경우 모든 노드는 DNS 또는 조회를 통해 다른 모든 노드를 인식해야 하며 /etc/hosts비밀번호 없이 액세스할 수 있는 적절한 SSH 키가 있어야 합니다.
이 경우 각 노드는 계산/압축 완료 시 파일을 간단히 복사할 수 있으므로 NFS가 필요하지 않게 됩니다. 이 솔루션은 최적의 성능을 제공하지 못할 수도 있지만 컴퓨팅 노드, 네트워크 및 스토리지의 가상화 특성에 따라 좋은 옵션이 될 수 있습니다.
어떤 종류의 클러스터 관리/프로비저닝 시스템을 사용하고 있나요? 일반적으로 헤드 노드를 설정하는 동안 컴퓨팅 노드에 대한 적절한 공유 스토리지도 설정됩니다. 다음과 같은 도구를 사용하여워울프또는바위컴퓨팅 노드가 올바르게 프로비저닝되었는지 확인하는 데 도움이 될 수 있으며 온라인에서 사용할 수 있는 이러한 도구를 사용하여 클러스터를 설정하기 위한 많은 가이드와 참조 디자인이 있습니다.