Amazon, Facebook 및 Google은 하루에 PB는 아니더라도 TB를 수용해야 합니다. 즉, 일반 서버를 구축하는 것과 같은 방식으로 사람들이 새 랙에 새 하드 디스크와 케이블을 지속적으로 설치해야 한다는 의미입니까, 아니면 다른 기술이 사용됩니까? 드라이브를 한꺼번에 연결하려면?
답변1
실제로 한 번에 한 서버씩 하드웨어를 설치하는 사람이 있는지는 모르겠습니다. 다시2008년MS는 트럭에서 내려 전원/네트워크 연결을 연결하기만 하면 되는 서버를 밀봉되고 사전 배선된 배송 컨테이너에 담아 서버를 배송함으로써 데이터 센터를 구축하기 시작했습니다. 08 빌드는 가장 최근의 컨테이너와 기존 빌드를 혼합한 것이었습니다.데이터 센터이후 그들은 비바람에 견디고 별도의 건물 안에 보관할 필요가 없는 맞춤형 조립식 디자인으로 전환했습니다.
둘 다HP와 IBM배포하려면 전원/데이터 연결만 필요한 서버로 가득 찬 사전 구축된 컨테이너가 포함된 유사한 패키지를 판매하세요.
답변2
Google은 이러한 엄청난 양의 데이터를 저장하기 위해 내부적으로 개발한 몇 가지 기술을 보유하고 있습니다. 이러한 기술을 사용하면 가동 중지 시간 없이 실제로 트럭의 하드 디스크를 클러스터에 추가할 수 있지만 여전히 그렇게 하는 사람이 필요합니다.
Google 블로그에서 제가 아는 한, 두 가지 주요 부분은 Google 파일 시스템으로, 이는 정말 큰 규모로 확장할 수 있는 분산 파일 시스템입니다.구글 파일 시스템
그리고 Google 파일 시스템 위에는 일종의 키 값 데이터베이스인 Big Table이 있으며 대규모로 확장됩니다.큰 테이블
고가용성을 보장하기 위해 모든 것이 여러 번, 대부분의 경우 3번 이상 중복됩니다.
답변3
정확히 맞습니다. 한때 Facebook 데이터 센터에는 매일 하드 드라이브와 랙 마운트 서버로 가득 찬 트랙터 트레일러 세 대를 추가했던 일이 기억납니다. 물론 스토리지를 확장 가능하고 중복되게 만들기 위한 복잡한 체계가 있습니다. 예를 들어 구글은GFS. Facebook에는 장비 전용 데이터 센터가 3개 있는데, 각각은 월마트 2개보다 크며, 새로운 데이터 센터는 기존 센터보다 4배 더 커질 예정입니다.
답변4
다음은 BackBlaze가 이 작업을 수행하는 방법(Google이나 Facebook만큼 많은 디스크가 필요하지 않지만 여전히 전체 디스크가 필요함)과 태국에 홍수가 발생하여 하드 디스크가 만들어졌을 때 수행해야 할 작업에 대한 흥미로운 블로그 게시물입니다. 비용이 많이 들고 구하기가 더 어렵습니다.
http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/