나는 megaupload.com, rapidshare.com과 같은 파일 공유 웹사이트와 download.com, filehippo.com과 같은 소프트웨어 다운로드 웹사이트를 언급하고 있습니다.
그들은 테라바이트급의 데이터를 저장해야 하며 그러한 대역폭도 필요합니다. 나는 그들을 Google, Yahoo, Amazon과 같은 회사와 비교하지 않습니다. 왜냐하면 그들은 거대한 회사이고 그들 자신의 거대한 개인 하드웨어 설정을 가지고 있기 때문입니다.
그들은 (megaupload/filehippo) 그렇게 엄청난 양의 데이터를 어떻게 저장합니까? 이들은 어떤 기술과 하드웨어 아키텍처를 사용합니까?
추신: 내 관심은 filehippo.com과 같은 나만의 소프트웨어 다운로드 사이트를 시작하고 싶다는 것입니다.
답변1
실제로 보이는 것은 실제와 다릅니다 :)
파일 공유 사이트에는 테라바이트 단위의 데이터가 없지만 약 10-500TB의 데이터가 있습니다. 무제한 공간을 제공하는 호스팅 회사가 많다는 말을 들어보셨을 것입니다. 이는 큰 거짓말입니다. 왜냐하면 그런 것들은 무제한의 공간이 없기 때문입니다. 그들은 단지 수백 테라바이트의 저장 공간을 가지고 있으며 모든 사용자가 웹 공간에 저장할 수 있는 테라바이트의 데이터를 가지고 있는 것은 아닙니다. 대부분의 사용자는 100MB에서 2~5GB의 데이터/웹사이트를 호스팅합니다. 데이터 사용량이 많은 사용자의 수는 상당히 적습니다.
그들이 무엇을 사용하는지 알아볼까요? 그들은 모든 서버가 약 4TB에서 20TB의 디스크 공간을 갖는 SAN(저장 영역 네트워크)을 가지고 있습니다. 그리고 모두 파이버 채널이나 기가비트 이더넷을 통해 연결됩니다. 프런트엔드에는 이 SAN 네트워크의 공간을 활용하는 웹 애플리케이션이 있습니다.
처음부터 시작하기 때문에 프론트 엔드 웹 애플리케이션의 경우 자신에게 적합한 고급 서버를 사용할 수 있으며 백엔드에서는 FreeNAS(무료 오픈 소스 엔터프라이즈 클래스인 FreeNAS)를 사용하여 자신만의 NAS/SAN을 구축할 수 있습니다. 스토리지 관리 OS). 여기에 테라바이트 단위의 값싼 드라이브를 추가하면 몇 테라바이트 규모의 소규모 네트워크가 준비됩니다. 트래픽과 사용량에 따라 필요에 따라 계속해서 더 많은 공간을 추가할 수 있습니다.
답변2
음, 그들은... 하드 드라이브를 많이 가지고 있습니다.
그만큼백블레이즈 블로그유사한 작업을 수행하는 방법에 대해 논의합니다(무제한 백업 스토리지 판매).