Hadoop디스크가 하나만 있는 단일 노드 설정을 사용하는 경우 쉽게 사용할 수 있지만 실제로 이 경우 다른 패러다임( mapreduce를 사용하지 않고 처리 등) 에 비해 Hadoop사용하면 어떤 이점이 있습니까? .)HadoopPython
답변1
Hadoop의 강력한 기능은 분산 파일 시스템(HDFS)과 분산 프로그래밍 모델(MapReduce)을 사용한다는 사실에서 비롯됩니다. 하나의 디스크가 있는 단일 노드 클러스터에서는 처리를 병렬화할 수 없습니다.Hadoop의 오버헤드- 단순한 패러다임이 아마도 더 빠를 것입니다.
완전한 클러스터를 사용하는 경우에도 날짜 집합이 너무 작거나 알고리즘이 분산 처리(예: 중앙값 찾기)에 적합하지 않으면 Hadoop의 이점을 볼 수 없습니다.
답변2
Hadoop은 완전히 분산 파일 시스템(HDFS)을 기반으로 하며 진정한 힘은 여기에 있습니다.
그러나 동시에 프레임워크를 배우고 해당 구성 요소를 이해하는 것이 중요합니다. 이것이 Hadoop이 3가지 설치 모드를 제공하는 이유입니다.
정확한 질문에 대답하면 단일 디스크는 hadoop의 HDFS 부분에서 이점을 얻지 못합니다. 하지만 다시 한번 Hadoop의 MapReduce 구성 요소를 이해하는 데 도움이 될 것입니다.
어리석은 구성 시스템이 있는 경우 의사 클러스터 설정을 제안하고 두 개의 가상 머신이 서로 상호 작용하도록 합니다.