Hadoop 會從一張磁碟中受益嗎？

Question

如果我使用只有一個磁碟的單節點設置Hadoop，我可以輕鬆地使用它來玩弄東西，但是在這種情況下使用它實際上比另一種範例（不使用mapreduce等進行處理Hadoop）有任何好處嗎？HadoopPython

Answer 1

Hadoop 的強大之處在於它使用分散式檔案系統 (HDFS) 和分散式程式設計模型 (MapReduce)。處理無法在具有一個磁碟的單節點叢集中並行化，因此 - 因為Hadoop 的開銷- 更簡單的範例可能會更快。

即使使用成熟的集群，如果資料集太小或演算法不適合分散式處理（例如查找中位數），您也不會看到 Hadoop 的優勢。

Answer 2

Hadoop完全基於分散式檔案系統（HDFS），真正的威力就在這裡。

但同時學習框架並了解其組件也很重要。這就是 Hadoop 提供 3 種安裝模式的原因。

回答你的確切問題，單一磁碟不能從 hadoop 的 HDFS 部分中受益。但它再次有助於理解 Hadoop 的 MapReduce 元件。

如果您有錯誤的配置系統，我建議您進行偽集群設置，讓兩個虛擬機器相互互動。