Wenn ich ein Einzelknoten-Setup verwende, bei Hadoopdem es nur eine Festplatte gibt, kann ich diese problemlos zum Herumspielen Hadoopund so verwenden. Aber hat die Verwendung Hadoopin diesem Fall tatsächlich Vorteile gegenüber einem anderen Paradigma (Verarbeitung Pythonohne MapReduce usw.)?
Antwort1
Die Stärke von Hadoop liegt darin, dass es ein verteiltes Dateisystem (HDFS) und ein verteiltes Programmiermodell (MapReduce) verwendet. Die Verarbeitung kann in einem Cluster mit einem einzigen Knoten und einer Festplatte nicht parallelisiert werden.Der Overhead von Hadoop- einfachere Paradigmen werden wahrscheinlich schneller sein.
Auch bei Verwendung eines vollwertigen Clusters können Sie den Nutzen von Hadoop nicht erkennen, wenn der Datensatz zu klein ist oder der Algorithmus nicht für die verteilte Verarbeitung geeignet ist (z. B. Ermittlung eines Medianwerts).
Antwort2
Hadoop basiert vollständig auf einem verteilten Dateisystem (HDFS) und hierin liegt seine wahre Stärke.
Gleichzeitig ist es jedoch wichtig, das Framework kennenzulernen und seine Komponenten zu verstehen. Aus diesem Grund bietet Hadoop drei Installationsmodi.
Um Ihre genaue Frage zu beantworten: Eine einzelne Festplatte profitiert nicht vom HDFS-Teil von Hadoop. Aber es wird Ihnen trotzdem helfen, die MapReduce-Komponente von Hadoop zu verstehen.
Wenn Sie über ein gutes Konfigurationssystem verfügen, würde ich die Einrichtung eines Pseudoclusters vorschlagen, bei dem zwei virtuelle Maschinen miteinander interagieren.