Installer Hadoop på flere noder ved hjælp af Ubuntu 15.10

  • Eustace Evans
  • 0
  • 4283
  • 10

Forord

Vi giver en kort introduktion af Hadoop i tidligere tutorial, for i dag lærer vi at installere Hadoop på flere noder, i demonstrationsscenarie bruger vi Ubuntu 15.10 som Desktop, vi opretter 2 Slave- eller Data-noder sammen med 1 Navneknude. Sørg for at du har delt ssh offentlige nøgler med datanoder og tildel passende IP-adresser, værtsnavn og andre Hadoop-tjenester (vi nævner i tutorial), der kræves for at køre Hadoop multiple cluster node.

Forudsætninger

vi bruger Ubuntu 15.10 som 1 master node, 2 Slave / data noder. værtsnavn for navnekode vil være masternode, datanoder vil have værtsnavn slave1 og  slave2 henholdsvis.

masternode IP-adresse: 192.51.10.10

Slave1 IP-adresse: 192.51.10.11

Slave2 IP-adresse: 192.51.10.12

Konfiguration

Instillationsprocessen ligner den foregående vejledning undtagen få ændringer. Lad os først og fremmest konfigurere masternoden .

Definer værtsnavn på Namenode

# vim / etc / hostname

Definer værter i / etc / hosts fil

# vim / etc / hosts

Eksempel på output

127.0.0.1 localhost 192.51.10.10 masternode 192.51.10.11 slave1 192.51.10.12 slave2

Konfigurer Hadoop-tjenester

# cd / usr / local / hadoop / etc / hadoop /

Rediger hdfs-site.xml

# vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

Filen vil se ud nedenfor, ændre replikationsværdien til 3.

   dfs.replikation  3     dfs.namenode.name.dir   fil: /// usr / local / hadoop / hadoopdata / hdfs / namenode  

Sørg for, at du har en navnekode bibliotek under / usr / local / hadoop

# mkdir -p / usr / local / hadoop / hadoopdata / hdfs / namenode # sudo chown -R hadoop: hadoop / usr / local / hadoop /

Tilsvarende rediger garn-site.xml, det vil se ud som nedenfor, sørg for at du har tildelt værtsnavn på masternode korrekt

# vim garn-site.xml

Eksempel på output

   garn.nodemanager.aux-tjenester  mapreduce_shuffle    garn.resourcemanager.scheduler.adresse  masternode: 8030    garn.resourcemanager.adresse  masternode: 8032     garn.resourcemanager.webapp.adresse   masternode: 8088     garn.resourcemanager.resource-tracker.adresse   masternode: 8031     garn.resourcemanager.admin.adresse   masternode: 8033  

Sørg for, at core-site.xml har passende værtsnavn

Opret en fil med navnet slaver under / usr / local / hadoop / etc / hadoop mappe og tildele værtsnavne på datanoder

# vim / usr / local / hadoop / etc / hadoop / slaver

Sæt følgende poster

slave1 slave2

Tilsvarende opret fil med navnet mestreunder samme kataloghierarki

# vim / usr / local / hadoop / etc / hadoop / masters

Indtast følgende

masternode

Vi har en fungerende masternode på dette stadium, lad os oprette 2 slaveknudepunkter. Vi oprettede to klon virtuelle maskiner ved hjælp af VirtualBox, første klon er slave1 og anden kegle er slave2, da denne maskine er klon af Masternode så vi har alle hadoop-konfigurationsfilerne (.xml) i brugsklar form.

Lighed skaber en anden klon til slave2 datanode.

Skift IP-adresse til 192.51.10.11

Skift værtsnavn til slave1, og genstart systemet. Genfyld processen for en anden VirtualBox-klon, som vil blive brugt som slave2,tildele IP-adresse 192.51.10.12 til slave2.

Navn, vi har en NameNode (masternode) med IP-adresse 192.51.10.10 og to datanoder (slave1, slave2).

Skift nu tilbage til masternoden og del ssh rsa-nøgler med slave1 og slave2, så der ikke er behov for ssh-adgangskoder.

# ssh-keygen -t rsa # ssh [email protected] "chmod 755 .ssh; chmod 640 .ssh / autoriserede nøgler" # cat .ssh / id_rsa.pub | ssh [e-mail-beskyttet] 'kat >> .ssh / autoriserede nøgler' # ssh [e-mail-beskyttet] "chmod 755 .ssh; chmod 640 .ssh / autoriserede_taster"

Genstart alle tre systemer for at sikre, at alle ting går glat.

Rediger hdfs-site.xml-fil med slave1- og slave2-datanoder, sørg for at du har følgende poster

     dfs.data.dir    fil: /// usr / local / hadoop / hadoopdata / hdfs / datanode  

skab  / usr / local / hadoop / hadoopdata / hdfs / datanode vejviserpå begge datanoder

# mkdir -p / usr / local / hadoop / hadoopdata / hdfs / datanode # chown -R hadoop: hadoop / usr / local / hadoop /

Gå til Masternode, og kør startknudetjenester

# cd / usr / local / hadoop / sbin && ls

Kør alle nodetjenester

# ./start-all.sh

Vi kan se, at begge datanoder (slave1, slave2) fungerer korrekt.

Kør jps-kommando på Masternode

# jps

Eksempel på output

8499 SecondaryNameNode 8922 Jps 8650 ResourceManager

Skift til Slave1, og kør jps-kommandoen igen

# ssh [e-mail-beskyttet]

# jps

Eksempel på output, datanode fungerer

4373 DataNode 4499 NodeManager 4671 Jps

På samme måde fungerer slave2 datanode perfekt

Installationsprocessen for Multinode Hadoop Cluster er forbi på det tidspunkt.

Åbn browser og skriv

http://192.51.10.10:8088/cluster/nodes

Taht

Det er det! Hav det sjovt!!




Endnu ingen kommentarer

En samling nyttige oplysninger om Linux-operativsystemet og nye teknologier
Friske artikler, praktiske tip, detaljerede anmeldelser og guider. Føl dig hjemme i Linux-operativsystemets verden