韦德国际1946英国 > 计算机网络 > 搭建Hadoop集群环境,Hadoop完全分布式模式配置

原标题:搭建Hadoop集群环境,Hadoop完全分布式模式配置

浏览次数:83 时间:2019-11-04

  1. 10.10.236.190   master   
  2. 10.10.236.191   slave-A   
  3. 10.10.236.193   slave-B  

2.bin/start-all.sh

masters里写入作为namenode节点机器的名目,我们这里是:
master
slaves里写入作为datanode节点的机器名,这里是:
master
slave
slave1

4) 安装Hadoop
下载Hadoop 解压到每台服务器的/data/soft
解压

ssh slave1 (连接slave结点,第贰回索要输入yes和密码)

纠正hadoop-env.sh,加入如下语句,使得hadoop能够找到java的门径:
export JAVA_HOME=/root/software/jdk1.7.0_02

  1. root@master:~/.ssh# cp id_rsa.pub authorized_keys  

<property>

(4卡塔 尔(阿拉伯语:قطر‎datanode机器上的计划
将namenode机器下的jdk文件夹,hadoop文件夹以致/etc/profile文件拷贝到datanode机器上生龙活虎致的门路下。

  1. <property>    
  2.         <name>fs.default.name</name>     
  3.         <value>hdfs://master:54310</value> //那个才是确实主宰namenode   
  4. </property>  
  5. <property>     
  6.         <name>hadoop.tmp.dir</name>     
  7.         <value>/data/hdfs/tmp</value>  //有的时候文件,有题指标时候,能够去除   
  8.         <description>A base for other temporary directories.</description>分分快三计划 ,  
  9. </property>  

ssh master (必需三翻五次master叁次,不然运行的时候master结点不能接过回复)

(1卡塔 尔(阿拉伯语:قطر‎修改每台机器下/etc文件夹下的hosts文件
127.0.0.1 localhost
192.168.0.5 master
192.168.0.3 slave
192.168.0.102 slave1

修改hostname
vi /proc/sys/kernel/hostname

<property>

图片 1

5 .校正conf/slaves,那一个是怀有datanode的机器 图片 2

cp id_rsa.pub authorized_keys

在hadoop文的件夹下须要营造几个文件夹,如下:
$ mkdir hdfs
$ mkdir hdfs/name
$ mkdir hdfs/data

3.修改conf/mapred-site.xml,扩充上面内容       

<property>

然后能够经过如下地址来查阅集群运维情形:
 
 

营造软连

scp authorized_keys root@slave1:~/.ssh/  (拷贝到全数slave,注意日前路径是或不是科学卡塔 尔(阿拉伯语:قطر‎

继续实践如下命令,把密钥传递给种种datanode节点:
$ cd ~/.ssh 
$ cp id_rsa.pub authorized_keys
$ scp authorized_keys slave:/root/.ssh/authorized_keys 
$ scp authorized_keys slave1:/root/.ssh/authorized_keys

  1. root@master:~# $ssh-keygen  -t  rsa  

配置conf/slave

修改core-site.xml,如下:
<configuration> 
        <property> 
                <name>fs.default.name</name> 
                <value>hdfs://master:9000</value> 
        </property> 
</configuration>

5) 配置hadoop
1.修改conf/hadoop-env.sh,添加jdk支持

root@master:/data/soft/hadoop # bin/hadoop dfs -ls 

修改hdfs-site.xml,如下:
<configuration>
        <property>
                <name>dfs.name.dir</name>
                <value>/root/software/hadoop-0.20.2/hdfs/name</value>
        </property>
        <property>
                <name>dfs.data.dir</name>
                <value>/root/software/hadoop-0.20.2/hdfs/data</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

别的的datanode只需求安插namenode的机械ip和本机ip

export PATH=$PATH:$JAVA_HOME/bin

修改mapred-site.xml,如下:
<configuration> 
        <property> 
                <name>mapred.job.tracker</name> 
                <value>master:9001</value> 
        </property> 
</configuration>

  1. export JAVA_HOME=/usr/local/jdk   
  2. export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH   
  3. export PATH=$PATH:$JAVA_HOME/bin  

10.196.142.30 slave2

root@slave1:~/hadoop-0.20.2$ jps 
xxxx Jps 
xxxx DataNode 
xxxx TaskTracker

2) 配置host
Namenode的机械,要求布署集群中有所机器的ip
修改/etc/hosts

越来越多Hadoop相关音信见Hadoop 专项论题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

假定未有任何差错的话,hadoop能够符合规律运营,并能够看出如下结果:
在namenode端用jps命令查看运转状态,如下:
root@master:~/hadoop-0.20.2$ jps 
xxxx Jps 
xxxx Namenode 
xxxx Secondarynamenode 
xxxx JobTracker 

3.修改conf/hdfs-site.xml,扩展上面内容

</property>

(2)SSH配置
在namenode机器的/root文件夹下生成密钥对,推行:
$ ssh-keygen -t rsa
下一场径直按Enter键,就能够依照暗许选项生成密钥对保存在/root/.ssh/id_rsa文件中。

  1. root@master:/data/soft# ln -s hadoop-0.21.0 hadoop  

<value>/home/hadoop/data/hdfs/name</value>

接下来分别在每台datanode机器上进行如下命令,以转移authorized_keys文件的许可权限:
$ chmod 644 authorized_keys

  1. export JAVA_HOME=/usr/local/jdk  

配置Hadoop

(5卡塔 尔(英语:State of Qatar)到此基本配备已经成功,在namenode端cd到hadoop文件夹下,格式化布满式文件系统:
$ bin/hadoop namenode -format 
上面接着在namenode端运营hadoop进度:
$ bin/start-all.sh

  1. root@master:/data/soft# tar zxvf hadoop-0.21.0.tar.gz  

6.配置conf/master

(3)namenode机器上JDK和Hadoop的装置配备
在/etc/profile下加上面几行
搭建Hadoop集群环境,Hadoop完全分布式模式配置。export JAVA_HOME=/root/software/jdk1.7.0_02
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export HADOOP_HOME=/root/software/hadoop-0.20.2
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
让后使文件生效
$ source /etc/profile

1) 安装jdk
下载jdk-6u21-linux-i586.bin
接下来改进/etc/profile:

(IP地址根据实际处境改正,对应机器数量增加条数)

在datanode端用jps查看运维状态,如下:
root@slave:~/hadoop-0.20.2$ jps 
xxxx Jps 
xxxx DataNode 
xxxx TaskTracker

进入.ssh目录

7.拷贝hadoop目录到持有结点相似目录下

  1. <property>  
  2.         <name>mapred.job.tracker</name> //jobTracker的主机   
  3.         <value>master:54311</value>  
  4. </property>  

  5. .改善conf/masters,那一个调整特别是secondarynamenode

  6. Master  

<name>dfs.name.dir</name>

2.修改conf/core-site.xml,扩展下边内容

<name>mapred.job.tracker</name>

然后改良/etc/profile

1.修改/etc/profile:

  1. export HADOOP_HOME=/data/soft/hadoop   
  2. export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin  

<property>

  1. root@slave-A:~# mkdir .ssh  

ssh-keygen -t rsa(生成公钥密钥,一路回车,直到现身图像卡塔尔国

在name(master卡塔 尔(阿拉伯语:قطر‎上长途拷贝

chmod x jdk.bin(付与文件可实行的权能)

本文由韦德国际1946英国发布于计算机网络,转载请注明出处:搭建Hadoop集群环境,Hadoop完全分布式模式配置

关键词: 伟德betvictor

上一篇:bcmath包的用处,Linux操作系统操作笔记之phpize给

下一篇:没有了