澳门新蒲京娱乐

新蒲京娱乐场777 18
系统恢复新蒲京娱乐场777:,10种linux下磁盘快照方式恢复系统
图片 11
上配置持续集成服务

集群环境的搭建

本文意在提供最主旨的,能够用来在生育条件进行Hadoop、HDFS分布式情况的搭建,对和睦是个小结和整合治理,也能低价新人学习运用。

根基意况

JDK的装置与配置

到现在直接到Oracle官方网址(

接收以下命令将jdk-7u79-linux-x64.gz下载到Linux下的/home/jiaan.gja/software目录

wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz

下一场使用以下命令将jdk-7u79-linux-x64.gz解压缩到/home/jiaan.gja/install目录

tar zxvf jdk-7u79-linux-x64.gz -C ../install

归来/home/jiaan.gja目录,配置java遭逢变量,命令如下:

cd ~
vim .bash_profile

在.bash_profile中加入以下内容:

图片 1
那时候让java碰到变量生效,试行如下命令:

source .bash_profile

末段验证java是不是安装配备不错:

图片 2

Host

由于本人搭建Hadoop集群包蕴三台机械,所以须要修改调度各台机器的hosts文件配置,命令如下:

vi /etc/hosts

即使未有丰硕的权能,能够切换客户为root。

一旦制止利用root权限,则足以利用以下命令校正:

sudo vi /etc/hosts

三台机械的内容统一扩大以下host配置:

图片 3

SSH

鉴于NameNode与DataNode之间通讯,使用了SSH,所以须要布置免登陆。

首首先登场入Master机器,生成SSH的公钥,命令如下:

ssh-keygen -t rsa

试行命令后会在近来客商目录下生成.ssh目录,然后走入此目录将id_rsa.pub追加到authorized_keys文件中,命令如下:

cd .ssh
cat id_rsa.pub >> authorized_keys

最后将authorized_keys文件复制到其余机器节点,命令如下:

scp authorized_keys jiaan.gja@Slave1:/home/jiaan.gja/.ssh
scp authorized_keys jiaan.gja@Slave2:/home/jiaan.gja/.ssh

文件目录

为了便于管理,给Master的hdfs的NameNode、DataNode及不经常文件,在顾客目录下创办目录:
/home/jiaan.gja/hdfs/name
/home/jiaan.gja/hdfs/data
/home/jiaan.gja/hdfs/tmp
接下来将这个目录通过scp命令拷贝到Slave1和Slave2的均等目录下。

HADOOP的装置与结构

下载

首先到Apache官网(

cd ~/software/
wget http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

下一场利用以下命令将hadoop-2.6.0.tar.gz解压缩到/home/jiaan.gja/install目录

tar zxvf hadoop-2.6.0.tar.gz -C ../install/

意况变量

重回/home/jiaan.gja目录,配置hadoop情形变量,命令如下:

cd ~
vim .bash_profile

在.bash_profile中投入以下内容:

图片 4

随时让hadoop情形变量生效,实践如下命令:

source .bash_profile

Hadoop的配置

步向hadoop-2.6.0的配备目录:

cd ~/install/hadoop-2.6.0/etc/hadoop/

依次纠正core-site.xml、hdfs-site.xml、mapred-site.xml及yarn-site.xml文件。

core-site.xml

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/home/jiaan.gja/hdfs/tmp</value>
<description>A base for other temporary directories.</description>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://Master:9000</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/home/jiaan.gja/hdfs/name</value>
    <final>true</final>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/home/jiaan.gja/hdfs/data</value>
    <final>true</final>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>Master:9001</value>
  </property>
  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>
</configuration>

mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

yarn-site.xml

<configuration>

  <!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>Master:18040</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>Master:18030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>Master:18088</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>Master:18025</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>Master:18141</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce.shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

鉴于我们曾经安顿了JAVA_HOME的境遇变量,所以hadoop-env.sh与yarn-env.sh那七个文件不用改过,因为中间的布局是:

export JAVA_HOME=${JAVA_HOME}

末尾,将全部hadoop-2.6.0文件夹及其子文件夹使用scp复制到两台Slave的等同目录中:

scp -r hadoop-2.6.0 jiaan.gja@Slave1:/home/jiaan.gja/install/
scp -r hadoop-2.6.0 jiaan.gja@Slave2:/home/jiaan.gja/install/

运行HADOOP

运行HDFS

格式化NameNode

实行命令:

hadoop namenode -format

推行进程如下图:

图片 5

最后的施行结果如下图:

图片 6

启动NameNode

实践命令如下:

hadoop-daemon.sh start namenode

施行结果如下图:

图片 7

末尾在Master上推行ps -ef | grep hadoop,获得如下结果:

图片 8

在Master上推行jps命令,获得如下结果:

图片 9

注脚NameNode运转成功。

启动DataNode

推行命令如下:

hadoop-daemons.sh start datanode

实践结果如下:

图片 10

在Slave1上推行命令,如下图:

图片 11
在Slave2上实施命令,如下图:
图片 12

说明Slave1和Slave2上的DataNode运营符合规律化。

上述运维NameNode和DataNode的点子,可以用start-dfs.sh脚本取代:

图片 13

运行YARN

运维Yarn也可能有与运作HDFS肖似的措施。运营ResourceManager使用以下命令:

yarn-daemon.sh start resourcemanager

批量起步多个NodeManager使用以下命令:

yarn-daemons.sh start nodemanager

以上办法我们就不赘述了,来拜候使用start-yarn.sh的从简的起步情势:

图片 14

在Master上执行jps:

图片 15

评释ResourceManager运转如常。

在两台Slave上施行jps,也会看出NodeManager运营如常,如下图:

图片 16

测试HADOOP

测试HDFS

聊到底测量检验下亲手搭建的Hadoop集群是不是实行例行,测验的一声令下如下图所示:

图片 17

测试YARN

能够访谈YA奥迪Q5N的拘系分界面,验证YA奥迪Q3N,如下图所示:

图片 18

测试mapreduce

笔者比较懒,不想编写mapreduce代码。幸亏Hadoop安装包里提供了现成的例子,在Hadoop的share/hadoop/mapreduce目录下。运营例子:

图片 19

图片 20

配备运维HADOOP中碰着的难题

JAVA_HOME未设置?

我在运转Hadoop时开采Slave2机器直接运转不了,然后登入Slave2,在~/install/hadoop-2.6.0/logs目录下查看日志,发掘了以下错误:

Error: JAVA_HOME is not set and could not be found.

万一本身实施echo
$JAVA_HOME或然查看.bash_profile文件,都注解正确配置了JAVA_HOME的情形变量。无可奈何之下,只好将Slave2机器的hadoop-env.sh硬编码为如下的配备:

# The java implementation to use.
export JAVA_HOME=/home/jiaan.gja/install/jdk1.7.0_79

接下来难点就解决了。就算缓解了,然而当前不晓得所以然,有爱心的同事,告诉自身下。。。

Incompatible clusterIDs

出于配备Hadoop集群不是毫不费劲的,所以一再伴随着构造——>运维——>。。。——>配置——>运转的进度,所以DataNode运行不了时,往往会在翻看日志后,发掘以下难题:

图片 21

此主题素材是出于每趟运维Hadoop集群时,会有例外的集群ID,所以供给清理运转失利节点上data目录(比方笔者创制的/home/jiaan.gja/hdfs/data)中的数据。

NativeCodeLoader的警告

在测量检验Hadoop时,悉心的人也许见到截图中的警示音信:

图片 22

本人也是查看网络资料,获知以下化解办法:

1、下载hadoop-native-64-2.6.0.tar:
在网站

2、停止Hadoop,实行命令如下:

图片 23

下载完事后,解压到hadoop的native目录下,覆盖原有文件就可以。操作如下:

tar xvf hadoop-native-64-2.6.0.tar -C /home/jiaan.gja/install/hadoop-2.6.0/lib/native/

令人悲从当中来的是,这种方式并倒霉使,见到最终的缓慢解决方案是要求下载Hadoop源码,重新编写翻译,但这种方法有一些重,笔者不希图尝试了。有未有方便人民群众的缓和方案,还可望知晓的同班告诉一下。

yarn.nodemanager.aux-services错误

在实行start-yarn.sh脚本运行YAHavalN时,在Slave1和Slave2机器上实施jps命令未开采NodeManager进程,于是登入Slave机器查看日志,发掘以下错误音信:

图片 24

参照英特网的消除措施,是因为yarn.nodemanager.aux-services对应的值mapreduce.shuffle已经被交换为mapreduce_shuffle。某个参谋用书上也不当的写为另叁个值mapreduce-shuffle。

相关文章

No Comments, Be The First!
近期评论
    功能
    网站地图xml地图