澳门新蒲京娱乐

图片 12
常见危险函数,PHP回调后门可绕过安全狗

获取方法,PHPExcel读取Excel文件的实现代码

0图文详解

 安装:

  1. 在 hortonworks公共资源库 选定一个ambari版本并复制对应的repo地址(这个网页的内容加载很慢
    要耐心等)。我选的是2.4.2
    地址是
  2. 使用wget下载到节点,或者下载到物理机后上传到节点

    wget http://s3.amazonaws.com/public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo  #文件会下载到当前目录
    
  3. 将ambari.repo文件拷贝到 /etc/yum.repos.d/ 目录下

    mv ambari.repo /etc/yum.repos.d/
    
  4. 获取该公共库的所有源文件列表

    yum clean all
    yum list|grep ambari
    
  5. 开始安装server

    yum install ambari-server
    

     如果依赖项postgresql下载失败,需要手动下载安装;点这里 下载一个并安装就可以了

    wget ftp://mirror.switch.ch/pool/4/mirror/scientificlinux/7.2/x86_64/updates/security/postgresql-libs-9.2.15-1.el7_2.x86_64.rpm;
    rpm -ivh postgresql-libs-9.2.15-1.el7_2.x86_64.rpm
    
  6. 安装完成后,开始进行配置(全部用默认项 全程回车)。其中有一步
    需要指定用户账号,要记住使用root

    ambari-server setup
    
  7. 配置完成就可以启动了,然后  就可以用8080端口访问管理页面了

    ambari-server start
    

创建集群:

具体操作可参考 CentOS7 minimal下MySQL的卸载及安装 http://www.linuxidc.com/Linux/2016-12/137942.htm

还要在ambari server上执行

ambari-server setup --jdbc-db=mysql --jdbc-driver=[/path/to/mysql/mysql-connector-java.jar]

如果有不合适的参数,是无法进入下一步的,点击下一步的时候系统会提示需要改成的值。

更多详情见请继续阅读下一页的精彩内容
http://www.linuxidc.com/Linux/2016-12/138142p2.htm

图片 1

手动修改服务配置

集群创建完了也还是有很多要手动修改的地方(如hive、oozie的元数据存储数据库)

图片 2

这些红彤彤的标志 都是启动失败的服务。

最开始HDFS那一项也是红的,找了一下午的错误,最终发现是因为之前的系统变量
$HADOOP_HOME 没有删掉 导致路径出现问题

明明已经unset过了
 结果一重启机器又出现,并且还找不到在哪里设置的。没办法,只能设了一个软链接搞定。

 


 

又过了半天  终于弄好了  太不容易了

图片 3

看到上方的红数字消失,无比激动

  

配置集群:

安装成功后,就需要在WEBUI中创建集群了。点击【Launch Install Wizard】

 图片 4

1.GetStarted 指定集群名

图片 5

2.Select Version
选择HDP版本。HDP版本对应的是一组生态组件的版本。根据自己需要的组件版本选择一个即可。我选择的是HDP-2.5

下面的内容,使用公共资源库即可(推荐把资源下载到本地,然后使用本地库。Public
Repo的话需要很长时间)。【Skip ……】这个也不用选,进入下一步。

 图片 6

 图片 7

图片 8

 

 3.Install Options 安装配置。这一步要谨慎

Target Hosts要指定Hosts列表,这个hostname的格式必须是Fully Qualified
Domain Name
(FQDN),简单点说,必须是一个域名的格式,如下图所示。/etc/hosts当然也要与之对应

Host Registration Information
 这里要选择使用私钥,并上传作为Ambari的主机的私钥,当然也可以直接粘贴私钥的内容
注:id_dsa是私钥,id_dsa.pub 是公钥。UserAccount使用root 端口不用改

 图片 9

4.Confirm Hosts

 从上一步过来后,在这一步会自动节点注册,并会显示进度及注册状况

可以点击①查看有哪些注册过程中缺少的内容

 图片 10

图片 11

 

5.Choose Services 选择集群中需要安装的服务

有些服务是必须得,或者是被依赖的,如果没选的 点击下一步的时候会有提示。

图片 12

 

6.Assign Masters 给各节点组件分配资源,这个自己看着来就行

 图片 13

图片 14

 

7.Assign Slaves and Clients
 配置从节点和客户端。注意最后一列的Client指的是各种客户端,而不是某一种。

 图片 15

 

8.Customize Service 服务的自定义设置

这一步里大部分都可以使用默认项,少部分需要改动和设置,如Hive和Oozie需要指定数据库密码等

图片 16

红色数字标志表示这一项有需要手动设置的内容。

此外,如果Hive和Oozie使用Mysql的话,还需要先安装MySql,然后创建hive,oozie用户并赋予权限,当然
 还有hive、oozie数据库

Ambari的升级

参考官网 

具体还没有做过线上Ambari的升级,有机会升级的话补上这一节

 

 

安装须知:

NameNode HA

 默认安装的集群 NameNode是单点的,我们自然要给升级为HA

1.如果启动了HBase的话,我们要先关闭HBase服务

2.HDFS->Service Actions -> Enable NameNode HA

图片 17

3.Get Started 指定service ID

4.Select Hosts  选择作为备用NameNode以及作为JournalNode的host

图片 18

5.Review 确认上一步的设定。配置不用改动,直接下一步

 图片 19

6.Create Checkpoint

 图片 20

这一步的操作需要手动完成(启用Safe mode)。

如图所示,在NameNode所在Host先后执行两条命令

sudo su hdfs -l -c 'hdfs dfsadmin -safemode enter'

sudo su hdfs -l -c 'hdfs dfsadmin -saveNamespace'

图片 21

图片 22

执行成功之后 Next 会自动变得可点击

图片 23

7.Configure Components 开始重新配置各个组件服务

 图片 24

8.Manual Steps Required  又是一个需要手动的环节

图片 25

 9.Start Components 启动各组件

 图片 26

10.Manual Steps Required: Initialize NameNode HA
Metadata  手动初始化NameNode HA的元数据

图片 27

在主NameNode上执行

sudo su hdfs -l -c 'hdfs zkfc -formatZK'

 

在备用NameNode上执行

sudo su hdfs -l -c 'hdfs namenode -bootstrapStandby'

 

 

  1. Finalize HA Setup 启动最终配置

图片 28

 

 


 

  • 所有操作都要使用root用户,且系统不要有其他用户,ssh的密钥也都是基于root用户的。否则会出现问题【Permission denied
    (publickey,gssapi-keyex,gssapi-with-mic,password) 】
  • hostname都要使用FQDN格式,具体参照【配置】的第三步
  • 所有节点都安装ntpd服务
    可参考CentOS7
    中使用NTP进行时间同步
    http://www.linuxidc.com/Linux/2015-11/124911.htm
  • 切记,一定要从空机装起,尤其是以前搭过Hadoop环境的。切记
    切记 切记 重要的事情说三遍!

为什么要用Ambari 

Ambari 是 Apache Software Foundation 中的一个顶级项目。就 Ambari
的作用来说,就是创建、管理、监视 Hadoop 的整个生态圈产品(例如
Hive,Hbase,Sqoop,Zookeeper 等)。用一句话来说,Ambari 就是为了让
Hadoop 以及相关的大数据软件更容易使用的一个工具。

对于那些苦苦花费好几天去安装、调试 Hadoop 的初学者是最能体会到 Ambari
的方便之处的。而且,Ambari 现在所支持的平台组件也越来越多,例如流行的
Spark,Storm 等计算框架,以及资源调度平台 YARN 等,我们都能轻松地通过
Ambari 来进行部署。

 

概念概述

  • Stack :堆  版本号  一批Service的集合
  • Service:产品 如Hive,HBase等
  • Module:Service中的一部分
  • Alert:警告
  • Host:节点  可以理解为一个虚拟机
  • Ambari Agent:每个Host上的管理员
  • Ambari
    Server:通过与每个Agent保持通话,操控并了解所有信息(host、service等运行情况和资源状态)并提供GUI
  • View:ambari通过框架 Ambari Views
    framework ,允许第三方对组件进行扩展,如hdfs的目录管理等。目前支持Tez、Hive、Pig、Capacity
    Scheduler(YARN)、Files(HDFS)

 

 

 

相关文章

No Comments, Be The First!
近期评论
    功能
    网站地图xml地图