Hadoop2.6.0分布式部署参考手册

作者: 云计算机网 分类: 云计算知识 发布时间: 2016-09-10 10:58

Hadoop 2.6.0分布式部署参考手册

关于本参考手册的word文档,可以到如下地址下载:http://download.csdn.net/detail/u012875880/8285323

1.环境说明1.1安装环境说明

本列中,操作系统为Centos 7.0,JDK版本为Oracle HotSpot 1.7,Hadoop版本为Apache Hadoop 2.6.0,操作用户为hadoop。

2.2 Hadoop集群环境说明:

集群各节点信息参考如下:

主机名

IP地址

角色

ResourceManager

172.15.0.2

ResourceManager & MR JobHistory Server

NameNode

172.15.0.3

NameNode

SecondaryNameNode

172.15.0.4

SecondaryNameNode

DataNode01

172.15.0.5

DataNode & NodeManager

DataNode02

172.15.0.6

DataNode & NodeManager

DataNode03

172.15.0.7

DataNode & NodeManager

DataNode04

172.15.0.8

DataNode & NodeManager

DataNode05

172.15.0.9

DataNode & NodeManager

注:上述表中用”&”连接多个角色,如主机”ResourceManager”有两个角色,分别为ResourceManager和MR JobHistory Server。

2.基础环境安装及配置2.1 添加hadoop用户

useradd hadoop

用户“hadoop”即为Hadoop集群的安装和使用用户。

2.2 JDK 1.7安装

Centos 7自带的JDK版本为 OpenJDK 1.7,本例中需要将其更换为Oracle HotSpot 1.7版,本例中采用解压二进制包方式安装,安装目录为/opt/。

① 查看当前JDK rpm包

rpm -qa | grep jdk

java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64

② 删除自带JDK

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64

rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64

③ 安装指定JDK

进入安装包所在目录并解压

④ 配置环境变量

编辑~/.bashrc或者/etc/profile,添加如下内容:

#JAVAexport JAVA_HOME=/opt/jdk1.7export PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=$JAVA_HOME/libexport CLASSPATH=$CLASSPATH:$JAVA_HOME/jre/lib

2.3 SSH无密码登陆配置

① 需要设置如上表格所示8台主机间的SSH无密码登陆。

② 进入hadoop用户的根目录下并通过命令ssh-keygen -t rsa 生成秘钥对

③ 创建公钥认证文件authorized_keys并将生成的~/.ssh目录下的id_rsa.pub文件 的内容输出至该文件:

more id_rsa.pub > auhorized_keys

④ 分别改变~/.ssh目录和authorized_keys文件的权限:

chmod 700 ~/.ssh;chmod 600 ~/.ssh/authorized_keys

⑤ 每个节点主机都重复以上步骤,并将各自的~/.ssh/id_rsa.pub文件的公钥拷贝至其 他主机。

对于以上操作,也可以通过一句命令搞定:

rm -rf ~/.ssh;ssh-keygen -t rsa;chmod 700 ~/.ssh;more ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys;chmod 600 ~/.ssh/authorized_keys;

  • 毋庸置疑服务器虚拟化技术大大的提高了数据中心的效率。

    根据对1602位IT专业人士的市场调研结果,ESG研究公司发现有将近四分之三(74%)的北美企业和大中型企业目前都在使用服务器虚拟化技术,另外12%的企业目前正在对这项技术进行评估或者体验。

    服务器虚拟化的影响将绝不是一种短期现象,ESG研究公司的所有调研数据都表明了服务器虚拟化技术在未来两年内将持续增长和加大投入的态势。

    但是如果你沉迷于虚拟化技术领域的资讯,市场和宣传信息并受到这些信息的引导,你会认为IT行业正在对工作负载实现快速自动化的过程,虚拟机被成百上千的配置,每个人都在快速的向云挺进--但事实上速度并没有那么快。

    *多数部署了服务器虚拟化的企业运行的虚拟机数量都没有超过250个(无论是投入实际应用还是处于测试/研发阶段的)。

    *在非虚拟化支持的平台上运行的遗留系统和遗留应用软件是妨碍企业更加深入的部署服务器虚拟化的首要因素。

    *ESG目前调研的企业用户中不到三分之一的企业采用的是虚拟机在线迁移,当他们实施在线迁移时,首先会将其应用在事先规划好的硬件维护上。

    服务器虚拟化是一项能为企业用户提供持续价值的伟大技术,但是目前服务器虚拟化技术对于现有的应用软件(IT部门之前所管理的应用软件)而言更多的是处于待命的状态。

    IT运作在整合工作负载(之前的Windows环境下运行的),数据中心甚至流程操作上取得了长足的进步,但是我认为不认为服务器虚拟化是未来的平台。

    当云来临时,定义更加清晰的企业可能会探索可供选择的应用软件平台和消费模式,如今这些企业的需求是:

    #1.将物理服务器迁移至虚拟机,来用于工作负载整合,提高应用软件可用性和改进灾难恢复流程。

    #2.维护应用软件,使其得到更好的保护和更有效的运行

    #3.将工作负载迁移至更加高效和经济的平台--云。

    企业用户整体跳过#1,采用#2并为#3做好准备是个似是而非的命题。

    或者当他们对#1进行过渡并将#2到#3设置为高优先级时,可能性更大的是将#1作为后备选择。

    关注点直接集中在大家相信将#将自然而然的将IT带入全面自动化的自助服务企业。

    这种情况当然会发生,但是安全,企业复杂性,应用软件现有的投入和对应用软件平台的创新随着时间的推移会减缓服务器虚拟化的增长速度并提高整个行业和各种类型企业的合理性和消费量。#p#分页标题#e#

    (责任编辑:admin)

  • 相关推荐:

  • 调研:IT部署必备技术—
  • 数据是关键中小企业存储
  • 解读X86服务器部署虚拟化
  • 新手如何在物理机上部署
  • 巧妙部署虚拟化避免不必
  • 简化部署戴尔虚拟化解决
  • 到底部署vSphere需要消耗
  • 部署傲盾的idc机房有哪些
  • 景安网络发布新一轮“
  • 浪潮联合VMware发布新一代
  • 网站内容禁止违规转载,转载授权联系中国云计算网