hadoop学习(五)Hadoop2.2.0完全分布式安装详解(1)

作者: 云计算机网 分类: 云计算知识 发布时间: 2016-11-10 07:46
和同伴一起搭建hadoop集群中遇到的各种问题,整理如下:前言

在寒假前的一段时间,开始调研Hadoop2.2.0搭建过程,当时苦于没有机器,只是在3台笔记本上,简单跑通一些数据。一转眼一两个月过去了,有些东西对已经忘了。现在学校这边实验室申请下来了,分了10台机器(4G+500G),这足够我们玩的了。开始搭建Hadoop2.2.0分布式集群,也趁着这个机会把整个流程梳理一下。

在很多博客中有关于Hadoop2.2.0版本的安装过程,有的很全,但是按照去做,还是会出现一些问题卡在那里。有的时候需要结合几篇文档去搭建平台。在这篇博客汇总会把我们遇到的问题,以及搭建过程中发生的一些事情总结一下。有关于hadoop具体的安装过程和配置相应的文件,我们后续也会给出来。

如果你决定花点时间去读这篇文章了,请大家仔细读一下,因为每一个点,我们都在上面耽误了一些时间,梳理一下,大家如果遇到相应的问题,也算给大家提供了一个解决方案。

1、系统环境-配置静态IP:

Ubuntu环境,这里我们采用的是32位12.04.2版本。我们原先在老版本10.04中搭建,在安装ssh的时候,出现了问题。后来为了集群统一管理,我们把ubuntu整个版本升级到12.04(重装ubuntu)。

简单说一下ubuntu安装过程,在windows系统中,利用wubi安装是最简单的,点击自己安装,然后按照步骤执行。结束后,遇到一个棘手的问题:新装的ubuntu不能上网。而这是搭建hadoop环境的前提,保证可以上网。

解决方法:配置静态IP。

在ubuntu12.04版本中,右上角,有个上下图标,点击编辑连接,手动设置静态IP、网关、子网掩码、DNS。这样做的目的:是能保证ubuntu上网,是第一步。

上述是图形化配置静态IP,我们也可以通过如下步骤手动配置。

执行:

sudo gedit /etc/network/interfaces

输入:

     auto eth0     iface eth0 inet static      address 172.16.128.136     netmask 255.255.255.0     gateway 172.16.128.1

保存:重启网关

sudo /etc/init.d/networking restart

2、安装jdk

这里会遇到一些问题。原因是,如果你是新装的ubuntu基本上不会遇到这种问题,你可以按照下面(1)的步骤就可以配置好环境变量,通过Java -version就可以查看jdk版本。如果你是在操作别人的电脑,由于原来jdk版本不一致。要重新安装jdk,但不能影响别人用户下的jdk版本。

解决的办法就是,把自己要安装的jdk解压到本地用户如:/home/zz/jvm/jdk1.7.0_45,然后配置.bashrc环境变量。结束保存,source .bashrc后,java -version查看jdk版本号。

  • 据国外媒体报道,随着新技术的发展和广泛传播,企业运算的方式将会大大改变。

      其中一些是从消费业务相关技术发展而来,有的则是由实验室开发的,甚至有些是和现有技术相结合的结果。

    现在我们来列举一下未来改变企业运算方式的前五大技术。

      1、下一代搜索引擎。

    搜索与广告融合是谷歌最大的成就,下一代搜索将与社交网络和信息定位相结合,用户将能进行情绪化的搜索,这样广告商能得到更多的益处。

    比如,谷歌正在秘密开发代号为“咖啡因”的下一代搜索引擎,微软与百度也不甘落后。

    可见,下一代搜索是一个巨大的机遇,微软、谷歌或是雅虎谁将成为搜索技术主导厂商,拭目以待。

      2、虚拟化。

    如果说进行一场远程电话会议就是企业虚拟化应用,那就太简单化理解这个技术。

    企业利用现有的软件建立的虚拟化环境,在性能和集成度上还存在一些问题。

    比如,进行正式和非正式的会议、实时报告销售业绩等业务都是一个企业可以在真实IT环境上应用,但部署虚拟化可以减少这类应用成本,如今还没有一家企业完全采用虚拟化技术。

      3、虚拟化管理平台。

    虚拟化不仅仅是减少了数据中心中服务器的数量,桌面电脑与笔记本电脑、智能手机等相关设备都在进行虚拟化应用。

    虚拟环境的管理不断完善,但负责整个企业IT环境可用性和安全性的综合性管理平台仍在开发之中。

      4、创建“云”。

    目前云计算绝对是技术市场的热点话题,但CIO们仍然不太愿意把公司的业务应用于云计算环境。

    以云服务补充现有的业务应用,随着安全不断改善,未来会有更多的企业大规模使用云计算。

      5、不确定因素。

    技术总是不断在变化,正在改变商业环境和市场的技术往往很快就被取代了,被漠视的技术经常会成为市场上的主导。

    不妨猜测一下,下一个主导的商业应用是什么?我倾向于管理技术,包括能源管理、远程教学,为公众和私人提供财务管理。

    未来是什么情况尚且没有定论,我们会继续对市场保持关注。

    (责任编辑:admin)

  • 相关推荐:

  • 改变企业运算环境的“未
  • 微软明确2011年五重点:
  • 五要素考虑全虚拟化安全
  • 服务器虚拟化整合需注意
  • 解读X86服务器部署虚拟化
  • 五个被忽视的vSphere5特性
  • shell脚本学习指南
  • 快云云端全线五折云计算
  • 豫企五百会|电商企业家
  • 网页开发工具有哪些?
  • 网站内容禁止违规转载,转载授权联系中国云计算网