hadoop1.1.2分布式环境搭建

作者: 云计算机网 分类: 云计算知识 发布时间: 2016-11-08 01:22

hadoop1.1.2分布式安装

Hadoop简介

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

  对于Hadoop的集群来讲,可以分成两大类角色:Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其众喎?http://www.it165.net/pro/pkqt/" target="_blank" class="keylink">QTmFtZU5vZGXX986q1ve3/s7xxvejrLncwO3OxLz+z7XNs7XEw/zD+7/VvOS6zb/Nu6e2y7bUzsS8/s+1zbO1xLfDzsqy2df3o7u8r8i61tC1xERhdGFOb2RludzA7bTmtKK1xMr9vt2ho01hcFJlZHVjZb/yvNzKx9PJ0ru49rWltsDUy9DQ1NrW973atePJz7XESm9iVHJhY2tlcrrN1MvQ0NTaw7+49ryvyLq0073ateO1xFRhc2tUcmFja2VyubLNrNfps8m1xKGj1ve92rXjuLrU8LX3tsi5ubPJ0ru49tf30rW1xMv509DIzs7xo6zV4tCpyM7O8bfWsrzU2rK7zay1xLTTvdq148nPoaPW973ateO84L/Yy/zDx7XE1rTQ0Mfpv/ajrLKix9LW2NDC1rTQ0Naux7C1xMqnsNzIzs7xo7u0073ateO99ri61PDTydb3vdq149a4xcm1xMjOzvGho7Wx0ru49kpvYrG7zOG9u8qxo6xKb2JUcmFja2VyvdPK1bW9zOG9u9f30rW6zcXk1sPQxc+i1q6686Osvs274b2rxeTWw9DFz6K1yLfWt6K4+LTTvdq146OszazKsbX3tsjIzs7xsqK84L/YVGFza1RyYWNrZXK1xNa00NChozwvcD4KPHA+IDwvcD4KPHA+tNPJz8PmtcS96cncv8nS1L+0s/ajrEhERlO6zU1hcFJlZHVjZbmyzazX6bPJwctIYWRvb3C31rK8yr3Ptc2zzOXPtb3hubm1xLrL0MSho0hERlPU2ryvyLrJz8q1z9a31rK8yr3OxLz+z7XNs6OsTWFwUmVkdWNl1Nq8r8i6yc/Ktc/Wwcu31rK8yr28xsvjus3Izs7xtKbA7aGjSERGU9TaTWFwUmVkdWNlyM7O8bSmwO25/bPM1tDM4bmpwcvOxLz+stnX97rNtOa0orXI1qez1qOsTWFwUmVkdWNl1NpIREZTtcS7+bShyc/Ktc/WwcvIzs7xtcS31reioaK4+tfZoaLWtNDQtci5pNf3o6yyosrVvK+94bn7o6y2/tXfz+C7pdf308OjrM3qs8nBy0hhZG9vcLfWsrzKvbyvyLq1xNb30qrIzs7xoaM8L3A+CjxwPiA8L3A+CjxoMz67t76zy7XD9zwvaDM+CjxoND68r8i6uea7rjwvaDQ+CjxwPqGhvK/IutbQsPzAqDO49r3ateOjujG49k1hc3RlcqOsMrj2U2xhdmWjrL3atePWrrzkvtbT8s34way906Osv8nS1M/gu6VwaW5nzaijrDwvcD4KPHRhYmxlIGJvcmRlcj0="1" cellspacing="0" cellpadding="0">

机器名称

IP地址

节点说明

icity0

192.16.39.141

Master

icity1

192.16.39.174

Slave

icity2

192.16.39.175

Slave

3个节点上均是Redhat6系统,并且有一个相同的用户hadoop。Master机器主要配置NameNode和JobTracker的角色,负责总管分布式数据和分解任务的执行;2个Salve机器配置DataNode和TaskTracker的角色,负责分布式数据存储以及任务的执行。

Linux服务器配置信息

[root@localhost ~]# uname -a

Linux localhost.localdomain2.6.32-220.el6.x86_64 #1 SMP Wed Nov 9 08:03:13 EST 2011 x86_64 x86_64 x86_64GNU/Linux

[root@localhost ~]# free

total used free shared buffers cached

Mem: 2054828 1928908 125920 0 67940 95796

-/+ buffers/cache: 1765172 289656

Swap: 6291448 511492 5779956

创建hadoop用户

[root@localhost ~]# uname -a

Linux localhost.localdomain 2.6.32-220.el6.x86_64#1 SMP Wed Nov 9 08:03:13 EST 2011 x86_64 x86_64 x86_64 GNU/Linux

  • 据国外媒体报道,随着新技术的发展和广泛传播,企业运算的方式将会大大改变。

      其中一些是从消费业务相关技术发展而来,有的则是由实验室开发的,甚至有些是和现有技术相结合的结果。

    现在我们来列举一下未来改变企业运算方式的前五大技术。

      1、下一代搜索引擎。

    搜索与广告融合是谷歌最大的成就,下一代搜索将与社交网络和信息定位相结合,用户将能进行情绪化的搜索,这样广告商能得到更多的益处。

    比如,谷歌正在秘密开发代号为“咖啡因”的下一代搜索引擎,微软与百度也不甘落后。

    可见,下一代搜索是一个巨大的机遇,微软、谷歌或是雅虎谁将成为搜索技术主导厂商,拭目以待。

      2、虚拟化。

    如果说进行一场远程电话会议就是企业虚拟化应用,那就太简单化理解这个技术。

    企业利用现有的软件建立的虚拟化环境,在性能和集成度上还存在一些问题。

    比如,进行正式和非正式的会议、实时报告销售业绩等业务都是一个企业可以在真实IT环境上应用,但部署虚拟化可以减少这类应用成本,如今还没有一家企业完全采用虚拟化技术。

      3、虚拟化管理平台。

    虚拟化不仅仅是减少了数据中心中服务器的数量,桌面电脑与笔记本电脑、智能手机等相关设备都在进行虚拟化应用。

    虚拟环境的管理不断完善,但负责整个企业IT环境可用性和安全性的综合性管理平台仍在开发之中。

      4、创建“云”。

    目前云计算绝对是技术市场的热点话题,但CIO们仍然不太愿意把公司的业务应用于云计算环境。

    以云服务补充现有的业务应用,随着安全不断改善,未来会有更多的企业大规模使用云计算。

      5、不确定因素。

    技术总是不断在变化,正在改变商业环境和市场的技术往往很快就被取代了,被漠视的技术经常会成为市场上的主导。

    不妨猜测一下,下一个主导的商业应用是什么?我倾向于管理技术,包括能源管理、远程教学,为公众和私人提供财务管理。

    未来是什么情况尚且没有定论,我们会继续对市场保持关注。

    (责任编辑:admin)

  • 相关推荐:

  • 改变企业运算环境的“未
  • IDF成果:英特尔的未来环
  • 虚拟化环境中如何提升
  • VMwarevSphere为中小企业简
  • 申菱环境:云计算应用迅
  • 戴尔科技集团超融合基础
  • 物探领域新突破,曙光斩
  • 石油勘探,看曙光分布式
  • KDE Plasma 5.13开源桌面环境
  • 苹果Mac电脑怎么配置JD
  • 网站内容禁止违规转载,转载授权联系中国云计算网