Hadoop2.4.0Hbase098.9完全分布式安装部署

作者: 云计算机网 分类: 云计算知识 发布时间: 2016-08-30 06:10
1准备环境1.1所需软件包

a、CentOS-6.5-i386-LiveDVD.iso 32位centos系统

b、jdk-7u71-linux-i586.rpm 32位jdk-Linux rpm文件

c、hadoop-2.2.0.tar.gz hadoop安装包

d、zookeeper-3.4.6.tar.gz zookeeper安装包

1.2运行环境

a、VMware9.0及以上版本虚拟机工具

b、创建三个虚拟机节点

c、网卡模式设置为桥接模式

1.3节点信息

Hadoop1 192.168.120.191 namenode,resourcemanagerHMaster, HRegionServer

Hadoop2 192.168.120.192 namenode,resourcemanagerHRegionServer

Hadoop3 192.168.120.193 datanode,nodemanagerHRegionServer

2具体配置2.1系统配置

安装三个Centos6.5 32位系统作为三个节点

2.1.1配置网络

#vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"

BOOTPROTO="static"

IPV6INIT="yes"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

IPADDR=192.168.120.191

NETMASK=255.255.255.0

GATEWAY=192.168.120.1

DNS1=210.31.249.20

2.1.2修改hostname和hosts文件

#vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=hadoop1


#vim /etc/hosts

192.168.120.191hadoop1

192.168.120.192hadoop2

192.168.120.193hadoop3


2.1.3关闭iptables和selinux

#serviceiptables stop

#chkconfigiptables off

#vim/etc/selinux/config

...

SELINUX=disabled

...


将另外两台虚机做上述同样的操作,只需将相应的IP地址和hostname做相应的修改即可,然后将三个节点都重启,执行命令 #init 0 或 #reboot

2.1.4 SSH无密钥登录

三个节点都执行

#ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa

#cp /root/.ssh/id_dsa.pub/root/.ssh/authorized_keys

分别将三个节点/root/.ssh/id_dsa.pub中的内容都拷贝到各个节点的authorized_keys文件中


以上是hadoop1的authorized_keys中的内容,hadoop2和hadoop3节点也须保持一致,保存退出后,检验是否生效:

Hadoop1节点:

#ssh hadoop2 //第一次登陆会有提示,输入yes


#ssh hadoop3


Hadoop2节点:


Hadoop3节点:

  • 近期,曙光成功斩获中国石油集团东方地球物理勘探有限责任公司(简称东方地球物理公司)2018年度最大规模地震资料处理解释系统分布式存储集群项目,曙光ParaStor云存储系统再获客户认可。

    据了解,东方地球物理公司在全国乃至全球设立数百个科研生产单位,业务覆盖范围广,并且拥有国内物探行业最大的数据处理中心。近五年,东方地球物理公司平均每年发现和落实圈闭近4500个,共建议各类井位21926口,被采纳率高达75%,被国家授予地质勘探功勋单位。

    随着物探行业的发展及勘探技术的不段演进,勘探精度越来越高,成像技术、人工智能技术也得到了广泛的发展和应用,这就对IT基础架构提出了的挑战,尤以成像技术和两高一宽采集技术对数据存储和数据处理的要求呈几何性成长。

    东方地球物理公司今年运作单体项目原始数据量初期将近1.5PB,这就要求处理解释的数据存储量必须达到10PB以上,并且要求IO吞吐量达到15GB/s以上,并且随着项目持续开展,原始数据量可达2.5PB,单体项目数据存储量至少要20PB以上,对分布式存储系统提出了严苛的挑战。

    针对该项目,曙光与客户深入研究,综合物探行业的应用特点、数据处理流程、数据结果展示特征、客户端打开特征等多方面因素,以曙光ParaStor产品为核心,对分布式存储架构进行优化和针对性调优,打造了一款完美的分布式存储系统解决方案,以应对物探行业数据存储量爆炸式增长。

    作为完全自主研发的分布式存储系统,曙光ParaStor在NAS存储市场中国区IDC排名连续5年排名前三,在石油物探、生物基因、气象环境、卫星遥感、广电媒体、视频大数据等多个领域均有大规模的应用,曙光的产品和服务有效保障了用户应用运行和数据安全。

    目前,曙光ParaStor已连续多年取得中石油、中石化、中海油等多个物探单位的定向采购。此次中标正是曙光以行业需求为驱动,不断探索先进信息技术与应用场景的深度融合,全面满足各领域信息化建设需求的有力实践。

  • 相关推荐:

  • 物探领域新突破,曙光斩
  • 石油勘探,看曙光分布式
  • 电脑上的软件怎么完全卸
  • 如果智能机器完全代替小
  • 雷迎春解析达沃时代的分
  • 分布式监控系统ganglia配
  • 分布式RPC框架基于zerom
  • 安装部署分布式监控系统
  • 分布式ganglia自定义扩展
  • Zabbix监控之节点分布式管
  • 网站内容禁止违规转载,转载授权联系中国云计算网