Hadoop的学习前奏(二)Hadoop集群的配置

作者: 云计算机网 分类: 云计算知识 发布时间: 2016-06-30 18:58
前言:

Hadoop集群的配置即完全分布式Hadoop配置。

笔者的环境:

Linux: CentOS 6.6(Final) x64
JDK: java version "1.7.0_75"
OpenJDK Runtime Environment (rhel-2.5.4.0.el6_6-x86_64 u75-b13)
OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)
SSH: OpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013
Hadoop: hadoop-1.2.1

步骤:

注:本文的实验是基于伪分布式Hadoop环境的。这里默认你的系统已经可以安装伪分布式的Hadoop了。如果你的系统还不能安装伪分布式Hadoop,请参考《Hadoop的学习前奏——在Linux上安装与配置Hadoop》一文完成配置。

1.首先在三台主机上创建相同的用户

2.在三台主机上分别设置/etc/hosts和/etc/hostname

$ vim /etc/hosts

$ vim /etc/hostname

3.在这三台主机上安装OpenSSH,并配置SSH可以免密码登录。

关于在单机上进行免密码登录的部分,我在上一篇博客中有详细说明。如果你的配置出了问题以致无法免密码登录,上一篇博客中有具体的做法,这里不再赘述。

将master中的authorized_keys复制给两台slave,做法如下:

$ scp authorized_keys slave1:~/.ssh/

$ scp authorized_keys slave2:~/.ssh/

4.配置三台主机的Hadoop文件。

$ vim core-site.xml

$ vim hdfs-site.xml

$ vim mapred-site.xml

$ vim masters

$ vim slaves

至此,Hadoop的配置已基本完成,你可以通过

5.启动Hadoop

bin/hadoop namenode -format

bin/start-all.sh

6.验证

你可以通过以下命令或是通过访问http://master:50030和http://master:50070查看集群状态

hadoop dfsadmin -report

  • 计算机的硬盘容量与操作系统的硬盘容量存在差异,这不是计算机硬盘安装错误,而是计算机领域的一种正常现象,下面爱站技术频道小编就告诉你这些原因。

    计算机的硬盘容量与操作系统的硬盘容量存在差异,这不是计算机硬盘安装错误,而是计算机领域的一种正常现象,下面爱站技术频道小编就告诉你这些原因。

    a. 硬盘制造商和计算机操作系统对硬盘容量的计算标准不同硬盘制造商在标注硬盘容量时采用的是1000进制,即:1G = 1,000MB,1MB =1,000KB,1KB = 1,000byte ;然而,操作系统在识别硬盘容量时采用的是1024 进制,即:1GB = 1,024MB,1MB = 1,024KB,1KB = 1,024byte。您的电脑硬盘的标称容量采用的是硬盘制造商的计算标准,由于硬盘制造商和操作系统在计算硬盘容量时采用的标准不同,导致了硬盘标称容量和硬盘在操作系统中显示的容量出现差异。  例如,硬盘标称是XG,那么,即使在完全没有被使用的情况下,它在操作系统中显示的容量也只是:X×1000×1000×1000/(1024×1024×1024) ≈ X×0.931 G。  如果硬盘的部分空间已被用于特定用途, 那么操作系统中显示的容量还将小于X×0.931G。  b. 硬盘的部分空间被用于特定用途  由于配备了一键恢复功能,硬盘在出厂前已经划分出一块特定分区,用以存放硬盘镜像文件以及一键恢复程序文件,该部分硬盘空间的具体数值因电脑的机型和安装的操作系统和软件的不同而不同。出于安全考虑,这块分区只能在“磁盘管理”中看到,即通常所说的“隐藏分区”或“服务分区”。此外,在硬盘被分区或格式化后,系统会在硬盘上占用一些空间,提供给系统文件使用。 由于这些原因,您在操作系统中看到的可用硬盘空间总是小于计算机硬盘的额定容量,如果还有需要了解的内容,就继续关注爱站技术频道吧!
  • 相关推荐:

  • 硬盘容量的计算方法和说
  • IT和IT行业的介绍
  • 路由的追踪命令
  • AMD推土机处理器的知识
  • 带你了解ape与mp3的区别
  • scroll lock键的作用
  • 辨别笔记本是否为翻新机
  • H77、Z75、Z77主板的区别
  • 巧克力键盘的介绍
  • 串流服务是什么 云电脑
  • 网站内容禁止违规转载,转载授权联系中国云计算网