Hadoop2.2.0和HBase

作者: 云计算机网 分类: 云计算知识 发布时间: 2016-10-18 12:34

1、安装需要的依赖包及软件

需要安装的依赖包有:

gcc、c++、 autoconf、automake、libtool

需要安装的配套软件有:

Java6、Maven

关于上面的依赖包,如果在ubuntu下,使用sudo apt-get install * 命令安装,如果在centos下,使用sudo yum install *命令来安装。

关于配套的Java和Maven的安装,参考博文《Linux下Java、Maven、Tomcat的安装》。

2、下载snappy-1.1.2

可供下载的地址:

地址一:https://code.google.com/p/snappy/wiki/Downloads?tm=2

地址二:http://download.csdn.net/detail/iam333/7725883

3、编译并动态安装

下载后解压到某个文件夹,此处假设解压的地址位home目录。再执行如下命令如下:

$ cd ~/snappy-1.1.2$ sudo ./configure$ sudo ./make$ sudo make install
然后执行如下命令查看是否安装成功。

$ cd /usr/local/lib$ ll libsnappy.*-rw-r--r-- 1 root root 233506 Aug 7 11:56 libsnappy.a-rwxr-xr-x 1 root root    953 Aug 7 11:56 libsnappy.lalrwxrwxrwx 1 root root     18 Aug 7 11:56 libsnappy.so -> libsnappy.so.1.2.1lrwxrwxrwx 1 root root     18 Aug 7 11:56 libsnappy.so.1 -> libsnappy.so.1.2.1-rwxr-xr-x 1 root root 147758 Aug 7 11:56 libsnappy.so.1.2.1
如果安装过程中没有遇到错误,且/usr/local/lib目录下有上面的文件,表示安装成功。

4、hadoop-snappy源码编译

1)下载源码,两种方式

a、安装svn,如果是ubuntu,使用sudo apt-get install subversion;如果是centos,使用sudo yum install subversion命令安装。

b、使用svn 从谷歌的svn仓库中checkout源码,使用如下命令:

$ svn checkout http://hadoop-snappy.googlecode.com/svn/trunk/ hadoop-snappy
这样就在执行命令的目录下将hadoop-snappy的源码拷贝出来放在hadoop-snappy目录中。

不过因为谷歌的服务在大陆总是出问题,所以也可以选择直接下载,地址:http://download.csdn.net/detail/iam333/7726023

2)编译hadoop-snappy源码

切换到hadoop-snappy源码的目录下,执行如下命令:

a、如果上面安装snappy使用的是默认路径,命令为:

mvn package
b、如果上面安装的snappy使用的是自定义路径,则命令为:

mvn package [-Dsnappy.prefix=SNAPPY_INSTALLATION_DIR]
其中SNAPPY_INSTALLATION_DIR位snappy安装路径。

编译过程中可能出现的问题:

a)/root/modules/hadoop-snappy/maven/build-compilenative.xml:62: Execute failed: java.io.IOException: Cannot run program “autoreconf” (in directory “/root/modules/hadoop-snappy/target/native-src”): java.io.IOException: error=2, No such file or directory

解决方案:说明缺少文件,但是这个文件是在target下的,是编译过程中自动生成的,原本就不该存在,这是问什么呢?其实根本问题不是缺文件,而是Hadoop Snappy是需要一定的前置条件。所以请参考最上面的安装依赖包介绍安装依赖包。

  • 计算机的硬盘容量与操作系统的硬盘容量存在差异,这不是计算机硬盘安装错误,而是计算机领域的一种正常现象,下面爱站技术频道小编就告诉你这些原因。

    计算机的硬盘容量与操作系统的硬盘容量存在差异,这不是计算机硬盘安装错误,而是计算机领域的一种正常现象,下面爱站技术频道小编就告诉你这些原因。

    a. 硬盘制造商和计算机操作系统对硬盘容量的计算标准不同硬盘制造商在标注硬盘容量时采用的是1000进制,即:1G = 1,000MB,1MB =1,000KB,1KB = 1,000byte ;然而,操作系统在识别硬盘容量时采用的是1024 进制,即:1GB = 1,024MB,1MB = 1,024KB,1KB = 1,024byte。您的电脑硬盘的标称容量采用的是硬盘制造商的计算标准,由于硬盘制造商和操作系统在计算硬盘容量时采用的标准不同,导致了硬盘标称容量和硬盘在操作系统中显示的容量出现差异。  例如,硬盘标称是XG,那么,即使在完全没有被使用的情况下,它在操作系统中显示的容量也只是:X×1000×1000×1000/(1024×1024×1024) ≈ X×0.931 G。  如果硬盘的部分空间已被用于特定用途, 那么操作系统中显示的容量还将小于X×0.931G。  b. 硬盘的部分空间被用于特定用途  由于配备了一键恢复功能,硬盘在出厂前已经划分出一块特定分区,用以存放硬盘镜像文件以及一键恢复程序文件,该部分硬盘空间的具体数值因电脑的机型和安装的操作系统和软件的不同而不同。出于安全考虑,这块分区只能在“磁盘管理”中看到,即通常所说的“隐藏分区”或“服务分区”。此外,在硬盘被分区或格式化后,系统会在硬盘上占用一些空间,提供给系统文件使用。 由于这些原因,您在操作系统中看到的可用硬盘空间总是小于计算机硬盘的额定容量,如果还有需要了解的内容,就继续关注爱站技术频道吧!
  • 相关推荐:

  • 硬盘容量的计算方法和说
  • IT和IT行业的介绍
  • 张文翊:亚马逊瞄准跨境
  • 惠普和微软联合推出多款
  • 解读应用程序虚拟化和桌
  • XenClient2和XenClientXT有何区
  • SDN和NFV:互补而非竞争
  • VMware和微软霸占x86服务器
  • linux命令行和shell脚本编
  • 景安和万网控制面板对比
  • 网站内容禁止违规转载,转载授权联系中国云计算网