详解Hadoop2.7.2 编译64位源码

技术  /  管理员 发布于 7年前   489

一、环境准备

1.CentOS配置

最好是用新克隆的虚拟机 ，虚拟机内存设置大一点（我设置的4G），配置网络，主机名，关闭防火墙，关闭selinux
注意：采用root角色编译，减少文件夹权限出现问题

2.jar包准备(hadoop源码、JDK8、maven、ant 、protobuf)

（1）hadoop-2.7.2-src.tar.gz
（2）jdk-8u144-linux-x64.tar.gz
（3）apache-ant-1.9.9-bin.tar.gz（build工具，打包用的）
（4）apache-maven-3.0.5-bin.tar.gz
（5）protobuf-2.5.0.tar.gz（序列化的框架）

3.jar包安装（注意：所有操作必须在root用户下完成）

JDK

1.解压

tar -zxf jdk-8u141-linux-x64.tar.gz -C /export/compile

2.配置环境变量

vim /etc/profileexport JAVA_HOME=/export/compile/jdk1.8.0_141export PATH=$PATH:$JAVA_HOME/bin

3.更新profile文件

source /etc/profile

4.验证安装是否成功

验证命令：jps  出现jps进程表示安装配置成功

2.Maven

1.解压&重命名

tar -zxf apache-maven-3.0.5-bin.tar.gz -C /export/compilemv /export/compile/apache-maven-3.0.5-bin.tar.gz /export/compile/maven

2.修改配置文件

vim /export/compile/maven/conf/settings.xml

添加阿里云镜像地址：

<mirrors> <mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public</url> </mirror></mirrors>

3.配置环境变量

vim /etc/profileexport MAVEN_HOME=/export/compile/mavenexport PATH=$PATH:$MAVEN_HOME/bin

4.更新profile文件

source /etc/profile

5.验证安装是否成功

验证命令：mvn -version   出现版本信息表示安装成功

3.ant

1.解压&重命名

tar -zxf apache-ant-1.9.9-bin.tar.gz -C /export/compilemv apache-ant-1.9.9 ant

2.配置环境变量

vim /etc/profileexport ANT_HOME=/export/compile/antexport PATH=$PATH:$ANT_HOME/bin

3.更新profile文件

source /etc/profile

4.验证安装是否成功

验证命令：ant -version   出现版本信息表示安装成功

4.glibc-headers

yum -y install glibc-headersyum -y install gcc-c++

5.make和cmake

yum -y install makeyum -y install cmake

6.protobuf

1.解压&重命名&进入protobuf根目录

tar -zxf protobuf-2.5.0.tar.gz -C /export/compilemv protobuf-2.5.0/ protobufcd /export/compile/protobuf

2.依次执行如下命令

1 ./configure
2 make
3 make check
4 make install
5 ldconfig

3.配置环境变量

vim /etc/profileexport LD_LIBRARY_PATH=/export/compile/protobufexport PATH=$PATH:$LD_LIBRARY_PATH

4.更新profile文件

source /etc/profile

5.验证安装是否成功

验证命令：protoc --version  出现版本信息表示安装成功

7.安装openssl库

yum -y install openssl-devel

8.安装 ncurses-devel库

yum -y install ncurses-devel

二、编译源码

1.解压

tar -zxf hadoop-2.7.2-src.tar.gz -C /export/compile

2.进入hadoop源码主目录

/export/compile/hadoop-2.7.2-src

3.通过maven执行编译命令

mvn package -Pdist,native -DskipTests -Dtar

4.然后就是漫长的等待...（大约等待时间30分钟左右，最终成功是全部SUCCESS，如下图所示）

5.成功的64位hadoop包在/export/compile/hadoop-2.7.2-src/hadoop-dist/target目录下

三、编译源码过程中常见的问题及解决方案

（1）MAVEN install时候JVM内存溢出

原因以及处理方式：在环境配置文件和maven的执行文件均可调整MAVEN_OPT的heap大小。
（详情查阅MAVEN 编译 JVM调优问题，如：http://outofmemory.cn/code-snippet/12652/maven-outofmemoryerror-method）

（2）编译期间maven报错

原因以及处理方式：可能网络阻塞问题导致依赖库下载不完整导致，多次执行命令（一次通过比较难）：

mvn package -Pdist,nativeN -DskipTests -Dtar

（3）报ant、protobuf等错误

原因以及处理方式：插件下载未完整或者插件版本问题，最开始链接有较多特殊情况。

总结

到此这篇关于Hadoop2.7.2 编译64位源码的文章就介绍到这了,更多相关Hadoop 编译源码内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！