当前位置: 首页 > 云计算, 分布式 > 正文

Hadoop-2.2.0源码编译,搭建与配置

【摘要】之前一直使用Hadoop1.x的版本,计划升级到2.x,找了3台测试vm机器,搭建了一下,本以为非常简单,但由于Hadoop2.x版本与Hadoop1.x版本变化较大,还是费了一些周折,下面是一些详细的步骤。本例的步骤应该可以跑起来,Hadoop参数还需要一些具体的优化。

一、搭建:
下载需要的包:JDK,svn,cmake,ncurses,openssl,gcc,maven,protobuf

操作系统为:CentOS6.5-64bit
1. 安装需要的包:

2.安装maven,下载并解压maven:

3. 安装ant,下载并解压ant:

4.安装protobuf

5.配置环境变量:

6. 源码编译Hadoop
官方提供的二进制下载文件是32位的,因为虚拟机是64位的,所以需要下载源码进行手动编译:

编译后的包:

需要的是hadoop-2.2.0.tar.gz,64bit的哦。

二、Hadoop配置
三个节点:

$HADOOP_HOME=/home/hadoop/hadoop

配置文件不在conf中了,新版本的目录是在: $HADOOP_HOME/etc/hadoop
hdfs-site.xml
mapred-site.xml
yarn-site.xml
core-site.xml
yarn-env.sh
hadoop-env.sh

cat core-site.xml

cat hdfs-site.xml

cat mapred-site.xml

cat yarn-site.xml

三、Hadoop启动
hdfs namenode -format

启动hdfs

hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
hadoop-daemon.sh start secondarynamenode
或者:start-dfs.sh

启动yarn
yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager
或者:start-yarn.sh

参考文档
https://hadoop.apache.org/docs/r2.2.0/

测试

WEB UI显示:
http://172.16.1.35:50070/dfshealth.jsp
http://172.16.1.35:8088/cluster

三个节点的jps状态:

这样基本的MapReduce也可以运行了,搭建基本完成。

本文固定链接: https://www.sudops.com/build-up-hadoop-2-2-0-from-src.html | 运维·速度

该日志由 Fisher 于2014年09月30日发表在 云计算, 分布式 分类下, 你可以发表评论,并在保留原文地址及作者的情况下引用到你的网站或博客。
原创文章转载请注明: Hadoop-2.2.0源码编译,搭建与配置 | 运维·速度
关键字:

Hadoop-2.2.0源码编译,搭建与配置:等您坐沙发呢!

发表评论


Time limit is exhausted. Please reload the CAPTCHA.

快捷键:Ctrl+Enter