Hadoop集群环境安装步骤_JAVA_编程开发_程序员俱乐部

中国优秀的程序员网站程序员频道CXYCLUB技术地图
热搜:
更多>>
 
您所在的位置: 程序员俱乐部 > 编程开发 > JAVA > Hadoop集群环境安装步骤

Hadoop集群环境安装步骤

 2015/1/15 9:58:00  18901888895  程序员俱乐部  我要评论(0)
  • 摘要:1.实验环境:1)三台主机,IP地址和记住名称如下:IP:132.129.31.36主机名:ossitsp3用途:主节点(Master)IP:132.129.31.37主机名:ossitsp4用途:从节点(Slaver)IP:132.129.31.38主机名:ossitsp5用途:从节点(Slaver)其中36主机作为主节点,37和38作为从节点。2)Hadoop版本:hadoop-2.4.12.安装步骤概览3.操作过程1)检查前置软件JDK。Hadoop是基于JVM的
  • 标签:安装 步骤 hadoop
1. 实验环境:
1) 三台主机,IP地址和记住名称如下:
IP:132.129.31.36  主机名:ossitsp3  用途:主节点(Master)
IP:132.129.31.37  主机名:ossitsp4  用途:从节点(Slaver)
IP:132.129.31.38  主机名:  ossitsp5  用途:从节点(Slaver)
其中36主机作为主节点,37和38作为从节点。
2) Hadoop版本hadoop-2.4.1
2. 安装步骤概览

3. 操作过程
1) 检查前置软件JDK。
Hadoop是基于JVM的,因此安装前必须先安装JDK。检查linux主机是否已经安装JDK,如果没有,需要先安装JDK。安装步骤如下:
? 下载最新版本的JDK,本次实验采用jdk-8u20-linux-x64.rpm版本
? 用root用户先将安装包拷贝到/usr/local下面。
cp  jdk-8u20-linux-x64.rpm /usr/local
进入local目录执行命令:rpm -ivh jdk-8u20-linux-x64.rpm
? 配置环境变量。
vi /etc/profile在最后面加入以下内容:
#set java environment
JAVA_HOME= /usr/java/jdk1.8.0_20
CLASSPATH=.:$JAVA_HOME/lib.tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
保存退出。注意:
要使JDK在所有的用户中使用,可以这样:
vi /etc/profile.d/java.sh
在新的java.sh中输入以下内容:
#set java environment
JAVA_HOME=/usr/java/ jdk1.8.0_20
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
保存退出,然后给java.sh分配权限:chmod 755 /etc/profile.d/java.sh
? 使配置文件立即生效:source /etc/profile
? 在终端使用echo命令检查环境变量设置情况并检查
#echo $JAVA_HOME
#echo $CLASSPATH
#echo $PATH。
#java -version
看到JVM版本及相关信息,即安装成功!
2) 下载Hadoop并配置用户名。
本次实验下载的版本为hadoop-2.4.1
? 下载软件,并将软件上传到服务器
? 在每台机器上新建Hadoop用户组和Hadoop用户,以便于统一管理。
? 用root在每台机器上编辑/etc/hosts文件,用于IP和主机名进行映射。注意,是把集群中所有的主机映射都填上。(编辑前请先备份)
3) 配置SSH免密码登陆。
? 用Hadoop登录各个主机,很重要。之前的操作都是root用户操作,后续操作都用Hadoop用户操作
? 在每台机器上生成公钥,并复制公钥到授权文件(用于免密码)。进入家目录,就是/home/hadoop/ssh/, 执行如下命令:
ssh-keygen –t  rsa
cp id_rsa.pub authorized_keys

? 进行单机迂回测试,即在单机结点上用ssh进行登录,看能否登录成功。登录成功后注销退出
ssh ossitsp5(主机名称),第一次提示,第二次以后就不提示了,设置成功。

输入exit,退出。
? 单机测试完成后,将每台的主机的authorized_keys内容添加到一个大的authorized_keys文件中。我的做法是将每台机器的authorized_keys下载到本地,然后用EditPlus打开,将每台主机的授权文件内容拷贝到一个大的文件中去。如图

? 将合并后的authorized_keys覆盖到每台主机中,然后进行测试。测试方法是,用ssh + 主机名称,如ssh ossitsp4,第一次回提示,第二次再次登录就不会再提示,主机进入了。

至此,SSH免密码登录已经配置成功。
4) 修改配置文件。


? 配置hadoop-env.sh,在如下路径下/home/hadoop/hadoop-2.4.1/etc/hadoop将JAVA_HOME填到里面。


? 配置core-site.xml文件,主要配置对job的管理,样例如下:


? 配置Slaves ,主要配置从节点的信息。将从节点的主机名称写进入可以了。

? 配置core-site.xml文件
修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号。在/home/hadoop/hadoop-2.4.1/etc/hadoop路径下


? 配置hdfs-site.xml文件
修改Hadoop中HDFS的配置,配置的备份方式默认为1。在/home/hadoop/hadoop-2.4.1/etc/hadoop路径下,这里改成2。副本数要小于或等于节点数,否则会包错误


? 配置mapred-site.xml.template文件,修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口。


? 12向各节点复制/home/hadoop/hadoop-2.4.1的所有文件,如果各个节点上的JAVA_HOME不一样需要修改从节点的JAVA_HONE。如果都一样,其余的都不用修改(datanode之间互相通信,通过心跳和主节点交互的。因此从节点之间只要保证ssh通就行)。复制命令如下:
scp -r hadoop-2.4.1 ossitsp4:/home/hadoop

5) 格式化HDFS
在主节点上进入目录/home/hadoop/hadoop-2.4.1/sbin,执行
hdfs namenode –format 格式化HDFS文件系统,如果出现最后圈中的语句,表明格式化成功。


6) 启动并检查HDFS
在主节点上进入目录:/home/hadoop/hadoop-2.4.1/sbin,执行
./ start-dfs.sh启动守护进程

检查守护进程是否都启动成功。
进入java的按照目录:/usr/java/jdk1.8.0_20/bin,执行jps,查看主节点的守护进程。此时ossitsp3上运行的进程有:namenode,secondarynamenode
ossitsp4和ossitsp5上运行的进程有:datanode
7) 启动并检查yarn
在主节点上进入目录:/home/hadoop/hadoop-2.4.1/sbin,执行
./ start-yarn.sh启动守护进程

进入java的按照目录:/usr/java/jdk1.8.0_20/bin,执行jps,查看主节点的守护进程。此时ossitsp3上运行的进程有namenode,secondarynamenode,resourcemanager。ossitsp4和ossitsp5上运行的进程有:datanode,nodemanager。
8) 检查启动日志
进入各个主机目录/home/hadoop/hadoop-2.4.1/logs/,检查以log结尾的日志文件,查看是否有启动错误日志。如果没有,表面Hadoop集群启动成功。
9) 解决libhadoop.so.1.0.0在64位的问题
解决办法:
A. 重新编译hadoop(彻底解决问题)
B. 设置Hadoop环境变量(临时问题,可能以后会出问题)
暂时不涉及,待完善

4. 通过Web方式访问集群环境
在浏览器输入http://132.129.31.36:50070/,通过web查看集群信息。
发表评论
用户名: 匿名