在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
本文主要总结了Hadoop集群搭建的过程,内容包括发行版本说明、Hadoop集群简介、服务器准备、网络环境准备、服务器系统设置以及JDK 环境安装。有学习需要的小伙伴一起来看看吧~
1、发行版本说明
Hadoop 发行版本分为开源社区版和商业版。社区版是指由 Apache 软件基金会维护的版本,是官方维护的版本体系。 商业版 Hadoop 是指由第三方商业公司在社区版 Hadoop 基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本,比较著名的有 cloudera的 CDH、mapR、hortonWorks 等。
我们等会要学习的是商业版:cloudera 的 CDH。如未说明都指 CDH版本。Hadoop 的版本很特殊,是由多条分支并行的发展着。大的来看分为3个大的系列版本:1.x、2.x、3.x。Hadoop1.0 由一个分布式文件系统 HDFS和一个离线计算框架 MapReduce 组成。
Hadoop 2.0 则包含一个支持 NameNode 横向扩展的 HDFS,一个资源管理系统YARN 和一个运行在 YARN 上的离线计算框架 MapReduce。相比于 Hadoop1.0, Hadoop 2.0 功能更加强大,且具有更好的扩展性、性能,并支持多种计算框架。Hadoop 3.0 相比之前的 Hadoop 2.0 有一系列的功能增强。目前已经趋于稳定,但是整个生态圈体系升级整合还未完毕,所以商用还值得商榷。 我们要讲的Hadoop集群搭建过程,使用的是当前 2 系列最稳定版本:CDH 2.6.0-CDH14.0。
2、Hadoop集群简介
Hadoop集群具体来说包含两个集群:HDFS 集群和 YARN 集群,两者逻辑上分离,但物理上常在一起。HDFS集群负责海量数据的存储,集群中的角色主要有:NameNode 、 DataNode 、 SecondaryNameNode。YARN 集群负责海量数据运算时的资源调度,集群中的角色主要有: ResourceManager、NodeManager。
那 mapreduce是什么呢?它其实是一个分布式运算编程框架,是应用程序开发包,由用户按照编程规范进行程序开发,后打包运行在 HDFS 集群上,并且受到 YARN 集群的资源调度管理。Hadoop 部署方式分三种,Standalone mode(独立模式)、Pseudo-Distributed mode(伪分布式模式)、Cluster mode(群集模式),其中前两种都是在单机部署。独立模式又称为单机模式,仅 1 个机器运行 1 个 java 进程,主要用于调试。伪分布模式也是在 1 个机器上运行 HDFS 的 NameNode 和 DataNode、YARN 的ResourceManger 和 NodeManager,但分别启动单独的 java 进程,主要用于调试。集群模式主要用于生产环境部署。会使用 N 台主机组成一个 Hadoop 集群。这种部署模式下,主节点和从节点会分开部署在不同的机器上。我们以 3 节点为例进行搭建,角色分配如下:
node-01 NameNode DataNode ResourceManager
node-02 DataNode NodeManager SecondaryNameNode
node-03 DataNode NodeManager
3、服务器准备
本案例使用 VMware Workstation Pro 虚拟机创建虚拟服务器来搭建 HADOOP 集群,所用软件及版本如下:
VMware Workstation Pro 12.0
Centos 6.9 64bit
4、网络环境准备
采用 NAT 方式联网。如果创建的是桌面版的 Centos 系统,可以在安装完毕后通过图形页面进行编辑。如果是 mini 版本的,可通过编辑 ifcfg-eth*配置文件进行配置。 注意 BOOTPROTO、GATEWAY、NETMASK。
5、服务器系统设置
同步时间
#同步集群各机器时间
date -s "2019-03-03 03:03:03" yum install ntpdate
#网络同步时间
ntpdate cn.pool.ntp.org
设置主机名
vi /etc/sysconfig/network NETWORKING=yes
HOSTNAME=node-1
配置 IP、主机名映射vi /etc/hosts
192.168.33.101 node-1
192.168.33.102 node-2
192.168.33.103 node-3
配置 ssh 免密登陆
#生成 ssh 免登陆密钥
ssh-keygen -t rsa (四个回车)
执行完这个命令后,会生成 id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免密登陆的目标机器上
ssh-copy-id node-2
配置防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
6、JDK 环境安装
#上传 jdk 安装包
jdk-8u65-linux-x64.tar.gz
#解压安装包
tar zxvf jdk-8u65-linux-x64.tar.gz
#配置环境变量 /etc/profile
export JAVA_HOME=/export/servers/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#刷新配置
source /etc/profile
以上就是Hadoop集群搭建过程总结,大家都掌握了吗?更详细的大数据视频学习资源尽在博学谷,欢迎大家申请试学名额,进行免费的课程体验!
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
5分钟掌握Hadoop环境搭建流程
Hadoop是大数据技术的基础,它在大数据技术体系中的地位是非常重要的。目前Hadoop是主流的分布式系统基础架构之一,用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。所以对于Hadoop基础知识的掌握的扎实程度,会决定你在大数据技术道路上走多远。首先我们来学习一下Hadoop环境搭建流程吧。
7617
2019-08-14 10:19:35
大数据开发常用的工具介绍
Java语言和 Linux操作系统,它们是学习大数据的基础。java:只需了解一些基本知识,不需要用很深的 Java技术来做大数据,学习 java SE等于学习大数据基础。与大数据有关的软件都在 Linux上运行,所以 Linux要学扎实一点,学好Linux对你快速掌握与大数据有关的技术,能让你更好地了解 hadoop, hive, hbase, spark等大数据软件的运行环境和网络环境配置。
5583
2020-07-02 13:49:48
大数据岗位基础要求有哪些?
大数据岗位基础要求:谈起大数据,当然少不了分析软件,这应该是做大数据工作的基础,但市场上有很多各种各样的分析软件,如果没有过人的经验,真的很难找到适合自己或者适合企业的。笔者通过各大企业对大数据相关行业的职位要求,归纳出如下要点:
5961
2020-07-06 14:22:39
大数据应用的重要性体现在方方面面
自全国提出“数据中国”的概念以来,我们周围默默地在发挥作用的大数据逐渐深入人们的心中,大数据的应用也越来越广泛,具体到金融、汽车、餐饮、电信、能源、体育和娱乐等领域,下面就通过本文,让我们看看这些正在发生在我们身边的大数据应用案例。
7301
2020-07-06 14:59:59
学习云计算需要学什么?
学习云计算需要学什么?云计算对于学历有时并没有硬性要求,一般都是专科,本科。但专业能力强对于学历要求就没那么严格了,因为云计算市场现在人才比较紧缺。学习云计算工作的方向比较多,像计算机网络系统研发、软件测试与开发、办公自动化处理、网络管理与维护、网页制作和面向云计算相关的行业都是学习云计算工作的方向。
5963
2020-07-09 14:59:07