在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
大数据时代的浪潮袭来，Hadoop作为一种用来处理海量数据分析的工具，是每一个大数据开发者必须要学习和掌握的利器。本文总结了Hadoop入门基础知识，主要包括了Hadoop概述、Hadoop的发展历程和Hadoop的特性。下面一起来看看吧！
1、Hadoop概述
Hadoop 是 Apache 旗下的一个用 Java 语言实现开源软件框架，它还是一个开发和运行处理大规模数据的软件平台。Hadoop允许使用简单的编程模型，在大量计算机集群上，对大型数据集进行分布式处理。
狭义上说，Hadoop 指 Apache 这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储 ；YARN（作业调度和集群资源管理的框架）：解决资源任务调度；MAPREDUCE（分布式运算编程框架）：解决海量数据计算。
广义上来说，Hadoop 通常是指一个更广泛的概念——Hadoop 生态圈。当下的 Hadoop 已经成长为一个庞大的体系，随着生态系统的成长，新出现的项目越来越多，其中不乏一些非 Apache 主管的项目，这些项目对 HADOOP 是很好的补充或者更高层的抽象。比如，HDFS： 分 布 式 文 件 系 统；MAPREDUCE：分布式运算程序开发框架；HIVE：基于 HADOOP 的分布式数据仓库，提供基于 SQL 的查询数据操作；HBASE：基于Hadoop的分布式海量数据库；ZOOKEEPER：分布式协调服务基础组件；Mahout：基于 mapreduce/spark/flink 等分布式运算框架的机器学习算法库；OOZIE：工作流调度框架；Sqoop：数据导入导出工具；FLUME：日志数据采集框架；IMPALA：基于 hive 的实时 sql 查询分析。
2、Hadoop的发展历程
Hadoop 是 Apache Lucene 创始人 Doug Cutting 创建的。最早起源于 Nutch， 它是 Lucene 的子项目。Nutch 的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题：如何解决数十亿网页的存储和索引问题。
2003 年 Google 发表了一篇论文为该问题提供了可行的解决方案。论文中描述的是谷歌的产品架构，该架构称为：谷歌分布式文件系统（GFS）,可以解决他们在网页爬取和索引过程中产生的超大文件的存储需求。
2004 年 Google 发表论文向全世界介绍了谷歌版的MapReduce 系统。 同时期，Nutch 的开发人员完成了相应的开源实现 HDFS 和 MAPREDUCE，并从Nutch 中剥离成为独立项目 HADOOP，到 2008 年 1 月，HADOOP 成为 Apache 顶级项目，迎来了它的快速发展期。
2006 年 Google 发表了论文是关于 BigTable 的，这促使了后来的 Hbase的发展。 因此，Hadoop 及其生态圈的发展离不开 Google 的贡献。
3、Hadoop的特性
（1）扩容能力：Hadoop 是在可用的计算机集群间分配数据并完成计算任务的，这些集群可用方便的扩展到数以千计的节点中。
（2）成本低：Hadoop 通过普通廉价的机器组成服务器集群来分发以及处理数据，以至于成本很低。
（3）高效率：通过并发数据，Hadoop 可以在节点之间动态并行的移动数据，使得速度非常快。
（4）可靠性：能自动维护数据的多份复制，并且在任务失败后能自动地重新部署计算任务。所以 Hadoop 的按位存储和处理数据的能力值得人们信赖。
4、Hadoop的应用
Hadoop 最受青睐的行业是互联网领域，可以说互联网公司是 hadoop 的主要使用力量。国外来说，Yahoo、Facebook、IBM 等公司都大量使用 hadoop 集群来支撑业务。比如：Yahoo 的 Hadoop 应用在支持广告系统、用户行为分析、支持 Web 搜索等。 Facebook 主要使用 Hadoop 存储内部日志与多维数据，并以此作为报告、分析和机器学习的数据源。
国内来说，BAT 领头的互联网公司是当仁不让的 Hadoop 使用者、维护者。比如 Ali 云梯（14 年国内最大 Hadoop 集群）、百度的日志分析平台、推荐引擎系统等。国内其他非互联网领域也有不少 hadoop 的应用，比如：金融行业的个人征信分析，证券行业的投资模型分析，还有交通行业的车辆、路况监控分析和电信行业的用户上网行为分析 。
Hadoop入门基础知识就分享到这里了，博学谷平台上除了关于大数据的学习干货之外，还有更专业的学习视频资源，大家如果对于学习大数据感兴趣，不妨现在就开始在线学习吧~
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
学大数据自学好还是参加培训效果好？
下一篇：
Hadoop集群搭建过程总结
相关推荐 更多
云数据安全之数据加密的要点分析
毫不夸张的说，当下是云计算和大数据的时代，我们的生活和工作都受到了云计算和大数据方方面面的影响，云计算和大数据不仅改变了我们的思维、生产方式，还改变了我们生活和学习方式。然而随之而来的云数据安全问题也是日益凸显，许多用户都遭受了大数据泄露带来的损失。本文就来和大家分析一下云数据安全中数据加密的要点。
6476
2019-10-31 19:21:05
大数据笔记之分布式文件存储系统
现在是大数据的时代，也是数据爆炸的时代，如何处理大数据的存储成为了摆在人们面前的难题，因此分布式文件存储系统应用而生。同时分布式文件存储系统在大数据面试中，也是一个常常可以见到的考点之一。本文为大家梳理了相关的大数据知识点，感兴趣的小伙伴可以看一看。
6349
2019-11-05 16:26:09
数据中台对企业有哪些意义和作用？
随着数据化浪潮席卷全球，数据中台也由此应运而生。众所周知，数据中台的主要作用在于把数据进行统一标准和口径之后，再进行储存和加工，从而使企业可以提供更高效的服务。简单来讲，数据中台是以节省企业成本，实现精细化运营为目标。那么数据中台对企业到底有哪些具体意义和作用呢？下面我们来具体看一下。
7406
2020-02-10 22:29:52
深度学习工程师必须掌握的神经网络架构
深度学习工程师必须掌握的神经网络架构，神经网络架构分为四大类：标准网络、递归网络、卷积网络、自动编码器。神经网络可以用来可视化的数据包含两部分：每一层神经元的输出，它们对应输入数据在网络中的不同表示每个神经元所学习到的权重，刻画着各个神经元的行为，即如何对输入进行响应的。
5888
2020-07-01 17:34:28
大数据工程师、数据挖掘师和数据分析师有啥区别
随着互联网技术的不断提升，数据已经成为各大企业新的战场，而对于从业者来说，如果你对数据科学领域的工作感兴趣的话，肯定首先要了解一下数据科学领域都有哪些岗位。从岗位性质和主要工作内容不同我们可以把数据科学的岗位大概分为四类：数据产品经理、大数据工程师、数据挖掘师、数据分析师。数据产品经理显而易见就是精通并擅长数据产品设计的PM。这里我们具体了解一下大数据工程师、数据挖掘师和数据分析师有什么区别。
5620
2020-09-14 16:13:27
