原创 学大数据学得想哭？大数据真有这么难学吗？

大数据的火爆使得不少人纷纷投入到大数据开发学习中，然而近来也会有这样一种声音在网上：大数据太难学了，学大数据学得想哭。其实学习本来就没那么简单，但是如果努力了还学不好大数据，就应该好好反思自己的学习方法是不是出了问题。下面小编就带大家看看，大数据真有这么难学吗？

为什么觉得大数据难学？

不可否认确实有一些人学大数据纯粹是兴趣使然，但是大多数人都是冲着大数据行业高薪资好前景去的。因此学习的出发点可能就过于功利和急于求成，当然不是说不能因为这个去学习，而是绝大多数人只是一时的头脑发热，并没有考虑清楚怎样去学习，也并没有付出多少努力。最后浪费了不少时间，甚至还有的人报了培训班浪费了不少钱，后悔莫及地大呼：学大数据学得想哭！大数据真难学！大数据真有这么难学吗？还是你根本就没有下定决心努力去学习呢？希望大家在觉得学习很难的时候，问一问自己到底为此付出了多少努力，如果使用时是因为没有花费多少心血而没学好，那就没什么好抱怨的了。

另一种情况是努力了，但是还是学不好大数据，这种很明显是学习方法不科学。不少自学大数据的小伙伴都有这样的经历，一开始什么都不懂，然后在百度到处搜索学习教程，缓存了各种各样的免费视频资料，今天看这个老师的，明天看那个老师的，最后好像什么都懂，但是又好像什么都弄不清楚。这就是因为没有老师的指导，又缺乏学习的具体规划，没有系统全面的掌握知识，盲目的学习导致努力的方向根本就错了。因此其强烈建议那些本来就缺乏基础以及自律能力差的小伙伴，学习大数据一定要报培训班，只用花些钱就可以少许多弯路。

大数据需要学什么？

Hadoop：（common、HDFS、MapReduce、YARN）重点中的重点。Hadoop的框架最核心的设计就是：HDFS 和 MapReduce，Hadoop的思想：处理数据的思想。Hadoop用Java编写的开源软件框架，用于分布式存储，并对非常大的数据集进行分布式处理,用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群进行高速运算和存储。

HDFS：Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。

NameNode：NameNode是一个通常在HDFS实例中的单独机器上运行的软件，它负责管理文件系统名称空间和控制外部客户机的访问。NameNode 决定是否将文件映射到

DataNode:DataNode也是一个通常在HDFS实例中的单独机器上运行的软件。Hadoop 集群包含一个 NameNode 和大量 DataNode。DataNode 通常以机架的形式组织，机架通过一个交换机将所有系统连接起来。Hadoop 的一个假设是：机架内部节点之间的传输速度快于机架间节点的传输速度。

MapReduce：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算

Hive（MPP架构）:大数据数据仓库，通过写SQL对数据进行操作，类似于mysql数据库中的sql。

HBase基于HDFS的NOSQL数据库，面向列的存储。

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。

Kylin（中国自主知识产权操作系统）Kylin操作系统是国家高技术研究发展计划（863计划）的重大成果之一，是以国防科技大学为主导，与中软、联想等单位联合设计和开发的具有完全自主版权，可支持多种微处理器和多种计算机体系结构，具有高性能、高可用性和高安全性，并与Linux应用二进制兼容的国产中文服务器操作系统。

cluster代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。

大数据学习路线规划：

以博学谷的大数据就业班课程为例，课程学习分成七个阶段，从零基础入门到能力进阶提升，循序渐进，即使是大数据小白也可以学好大数据后马上就业。

阶段一 大数据基础增强

本阶段重点讲解 Linux 操作基础、 Shell 编程、 Zookeeper 集群和 hadoop 集群环境准备等内容，可以帮助没有 Linux 基础 或者 Linux 基础薄弱的学员， 达到熟练使用

Linux、熟练安装 Linux 上的软件，熟悉负载均衡、高可靠等集群相关概念，搭建 互联网高并发、高可靠的服务架构， 为大数据内容的深入学习做好充足的准备。

阶段二 大数据 Hadoop 离线分布式系统

大数据 Hadoop 离线分布式系统

阶段三 大数据Storm 实时计算系统

本阶段通过全面 Storm 内部机制、原理以及 strom 实时看板案例的深入讲解和练习，让学习者能够拥有完整项目开发思路和架构设计，掌握从数据采集到实时计算到数据存储再到前台展示的编程能力

阶段四 大数据 Storm 项目实战

实时采集线上业务系统日志，对接 Storm 流式计算平台实时分析，出现异常信息，调用告警业务通知相关负责人，达到监 控业务系统运行的功能， 基于日志进行监控，监控需要一定规则，对触发监控规则的日志信息通过短信和邮件进行告警。

阶段五 大数据Spark 内存计算系统

Spark 可以用于批处理、交互式查询（Spark SQL） 和实时流处理（Spark Streaming） 等相关内容， 本阶段通过讲解 Spark 一站式处理框架， 让学习者掌握 Spark 相关的开发技术，达到能够胜任 Spark 相关工作的能力。

阶段六 大数据 Spark 项目实战

用户画像是根据用户基本属性、社会属性、生活习惯和消费行业等信息而抽象出的一个标签化的用户模型。构建用户画像 的核心工作即是给用户贴“标签”，而标签是通过对用户信息分析而来的高度精炼的特征标识。

最后，小编想说的是，在大家学大数据学得想哭的时候，认认真真反思一下，自己真的足够努力吗？自己的学习方法真的没问题吗？只要解决了这两个问题大家就会发现，大数据真没那么难学。