在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快等。那大数据技术自学能学会吗？大数据应该如何自学呢？
通过几个问题了解我们应该学习那些技术：
数据来源广，该如何采集汇总?，对应出现了Sqoop，Cammel，Datax等工具。
数据采集之后，该如何存储?，对应出现了GFS，HDFS，TFS等分布式文件存储系统。
数据存储之后，该如何快速运算出自己想要的结果?对应的MapReduce这样的分布式运算框架解决了这个问题;但是写MapReduce需要Java代码量很大，所以出现了Hive，Pig等将SQL转化成MapReduce的解析引擎；普通的MapReduce处理数据只能一批一批地处理，时间延迟太长，为了实现每输入一条数据就能得到结果，于是出现了Storm/JStorm这样的低时延的流式计算框架；但是如果同时需要批处理和流处理，按照如上就得搭两个集群，Hadoop集群(包括HDFS+MapReduce+Yarn)和Storm集群，不易于管理，所以出现了Spark这样的一站式的计算框架，既可以进行批处理，又可以进行流处理(实质上是微批处理)。而后Lambda架构，Kappa架构的出现，又提供了一种业务处理的通用架构。
为了提高工作效率我们应该掌握哪些工具：
Ozzie，azkaban：定时任务调度的工具。
Hue，Zepplin：图形化任务执行管理，结果查看工具。
Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。
Python语言：编写一些脚本时会用到。
Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。
以上就是从技术点和工具使用上为计划自学的同学们提供的学习方案。对于任何技术都是可以通过自学掌握的，如果有一定的技术基础是最好的状态，而如果是零基础的同学，则需要慎重考虑自学这个方式是否真的适合你了。建议零基础的同学通过培训的方式进行学习，这样不至于消耗过多的时间成本。了解更多关于大数据学习方面的知识，可以通过博学谷平台云计算大数据课程。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据Hadoop中HDFS 存储的机制？
下一篇：
浅析五种编程模型
相关推荐 更多
零基础大数据开发学习线路
零基础大数据开发学习线路，主要的学习内容有大数据基础——java语言基础方面、HTML、CSS与JavaScript、JavaWeb和数据库、Linux&Hadoop生态体系、分布式计算框架和Spark&Strom生态体系、大数据分析 —AI（人工智能）等内容。
6991
2019-05-20 18:48:12
大数据工程师加班多吗？工作强度大不大？
大数据时代的来临，使得大数据工程师一职也变得火爆起来。许多想要学习大数据并今后投身于此的伙伴，在羡慕这一行广阔发展前景和高额薪资待遇的同时，难免也会担心这样的问题：大数据工程师加班多吗？工作强度大不大？其实我们都明白高薪的工作肯定不轻松的道理，但是大数据工程师的工作强度，也远远没有大家想象的没那么大。而且不同的公司，加班的强度也是不一样的，因此不能一概而论。
13133
2019-12-05 20:33:40
大数据培训要学习什么内容？
大数据通俗的解释就是海量的数据，顾名思义，大就是多、广的意思，而数据就是信息、技术以及数据资料，合起来就是多而广的信息、技术、以及数据资料。大数据培训机构也越来越多，那么对于刚刚入门的行业小白来讲，最大的疑问就是大数据培训要学习什么内容呢？
5627
2020-03-30 14:00:31
大数据和人工智能有什么关系？
大数据和人工智能关注点不同，但有密切联系。人工智能需要大量的数据作为思考和决策的基础；大数据需要人工智能技术进行数据价值化操作。在大数据价值的两个主要体现当中，数据应用主要渠道之一就是人工智能产品，为智能体提供的数据量越大，智能体运行的效果就会越好，智能体通常需要大量的数据进行训练和验证，保障运行可靠性和稳定性。
17165
2020-04-27 15:44:25
大数据的核心架构层是哪些？
大数据的核心架构层是哪些？大数据的核心层：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同本质上的角色都大同小异。
2627
2022-06-17 15:28:45
