在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
分析Nginx访问日志需要学什么？需要掌握Spark SQL核心知识，分析Nginx访问日志掌握SparkSQL数据分析能力，SparkSQL调优方式及其核心思想。通过思维导图的方式对学习课程所涉及的知识。
1、Spark SQL介绍
Spark SQL在Spark生态圈的地位和作用，让大家对Spark SQL 的总体知识框架有个大概的轮廓。
2、认识Spark SQL
Spark SQL运行原理，DataFrame、DataSet和RDD的相互转化和使用场景，并讲解Parquet的使用。
2.1 Spark SQL和Hive
2.2 Spark SQL运行原理
2.3 DataFrame、DataSet和RDD的联系
2.4 Parquet列式存储
3、 DataFrame/DataSet常用操作
DataFrame的过滤，分组，排序操作和列值的增删改，以及对Join的优化。
3.1 一般操作：查找和过滤
3.2 聚合操作：groupBy和agg
3.3 单表操作：列的增删改与空值处理
3.4 多表操作：join
4、自定义函数和开窗函数
讲解自定义函数的使用，以及开窗函数在分组求TopN中的应用。
4.1 自定义函数：UDF
4.2 自定义聚合函数：UDAF
4.3 开窗函数：row_number()
5、Nginx访问日志分析完整实战
使用Spark SQL分析Nginx访问日志的项目。包括了数据清洗，存储，监控和优化。
5.1 项目场景介绍及分析
5.2 第一次数据清洗：格式化原始日志数据
5.3 第二次数据清洗：解析数据并按天以Parquet格式存储
5.4 将分析结果批量写入MySql
5.5 性能监控及优化
日志服务查询分析能力是完整SQL92，支持各种数理统计与计算。目前，日志服务支持保存查询语句为快速查询，对查询设置触发周期（间隔），并对执行结果设定判断条件并且告警。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
2020年大数据技术发展趋势如何？
下一篇：
2020年大数据发展前景如何？
相关推荐 更多
仅会使用Excel能做数据分析师吗？
数据分析师就是在各行各业中与数据打交道的重要岗位。为企业提供数据采集、数据处理、数据分析并制作相关业务报告、提供业务决策、管理企业数据资产等服务。那仅会使用Excel，能做数据分析师吗？
7657
2019-08-08 18:06:48
线上的数据分析培训课程怎么样？数据分析学什么？
线上的数据分析培训课程怎么样？博学谷线上数据分析课程还不错，目前发展前景也比较大，大数据分析师是玩数据的人，对数据分析总结可以创造出商业价值让数据提高生产力。目前数据分析师的需求量增大，就算你不是数据分析师，但掌握数据分析技能也是必备工作技能之一。
9001
2019-09-25 17:18:37
学大数据技术必须了解的大数据经典应用案例
我们已经进入了数据化的时代，大数据开发技术、数据分析已经成为目前企业最核心的关注点。数据为企业提供了更加可靠的支撑，对于优化产业结构、提升生产效率有非常明显的作用。在企业纷纷布局大数据业务的同时，大数据相关人才缺口逐渐扩大。目前国内大数据相关从业人员已经超过20万，作为大数据从业人员，必须了解一些大数据相关的经典应用案例。
6071
2019-08-22 18:03:14
数据仓库与数据库的区别是什么？
相信大数据学习者对于数据仓库与数据库并不陌生，两者都是通过数据库软件实现存放数据的地方，从这个意义上来看，它们似乎没有多大的差别。但是再深入一点分析，我们会发现无论是从数据量还是作用来讲，两者的区别都是巨大的。为了更清楚的分辨数据仓库与数据库，下面我们具体来聊聊数据仓库与数据库的区别。
15030
2020-06-05 11:06:23
大数据工程师、数据挖掘师和数据分析师有啥区别
随着互联网技术的不断提升，数据已经成为各大企业新的战场，而对于从业者来说，如果你对数据科学领域的工作感兴趣的话，肯定首先要了解一下数据科学领域都有哪些岗位。从岗位性质和主要工作内容不同我们可以把数据科学的岗位大概分为四类：数据产品经理、大数据工程师、数据挖掘师、数据分析师。数据产品经理显而易见就是精通并擅长数据产品设计的PM。这里我们具体了解一下大数据工程师、数据挖掘师和数据分析师有什么区别。
5306
2020-09-14 16:13:27
