在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
分析Nginx访问日志需要学什么？需要掌握Spark SQL核心知识，分析Nginx访问日志掌握SparkSQL数据分析能力，SparkSQL调优方式及其核心思想。通过思维导图的方式对学习课程所涉及的知识。
1、Spark SQL介绍
Spark SQL在Spark生态圈的地位和作用，让大家对Spark SQL 的总体知识框架有个大概的轮廓。
2、认识Spark SQL
Spark SQL运行原理，DataFrame、DataSet和RDD的相互转化和使用场景，并讲解Parquet的使用。
2.1 Spark SQL和Hive
2.2 Spark SQL运行原理
2.3 DataFrame、DataSet和RDD的联系
2.4 Parquet列式存储
3、 DataFrame/DataSet常用操作
DataFrame的过滤，分组，排序操作和列值的增删改，以及对Join的优化。
3.1 一般操作：查找和过滤
3.2 聚合操作：groupBy和agg
3.3 单表操作：列的增删改与空值处理
3.4 多表操作：join
4、自定义函数和开窗函数
讲解自定义函数的使用，以及开窗函数在分组求TopN中的应用。
4.1 自定义函数：UDF
4.2 自定义聚合函数：UDAF
4.3 开窗函数：row_number()
5、Nginx访问日志分析完整实战
使用Spark SQL分析Nginx访问日志的项目。包括了数据清洗，存储，监控和优化。
5.1 项目场景介绍及分析
5.2 第一次数据清洗：格式化原始日志数据
5.3 第二次数据清洗：解析数据并按天以Parquet格式存储
5.4 将分析结果批量写入MySql
5.5 性能监控及优化
日志服务查询分析能力是完整SQL92，支持各种数理统计与计算。目前，日志服务支持保存查询语句为快速查询，对查询设置触发周期（间隔），并对执行结果设定判断条件并且告警。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
2020年大数据技术发展趋势如何？
下一篇：
2020年大数据发展前景如何？
相关推荐 更多
大数据疑难解答 Hbase内部是什么机制？
众所周知，HBase是一个非关系型数据库，它的特征是分布式、列式存储、开源和版本化。无论是在大数据的面试中，还是大数据的工作中，这都是一个经常会出现的难题，然而却很少人能够说清Hbase内部机制。今天我们就花些时间聊聊Hbase内部是什么机制。
6769
2019-10-17 18:13:28
大数据笔记之分布式文件存储系统
现在是大数据的时代，也是数据爆炸的时代，如何处理大数据的存储成为了摆在人们面前的难题，因此分布式文件存储系统应用而生。同时分布式文件存储系统在大数据面试中，也是一个常常可以见到的考点之一。本文为大家梳理了相关的大数据知识点，感兴趣的小伙伴可以看一看。
6201
2019-11-05 16:26:09
数据科学与机器学习的区别是什么？
数据科学与机器学习的区别：机器学习是人工智能的一个分支，而数据科学是数据清理、准备和分析的学科。人们需要了解每种技术的工作原理，以及它们是如何一起工作的。数据科学是一种实践领域，而机器学习是一组工具和方法论。
5924
2020-05-13 15:36:30
Apache Spark与 Apache Hadoop数据科学工具有哪些区别？
Apache Spark被设计为大规模处理的接口，而 Apache Hadoop 为大数据的分布式存储和处理提供了更广泛的软件框架。两者既可以一起使用也可以作为独立服务使用。Apache Spark 和 Apache Hadoop 都是 Apache 软件基金会提供的流行的开源数据科学工具，由社区开发和支持受欢迎程度和功能不断增长。
2535
2022-06-02 11:25:53
Hadoop 狂野大数据课件学习内容有哪些？
Hadoop 狂野大数据课件学习内容有哪些？课程学习从Hadoop基本使用、运行原理、实战案例全方位讲解；从概念讲起，课程内容精炼学习效率高没有接触过Hadoop的学员也能很好理解。
2319
2022-06-14 11:09:46
