课程试听
阶段一 Python编程
展开第一章 Python基础编程

1-1 学习软件使用

- 01-(了解)Winrar压缩软件介绍与使用
- 02-(重点)Typora笔记软件
- 03-(重点)Snipaste截图软件使用
- 04-(重点)Xmind思维导图软件
- 05-(可选)金山打字通
- 06-(可选)Everything搜索软件
1-2 Python概述

- 07-(了解)学习目标
- 08-(了解)为什么要学习Python
- 09-(了解)Python语言概述
- 10-(重点)Python解析器安装与配置
1-3 PyCharm使用入门

- 11-(重点)PyCharm软件安装项目创建以及代码编写
- 12-(回顾)上午知识点小结
- 13-(重点)PyCharm开发工具配置
- 14-(重点)PyCharm项目管理
- 15-(重点)Python中的注释
- 16-(重点)PyCharm中注释快捷键
1-4 Python变量与注释

- 17-(重点)变量的定义与访问
- 18-(重点)变量的命名规则
- 19-(建议)推荐的命名规则
- 20-(答疑)变量与字符串区别
- 21-(重点)Python中变量的数据类型
1-5 Pycharm中Debug使用

- 22-(重点)Python中的Bug解决
- 23-(重点)Debug调试工具使用
- 24-交作业流程
1-6 Python格式化输出

- 01-(回顾)昨日回顾
- 02-(重点)百分号形式的格式化输出
- 03-(重点)百分号形式格式化输出时在输出一个百分号
- 04-(重点)format()方法实现格式化输出
- 05-(重点)f简写形式的格式化输出
- 06-(重点)print()中的换行符号
- 07-(重点)input()输入方法详解
1-7 Python运算符

- 08-(了解)学习目标
- 09-(案例)两个变量值的交换
- 10-(引入)为什么需要类型转换
- 11-(回顾)上午知识点小结
- 12-(重点)4种数据类型转换方法
- 13-(重点)算数运算符
- 14-(案例)求梯形的面积
- 15-(重点)赋值运算符
- 16-(重点)复合赋值运算符
- 17-(重点)比较运算符
- 18-(重点)逻辑与或非
- 19-(扩展)短路运算
- 20-(理解)运算符的优先级
1-8 Python分支语句

- 21-(重点)if中的选择结构
- 22-(重点)if条件判断与input()输入语句相结合
- 23-(重点)if...else结构
- 24-(作业)今日作业
- 01-(回顾)昨日回顾
- 02-(扩展)Visio绘制流程图
- 03-(扩展)if...else结构流程图
- 04-(重点)if...elif...else多分支结构
- 05-(难点)if嵌套结构
- 06-(小结)if分支结构
1-9 Python分支语句综合案例

- 07-(重点)猜拳游戏开发(上)
- 08-(重点)随机模块与随机数概念
- 09-(重点)三目运算符
1-10 while循环

- 10-(重点)while循环作用与while循环三步走
- 11-(回顾)上午知识点小结
- 12-(理解)while循环执行流程
- 13-(案例)求1-100的累加和
- 14-(案例)求1-100之间所有偶数的和
- 15-(答疑)while循环中常见问题
- 16-(重点)循环中的break与continue
- 17-(理解)死循环结构
1-11 while循环案例

- 18-(案例)猜数字
- 19-(案例)猜数字升级版
1-12 for循环

- 20-(了解)for循环学习目标
- 21-(重点)for循环基本语法与应用场景
- 22-(重点)range()函数
- 23-(重点)使用for循环求1-100的和
- 24-(重点)使用for循环求1-100之间所有偶数的和
- 01-(回顾)昨日回顾
- 02-(重点)for循环中的break与continue关键字
1-13 for循环案例

- 03-(重点)使用for循环实现用户名与密码登录认证
- 04-(重点)使用for循环实现用户名密码认证案例
- 05-(重点)for循环中的else语句
- 06-(案例)报数字游戏开发
1-14 字符串定义及切片

- 07-(了解)数据容器学习目标
- 08-(回顾)字符串的定义与访问
- 09-(重点)索引下标与字符串遍历
- 10-(回顾)上午知识点小结
- 11-(重点中重点)字符串切片
- 12-(补充)步长为某个数值的情况
1-15 字符串查找、替换、合并

- 13-(重点)find()搜索方法
- 14-(案例)文件截取
- 15-(重点)字符串修改方法
- 16-(重点)字符串判断方法
- 17-(小结)字符串常见操作方法
1-16 列表定义及使用

- 18-(重点)列表的定义与访问
- 19-(重点)列表的查询操作
- 20-(重点)列表的增加方法
- 21-(重点)列表的删除方法
- 22-(重点)列表的修改方法
- 23-(重点)列表的翻转与排序
- 24-(了解)列表嵌套
- 01-(回顾)昨日回顾
1-17 元组定义及使用

- 02-(重点)元组的定义与访问
- 03-(重点)元组特性与相关查询方法
1-18 字典定义及使用

- 04-(了解)数据容器学习目标
- 05-(重点)字典的定义与访问过程
- 06-(重点)字典的新增与修改操作
- 07-(重点)字典的删除操作
- 08-(重点)字典中的查询方法
- 09-(扩展)学生管理系统的添加与删除功能
- 10-(回顾)上午知识点小结
1-19 集合定义及使用

- 11-(重点)集合的定义与访问
- 12-(重点)集合中的相关方法
1-20 公共方法与列表推导式

- 13-(重点)数据容器的公共方法(上)
- 14-(重点)数据容器的公共方法(下)
- 15-(重点)数据容器的相互转换
- 16-(扩展)列表推导式
1-21 函数基本使用

- 17-(了解)Python中函数的学习目标
- 18-(重点)函数的定义与调用
- 19-(重点)函数的return返回值
- 01-(回顾)昨日回顾
- 02-(重点)Python中函数的由来
- 03-(重点)聊聊return返回值
- 04-(重点)函数说明文档
1-22 函数嵌套

- 05-(理解)函数嵌套语法与执行流程
- 06-(流程)一个案例深入理解函数嵌套执行流程
1-23 函数案例

- 07-(案例)封装一个函数求三个数的平均值
- 08-(案例)封装一个函数实现字符串翻转与替换
- 09-(案例)生成4位长度的随机验证码(上)
- 10-(回顾)上午知识点小结
- 11-(案例)生成4位长度的随机验证码(下)
- 12-(扩展)生成指定长度的验证码
1-24 变量作用域

- 13-(重点)全局变量与全局变量的访问范围
- 14-(重点)局部变量与局部变量的访问范围
- 15-(重点)global关键字
1-25 函数传参

- 16-(理解)实参与形参概念
- 17-(重点)位置传参与关键词传参
- 18-(重点)函数定义时的缺省参数
- 19-(重点中重点)不定长参数
- 20-(重点中重点)不定长参数应用场景
- 21-(特殊)参数混用的情况
1-26 可变类型和不可变类型

- 22-(理解)理解哪些数据类型属于不可变类型
- 01-(回顾)昨日回顾
- 02-(重点理解)不可变数据类型
- 03-(重点)可变数据类型
- 04-(案例)可变与不可变对函数传参的影响
- 05-(重点)元组拆包
1-27 文件基本操作

- 06-(了解)文件操作学习目标
- 07-(重点)文件基本概念
- 08-(重点)文件操作三步走
- 09-(重点)解决中文乱码问题
- 10-(重点)文件读取的三个方法
- 11-(回顾)昨日回顾
- 12-(案例)文件备份案例(上)
- 13-(案例)文件备份案例(下)
1-28 文件操作案例

- 14-(重点)os重命名与删除文件
- 15-(重点)os模块中与文件夹相关方法
- 16-(理解)普及路径概念
- 17-(扩展)删除非空目录
1-29 异常处理

- 18-(重点)异常与异常捕获
- 19-(重点)捕获异常并获取异常信息
- 20-(重点)try...except...else结构
- 21-(重点)try...except...else...finally语句
1-30 模块与包

- 22-(重点)模块的两种导入方式
- 23-(重点)求一个程序的执行时间
- 01-(回顾)昨日回顾
- 02-(扩展)创建自定义模块并导入系统
- 03-(理解)自定义模块测试方法
- 04-(理解)探讨一下__name__到底返回结果是什么?
1-31 学生管理系统

- 05-(重点)理解学生管理系统需求
- 06-(案例)实现系统功能菜单
- 07-(案例)根据用户编号执行对应的功能
- 08-(案例)添加功能实现
- 09-(案例)删除功能实现
- 10-(小结)上午知识点小结
- 11-(案例)修改功能实现
- 12-(案例)查询功能实现
- 13-(案例)遍历查询操作
- 14-(案例)保存数据到文件
- 15-(案例)加载文件中数据到系统
1-32 总结回顾

- 16-(复习)注释变量与数据类型
- 17-(复习)类型转换运算符以及if分支结构
- 18-(复习)Python中的循环结构
- 19-(复习)Python函数
第二章 Python面向对象

2-1 类定义

- 01-(了解)学习目标
- 02-(理解)面向过程与面向对象设计思想
- 03-(重点)面向对象编程思想
- 04-(重点)类的定义(新式类)
- 05-(重点)类的实例化(产生对象)
- 06-(重点)self到底指向谁
2-2 类属性

- 07-(重点)在类的外部添加与获取对象属性
- 08-(重点)在类的内部获取类外部定义的属性
- 09-(回顾)上午知识点小结
2-3 魔法方法

- 10-(问题)为什么需要魔术方法?
- 11-(重点)__init__()魔术方法的使用
- 12-(重点)为对象赋予公共属性
- 13-(重点)__str__()魔术方法
- 14-(重点)__del__()魔术方法
- 15-(小结)魔术方法小结
- 16-(理解)面向对象程序执行流程
2-4 面向对象案例

- 17-(案例)学生成绩打印
- 18-(案例)小明爱跑步
- 19-(重点)属性的封装(私有属性)
- 20-(重点)如何获取课程资料与提交作业
- 01-(回顾)昨日回顾
2-5 面向对象课堂作业

- 02-(作业)高级题目4答案
- 03-(答疑)删除对象时顺序问题
- 04-(作业)搬家具案例(上)
- 04-(作业)搬家具案例(中)
- 05-(作业)搬家具案例(下)
2-6 封装与继承

- 06-(重点)封装性之私有属性的概念
- 07-(重点)封装性之私有方法
- 08-(回顾)上午知识点小结
- 09-(重点)Python中继承基本语法
- 10-(重点)单继承
- 11-(重点)单继承传递性(多层继承)
- 12-(理解)多继承概念
- 13-(重点)使用mro了解类与类的继承关系
- 14-(重点)子类扩展之重写操作
- 15-(重点)super()方法强制调用父类中属性或方法
2-7 多态

- 16-(了解)Python中的多态性
- 17-(了解)Python中多态案例
2-8 类属性方法

- 18-(重点)类属性概念
- 19-(重点)类方法概念
- 20-(重点)静态方法
- 21-(作业)今日作业安排
- 01-(回顾)昨日回顾
2-9 面向对象版-学生管理系统

- 02-(案例)学生类开发流程
- 03-(案例)入口文件实现
- 04-(案例)功能菜单之静态方法实现
- 05-(案例)学员添加功能实现
- 06-(案例)遍历所有学员功能实现
- 07-(案例)移除同学信息实现
- 08-(案例)修改学员信息实现
- 09-(案例)查找学员功能实现
- 10-(回顾)上午知识点小结
- 11-(案例)保存数据到文件(遗留了问题)
- 12-(案例)数据保存到文件完整版
- 13-(补充)数据保存补充
- 14-(案例)加载文件中的数据到系统
第三章 Python进阶编程

3-1 闭包

- 15-(了解)学习目标
- 16-(回顾)全局变量与局部变量概念
- 17-(理解)局部变量与局部变量访问范围
- 18-(理解)闭包三步走
- 19-(答疑)闭包执行原理
- 20-(重点)global关键字与nonlocal关键字
- 21-(案例)闭包案例
3-2 装饰器

- 22-(重点)装饰器三步走
- 23-(案例)使用装饰器求程序执行时间
- 01-(回顾)昨日回顾
- 02-(重点)装饰器的基本语法
- 03-(理解)装饰器的执行原理
- 04-(理解)装饰器的雏形(底层原理)
- 05-(案例)求执行时间装饰器
- 06-(重点)使用装饰器装饰带有参数的函数
- 07-(重点)使用装饰器装饰带有不定长参数的函数
- 08-(重点)使用装饰器装饰带有返回值的函数
- 09-(重点)通用装饰器的编写
- 10-(扩展)带有参数的装饰器
- 11-(了解)类装饰器
3-3 前端环境安装

- 12-(回顾)上午知识点小结
- 13-(了解)HTML与CSS学习目标
- 14-(了解)HTML概念与作用
- 15-(重点)VS Code软件安装与配置
- 16-(重点)VS Code编辑器配置
3-4 HTML基础

- 17-(重点)标题段落与div结构标签(双标签)
- 18-(重点)有序列表与无序列表
- 19-(重点)换行水平线以及图片标签(单标签)
- 20-(理解)绝对路径与相对路径
- 21-(重点)表格标签(适合做数据展示)
- 22-(重点)表单标签
- 23-(重点)表单提交
3-5 CSS基础

- 24-(重点)CSS概述与三种引入方式
- 01-(回顾)昨日回顾
- 02-(重点)常用三种选择器(标签ID以及类选择器)
- 03-(重点)层级选择器
- 04-(重点)组选择器
- 05-(重点)伪类选择器
- 06-(小结)6种选择器总结
- 07-(重点)布局属性
- 08-(重点)文本属性
3-6 Socket网络编程

- 09-(了解)学习目标
- 10-(理解)IP地址概念
- 11-(理解)端口与端口号概念
- 12-(回顾)上午知识点小结
- 13-(理解)端口号作用与分类
- 14-(理解)TCP传输控制协议
- 15-(理解)socket套接字工具
3-7 TCP服务器开发流程

- 16-(重点)TCP客户端开发五步走与服务器开发七步走
- 17-(重点)TCP客户端开发五步走代码实践
- 18-(难点)TCP服务器端开发七步走之前四步
- 19-(答疑)常见问题汇总
- 20-(重点)TCP服务器端开发七步走
- 21-(重点)TCP服务器端面向对象版本封装
3-8 TCP服务器细节处理

- 22-(答疑)常见问题回复
- 01-(回顾)昨日回顾
- 02-(重点)程序入口与端口复用
- 03-(理解)TCP网络应用程序开发注意事项
- 04-(扩展)Python代码如何操作飞Q软件
3-9 进程

- 05-(了解)进程学习目标
- 06-(理解)多任务的概念
- 07-(理解)进程概念
- 08-(重点)使用多进程完成多任务
- 09-(小结)小结与答疑
- 10-(重点)使用多进程实现带有参数的多任务
- 11-(重点)获取主进程编号与子进程编号
- 12-(回顾)上午知识点小结
- 13-(重点)使用os.kill()方法杀掉进程
- 14-(注意点)多进程之间无法共享全局变量
- 15-(注意点)主进程与子进程结束顺序问题
- 16-(小结)注意点小结
3-10 线程

- 17-(了解)线程学习目标
- 18-(理解)线程与进程区别和线程概念
- 19-(重点)使用多线程实现多任务(并发)
- 20-(重点)使用args与kwargs进行参数传递
- 21-(注意点)多线程之间共享全局变量
- 22-(注意点)主线程默认会等待子线程结束而结束
- 23-(注意点)线程之间的执行是无序的
- 24-(对比)进程与线程区别
- 25-(案例)多任务版本的TCP服务器端
- 01-(回顾)昨日回顾
3-11 HTTP协议

- 02-(了解)学习目标
- 03-(理解)HTTP协议概念
- 04-(理解)URL及URL组成
- 05-(重点)开发者工具使用
- 06-(重点理解)GET请求报文三部分
- 07-(重点)HTTP请求报文
- 08-(重点)HTTP响应报文
3-12 静态Web服务器

- 09-(重点)使用Python搭建简单Web服务器
- 10-(重点)静态Web服务器开发
- 11-(回顾)上午知识点小结
- 12-(答疑)常见错误汇总
- 13-(重点)静态Web服务器开发之返回指定页面(上)
- 14-(重点)静态Web服务器开发之返回指定页面(中)
- 15-(重点)静态Web服务器开发返回指定页面(下)
- 16-(答疑)解决直接访问首页问题
- 17-(重点)解决访问页面不存在问题
- 18-(答疑)为什么要给文字添加编码
- 19-(重点)完整版Web服务器开发
- 20-(重点)FastAPI框架快速入门
3-13 With上下文管理器

- 01-(了解)学习目标
- 02-(重点)为什么要引入with上下文管理器
- 03-(重点)with上下文管理器
- 04-(重点)生成器的创建方式一
3-14 Python生成器

- 05-(重点)yield生成器
- 06-(理解)使用yield生成器生成斐波那契数列
- 07-(重点)生成器多种写法
- 08-(回顾)变量引用以及可变和不可变数据类型
3-15 Python深浅拷贝

- 09-(重点)Python中的浅拷贝
- 10-(重点)Python浅拷贝笔试题
- 11-(重点)Python中的深拷贝
- 12-(重点)Python中深拷贝特殊情况
3-16 正则表达式

- 13-(重点)正则概述与快速入门
- 14-(重点)正则三步走之查什么
- 15-(重点)正则三步走之查多少
- 16-(重点)正则三步走之从哪查
- 17-(扩展)正则工具箱
3-17 正则表达式案例

- 01-(回顾)昨日回顾
- 02-(分组)正则分组概念
- 03-(案例)分组练习题5则
- 04-(扩展)正则中的选择匹配符
- 05-(重点)re模块中的相关方法
- 06-(扩展)正则表达式起别名
- 07-(案例)正则综合案例二则
- 08-(案例)正则综合案例二则
3-18 FastAPI搭建Web服务器

- 09-(了解)学习目标
- 10-(重点)Web服务器搭建
- 11-(回顾)上午知识点小结
- 12-(重点)FastAPI图片请求通用配置
- 13-(答疑)FastAPI如何接收请求与处理请求
- 14-(重点)处理html页面请求
3-19 Python爬虫

- 15-(入门)爬虫概述与requests模块入门
- 16-(重点)使用爬虫爬取页面的图片url地址
- 17-(重点)根据爬虫爬取的图片地址保存数据
- 18-(重点)zip()函数的使用
- 19-(重点)GDP数据采集过程
- 20-(扩展)Xpath技术扩展(慎用)
- 01-(回顾)昨日回顾(上)
- 02-(回顾)昨日回顾(中)
- 03-(回顾)昨日回顾(下)
- 04-(重点)多任务实现爬虫
3-20 数据可视化

- 05-(重点)pyecharts安装与快速入门
- 06-(重点)pyecharts新版链式操作
- 07-(重点)Faker随机类
- 08-(重点)pyecharts配置项说明
- 09-(重点)全球GDP前十名数据可视化
3-21 日志

- 10-(重点)logging日志模块与日志格式化输出
- 11-(回顾)上午知识点小结
- 12-(重点)输出日志写入到文件
- 13-(重点)在Web项目中整合logging日志
3-22 下阶段课程准备

- 14-(重点)MySQL8.0软件安装
- 15-(重点)DataGrip软件安装与配置
3-23 python进阶课程回顾

- 16-(回顾)面向对象基础
- 17-(回顾)面向对象三大特性
- 18-(回顾)面向对象其他特性
- 19-(回顾)闭包与装饰器
- 20-(补充)装饰器的补充
- 21-(重点)TCP套接字编程
- 22-(重点)Python中多任务编程
- 23-(重点)Python高级与正则表达式
- 01-(回顾)昨日回顾
阶段二 SQL(SQL+Kettle+FineBI)
展开第一章 SQL

1-1 阶段学习反馈

- 【Python编程】阶段学习反馈
1-2 数据库基础

- 02-(了解)MySQL基础学习目标
- 03-(了解)数据库介绍
- 04-(掌握)MySQL概述与软件下载
- 05-(了解)MySQL8.0下载
- 06-(了解)Windows版本MySQL安装
- 07-(重点)小皮面板与DataGrip软件安装与连接操作
- 08-(重点)DataGrip软件配置
1-3 DDL

- 09-(理解)SQL语言概述与SQL通用写法
- 10-(重点)DDL之数据库管理
- 11-(重点)DDL之数据表创建过程
- 12-(案例)数据表创建案例
- 13-(重点)DDL之数据表查看
- 14-(答疑)反撇号与引号区别
- 15-(重点)DDL之数据表修改(字段添加)
- 16-(重点)DDL之数据表修改(字段名称与类型修改)
- 17-(重点)DDL之数据表修改(字段删除)
- 18-(重点)DDL之数据表修改(数据表重命名)
- 19-(重点)DDL之数据表删除
- 20-(小结)数据表的增删改查
1-4 DML

- 21-(重点)数值类型(整数与浮点类型)
- 22-(重点)日期时间与文本类型
- 01-(回顾)昨日回顾
- 02-(重点)DML之数据插入操作
- 03-(重点)DML之数据更新操作
- 04-(重点)DML之数据删除操作
1-5 SQL约束

- 05-(重点)五大约束之主键约束
- 06-(重点)主键约束的添加与删除操作
- 07-(扩展)自动增长序列
- 08-(补充)如何移除带有自动增长的主键
- 09-(重点)五大约束之非空约束
- 10-(重点)五大约束之唯一约束
- 11-(回顾)上午知识点小结
- 12-(重点)五大约束之默认值约束
- 13-(重点)五大约束之外键约束
- 14-(小结)五大约束
1-6 SQL条件查询

- 15-(重点)简单查询
- 16-(重点)五子句之where子句与比较查询
- 17-(重点)五子句之where子句与范围查询
- 18-(重点)五子句之where子句与逻辑查询
- 19-(重点)五子句之where模糊查询
- 20-(重点)五子句之where非空查询
1-7 SQL聚合函数

- 21-(重点)聚合函数
- 22-(理解)聚合函数不统计空值
- 23-(重点)五子句之group by分组子句
- 24-(扩展)回溯统计
- 25-(重点)五子句之having子句
- 01-(回顾)昨日回顾
- 02-(重点)五子句之order by排序子句
- 03-(重点)五子句之limit子句限制查询数量
- 04-(重点)五子句之limit分页查询子句
- 05-(小结)五子句查询小结
- 06-(重点)distinct针对某列进行去重操作
1-8 SQL多表查询

- 07-(数据)多表数据集准备
- 08-(理解)多表查询之交叉连接查询
- 09-(重点)多表查询之内连接查询
- 10-(重点)多表查询之书写规则
- 11-(回顾)上午知识点小结
- 12-(重点)多表查询之内连接查询的另外一种写法
- 13-(重点)多表查询之外连接查询
- 14-(小结)内连接查询与外连接查询区别
- 15-(了解)自连接查询与数据集准备
- 16-(重点)多表查询之自连接查询代码实现
1-9 SQL外键约束

- 17-(理解)表与表之间关系
- 18-(扩展)外键约束
- 19-(扩展)引擎概念与外键关系
1-10 SQL子查询

- 20-(重点)子查询概念与案例演示
- 21-(重点)子查询案例2
- 22-(重点)子查询案例3
- 01-(回顾)昨日回顾
1-11 窗口函数

- 02-(重点)窗口函数学习目标
- 03-(重点)窗口函数概述
- 04-(案例)聚合函数与窗口函数比较
- 05-(重点)数据集准备
- 06-(重点)窗口函数基本语法与使用案例
- 07-(重点)窗口函数案例
- 08-(重点)窗口函数案例
- 09-(重点)把over()计算结果进行进一步计算
- 10-(重点)窗口函数基本概念
- 11-(理解)数据集介绍
- 12-(重点)rank()排名函数
- 13-(重点)dense_rank()排名函数
- 14-(重点)row_number()排名函数
第二章 Kettle

2-1 Kettle入门

- 15-(回顾)上午知识点小结
- 16-(了解)可视化ETL工具之Kettle
- 17-(重点)JDK环境配置
- 18-(重点)Kettle软件安装与启动
- 19-(重点)Kettle快速入门
- 20-(重点)程序小姐姐的烦恼(上)
- 21-(重点)程序小姐姐的烦恼(下)
2-2 Kettle使用

- 22-(重点)数据库连接共享
- 23-(重点)抽取MySQL数据装载到MySQL数据库中
- 01-(回顾)昨日回顾
- 02-(重点)数据表转换加载到数据表中
- 03-(重点)插入更新组件
- 04-(问题)常见问题汇总
- 05-(重点)switch-case组件
- 06-(重点)SQL脚本组件
- 07-(重点)执行带有参数的SQL脚本
- 08-(重点)Job计划任务
第三章 FineBI

3-1 FineBI

- 09-(了解)BI系统概述
- 10-(了解)FineBI概述
- 11-(重点)FineBI安装以及试用
- 12-(回顾)上午知识点小结
3-2 FineBI综合案例

- 13-(重点)各学科学员数量分析
- 14-(重点)某集团各省份销售额与利润额分析
- 15-(案例)数据集准备(宽表来源)
- 16-(案例)每月销售额与毛利额信息展现
- 17-(案例)销售额环比数据与毛利额环比数据分析
- 18-(案例)全国各省份城市毛利率
- 19-(案例)全国各门店毛利率
- 20-(案例)全国各门店商品类别销售情况分析
- 21-(案例)全国各门店商品销售额与毛利率象限图
3-3 阶段学习反馈

- 【SQL基础】阶段学习反馈
阶段三 ETL项目实战
展开第一章 ETL

1-1 ETL入门

- 01-ETL的引出
- 02-常见数据格式-CSV
- 03-常见数据格式-JSON
- 04-常见数据格式-XML
- 05-结构化-半结构化-非结构化数据类型
- 06-ETL案例的采集需求
- 07-JSON数据的处理思路和元数据管理概念
- 08-关于MySQL在项目中的使用方式
- (补充)etl-项目搭建-配置文件作用
- (补充)etl-项目搭建工具类与单元测试类说明
1-2 logging日志处理模块

- 09-上午内容回顾-logging的基本使用
- 10-编写Logging工具方法
- 11-编写配置文件
- 12-编写单元测试
1-3 数据文件读取模块

- 13-编写文件工具-完成递归查找文件夹内的文件
- 14-编写文件工具的单元测试
- 15-代码逻辑回顾
- 01-昨日内容简单回顾
- 02-优化代码-增加json数据文件夹的配置项
1-4 数据库数据存储模块

- 03-创建mysql_util代码文件-演示pymysql的自动提交功能
- 04-编写mysql_util的功能代码
- 05-[补充]路径表示符的写法以及类的概念回顾
- 06-对mysql_util进行单元测试
1-5 数据文件搜索及核对

- 07-编写从mysql中查询已经处理过的文件的工具方法
- 08-编写对比list,找出没有被处理的文件的工具方法
- 09-调用对比方法,找出可以被处理的文件
1-6 订单模型构建

- 10-[拓展]使用模型来封装数据的方式
- 11-构建订单数据的基础模型
- 01-前两天代码的梳理
- 02-在模型中构建to_csv的方法
1-7 时间转化

- 03-[扩展]-时间戳和常用转换的代码
- 04-构建时间戳转换的工具方法并单元测试
1-8 订单数据处理

- 05-构建字符串工具检查空内容并将model数据的无意义省市区转换成未知省市区
- 06-构建模型中将数据组合成插入SQL语句的功能
1-9 订单详情数据处理

- 07-构建订单详情(带商品信息)的模型代码
- 08-编写主逻辑代码完成CSV备份文件的写出
- 09-今日的内容快速回顾
1-10 订单数据入库

- 01-对MySQLUtil进行改动让其支持更换数据库进行连接
- 02-将数据插入MySQL-1
- 03-将数据插入MySQL-2
- 04-将已经处理完成的数据记录到元数据库中
1-11 条形码数据采集

- 05-需求2采集MySQL数据-前期准备
- 06-需求2前期准备-判断数据源表和目的地表是否存在
- 07-需求2从数据源中查询出数据
1-12 条形码数据写出

- 08-需求2-构建barcode模型代码
- 09-需求2-将模型写出到MySQL和CSV
- 10-今日主业务代码回顾
- 11-[扩展]alt-shift快捷键演示
1-13 后台日志处理

- 01-昨日内容简单回顾
- 02-需求3的需求分析
- 03-需求3快速实现演示
1-14 项目回顾

- 04-上午内容需求3代码回顾
- 05-主业务逻辑代码的梳理回顾
1-15 FineBI数据报表

- 06-FineBI前期准备数据仪表板
- 07-FineBI-每日销售额走势图表构建
- 08-FineBI-热销商品词云图表构建
- 09-构建后台日志分析仪表板
阶段四 Hadoop技术栈
展开第一章 Linux

1-1 计算机操作系统

- 00_课程内容大纲和学习目标
- 01--计算机原理与操作系统概述
- 02--Linux操作系统的发展与概述
1-2 Vmware虚拟机安装与使用

- 03--VMware虚拟机--虚拟设备与NAT网络模式
- 扩展1--VMware软件安装
- 04--VMware虚拟机--NAT模式安装Centos详解
- 05--VMware虚拟机--SSH协议原理与CRT软件的使用
- 06--VMware虚拟机--Linux上传下载文件--sftp、lrzsz
1-3 Linux常用基础命令

- 07--Linux常用基础命令--文件系统概述、特殊符号
- 08--Linux常用基础命令--常用操作命令--上
- 09--Linux常用基础命令--常用操作命令--下
- 10--Linux常用基础命令--搜索操作、软链接
- 11--Linux常用基础命令--打包解包、压缩解压缩
1-4 文本编辑器使用

- 12--vim编辑器--概述与3种工作模式
- 13--vim编辑器--常用的命令使用
- 14--notepad++ FTP插件使用、finalshell(扩展)
1-5 用户与权限

- 00--课程内容回顾总结
- 01--今日课程内容大纲和学习目标
- 02--Linux用户与权限--用户与组概念、权限概念
- 03--Linux用户与权限--用户与组的管理
- 04--Linux用户与权限--su、sudo权限
- 05--Linux用户与权限--权限相关管理命令
- 06--Linux系统信息查看--时间、内存磁盘、进程
1-6 大数据集群环境搭建

- 07--大数据集群环境搭建--分布式与集群概念初识
- 08--大数据集群环境搭建--主从架构、主备架构概念
- 09--大数据集群环境搭建--虚拟机克隆、主机名和IP修改
- 10--大数据集群环境搭建--hosts映射修改
- 11--大数据集群环境搭建--防火墙关闭
- 12--大数据集群环境搭建--集群时间同步
- 13--大数据集群环境搭建--ssh免密登录
- 14--大数据集群环境搭建--scp远程拷贝
1-7 Linux软件安装

- 15--Linux软件安装--rpm包管理器与常用命令
- 16--Linux软件安装--MySQL的rpm安装详解
- 17--Linux软件安装--yum包管理器
- 18--Linux软件安装--JDK的安装、环境变量配置
1-8 shell脚本

- 19--了解shell编程--介绍、入门案例
- 20--了解shell编程--变量、字符串、反引号、动态传参
第二章 Hadoop

2-1 大数据导论

- 01--课程内容大纲和学习目标
- 02--大数据导论--数据、数据分析
- 03--大数据导论--数据分析的作用、方向
- 04--大数据导论--数据分析基本流程步骤(重要)
- 05--大数据导论--大数据时代(概念、5V特征)
- 06--大数据导论--大数据应用
- 07--大数据导论--分布式技术
- 就业基础知识学习
- 就业基础知识学习(应届生)
- 结构化表达-STAR法
2-2 Zookeeper

- 08--Apache zookeeper--概述、定位、功能
- 09--Apache zookeeper--全局数据一致性
- 10--Apache zookeeper--集群的架构与角色职责
- 11-Apache zookeeper--集群搭建--配置文件详解
- 12--Apache zookeeper--集群启停、进程查看、日志查看
- 13--Apache zookeeper--数据模型、znode类型(4种)
- 14--Apache zookeeper--shell命令行操作(CRUD)
- 15--Apache zookeeper--监听机制watch
- 16--Apache zookeeper--典型应用场景
2-3 课程阶段性回顾

- 课程内容回顾总结--上
- 课程内容回顾总结--下
- 00--课程内容回顾总结
- 01--课程内容大纲和学习目标
2-4 Hadoop入门

- 02--Apache Hadoop--概述与起源发展
- 03--Apache Hadoop--特性优点(分布式、通用、简单易用)
- 04--Apache Hadoop--发行版本与自身版本发展
- 05--Apache Hadoop--集群架构与集群角色介绍
2-5 Hadoop集群部署

- 06--Apache Hadoop--集群部署--Hadoop安装部署模式
- 07--Apache Hadoop--集群部署--了解源码编译
- 08--Apache Hadoop--集群部署--集群规划
- 09--Apache Hadoop--集群部署--服务器基础环境准备
- 10--Apache Hadoop--集群部署--配置文件详解
- 11--Apache Hadoop--集群部署--scp同步、环境变量配置
- 12--Apache Hadoop--集群部署--namenode format操作
- 13--Apache Hadoop--集群启停--命令与状态日志查看
2-6 Hadoop界面管理

- 14--Apache Hadoop--Web UI页面、初体验
- 15--Apache Hadoop--jobhistory服务配置与功能
- 16--Apache Hadoop--HDFS垃圾桶机制
2-7 Hadoop HDFS入门

- 课程内容大纲和学习目标
- 01--传统文件系统及其面临的挑战
- 02--分布式文件存储系统核心特性与作用
- 03--Hadoop HDFS--简介
- 04--Hadoop HDFS--起源发展和设计目标
- 05--Hadoop HDFS--核心重要特性解读
- 06--Hadoop HDFS--shell 操作--命令行功能及使用说明
- 07--Hadoop HDFS--shell 操作--常见命令操作
2-8 Hadoop HDFS工作机制

- 08--Hadoop HDFS--工作机制--角色与角色职责
- 09--Hadoop HDFS--工作机制--上传文件流程--pipeline、ack、3副本策略
- 10--Hadoop HDFS--工作机制--上传文件流程--梳理与总结
- 11--Hadoop HDFS--工作机制--下载文件流程(读文件流程)
- 12--Hadoop HDFS--工作机制--NN和DN之间的通信机制
2-9 Hadoop namenode管理

- 13--Hadoop HDFS--辅助工具(distcp、archive)
- 14--Hadoop HDFS--namenode 安全模式
- 15--Hadoop HDFS--namenode元数据管理机制--整体概述
- 16--Hadoop HDFS--namenode元数据相关目录文件
- 17--Hadoop HDFS--SNN概述和checkpoint
- 课程内容回顾总结
- 00-课程内容回顾总结
2-10 Hadoop MapReduce入门

- 01--HDFS读写流程复习总结
- 02--课程内容大纲和学习目标
- 03--Hadoop MapReduce--理解分而治之的思想
- 04--Hadoop MapReduce--官方团队设计构思
- 05--Hadoop MapReduce--介绍、规范
2-11 Hadoop MapReduce示例

- 06--Hadoop MapReduce官方示例--计算圆周率(如何提交mr到yarn)
- 07--Hadoop MapReduce官方示例--单词统计(WordCount)需求剖析
- 08--Hadoop MapReduce官方示例--Wordcount--程序提交、java代码梳理
- 09--Hadoop MapReduce--python接口接入
- 10--Hadoop MapReduce--Hadoop Streaing提交python脚本
- 11--Hadoop MapReduce--输入输出路径及注意事项
2-12 Hadoop MapReduce工作机制

- 12--Hadoop MapReduce--工作机制--map阶段执行流程
- 13--Hadoop MapReduce--工作机制--reduce阶段执行流程
- 14--Hadoop MapReduce--工作机制--shuffle机制
- 15--Hadoop MapReduce--工作机制--Partition分区问题
2-13 Hadoop YARN集群

- 16--Hadoop YARN--功能职责概述
- 17--Hadoop YARN--集群架构、yarn3大组件
- 18--Hadoop YARN--mr程序提交yarn流程
- 19--Hadoop YARN--scheduler调度策略
- 20--Hadoop HA集群--什么是高可用、实现高可用注意事项
- 21--Hadoop HA集群--HDFS HA--QJM实现原理、了解YARN HA
- 00--课程内容回顾总结--MapReduce回顾
- 01--课程内容回顾总结--YARN、HA
第三章 Hive

3-1 数据仓库

- 02--课程内容大纲和学习目标
- 03--数据仓库--概念定位、起源由来
- 04--数据仓库--四大核心特征
- 05--数据仓库--OLTP、OLAP区别
- 06--数据仓库--数仓分层架构(ODS、DW、DA)
- 07--数据仓库--案例:数仓建设实践
- 08--数据仓库--ETL、ELT区别
3-2 Apache Hive入门

- 09--Apache Hive--概述、功能、与Hadoop关系
- 10--Apache Hive--如何模拟实现Hive的实现
- 11--Apache Hive--架构、组件
- 12--Apache Hive--hive与MySQL的差异
3-3 Apache Hive部署

- 13--Apache Hive--metadata、metastore
- 14--Apache Hive--3种部署模式(推荐掌握远程模式)
- 15--Apache Hive--远程模式安装部署--基础环境、与Hadoop整合
- 16--Apache Hive--远程模式安装部署--配置文件与初始化
- 17--Apache Hive--metastore服务启动、第一代客户端
- 18--Apache Hive--HS2服务启动、beeline客户端使用
- 19--Apache Hive--初体验--把hive当成MySQL的体验--慢
- 20--Apache Hive--初体验--如何才能映射成功文件
- 00--课程内容回顾总结
3-4 Apache Hive建表预计

- 01--今日课程内容大纲和学习目标
- 02--Apache Hive--DDL--概念与语法树介绍
- 03--Apache Hive--DDL--建表语句--数据类型
- 04--Apache Hive--DDL--建表语句--表存在忽略异常
- 05--Apache Hive--DDL--建表语句--SerDe机制、分隔符指定语法
- 06--Apache Hive--DDL--建表语句--课堂练习--复杂类型分隔符指定
- 07--Apache Hive--DDL--建表语句--默认分隔符
- 08--Apache Hive--DDL--建表语句--location存储位置
- 09--Apache Hive--DDL--建表语句--内部表、外部表
3-5 Apache Hive分桶和分区

- 10--Apache Hive--DDL--建表语句--分区表产生背景、创建语法
- 11--Apache Hive--DDL--建表语句--分区表创建、静态数据加载、分区裁剪
- 12--Apache Hive--DDL--建表语句--动态分区插入数据
- 13--Apache Hive--DDL--建表语句--多重分区及分区表注意事项
- 14--Apache Hive--DDL--建表语句--动态分区严格模式、非严格模式含义
- 15--Apache Hive--DDL--建表语句--分桶表语法、创建、加载
- 16--Apache Hive--DDL--建表语句--分桶表的好处、注意事项
- 17--Apache Hive--DDL--库、表、分区其他操作--上
- 18--Apache Hive--DDL--库、表、分区其他操作--下
- 19--Apache Hive--常见的show语法
3-6 Apache Hive-DML

- 20--Apache Hive--DML--load加载数据(注意local含义)
- 21--Apache Hive--DML--insert插入语法
- 22--Apache Hive--DML--insert导出数据操作
- 00--课程内容回顾总结
3-7 Hive SQL DQL

- 01--课程内容大纲和学习目标
- 附1--DataGrip连接HS2服务
- 02--Hive SQL--DQL--测试环境准备、动态分区使用
- 03--Hive SQL--DQL--基础查询语句及其注意事项
- 04--Hive SQL--DQL--高阶查询--cluster、distribute、sort
- 05--Hive SQL--DQL--高阶查询--CTE表达式
- 06--Hive SQL--DQL--高阶查询--CTE表达式
- 07--Hive SQL--DQL--Join语法及其使用(侧重inner、left)
- 08--Hive SQL--DQL--Join语法注意事项
3-8 Hive SQL内置函数

- 09--Hive SQL--第一代客户端的功能
- 10--Hive SQL--参数配置方式与优先级范围
- 11--Hive SQL--内置常见运算符
- 12--Hive SQL--函数及分类标准(UDF、UDAF、UDTF)
- 13--Hive SQL--内置函数梳理--字符串函数
- 14--Hive SQL--内置函数梳理--时间日期、数值
- 15--Hive SQL--内置函数梳理--条件转换、集合、加密
3-9 行列转换

- 00--课程内容回顾总结
- 01--课程内容大纲和学习目标
- 02--Apache Hive--explode函数的使用与限制(UDTF表生成函数)
- 03--Apache Hive--lateral view侧视图的使用
- 04--Apache Hive--行列转换--多行转单列(collect_list、concat_ws)
- 05--Apache Hive--行列转换--单列转多行(explode、lateral view)
3-10 Hive窗口函数

- 06--Apache Hive--json格式数据处理
- 07--Apache Hive--窗口函数--快速理解与语法规则
- 08--Apache Hive--窗口函数--聚合函数
- 09--Apache Hive--窗口函数--window子句
- 10--Apache Hive--窗口函数--排序函数(row_number等)
- 11--Apache Hive--窗口函数--排序函数(ntile函数)
- 12--Apache Hive--窗口函数--lag、lead函数
3-11 Hive调优

- 13--Apache Hive--文件存储格式(text、ORC、parquet)
- 14--Apache Hive--数据压缩和文件格式搭配(ORC+snappy)
- 15--Apache Hive--通用调优--fetch抓取机制、MR本地模式
- 16--Apache Hive--通用调优--join优化
- 17--Apache Hive--通用调优--数据倾斜优化
- 18--Apache Hive--通用调优--MR程序task个数调整
- 19--Apache Hive--通用调优--执行计划
- 20--Apache Hive--通用调优--并行机制、推测执行机制
阶段五 千亿离线数仓项目-新零售
展开第一章 新零售项目

1-1 新零售行业背景介绍

- 01-今日内容
- 02-新零售的行业背景介绍
- 企业常用面试方法
1-2 业务模块介绍

- 03-业务模块介绍(商品上架流程)
- 04-业务模块介绍(单店铺的订单流程)
- 05-业务模块介绍(购物车的流程)
- 06-业务模块介绍(配送流程)
- 07-业务模块介绍(退货流程)
1-3 项目架构介绍

- 08-项目研发阶段说明
- 09-项目的集群和数据的说明
- 10-项目的架构介绍
- 11-上午总结
- 12-项目的架构介绍
1-4 环境介绍及部署

- 13-cloudera manager的基本介绍
- 14-项目本地环境的部署操作
- 15-云环境的说明
1-5 维度分析介绍

- 16-数据仓库的基本概念
- 17-数据仓库_维度分析的基本概念(上)
- 18-数据仓库_维度分析的基本概念(下)
- 19-今日总结
1-6 数仓建模介绍

- 01-课前回顾和今日内容
- 02-数仓建模的二种建模方式介绍
- 03-维度建模_两种表介绍
- 04-维度建模_数仓发展三种模型(概念)
- 05-维度建模_数仓发展模型(图示)
- 06-维度建模_缓慢渐变维
1-7 数仓分层介绍

- 07-数仓的分层介绍
- 08-上午的总结
1-8 HUE的基本操作

- 09-HUE的基本介绍以及访问操作
- 10-HUE基本使用_操作HDFS
- 11-HUE基本使用_操作HIVE
1-9 oozie的基本操作

- 12-工作流的基本介绍
- 13-oozie的使用_配置工作流
- 14-oozie的使用_定时配置操作
- 15-oozie的使用_批处理说明(了解)
1-10 sqoop基本操作(上)

- 16-sqoop的基本介绍
- 17-sqoop的基本使用操作
- 18-sqoop的基本使用_全量导入HDFS操作
- 19-今日总结
1-11 sqoop基本操作(下)

- 01-课前回顾和今日内容
- 02-sqoop的基本使用操作_全量导入到HIVE
- 03-sqoop的基本使用操作_条件导入到HDFS和HIVE
- 04_sqoop的基本使用操作_全量导出
- 05-sqoop的基本使用操作_相关sqoop参数
1-12 dbeaver安装及数据导入

- 06-数据库连接工具_dbeaver的安装操作
- 07-数据库连接工具_dbeaver连接mysql操作
- 08-将业务数据导入到MySQL数据库中
1-13 数仓优化

- 09-基础优化_HDFS副本以及yarn和MR的资源配置
- 10-基于优化_hive基础配置以及压缩和执行引擎
- 11-HIVE中表存储格式选择方案
- 12-HIVE建表操作_数据存储格式和压缩方案选择
1-14 ODS层数据同步介绍

- 13-上午内容的总结
- 14-ODS层的数据同步的方式
- 15-HIVE的表说明信息乱码情况解决
1-15 ODS层建表操作

- 16-ODS层建表操作_各个表同步方式以及全量覆盖表建表操作
- 17-ODS层建表操作_仅新增同步和新增及更新同步建表操作
1-16 全量同步数据到ODS(上)

- 18-基于sqoop完成数据导入到ODS层_全量覆盖导入
- 19-基于sqoop完成数据导入到ODS层_仅新增同步导入操作
- 20-基于sqoop完成数据导入到ODS_新增及更新导入操作
- 21-今日总结
1-17 全量同步数据到ODS(下)

- 01-课前回顾和今日内容
- 02-在ODS层补充一张店铺表并导入数据
- 03-在ODS层为各不同的同步方式的表模拟一份增量数据
1-18 增量同步数据到ODS

- 04-ODS层增量处理操作_全量覆盖表的处理
- 05-ODS层增量处理操作_仅新增同步和增量集更新同步的方案
- 06-ODS层增量处理_shell相关知识补充操作
- 07-ODS层增量处理_shell脚本编写
- 08-ODS层增量处理_shell脚本测试和校验操作
- 09-ODS层增量处理_基于oozie定时调度
1-19 分桶表

- 10-上午内容的总结
- 11-分桶表的基本概念
- 12-分桶表的作用_如何提升Join效率
- 13-如何进行分桶采样的操作
- 14-如何使用执行计划, 以及执行计划的说明
- 15-演示_如何向桶表加载数据以及进行采样操作
1-20 DWD层介绍

- 16-DWD层相关作用说明以及构建DWD层库
- 17-DWD层建表操作实现
- 18-今日总结
1-21 DWD层数据导入

- 01-课前回顾和今日内容
- 02-DWD层数据导入操作_全量覆盖导入和仅新增同步导入
- 03-DWD层数据导入操作_新增及更新同步导入(转换处理)
- 04-DWD层数据导入操作_新增以及更新(全量导入)
1-22 DWD层拉链表

- 05-DWD层拉链表流程分析(上)_全量和增量过程
- 06-DWD层拉链表流程分析(中)_步骤一
- 07-DWD层拉链表流程分析(下)_步骤二
- 08-上午内容的总结
- 09-拉链表的整个实施过程
- 10-DWD其他的表处理方案
1-23 join优化

- 11-原生reduce端Join实现流程
- 12-join的优化_mapJoin整个过程
- 13-JOIN的优化_bucket map Join 说明
- 14-JOIN的优化_SMB join优化
- 15-今日总结
1-24 订单业务宽表处理(上)

- 01-课前回顾和今日内容
- 02-DWB层基本介绍和库创建操作
- 03-订单业务宽表_表和表关系说明
- 04-订单业务宽表_建表操作说明
1-25 订单业务宽表处理(下)

- 05-订单业务宽表_SQL实现操作(join过程)
- 06-订单业务宽表_SQL字段的实现操作
- 07-订单业务宽表_SQL优化说明以及执行操作
1-26 店铺明细宽表处理

- 08-上午内容的总结说明
- 09-店铺明细宽表_表和表关系说明
- 10-店铺明细宽表_建表操作
- 11-店铺明细宽表_SQL实现操作
- 12-商品明细宽表_表和表关系的说明
1-27 商品明细宽表处理(上)

- 13-商品明细宽表_建表操作
- 14-商品明细宽表_SQL实现操作(上)
1-28 商品明细宽表处理(下)

- 15_-商品分类的具体说明
- 16-商品明细宽表_SQL实现操作(下)
1-29 hive索引介绍

- 01-课前回顾和今日内容
- 02-索引的基本介绍
- 03-HIVE的原始索引的基本介绍
- 04-HIVE的行组索引的基本介绍
- 05-HIVE的布隆过滤索引的基本介绍
- 06-在实际使用中, 如何应用索引
1-30 join数据倾斜的处理

- 07-数据倾斜的介绍以及Join倾斜解决方案上
- 08-数据倾斜的解决_JOIN解决方案下
- 09-Join数据倾斜中union all优化措施
1-31 group_by数据倾斜的处理

- 10-数据倾斜的解决_group by 数据倾斜发生原因
- 11-数据倾斜的解决_group by解决方案(方案一)
- 12-上午内容的总结
- 13-数据倾斜的解决_group by 解决方案二
- 14-如何发现数据倾斜的方式
1-32 DWS层介绍

- 15-DWS层基本介绍
- 16-DWS层销售主题日统计宽表_需求分析和建表操作
- 17-DWS层销售主题日统计宽表_日期和城市流程分析
1-33 销售主题日统计宽表处理(上)

- 01-课前回顾和今日内容
- 02-如何使用dbeaver连接HIVE操作
- 03-销售主题日统计宽表_日期和城市维度
- 04-销售主题日统计宽表_日期和城市(指标统计)上
- 05-销售主题日统计宽表_日期和城市(指标统计)下
- 06-销售主题日统计宽表_日期和城市(写入目标表)
1-34 销售主题日统计宽表处理(下)

- 07-销售主题日统计宽表_日期,城市和商圈统计
- 08-数仓中订单明细宽表数据特点(存在重复)
- 09-上午内容的总结
- 10-销售主题日统计宽表_日期和品牌流程分析处理
- 11-销售主题日统计宽表_日期和品牌SQL实现
1-35 hive优化

- 12-HIVE的其他优化_关联优化器和并行执行
- 13-HIVE的其他优化_HIVE小文件合并操作
- 14-HIVE的其他优化_矢量化查询和读取零拷贝
1-36 presto基本介绍

- 15-presto的基本介绍
- 16-presto的安装操作
- 17-如何使用dbeaver连接presto
1-37 presto特点

- 01-课前回顾和今日内容
- 02-presto的架构介绍
- 03-presto的日期类型的转换操作和计算操作
- 04-Presto的内存的调整操作
- 05-Presto中SQL特殊优化说明
- 06-Presto其他的补充说明点
1-38 presto高级函数

- 07-Presto高级函数_grouping sets 使用
- 08-Presto高级函数_cube操作
- 09-presto高级函数_rollup说明
- 10-presto的高级函数_grouping操作
1-39 销售日统计宽表(上)

- 11-上午内容的总结
- 12-销售日统计宽表_SQL实现_去重处理
- 13-销售日统计宽表_分析为什么要做那么多的去重操作
- 14-销售日统计宽表_维度字段和group_type处理操作
1-40 销售日统计宽表(下)

- 15-销售日统计宽表_指标统计(销售收入)
- 16-销售日统计宽表_指标统计(销售额相关指标)
- 17-销售日统计宽表_指标统计(订单量相关统计)
- 18-销售主题日统计宽表_导入数据操作以及测试
1-41 商品主题日统计宽表处理(上)

- 01-课前回顾和今日内容
- 02-DWS层商品主题日统计宽表的建表操作
- 03-DWS层商品主题日统计宽表_需求分析
- 04-DWS层商品主题日统计宽表_指标实现(前二类)
- 05-DWS层商品主题日统计宽表_后续的指标统计
1-42 商品主题日统计宽表处理(下)

- 06-二个表全外关联实现流程分析以及三个表引入
- 07-上午内容的总结说明
- 08-三个表进行全外关联的流程分析
- 09-DWS层商品主题日统计宽表_整体合并实现
1-43 销售主题宽表实现(上)

- 10-DM层介绍以及建库和建表操作
- 11-DM层销售主题宽表实现_按日统计
1-44 销售主题宽表实现(下)

- 12-DM层销售主题宽表实现_上卷统计的分析说明(上)
- 13-DM层销售主题宽表实现_上卷统计分析(中)
- 14-DM层销售主题宽表实现_上卷统计分析流程(下)
1-45 销售主题的统计宽表处理(上)

- 01-课前回顾和今日内容
- 02-DM层销售主题的统计宽表_按周统计(指标)
- 03_DM层销售主题的统计宽表_按周统计(指标处理)
- 04-DM层销售主题统计宽表_按月和年进行统计
1-46 销售主题的统计宽表处理(中)

- 05-DM层销售主题的统计宽表的增量处理思路
- 06-DM层商品主题的统计宽表_建表操作
- 07-DM层商品主题的统计宽表_统计总累计值和最近30天
- 08-DM层商品主题的统计宽表_合并结果
1-47 销售主题的统计宽表处理(下)

- 09-上午内容的总结
- 10-DM层商品主题的统计宽表_增量的实现操作
1-48 RPT层实现

- 11-RPT层相关内容_需求一
- 12-RPT层相关内容_需求二
1-49 报表展示

- 13-基于presto进行数据导出操作
- 14-图表展示工作
1-50 项目总结

- 15-项目的总结说明
- 16-相关的面试题说明
阶段六 Spark技术栈
展开第一章 PySpark

1-1 Spark介绍

- 01-今日内容说明
- 02-Spark的基本介绍
- 03-Spark为什么执行效率比较高
- 04-Spark发展史
1-2 Spark特点

- 05-Spark的特点(前二个)
- 06-Spark的特点(后二个)
1-3 Spark local模式

- 07-local模式的基本介绍
- 08-如何更改网络适配器方案
- 09-如何安装local模式
- 10-上午内容的总结
1-4 Pysaprk环境安装

- 11-如何安装anaconda
- 12-安装好python环境后直接使用pyspark命令
- 13-安装pyspark库
1-5 集群介绍及Pycharm环境

- 14-Spark集群模式的架构介绍
- 15-pycharm如何连接远程环境
- 16-pycharm的一些高级功能
1-6 WordCount案例 方式一

- 17-WordCount的流程分析
- 18-WordCount代码实现(上)
- 19-WordCount代码实现(下)
- 20-今日总结
1-7 PySpark 入门示例

- 01-课前回顾和今日内容
- 02-pySpark的入门案例_从HDFS读取数据写入到HDFS
- 03-pySpark的入门案例_排序操作
- 04-如何将spark程序提交到平台运行(初体验Local)
1-8 Spark On Yarn

- 05-spark on yarn集成操作
- 06-Spark On Yarn测试操作
- 07-Spark On Yarn提交测试以及Spark程序组成部分
1-9 Spark提交运行

- 08-Spark提交运行的两种部署方式
- 09-Spark的提交运行的两种方式_如何查看日志
- 10-Spark和PySpark的交互流程图(上)
- 11-上午内容的总结
1-10 Spark与PySpark交互

- 12-Spark和PySpark的交互流程(下)
- 13-Spark和PySpark的交互流程(集群模式)
- 14-Spark和PySpark交互流程(YARN)
- 15-Spark-submit的相关参数说明
1-11 RDD介绍与特点

- 16-RDD的基本介绍
- 17-RDD的五大特性
- 18-RDD的五大特点
1-12 RDD构建

- 19-如何构建RDD_方式一
- 20-今日总结
1-13 PySpark DateSource

- 01-课前回顾和今日内容
- 02-通过读取外部文件的方式以及小文件合并
- 03-读取外部文件的分区数量的确定
1-14 RDD Transformations 算子及action算子

- 04-RDD算子的分类介绍
- 05-RDD算子_转换算子(单值类型)
- 06-RDD算子_转换算子(双值类型)
- 07-RDD算子_转换算子(kv类型)
- 08-上午内容的总结
- 09-RDD相关算子_action算子
1-15 RDD 分区

- 10-RDD重要函数_分区函数
- 11-RDD的重分区的函数(上)
- 12-RDD的重分区的函数(下)
1-16 RDD 聚合

- 13-RDD的重要函数_聚合函数(单值)
- 14-RDD的重要算子_聚合函数(kv类型)
- 15-RDD的重要算子_关联函数
- 16-今日总结
1-17 PySpark 搜索案例

- 01-课前回顾和今日内容
- 02-搜狗案例的数据集说明
- 03-如何在pycharm设置模板
- 04-搜索案例实现_数据封装操作
- 05-搜索案例实现_需求一实现
- 06-搜索案例实现_需求二实现
- 07-点击流分析案例_需求1和需求2
1-18 RDD 缓存

- 08-今日内容的说明
- 09-缓存的基本介绍(理解)
- 10-缓存的基本使用操作
1-19 RDD 检查点

- 11-检查点的基本介绍
- 12-检查点的基本使用
- 13-缓存和检查点的区别
- 14-缓存和检查点共用操作
1-20 RDD共享变量

- 15-RDD共享变量的引入操作
- 16-RDD的共享变量_广播变量
- 17-RDD的共享变量_累加器的使用操作
1-21 RDD累加器

- 18-RDD的累加器的小问题说明(重复累加)
- 19-上午内容的总结
1-22 DAG流程图

- 20-RDD内核调度_RDD的依赖关系
- 21-DAG以及DAG流程图形成说明
- 22-DAG的阶段划分以及线程的划分操作
- 23-DAG和stage的划分操作(细化操作)
1-23 RDD内核调度

- 24-RDD内核调度_RDD的shuffle
- 25-RDD的内核调度_JOB的调度流程
- 26-RDD的内核调度_Spark的并行度
- 27-了解combinerByKey
- 28-今日总结
1-24 SparkSQL介绍

- 01-课前回顾和今日内容
- 02-SparkSQL的基本概念
- 03-Spark SQL的发展历程
- 04-Spark SQL 和 HIVE SQL异同点
1-25 SparkSQL入门示例

- 05-Spark SQL中数据结构
- 06-Spark SQL入门代码_如何构建SparkSession对象
- 07-Spark SQL入门案例代码
1-26 PySpark DateFrame

- 08-Spark SQL的dataFrame介绍
- 09-如何构建dataFrame对象_RDD转换DF
- 10-如何构建dataFrame对象_pandas的DF转换为Spark的DF
- 11-如何构建dataFrame对象_读取外部的方式
- 12-上午内容的总结
- 13-如何构建dataFrame_json以及总结说明
- 14-dataFrame的相关的API_DSL
- 15-dataFrame的相关的API_SQL方案
- 16-dataFrame的相关API_代码演示
1-27 WordCount案例 方式二

- 17-综合案例_WordCount案例(RDD转DF方案)
- 18-综合案例_WordCount案例的方式二
1-28 电影分析案例

- 19-综合案例_电影分析案例需求一
- 20-综合案例_电影分析案例需求四_SQL实现
- 21-综合案例_电影分析案例_需求四
- 22-今日总结
1-29 Spark SQL

- 01-课前回顾和今日内容
- 02-Spark SQL的shuffle分区数量设置
- 03-Spark SQL的清洗相关的API演示
- 04-Spark SQL的输出操作_输出普通文件
- 05-Spark SQL的输出操作_输出到Mysql
1-30 pandas介绍

- 06-pandas的基本介绍及其入门案例
- 07-pandas的两个重要数据类型_series
- 08-pandas的两个重要的数据类型_dataFrame
- 09-pandas的数据的读写文件操作
- 10-上午内容的总结
- 11-pandas的读写数据库的操作
1-31 窗口函数

- 12-pyspark SQL中函数_如何使用窗口函数_SQL
- 13-spark sql中函数_如何使用窗口函数_DSL
1-32 自定义UDF函数

- 14-spark SQL的自定义UDF函数_使用步骤
- 15-spark SQL的自定义UDF函数_返回基本数据类型
- 16-spark SQL的自定义UDF函数_返回列表或者字典
1-33 pandas UDF

- 17-Spark SQL的pandas的UDF_如何互转DF操作
- 18-spark SQL的pandas的UDF使用操作
- 19-spark SQL的pandas的UDAF函数使用以及作业说明
- 20-今日总结
1-34 Spark On Hive

- 01-课前回顾和今日内容
- 02-Spark ON hive的基础原理说明
- 03-测试HIVE是否可以正常的启动
- 04-spark on hive的集成配置操作
- 05-Spark On HIVE 的集成_如何通过代码连接
- 06-Spark ON HIVE_分布式引擎(模拟hive server2)
- 07_spark on hive的分布式引擎_通过datagrip连接
1-35 Spark SQL运行机制

- 08-spark SQL的运行机制_回顾Driver执行流程
- 09-Spark SQL的运行机制详解
- 10-如何查看SQL的物理执行计划
1-36 新零售案例

- 11-上午内容的总结
- 12-综合案例_新零售案例需求说明
- 13-综合案例_新零售案例实现_清洗操作
- 14-综合案例_新零售案例实现_需求一实现
- 15-综合案例_新零售案例_需求3和需求5
- 16-综合案例_新零售案例_需求9
- 17-综合案例_教育项目案例需求实现
1-37 Spark总结

- 18-spark阶段大总结(上)
- 19-spark阶段大总结(下)
阶段七 PB级内存计算项目-富华保险
展开第一章 富华保险

1-1 保险业务说明

- 01-今日内容说明
- 02-行业背景介绍
- 03-保险的分类和精算的介绍
- 04-保险行业相关的专业术语
- 05-保险行业的相关特点
- 06-用户投保流程
- 07-再保险部门的基本介绍
- 08-保险的分类(风险转移和理财型)
- 09-保险数据的业务数据来源地说明
- 10-项目背景说明
1-2 项目业务需求与架构介绍

- 11-上午内容的总结
- 12-项目的需求描述
- 13-项目架构的描述以及技术选型
- 14-项目的基本情况的说明
1-3 项目虚拟机说明

- 15-项目的统一环境的虚拟机说明
- 16-项目成果演示工作
1-4 大数据计算演示

- 17-大数据计算流程的演示
- 18-今日总结
1-5 数仓建模

- 01-课前回顾和今日内容
- 02-数仓的基本介绍
- 03-维度分析的基本内容
- 04-数仓建模的两套理论基本介绍
- 05-维度建模中事实表和维度表的基本介绍
- 06-维度建模中三种模型的整体说明
- 07-缓慢渐变维说明
1-6 数仓分层

- 08-上午内容的总结
- 09-数据仓库的分层的基本描述
- 10-数仓架构技术选型说明
1-7 项目环境搭建

- 11-如何清理远端环境
- 12-如何构建远端环境以及构建基础项目目录
- 13-基于pycharm连接远端服务器(替换CRT)
- 14-基于pycharm连接MySQL和spark
- 15-清洗昨日相关的数据集
- 16-将基础数据导入到Mysql中
- 17-今日总结
1-8 hive数仓建库建表

- 01-课前回顾和今日内容
- 02-hive中建表的思考点
- 03-启动项目的整体环境
- 04-在hive中构建ODS层库和表
1-9 基于sqoop完成数据采集

- 05-sqoop的基本介绍
- 06-sqoop的安装操作
- 07-sqoop的基本使用操作
- 08-sqoop的数据采集操作实施
- 09-上午内容总结
- 10-完成后续的采集的脚本
1-10 DolphinScheduler的使用

- 11-DS的基本介绍
- 12-DS的安装配置操作
- 13-DS的安装与启动操作
- 14-DS的架构的说明
- 15-DS的基本使用操作
- 16-DS的工作流的配置和测试操作
- 17-使用DS完整ODS层数据采集操作
- 18-今日总结
1-11 寿险定价规则

- 01-课前回顾和今日内容
- 02-寿险的定价的循环流程
- 03-寿险的定价原则
- 04-寿险定价假设
- 05-寿险传统定价方法说明
1-12 窗口函数回顾

- 06-如何生成多行序列操作
- 07-如何快速生成一张表数据
- 08-回顾窗口函数_row_number以及兄弟们
- 09-回顾窗口函数_与聚合函数结合使用
- 10-回顾窗口函数与lead和lag以及其他计算函数操作
1-13 迭代计算

- 11-上午内容的总结
- 12-如何进行横向迭代计算操作
- 13-如何进行纵向迭代计算操作(方式一)
- 14=如何进行纵向迭代计算操作(方式二)
- 15-UDAF函数结合窗口函数执行的流程说明
1-14 保费参数因子需求解析

- 16-计算保费参数因子_需求说明(上)
- 17-计算保费参数因子_需求说明(下)
- 18-在DW层构建表以及字段信息说明
- 19-在DW层实现保费参数因子表的维度表生成
- 20-今日总结
1-15 保费参数因子表计算_上

- 01-课前回顾和今日内容
- 02-保费参数因子表计算_步骤一
- 03-保费参数因子表计算_步骤二
- 04-保费参数因子表计算_步骤三
- 05-使用spark程序读取SQL脚本执行
- 06-保费参数因子表计算_步骤四(上)
- 07-保费参数因子表计算_步骤四(下)
- 08-保费参数因子表计算_步骤四的计算流程讲解
- 09-保费参数因子表计算_步骤五
1-16 保费参数因子表计算_下

- 10-上午内容的总结说明
- 11-保费参数因子表计算操作_步骤五的函数流程说明
- 12-保费参数因子表计算操作_步骤六
- 13-保费参数因子表计算操作_步骤七
- 14-保费参数因子表计算操作_步骤八
- 15-保费参数因子表计算操作_步骤九
- 16-保费参数因子表计算操作_步骤10
- 17-保费参数因子表计算_保存至目标表
1-17 计算保费

- 18-保费计算操作_结果表创建操作
- 19-保费计算操作_中间结果的计算实现_步骤11
- 20-保费计算流程_步骤12
- 21-保费计算流程_保存到目标表
1-18 现金价值计算_上

- 01-课前回顾和今日内容
- 02-现金价值和保险准备金基本介绍
- 03-现金价值的需求说明
- 04-现金价值计算_建表操作
- 05-现金价值表计算_步骤13
- 06-现金价值表计算_步骤14~16计算操作
- 07-现金价值表计算_步骤17~18
1-19 现金价值计算_下

- 08_现金价值计算_将毛保费结果保存到目标表
- 09-现金价值计算_步骤19
- 10-上午内容的总结
- 11-现金价值计算_步骤20~21
- 12-现金价值计算_步骤22~23
- 13-现金价值计算_导入到目标表
1-20 保险准备金计算

- 01-保险准备金的需求分析以及建表操作
- 02-保险准备金计算_步骤24
- 03-保险准备金计算_步骤25
- 04-保险准备金计算_步骤26
- 05-保险准备金计算_步骤27
- 06-保险准备金计算_步骤28
- 07-保险准备金计算_步骤29~33
- 08-保险准备金计算_基于窗口函数实现聚合操作
1-21 APP层计算操作

- 09-APP层计算操作_保险精算结果表构建
- 10-app层计算操作_保险精算结果表导入操作
- 11-将数据导出到MySQL中
- 01-课前回顾和今日内容
1-22 用户投保详情计算

- 02-用户投保详情表计算操作(上)
- 03-用户投保详情表计算操作(下)
1-23 计算保费收入增长率、首年保费与保费收入比

- 04-计算保费收入增长率
- 05-计算首年保费与保费收入比(上)
- 06-计算首年保费与保费收入比(下)
1-24 件均保费及死亡发生率和残疾发生率计算

- 07-计算件均保费
- 08-死亡发生率和残疾发生率
- 09-上午内容的总结
1-25 新业务价值率,高净值客户比例,各地区汇总保费计算

- 10-新业务价值率的计算操作
- 11-高净值客户比例计算
- 12-各地区的汇总保费
1-26 上线yarn平台

- 13-app指标说明
- 14-基于Yarn完成项目上线操作
1-27 项目总结

- 15-项目总结(上)
- 16-项目总结(中)
- 17-项目总结(下)
- 18-面试总结
1-28 就业能力-试用期&工作常识科普

- 01-应聘渠道使用技巧
- 02-面试篇1
- 03-面试篇2
- 04-试用期篇1
- 05-试用期篇2
阶段八 就业指导
展开第一章 工作篇

1-1 工作篇

- 工作篇
第二章 求职篇

2-1 求职篇

- 求职篇1简历制作
- 求职篇2简历投递技巧
- 应聘渠道使用技巧
第三章 面试篇

3-1 面试篇

- 面试篇1
- 面试篇2
第四章 试用期篇

4-1 试用期

- 试用期篇1
- 试用期篇2