课程试听
第一章 拓展课程-ChatGPT模型基础知识

1-1 课程安排及NLP简介

- 01-总体课程安排
- 02-今天的课程安排
- 03-NLP概念和发展史
- 04-NLP应用场景
1-2 文本处理的基本方法

- 05-文本处理的主要环节
- 06-jieba分词-概念-pip安装
- 07-jieba分词-三种模式
- 08-jieba分词-用户自定义词典-繁体
- 09-命名实体识别和词性标注
1-3 文本张量表示方法(一)

- 10-文本张量表示概念-onehot编码思路分析
- 11-onehot编码生成
- 12-onehot编码使用
- 13-词向量定义-CBOW思想
- 14-中午课程回顾
- 15-词向量-cbow工作原理和课堂答疑
- 16-词向量-onehot横着画和竖着画-拿词向量
- 17-词向量-skipgram方式
1-4 文本张量表示方法(二)

- 18-词向量训练保存加载
- 19-查看词向量和词向量效果检验
- 20-词向量训练-参数选择
- 21-词向量训练-有监督和无监督
- 22-nnembed词向量案例-案例展示
- 23-nnembed词向量案例-思路分析
- 24-nnembed词向量案例-实现和调试
- 25-pycharm连接远程服务器-配置效果展示
- 26-pycharm连接远程服务器-配置操作
1-5 文本数据分析

- 02-数分-定义-数据集-标签分布-思路
- 03-数分-标签分布-实现
- 04-数分-句子长度分布-思路分析
- 05-数分-句子长度分布-编码实现
- 06-数分-正负样本散点图-思路和实现
- 07-数分-统计单词个数
- 08-跨目录cp文件和pycharm连接远程解释器
- 08-数分-词云-思路分析
- 09-数分-词云-代码串讲
- 01-上一次课程复习
1-6 文本特征处理

- 10-特征处理-n-gram特征
- 11-特征处理-文本长度处理
- 12-中午课程回顾
- 13-文本数据增强
- 14-文本预处理5个环节-小结
1-7 RNN基础模型

- 15-RNN看山
- 16-RNN定义和作用
- 17-RNN模型的分类
- 18-RNN内部结构分析
- 19-RNNapi-主导参数和辅助参数
- 20-RNNapi-4个主导参数-关系实验
- 21-RNNapi-隐藏层参数
- 22-RNNapi-所有时间步共享隐藏层矩阵参数
- 23-RNN模型的优缺点
1-8 LSTM基础

- 24-1-LSTM内部结构-3个门-细胞状态
- 24-2小结
- 25-LSTMapi介绍
- 01-上一次课程复习
1-9 GRU基础

- 02-gru内部结构
- 03-gruApi
- 04-rnn-lstm-gru内部权重参数矩阵多少分析
- 05-batch-first属性只对input和output有影响
- 06-rnn-一个字符一个字符和批次送数据
1-10 人名分类器案例(一)

- 07-人名分类器案例-目标-案例介绍-数据
- 08-人名分类器案例-字母张量化思路分析
- 09-数据处理-读数据
- 10-数据处理-数据源dataset-思路分析
- 11-数据处理-数据源dataset-编码实现
- 12-数据处理-数据源dataset-调试
- 13-中午课程回顾
1-11 人名分类器案例(二)

- 14-rnn模型-实现思路分析
- 15-rnn模型-编码实现
- 16-rnn模型-编码测试和调试
- 17-lstm模型-编码和测试
- 18-gru模型-编码和测试
- 19-rnn模型训练-实现思路分析
- 20-rnn模型训练-编码
- 21-rnn模型训练-测试和调试
- 22-lstm模型训练-编码和测试
- 23-gru模型训练-编码和测试
- 24-模型训练制图
- 01-上一次课程复习
1-12 人名分类器案例(三)

- 02-搭建知识体系不是一件轻松的事情
- 03-模型训练-对比实验效果分析
- 04-模型预测-rnn思路分析
- 05-模型预测-rnn预测实现
- 06-模型预测-gru和lstm预测实现
- 07-模型预测-综合调用
- 08-服务器模型训练-session问题
- 09-服务器模型训练-脱离session转后台进程
- 10-服务器模型训练-启动了多个后台进程错误
- 11-gpu模型训练-cuda和device概念
- 12-gpu模型训练-微调rnn和数据
- 13-gpu模型训练-rnn模型预测微调
- 14-gpu模型训练-思考与提高
- 15-中午课程回顾
1-13 注意力机制

- 16-注意力的概念和为什么需要注意力机制
- 17-生活中的qkv和神经网络模拟生活中的qkv
- 18-seq2seq架构中qkv-seq2seq工作原理
- 19-seq2seq架构中qkv-分布代表什么
- 20-seq2seq架构中qkv-做了什么
- 21-注意力机制只是一个小的策略-站在神经网络三要素高度去理解
- 22-课堂答疑
- 23-注意力计算规则-作用-分类
- 24-注意力机制-思路分析
- 25-注意力机制-编码实现
- 26-注意力机制-调试
- 27-注意力机制-单词个数改变-权重分布调试实验
- 01-上一次课程复习-注意力机制
- 02-作业点评
1-14 英译法任务(一)

- 03-seq2seq案例-架构和数据集
- 04-seq2seq案例-需求分析和任务识别
- 05-课堂答疑为什么选用nnembedding
- 06-seq2seq案例-总体步骤和导包
- 07-数据处理-思路分析
- 08-数据处理-文本清洗
- 09-数据处理-构建英文法文字典
- 10-数据处理-dataset类构建思路分析
- 11-数据处理-dataset类编码实现
- 12-数据处理-dataset类测试和调试
- 13-课堂答疑-有关batchsize
- 14-编码器-思路分析
- 15-编码器-编码实现
- 16-编码器-测试和调试
- 17-中午课程回顾
1-15 英译法任务(二)

- 18-解码器-实现思路分析
- 19-解码器-编码实现
- 20-解码器-调试和测试
- 21-attention解码器-实现思路分析
- 22-attention解码器-编码实现
- 23-attention解码器-测试和调试
- 24-训练函数主业务-思路分析
- 25-训练函数主业务-编写实现
- 26-内部训练函数-思路分析
- 27-内部训练函数-编码和调试
1-16 英译法任务(三)

- 01-训练函数流程复习和确认
- 02-注意力机制流程复习和确认
- 03-注意力机制数据形状变化剖析【重要】
- 04-模型训练-teacher-forcing概念
- 05-模型训练-teachr-forcing实现和调试
- 06-注意力机制-bmm运算意义解读【重要】
- 07-模型评估-串讲
- 08-中午课程回顾
- 09-注意力机制权重分布制图
1-17 注意力机制扩展阅读

- 10-注意力机制的拓展阅读
- 11-gpu设备上训练模型
1-18 Transformer结构

- 12-transformer背景介绍
- 13-transformer结构-4个部分
- 14-transformer结构-编码解码子层
- 15-transformer结构-编码器层和解码器层是如何连接的
- 16-课堂答疑
- 01-上一次课程复习
- 02-上一次课程复习-tranformer组成部分
1-19 输入部分

- 03-总体实现的要求和说明
- 04-输入-词嵌入层-思路分析
- 05-输入-词嵌入层-编码实现和调试
- 06-输入-添加位置信息-思想分析
- 07-课堂答疑-不同批次添加位置信息
- 08-课堂答疑-深度学习提取事物特征和机器学习不同之处
- 09-输入-添加位置信息-代码分析
- 10-输入-添加位置信息-编码实现
- 11-输入-添加位置信息-测试和调试
- 12-输入-绘制偶数奇数特征曲线
- 13-中午课程回顾
1-20 自注意力机制

- 14-掩码张量-上下三角矩阵
- 15-1自注意力机制-现实意义
- 15-2自注意力机制-现实意义-小结
- 16-自注意力机制-编码思路分析
- 17-自注意力机制-编码实现析
- 18-自注意力机制-调试
- 19-自注意力机制-权重分布矩阵的练习
1-21 多头注意力机制

- 20-多头注意力机制-概念作用和流程
- 21-多头注意力机制-数据形状变化分析【重要】
- 22-多头注意力机制-代码分析
- 23-课堂答疑-view和reshpe
- 01-上一次课程复习
- 02-多头注意力机制-复习
- 03-多头注意力机制-代码分析
- 04-多头注意力机制-编码实现
- 05-多头注意力机制-测试和调试
- 06-课堂答疑-多头注意机制
- 07-transpose和view函数
1-22 编码器部分

- 08-前馈全连接层-思路分析和代码实现
- 09- 规范化层-实现思路分析
- 10- 规范化层-编码实现
- 11- 规范化层-测试和调试
- 12-子层连接结构-实现思路分析
- 13-子层连接结构-编码实现
- 14-子层连接结构-测试和调试
- 15-中午课程回顾
- 16-编码器层-思路分析
- 17-编码器层-编码实现
- 18-编码器层-测试和调试
- 19-编码器部分-思路分析
- 20-编码器部分-编码实现和调试
- 21-编码器部分-注意单独copyatten对象和ff对象
1-23 解码器部分

- 22-解码器层-思路分析
- 23-解码器层-编码实现
- 24-解码器层-测试和调试
- 25-mask的两个作用-防止信息泄露-处理pad数据
- 26-解码器部分-思路分析和编码实现和调试
- 01-上一次课程复习-上
- 02-上一次课程复习-下
- 03-输出部分-思路分析代码实现和调试
1-24 模型构建

- 04-模型构建-总体流程梳理
- 05-模型构建-总体业务流程-编码实现
- 06-模型构建-编码解码内部函数-编码实现
- 07-模型构建-测试和调试
- 08-transformer论文复现-复盘
- 09-上午课程回顾
1-25 fasttext工具介绍

- 11-fasttext-作用-速度快-层次softmax-ngram特征
- 12-面试题hssoftmax为什么要比普通softmax要速度快
- 13-fasttext-安装
- 14-分类概念-fasttext数据格式-数据集划分
- 15-fasttext分类基本api函数使用
- 16-fasttext模型调优-数据调优
- 17-fasttext模型调优-轮次-学习率-2gram-hs
- 18-fasttext模型自动超参数调优
- 01-上一次课程复习
- 02-fasttext多标签多分类api
- 03-fasttext训练词向量-复习
1-26 NLP中的标准数据集

- 04-词向量迁移
- 05-迁移学习概念
- 06-glue数据集概念
- 07-glue标准数据集-前三种
- 08-glue标准数据集-中间三种
- 09-glue标准数据集-后三种
- 10-clue标准数据集介绍
- 11-中午课程回顾
1-27 transformers库使用(一)

- 12-预训练模型分类和大小
- 13-transformers开源社区和库介绍
- 14-transformers三层架构
- 15-transformers库的安装
- 16-pipeline方式-官网模型下载
- 17-pipeline-文本分类
- 18-pipeline-特征抽取-思路分析
- 19-pipeline-特征抽取-api调用
- 20-pipeline-完型填空
- 21-pipeline-阅读理解任务
- 22-pipeline-文本摘要
- 01-提高职业素养
- 02-上一次课程复习上
- 03-上一次课程复习下
1-28 transformers库使用(二)

- 04-automodel-文本分类思路分析
- 05-automodel-文本分类编码实现
- 06-automodel-分词器编码-指定数据格式
- 07-课堂答疑-有关eval和nograd区别和联系
- 08-automodel-特征提取-思路分析
- 09-automodel-特征提取-实现和调试
- 10-课堂答疑-多句话使用bath_encode_plus
- 11-automodel-完型填空-思路分析
- 12-automodel-完型填空-编码实现
- 13-automodel-阅读理解(抽取式问答)
- 14-automodel-文本摘要
- 15-automodel-ner任务
- 16-中午课程回顾
- 17-具体模型方式-完型填空
- 18-课堂答疑-具体模型和automodel方式区别和联系
1-29 迁移学习实践(一)

- 19-1-迁移学习中文数据和微调实现思路
- 19-2-迁移学习中文数据和微调实现思路
- 20-数据预处理-dataset
- 21-数据预处理-dataloader二次处理回调函数-原因-data语法
- 22-数据预处理-二次处理思路分析
- 23-数据预处理-二次处理编码实现和调试
- 24-课堂答疑-数据处理length属性和最大长度属性
- 25-搭建模型-思路分析
- 26-搭建模型-实现和调试
- 27-模型训练-思路分析
- 28-模型训练-编码
- 29-模型训练-调试
- 01-上一次课程复习
- 02-上一次课程复习
1-30 迁移学习实践(二)

- 03-中文分类-模型评估-串讲
- 04-中文分类-任务识别和需求分析
- 05-中文分类-数据处理思路分析
- 06-中文分类-数据处理编码实现
- 07-中文分类-数据处理测试和调试
- 08-中文分类-模型构建
- 09-中文分类-模型训练-代码移植
- 10-中文分类-模型评估-代码移植
- 11-中午课程回顾
1-31 迁移学习实践(三)

- 12-句子关系-任务介绍需求分析
- 13-句子关系-数据处理-正负样本-文本数值化-思路分析
- 14-句子关系-数据处理-正负样本-编码实现
- 14-句子关系-数据处理-正负样本-调试
- 15-句子关系-数据处理-回调函数文本数值化-编码和调试
- 16-句子关系-模型构建
- 17-句子关系-模型训练
- 18-句子关系-模型评估
- 19-文本预处理知识体系-复习
1-32 迁移学习实践(四)

- 01-上一次课程复习
- 02-微调脚本-概念和数据集
- 03-微调脚本-训练过程演示
- 04-微调脚本-模型的调用
- 05-微调脚本-做实验的步骤
1-33 bert模型

- 06-bert模型-简介
- 07-bert模型-架构-对比
- 08-bert模型-词向量层
- 08-bert模型-特征抽取层和预微调层
- 09-bert模型-为什么采用CLS特征作为整个句子的特征
- 10-bert模型-mlm和nsp训练任务
1-34 Transformer子模块

- 11-Transformer 各子模块作用
- 12-中午课程回顾
- 13-1Transformer Decoder模块
- 13-3课堂答疑-有关sos+a+b去生成c
- 13-2课堂答疑-有关1个字符1个字符的解码
1-35 self attention机制详解

- 14-selfattention概念
- 15-添加缩放系数-qk乘积在增大
- 16-添加缩放系数-qk乘积方差增大d_k倍
- 18-添加缩放系数-方差增加会造成最大值分量强占所有概率
- 19添加缩放系数-均值和方差
- 20-添加缩放系数-softmax函数求导
- 21-添加缩放系数-XY运算方差增大d_k
- 22-添加缩放系数-XY运算方差增大d_k2
1-36 Transformer优势

- 23-rnn和注意力机制知识体系复习
- 24-seq2seq案例-review代码
- 01-上一次课程复习
- 02-transformer优势
1-37 bert及elmo模型

- 03-bert模型的特点
- 04-elmo简介和架构
- 05-bert模型动态词向量实验
- 06-bert模型静态词向量实验
- 07-elmo模型-训练
- 08-elmo模型-效果和待改进点
- 09-中午课程复习
1-38 gpt模型

- 10-gpt模型-简介和架构
- 11-gpt模型-二阶段训练
- 12-gpt模型-工作流程
- 13-gpt模型-工作流程
- 14-三大模型优点和缺点
第二章 拓展课程-基于GPT2大模型开发和应用

2-1 课程背景介绍

- 01-ChatGPT介绍
- 02-ChatGPT背景介绍
- 03-ChatGPT注册mp4
- 04-python调用Chatgpt
- 05-ChatGPT应用场景
- 06--ChatGPT模型本质
2-2 ChatGPT发展历程及原理

- 07--Ngram语言模型
- 08--神经网络语言模型
- 09--GPT1模型训练过程
- 10--GPT1模型特点与总结
- 11-GPT2模型介绍
- 12--GPT3模型
- 13--ChatGPT介绍
- 14--ChatGPT原理
- 15--今日课程总结
2-3 聊天机器人项目介绍及数据处理

- 01--聊天机器人项目背景
- 02--聊天机器人的项目架构
- 03--数据格式转换
- 04--数据格式处理
- 05--数据迭代器构建
2-4 聊天机器人项目代码介绍

- 06--模型结构介绍
- 07--main函数介绍1
- 08--训练函数解析
- 09--计算准确率函数解析
- 10--训练函数讲解
- 11--人机交互