NLP、大模型，基本上都是基于自注意力机制的，所以自注意力机制非常重要，本节课通过文字序列来解释与介绍自注意力机制，对于图片来说，针对神经网络，它自带一些维度，很好“喂”给神经网络，那么文字是如何做到的呢？文字主要会被转换为向量的形式，那么如何转换为向量呢？有两万个文字，每个文字一列？好像有点过于庞大了，再想想输入输出的关系，如果输入一个汉字，输出一个汉字，那么很好操作，那么换个思路呢？如果要输入一个句子，而我们要判断它每个部分都是什么词性，又或者输入一个句子，翻译成英文，这便不是一对一的关系了，并且此时要考虑前后关系，RNN（循环神经网络）能帮我们解决这件事。

一、循环神经网络

        下面这张图能够形象地表现“循环”是什么意思，就是通过一个个“传家宝”（记忆单元）给串联起来的

        但是“传家宝”太多，如果遇到长序列，那么可能会出现一些“不肖子孙”，从而出现一些问题吗，所以我们又引入了长短期记忆（Long short-term memory，LSTM） 的概念，其中有几个概念值得关注——“输入门”、“遗忘门”、“记忆门”：

1. 遗忘门

• 作用：决定丢弃什么信息。

• 通俗理解：就像你在复习时，发现之前记的一些笔记已经没用了（过时的信息），于是决定把它们划掉，从脑子里清空，给新知识腾出空间。

• 细节：它查看当前的输入和之前的记忆，然后输出一个 0 到 1 之间的数（1 表示“完全保留”，0 表示“完全忘记”），决定上一时刻的单元状态要舍弃多少。

2. 输入门

• 作用：决定在记忆中存入（更新） 什么新信息。

• 通俗理解：就像你在看书时，遇到新的重点知识，你决定把这个新知识点记到笔记本上。

• 细节：它由两部分组成：一个“Sigmoid层”决定要更新哪些值，一个“Tanh层”创建新的候选值向量。两者结合，决定哪些新信息会被存入记忆。

3. 输出门

• 作用：基于当前的记忆，决定输出什么信息。

• 通俗理解：就像考试时，你根据脑子里的记忆，决定把哪些想好的答案写在答卷上。

• 细节：这个门会根据当前的输入和最新的单元状态（记忆），来决定此刻隐藏状态（即当前时刻的输出）应该是什么。

二、自注意力机制

        但是，但是的但是，这两个模型都太慢了，只能一个一个来，一个接一个，只能够“串行”，而不能“并行”，我们有没有办法一下子看完整篇文章，然后输出结果呢？那么自注意力机制就排上用武之地了。

        Self-attention，实际上是一个特征转换器，也叫做特征提取器，他与普通的特征提取不同，它会考虑到全局的因素，从而实现一个均衡的输出，但是组合形式是什么样的呢？每个query和key，通过全连接（矩阵相乘），就像是扫二维码，最后通过一层soft-max，实现目的

        这样的话，每一个字的特征提取，都可以同时进行，因为他不需要等待前一个的完成，他是完完全全并行的操作

上面是注意力机制的完整过程，让我们一起来梳理一下，q1和每一个k点乘，得到A矩阵的第一行，同样的操作，用q2，q3，q4，得到A矩阵，然后通过一次softmax，得到A'矩阵，最后将该矩阵与V矩阵相乘，便能得到最后的矩阵，如下图所示：

模型的学习只需要掌握W；

然而，我们思考一个问题，“我爱你”、“你爱我”，如果喂给模型，会不会输出一样的东西呢？答案是可能的，所以我们要加上位置信息，将位置信息的矩阵和原来的主体矩阵直接相加，便可以得到一个带有位置信息的健壮性较强的矩阵，为什么能够这样？我也不知道，别人论文就是这样写的。

RNN便不用考虑这个问题，原因很简单，RNN是逐一输入输出的，而Self-attention是并行的，现在我们再回来看一下transformer模型

左边是一个编码器，适用于提取特征、压缩的，现在这张图里面的每个步骤应该都会很清楚才行，左边部分输入128*768，输出会仍然是128*768，但是是已经提取后的特征了，右边的部分叫做解码器，用你提取的特征生成文字，左边形成的是文字分类任务的王者BERT，右边是生成模型的王者GPT，chatGTP的基础就是GTP，BERT收一个特征提取器，是可以无监督的，他在预训练中有两个任务与功能，第一个是Masked Language Model,会遮住15%左右的词，然后在不同的情况下看该模型是否能够猜出来被遮住的这些词，第二个是需要该模型识别出两个句子是否是相邻的两个句子。

Bert的结构是一个embedding（嵌入式部分）、bert layers和pooler output(池化)组成，

pooler output主要有三种：1、只输出CLS,2、平均池化，3、最大池化；

总结一下这节课的主要内容：