本文将从 Attention的本质、Attention的原理、 Attention的应用 三个方面，带 您一文搞懂Attention（注意力）机制。
一、 Attention的本质
核心逻辑 ：从关注全部到关注重点
- Attention机制处理长文本时， 能从中抓住重点，不丢失重要信息 。
- Attention 机制像人类看图片的逻辑，当我们看一张图片的时候，我们并没有看清图片的全部内容，而是将注意力集中在了图片的焦点上。
- 我们的视觉系统就是一种 Attention机制， 将有限的注意力集中在重点信息上，从而节省资源，快速获得最有效的信息。
视觉系统就是一种Attention机制
Transformer：《Attention is All You Need》
- Transformer模型， 完全基于注意力机制，避开了传统的RNN或CNN结构 。
- 引入了Self-Attention机制，使模型可以 对输入序列中的所有元素进行关联建模 。
- Multi-Head Attention使得模型能够从 多个角度捕获输入序列的信息 。
- 为后续的大规模预训练语言模型（如 BERT、GPT 等）奠定了基础。
AI 领域的 Attention 机制：
Attention->Transformer->BERT、GPT->NLP
二、 Attention的原理
原理初体验： 小故事讲解 Attention原理
- Attention机制好比在图书馆中有大量的书籍，每本书都有特定的编号和内容。当想要了解某个主题（比如“漫威”）时，会查找与这个主题相关的书籍。
- 与“漫威”直接相关的动漫、电影书籍会仔细地阅读（权重高），而与“漫威”间接相关的二战书籍只需要简单浏览一下（权重低）。
- 这个过程就体现了Attention机制的核心思想： 根据信息的重要性来分配注意力 。
Attention机制： 了解漫威
Attention原理 ： 3阶段分解
Attention机制的原理图
- 第一步：query 和 key 进行相似度计算，得到权值。
- 第二步：将权值进行归一化，得到直接可用的权重。
- 第三步：将权重和 value 进行加权求和。
RNN 时代是死记硬背的时期， Attention机制学会了提纲挈领 ， 进化到Transformer，融会贯通，具备优秀的表达学习能力 ，再到 GPT、BERT，通过多任务大规模学习积累实战经验，战斗力爆棚。
三、 Attention的应用
CNN + Attention：
CNN的卷积操作可以提取重要特征，这也算是Attention的思想。但是CNN的卷积感受视野是局部的，需要通过叠加多层卷积区去扩大视野。
CNN叠加 Attention方式如下：
- 在卷积操作前做Attention： 比如Attention-Based BCNN-1，对两段输入的序列向量进行Attention，计算出特征向量，再拼接到原始向量中，作为卷积层的输入。
- 在卷积操作后做Attention： 比如Attention-Based BCNN-2，对两段文本的卷积层的输出做Attention，作为池化层的输入。
- 在池化层做Attention： 比如Attention pooling，首先我们用LSTM学到一个比较好的句向量，作为query，然后用CNN先学习到一个特征矩阵作为key，再用query对key产生权重，进行Attention，得到最后的句向量。
LSTM+Attention：
LSTM内部有门控机制，其中输入门选择哪些当前信息进行输入，遗忘门选择遗忘哪些过去信息，这也算是一定程度的Attention。 但LSTM需要一步一步去捕捉序列信息，在长文本上的表现会随着步骤的增加而慢慢衰减，难以保留全部的有用信息。
LSTM通常需要得到一个向量，再去做任务，常用方式有：
- 直接使用最后的隐藏层（可能会损失一定的前文信息，难以表达全文）
- 对所有步骤下的隐藏层进行等权平均（对所有步骤一视同仁）。
- Attention机制，对所有步骤的隐藏层进行加权，把注意力集中到整段文本中比较重要的隐藏层信息。性能比前面两种要好一点，方便可视化观察哪些步骤是重要的。