transformer是近些年在NLP领域火起来的一个语言模型，google bert的出现更是将其推到了顶峰。所谓语言模型就是预测每个句子在语言中出现的概率。简单地说，transformer是基于attention和encode-decode的产物。transformer出自2017年的一篇论文《Attention Is All You Need》，最初是用来提高机器翻译的效率，后来逐渐演化为各类预训练模型（bert）的基础。基于transformser可以构建各种各样的NLP任务，只需要修改下训练样本，并进行微调就可以了。

transformer的细节可以参考李理的博客《Transformer图解》，讲的非常细致。transformer的模型结构如下：

如上图所示，其实transformer也是在encode-decode框架下做的，与此前不同的是，transformer提出了一种self-attention机制（自注意力机制），怎么理解呢？就是说之前的attention大多使用在seq2seq任务中，例如在机器翻译中，attention作用在源句子token（token就指的是单词或词语）和目标句子token之间，但是transformer的self-attention作用在源句子的token之间。

attention第一次提出在2014年的一篇论文《Neural Machine Translation by Jointly Learning to Align and Translate》，个人感觉这篇工作做的特别棒。这篇论文的核心如下：

意思就是基础的encode-decode框架使用一个固定长度的向量表达源句子的所有语义信息，这种做法造成了encode-decode框架的性能瓶颈，因为源句子中前面的词容易被后面词的信息覆盖，另外单一个固定长度的向量也无法充分表达一个句子的语义。论文提出了一种attention机制，自动找到在源句子中和预测目标词相关的词，基于这些词对目标词进行预测。论文很简单，不过如果看英文吃力的话也有中文版的：Microstrong的博客《深度学习中的注意力机制》。attention的逻辑如下所示（博客中的图4就是下图2）：

那么transformer做了哪些核心工作呢？个人总结有如下几点：

  1. 提出了self-attention机制，使得效果提升易于并行。在transformer中有两个注意力，一个是self-attention，在encoder和decoder中都有使用；一个是普通的attention，只在decoder中被使用，用来在每个decoder中self-attention的输出和encoder最后一层输出建立联系。
  2. 引入了位置编码；
  3. encode和decode具有不同的结构，decode多了一个普通的attention，使得encode的最后一层输出可以作用于decode的各个层，同1；
  4. 提出了层归一化的概念，本质上也是为了加速梯度求解吧，我觉得层归一化没有什么物理含义。

需要注意的是：

  1. 使用mask。因为使用transformer进行预测的时候，decoder是串行地一个时间步一个时间步进行预测的，不能使用未来信息，所以在训练decoder的时候也要避免使用未来信息，这时候就需要使用mask。【参考 变压器解码器掩模篇】不过在transformer有两种mask，一种是为了解决上述问题的，叫做Sequence mask；另一种是为了解决句子长短不一的问题的，叫做padding mask。具体可以参考《Transformer各层网络结构详解！面试必备！(附代码实现)》
  2. decoder的第一个时间步的输入是一个特殊的token，这个token主要目的是占位。目标序列开始的token(如)，也可能是源序列结尾的token(如)，也可能是其它视任务而定的输入。等等，不同源码中可能有微小的差异，其目标则是预测下一个位置的单词(token)是什么，对应到time step为1时，则是预测目标序列的第一个单词(token)是什么，以此类推。
  3. 在decoder中有一个普通的attention，即上图中的Multi-Head Attention，这个attention是将encoder的最后一层输出和当前decoder的第一个子模块（即上图中的Masked Multi-Head Attention）进行关联，Q就是encoder的最后一层输出，K，V就是Masked Multi-Head Attention的输出，使得当前的decoder对源序列的不同部分给予不同权重的注意力。