Transformer

序列处理

我们时常期望能够基于已有的向量序列对接下来的向量进行预测、从序列中提取信息或从头生成一个新的序列。例如，我们可能期望预测一段文本接下来可能出现的字符，或是将一种语言翻译为另外一种。我们形式化一个序列如下：

$X : X_{i} \in R^{d}, i \in N^{+}$

其中 $d$ 是每个向量的维度。
因此可以将输入视为一个矩阵:

$X_{i n p u t} \in R^{n * d}$

其中 $n$ 是输入向量的数量。

自回归模型与隐变量自回归模型

根据直觉，我们很容易设计出一个基于全连结层的模型：

$X_{i + 1} = f (X_{i}, X_{i - 1}, . . ., X_{i - r})$

即利用序列的前几项来预测序列的下一项。但实际上，由于预测误差的存在， $X_{i + 1}$ 的真实表达式如下：

$X_{i + 1} = f (X_{i}, X_{i - 1}, . . ., X_{i - r}) + ϵ$

其中的 $ϵ$ 是预测值相当于真实值的误差。当我们用带有误差的项预测接下来的项时，误差就会随预测的项数累积，这导致预测值很快会偏离真实值很多。

实际上，简单的自回归模型只能使用有限的几项来预测下一项，这导致在前面的项的信息完全被忽略了。基于此，人们引入了隐变量的概念。

隐变量可以视作对前面序列的总结，我们从前往后读取每一项后，都会用一个全连结层来更新隐变量，最后用隐变量来预测序列的下一项：

$h_{i} = ϕ (h_{i - 1}, x_{i})$
$O u t = g (h_{n})$

循环神经网络

循环神经网络(RNN)基于隐变量自回归模型，在普通的全连接层的基础上加入了隐变量，实现了对整个输入序列信息的利用。

设输入 $X_{i} \in R^{n * d}$ ，RNN使用 $H_{i} \in R^{n * h}$ 来描述隐变量，其中 $h$ 为隐藏层维度。在从前往后处理序列中每一个输入时，RNN先用前一步的隐变量和输入更新隐变量，然后用隐变量来得到输出。即：

$H_{i} = ϕ (X_{i} W_{x h} + H_{i - 1} W_{h h} + b_{h h})$
$O_{i} = H_{i} W_{h q} + b_{q}$

截断

由于RNN的每一次输出都依赖前一步的隐变量，而每次隐变量更新都会用到 $W_{h h}$ 的值，这导致计算梯度时会用到 $W_{h h}$ 的潜在的高次幂，因此根据其特征值是否大于 $1$ 会发生梯度爆炸或梯度消失，并且计算代价也变得高昂，因此我们选择在这个链式计算中截断出后面几项进行近似计算。

截断可分为两种策略：随机截断和定长截断。定长截断即在向后传播指定步数后即结束，而随机截断则根据特定算法在一个随机的步数后结束。通常，我们使用定长截断来进行反向传播。

token,vocabulary与tokenize

对于一个文本序列，通常我们需要先确定我们在什么层面上进行处理，例如在语音识别中我们可能需要在字符层面上处理，而在翻译任务中则可能在词语层面上处理。

区分不同层面的是该层面中字符串的最小单元，称之为 Token。我们为每个 Token 分配一个编号，并建立一张 Token 到原始最小单元的表，称为 Vocabulary ，记作 $V$ ，而将原始字符串转化为 Token 编号的过程即为 Tokenization.

独热编码和嵌入层

如果直接将token视为神经网络的输入和输出，那么很小的扰动都可能使得输出的token的编号发生改变，并且神经网络处理的应该是数值变量而非分类变量，因此我们需要将token转化为一个向量。

独热编码是一个实现这一目的的简单方法，它将 token 映射为一个维度为词表大小 $| V |$ 的向量，具体来说，有：

$X_{i} = {\begin{array}{r} 0, t o k e n \neq i \\ 1, t o k e n = i \end{array}$

即一个只有第 $t o k e n$ 项为 $1$ ，其余为 $0$ 的向量。

独热编码只区分了不同的token，而嵌入层 (Embedding) 则更进一步根据语义调整了向量间的距离。嵌入层使用token经独热编码后的向量与一个矩阵相乘，得到不同token语义化的向量:

$X_{i}^{'} = W_{e m b e d d i n g} X_{i}$

在输出时，可将输出向量应用softmax层视为各个token的概率。

门，LSTM与GRU

朴素的 RNN 的隐变量使我们可以保存序列前端的信息，但受限于隐变量的大小，保存的信息量是有限的。然而，可能并非序列中所有的信息都对未来同等重要，例如对于一个删去冠词的英文语句我们通常也能正确理解。同时，基于此，人们发明了可以选择性记忆的长短期储存器(LSTM)，并改进成为门控循环单元(GRU)。

LSTM和GRU都基于 "门" 的概念。具体来说，门可以表示为 $G \in [0, 1]^{m * n}$ ，通过控制其中元素在 $[0, 1]$ 间取值并与另一个矩阵（通常是隐变量）取阿达玛积可以控制该矩阵那哪元素可以“通过”从而参与接下来的运算。

LSTM由三种门控制：遗忘门，输入门和输出门。此外，相比于RNN，LSTM额外引入了隐变量 $C$ 来保存记忆。对于每一个输入 $X_{t}$ ，LSTM先使用遗忘门筛选出有用的记忆，然后使用输入门来获取新的记忆并更新 $C$ ，最后用输出门决定哪些记忆参与到输出中:

具体来说，LSTM在接受每个输入时，首先会更新各个门的隐变量值：

$\begin{aligned} F_{t} & = σ (X_{t} W_{x f} + H_{t - 1} W_{h f} + b_{f}) \\ I_{t} & = σ (X_{t} W_{x i} + H_{t - 1} W_{h i} + b_{i}) \\ O_{t} & = σ (X_{t} W_{x o} + H_{t - 1} W_{h o} + b_{o}) \end{aligned}$

其中 $F$ ， $I$ ， $O$ 分别代表遗忘门、输入门和输出门。

然后，LSTM使用上一个隐状态和输入产生候选记忆，并使用输入门和遗忘门来更新记忆：

$\begin{aligned} C_{t}^{'} & = \tanh (X_{t} W_{x c} + H_{t - 1} W_{h c} + b_{c}) \\ C_{t} & = F_{t} ⊙ C_{t - 1} + I_{t} ⊙ C_{t}^{'} \end{aligned}$

其中 $C_{t}^{'}$ 是候选记忆。

最后，使用输出门决定使用哪些记忆参与输出：

$H_{t} = O_{t} ⊙ \tanh C_{t}$

而GRU将LSTM中的遗忘门和输出门整合为更新门，控制哪些记忆应该被更新，并取消了记忆隐变量 $C_{t}$ 。对于每个输入，GRU使用重置门来获得候选隐状态 ${\overset{―}{H}}_{t}$ ，并用更新门来获得新的隐状态：

更新门和重置门的计算与LSTM类似：

$\begin{array}{r} R_{t} = σ (X_{t} W_{x r} + H_{t - 1} W_{h r} + b_{r}) \\ Z_{t} = σ (X_{t} W_{x z} + H_{t - 1} W_{h z} + b_{z}) \end{array}$

其中 $R_{t}$ 代表重置门， $Z_{t}$ 代表更新门。
然后计算候选隐状态：

${\overset{―}{H}}_{t} = \tanh (X_{t} W_{x h} + (R_{t} ⊙ H_{t - 1}) W_{h h} + b_{h h})$

最后使用更新门更新隐状态：

$H_{t} = Z_{t} ⊙ H_{t - 1} + (1 - Z_{t}) ⊙ {\overset{―}{H}}_{t}$

深度循环神经网络

将隐状态作为输入，并输入到另一个RNN中，称为深度循环神经网络。显然，相比于单层RNN，深度循环神经网络可以保存更多信息，并具有更高的灵活性：

seq2seq任务、Encoder-Decoder架构

有时我们不希望预测序列的下一项，而希望根据已有序列生成一个新的序列。例如，我们可能希望将文字从一种语言翻译到另外一种。这种从序列生成新序列的任务称为seq2seq

通常，生成新序列时需要源序列的全部信息，因此人们提出了编解码器架构：

编码器将输入序列整合为一个状态，然后解码器从一个起始token开始，将输出再输入到自身，解码出整个序列。一般情况下，我们需要一些特殊的token来标识序列的开始和结束。

注意力机制

目前为止我们的RNN都是在被动的选择记忆进行输出，但在特定的上下文中，某些记忆可能对输出对其他记忆更重要，这提示我们根据上下文"查询"过去的记忆。因此，人们提出了注意力机制。

注意力机制可以看作一个字典，其中有若干键值对，记作 $(K, V)$ ，通过注意力评分函数，对查询 $Q$ 和记忆中每个键的匹配程度进行打分，并通过softmax得到每个值的权重，最后进行加权求和得到结果。具体来说，可以如下描述：

$\begin{aligned} S & = S o c r e (Q, K) \\ W & = s o f t m a x (S) \\ O u t & = \sum_{i} W_{i} V_{i} \end{aligned}$

其中 $S c o r e$ 是注意力评分函数。一般来说，有两种评分函数较为常用：点积注意力和加性注意力：

$\begin{aligned} S c o r e_{点积} (Q, K) & = \frac{Q K^{T}}{\sqrt{d}} \\ S o c r e_{加性} (Q, K) & = \tanh (W_{1} Q + W_{2} K) V^{T} \end{aligned}$

其中， $d$ 是向量维度，是为了防止矩阵过大而引入； $W_{1}$ 和 $W_{2}$ 则是可学习的参数。

多头注意力

在一族序列中，注意力可能有多个维度。而多头注意力通过将原有的查询和键值对通过全连接层进行变换，输入到多个注意力层中，并将各个注意力层的输出进行线性组合，从而增大了注意力机制提取信息的能力：

自注意力与位置编码

在序列处理中，我们可以将序列中的每一项 $X_{i}$ 同时视为键和值，即 $(K, V) = (X, X)$ ，这种网络称为自注意力。

但单纯应用自注意力没有意义，因为单独的 $X$ 并没有包含序列的顺序关系。换句话说，序列由哪些向量组成不重要，重要是向量的顺序是什么。因此，我们需要将位置编码进值 $V$ 中。

对于输入 $X \in R^{n * d}$ ，位置编码输出 $X + P$ ，其中 $P$ 是位置嵌入矩阵，定义为：

$\begin{array}{r} P_{i, 2 j} = \sin (\frac{i}{10000^{2 j / d}}) \\ P_{i, 2 j + 1} = \cos (\frac{i}{10000^{2 j / d}}) \end{array}$

位置编码来源于数字的二进制表示。在二进制中，在数字增大的过程中，随着位数 $i$ 增大，第 $i$ 位会以更低的频率在0和1之间摆动：

而在位置编码中， $i$ 代表了位置， $j$ 代表了位数，因此将绝对位置编码了进去。

此外，位置编码还可以通过线性组合表达出相对位置。

残差连接和层归一化

在深度学习中，为了缓解梯度爆炸和梯度消失，可以使用残差连接。

残差连接将输入和原始输出相加作为新的输出，这样实际上有：

$O = f (x) + x$

而层归一化将输出向量在各个维度之间进行归一化，可以避免每一层的输出发生协变量偏移而导致性能下降：

$X_{i} = \frac{X_{i} - μ}{\sqrt{σ^{2} + ϵ}}$

其中 $μ$ 和 $σ^{2}$ 是 $X$ 各维度的均值和方差。

Transformer 是完全基于注意力机制的Seq2Seq网络，使用Encoder-Decoder结构并包含多个相似的编解码器：

在transformer中，输入首先经过嵌入层转化并注入位置编码，然后进入 $n$ 个编码器处理。每个编码器由一个多头自注意力层和一个逐位前馈网络组成，并在其之间使用残差连接和层规范化。多头自注意力提取出了序列中有用的信息，而前馈网络则将信息进行了整合。