序列到序列学习（Seq2seq）

大家好，欢迎来到IT知识分享网。

一、Seq2seq

1、编码器是一个RNN，读取句子可以双向，解码器使用另一个RNN输出

2、双向只能用于encoder，因为encoder属于编码器是做特征提取，而不能放在decoder，因为decoder是做预测。

3、与一个RNN根本的区别在于，第2个RNN的隐藏状态初始化不是随机的，是由第一个RNN得到的。

4、推理结构

（1）特定的“<bos>”表示序列开始词元，它是解码器的输入序列的第一个词元。

（2）编码器是没有输出层的RNN，编码器最后时间步的隐状态用作解码器的初始隐状态

（3）特定的“<eos>”表示序列结束词元。 一旦输出序列生成此词元，模型就会停止预测。

5、训练时解码器使用目标句子作为输入

二、embedding层

1、作用是将离散的词汇表（通常是词的索引）转换为连续的向量表示。

2、在语义上相似的词在向量空间中距离更近。例如，在训练过程中，hello和greetings可能会被映射到相似的向量，因为它们在语义上相关。

3、embedding层通常是一个查找表（lookup table），其大小为词汇表大小 × 嵌入维度。当输入一个词的索引时，embedding层会从这个表中查找相应的向量并返回。

4、与one-hot对比

（1）one-hot稀疏，词汇量大的时候会导致存储问题，并且没有语义之间的关系；但它简单。

（2）embedding层将每个词汇映射到一个固定维度的连续向量空间中。这个向量空间是通过训练数据学习到的，向量的维度通常远小于词汇表的大小，生成的向量是密集的，维度通常远小于one-hot编码的维度，计算和存储更加高效，并且可以捕捉词汇之间的语义关系和相似性；但编码比上面的更复杂一些。

三、BLEU衡量生成序列的好坏

（1）越大越好，当预测序列与标签序列完全相同时，BLEU为1。 

（2）定义：惩罚过短的预测，长匹配有更高权重

（3）在选候选句子的时候，长句子往往预测的概率会更小一点，为了平衡选择的概率，有机会能尝到有机会能选到长一点的句子，通常是取一个log再取l的阿尔法次饭分之1去调整长句子的概率。

四、总结

1、根据“编码器-解码器”架构的设计， 我们可以使用两个循环神经网络来设计一个序列到序列学习的模型。

2、在实现编码器和解码器时，我们可以使用多层循环神经网络。

3、我们可以使用遮蔽来过滤不相关的计算，例如在计算损失时。

4、在“编码器－解码器”训练中，强制教学方法将原始输出序列（而非预测结果）输入解码器。

5、BLEU是一种常用的评估方法，它通过测量预测序列和标签序列之间的n元语法的匹配度来评估预测。

6、Seq2seq从一个句子生成另一个句子

五、实现

1、编码器

（1）将长度可变的输入序列转换成形状固定的上下文变量c， 并且将输入序列的信息在该上下文变量中进行编码。

（2）输入序列是x1,…,xT， 其中xt是输入文本序列中的第t个词元。在时间步t，循环神经网络将词元xt的输入特征向量 xt和ht−1（即上一时间步的隐状态） 转换为ht（即当前步的隐状态）。

（3）编码器通过选定的函数q， 将所有时间步的隐状态转换为上下文变量（但我们的例子里面，上下文变量仅仅是输入序列在最后时间步的隐状态hT。）

（4）实现循环神经网络编码器

#@save class Seq2SeqEncoder(d2l.Encoder): """用于序列到序列学习的循环神经网络编码器""" def __init__(self, vocab_size, embed_size, num_hiddens, num_layers, dropout=0, kwargs): super(Seq2SeqEncoder, self).__init__(kwargs) # 嵌入层 self.embedding = nn.Embedding(vocab_size, embed_size) self.rnn = nn.GRU(embed_size, num_hiddens, num_layers, dropout=dropout) def forward(self, X, *args): # 输出'X'的形状：(batch_size,num_steps,embed_size) X = self.embedding(X) # 在循环神经网络模型中，第一个轴对应于时间步 X = X.permute(1, 0, 2) # 如果未提及状态，则默认为0 output, state = self.rnn(X) # output的形状:(num_steps,batch_size,num_hiddens) # state的形状:(num_layers,batch_size,num_hiddens) return output, state

（5）实例化上述编码器

encoder = Seq2SeqEncoder(vocab_size=10, embed_size=8, num_hiddens=16, num_layers=2) encoder.eval() X = torch.zeros((4, 7), dtype=torch.long) output, state = encoder(X) output.shape state.shape

3、解码器

（1）循环神经网络将来自上一时间步的输出yt′−1 和上下文变量c作为其输入， 然后在当前时间步将它们和上一隐状态 st′−1转换为 隐状态st′。 

（2）循环神经网络解码器

class Seq2SeqDecoder(d2l.Decoder): """用于序列到序列学习的循环神经网络解码器""" def __init__(self, vocab_size, embed_size, num_hiddens, num_layers, dropout=0, kwargs): super(Seq2SeqDecoder, self).__init__(kwargs) self.embedding = nn.Embedding(vocab_size, embed_size) self.rnn = nn.GRU(embed_size + num_hiddens, num_hiddens, num_layers, dropout=dropout) self.dense = nn.Linear(num_hiddens, vocab_size) def init_state(self, enc_outputs, *args): return enc_outputs[1] def forward(self, X, state): # 输出'X'的形状：(batch_size,num_steps,embed_size) X = self.embedding(X).permute(1, 0, 2) # 广播context，使其具有与X相同的num_steps context = state[-1].repeat(X.shape[0], 1, 1)         #x是embed_size维，context是num_hiddens维 X_and_context = torch.cat((X, context), 2) output, state = self.rnn(X_and_context, state) output = self.dense(output).permute(1, 0, 2) # output的形状:(batch_size,num_steps,vocab_size) # state的形状:(num_layers,batch_size,num_hiddens) return output, state

（3）实例化

decoder = Seq2SeqDecoder(vocab_size=10, embed_size=8, num_hiddens=16, num_layers=2) decoder.eval() state = decoder.init_state(encoder(X)) output, state = decoder(X, state) output.shape, state.shape

4、损失函数

（1）将填充词元的预测排除在损失函数的计算之外

#@save #value为要屏蔽的值 def sequence_mask(X, valid_len, value=0): """在序列中屏蔽不相关的项""" maxlen = X.size(1) mask = torch.arange((maxlen), dtype=torch.float32, device=X.device)[None, :] < valid_len[:, None] X[~mask] = value return X X = torch.tensor([[1, 2, 3], [4, 5, 6]]) sequence_mask(X, torch.tensor([1, 2]))

（2）扩展softmax交叉熵损失函数来遮蔽不相关的预测

#@save class MaskedSoftmaxCELoss(nn.CrossEntropyLoss): """带遮蔽的softmax交叉熵损失函数""" # pred的形状：(batch_size,num_steps,vocab_size) # label的形状：(batch_size,num_steps) # valid_len的形状：(batch_size,) def forward(self, pred, label, valid_len): weights = torch.ones_like(label)         #通过sequence_mask函数对其进行遮蔽，以忽略填充部分，sequence_mask函数通常会将填充部分的权重设置为0。 weights = sequence_mask(weights, valid_len) self.reduction='none'         #num_step放在后面是因为这个函数是继承nn.crossentropy，后者要求的输入类型（mini-batch，类别，维度) unweighted_loss = super(MaskedSoftmaxCELoss, self).forward( pred.permute(0, 2, 1), label)         #对未加权的损失乘以权重，以忽略填充部分的损失。然后在dim=1上取均值，得到最终的加权损失。 weighted_loss = (unweighted_loss * weights).mean(dim=1) return weighted_loss

（3）举例实现

loss = MaskedSoftmaxCELoss() loss(torch.ones(3, 4, 10), torch.ones((3, 4), dtype=torch.long), torch.tensor([4, 2, 0]))

5、训练

#@save def train_seq2seq(net, data_iter, lr, num_epochs, tgt_vocab, device): """训练序列到序列模型""" def xavier_init_weights(m): if type(m) == nn.Linear: nn.init.xavier_uniform_(m.weight) if type(m) == nn.GRU: for param in m._flat_weights_names: if "weight" in param: nn.init.xavier_uniform_(m._parameters[param]) net.apply(xavier_init_weights) net.to(device) optimizer = torch.optim.Adam(net.parameters(), lr=lr) loss = MaskedSoftmaxCELoss() net.train() animator = d2l.Animator(xlabel='epoch', ylabel='loss', xlim=[10, num_epochs]) for epoch in range(num_epochs): timer = d2l.Timer() metric = d2l.Accumulator(2) # 训练损失总和，词元数量 for batch in data_iter: optimizer.zero_grad() X, X_valid_len, Y, Y_valid_len = [x.to(device) for x in batch] bos = torch.tensor([tgt_vocab['<bos>']] * Y.shape[0], device=device).reshape(-1, 1)          #decinput是给定一个bos，然后将所有东西后移一个，便于做预测 dec_input = torch.cat([bos, Y[:, :-1]], 1) # 强制教学 Y_hat, _ = net(X, dec_input, X_valid_len) l = loss(Y_hat, Y, Y_valid_len) l.sum().backward() # 损失函数的标量进行“反向传播” d2l.grad_clipping(net, 1) num_tokens = Y_valid_len.sum() optimizer.step() with torch.no_grad(): metric.add(l.sum(), num_tokens) if (epoch + 1) % 10 == 0: animator.add(epoch + 1, (metric[0] / metric[1],)) print(f'loss {metric[0] / metric[1]:.3f}, {metric[1] / timer.stop():.1f} ' f'tokens/sec on {str(device)}')

（2）训练实现

embed_size, num_hiddens, num_layers, dropout = 32, 32, 2, 0.1 batch_size, num_steps = 64, 10 lr, num_epochs, device = 0.005, 300, d2l.try_gpu() train_iter, src_vocab, tgt_vocab = d2l.load_data_nmt(batch_size, num_steps) encoder = Seq2SeqEncoder(len(src_vocab), embed_size, num_hiddens, num_layers, dropout) decoder = Seq2SeqDecoder(len(tgt_vocab), embed_size, num_hiddens, num_layers, dropout) net = d2l.EncoderDecoder(encoder, decoder) train_seq2seq(net, train_iter, lr, num_epochs, tgt_vocab, device)

6、预测

#@save def predict_seq2seq(net, src_sentence, src_vocab, tgt_vocab, num_steps, device, save_attention_weights=False): """序列到序列模型的预测""" # 在预测时将net设置为评估模式 net.eval() src_tokens = src_vocab[src_sentence.lower().split(' ')] + [ src_vocab['<eos>']] enc_valid_len = torch.tensor([len(src_tokens)], device=device) src_tokens = d2l.truncate_pad(src_tokens, num_steps, src_vocab['<pad>']) # 添加批量轴 enc_X = torch.unsqueeze( torch.tensor(src_tokens, dtype=torch.long, device=device), dim=0) enc_outputs = net.encoder(enc_X, enc_valid_len) dec_state = net.decoder.init_state(enc_outputs, enc_valid_len) # 添加批量轴 dec_X = torch.unsqueeze(torch.tensor( [tgt_vocab['<bos>']], dtype=torch.long, device=device), dim=0) output_seq, attention_weight_seq = [], [] for _ in range(num_steps): Y, dec_state = net.decoder(dec_X, dec_state) # 将x预测值的最大值作为下一个的输入 dec_X = Y.argmax(dim=2) pred = dec_X.squeeze(dim=0).type(torch.int32).item() # 保存注意力权重（稍后讨论） if save_attention_weights: attention_weight_seq.append(net.decoder.attention_weights) # 一旦序列结束词元被预测，输出序列的生成就完成了 if pred == tgt_vocab['<eos>']: break output_seq.append(pred) return ' '.join(tgt_vocab.to_tokens(output_seq)), attention_weight_seq

7、预测序列评估

def bleu(pred_seq, label_seq, k): #@save """计算BLEU""" pred_tokens, label_tokens = pred_seq.split(' '), label_seq.split(' ') len_pred, len_label = len(pred_tokens), len(label_tokens) score = math.exp(min(0, 1 - len_label / len_pred)) for n in range(1, k + 1): num_matches, label_subs = 0, collections.defaultdict(int) for i in range(len_label - n + 1): label_subs[' '.join(label_tokens[i: i + n])] += 1 for i in range(len_pred - n + 1): if label_subs[' '.join(pred_tokens[i: i + n])] > 0: num_matches += 1 label_subs[' '.join(pred_tokens[i: i + n])] -= 1 score *= math.pow(num_matches / (len_pred - n + 1), math.pow(0.5, n)) return score