词元嵌入

大家好，欢迎来到IT知识分享网。

分词部分解决了将语言表示给语言模型的问题。

解决这个难题的下一步是为这些词元找到最佳的数值表示，使模型能够计算并正确建模文本中的模式。这些模式呈现给我们的，是模型在特定语言上的连贯性、编码能力或我们期望语言模型具备的任何其他能力。

这就是嵌入的作用，是用于捕捉语言中含义和模式的数值表示空间。

语言模型为其分词器的词表保存嵌入

分词器经过初始化和训练，就会在其关联的语言模型的训练过程中使用。

语言模型为其分词器中的每个词元保存一个与之关联的嵌入向量。

在训练开始之前，这些向量会像模型的其他权重一样被随机初始化，但训练过程为它们分配值，使其能够执行有意义的行为。

与使用静态向量表示每个词元或者词不同，语言模型会创建与上下文相关的词嵌入。所谓上下文相关，就是根据词元在上下文中的含义使用不同的表示方式。这些向量可以被其他系统用于各种任务。

语言模型以原始静态嵌入向量作为输入，并生成与上下文相关的文本嵌入。