推理过程的差异-编程阁

在前面我们完整地讲解了训练过程的操作，建议可以先看看前文：
词嵌入和位置编码（超详细+图解）https://blog.csdn.net/Drise_/article/details/155502880?fromshare=blogdetail&sharetype=blogdetail&sharerId=155502880&sharerefer=PC&sharesource=Drise_&sharefrom=from_linkhttps://blog.csdn.net/Drise_/article/details/155502880?fromshare=blogdetail&sharetype=blogdetail&sharerId=155502880&sharerefer=PC&sharesource=Drise_&sharefrom=from_link

编码器详解（超详细+图解）https://blog.csdn.net/Drise_/article/details/155556414?fromshare=blogdetail&sharetype=blogdetail&sharerId=155556414&sharerefer=PC&sharesource=Drise_&sharefrom=from_link

解码器详解（训练过程）https://blog.csdn.net/Drise_/article/details/155804075?fromshare=blogdetail&sharetype=blogdetail&sharerId=155804075&sharerefer=PC&sharesource=Drise_&sharefrom=from_link

以下为《Attention Is All You Need》的transformer结构，本文会对解码器部分进行介绍：

训练过程的作用
之前我们对编码器和解码器在训练过程的操作进行了讲解，那么训练过程对模型有什么作用？
基于论文中的翻译任务，训练过程的作用那就是让模型学会从输入到输出的映射关系，通过优化参数使模型能够准确预测或生成目标序列，也就是让模型 “学会翻译”。

推理过程

推理过程与训练过程的差异

在推理过程的目的是通过源文本推理出目标文本，例如在中英文翻译在，源文本为 "I love you ",目标文本就是我爱你。

那么推理过程与训练过程有什么相同之处和不同之处呢？

其实推理过程和训练过程大体是一样的，在训练过程我们在编码器部分输入源文本，在解码器部分输入源文本对应的目标文本，但是有两个地方的不同要关注到。

首先是在解码器的token预测的方式不同，在训练过程，从前文我们可以知道，经过一次编码器堆栈可以得到各个位置的目标token的概率，但是在Transformer推理时，必须经过多次解码器堆栈的前向传播，一次只能预测下一个token，也就是说，每次通过一整个解码器堆栈，只能生成一个token，token是串行推理生成的。