登录    |    注册

通过时间的反向传播BPTT:

2020-09-09 16:45:39

BackpropagationThrough Time通过时间的反向传播是应用于循环神经网络(RNN)的反向传播算法,可被看作是应用于 RNN 的标准反向传播算法,其中的每一个时间步骤(time step)都代表一个计算层,而且它的参数是跨计算层共享的。RNN 在所有的时间步骤中都共享了同样的参数,一个时间步骤的错误必然能「通过时间」反向到之前所有的时间步骤,该算法因此得名。处理长序列(数百个输入)时,为降低计算成本常常使用一种删节版的 BPTT。删节的 BPTT 会在固定数量的步骤之后停止反向传播错误。