登录    |    注册

Highway Layer

2020-09-09 16:53:02

是使用门控机制控制通过层的信息流的一种神经网络层。堆叠多个 HighwayLayer 层可让训练非常深的网络成为可能。Highway Layer 的基本公式是 T * h(x) + (1 - T) * x。其中, T 是学习过的门控函数,取值在 0 到 1 之间;h(x) 是一个任意的输入变换;x 是输入。