循环神经网络(RNN:Recurrent NeuralNetwork)
RNN 模型通过隐藏状态(或称记忆)连续相互作用。它可以使用最多 N 个输入,并产生最多 N 个输出。例如,输入是一个句子,输出是每个单词的词性标注(part-of-speechtag)(N 到 N),或是这个句子的情感分类(N 到 1);再如,输入是单个图像,输出是描述该图像所对应一系列词语(1 到 N)。在每一个时间步骤中,RNN会基于当前输入和之前的隐藏状态,计算新的隐藏状态「记忆」。其中,「循环(recurrent)」一词是指,在每一步中都使用了同样的参数,该网络根据不同的输入执行同样的计算。