多层感知器是一种带有多个全连接层的前馈神经网络，这些全连接层使用非线性激活函数（activationfunction）处理非线性可分的数据。MLP 是多层神经网络或有两层以上的深度神经网络的最基本形式。
动量是梯度下降算法（Gradient Descent Algorithm）的扩展，可以加速和阻抑参数更新。在实际应用中，在梯度下降更新中包含一个动量项，可在深度网络中得到更好的收敛速度（convergence rate）。
数据集可能是最常用的一个图像识别数据集。它包含 60,000 个手写数字的训练样本和 10,000 个测试样本。每一张图像的尺寸为 28×28像素。目前最先进的模型通常能在该测试集中达到 99.5% 或更高的准确度。
池化（Pooling）操作通常被用在卷积神经网络中。一个最大池化层从一块特征中选取最大值。与卷积层一样，池化层也是通过窗口（块）大小和步幅尺寸进行参数化。例如，在一个 10×10 特征矩阵上以 2 的步幅滑动一个 2×2 的窗口，然后选取每个窗口的 4个值中的最大值，得到一个 5×5 特征矩阵。池化层通过只保留最突出的信息来减少表征的维度；在这个图像输入的例子中，它们为转译提供了基本的不变性（即使
网络通过使用内存门控机制防止循环神经网络（RNN）中的梯度消失问题（vanishing gradient problem）。使用 LSTM 单元计算RNN 中的隐藏状态，可以帮助该网络有效地传播梯度和学习长程依赖（long-range dependency）。
是一个基于 Python 的深度学习库，包括许多用于深度神经网络的高层次构建模块。它可以运行在 TensorFlow 或 Theano 上。
Inception模块被用在卷积神经网络中，通过堆叠 1×1 卷积的降维（dimensionality reduction）实现高效计算。
大型视觉识别挑战赛（ImageNetLarge Scale Visual Recognition Challenge），该比赛用于评估大规模对象检测和图像分类的算法。它是计算机视觉领域最受欢迎的学术挑战赛。过去几年中，深度学习让错误率出现了显著下降，从 30% 降到了不到 5%，在许多分类任务中击败了人类。
是使用门控机制控制通过层的信息流的一种神经网络层。堆叠多个 HighwayLayer 层可让训练非常深的网络成为可能。Highway Layer 的基本公式是 T * h(x) + (1 - T) * x。其中， T 是学习过的门控函数，取值在 0 到 1 之间；h(x) 是一个任意的输入变换；x 是输入。
是一种 LSTM 单元的简化版本，拥有更少的参数。和LSTM cell一样，它使用门控机制，通过防止梯度消失问题（vanishing gradient problem）让循环神经网络可以有效学习长程依赖（long-range dependency）。GRU 包含一个复位和更新门，它们可以根据当前时间步骤的新值决定旧记忆中哪些部分需要保留或更新。