是一种卷积神经网络架构，曾赢得2014 年 ILSVRC 挑战赛。这种网络使用 Inception 模块（Inception Module）以减少参数和提高网络中计算资源的利用率。
是一种为话语获取矢量表征（嵌入）的无监督学习算法。GloVe 的使用目的和 word2vec 一样，但 GloVe 具有不同的矢量表征，因为它是在共现（co-occurrence）统计数据上训练的。
梯度裁剪是一种在深度较高的网络（通常是循环神经网络）中用于防止梯度爆炸（exploding gradient）的技术。执行梯度裁剪的方法有很多，常见的一种是，当参数矢量的 L2 范数（L2 norm）超过一个特定阈值时，对参数矢量的梯度进行标准化，这个特定阈值根据以下函数确定：新梯度=梯度*阈值/L2范数（梯度）。
Fine-Tuning使用来自另一个任务（例如一个无监督训练网络）的参数初始化网络，再基于当前任务更新这些参数。例如，自然语言处理架构通常使用 word2vec 这样的预训练的词向量（word embeddings），然后这些词向量会在训练过程中基于特定的任务（如情感分析）进行更新。
梯度爆炸问题是梯度消失问题（Vanishing Gradient Problem）的对立面。在深度神经网络中，梯度可能会在反向传播过程中爆炸，导致数字溢出。解决梯度爆炸的一个常见技术是梯度裁剪（Gradient Clipping）。
一个嵌入映射到一个输入表征，例如一个词或一句话映射到一个矢量。一种流行的嵌入是词语嵌入（word embedding，国内常用的说法是：词向量），如 word2vec 或 GloVe。也可以嵌入句子、段落或图像。例如，把图像和他们的文本描述映射到一个共同的嵌入空间，并最小化它们之间的距离，就可以将标签和图像进行匹配。嵌入也可作为监督任务的一部分，例如情感分析（Sentiment Analysis
是用于神经网络防止过拟合的正则化技术。它通过在每次训练迭代中，随机设置神经元中的一小部分为0 来阻止神经元共适应（co-adapting）Dropout可以通过多种方式进行解读，例如，从不同网络的指数数字中随机取样。Dropout 层通过它们在卷积神经网络中的应用而得到普及，也被应用到了其它层上，包括输入嵌入或循环网络。
这是谷歌发明的试图用来提炼深度卷积神经网络获取知识的技术。这种技术可以生成新的图像或转换已有的图片从而给它们一种幻梦般的感觉。
DBN 是一类以无监督的方式学习数据的分层表征的概率图形模型。DBN 由多个隐藏层组成，这些隐藏层每一对连续层之间的神经元相互连接。DBN 通过堆叠多个 RBN（限制波尔兹曼机）并一个接一个地训练而创建。
CNN 使用卷积连接从输入的局部区域提取特征。大部分 CNN 都包含了卷积层、池化层和仿射层的组合。CNN 凭借其在视觉识别任务的卓越性能而获得普及，它已经在该领域保持了好几年的领先地位。