登录    |    注册
首页
行业应用服务平台
智能制造核心能力评价服务平台
人工智能服务平台
开源软件漏洞库检测服务平台
智能化产业
智能制造核心能力评价服务
开源软件漏洞库检测服务
人工智能服务
行业数据库
研究报告库
产业政策库
开源软件漏洞库
智能制造评价库
人工智能知识库
开源镜像知识库

梯度消失问题（Vanishing Gradient Problem）

2020-09-09 17:01:04

梯度消失问题出现在使用梯度很小（在 0 到 1 的范围内）的激活函数的非常深的神经网络中，通常是循环神经网络。因为这些小梯度会在反向传播中相乘，它们往往在这些层中传播时「消失」，从而让网络无法学习长程依赖。解决这一问题的常用方法是，使用 ReLU 这样的不受小梯度影响的激活函数，或使用明确针对消失梯度问题的架构，如LSTM。这个问题的反面被称为梯度爆炸问题（exploding gradient problem）。