登录    |    注册
首页
行业应用服务平台
智能制造核心能力评价服务平台
人工智能服务平台
开源软件漏洞库检测服务平台
智能化产业
智能制造核心能力评价服务
开源软件漏洞库检测服务
人工智能服务
行业数据库
研究报告库
产业政策库
开源软件漏洞库
智能制造评价库
人工智能知识库
开源镜像知识库

消失梯度问题（Vanishing Gradient Problem）

2020-09-09 15:57:43

激活函数的梯度非常小的情况下会出现消失梯度问题。在权重乘以这些低梯度时的反向传播过程中，它们往往变得非常小，并且随着网络进一步深入而\"消失\"。这使得神经网络忘记了长距离依赖。这对循环神经网络来说是一个问题，长期依赖对于网络来说是非常重要的。