登录    |    注册
首页
行业应用服务平台
智能制造核心能力评价服务平台
人工智能服务平台
开源软件漏洞库检测服务平台
智能化产业
智能制造核心能力评价服务
开源软件漏洞库检测服务
人工智能服务
行业数据库
研究报告库
产业政策库
开源软件漏洞库
智能制造评价库
人工智能知识库
开源镜像知识库

梯度裁剪（Gradient Clipping）

2020-09-09 16:50:39

梯度裁剪是一种在深度较高的网络（通常是循环神经网络）中用于防止梯度爆炸（exploding gradient）的技术。执行梯度裁剪的方法有很多，常见的一种是，当参数矢量的 L2 范数（L2 norm）超过一个特定阈值时，对参数矢量的梯度进行标准化，这个特定阈值根据以下函数确定：新梯度=梯度*阈值/L2范数（梯度）。