登录    |    注册
首页
行业应用服务平台
智能制造核心能力评价服务平台
人工智能服务平台
开源软件漏洞库检测服务平台
智能化产业
智能制造核心能力评价服务
开源软件漏洞库检测服务
人工智能服务
行业数据库
研究报告库
产业政策库
开源软件漏洞库
智能制造评价库
人工智能知识库
开源镜像知识库

ReLU 线性修正单元（Rectified Linear Unit）

2020-09-09 16:58:34

常在深度神经网络中被用作激活函数。它们的定义是 f(x) = max(0, x) 。较于tanh 等函数，ReLU往往很稀疏（它们的活化可以很容易设置为 0），而且它们受到梯度消失问题的影响也更小。ReLU 主要被用在卷积神经网络中用作激活函数。ReLU 存在几种变体，如Leaky ReLUs、Parametric ReLU (PReLU) 或更为流畅的 softplus近似。