登录    |    注册

Softmax 函数通常用于将原始分数(raw score)

2020-09-09 16:59:46

的矢量转换成用于分类的神经网络的输出层上的类概率(class probability)。它通过对归一化常数(normalizationconstant)进行指数化和相除运算而对分数进行规范化。如果我们正在处理大量的类,例如机器翻译中的大量词汇,计算归一化常数是很昂贵的。有许多种可以让计算更高效的替代选择,如分层 Softmax(Hierarchical Softmax),或使用基于取样的损失函数,如 NCE。