登录    |    注册

噪音对比估计(NCE:noise-contrastiveestimation)

2020-09-09 16:57:12

噪音对比估计是通常用于训练带有大输出词汇的分类器的采样损失(sampling loss)。在大量可能的类上计算 softmax 是异常昂贵的。使用 NCE,可以将问题降低成二元分类问题,这可以通过训练分类器区别对待取样和「真实」分布以及人工生成的噪声分布来实现。