介紹
噪音對比估計（NCE, Noise Contrastive Estimation）是一個迂迴但卻異常精美的技巧，它使得我們在沒法直接完成歸一化因子（也叫配分函式）的計算時，就能夠去估算出機率分布的參數。本文就讓我們來欣賞一下 NCE 的曲徑通幽般的美妙。
註：由於出發點不同，本文所介紹的“噪聲對比估計”實際上更偏向於所謂的“負採樣”技巧，但兩者本質上是一樣的，在此不作區分。
NCE與負採樣簡述
NCE 的系統提出是在 2010 年的論文 Noise-contrastive estimation: A new estimation principle for unnormalized statistical models 中，後面訓練大規模的神經語言模型基本上都採用 NCE 或者類似的 loss 了。
論文的標題其實就表明了 NCE 的要點：它是“非歸一化模型”的一個“參數估計原理”，專門應對歸一化因子難算的場景。
但事實上，“負採樣”的思想其實早就被使用了，比如就在 2008 年的 ICML 上，Ronan Collobert 和 Jason Weston 在發表的 A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning 中已經用到了負採樣的方法來訓練詞向量。
要知道，那時候距離 Word2Vec 發布還有四五年。關於詞向量和語言模型的故事，請參考 licstar 的《詞向量和語言模型》 。
基於同樣的為了降低計算量的需求，後來Google的Word2Vec也用上了負採樣技巧，在很多任務下，它還比基於Huffman Softmax的效果要好，尤其是那個“詞類比（word analogy）”實驗。這裡邊的奧妙，我們馬上就來分析。
