生成模型

an is an

生成模型是指能夠隨機生成觀測數據的模型，尤其是在給定某些隱含參數的條件下。它給觀測值和標註數據序列指定一個聯合機率分布。在機器學習中，生成模型可以用來直接對數據建模（例如對一個機率密度函式產生的數據建模），或者作為建立條件機率密度函式的中間過程。條件機率分布可以由生成模型根據貝葉斯準測形成。
香農(1948)給出了有一個英語雙詞頻率表生成句子的例子。可以生成如“representingandspeedilyisangood”這種句子。一開始並不能生成正確的英文句子，但隨著詞頻表由雙詞擴大為三詞甚至多詞，生成的句子也就慢慢的成型了。
生成模型是相對於判別模型定義的。生成模型是所有變數的全機率模型，而判別模型是給定觀測變數的目標變數的條件模型。因此生成模型能夠用於模擬（即生成）模型中任意變數的值，而判別模型只能根據觀測值對目標變數採樣。判別模型不對觀測變數的分布建模，因此它不能夠表達觀測變數與目標變數之間更複雜的關係。因此，在分類和聚類任務中，它並不一定比生成模型表現的好。