LDA[LDA文檔主題生成模型]

LDA[LDA文檔主題生成模型]

LDA(Latent Dirichlet Allocation)是一種文檔主題生成模型,也稱為一個三層貝葉斯機率模型,包含詞、主題和文檔三層結構。所謂生成模型,就是說,我們認為一篇文章的每個詞都是通過“以一定機率選擇了某個主題,並從這個主題中以一定機率選擇某個詞語”這樣一個過程得到。文檔到主題服從多項式分布,主題到詞服從多項式分布。

LDA是一種非監督機器學習技術,可以用來識別大規模文檔集(document collection)或語料庫(corpus)中潛藏的主題信息。它採用了詞袋(bag of words)的方法,這種方法將每一篇文檔視為一個詞頻向量,從而將文本信息轉化為了易於建模的數字信息。但是詞袋方法沒有考慮詞與詞之間的順序,這簡化了問題的複雜性,同時也為模型的改進提供了契機。每一篇文檔代表了一些主題所構成的一個機率分布,而每一個主題又代表了很多單詞所構成的一個機率分布。

1LDA生成過程

對於語料庫中的每篇文檔,LDA定義了如下生成過程(generativeprocess):

1.對每一篇文檔,從主題分布中抽取一個主題;

2.從上述被抽到的主題所對應的單詞分布中抽取一個單詞;

3.重複上述過程直至遍歷文檔中的每一個單詞。

語料庫中的每一篇文檔與T(通過反覆試驗等方法事先給定)個主題的一個多項分布 (multinomialdistribution)相對應,將該多項分布記為θ。每個主題又與辭彙表(vocabulary)中的V個單詞的一個多項分布相對應,將這個多項分布記為φ。

2LDA整體流程

先定義一些字母的含義:文檔集合D,主題(topic)集合T

D中每個文檔d看作一個單詞序列<w1,w2,...,wn>,wi表示第i個單詞,設d有n個單詞。(LDA裡面稱之為wordbag,實際上每個單詞的出現位置對LDA算法無影響)

·D中涉及的所有不同單詞組成一個大集合VOCABULARY(簡稱VOC),LDA以文檔集合D作為輸入,希望訓練出的兩個結果向量(設聚成k個topic,VOC中共包含m個詞):

·對每個D中的文檔d,對應到不同Topic的機率θd<pt1,...,ptk>,其中,pti表示d對應T中第i個topic的機率。計算方法是直觀的,pti=nti/n,其中nti表示d中對應第i個topic的詞的數目,n是d中所有詞的總數。

·對每個T中的topict,生成不同單詞的機率φt<pw1,...,pwm>,其中,pwi表示t生成VOC中第i個單詞的機率。計算方法同樣很直觀,pwi=Nwi/N,其中Nwi表示對應到topict的VOC中第i個單詞的數目,N表示所有對應到topict的單詞總數。

LDA的核心公式如下:

p(w|d)=p(w|t)*p(t|d)

直觀的看這個公式,就是以Topic作為中間層,可以通過當前的θd和φt給出了文檔d中出現單詞w的機率。其中p(t|d)利用θd計算得到,p(w|t)利用φt計算得到。

實際上,利用當前的θd和φt,我們可以為一個文檔中的一個單詞計算它對應任意一個Topic時的p(w|d),然後根據這些結果來更新這個詞應該對應的topic。然後,如果這個更新改變了這個單詞所對應的Topic,就會反過來影響θd和φt。

3LDA學習過程(方法之一)

LDA算法開始時,先隨機地給θd和φt賦值(對所有的d和t)。然後上述過程不斷重複,最終收斂到的結果就是LDA的輸出。再詳細說一下這個疊代的學習過程:

1.針對一個特定的文檔ds中的第i單詞wi,如果令該單詞對應的topic為tj,可以把上述公式改寫為:

pj(wi|ds)=p(wi|tj)*p(tj|ds)

2.現在我們可以枚舉T中的topic,得到所有的pj(wi|ds),其中j取值1~k。然後可以根據這些機率值結果為ds中的第i個單詞wi選擇一個topic。最簡單的想法是取令pj(wi|ds)最大的tj(注意,這個式子裡只有j是變數),即argmax[j]pj(wi|ds)

3.然後,如果ds中的第i個單詞wi在這裡選擇了一個與原先不同的topic,就會對θd和φt有影響了(根據前面提到過的這兩個向量的計算公式可以很容易知道)。它們的影響又會反過來影響對上面提到的p(w|d)的計算。對D中所有的d中的所有w進行一次p(w|d)的計算並重新選擇topic看作一次疊代。這樣進行n次循環疊代之後,就會收斂到LDA所需要的結果了。

熱門詞條

聯絡我們