IG[信息增益簡稱]

IG又稱information divergence,information gain ,relative entropy 或者KLIC。

信息增益 (Kullback–Leibler divergence)又稱information divergence,information gain(IG),relative entropy 或者KLIC。

在機率論和資訊理論中,信息增益是非對稱的,用以度量兩種機率分布P和Q的差異。信息增益描述了當使用Q進行編碼時,再使用P進行編碼的差異。通常P代表樣本或觀察值的分布,也有可能是精確計算的理論分布。Q代表一種理論,模型,描述或者對P的近似。

儘管信息增益通常被直觀地作為是一種度量或距離,但事實上信息增益並不是。就比如信息增益不是對稱的,從P到Q的信息增益通常不等於從Q到P的信息增益。信息增益是f增益(f-divergences)的一種特殊情況。在1951年由Solomon Kullback 和Richard Leibler首先提出作為兩個分布的直接增益(directed divergence)。它與微積分中的增益不同,但可以從Bregman增益(Bregman divergence)推導得到。

相關詞條

熱門詞條

聯絡我們