信息熵值

信息熵值是物理學中的一個概念，是指有序度。

資訊理論之父 C. E.Shannon在 1948 年發表的論文“通信的數學理論（ A Mathematical Theory of Communication ）”中， Shannon 指出，任何信息都存在冗餘，冗餘大小與信息中每個符號（數字、字母或單詞）的出現機率或者說不確定性有關。

Shannon 借鑑了熱力學的概念，把信息中排除了冗餘後的平均信息量稱為“信息熵”，並給出了計算信息熵的數學表達式。

信息熵是數學方法和語言文字學的結合，基本計算公式是：

H = - LOG 2（P） 其中：H 表示信息熵，P 表示某種語言文字的字元出現的機率，LOG 2是以二為底的對數，用的是二進制，因而，信息熵的單位是比特（BIT，即二進制的0和1）。 信息熵值就是信息熵的數值。

物理學中的一個概念,簡單的說,就是有序度。熵是什麼？只有當你所使用的那個特定系統中的能量密度參差不齊的時候，能量才能夠轉化為功，這時，能量傾向於從密度較高的地方流向密度較低的地方，直到一切都達到均勻為止。正是依靠能量的這種流動，你才能從能量得到功。　江河發源地的水位比較高，那裡的水的勢能也比河口的水的勢能來得大。由於這個原因，水就沿著江河向下流入海洋。要不是下雨的話，大陸上所有的水就會全部流入海洋，而海平面將稍稍升高。總勢能這時保持不變。但分布得比較均勻。　正是在水往下流的時候，可以使水輪轉動起來，因而水就能夠做功。處在同一個水平面上的水是無法做功的，即使這些水是處在很高的高原上，因而具有異常高的勢能，也同樣做不了功。在這裡起決定性作用的是能量密度的差異和朝著均勻化方向的流動。　不管對哪一種能量來說，情況都是如此。在蒸汽機中，有一個熱庫把水變成蒸汽，還有一個冷庫把蒸汽冷凝成水。起決定性作用的正是這個溫度差。在任何單一的、毫無差別的溫度下——不管這個溫度有多高——是不可能得到任何功的。　“熵”是德國物理學家克勞修斯在1850年創造的一個術語，他用它來表示任何一種能量在空間中分布的均勻程度。能量分布得越均勻，熵就越大。如果對於我們所考慮的那個系統來說，能量完全均勻地分布，那么，這個系統的熵就達到最大值。　在克勞修斯看來，在一個系統中，如果聽任它自然發展，那么，能量差總是傾向於消除的。讓一個熱物體同一個冷物體相接觸，熱就會以下面所說的方式流動：熱物體將冷卻，冷物體將變熱，直到兩個物體達到相同的溫度為止。如果把兩個水庫連線起來，並且其中一個水庫的水平面高於另一個水庫，那么，萬有引力就會使一個水庫的水面降低，而使另一個水面升高，直到兩個水庫的水面均等，而勢能也取平為止。　因此，克勞修斯說，自然界中的一個普遍規律是：能量密度的差異傾向於變成均等。換句話說，“熵將隨著時間而增大”。　對於能量從密度較高的地方向密度較低的地方流動的研究，過去主要是對於熱這種能量形態進行的。因此，關於能量流動和功－能轉換的科學就被稱為“熱力學”，這是從希臘文“熱運動”一詞變來的。　人們早已斷定，能量既不能創造，也不能消滅。這是一條最基本的定律；所以人們把它稱為“熱力學第一定律”。　克勞修斯所提出的熵隨時間而增大的說法，看來差不多也是非常基本的一條普遍規律，所以它被稱為“熱力學第二定律”。