申農

申農

克勞德·艾爾伍德·香農(Claude Elwood Shannon ,1916年4月30日—2001年2月24日)是美國數學家、資訊理論的創始人。1936年獲得密西根大學學士學位 。1940年在麻省理工學院獲得碩士和博士學位,1941年進入貝爾實驗室工作。香農提出了信息熵的概念,為資訊理論和數字通信奠定了基礎。主要論文有:1938年 的碩士論文《繼電器與開關電路的符號分析》,1948年的《通訊的數學原理》和1949年的《噪聲下的通信》。

基本信息

人物資料

克勞德·艾爾伍德·香農(Claude Elwood Shannon,1916-2001)1916年4月30日誕生於美國密西根州的Petoskey。在Gaylord小鎮長大,當時鎮裡只有三千居民。父親是該鎮的法官,他們父子的姓名完全相同,都是Claude Elwood Shannon。母親是鎮裡的中學校長,姓名是Mabel Wolf Shannon。他生長在一個有良好教育的環境,不過父母給他的科學影響好像還不如祖父的影響大。香農的祖父是一位農場主兼發明家,發明過洗衣機和許多農業機械,這對香農的影響比較直接。此外,香農的家庭與大發明家愛迪生(Thomas Alva Edison,1847-1931)還有遠親關係。香農的大部分時間是在貝爾實驗室和MIT(麻省理工學院)度過的。在“功成名就”後,香農與瑪麗(Mary Elizabeth Moore)1949年3月27日結婚,他們是在貝爾實驗室相識的,瑪麗當時是數據分析員。他們共有四個孩子:三個兒子羅伯特(Robert)、詹姆斯(James)、安德魯莫瑞(Andrew Moore)和一個女兒Margarita Catherine。後來身邊還有兩個可愛的孫女。

2001年2月24日,香農在麻薩諸塞州Medford辭世,享年84歲。貝爾實驗室和MIT發表的訃告都尊崇香農為資訊理論及數字通信時代的奠基人。

人物生平

香農於1916年4月30日出生於美國密西根州的Petoskey,並且是愛迪生的遠親戚。1936年畢業於密西根大學並獲得數學和電子工程學士學位。1940年獲得麻省理工學院(MIT)數學博士學位和電子工程碩士學位。1941年他加入貝爾實驗室數學部,工作到1972年。1956年他成為麻省理工學院(MIT)客座教授,並於1958年成為終生教授,1978年成為名譽教授。香農博士於2001年2月24日去世,享年84歲。

香農於1940年在普林斯頓高級研究所(The Institute for Advanced Study at Princeton)期間開始思考資訊理論與有效通信系統的問題。經過8年的努力,香農在1948年6月和10月在《貝爾系統技術雜誌》(Bell System Technical Journal)上連載發表了具有深遠影響的論文《通訊的數學原理》。1949年,香農又在該雜誌上發表了另一著名論文《噪聲下的通信》。在這兩篇論文中,香農闡明了通信的基本問題,給出了通信系統的模型,提出了信息量的數學表達式,並解決了信道容量、信源統計特性、信源編碼、信道編碼等一系列基本技術問題。兩篇論文成為了資訊理論的奠基性著作。

1936年香農在密西根大學獲得數學與電氣工程學士學位,然後進入MIT念研究生。

1938年香農在MIT獲得電氣工程碩士學位,碩士論文題目是《A Symbolic Analysis of Relay and Switching Circuits》(繼電器與開關電路的符號分析)。當時他已經注意到電話交換電路與布爾代數之間的類似性,即把布爾代數的“真”與“假”和電路系統的“開”與“關”對應起來,並用1和0表示。於是他用布爾代數分析並最佳化開關電路,這就奠定了數字電路的理論基礎。哈佛大學的Howard Gardner教授說,“這可能是本世紀最重要、最著名的一篇碩士論文。”

1940年香農在MIT獲得數學博士學位,而他的博士論文卻是關於人類遺傳學的,題目是《An Algebra for Theoretical Genetics》(理論遺傳學的代數學)。這說明香農的科學興趣十分廣泛,後來他在不同的學科方面發表過許多有影響的文章。

在讀學位的同時,他還用部分時間跟溫尼法·布希(Vannevar Bush)教授進行微分分析器的研究。這種分析器是早期的機械模擬計算機,用於獲得常微分方程的數值解。1941年香農發表了《Mathematical theory of the differential analyzer》(微分分析器的數學理論),他寫道:“大多數結果通過證明的定理形式給出。最重要的是處理了一些條件,有些條件可以生成一個或多個變數的函式,有些條件可使常微分方程得到解。還給出了一些注意事項,給出求函式的近似值(不能產生精確值)、求調整率的近似值以及自動控制速率的方法。”

1941年香農以數學研究員的身份進入新澤西州的AT&T貝爾電話公司,並在貝爾實驗室工作到1972年,從24歲到55歲,整整31年。1956年他當了MIT的訪問教授,1958年成為正式教授,1978年退休。

人們描述香農的生活,白天他總是關起門來工作,晚上則騎著他的獨輪車來到貝爾實驗室。他的同事D. Slepian寫到:“我們大家都帶著午飯來上班,飯後在黑板上玩玩數學遊戲,但克勞德很少過來。他總是關起門來工作。但是,如果你要找他,他會非常耐心地幫助你。他能立刻抓住問題的本質。他真是一位天才,在我認識的人中,我只對他一人使用這個詞。”

香農與John Riordan一起工作,1942年發表了一篇關於串並聯網路的雙終端數的論文。這篇論文擴展了麥克馬洪(Percy A. MacMahon,1854-1929)1892年在Electrician上發表的論文理論。

1948年,劃時代的“通信的一個數學理論”分成兩部分,在7月和10月的Bell System Technical Journal發表。文章系統論述了信息的定義,怎樣數量化信息,怎樣更好地對信息進行編碼。在這些研究中,機率理論是香農使用的重要工具。香農同時提出了信息熵的概念,用於衡量訊息的不確定性。

在漫長的歲月,他思考過許多問題。除在普林斯頓高等研究院工作過一年外,主要都在MIT和Bell Lab度過。需要說明的是,在二次世界大戰時,香農博士也是一位著名的密碼破譯者(這使人聯想到比他大4歲的圖靈博士)。他在Bell Lab的破譯團隊主要是追蹤德國飛機和火箭,尤其是在德國火箭對英國進行閃電戰時起了很大作用。1949年香農發表了另外一篇重要論文《Communication Theory of Secrecy Systems》(保密系統的通信理論),正是基於這種工作實踐,它的意義是使保密通信由藝術變成科學。

1948年香農在Bell System Technical Journal上發表了《A Mathematical Theory of Communication 》(通訊的數學原理)。論文由香農和威沃共同署名。前輩威沃(Warren Weaver,1894-1978)當時是洛克菲勒基金會自然科學部的主任,他為文章寫了序言。後來,香農仍然從事技術工作,而威沃則研究資訊理論的哲學問題。順便提一句,該論文剛發表時,使用的是不定冠詞A,收入論文集時改為定冠詞The。

成就與榮譽

成就

熵(entropy)的概念

克勞德·艾爾伍德·香農 克勞德·艾爾伍德·香農

香農理論的重要特徵是熵(entropy)的概念,他證明熵與信息內容的不確定程度有等價關係。熵曾經是波爾茲曼在熱力學第二定律引入的概念,我們可以把它理解為分子運動的混亂度。信息熵也有類似意義,例如在中文信息處理時,漢字的靜態平均信息熵比較大,中文是9.65比特,英文是4.03比特。這表明中文的複雜程度高於英文,反映了中文詞義豐富、行文簡練,但處理難度也大。信息熵大,意味著不確定性也大。因此我們應該深入研究,以尋求中文信息處理的深層突破。不能盲目認為漢字是世界上最優美的文字,從而引申出漢字最容易處理的錯誤結論。

熵(entropy)指的是體系的混亂的程度,它在控制論、機率論、數論、天體物理、生命科學等領域都有重要套用,在不同的學科中也有引申出的更為具體的定義,是各領域十分重要的參量。熵由魯道夫·克勞修斯(Rudolf Clausius)提出,並套用在熱力學中。後來在,克勞德·艾爾伍德·香農(Claude Elwood Shannon)第一次將熵的概念引入到資訊理論中來。  

眾所周知,質量、能量和信息量是三個非常重要的量。

人們很早就知道用秤或者天平計量物質的質量,而熱量和功的關係則是到了19世紀中葉,隨著熱功當量的明確和能量守恆定律的建立才逐漸清楚。能量一詞就是它們的總稱,而能量的計量則通過“卡、焦耳”等新單位的出現而得到解決。

然而,關於文字、數字、圖畫、聲音的知識已有幾千年歷史了。但是它們的總稱是什麼,它們如何統一地計量,直到19世紀末還沒有被正確地提出來,更談不上如何去解決了。20世紀初期,隨著電報、電話、照片、電視、無線電、雷達等的發展,如何計量信號中信息量的問題被隱約地提上日程。

1928年哈特利(R.V. H. Harley)考慮到從D個彼此不同的符號中取出N個符號並且組成一個“詞”的問題。如果各個符號出現的機率相同,而且是完全隨機選取的,就可以得到D^N個不同的詞。從這些詞里取了特定的一個就對應一個信息量I。哈特利建議用N log D這個量表示信息量,即I=N log D。這裡的log表示以10為底的對數。後來,1949年控制論的創始人維納也研究了度量信息的問題,還把它引向熱力學第二定律。

但是就信息傳輸給出基本數學模型的核心人物還是香農。1948年香農長達數十頁的論文“通信的數學理論”成了資訊理論正式誕生的里程碑。在他的通信數學模型中,清楚地提出信息的度量問題,他把哈特利的公式擴大到機率pi不同的情況,得到了著名的計算信息熵H的公式:

申農 申農

如果計算中的對數log是以2為底的,那么計算出來的信息熵就以比特(bit)為單位。今天在計算機和通信中廣泛使用的位元組(Byte)、KB、MB、GB等詞都是從比特演化而來。“比特”的出現標誌著人類知道了如何計量信息量。香農的資訊理論為明確什麼是信息量概念作出決定性的貢獻。

香農在進行信息的定量計算的時候,明確地把信息量定義為 隨機不定性程度的減少。這就表明了他對信息的理解: 信息是用來減少隨機不定性的東西。或香農 定義: 信息是確定性的增加。

雖然香農的信息概念比以往的認識有了巨大的進步,但仍存在局限性,這一概念同樣沒有包含信息的內容和價值,只考慮了隨機型的不定性,沒有從根本上回答"信息是什麼"的問題。

事實上,香農最初的動機是把電話中的噪音除掉,他給出通信速率的上限,這個結論首先用在電話上,後來用到光纖,截止2013又用在無線通信上。我們能夠清晰地打越洋電話或衛星電話,都與通信信道質量的改善密切相關。

克勞德·香農在公眾中並不特別知名,但他是使我們的世界能進行即時通信的少數科學家和思想家之一。他是美國科學院院士、美國工程院院士、英國皇家學會會員、美國哲學學會會員。他獲得過許多榮譽和獎勵。例如1949年Morris獎、1955年Ballantine獎、1962年Kelly獎、1966年的國家科學獎章、IEEE的榮譽獎章、1978年Jaquard獎、1983年Fritz獎、1985年基礎科學京都獎。他接受的榮譽學位不勝枚舉,不再贅述。

今天,我們懷念香農,要熟悉他的兩大貢獻:一是信息理論、信息熵的概念;另一是符號邏輯和開關理論。我們更應該學習他好奇心強、重視實踐、追求完美、永不滿足的科學精神,這是他獲得成功的重要經驗。

榮譽

美國Alfred Noble協會美國工程師獎 1940年

Morris Liebmann 無線電工程師協會Memorial獎章 1949年

耶魯大學 (首席科學家) 1954年

Stuart Ballantine弗蘭克林協會獎章 1955年

研究合作獎 1956年

密西根大學,榮譽博士 1961年

萊斯大學 榮譽獎章1962年

普林斯頓大學,榮譽博士 1962年

Marvin J. Kelly Award 1962年

愛丁堡大學 榮譽博士 1964年

匹茲堡大學 榮譽博士 1964年

電子電氣工程師協會 榮譽獎章 1966年

美國國家科學獎章 1966年,由前總統Lyndon B. 詹森頒發

Golden Plate Award 1967年

美國西北大學,榮譽博士 1970年

Harvey Prize,the Technion of Haifa,以色列 1972年

牛津大學 榮譽博士 1978年

Joseph Jacquard獎 1978年

Harold Pender獎 1978年

東英格倫大學,榮譽博士 1982年

卡內基梅隆大學 榮譽博士 1984年

美國聲頻技術協會 金獎 1985年

Kyoto Prize 1985年

塔夫斯大學 榮譽博士 1987年

賓夕法尼亞大學 榮譽博士 1991年

Eduard Rhein Prize 1991年

相關詞條

相關搜尋

熱門詞條

聯絡我們