內容簡介
《數學之美(第二版)》是2017年人民郵電出版社出版的一本圖書,圖書的作者是吳軍。 幾年前,“數學之美”系列文章原刊載於谷歌黑板報,獲得上百萬次點擊,得到讀者高度評價。 正式出版前,吳軍博士幾乎把所有文章都重寫了一遍,為的是把高深的數學原理講得更加通俗易懂,讓非專業讀者也能領略數學的魅力。讀者說,讀了《數學之美》,才發現大學時學的數學知識,比如馬爾科夫鏈、矩陣計算,甚至餘弦函式原來都如此親切,並且栩栩如生,才發現自然語言和信息處理這么有趣。而今,數學在信息產業中的套用越來越廣泛,因此,作者在第二版中增加了一些內容,尤其是針對大數據和機器學習的內容,以便滿足人們對當下技術的學習需求。
目錄
i 第一版讀者讚譽
iv 第二版出版說明
vii 第一版序言
x 第二版序言
xii 第二版前言
第1章 文字和語言 vs 數字和信息 1
文字和語言與數學,從產生起原本就有相通性,雖然它們的發展一度分道揚鑣,但是最終還是能走到一起。
1 信息
2 文字和數字
3 文字和語言背後的數學
4 小結
第2章 自然語言處理——從規則到統計 15
人類對機器理解自然語言的認識走了一條大彎路。早期的研究集中採用基於規則的方法,雖然解決了一些簡單的問題,但是無法從根本上將自然語言理解實用化。直到20多年後,人們開始嘗試用基於統計的方法進行自然語言處理,才有了突破性進展和實用的產品。
1 機器智慧型
2 從規則到統計
3 小結
第3章 統計語言模型 27
統計語言模型是自然語言處理的基礎,並且被廣泛套用於機器翻譯、語音識別、印刷體或手寫體識別、拼寫糾錯、漢字輸入和文獻查詢。
1 用數學的方法描述語言規律
2 延伸閱讀:統計語言模型的工程訣竅
3 小結
第4章 談談分詞 41
中文分詞是中文信息處理的基礎,它同樣走過了一段彎路,目前依靠統計語言模型已經基本解決了這個問題。
1 中文分詞方法的演變
2 延伸閱讀:如何衡量分詞的結果
3 小結
第5章 隱含馬爾可夫模型 50
隱含馬爾可夫模型最初套用於通信領域,繼而推廣到語音和語言處理中,成為連線自然語言處理和通信的橋樑。同時,隱含馬爾可夫模型也是機器學習的主要工具之一。
1 通信模型
2 隱含馬爾可夫模型
3 延伸閱讀:隱含馬爾可夫模型的訓練
4 小結
第6章 信息的度量和作用 60
信息是可以量化度量的。信息熵不僅是對信息的量化度量,也是整個資訊理論的基礎。它對於通信、數據壓縮、自然語言處理都有很強的指導意義。
1 信息熵
2 信息的作用
3 互信息
4 延伸閱讀:相對熵
5 小結
第7章 賈里尼克和現代語言處理 72
作為現代自然語言處理的奠基者,賈里尼克教授成功地將數學原理套用於自然語言處理領域中,他的一生富於傳奇色彩。
1 早年生活
2 從水門事件到莫妮卡·萊溫斯基
3 一位老人的奇蹟
第8章 簡單之美——布爾代數和搜尋引擎 82
布爾代數雖然非常簡單,卻是計算機科學的基礎,它不僅把邏輯和數學合二為一,而且給了我們一個全新的視角看待世界,開創了數位化時代。
1 布爾代數
2 索引
3 小結
第9章 圖論和網路爬蟲 89
網際網路搜尋引擎在建立索引前需要用一個程式自動地將所有的網頁下載到伺服器上,這個程式稱為網路爬蟲,它的編寫是基於離散數學中圖論的原理。
1 圖論
2 網路爬蟲
3 延伸閱讀:圖論的兩點補充說明
4 小結
第10章 PageRank——Google的民主表決式網頁排名技術 98
網頁排名技術PageRank是早期Google的殺手鐧,它的出現使得網頁搜尋的質量上了一個大的台階。它背後的原理是圖論和線性代數的矩陣運算。
1 PageRank 算法的原理
2 延伸閱讀:PageRank的計算方法
3 小結
第11章 如何確定網頁和查詢的相關性 104
確定網頁和查詢的相關性是網頁搜尋的根本問題,其中確定查詢中每個關鍵字的重要性有多高是關鍵。TF-IDF是目前通用的關鍵字重要性的度量,其背後的原理是資訊理論。
1 搜尋關鍵字權重的科學度量TF-IDF
2 延伸閱讀:TF-IDF的資訊理論依據
3 小結
第12章 有限狀態機和動態規劃——地圖與本地搜尋的核心技術 111
地圖和本地服務中要用到有限狀態機和動態規劃技術。這兩項技術是機器智慧型和機器學習的工具,它們的套用非常廣泛,還包括語音識別、拼寫和語法糾錯、拼音輸入法、工業控制和生物的序列分析等。
1 地址分析和有限狀態機
2 全球導航和動態規劃
3 延伸閱讀:有限狀態感測器
4 小結
第13章 Google AK-47的設計者——阿米特·辛格博士 121
在所有輕武器中最有名的是AK-47衝鋒鎗,因為它從不卡殼,不易損壞,可在任何環境下使用,可靠性好,殺傷力大並且操作簡單。Google的產品就是按照上述原
則設計的。
第14章 餘弦定理和新聞的分類 127
計算機雖然讀不懂新聞,卻可以準確地對新聞進行分類。其數學工具是看似毫不相干的餘弦定理。
1 新聞的特徵向量
2 向量距離的度量
3 延伸閱讀:計算向量餘弦的技巧
4 小結
第15章 矩陣運算和文本處理中的兩個分類問題 136
無論是辭彙的聚類還是文本的分類,都可以通過線性代數中矩陣的奇異值分解來進行。這樣一來,自然語言處理的問題就變成了一個數學問題。
1 文本和辭彙的矩陣
2 延伸閱讀:奇異值分解的方法和套用場景
3 小結
第16章 信息指紋及其套用 142
世間萬物都有一個唯一標識的特徵,信息也是如此。每一條信息都有它特定的指紋,通過這個指紋可以區別不同的信息。
1 信息指紋
2 信息指紋的用途
3 延伸閱讀:信息指紋的重複性和相似哈希
4 小結
第17章 由電視劇《暗算》所想到的——談談密碼學的數學原理 153
密碼學的根本是資訊理論和數學。沒有資訊理論指導的密碼是非常容易被破解的。只有在資訊理論被廣泛套用於密碼學後,密碼才真正變得安全。
1 密碼學的自發時代
2 資訊理論時代的密碼學
3 小結
第18章 閃光的不一定是金子——談談搜尋引擎反作弊問題和搜尋結果的權威性問題 162
閃光的不一定是金子,搜尋引擎中排名靠前的網頁也未必是有用的網頁。消除這些作弊網頁的原理和通信中過濾噪音的原理相同。這說明信息處理和通信的很多原理是相通的。
1 搜尋引擎的反作弊
2 搜尋結果的權威性
3 小結
第19章 談談數學模型的重要性 171
正確的數學模型在科學和工程中至關重要,而發現正確模型的途徑常常是曲折的。正確的模型在形式上通常是簡單的。
第20章 不要把雞蛋放到一個籃子裡——談談最大熵模型 177
最大熵模型是一個完美的數學模型。它可以將各種信息整合到一個統一的模型中,在信息處理和機器學習中有著廣泛的套用。它在形式上非常簡單、優美,而在實現時需要有精深的數學基礎和高超的技巧。
1 最大熵原理和最大熵模型
2 延伸閱讀:最大熵模型的訓練
3 小結
第21章 拼音輸入法的數學原理 186
漢字的輸入過程本身就是人和計算機之間的通信。好的輸入法會自覺或不自覺地遵循通信的數學模型。當然要做出最有效的輸入法,應當自覺使用資訊理論做指導。
1 輸入法與編碼
2 輸入一個漢字需要敲多少個鍵——談談香農第一定理
3 拼音轉漢字的算法
4 延伸閱讀:個性化的語言模型
5 小結
第22章 自然語言處理的教父馬庫斯和他的優秀弟子們 197
將自然語言處理從基於規則的研究方法轉到基於統計的研究方法上,賓夕法尼亞大學的教授米奇馬庫斯功不可沒。他創立了今天在學術界廣泛使用的LCD語料庫,同時培養了一大批精英人物。
1 教父馬庫斯
2 從賓夕法尼亞大學走出的精英們
第23章 布隆過濾器 204
日常生活中,經常要判斷一個元素是否在一個集合中。布隆過濾器是計算機工程中解決這個問題最好的數學工具。
1 布隆過濾器的原理
2 延伸閱讀:布隆過濾器的誤識別問題
3 小結
第24章 馬爾可夫鏈的擴展——貝葉斯網路 209
貝葉斯網路是一個加權的有向圖,是馬爾可夫鏈的擴展。而從認識論的層面看:貝葉斯網路克服了馬爾可夫鏈那種機械的線性約束,它可以把任何有關聯的事件統一到它的框架下面。它在生物統計、圖像處理、決策支持系統和博弈論中都有廣泛的使用。
1 貝葉斯網路
2 貝葉斯網路在詞分類中的套用
3 延伸閱讀:貝葉斯網路的訓練
4 小結
第25章 條件隨機場、文法分析及其他 217
條件隨機場是計算聯合機率分布的有效模型,而句法分析似乎是英文課上英語老師教的東西,這兩者有什麼聯繫呢?
1 文法分析——計算機算法的演變
2 條件隨機場
3 條件隨機場在其他領域的套用
4 小結
第26章 維特比和他的維特比算法 227
維特比算法是現代數字通信中使用最頻繁的算法,同時也是很多自然語言處理的解碼算法。可以毫不誇張地講,維特比是對我們今天生活的影響力最大的科學家之一,因為如今基於CDMA的3G移動通信標準主要就是他創辦的高通公司制定的。
1 維特比算法
2 CDMA技術——3G移動通信的基礎
3 小結
第27章 上帝的算法——期望最大化算法 238
只要有一些訓練數據,再定義一個最大化函式,採用EM算法,利用計算機經過若干次疊代,就可以得到所需要的模型。這實在是太美妙了,這也許是我們的造物主刻意安排的。所以我把它稱作上帝的算法。
1 文本的自收斂分類
2 延伸閱讀:期望最大化和收斂的必然性
3 小結
第28章 邏輯回歸和搜尋廣告 244
邏輯回歸模型是一種將影響機率的不同因素結合在一起的指數模型,它不僅在搜尋廣告中起著重要的作用,而且被廣泛套用於信息處理和生物統計中。
1 搜尋廣告的發展
2 邏輯回歸模型
3 小結
第29章 各個擊破算法和Google雲計算的基礎 249
Google頗為神秘的雲計算中最重要的MapReduce工具,其原理就是計算機算法中常用的“各個擊破”算法,它的原理原來這么簡單——將複雜的大問題分解成很多小問題分別求解,然後再把小問題的解合併成原始問題的解。由此可見,在生活中大量用到的、真正有用的方法常常都是簡單樸實的。
1 分治算法的原理
2 從分治算法到MapReduce
3 小結
第30章 Google大腦和人工神經網路 254
Google大腦並不是一個什麼都能思考的大腦,而是一個很能計算的人工神經網路。因此,與其說Google大腦很聰明,不如說它很能算。不過,換個角度來說,隨著計算能力的不斷提高,計算量大但簡單的數學方法有時能夠解決很複雜的問題。
1 人工神經網路
2 訓練人工神經網路
3 人工神經網路與貝葉斯網路的關係
4 延伸閱讀:Google大腦
5 小結
第31章 大數據的威力——談談數據的重要性 273
如果說在過去的40年裡,主導全球IT產業發展的是摩爾定律,那么在今後的20年裡,主導IT行業繼續發展的動力則來自於數據。
1 數據的重要性
2 數據的統計和信息技術
3 為什麼需要大數據
4 小結
附錄 計算複雜度 295
第二版後記 299
索引 302
作者簡介
吳軍,博士,畢業於清華大學和美國約翰·霍普金斯大學,是自然語言處理和搜尋專家,矽谷風險投資人。獲獎暢銷書《浪潮之巔》及《數學之美》的作者。
吳軍博士是谷歌公司早期員工之一。在谷歌,他和辛格(美國工程院院士,世界搜尋專家)、Matt Cutts(谷歌反作弊官方發言人)等三位同事一起開創了網路搜尋反作弊的研究領域,並因此獲得谷歌工程獎。2003年,他和谷歌全球架構的總工程師朱會燦博士等共同成立了中日韓文搜尋部門。吳軍博士是當前谷歌中日韓文搜尋算法的主要設計者。在谷歌期間,他還領導了許多研發項目,得到了當時公司執行長埃里克?施密特和創始人謝爾蓋·布林的高度評價。
2010年—2012年,他加盟騰訊公司,出任負責搜尋和搜尋廣告的副總裁,同時擔任國家重大專項“新一代搜尋引擎和瀏覽器”項目的總負責人。2012年回到谷歌,負責開發了被認為是“下一代搜尋”的谷歌自動問答系統。同年,他作為創始合伙人共同創立了中關村矽谷風險投資基金(ZPark Venture)。
吳軍博士在國內外發表過數十篇論文,曾獲得全國人機語音智慧型接口會議的論文獎和Eurospeech的論文獎。他還獲得了十餘項美國和國際專利。
吳軍博士還擔任約翰·霍普金斯大學工學院董事會董事和校國際事務委員會顧問,他也長期擔任中國工業和信息化部的專家顧問。同時,他也是數家投資基金、創業公司的董事和顧問。