內容提要
在網路普及的今天,人們經常在信息海洋中彷徨,在全球資訊網迷宮般的複雜與魅力之間掙扎。直到搜尋引擎這一偉大的技術產生,才使得人們猶如找到了走出迷宮的燈塔,可以非常便捷地找到自己所需要的信息。
正是因為搜尋引擎離我們越來越近,所以越來越多的人期待著能夠揭開她神秘的面紗。其實搜尋引擎並不是變幻莫測的大海,也不是高不可攀的山峰。請拿起本書,它就是引領你的火炬,它就是你身邊的夥伴,它將帶著你走進搜尋引擎。在那裡,你必將會被搜尋引擎精緻的設計和宏偉的架構所征服。
本書由搜尋引擎開發研究領域年輕而有活力的科學家精心編寫,作者將自己對搜尋引擎的深刻理解和實際套用巧妙地結合,使得從未接觸過搜尋引擎原理的讀者也能夠輕鬆地在搜尋引擎的大廈中遨遊一番。
編輯推薦
本書作為搜尋引擎原理與技術的入門書籍,面向那些有志從事搜尋引擎行業的青年學生、需要完整理解並最佳化搜尋引擎的專業技術人員、搜尋引擎的行銷人員,以及網站的負責人等,是從事搜尋引擎開發的工程技術人員難得的參考書,也可作為大中專院校相關專業的教學輔導書。
作者簡介
梁斌畢業於南京大學,獲得軟體工程碩士學位,曾經發表過多篇論文,獲得1項國家專利,作者主要的興趣方向包括數據挖掘、Wed挖掘、搜尋引擎和軟體工程等,目前在清華大學信息科學與技術國家實驗室從事搜尋引擎相關研究工作。
目錄
第一章引言
第一節什麼是搜尋引擎
第二節搜尋引擎的發展簡史
搜尋引擎的發展歷史
第三節搜尋引擎大事快覽
第四節國內著名搜尋引擎
百度(www.baidu.com)
中搜(www.zhongsou.com)
天網(e.pku.edu.cn)
搜狗(www.sogou.com)
參考文獻
第二章搜尋引擎概貌
第一節搜尋引擎的主要需求
查得快
查得全
查得準
查得穩
第二節搜尋引擎的大系統
搜尋引擎的體系結構
第三章搜尋引擎的下載系統
第一節爬蟲的發展歷史
世界上第一個爬蟲
爬蟲的發展歷程
第二節全球資訊網及其網頁分析
蝴蝶結型的全球資訊網
全球資訊網的直徑
全球資訊網的規模及變化特徵
網頁的特徵
第三節有關爬蟲的基本概念
爬蟲
種子站點
URL
第四節網頁抓取原理
telnet和wget
從種子站點開始逐層抓取
不重複抓取策略
網頁抓取優先策略
網頁重訪策略★
Robots協定
其他應該注意的禮貌性問題
抓取提速策略(合作抓取策略)
第五節網頁庫
第六節下載系統回顧及未來發展
參考文獻
第四章搜尋引擎的分析系統
第一節知識準備
HTML語言
錨文本(anchortext)
半結構化數據(Semi-structureddata)
第二節信息抽取及網頁信息結構化
網頁結構化的目標
建立HTML標籤樹
通過投票方法得到正文
網頁結構化過程回顧
第三節網頁查重
網頁查重技術發展歷史
網頁查重實現方法
第四節中文分詞
什麼是中文分詞
通過字典實現分詞
通過統計學方法實現分詞
第五節PageRank
PageRank的來由
PageRank的基本想法
PageRank的計算公式
PageRank的計算方法★
第六節分析系統結構圖
參考文獻
第五章搜尋引擎的索引系統
第一節知識準備
信息
索引
倒排索引、倒排表、臨時倒排檔案、最終倒排檔案
其他概念
第二節全文檢索
全文檢索
第三節文檔編號
編號的本質
文檔編號的方法
遊程編碼
第四節倒排索引
經典的倒排索引
正排索引(前向索引)
倒排索引
第五節數據規模的估計
齊普夫法則
布爾檢索模型下的索引規模估計★
第六節涉及存儲規模的一些計算
正排表與倒排表的合併
多個臨時倒排檔案的歸併
倒排索引分散式存儲
倒排檔案快取
倒排索引詞典統計信息的計算
第七節倒排索引檔案的創建過程
創建倒排表
計算統計信息
參考文獻
第六章搜尋引擎的查詢系統
第一節知識準備
什麼是信息熵
檢索和查詢的區別
檢索詞和查詢詞的區別
自動文本摘要(AutomaticTextSummarization)
第二節網頁信息檢索
早期的檢索模型
向量空間模型(VectorSpaceModels)
關鍵字權重的量化方法TF/IDF★
搜尋引擎採用的檢索模型
多文檔列表求交計算
檢索結果排序
堆排序
第三節中文自動摘要
自動摘要的發展歷史
自動摘要的含義和實現
第四節生成搜尋結果頁
生成搜尋結果頁
第五節搜尋結果頁的快取
搜尋結果頁的快取
第六節推測用戶查詢意圖
查詢分類
推測信息類、事物類的查詢意圖
第七節查詢系統的當前熱點和發展方向
查詢系統的當前熱點
參考文獻
第七章搜尋引擎的其他話題
第一節搜尋引擎問與答
為什麼搜尋引擎的搜尋速度這么快
為什麼搜尋引擎能夠返回那么多的查詢結果
為什麼搜尋引擎總能返回最想要的結果
搜尋引擎如何大規模存儲網頁的
什麼是SEO
什麼是元搜尋引擎
搜尋引擎認為的作弊行為是哪些
如何進一步學習和了解搜尋引擎發展的最新成果
第二節搜尋引擎未來的發展
新興的搜尋產品
搜尋技術的未來
參考文獻
附錄A搜尋引擎系統結構全觀圖