google機器人

google機器人是Google 的web 抓取漫遊器。它從web上收集文檔，為Google搜尋引擎建立可搜尋的索引。 Googlebot是google的機器人的意思，俗稱google爬蟲。
把火狐偽裝成爬蟲有什麼好處呢？對經常光顧verycd的朋友們非常有用。可以免登錄看貼。首先我們用火狐測試一下：打開這裡是不是要求你登錄？
繼續，設定方法，打開火狐，Ctrl+T新建一個瀏覽標籤，輸入：about:config，打開配置頁面，右鍵點擊頁面選擇“新建→字元串”，在彈出的視窗中輸入：general.useragent.override，確定之後，輸入：Googlebot/2.1 (+http://www.googlebot.com/bot.html)，繼續確定，關閉視窗。
其實上次Matt所透露的僅僅是其中一方面的內容。今天，Matt再次寫了一篇非常詳細的文章，解釋了Google的各種bot是怎樣抓取網頁的，以及Google最新的BigDaddy在抓取網頁方面有什麼新的變化等等，內容非常的精彩，所以和大家分享一下。

　

首先要介紹的是Google的"crawl caching proxy"（爬行快取代理）。Matt舉了一個ISP與用戶的例子來說明它。用戶上網時，總是先通過ISP獲取網頁內容，然後ISP就會把用戶訪問過的網頁快取起來備用。比如說，當用戶A訪問了www.kenwong.cn，那么中國電信（或網通等）就會把"幻滅的麥克風"傳送給用戶A，然後將"幻滅的麥克風"快取起來，當用戶B在下一秒鐘里再訪問www.kenwong.cn，那么中國電信就會把快取里的"幻滅的麥克風"傳送給用戶B，這樣就能節省了頻寬。
正如本站之前所報導的那樣，Google最新的軟體層面的升級（轉移至BigDaddy）已經接近完成，因此升級後的Google各方面的能力都將得到加強。這些加強包括了更智慧型化的googlebot爬行、改良的規範性以及更好的收錄網頁能力。而在Googlebot爬行抓取網頁方面，Google也採取了節省頻寬的方法。Googlebot也隨著BigDaddy的升級而得到了升級。新的Googlebot已經正式支持了gzip編碼，所以如果你的網站開啟了gzip編碼功能，那么就能節省Googlebot爬行你的網頁時所占的頻寬。
除了改良的Googlebot外，升級後的Google將會採用上面所說到的crawl caching proxy來抓取網頁，以進一步節省頻寬。下面是一個示意圖，顯示了傳統的Googlebot是怎樣爬行一個網站的：