Roberts協定

而鑒於網路安全與隱私的考慮,每個網站都會設定自己的Robots協定,來明示搜尋引擎,哪些內容是願意和允許被搜尋引擎收錄的,哪些則不允許。 而搜尋引擎則會按照Robots協定給與自己的許可權來進行抓取。 Robots協定已經成為所有搜尋引擎必須遵守的國際慣例。

搜尋引擎的原理是通過一種爬蟲spider程式,自動蒐集網際網路上的網頁並獲取相關信息。而鑒於網路安全與隱私的考慮,每個網站都會設定自己的Robots協定,來明示搜尋引擎,哪些內容是願意和允許被搜尋引擎收錄的,哪些則不允許。而搜尋引擎則會按照Robots協定給與自己的許可權來進行抓取。Robots協定已經成為所有搜尋引擎必須遵守的國際慣例。這就好比一個正常的人去到別人家裡,需要先敲門,得到許可以後才能進入客廳。除非有主人的進一步許可和邀請,否則你不能擅自進入內室,或者在別人家裡四處遛達。

相關詞條

相關搜尋

熱門詞條

聯絡我們