拒絕蜘蛛協定

拒絕蜘蛛協定就是用在網站根目錄下的robots.txt檔案中的內容標示出本站哪些內容和目錄不能被搜尋引擎收錄。
robots.txt是搜尋引擎中訪問網站的時候要查看的第一個檔案。Robots.txt檔案告訴蜘蛛程式在伺服器上什麼檔案是可以被查看的。
robots.txt必須放置在一個站點的根目錄下，而且檔案名稱必須全部小寫。
語法：最簡單的 robots.txt 檔案使用兩條規則：
• User-Agent: 適用下列規則的漫遊器
• Disallow: 要攔截的網頁
使用事例：
User-agent: *
Disallow: /admin/ 後台管理檔案
Disallow: /require/ 程式檔案
Disallow: /attachment/ 附屬檔案
Disallow: /images/ 圖片
Disallow: /data/ 資料庫檔案
Disallow: /template/ 模板檔案
Disallow: /css/ 樣式表檔案
Disallow: /lang/ 編碼檔案
Disallow: /script/ 腳本檔案