什麼是robots meta標籤
robots.txt 檔案主要是限制整個站點或者目錄的搜尋引擎訪問情況，而robots meta標籤則主要是針對一個個具體的頁面。和其他的meta標籤（如使用的語言、頁面的描述、關鍵字等）一樣，robots meta標籤也是放在頁面的中，專門用來告訴搜尋引擎ROBOTS如何抓取該頁的內容。robots meta標籤的寫法
robots meta標籤中沒有大小寫之分，name=”Robots”表示所有的搜尋引擎，可以針對某個具體搜尋引擎寫為name=”baiduspider”。 content部分有四個指令選項：index、noindex、follow、nofollow，指令間以“,”分隔。（index指令告訴搜尋機器人抓取該頁面；follow指令表示搜尋機器人可以沿著該頁面上的連結繼續抓取下去；Robots Meta標籤的預設值是index和follow，只有inktomi除外，對於它，預設值是index、nofollow。需要注意的是：目前看來，絕大多數的搜尋引擎機器人都遵守robots.txt的規則，而對於robots meta標籤，目前支持的並不多，但是正在逐漸增加，如著名搜 索引擎GOOGLE就完全支持，而且GOOGLE還增加了一個指令“archive”，可以限制GOOGLE是否保留網頁快照；robots meta標籤限制搜尋引擎機器人（ROBOTS）抓取站點內容的辦法只是一種規則，需要搜尋引擎機器人的配合才行，並不是每個robots都遵守。）
