在網際網路發展初期，網站相對較少，信息查找比較容易。然而伴隨網際網路爆炸性的發展，普通網路用戶想找到所需的資料簡直如同大海撈針，這時為滿足大眾信息檢索需求的專業搜尋網站便應運而生了。
現代意義上的搜尋引擎的祖先，是1990年由蒙特婁大學學生Alan Emtage發明的Archie。雖然當時World Wide Web還未出現，但網路中檔案傳輸還是相當頻繁的，而且由於大量的檔案散布在各個分散的FTP主機中，查詢起來非常不便，因此Alan Emtage想到了開發一個可以以檔案名稱查找檔案的系統，於是便有了Archie。
Archie工作原理與現在的搜尋引擎已經很接近，它依靠腳本程式自動搜尋網上的檔案，然後對有關信息進行索引，供使用者以一定的表達式查詢。由於Archie深受用戶歡迎，受其啟發，美國內華達System Computing Services大學於1993年開發了另一個與之非常相似的搜尋工具，不過此時的搜尋工具除了索引檔案外，已能檢索網頁。
當時，“機器人”一詞在編程者中十分流行。電腦“機器人”（Computer Robot）是指某個能以人類無法達到的速度不間斷地執行某項任務的軟體程式。由於專門用於檢索信息的“機器人”程式象蜘蛛一樣在網路間爬來爬去，因此，搜尋引擎的“機器人”程式就被稱為“蜘蛛”程式。
