並行搜尋

並行搜尋，又稱集成搜尋引擎、元搜尋引擎、大型搜尋引擎，是一種可同時檢索多個搜尋引擎。

什麼是並行搜尋技術
並行搜尋引擎(又稱集成搜尋引擎、元搜尋引擎、大型搜尋引擎)是一種可同時檢索多個搜尋引擎，並以統一的檢索界面返回檢索結果的檢索工具，其結構模型如圖1 所示。Metacrawler 是世界上第1個並行搜尋引擎，它使用幾大頂級搜尋引擎(Google, hoo, About等)進行並行搜尋，返回最相關的檢索結果，從而使網頁檢索更容易。並行搜尋引擎通過其轉換功能，將檢索用詞轉換為搜尋引擎可接受的形式，並提交給搜尋引擎，用於查找匹配記錄、進行記錄去重及檢索結果整合。由於並行搜尋引擎能協同檢索多個搜尋引擎，忽略其數據來源的結構差異，剔除相互之間的重複記錄，並檢驗檢索結果信息的有效性，因此可獲得高質量的檢索效果。
圖1 並行搜尋引擎的基本結構模型
與獨立搜尋引擎相比，並行搜尋引擎有4 個優勢：
(1)檢索信息擴大對Internet 的覆蓋範圍。研究表明，Internet 數據增長速度比獨立引擎索引網路數據的速度快很多，導致主流的獨立搜尋引擎對Internet 的覆蓋範圍逐步下降，而並行搜尋引擎可以緩解該矛盾。
(2)提高信息檢索的擴展性。使用並行搜尋引擎檢索網路信息比使用集中化的獨立搜尋引擎更容易得到擴展。
(3)並行檢索可以同時使用多個搜尋引擎。用戶只需要提交一次查詢就可以使用多個獨立引擎，不必熟悉每個獨立引擎的檢索界面，且並行搜尋引擎可以對檢索結果進行排序和冗餘處理。
(4)提高檢索效率。有時並行搜尋的檢索速度低於單個獨立搜尋引擎，但並行檢索可以獲得較大的結果集，為用戶提供更有效的檢索信息。一些學者認為未來的網路檢索服務將由許多各自覆蓋的小部分互連網的專業引擎協同提供。通用大型檢索系統的任務將由並行搜尋引擎代替。相對一些成熟的獨立搜尋引擎而言，並行搜尋引擎仍然
存在缺陷。由於並行搜尋引擎基本沒有自己管理的檢索信息，因此無法獲得檢索信息的描述信息，且其檢索質量還部分依賴於為其提供服務的獨立搜尋引擎，具體體現在：
(1)並行搜尋引擎可能不支持某些高級檢索功能，比如高級布爾檢索等。
(2)並行搜尋引擎不會返回所有檢索結果，例如，它只是將每個搜尋引擎最相關的檢索結果返回給用戶，若某個獨立搜尋引擎在規定時間內沒有回響，則忽略它的檢索結果。
(3)因為獨立搜尋引擎之間一般都有重複紀錄出現，所以並行搜尋引擎必須面對信息冗餘問題。文獻[4]提出基於Agent的方法，包含自然語言分析器、查詢定製、網頁收回、網頁過濾、網頁排序和用戶選項Agent來解決上述問題。本文基於格線的並行搜尋引擎，參考文獻的思想來解決並行搜尋引擎的一些問題。