一淘網蜘蛛

一淘網蜘蛛(EtaoSpider)為一淘網抓取工具一淘網是阿里巴巴集團旗下的購物搜尋引擎,它的工作原理與通用搜尋類似,都需要經過抓取、抽取、入資料庫、建索引、以及頁面展示等流程。

一淘網蜘蛛(EtaoSpider)為一淘網抓取工具
一淘網是阿里巴巴集團旗下的購物搜尋引擎,它的工作原理與通用搜尋類似,都需要經過抓取、抽取、入資料庫、建索引、以及頁面展示等流程。對於購物搜尋來說,搜尋引擎蜘蛛(即一淘網蜘蛛)就等於是一淘派出的“價格情報員”,一淘通過搜尋蜘蛛自動瀏覽購物網站的商品頁面,收集所有購物網站的商品信息,抽取出商品標題、商品價格、商品圖片等重要信息存入資料庫,並建成索倒排引,在用戶搜尋以後,來自於不同商家的,符合用戶搜尋關鍵字的商品信息就會一一展示出來了。
一淘網抓取系統的功能包括:網頁抓取、抓取調度、域名解析、死鏈檢測、JavaScript執行等。一淘的資訊、話題、問答combo中的大部分數據都是通過抓取系統從網際網路獲得的。因此,它是一淘一個重要的“原料廠”。
一淘蜘蛛的套用:一淘蜘蛛在8.15價格戰期間發揮了巨大的作用,一淘蜘蛛對於參與價格戰的大家電、3C數碼產品價格的抓取頻率高達5分鐘一次,再經過抽取、索引、頁面展現等過程,“擂台”頁面商品的價格刷新頻率在15分鐘至30分鐘左右,全程真實、透明的再現了價格戰“戰況”。有了一淘蜘蛛,對於那些價格變化頻繁的商品,一淘也能夠在第一時間將商品價格變化趨勢通過價格“曲線圖”等方式展現給消費者

相關搜尋

熱門詞條

聯絡我們