soukey採摘

Soukey採摘數據採集軟體可用於文章、論壇、博、企業信息等各種網站信息的採集,同時可自由發布到檔案、資料庫,通知也支持Web線上發布功能。同時,如果您了解技術,還可在Soukey採摘基礎上擴展更加豐富的功能,包括:輿情監控、 RSS製作、行業化數據採集等功能。

基本信息

簡介

Soukey採摘是國內唯一一款開源的數據採集類軟體。其功能完善,具備實用價值,不僅支持多執行緒,同時還提供了導航採集、定時採集、數據加工、數據發布、任務觸發等數據採集常用功能。Soukey採摘遵循BSD授權許可協定,並不限制其商用價值。

Soukey採摘代碼可在Sourceforge上下載,但須實用SVN配置管理工具,而並非常用的下載工具。同時Soukey採摘提供論壇的技術支持。

項目主頁:http://SourceForge.net/projects/soukeygetdata/

官方主頁:http://www.yijie.net

開發商:一孑工作室

當前版本:V1.61

官方下載:http://www.yijie.net/services/soukey.html

軟體功能

1 多任務、多執行緒,支持一個任務運行多個實例; 採集規則與運行實例分離的好處是修改任務信息後,並不影響已經運行的任務;
2 支持圖片、Flash及檔案下載; 下載並不支持多執行緒處理,所以,也不建議採用此軟體建立專業的下載任務;
3 網址配置支持參數定製,及外部字典參數; 通過字典方式可擴展自定義的參數值;
4 支持Cookie、POST採集; 可記錄Cookie,採集需要登錄的網站數據,也可通過手工登錄進行採集;
5 支持導航、自動翻頁; 可進行網址導航,譬如:通過新聞列表採集新聞內容;支持多層導航;
6 可採集Ajax數據; 關於ajax技術網站,需要通過HTTP嗅探器探測其真實地址;推薦使用Fiddler;
7 採集數據臨時存儲、斷點續采; 臨時存儲數據格式為XML;
8 支持數據導出,檔案、資料庫; 資料庫支持Access、MSSqlServer、MySql,檔案支持文本檔案和Excel;數據導出支持手工和自動,手工導出僅支持檔案形式;
9 線上數據發布; 支持線上數據發布,數據發布支持Cookie;
10 數據採集支持採集數據加工; 可對採集數據進行字元串替換、截取、附加等操作,可自動去除網頁符號,支持正則;
11 支持任務計畫; 可定時執行任務,最小間隔為:0.5小時;
12 支持任務觸發器; 可觸發Soukey採摘任務、資料庫存儲過程及執行檔,支持採集完成及發布完成觸發;
13 提供網址編/解碼工具; 支持UTF-8、GB2312、GBK、Big5;
14 提供Mini瀏覽器; 可用於Cookie及POST數據的捕獲;
15 支持簡體中文及英文;

軟體圖片

採集任務配置界面採集任務配置界面
主界面主界面

相關詞條

相關搜尋

熱門詞條

聯絡我們