Iveely

Iveely是一款純C#實現的搜尋引擎。Iveely的中文翻譯:愛為您。英文全稱:I void everything , enjoy loving you! 希望更多的搜尋引擎愛好者加入進來,感受分享的快樂。Iveely目標是,不是給用戶一堆結果讓用戶去發現最適合自己的,我希望是返回的就是用戶 最想要的,用戶完全無需篩選,所以Iveely Search Engine 永遠沒有分頁,更希望它能嵌入機器人思維中,成為人類的良師益友。現在依然處於文本搜尋階段,發布於微軟開源社區Codeplex上 。目前發布版本0.2.0。

簡介

Iveely 全稱Iveely Search Engine 是一款純C#實現的搜尋引擎。Iveely的中文翻譯:愛為您。英文全稱:I void everything , enjoy loving you! 希望更多的搜尋引擎愛好者加入進來,感受分享的快樂。Iveely目標是,不是給用戶一堆結果讓用戶去發現最適合自己的,我希望是返回的就是用戶 最想要的,用戶完全無需篩選,所以Iveely Search Engine 永遠沒有分頁,更希望它能嵌入機器人思維中,成為人類的良師益友。現在依然處於文本搜尋階段,發布於微軟開源社區CodePlex上 。目前發布版本0.2.0。
該作者認為:“搜尋引擎應該是網際網路的學習者,我們應該制定一個規則,讓它從一個不識字的孩子逐漸成為一個知識豐富的青年,逐步讓它具有人的思維。這不是科幻,而是未來,I Believe!今後為人類服務的各式機器人,要擁有先進知識和靈活思維處理能力,也許只有搜尋引擎能夠賦予它這些“。

項目架構

上面主要分為三大塊,剛好對應著Iveely搜尋引擎中的三個運行步驟(當您下載程式後的運行方式就是按照上面上個步驟來的)。
1. 找到發布資料夾下的IveelySE.Spider.exe 檔案,然後輸入你需要爬行的連結。這是A搜尋部分。
2 . 當爬行完畢之後,找到資料夾下的IveelySE.Index.exe 然後運行,直到結束。即完成索引。這是B整理部分。
3. 此刻你只需要,運行另外一個檔案IveelySE.exe你就可以執行搜尋了。搜尋的界面你需要部署WebSite的網站,即可。或者你不想這樣的話,你在不運行IveelySE.exe的情況下,直接運行Iveely.Search.exe 可在本地執行搜尋。 這是C服務部分。

子項目介紹

"IveelySE", "IveelySE\IveelySE.csproj", 是搜尋服務建立部分,搜尋的入口是從這裡開始的。
"IveelySE點AI", "IveelySE點AI\IveelySE點AI.csproj", 搜尋的人工智慧部分,類似於專家系統。例如輸入101+90=?就是通過這個項目計算出來的。
"IveelySE.Classify", "IveelySE.Classify\IveelySE.Classify.csproj",是搜尋引擎中文本分類(聚類)的實現部分。
"IveelySE.Common", "IveelySE.Common\IveelySE.Common.csproj",是搜尋引擎中共用部分的提取。
"IveelySE.Config", "IveelySE.Config\IveelySE.Config.csproj", 是搜尋引擎中的配置部分,儘可能的配置在這個項目中實現。
"IveelySE.Grammar", "IveelySE.Grammar\IveelySE.Grammar.csproj", 是搜尋引擎中的語法分析部分,例如:site、filetype等等。
"IveelySE.Index", "IveelySE.Index\IveelySE.Index.csproj", 是搜尋引擎中的索引部分,原數據的整理主要在這裡實現,倒排序等也是。
"IveelySE.Liquidate", "IveelySE.Liquidate\IveelySE.Liquidate.csproj",是語言處理部分,例如停用詞過濾、敏感詞等等的處理。
"IveelySE.Segment", "IveelySE.Segment\IveelySE.Segment.csproj", ISE中的分詞部分,包含詞庫分詞和隱馬爾可夫分詞。
"IveelySE.Server", "IveelySE.Server\IveelySE.Server.csproj", ISE中關於網路通信傳輸部分。
"IveelySE.Spider", "IveelySE.Spider\IveelySE.Spider.csproj", 這是網路爬蟲,即數據蒐集部分。
"IveelySE.IDFS", "IveelySE.IDFS\IveelySE.IDFS.csproj", 這是分散式檔案系統部分,包括MapReduce的實現都將在此(此版本無效)。
"IveelySE.BigData", "IveelySE.BigData\IveelySE.BigData.csproj", 這是大數據處理部分(此版本無效)。
"IveelySE.BigData.Common", "IveelySE.BigData.Common\IveelySE.BigData.Common.csproj", 大數據處理的共同引用部分(此版本無效)。
"IveelySE.BigData.FileSystem", "IveelySE.BigData.FileSystem\IveelySE.BigData.FileSystem.csproj",大數據處理的虛擬檔案系統(此版本無效)。
"IveelySE.BigData.MasterNode", "IveelySE.BigData.MasterNode\IveelySE.BigData.MasterNode.csproj", 大數據存儲的主節點部分(此版本無效)。
"IveelySE.BigData.StoreNode", "IveelySE.BigData.StoreNode\IveelySE.BigData.StoreNode.csproj", 大數據存儲的子節點部分(此版本無效)。
"IveelySE.Search", "IveelySE.Search\IveelySE.Search.csproj", 搜尋的本地實現部分,無需Web,只要用於內部調試。
"IveelySE.Web", "IveelySE.Web\IveelySE.Web.csproj",搜尋的Web端實現,界面採用ask的界面。

最新版本

目前最新版本是0.2.0 。
Iveely Search Engine 的0.2.0版本最大的特點就是“任務驅動式一鍵式運行”,簡單的說就是,在無人監督的情況下,設定好您的參數,一個本地化的完整搜尋引擎就可以利用起來,包含數據、索引更新等等都自動化完成。相對於0.1.0它在以下方面有一定的提升:
1. 添加“幫您推薦” 功能。在搜尋結果顯示的時候,當命中最佳的網頁時,該網頁將會為您推薦它覺得其它最好的網頁。例如:您到一家餐館吃飯,這家餐館非常適合您的口味,那么它將推薦它覺得最好的其它餐品給您。就是這個道理。
2. 添加“快取處理”功能。在0.1.0的搜尋過程中,所有的每次請求,都將從索引中選出合適的網頁編號,然後根據網頁編號提取出數據,這實際是不合算的,在0.2.0種,添加了快取策略,在最近搜尋過的關鍵字中直接提取上次的結果快取,無需從頭至尾到數據中提取。主要採用數據結構:哈希雙鍊表
3. 添加項目IveelySE.Run.Task,主要是講所有的執行任務以任務機器的方式,選擇間隔時間執行以及定期更新數據。例如:爬蟲任務,可設定每次完成任務之後,6小時候再重新爬行一次。還有索引系統,定期更新系統,定期更新快取等等,都即將依賴於IveelySE.Run.Task運行。
4. IveelySE.Web,新建了IveelySE.InternetService,IveelySE.Web是我們搜尋的展示,但是我們將其移出,採用網路服務的方式,你需要查看搜尋結果,將不再依賴於網頁,只需要瀏覽器中輸入http://127.0.0.1:8088/query=您的關鍵字,即可。

相關詞條

相關搜尋

熱門詞條

聯絡我們