主要產品
大魚集群存儲系統
大魚集群存儲系統(簡稱DayuFS)是由北京聚存科技有限公司研製的構建於通用硬體之上的高性能、高可靠、高可擴展的新型分散式存儲管理軟體。
大魚集群存儲系統的基本原理是以軟體方式整合物理集群中多個獨立節點上的存儲資源,組成具有單一檔案系統映像的存儲空間;並通過良好設計的系統結構和數據分布策略,保證系統性能的高可擴展性,支持存儲容量/性能的線上線性擴展。同時,系統中採用多副本的方式保證數據的高可用性,任意單一節點失效均不會導致數據丟失,數據服務的可持續正常運行 。
系統主要面向海量非結構化數據套用而設計,致力於解決此類套用數據中存儲量巨大、I/O吞吐率高、數據增長迅速、構建成本高、管理複雜等傳統存儲所面臨的棘手問題。同時,大魚集群存儲系統的元數據服務集群擴展架構,還一定程度上滿足海量小檔案套用的需求。
大魚雲存儲服務
大魚雲存儲服務系統面向私有雲存儲需求而最佳化設計,是完全自主的一體化雲存儲解決方案。大魚雲存儲服務底層基於高可靠、高擴展的大魚檔案系統,對外提供業界標準的S3接口,並集成用戶管理、配額管理等多種管理功能,可幫助用戶快速搭建高效可靠的企業內部的私有雲存儲平台 。
產品特點
與傳統的存儲設備DAS、SAN和NAS(網路存儲)相比,DayuFS具有如下不可比擬的優勢:
高可擴展
系統可擴展性是衡量系統規模與其性能關係的指標,在傳統存儲系統中,性能/容量通常在系統構建之初就已經確定,很難隨系統規模的增加而動態的增長。以NAS產品為例,可以通過增加擴展磁碟櫃等方式,在設計的範圍之內擴展系統容量,但其性能輸出卻受限於控制器性能和網路接口。某些高端NAS設備可以有限地擴展控制器數量,但由於架構原因,系統性能還受到後端存儲網路的限制,無法做到性能的線性擴展。
DayuFS的設計目標之一就是系統的高可擴展性,所採用的系統架構,數據分布方式,並發訪問流程和多元數據架構,都是為了提升系統可擴展能力。系統所能輸出的聚合性能與系統節點數目呈近似線性關係,通過簡單的模組堆疊即可獲得遠超傳統存儲設備的性能表現。DayuFS高可擴展特性的另一個表現是系統的靈活性,可以根據套用特徵需求,彈性部署DayuFS系統,使用不同硬體設備,不同數量的DayuFS功能模組,從而良好匹配不同類型的套用,均衡系統存儲資源 。
高性能
DayuFS的性能優勢表現在兩個方面。首先,對於單個客戶端而言,DayuFS充分利用數據分布存儲的特性,通過並發訪問提升單個客戶端訪問速度,同時使用快取、預取、延遲寫等I/O最佳化技術,提供出眾的單客戶端IO性能。再者,對於整個系統的聚合性能而言,DayuFS具有良好的可擴展性,系統的聚合頻寬和IOPS均可隨節點數目的增長而線性增長。可以獲得傳統存儲難以獲得的系統聚合性能,例如:聚合I/O頻寬達幾十GB/s,聚合IOPS可到百萬級。
高可用
DayuFS系統內不存在單一故障點,對於檔案數據,DayuFS採用了多副本的數據保護機制,檔案元數據服務則採用雙機熱備的方式。當系統內任意單個部件損壞時,數據均不會丟失,數據服務也不會中斷。同時,當故障發生時,DayuFS的故障恢複流程自動開始運行,儘快恢復因故障導致的檔案數據副本的缺失,防止二次故障導致的數據丟失。數據恢復的流程無需人工啟動和干預,能最大程度減少故障修復時間。另一方面,各種DayuFS的相關操作,如升級、擴容、維護等均不需要停止檔案操作。這些特性在不同程度減少了系統服務中斷的機率,降低了系統恢復的時間,相對於傳統存儲系統具有更好的可用性。
低成本
傳統的企業級存儲設備多採用昂貴的專用軟硬體設備,如光纖磁碟,專用存儲網路以及專門設計的存儲伺服器等,所使用的系統軟體,多面向特定硬體專門開發。而基於DayuFS的存儲系統則採用普通X86架構伺服器,普通SAS/SATA磁碟,主流的通信網路(如千兆乙太網)等通用硬體設備,軟體則採用開源作業系統和支撐軟體,成本優勢顯而易見。
另一方面,DayuFS的維護和擴展成本較低,雖然採用了普通商用部件,但是部件故障處理和恢複流程均精心設計,需人工介入的情況相對較少。相對於傳統企業級存儲中的複雜的故障處理、系統擴容等流程,使用難度大大降低。對系統管理人員技術要求也不高,減少了管理人員培訓的開銷,從而進一步降低了系統維護的成本。
兼容性強
DayuFS提供了多種訪問接口,支持當前主流的網路檔案訪問協定NFS、CIFS和FTP,基於這些協定的套用均可無縫的移植到DayuFS之上。DayuFS還提供了Linux、Windows和MacOS客戶端接口,使用方式如同本地磁碟,並且,Linux客戶端支持POSIX檔案共享語義,Windows客戶端支持NTFS訪問控制,可以完好地支持現有的單機類套用。對於目前常見的集中新型套用,如:大數據處理、雲計算/雲存儲、服務集群等,DayuFS有針對性的提供的API接口、HDFS外掛程式、WebService接口和SQL查詢接口。這些接口結合DayuFS的結構特徵,可高效的支持上述的新型套用。因此,相對於傳統存儲而言,DayuFS可適應更多類型的套用,具有更強的兼容性。
易管理
DayuFS設計時就充分考慮到系統的動態性,將部件故障、系統擴展、數據恢復等事件當作系統可能隨時可能遇到的常見情景。系統管理框架中已經內置了應對這些問題的處理機制,如:自動故障切換、自動數據恢復、自動數據均衡等。事件發生時,無需管理員介入,系統自動偵測問題並開始進行處理。另一方面,DayuFS提供的單一入口的WEB管理界面,通過簡單的界面操作即可完成系統監控、服務管理、用戶管理等操作,使得系統的管理複雜度與節點數目無關,可有效支持大規模系統。典型套用
DayuFS面向數據密集型套用設計,針對大數據連續讀寫模式進行了最佳化,並採用多MDS機制以滿足元數據密集型套用的需求。同時,DayuFS的高可靠、高可用、高可擴展特性也使其適合各種線上套用和關鍵業務。以下是能充分發揮DayuFS特性的幾種典型套用:
多媒體服務
醫療影像處理
大數據處理
動畫製作
雲存儲服務
數據備份和歸檔
視頻監控
科學計算
目前,DayuFS已經使用在多媒體服務、醫療影像處理、動畫製作、媒資管理、大數據處理等多個套用,效果良好,解決了傳統存儲存在的問題,為該類套用提供了一個低成本的高效解決方案。