雲存儲
全球數據量的猛增使得存儲日益成為一個更獨立的專業問題,越來越多的企業開始將存儲作為單獨的項目進行管理。同時,持續增長的數據存儲壓力帶動著整個存儲市場的快速發展。這個概念一經提出,就得到了眾多廠商的支持和關注。Amazon在兩年前就推出的Elastic Compute Cloud(EC2:彈性計算雲)雲存儲產品,旨在為用戶提供網際網路服務形式同時提供更強的存儲和計算功能。內容分發網路服務提供商CDNetworks和業界著名的雲存儲平台服務商 Nirvanix發布了一項新的合作,並宣布結成戰略夥伴關係,以提供業界目前唯一的雲存儲和內容傳送服務集成平台。半年以前,微軟就已經推出了提供網路移動硬碟服務的WindowsLive SkyDrive Beta測試版。近期,EMC宣布加入 道里可信基礎架構項目,致力於雲計算環境下關於信任和可靠度保證的全球研究協作,IBM(IBM伺服器)也將雲計算標準作為全球備份中心的3億美元擴展方案的一部分。
雲存儲變得越來越熱,大家眾說紛”雲”,而且各有各的說法,各有各的觀點,那么到底什麼是雲存儲?
簡介
雲存儲是在雲計算(cloudcomputing)概念上延伸和衍生髮展出來的一個新的概念。雲計算是分散式處理(DistributedComputing)、並行處理(ParallelComputing)和格線計算(GridComputing)的發展,是透過網路將龐大的計算處理程式自動分拆成無數個較小的子程式,再交由多部伺服器所組成的龐大系統經計算分析之後將處理結果回傳給用戶。通過雲計算技術,網路服務提供者可以在數秒之內,處理數以千萬計甚至億計的信息,達到和”超級計算機”同樣強大的網路服務。雲存儲的概念與雲計算類似,它是指通過集群套用、格線技術或分散式檔案系統等功能,網路中大量各種不同類型的存儲設備通過套用軟體集合起來協同工作,共同對外提供數據存儲和業務訪問功能的一個系統,保證數據的安全性,並節約存儲空間。簡單來說,雲存儲就是將儲存資源放到雲上供人存取的一種新興方案。使用者可以在任何時間、任何地方,透過任何可連網的裝置連線到雲上方便地存取數據。如果這樣解釋還是難以理解,那我們可以借用廣域網和網際網路的結構來解釋雲存儲。相信大家對區域網路、廣域網和網際網路都已經非常了解了。在常見的區域網路系統中,我們為了能更好地使用區域網路,一般來講,使用者需要非常清楚地知道網路中每一個軟硬體的型號和配置,比如採用什麼型號交換機,有多少個連線埠,採用了什麼路由器和防火牆,分別是如何設定的。系統中有多少個伺服器,分別安裝了什麼作業系統和軟體。各設備之間採用什麼類型的連線線纜,分配了什麼IP位址和子網掩碼。
但當我們使用廣域網和網際網路時,我們只需要知道是什麼樣的接入網和用戶名、密碼就可以連線到廣域網和網際網路,並不需要知道廣域網和網際網路中到底有多少台交換機、路由器、防火牆和伺服器,不需要知道數據是通過什麼樣的路由到達我們的電腦,也不需要知道網路中的伺服器分別安裝了什麼軟體,更不需要知道網路中各設備之間採用了什麼樣的連線線纜和連線埠。 廣域網和網際網路對於具體的使用者是完全透明的,我們經常用一個雲狀的圖形來表示廣域網和網際網路,
雖然這個雲圖中包含了許許多多的交換機、路由器、防火牆和伺服器,但對具體的廣域網、網際網路用戶來講,這些都是不需要知道的。這個雲狀圖形代表的是廣域網和網際網路帶給大家的互聯互通的網路服務,無論我們在任何地方,都可以通過一個網路接入線纜和一個用戶、密碼,就可以接入廣域網和網際網路,享受網路帶給我們的服務。
參考雲狀的網路結構,創建一個新型的雲狀結構的存儲系統系統,這個存儲系統由多個存儲設備組成,通過集群功能、分散式檔案系統或類似格線計算等功能聯合起來協同工作,並通過一定的套用軟體或套用接口,對用戶提供一定類型的存儲服務和訪問服務。
當我們使用某一個獨立的存儲設備時,我們必須非常清楚這個存儲設備是什麼型號,什麼接口和傳輸協定,必須清楚地知道存儲系統中有多少塊磁碟,分別是什麼型號、多大容量,必須清楚存儲設備和伺服器之間採用什麼樣的連線線纜。為了保證數據安全和業務的連續性,我們還需要建立相應的數據備份系統和容災系統。除此之外,對存儲設備進行定期地狀態監控、維護、軟硬體更新和升級也是必須的。如果採用雲存儲,那么上面所提到的一切對使用者來講都不需要了。雲狀存儲系統中的所有設備對使用者來講都是完全透明的,任何地方的任何一個經過授權的使用者都可以通過一根接入線纜與雲存儲連線,對雲存儲進行數據訪問。雲存儲不是存儲,而是服務就如同雲狀的廣域網和網際網路一樣,雲存儲對使用者來講,不是指某一個具體的設備,而是指一個由許許多多個存儲設備和伺服器所構成的集合體。使用者使用雲存儲,並不是使用某一個存儲設備,而是使用整個雲存儲系統帶來的一種數據訪問服務。所以嚴格來講,雲存儲不是存儲,而是一種服務。雲存儲的核心是套用軟體與存儲設備相結合,通過套用軟體來實現存儲設備向存儲服務的轉變。
前提
一、寬頻網路的發展真正的雲存儲系統將會是一個多區域分布、遍布全國、甚至於遍布全球的龐大公用系統,使用者需要通過ADSL、DDN等寬頻接入設備來連線雲存儲。只有寬頻網路得到充足的發展,使用者才有可能獲得足夠大的數據傳輸頻寬,實現大量容量數據的傳輸,真正享受到雲存儲服務,否則只能是空談。
二、WEB2.0技術
Web2.0技術的核心是分享。只有通過web2.0技術,雲存儲的使用者才有可能通過PC、手機、移動多媒體等多種設備,實現數據、文檔、圖片和視音頻等內容的集中存儲和資料共享。
三、套用存儲的發展
雲存儲不僅僅是存儲,更多的是套用。套用存儲是一種在存儲設備中集成了套用軟體功能的存儲設備,它不僅具有數據存儲功能,還具有套用軟體功能,可以看作是伺服器和存儲設備的集合體。套用存儲技術的發展可以大量減少雲存儲中伺服器的數量,從而降低系統建設成本,減少系統中由伺服器造成單點故障和性能瓶頸,減少數據傳輸環節,提供系統性能和效率,保證整個系統的高效穩定運行。
四、集群技術、格線技術和分散式檔案系統
雲存儲系統是一個多存儲設備、多套用、多服務協同工作的集合體,任何一個單點的存儲系統都不是雲存儲。
既然是由多個存儲設備構成的,不同存儲設備之間就需要通過集群技術、分散式檔案系統和格線計算等技術,實現多個存儲設備之間的協同工作,多個存儲設備可以對外提供同一種服務,提供更大更強更好的數據訪問性能。如果沒有這些技術的存在,雲存儲就不可能真正實現,所謂的雲存儲只能是一個一個的獨立系統,不能形成雲狀結構。
五、CDN內容分發、P2P技術、數據壓縮技術
CDN內容分發、P2P技術、數據壓縮技術、重複數據刪除技術、數據加密技術
CDN內容分發系統、數據加密技術保證雲存儲中的數據不會被未授權的用戶所訪問,同時,通過各種數據備份和容災技術保證雲存儲中的數據不會丟失,保證雲存儲自身的安全和穩定。如果雲存儲中的數據安全得不到保證,想來也沒有人敢用雲存儲,否則,保存的數據不是很快丟失了,就是全國人民都知道了。
六、存儲虛擬化技術、存儲網路化管理技術
雲存儲中的存儲設備數量龐大且分布多在不同地域,如何實現不同廠商、不同型號甚至於不同類型(如FC存儲和IP存儲)的多台設備之間的邏輯卷管理、存儲虛擬化管理和多鏈路冗餘管理將會是一個巨大的難題,這個問題得不到解決,存儲設備就會是整個雲存儲系統的性能瓶頸,結構上也無法形成一個整體,而且還會帶來後期容量和性能擴展難等問題。
雲存儲中的存儲設備數量龐大、分布地域廣造成的另外一個問題就是存儲設備運營管理問題。雖然這些問題對雲存儲的使用者來講根本不需要關心,但對於雲存儲的運營單位來講,卻必須要通過切實可行和有效的手段來解決集中管理難、狀態監控難、故障維護難、人力成本高等問題。因此,雲存儲必須要具有一個高效的類似與網路管理軟體一樣的集中管理平台,可實現雲存儲系統中設有存儲設備、伺服器和網路設備的集中管理和狀態監控。
架構
架構方法分為兩類:一種是通過服務來架構;另一種是通過軟體或硬體設備來架構。傳統的系統利用緊耦合對稱架構,這種架構的設計旨在解決HPC(高性能計算、超級運算)問題,正在向外擴展成為雲存儲從而滿足快速呈現的市場需求。下一代架構已經採用了鬆弛耦合非對稱架構,集中元數據和控制操作,這種架構並不非常適合高性能HPC,但是這種設計旨在解決雲部署的大容量存儲需求。各種架構的摘要信息如下:
緊耦合對稱(TCS)架構
構建TCS系統是為了解決單一檔案性能所面臨的挑戰,這種挑戰限制了傳統NAS系統的發展。HPC系統所具有的優勢迅速壓倒了存儲,因為它們需要的單一檔案I/O操作要比單一設備的I/O操作多得多。業內對此的回應是創建利用TCS架構的產品,很多節點同時伴隨著分散式鎖管理(鎖定檔案不同部分的寫操作)和快取一致性功能。這種解決方案對於單檔案吞吐量問題很有效,幾個不同行業的很多HPC客戶已經採用了這種解決方案。這種解決方案很先進,需要一定程度的技術經驗才能安裝和使用。
鬆弛耦合非對稱(LCA)架構
LCA系統採用不同的方法來向外擴展。它不是通過執行某個策略來使每個節點知道每個行動所執行的操作,而是利用一個數據路徑之外的中央元數據控制伺服器。集中控制提供了很多好處,允許進行新層次的擴展:
●存儲節點可以將重點放在提供讀寫服務的要求上,而不需要來自網路節點的確認信息。
●節點可以利用不同的商品硬體CPU和存儲配置,而且仍然在雲存儲中發揮作用。
●用戶可以通過利用硬體性能或虛擬化實例來調整雲存儲。
●消除節點之間共享的大量狀態開銷也可以消除用戶計算機互聯的需要,如光纖通道或infiniband,從而進一步降低成本。
●異構硬體的混合和匹配使用戶能夠在需要的時候在當前經濟規模的基礎上擴大存儲,同時還能提供永久的數據可用性。
●擁有集中元數據意味著,存儲節點可以鏇轉地進行深層次應用程式歸檔,而且在控制節點上,元數據經常都是可用的。
作用
雲存儲的概念與雲計算類似,它是指通過集群套用、格線技術或分散式檔案系統等功能,將網路中大量各種不同類型的存儲設備通過套用軟體集合起來協同工作,共同對外提供數據存儲和業務訪問功能的一個系統。如果這樣解釋還是難以理解,那我們可以借用廣域網和網際網路的結構來解釋雲存儲。雲狀的網路結構
相信大家對區域網路、廣域網和網際網路都已經非常了解了。在常見的區域網路系統中,我們為了能更好地使用區域網路,一般來講,使用者需要非常清楚地知道網路中每一個軟硬體的型號和配置,比如採用什麼型號交換機,有多少個連線埠,採用了什麼路由器和防火牆,分別是如何設定的。系統中有多少個伺服器,分別安裝了什麼作業系統和軟體。各設備之間採用什麼類型的連線線纜(IBM伺服器),分配了什麼 xml:lang=IP位址和子網掩碼。
但當我們使用廣域網和網際網路時,我們只需要知道是什麼樣的接入網和用戶名、密碼就可以連線到廣域網和網際網路,並不需要知道廣域網和網際網路中到底有多少台交換機、路由器、防火牆和伺服器,不需要知道數據是通過什麼樣的路由到達我們的電腦,也不需要知道網路中的伺服器分別安裝了什麼軟體,更不需要知道網路中各設備之間採用了什麼樣的連線線纜和連線埠。(IBM伺服器)
功能
雲存儲提供的諸多功能和性能旨在滿足伴隨海量非活動數據的增長而帶來的存儲難題:·隨著容量增長,線性地擴展性能和存取速度。
·將數據存儲按需遷移到分散式的物理站點。
·確保數據存儲的高度適配性和自我修復能力,可以保存多年之久。
·確保多租戶環境下的私密性和安全性。
·允許用戶基於策略和服務模式按需擴展性能和容量。
·改變了存儲購買模式,只收取實際使用的存儲費用,而非按照所有的存儲系統,包含未使用的存儲容量,來收取費用。
·結束顛覆式的技術升級和數據遷移工作。
選擇
●服務模式:最普遍的情況下,當你考慮雲存儲的時候,你就會想到其所提供的服務產品。這種模式很容易開始,其可擴展性幾乎是瞬間的。根據定義,你擁有一份異地數據的備份。然而,頻寬是有限的,因此要考慮你的恢復模型。你必須要滿足你網路之外的數據的需求。●HW模式:這種部署位於防火牆背後,並且其提供的吞吐量要比公共的內部網路好。購買整合的硬體存儲解決方案非常方便,而且,如果廠商在安裝/管理上做的好的話,其往往伴隨有機架和堆疊模型。但是,這樣你就會放棄某些摩爾定律的優勢,因為你會受到硬體設備的限制。
●SW模式:SW模式具有HW模式所具有的優勢。另外,它還具有HW所沒有的價格競爭優勢。然而,其安裝/管理過程式要謹慎關注,因為安裝某些SW的確非常困難,或者可能需要其他條件來限制人們選擇HW,而選擇SW。
隱患
從功能實現上來講,異地檔案存取與檔案分享共步技術早在網際網路形成之初就已經得到套用,上個世紀網際網路剛剛進入國內時就有廠商提供過網盤服務,當時所謂的網盤並不是大家所熟知的網路虛擬磁碟,當時的網盤更像是一個SVN或FTP的客戶端,而今十多年的發展以後,融入了移動網際網路行銷理念與新技術的“網盤”被包裝成了“雲存儲”高調的出現在大眾面前,據相關統計數據顯示國內一線的雲存儲服務商每天的用戶數據新增量已經達PB為單位,可見每天都有數以億計的用戶正在向自己雲存儲空間中上傳下載著各種檔案,在這種環境下排除網路頻寬消耗之外,我們是否應該反思一下雲存儲下的未來隱患。著作權風險
有關著作權問題已經大範圍的出現在了國內的網盤服務中,一些個人或團體會將以影視音樂為主體的檔案通過雲存儲的客戶端上傳至網盤中,然後通過分享的方式對圈子內提供下載,大量的有著作權的視頻音樂被這種特殊盜版方式進行傳播,而且這種傳播方式暫時屬於監管的空白,部分雲存儲提供商在著作權單位的壓力下開始限制連結分享的範圍,加強檔案的過濾。但是這些手段不能從根本上解決雲存儲中用戶上傳檔案的盜版傳播。而要建立起一整套影視檔案數字指紋簽名檢驗系統除了龐大的研發的運維成本外,各個利益團體之間的技術標準統一也是短期內難以實現的,但是在問題得到解決之前,此刻這種分享還在進行中,面臨侵權問題不僅是用戶還是雲存儲的提供商。個人隱私
有很多移動平台用戶喜歡隨時將自己用手機或平板拍攝的照片與視頻通過雲存儲快速上傳到網盤中,這樣可以非常快捷的通過WEB或PC客戶端在異地甚至即時取回照片,但是大家可能不太相信的是你上傳的每一張照片或其他檔案都有可能是雲存儲的服務端明文保存的,據參與過某雲存儲項目開發的人員介紹,從運維成本上考慮實現私鑰加密不太現實,管理員可以從服務端的平台中直接查看和刪除用戶上傳的檔案,這些檔案中不乏用戶的機密檔案或用戶隱私,現階段大型服務端都是通過建立嚴格的制度體系來約束管理人員的職業操守,但是人都是有弱點的,一旦人的操守被棄的時候在其權力範圍內可視的內容是否還是只屬於你自己呢?數據安全
從數據安全上分兩個方面分析,1.用戶的操作安全:大多數的雲存儲都設計了多客戶端數據同步機制,一般以最後一次更新為標準,其他客戶端開啟時自動同步,這點與SVN的設計有很大的差別,當一個用戶在公司編輯某個檔案後,回到家中再次編輯,那么當他再次回到公司時檔案已是昨晚在家更新過的,這是理想狀態下的,在很多時候用戶編輯一個檔案後,會發現編輯有誤,想取回存在公司的檔案版本時,可能在沒有支持版本管理雲存儲中你的附本也已經被錯誤的更新了,同樣的道理你刪除一個檔案時候,如果沒有額外的備份,也許你到網盤迴收站中再找了,版本管理技術上並不存在問題,但是會加大用戶的操作難度,雲存儲服務商只有少數的私有雲提供商有限的支持,多數情況下這種覆蓋是時常發生的。
2.服務端的安全操作:雲存儲伺服器早已經成為了黑客入侵的目標,因為伺服器上不僅有無窮用戶數據,對此類大用戶群服務的劫持更加是黑色收入的重要來源,也就是說伺服器的安全性直接影響著用戶上傳數據的安全,在伺服器虛擬化技術的支撐下V2V遷移的可靠性相當高,多數的雲存儲廠商都預備安全防護方案,但是不能忽視的永遠人的操作
運營停止
在當下的網際網路環境下,提供公眾的雲存儲服務,每年的資金投入在5億元以上,而且對私提供的雲存儲盈利模式還並不清晰,究竟有多少服務商可以持續永久的提供這種服務,這種服務後期是否收費?是否會因為虧損問題、盈收問題而被迫停止運營,在這種情況已有用戶的數據向何處遷移?數據安全由誰負責,IM和Emai的盈利模式已經成熟所以相關廠商可以持續免費,而雲存儲的投入至少是前兩者之和的十倍,廠商之間的服務整合和公約形成,首要解決並不是技術問題,而是利益分配問題,服務商在一定時間會關停服務才是用戶數據留存問題最大的隱患。國外品牌
1. Amazon Cloud Drive
Amazon推出的免費線上儲存服務Cloud Drive,註冊即可得5GB網路儲存空間,支持上傳檔案、MP3、圖片、視頻等。只要用戶從亞馬遜購買了任何專輯(價格比它們在iTunes上幾乎總是便宜得多),那么將自動升級到20GB的免費儲存空間,或是可另外付費購買額外的空間。2. Box
Box的主要重點在於合作,這絕對更多的是面向商業用戶,共享功能很不錯,提供管理工作流程、版本、任務和意見的工具,外觀類似於Facebook。免費註冊後會得到5G的上傳空間,目前是網友公認的最好用的檔案存儲分享空間。在今年六月Box還宣布為所有TouchPad用戶提供50GB的免費雲存儲空間。Box提供的雲存儲服務包括免費的初級版和付費的高級版,高級版有更多的空間和更周全的性能。3. Dropbox
DropBox 是一款非常好用的免費網路檔案同步工具,是Dropbox公司運行的線上存儲服務,通過雲計算實現網際網路上的檔案同步,用戶可以存儲並已分享檔案和資料夾。Dropbox提供免費和收費服務,在不同作業系統下有客戶端軟體,並且有網頁客戶端。支持檔案的批量拖拽上傳、單檔案最大上限350M,如果用客戶端上傳則無最大單個檔案的限制,免費賬戶總容量2.0G,但若流量超標整個賬戶的外鏈流量就會被取消。還可以通過邀請來增加容量,並且支持多種檔案外鏈。4. Google
谷歌一直希望擴大其雲計算服務規模,並利用谷歌翻譯工具和視頻處理等獨家技術的優勢,向用戶提供各類“增值服務”。谷歌雲存儲服務Google Storage包括REST API協定,以允許開發者通過谷歌賬號提供驗證下載、數據備份服務。它是在Gmail,Picasa網路相冊和Google Docs之間共享的,具有開箱即用的特性,從服務水平協定來看,實施的是用戶分級制。5. iCloud
2011年6月7日,蘋果在舊金山MosconeWest會展中心召開全球開發者大會上,正式發布了iCloud雲服務,該服務服務可以讓現有蘋果設備實現無縫對接。iCloud是基於原有的MobileMe 功能全新改寫而成,提供了原有的郵件、行事曆和聯絡人同步功能,將蘋果音樂服務、系統備份、檔案傳輸、筆記本及平板設備產品線等元素有機的結合在了一起,使用者可以免費儲存5GB的資料。iCloud上所提供的應用程式包括辦公生產率、開發工具、媒體和視窗小部件等。6. iDrive Sync
它與Dropbox相似,但在某些方面更先進。與Dropbox一樣,它有一個桌面應用程式,但與Dropbox不同的是,它可以與主資料夾以外的資料夾同步,還可以將所有檔案的版本備份保存30天,以防萬一。7. Microsoft SkyDriv
它很好地集成了Microsoft Office Web套件,Hotmail以及其它Microsoft Live服務。 Web界面很直觀,為每個用戶免費提供了25G的超大網路硬碟,可以隨時隨地的存取檔案,也可以在已分享檔案夾中添加或更新檔案,完全支持外鏈8. Mozy
Mozy是一個安全的線上備份服務,它用一種簡單,智慧型而經濟的方法來保護檔案不被損壞,防止數據被意外刪除或硬體故障等危害,定期備份數據到安全的伺服器,提供了免費2G的自動備份空間。系統在備份前,會進行自動壓縮、加密,感覺很安全,而且可以按照不同時段設定傳送速度限制,讓系統在空閒時自動備份,不影響工作和寬頻,備份後的數據按照日期/時間存儲於Mozy伺服器,一個月內的版本均可以自由恢復。9. SugarSyn
SugarSync是備份、訪問並已分享檔案的雲存儲服務。用戶可以從任何Mac、PC或移動設備上快速安全地獲取所有檔案。提供5G免費存儲空間,具有數據自動備份功能,可以非常方便地將用戶指定的目錄同步到其SugarSync網盤中,免費賬戶可支持2台電腦,可以線上、通過SugarSync軟體以及手機來訪問檔案。支持外鏈,具有檔案分享功能,採用SSL加密技術上傳檔案。只有需要更多空間及同步2台以上電腦才需要支付費用。10. Ubuntu
它在功能方面比較接近Dropbox,可以將需要同步、備份的檔案放在資料夾中,連線網路之後,就可以把數據備份到線上網路空間。用戶可以得到5GB的免費儲存空間。它有一個集成的音樂流媒體服務,支持火狐,Android和iOS設備國內品牌
百度、微雲(騰訊)、之戀雲(豪士)、快盤(金山)115、快盤、Dbank(華為)、微盤(新浪)、360、盛大、酷盤、JBOX核心技術
雲計算系統的核心技術:並行計算。並行計算(ParallelComputing)是指同時使用多種計算資源解決計算問題的過程。通過並行計算集群完成數據的處理,再將處理的結果返回給用戶。
1、編程模式;
2、海量數據分布存儲技術;
3、海量數據管理技術;
4、虛擬化技術;
5、雲計算平台管理技術;
6、信息安全管理技術;
7、運維管理技術。