基本概念
隨著電信IT信息系統的發展，資料庫處理的數據量、並發請求事務、吞吐量要求越來越高。一直以來，資料庫的短板都在磁碟I/O這塊，傳統機械磁碟尋道時間長，並發I/O性能差，對於高並發的事務處理系統，一般是靠磁碟數量的堆疊來滿足IOPS上的需求，而回響時間上也很難再有改善。Flash技術的引入，資料庫I/O的回響時間、IOPS和吞吐量相比較磁碟存儲有質的飛躍。通過SRP協定，用infiniband網路將資料庫、主機、Flash卡、磁碟整合在一起，構建開放式存儲系統，可以提升電信IT資料庫系統中存儲的可擴展性、穩定性和性能。
開放結構於20世紀80年代初提出，與開放系統概念的提出和實現密切相關。它的發展是為了適應更大規模地推廣計算機的套用和計算機網路化的需求，現仍處於繼續發展和完善之中。一些標準化組織對開放系統的概念是大體相同的，但具體的定義不完全一致。
對於開放系統，美國電氣和電子工程師協會(IEEE)給出了以下定義：“開放系統應提供這樣一些功能，它們使正確執行的應用程式能在多個廠商提供的不同平台上運行，和其它應用程式互操作，並且為用戶相互作用提供一個統一風格的界面。”該定義中有三個關鍵點：一是應用程式能在不同平台上運行；二是套用軟體能夠互操作；三是有統一風格的人機界面(HCI)。
開放式存儲系統是採用高速網路，把多套pc伺服器連線起來，構建一個開放式系統，這些pc伺服器稱作存儲節點。
存儲系統
構建原理
開放式存儲系統採用infiniband的高速網路，把多套pc伺服器連線起來，構建一個IB-SAN存儲系統，這些pc伺服器稱作存儲節點，為了提高存儲性能，存儲節點中安裝企業級flash快閃記憶體。
flash存儲也可稱為快閃記憶體存儲，是基於持久性（Non-Violable）記憶體器件NAND技術的存儲產品。在企業市場上，包括有使用傳統SAS接口的SSD固態硬碟，沿用傳統外置FC或SAS存儲接口的快閃記憶體存儲，以及創新的PCIe接口的存儲卡兩類產品，與現有的基於磁芯磁碟技術的存儲設備相比，具有讀寫速度快，占用空間小，能耗大幅降低等優勢。PCIe接口在各類伺服器的硬體設計中，CPU對PCIe插槽的訪問時延小、頻寬高，理論I/O頻寬最高可到16GB/s。使用PCIe接口的flash存儲卡可以設定內部的I/O處理晶片，用於實現廠商自有的I/O算法、電池供電快取等，比SAS接口SSD固態硬碟可以實現更最佳化的I/O能力。
Infiniband技術原本運用於高性能計算互聯，隨著技術發展，目前逐步運用於存儲節點互聯，用infiniband互聯的存儲構建一個IB-SAN存儲網路，網路上運行的是SRP（Scsi RDMA Protocol）協定或者iSER（iSCSI Extensions for RDMA）協定，SRP協定有更高的性能和更低的延時，被廣泛使用。
構建方法
基於以上技術，開放式存儲系統的構建方法如下。
（1）設備搭建
用3台以上PC伺服器作為存儲節點，每台伺服器的PCIe插槽安裝flash快閃記憶體卡，作為數據存儲，後期如果需要擴容，只需要在伺服器上繼續添加快閃記憶體卡即可。用2台PC伺服器作為資料庫計算節點。每台伺服器安裝infiniband的HCA卡，作為數據通道，安裝千兆網卡，作為網路通信。安裝2台infiniband交換機，通過該交換機把每台伺服器的HCA進行互聯，形成IB-SAN網路。系統架構如圖1。
開放式存儲系統圖1
下面是各個節點的功能：
資料庫節點（資料庫伺服器，計算節點）：PC Server，運行Oracle 11g R2，支持單實例和RAC架構，提供數據運算服務。資料庫節點通過ASM整合存儲節點資源，單機故障不會影響資料庫使用或導致數據丟失。
存儲節點：PC Server，配置Flash卡和SAS磁碟，提供數據存儲服務。每個存儲節點配置Flash卡和SAS磁碟，成為一個獨立的存儲單元。多個存儲節點組合在一起，形成一個存儲池，性能和容量可按需線形擴展。
Infiniband網路：基於Infiniband的低延遲、高頻寬互聯技術，用於將存儲節點的Flash和磁碟資源輸出到資料庫節點，供資料庫使用。實現存儲節點和資料庫節點間的高速互聯，雙Infiniband交換機，防止單點故障。
（2）軟體系統搭建
在存儲節點上安裝Infiniband軟體，到HCA卡的官網上下載Infiniband軟體包，安裝軟體包，以Mellanox為例，使用mlnxofedinstall進行安裝，安裝新的Infiniband驅動程式，取代核心自帶的Infiniband驅動程式。啟動infiniband，注意opensmd依賴於openibd，因此start/stop它們需要有先後順序。可使用iblinkinfo ibstat或ibstatus命令查看是否聯通，若有ACTIVE連線埠則說明infiniband驅動安裝正確。
（3）系統配置
Infiniband網路配置之後，需要在存儲節點和資料庫伺服器上配置SCSI，才能保證資料庫的正常安裝運行。這裡的SCSI配置使用SCST軟體。
（4）資料庫創建
在資料庫伺服器中可以識別存儲節點的flash卡後，資料庫伺服器就可以把存儲節點的flash卡當做存儲來使用，用來存放資料庫數據，為了避免單個flash卡故障影響資料庫數據的安全，採用ORACLE的ASM來管理存儲。
首先，在資料庫伺服器安裝資料庫軟體，創建ORACLE GRID作為集群軟體。然後，配置ASM，在配置ASM磁碟組時，選擇多個存儲節點的lun來創建卷組，並選擇NORMAL選項，使得數據在不同flash卡中鏡像保護。第三，創建資料庫，把數據存放在ASM中。
特點
基於 SRP 的開放存儲系統，在資料庫系統套用中有以下特點：
（1）橫向擴展：當資料庫數據增加時，可以通過增加存儲節點的數量進行橫向擴展。
（2）分散式存儲：所有的數據跨節點存儲，自動分布在不同的存儲節點上，並且能根據需要自動重新平衡
分配數據。
（3）開放架構：用開放的x86架構伺服器替代封閉的存儲系統。
（4）PCIe Flash存儲：使用高性能PCIe Flash高速存儲設備替換傳統的機械磁碟，隨機iops能達到10萬—80萬，實現了存儲能力的極大提升。
（5）Infiniband互聯：使用Infiniband高速網路設備替換傳統的FC-San網路，每個連線埠高達40Gb頻寬，端到端200納秒延遲，實現計算節點之間及計算節點和存儲節點的IO低延遲高吞吐。
（6）數據冗餘：數據至少保存兩份，並且分布在不同的存儲節點上，保證單一存儲節點的故障不會造成數據丟失。
（7）可靠性：在計算層，存儲層和網路互聯層均做到物理冗餘。
（8）運維難度較大：開放存儲系統採用軟體自定義存儲方式，和傳統封閉存儲系統有很大的不同，對運維人員的技術要求比較高，難度較高。
產品
2008年，Sun發布了開放式存儲系統包中的首批3款產品，其中每一款產品都包含一個支持多種操作環境的全面集成的軟體解決方案，這是具有標準高速聯網功能、磁帶互聯，以及帶有強大的分析工具的業界最具綜合性的管理軟體。這些新的存儲系統也是全面拓展Solaris ZFS內的快閃記憶體混合存儲(Flash Hybrid Storage Pools)功能的唯一系統，可自動加速和最佳化性能，且可降低所需功耗和冷卻成本。
Sun Storage 7110：超緊密型存儲器，存儲容量為2TB。
Sun Storage 7210：中檔存儲器，在一個高密度的4U系統記憶體儲容量可達48TB，它支持採用Sun獨特的快閃記憶體混合存儲技術的寫入最佳化的固態硬碟(SSDs)；
Sun Storage 7410：高配置的存儲系統，支持的存儲容量高達500T B，支持讀寫均最佳化的固態硬碟和Sun獨特的快閃記憶體混合存儲技術。這些新的存儲系統還能以集群配置形式提供，以便獲得更高的可用性。
所有的Sun Storage 7000統一存儲系統，都打破了那種給每一個存儲器功能提出苛刻要求的行業趨勢，這些功能包括無附加成本的各種綜合性的數據服務，例如快照/克隆、恢復、鏡像、RAID-5、RAID-6 、複製、Active-Active集群、壓縮、自動精簡配置(Thin Provisioning)、CIFS、NFS、iSCSI、HTTP/FTP和WebDAV等。因為Sun Storage 7000統一存儲系統的這一獨特設計，當客戶們經由包含在每個系統中的自動更新功能獲得了由Sun提供的新的數據服務和功能之時，他們也就會從這些連續的創新技術中多多受益了。
Sun公司獨特的混合存儲(Hybrid Storage Pool)技術將DRAM、讀操作得到最佳化的快閃記憶體器件以及低成本和低功率的磁碟驅動器作為單一高速快取級，用128位ZFS檔案系統對其加以透明管理。混合存儲以低得多的功耗和更低的每GB成本實現了高於傳統存儲系統的性能。混合存儲還用來存儲檔案和CIFS，NFS等塊協定的數據，可以提供一套豐富的企業數據服務，如集群和數據複製。
