市場需求
隨著套用系統的不斷發展,系統對於資料庫的依賴與日俱增,目前無論金融、政府、石化、電力、教育、醫療還是企業ERP系統,無一例外的出現了資料庫的身影,特別是大型資料庫的身影,主要集中在ORACLE、SQL SERVER和DB2,目前套用系統都需要通過資料庫來保證交易的完整性以及交易完成的效率。
但是對於很多中小企業,不可能使用資料庫大集中的方式,只能通過數據同步複製技術,利用廉價VPN技術,讓簡單寬頻技術構建起各分公司的集中交易模式,而資料庫複製技術對於中小企業的總/分部數據一致提供了技術可能
技術指標
如果需要將資料庫複製到另外一個地方,必須滿足一個重要的指標:
1、數據必須實時:如果不是實時,那只能叫資料庫遷移,屬於數據倉庫ETL的範疇
2、數據必須準確:對複製過去的數據必須經得起驗證,保證數據準確無誤
3、數據必須可線上查詢:如何知道數據複製過去了,必須提供查詢手段保證實時線上查詢
4、數據複製獨立性:資料庫複製軟體不能安裝在主庫,特別是不能在主庫上進行編譯,否則對主庫的套用系統將產生不可估量的影響
5、數據複製配置簡單:這裡面的指標包含不停機初始化、資料庫表過濾機制、資料庫用戶過濾機制,這些都需要簡單配置可用
6、數據複製便於監控:必須提供數據複製的過程監控機制,保證數據複製監控實時性,保證對數據複製過程及更改數據的可審計方式
系統架構
資料庫複製需要為企業量身定做,滿足企業的一總對多分,以及一分對多總模式
安全考慮
1、斷點續傳
2、斷電續傳
3、宕機續傳
4、宕庫續傳
5、停止複製續傳
6、程式監控自啟
7、審計複製日誌
8、自動清理複製日誌
關鍵技術
如何獲得源庫的重做日誌,在源庫交易成功後迅速同步到備庫,並且考慮並發機制,對不衝突表的交易進行並發裝載,保證最大限度的複製效率,目前資料庫複製技術已經從資料庫同步熱備、容災領域向套用系統總、分數據分發與集中,重要業務數據查詢系統進行擴展,目前提供資料庫同步複製技術的公司及產品大體如下:
1、ORACLE DATAGUARD
優點:
企業版本下自帶
不用另外付費
邏輯模式可以實現實時同步
有邏輯和物理保護兩種方式
能夠進行主備庫的切換
支持斷點續傳
缺點:
物理模式目的庫不可用
邏輯模式不支持大對象、物理模式不夠實時
源和目的不能是不同的作業系統和不同的版本
重新同步非常的複雜
對頻寬要求較高,同時需要打開歸檔模式
需要DBA在生產庫上操作, 風險很高
如果用戶對備庫的查詢需要24小時使用,11G版本之前均無法滿足
2、HVR
優點:
支持多種傳統關係型資料庫, 例如Oracle,SQL Sever,DB2,Ingres,PostgreSQL
支持到Taradata,Greenplum, Hadoop HDFS等大數據平台的複製
支持AWS, Azure,Salesforce等雲平台
同時還支持檔案(目錄/ftp/sharepoint)複製
支持基於日誌的數據捕獲,也支持基於觸發器的數據捕獲
目標端數據可用
源端系統和目標端系統異構
可選擇複製內容
數據傳輸過程支持壓縮和加密
提供線上初始化同步
支持數據線上比較和修復
可以實現一對多、多對一等複雜的場景
支持斷點續傳
支持數據轉換
圖形化管理和監控界面,統一管理所有膚質鏈路
缺點:
單獨付費LICENSE
在主、備庫均要安裝listener,對業務系統影響較小
需要開啟歸檔模式
3、ORACLE GOLDEN GATE
優點:
目標端數據可用
源端系統和目標端系統異構
可選擇複製內容
節約頻寬
無中斷初始化
保護時間在秒級
可以實現一對多、多對一
變化數據經過壓縮,占用空間小
支持斷點續傳
缺點:
單獨付費LICENSE
在主、備庫均要安裝程式,影響業務系統
需要開啟歸檔模式
4、QUEST SHAREPLEX
優點:
目標端數據可用
源端系統和目標端系統異構
可選擇複製內容
節約頻寬
無中斷初始化
保護時間在秒級
缺點:
建表語句複製需要修改配置檔案
不能支持事務的查看
無本地服務並且價格昂貴
維護工作量比DATAGUARD還大
5、WOXINTECH PAC
優點:
目標端數據可用
源端系統和目標端系統異構
節約頻寬,頻寬最小支持衛星56K
無中斷初始化,業務系統無需停機
斷點續傳
單獨伺服器模式,不在主、備庫安裝任何程式
保護時間在秒級
支持事務的查看
安裝簡單,不影響主、備機軟、硬體性能
支持大多數DDL和DML語句
支持大對象,支持OIT表
支持同步日誌審計
缺點:
非國際品牌
目前不支持一對多和多對一
需要單獨購買
6、Beedup
優點:
目標端數據可用
源端系統和目標端系統異構
無中斷初始化,業務系統無需停機
斷點續傳
單獨伺服器模式,不在主、備庫安裝任何程式
保護時間在秒級
支持基於用戶、表及其它對象的複製過濾
支持一對多、多對一、雙向複製
安裝簡單,不影響主、備機軟、硬體性能
支持主庫事務審計
缺點:
非國際品牌
需要單獨購買