概述
主資料庫(master database,MDB),簡稱主庫,就是集中存儲管理歷史歸檔數據的場所,它永久保管具有長期保留價值、有共享需求的、經過數據質量檢查驗證的、規範化的數據。載入進入主資料庫後的數據,原則上不允許進行更改;主資料庫一般不直接支持處理解釋等專業套用軟體的數據存取;主資料庫面向數據管理和共享查詢,通過管理平台支持用戶的數據存取,通過數據接口為項目庫提供數據支持。資料庫的數據主要來源於數據源頭的各類專業資料庫以及項目研究成果的歸檔。
建立主資料庫的目的主要是統一管理數據資產,包括大宗的原始數據和處理解釋結果數據。採用主資料庫技術,可以有效地解決由於數據管理分散凌亂,數據標準不統一造成數據管理在時間和資源方面的浪費。
主資料庫首先是一種信息管理模式,它確立了類似於銀行運作形式的專業化統一管理;主資料庫又是一種解決方案它提出了一套開發數據的邏輯組織方式和物理存儲形式,定義了軟體平台數劇管理和查詢功能的框架,確立了系統的基本構成。主資料庫的核心是資料庫,同時又具有其鮮明的特點。
特點
有別於一般的信息系統或套用軟體系統,主資料庫的主要特點有:
第一,主資料庫存儲的數據是經過嚴格質量控制、作為永久歸檔的信息資產;
第二,主資料庫的信息平台綜合了Web技術和資料庫技術;
第三,以石油勘探為例,主資料庫支持標準的石油數據模型(如POSC Epicenter、PPDM等),其中,POSC中心數據模型Epicenter是目前國際石油行業最高度概括和抽象的油氣勘探開發數據模型,支持地球物理、井筒、地質、地理信息等各類信息的關聯存儲;
第四,主資料庫支持三級存儲方式:online(磁碟)、nearline(自動帶庫)、offline(脫機磁帶架)和大容量高密存儲介質;
第五,主資料庫提供對部分套用軟體的直接數據支持和外部數據的連線。
基本功能
數據整理
數據整理是主資料庫系統運行維護過程的一個重要環節,也是主資料庫系統必備的功能手段。數據在進入主資料庫存儲之前必須經過規範化處理,由數據管理人員對數據質量進行檢查和驗證,將不可用或不符合要求的數據剔除,為載入數據作準備。主資料庫系統提供的數據整理的主要功能包括圖像掃描電子化、地震磁帶轉儲、磁帶編目等。
數據管理與維護
主資料庫的管理功能主要包括數據載入、數據索引、數據授權、數據編輯修改、數據名份與恢復等。以下將分別加以介紹。
(1)數據載入:主資料庫系統提供了方便的載入工具,以支持不同類型數據的載入,並且能夠通過邏輯相關的數據進行橫向關聯索引。同時該載入工具還能進行數據的邏輯一致性檢查校驗,以確保標記在主資料庫的所有記錄(出現)的唯一性,並將相關數據組織在一起。例如,Petrobank系統在對地震數據的加犁過程中,首先按照標準格式載入地震導航(測網)數據,之後在載入地震數據體時,要讀取帶頭信息,並與前面載入的導航數據進行匹配性檢查,如果二者不一致,則系統報錯,退出載入,從而確保載入到主資料庫的數據的完整性。
(2)用戶授權:主資料庫的系統管理員可通過系統提供的工具,為不同的資料庫用戶建立(或註銷)賬號,定義不同的許可權或身份(Role)。
(3)數據授權:系統管理員通過主資料庫系統的平台工具,對不同用戶或角色授予(或撤回)不同數據的訪問許可權,保證只有相應許可權的用戶才能對與其相關的數據進行訪問。
(4)數據修改與刪除:系統管理員通過操作界面,能對主資料庫中存儲的數據進行維護性修改或刪除操作。
(5)數據備份與恢復:系統具有數據分級備份和故障恢復功能,當系統環境升級或系統出現嚴重問題後,能夠快速進行數據恢復。
(6)日誌管理:系統能夠根據管理人員的需要,對主資料庫中有關數據的操作情況進行審計跟蹤,形成日誌檔案並能夠對其進行管理。
數據套用支持
主資料庫的套用支持功能完全通過軟體平台提供,包括直接面向網路終端用戶的勢據查詢瀏覽、數據請求下載、數據傳送等。
(1)數據查詢:主資料庫管理平台以C/S或B/S方式提供基於表格和GIS導航的數據查詢功能,支持對綜合數據及資料信息的單入口訪問,並支持對同一對象多種相關信息的聯合查詢與檢索。主資料庫管理平台還提供了SQI。命令查詢、數據表瀏覽、統計查詢和報表等多種功能。
(2)數據請求:主資料庫管理平台支持用戶通過網路直接下載所選擇的數據。此時,主資料庫系統先接受並處理用戶的數據請求,然後通過網路將請求的數據傳送到用戶端。通過選擇列表(select list)技術,用戶可一次挑選多種數據放進選擇列表,並允許用戶通過選擇目的地(不僅限於用戶所在結點)和下載格式,一次性地請求下載。用戶還可以通過傳送訊息來請求數據介質的傳送。
(3)套用軟體接口:典型的主資料庫系統一般都提供對項目庫系統(尤其是解釋系統)的數據支持,通過主資料庫平台的項目構建器等接口工具,用戶或數據管理人員可以直接從主資料庫提取有關數據,並將其直接傳送或載入到所能支持的項目資料庫系統中。
其他
主資料庫還對某些套用軟體尚在使用的檔案格式提供支持,並提供網路傳遞功能和相互轉換的手段。數據管理系統應通過對外部套用項目的註冊管理.能最大限度地支持對項目資料庫數據的透明載入。
系統基本配置
主資料庫系統的基本配置包括一套主資料庫管理軟體、伺服器主機、外部存儲設備等。
軟體配置
主資料庫系統的基本邏輯梅成如右圖所示,系統的管理功能主要通過軟體實現,一般分為客戶機端軟體和伺服器軟體。客戶機端軟體採用Microsoft公司的IE瀏覽器、主資料庫產品廠家的數據請求軟體、數據整理軟體等。伺服器軟體運行在各種伺服器上,包括主資料庫技術產品廠家提供的數據管理軟體平台、Web伺服器軟體、GIS軟體(如ArcView等)、資料庫管理軟體(如Oracle 9i等),以實現主數據厙的查詢和管理維護功能。
不同的主資料庫系統,其軟體配置也不盡相同,下面以Petrobank為例加以簡要說明。這些軟體分為伺服器軟體和客戶軟體,運行在伺服器主機上的軟體有:
①分散式存儲管理器ADSM,是IBM的基於網路的備份與歸檔軟體產品,在Petrobank中用於支持疊後地震數據、工作站檔案、歸檔數據等大塊數據的存儲;
②IBM公司的層次存儲管理模組HSM,可在磁碟陣列與帶庫之間實現數據檔案的自動傳遞;
③NetTape/PBTS用於支持對MDS主庫中野外和疊前地震帶的存儲管理;
④Uniface是一個獨立的4GL套用開發環境,在此用於支持表格、報告製作等功能;
⑤Surf&Connect(for server)用於支持空間資料庫存取和開放式資料庫連線;
⑥ArcView用於支持基於地理信息系統的查詢;
⑦Recall主要用於管理測井曲線數據;
⑧Oracle用於底層數據管理。
而提供給客戶端的軟體有:
①HTMI。Viewer用於支持瀏覽器查詢;
②Surf&Connect(for Client)用於支持空間資料庫的存取和開放式資料庫的連線;
③Java支持工作站上的Web瀏覽;
④INT用於支持地震數據的預覽查看。
硬體配置
為使主資料庫系統上的所有數據查詢和管理軟體正常運行和實現數據的線上、近線和離線三級存儲,在硬體方面需要配置高性能的主伺服器、數據分發伺服器、網路伺服器、歸檔伺服器、自動帶庫等。此外,為數據的整理載入,還需要配置管理工作站和磁帶機、掃描器等設備。