主要職責
狹義
一般意義上的資料庫管理員是一個負責管理和維護資料庫伺服器的人,資料庫管理員負責全面管理和控制資料庫系統,包括資料庫的安裝、監控、備份、恢復等基本工作。資料庫管理員的主要職責有以下幾個方面:
設計資料庫設計,包括欄位、表和關鍵欄位;資源在輔助存儲設備上是怎樣使用的,怎樣增加和刪除檔案及記錄,以及怎樣發現和補救損失。
2.監視監控資料庫的警告日誌,定期做備份刪除。監控資料庫的日常會話情況。碎片、剩餘表空間監控,及時了解表空間的擴展情況、以及剩餘空間分布情況。監視對象的修改。定期列出所有變化的對象安裝和升級資料庫伺服器(如Oracle、MicrosoftSQLserver),以及應用程式工具。資料庫設計系統存儲方案,並制定未來的存儲需求計畫。制定資料庫備份計畫,災難出現時對資料庫信息進行恢復。維護適當介質上的存檔或者備份數據。備份和恢複數據庫。聯繫資料庫系統的生產廠商,跟蹤技術信息。
3.備份對資料庫的備份監控和管理資料庫的備份至關重要,對資料庫的備份策略要根據實際要求進行更改,數據的日常備份情況進行監控。
4.修改密碼:規範資料庫用戶的管理定期對管理員等重要用戶密碼進行修改。對於每一個項目,應該建立一個用戶。DBA應該和相應的項目管理人員或者是程式設計師溝通,確定怎樣建立相應的資料庫底層模型,最後由DBA統一管理,建立和維護。任何資料庫對象的更改,應該由DBA根據需求來操作。
5.SQL語句:對SQL語句的書寫規範的要求一個SQL語句,如果寫得不理想,對資料庫的影響是很大的。所以,每一個程式設計師或相應的工作人員在寫相應的SQL語句時,應該嚴格按照《SQL書寫規範》一文,最後要有DBA檢查才可以正式運行。
6.最終用戶服務和協調:資料庫管理員規定用戶訪問許可權和為不同用戶組分配資源。如果不同用戶之間互相牴觸,資料庫管理員應該能夠協調用戶以最最佳化安排。
7.資料庫安全:資料庫管理員能夠為不同的資料庫管理系統用戶規定不同的訪問許可權,以保護資料庫不被未經授權的訪問和破壞。例如,允許一類用戶只能檢索數據,而另一類用戶可能擁有更新數據和刪除記錄的許可權。
廣義
但是廣義上的DBA職責比這個大得多,需要覆蓋產品從需求設計、測試到交付上線的整個生命周期,在此過程中不僅要負責資料庫管理系統的搭建和運維,更要參與到前期的資料庫設計,中期的資料庫測試和後期的資料庫容量管理和性能最佳化。
對於初創公司,DBA的工作可能由運維工程師來兼任,從申請域名開始,到伺服器上架,配置網路設備,部署作業系統,安裝資料庫,設計和部署監控,防止漏洞和攻擊等等。而大型公司對DBA工作的要求越來越高,以下從各個維度來看DBA工作的職責。
產品生命周期維度
DBA負責了業務資料庫從設計、測試到部署交付的全生命周期管理,各個階段的職責包括:
1. 產品發布前
這個階段DBA的職責是資料庫準入,主要包括:
1)產品的業務熟悉;
2)產品資料庫設計評審:包括架構的合理性評估,存儲容量和性能是否滿足需求,是否需要快取,是否需要冗餘備份等,同時需要提供資料庫schema設計的合理性建議以使產品能夠滿足上線發布並穩定運行的基本要求;
3)資源評估,包括所需的伺服器資源、網路資源以及資源的分布等,同時把關產品對資源預算申請的合理性,控制服務成本;
4)資源就位,將申請的伺服器及基礎環境/域名準備就位。
2. 產品發布
這個階段DBA負責資料庫發布的具體工作,將具體的資料庫安裝部署和初始化完成後並對外提供服務。對於已線上資料庫的升級也屬於發布範疇,這個時候的產品發布一般要保障線上發布,在不中斷對外服務的情況下完成資料庫的升級。對於大型複雜的變更也存在中止服務發布完成後再重新提供服務的情況,但這種情況需要DBA通過儘可能的技術手段來避免。
3. 產品運行維護
這個階段的工作重點包括:
1)監控:對資料庫服務運行的狀態進行實時的監控,包括資料庫會話、資料庫日誌、數據檔案碎片、表空間監控、用戶訪問監控等,隨時發現資料庫服務的運行異常和資源消耗情況;輸出重要的日常資料庫服務運行報表以評估資料庫服務整體運行狀況,發現資料庫隱患;
2)備份:制定和實施資料庫備份計畫,災難出現時對資料庫信息進行恢復,維護適當介質上的存檔或者備份數據。對資料庫的備份策略要根據實際要求進行更改,數據的日常備份情況進行監控。
3)安全審計:為不同的資料庫管理系統用戶規定不同的訪問許可權,以保護資料庫不被未經授權的訪問和破壞。例如,允許一類用戶只能檢索數據,而另一類用戶可能擁有更新數據和刪除記錄的許可權。
4)故障處理:對資料庫服務出現的任何異常進行及時處理,儘可能避免問題的擴大化甚至中止服務。這之前DBA需要針對各類服務異常,如機房/網路故障、程式bug等問題制定處理的預案,問題出現時可以自動或手動執行預案達到止損的目的。
5)容量管理:包括資料庫規模擴張後的資源評估、擴容、機房遷移、流量調度等規劃和具體實施。
4. 資料庫性能最佳化
產品對外提供服務最重要的一點是用戶體驗,用戶體驗中非常重要的是產品的可用性和回響速度。而如何用最合理的資源支持產品提供高可用和高速度的用戶體驗,這也是DBA的重要職責。
技術分工
產品的整個生命周期里資料庫管理員的職責重要而廣泛,這催生了各個縱向的運維技術方向,凡是關係到資料庫質量、效率、成本、安全等方面的工作,及涉及到的技術、組件,主要包括:
•資料庫監控技術:包括監控平台的研發、套用,服務監控準確性、實時性、全面性的保障。
•資料庫故障管理:包括服務的故障預案設計,預案的自動化執行,故障的總結並反饋到產品/系統的設計層面進行最佳化以提高產品的穩定性。
•資料庫容量管理:測量服務的容量,規劃服務的機房建設,擴容、遷移等工作。
•資料庫性能最佳化:從各個方向,包括SQL最佳化、參數最佳化、套用最佳化、客戶端最佳化等,提高資料庫的性能和回響速度,改善用戶體驗。
•資料庫安全保障:包括資料庫的訪問安全、防攻擊、許可權控制等。
•資料庫自動部署:部署平台/工具的研發,及平台/工具的使用,做到安全、高效的發布服務。
•資料庫集群管理:包括資料庫的伺服器管理、分散式集群管理等。
•資料庫模型設計:包括資料庫邏輯和物理模型的設計,如何實現性能最優,架構可擴展,服務可運維等。
能力要求
資料庫管理員以技術為基礎,通過技術保障資料庫提供更高質量的服務。DBA工作的職責及在業務中的位置決定了DBA需要具備更加廣博的知識和深入的技術能力。在資料庫環境的管理與維護中,技術任務可歸結成許多不同的分類。下面列出了一名DBA應掌握的一些技術(排名不分先後)。
1.理解數據備份/恢復與災難恢復
恢復已損壞的資料庫是每一個DBA應掌握的最重要的技能。DBA需要完全理解資料庫所有可能的備份與恢複方法,以及不同備份方法與不同恢復策略的對應關係。此外,DBA還需要與業務部門合作,一起確認業務需求,明確用戶能夠容忍的數據丟失底線。此外,業務用戶還需要確定在系統故障情況下,他們的業務能夠維持多長時間。理解這些需求可以幫助DBA開發出一個滿足業務用戶要求的備份/恢複方法。一個優秀的DBA要定期測試備份與恢複流程,保證他們有能力恢復業務數據,滿足企業所規定的業務數據丟失與恢復要求。
2.工具集的使用
所謂工具集,指是的他們要有一組用於執行不同DBA任務的腳本。這個工具集應該包含不同的小代碼片段,它們可以快速診斷問題或執行一個特定的任務。這些工具腳本應該按DBA的活動類型歸類,如備份、索引維護、性能最佳化、容量管理等。由於總是會執行新任務、發現新問題或找到其他人開發的好用腳本,因此一個優秀的DBA會不斷地給這個工具集增加新腳本。此外,他還應該了解網上哪裡能夠找到一些免費的工具和腳本。一個好的DBA知道什麼時候可以利用其他人編寫的腳本,從而節省自己的時間和改進自己的工具集。
3.知道如何快速尋找答案
資料庫每天會面臨各種各樣故障的挑戰,從硬體到網路,從性能壓力到程式bug,DBA都要從容應對,一一排除。即使是資料庫大牛,也不可能是無所不知的,因此每個DBA一方面需要不斷修煉自己,積累作業系統、網路、硬體、存儲系統、分散式計算等理論基礎,另一方面還要有快速尋找新問題解決方法的能力。如果一個資料庫實例不能按預期方式運轉,那么快速尋找新問題的解決方法也是一個重要能力。一個好的DBA知道如何快速地在網上查找一個未知問題的解決方法。此外,他們也可能已經知道了一些非常不錯的網站,也知道業界專家會提供一些好建議,同時知道什麼時候應該忽略一些不好的建議。你可能想像不到,確實有一些建議不值得參考。
4.知道如何監控和最佳化資料庫性能
對於任何資料庫產品,性能都尤其重要,它會直接影響產品的回響速度和用戶體驗。對於一個DBA來說,性能最佳化一般需要占用50%的工作時間,因此DBA需要知道如何監控和最佳化數據性能。
以SQL Server舉例,性能是一個關鍵的問題,因此DBA需要知道如何修復故障和監控性能問題。有許多第三方性能監控工具可以幫助DBA最佳化性能。如果DBA只使用第三方工具,而不會使用SQL Server自帶的原生工具來監控性能,那么相信很快就會出現問題。雖然使用第三方工具來監控性能也很不錯,但是DBA一定要理解SQL自帶的一些原生工具,如SQL Server Profiler、Database Engine Tuning Advisor、Dynamic ManagementViews、系統/擴展的存儲過程、Extended Events等。許多第三方工具實際上在使用這些底層的原生工具。因此,理解這些自帶的原生工具將有利於增強DBA使用第三方工具的經驗。
5.研究新版本
在技術領域中,沒有什麼是一成不變的。每隔兩三年,主流資料庫廠商都會發布一個大版本的更新。DBA應該緊跟新版本所作的修改,它們可能有許多變化方法,最好的方法是遲早介入這個過程。測試版開放後馬上下載和安裝,儘快掌握第一手使用經驗。一名好的DBA總是走在學習排頭兵,總是會第一時間安裝和測試新版本。這樣他們就可以儘早理解新特性,然後提出一些合理的新建議,幫助組織更好地利用新版本資料庫。
6.理解代碼最佳實踐方法
DBA應該了解如何編寫高效的代碼。有許多糟糕的編碼實踐方法會導致拙劣的性能。一名好的DBA要能夠理解和識別這些糟糕的編碼實踐方法,知道如何修改這些爛代碼,讓它們變成高效代碼。此外,他們還要記錄下寫代碼的最佳實踐方法,並且將這些實踐方法分享給其他人。
7.持續不斷地學習
資料庫及其組件涉及面非常廣。DBA很難理解一個技術的方方面面。DBA需要持續學習如何管理資料庫。這個學習過程有很多方法。其中之一就是參加正式培訓。但是,並非人人都有這樣充裕的事件和金錢,也並非人人都能夠放下手頭工作專門出去參加正式的培訓。但是,還有許多其他方法可以獲得培訓,而且大多數還是免費的。一名好的DBA一定要訂閱一些定期發布資料庫新技巧和新文章的社區網站。此外,他還應該加入一些用戶組織,可以在周末參加一些當地的免費沙龍活動。
8.資料庫安全性
安全性是一個熱門話題。DBA應該完全掌握如何實現資料庫的安全訪問。他們應該理解作業系統身份驗證和資料庫身份驗證的區別,以及它們各自的使用場合。他們應該理解如何使用資料庫角色來管理不同類型用戶的安全配置。他們應該理解連線資料庫的連線埠與協定。此外,他們還應該理解如何加密整個資料庫,或者加密一個資料庫中一個表的某一個欄位,同時理解關於加密數據的各種問題。
9.資料庫設計
決定資料庫性能的一個關鍵問題是資料庫設計。DBA需要理解關於資料庫設計的各個方面。他們要能夠理解設計好壞的區別。他們需要理解為什麼使用正確的外鍵約束、主鍵、檢查約束和使用數據類型能夠保持資料庫的數據完整性和實現高效的數據查詢與更新。
10.索引設計
資料庫索引是提高應用程式檢索和更新數據速度的重要環節。DBA需要知道索引的工作原理。他們應該知道聚簇索引和非聚簇索引的區別,知道這些索引的物理存儲方式。DBA應該知道如何在執行計畫中使用這些索引。他們應該理解如何找到索引的使用統計、理解索引碎片及如何發現丟失的索引。他們應該知道如何維護索引,以及索引統計信息對於查詢引擎的重要作用。
11.容量監控與規劃
資料庫往往要使用大量的資源,包括CPU、記憶體、I/O及磁碟空間。DBA應該理解如何監控資料庫所需要的不同主機資源的用量。他們應該能夠理解這些資源在不同時間的使用情況,以及利用歷史使用數據來規劃未來的容量需求。在監控過程中,DBA應該能夠預見到容量規劃會在將來什麼時候出現問題,然後採取必要的措施保持資料庫不會因為容量限制而出現中斷。
12.資料庫許可證
不同的產品有許多不同的許可證授權方式。而且,同一款產品本身又有許多不同的版本。DBA應該理解所負責的資料庫版本的不同授權模式。他們應該能夠提供指導如何通過合理購買授權來減少資料庫總擁有成本,以及如何合理利用授權方法來降低未來版本的升級成本。
13.儘可能實現自動化
DBA每天都需要執行許多的日常任務。其中一些任務需要每天執行,而另一些則每周、每月或每年執行。一名好的DBA需要理解如何高效地安排自己的時間。其中一種方法是建立工作流程,這些日常任務的自動執行。通過實現日常任務的自動化執行,DBA就可以用更多的時間去關注於資料庫環境管理中遇到的嚴重問題。
職業性格
DBA需要跟各種人員打交道,這些人員可能是銷售商、用戶、開發人員或者管理人員。這說明:DBA必須具有下面的個性特點:
•自信心:足夠的自信心能夠幫助DBA在重要緊急時刻果斷下決定,而不是不知所措地看著事故發生
•好奇心:幾乎所有的資料庫系統都在不停地更新。但並不是所有的更新都有技術文檔。對於好的DBA來說,好奇心是必需的。沒有好奇心和求知慾的DBA總是等待有人告訴他們答案。而一個求知慾強的DBA將安裝最新版本的資料庫系統,並立即開始搜尋那些哪怕是細微的功能和性能上的差異和增強,從而改進自己的工作。應試時一個必然問及的問題是:你手頭有哪些參考資料?你如何使用它們?毫無疑問,如果你只回答了資料庫的文檔,或者你甚至沒有讀過他們,你的"股票市值"將大大下降。好奇心會驅使DBA們理解數據字典(Data Dictionary)、管理工具(Tools)或者其他支持包(Packages)。
•堅韌的意志力和沉著的心態:DBA常常會碰到棘手的問題。尋找答案是一個需要堅韌意志力、可以經受摔打的個性特點。同時面對緊急情況時要能處亂不驚,保持平和的心態冷靜處理問題。
•自我驅動:自我驅動對每個人都是很重要的,對DBA尤其如此。DBA要能想辦法使問題出現,而不是等待問題的出現。自驅力強的DBA常常設法取得或者自己寫一些必要的腳本(Script)來監控包括數據表大小(Table Size)、表空間使用(Tablespace Usage)等項目,這些項目如果被忽視,他們將遇到麻煩。應試的時候DBA們常常被問及在PL/SQL、SQL或者SQL*PLUS方面的經驗,這些問題將把你從從來沒有編寫過自己需要的腳本的那些DBA們區分開。
•良好的溝通能力、具有團隊合作精神:DBA的工作需要跨部門、跨工種接觸很多工程師,善於溝通、團隊協作能夠起到良好作用。很多時候,開發者、管理者、用戶,他們會提出毫無道理的需求,DBA們需要老練地引導、修正它們的要求,說服他們。
•工作認真細緻,勤于思考:最後說說注意細節,這種性格傾向非常重要。注意細節的DBA們衣著整潔,有自己的日程安排,在應試前對應聘的單位做過調查。注意細節的DBA們深入了解資料庫的核心,並能理解視圖、表之間的關係。
•時間管理能力:資料庫運維的工作非常繁瑣,因此需要將碎片化的時間充分利用起來。
職業等級
DBA的等級並不是很嚴格的。按照對資料庫的掌握情況,我簡單地分成三個等級:初級Primary、中級Intermediate和高級Senior。
初級DBA又稱為DBBS,是英文Database Baby Sitter的縮寫。初級DBA常常是兼職的,他們往往同時是程式設計師或者兼任其他的工作。初級DBA往往把個人簡歷寫得很棒,參與了很多和資料庫有關的項目或工作。但是,這些項目或者工作往往是:第三方軟體供應商已經安裝並配置了資料庫,他們只做一些監控的工作。他們能處理一些簡單的問題,但大多數時候他們向套用軟體供應商求救。初級DBA更喜歡圖形化的資料庫管理或者監控工具,他們喜歡Access這樣的桌面資料庫簡單易用,並把這些小型資料庫的經驗簡單地套用到大型資料庫相關的工作中。
初級DBA是最好區分的。而中級DBA和高級DBA就不太好區分。他們的差別在於經驗的不同和個性特點、能力方面的差異。中級DBA比較多,他們可以勝任高級DBA的大部分工作,包括:
1、資料庫安裝;
2、資料庫配置和管理;
3、許可權設定和安全管理;
4、監控和性能調節;
5、備份和恢復;
6、解決一般的問題;
中級DBA往往從業一年左右,熟悉某種作業系統環境下的資料庫。因為對中級DBA來講,Windows NT和Unix是有很大差別的。中級DBA對SQL比較熟悉,他們自己購買了幾本資料庫方面的書籍,並深入鑽研。中級DBA往往同時兼任資料庫程式設計師,他們的工作對性能、穩定性、安全性的追求基本上不是很高,往往配合高級DBA做一些例行工作。
高級DBA在國內是非常少的。他們能夠熟練閱讀資料庫方面的英文資料,並且都熟悉很多種操作平台下的幾種大型資料庫。他們知道各種不同資料庫在不同環境下的優勢和劣勢,並能在資料庫平台和資料庫環境的選擇方面做出決策。他們一般通曉系統架構和資料庫設計,並能對資料庫進行各種級別的最佳化。高級DBA一般都配有助手,他們更偏向做決策和計畫。高級DBA往往在銀行業、保險業、線上交易等對穩定性、安全性、性能都要求比較高的關鍵業務處理領域大顯身手。
很多時候,是否取得資料庫專家認證證書並不是很重要。很多資料庫廠商的培訓只要你去了都會獲得證書。有很多的公司提供商業化的培訓,他們的服務質量也有好有劣。所以證書並不是特別地有意義。
行業競爭力
1. 薪酬競爭力
1)影響因素:經驗和能力決定DBA的等級,熟悉的資料庫系統決定DBA的領域,個性特點和潛力決定你的升值空間。
2)縱向對比:DBA作為專項領域的高質量人才,薪酬競爭力較高,市場需求旺盛,尤其是中高階DBA,往往緊缺程度高於軟體研發工程師。
3)第三方薪酬調查報告,僅供參考:
《2013年資料庫工程師薪酬調查報告》
《Database Administrator Salary》
2. 市場需求
1)資料庫運維行業的市場價值:參考ITOM(IT Operation Management) 2013年的市場規模是190億美金
2)人員需求:由於業務規模較大,中大型公司比較緊缺中高階DBA,而初創公司由於其新生的業務特點,比較緊缺初級和中級DBA。
職業前景
資料庫作為整個系統的一部分,它的表現直接受伺服器、作業系統、存儲、網路、應用程式中SQL語句的質量、資料庫設計的質量、以及其它諸多因素的影響,這些因素加在一起非常複雜,經驗起著非常重要的作用。因此一個好的DBA除了知識作為基礎,經驗的多寡、見識的薄廣,往往決定了是否合格與優秀。
優秀的DBA不僅關心自己運維的資料庫系統的原理和發展,而且緊跟業界資料庫前沿技術,並關注資料庫領域的頂級會議。其中包括國際著名的資料庫三大會議SIGMOD、VLDB、ICDE,還有知名資料庫公司Percona主辦的Percona Live和Oracle主辦的Open World,以及國內知名的DBA盛會中國資料庫技術大會(DTCC)等。
從另外一個角度說,DBA工作領域對實踐經驗和獨立工作能力要求較高,沒有經過大量的動手實踐是很難勝任DBA相關工作的。正是由於上述原因,其職場現狀是DBA職位不易進入,而用人單位很難找到合適的從業人員,人員缺口非常大。
也正是由於上述原因,隨著工作年限的增長,DBA的經驗在增加,就像醫生一樣,其價值會越來越高,可以逐步成長為資深DBA、系統架構師、信息主管(CIO)等等,而不會出現許多軟體開發從業人員在一定年齡後面臨的轉行問題。
另外,從職業前景看,從事DBA有著更多的職場機遇 。一般而言,系統中的軟硬體都是IBM、HP、Oracle等業界一流廠商提供的,在與廠商談判、合作、測試、實施、維護、最佳化等等過程中,會產生許多極佳的職場機遇,這一點是從事開發工作很難比擬的。
從DBA的工資統計數據看,隨著工作經驗的積累,DBA工資的增長幅度會遠大於其它的計算機方向。
從工作的穩定性上看,系統的複雜性和經驗的重要性已經決定了DBA職位的不可替代性。
從知識的積累、更新和替代角度看,資料庫的根基始終沒變,變的是不斷增強的功能和不斷擴展的套用範圍。因此,在不同時期所學的知識和獲得的經驗是疊加和累積的關係。
因此, DBA職業是一個高挑戰和高回報的職業,有一定能力的和聰明的技術人員應該挑戰自我,進入這個被二十多年事實不斷證明的越來越有前景的職業。