內容簡介
隨書附贈HUAWEI FusionSphere3.1免費試用版軟體,華為公司雲計算首席架構師顧炯炯攜華為頂尖員工共同撰寫,幫助廣大讀者從對雲計算的粗淺概念階段，發展到深度探索的階段
作者簡介
顧炯炯
華為公司雲計算首席架構師，主導完成華為公司雲計算作業系統(FusionSphere)和融合架構一體機(FusionCube)的技術規劃與架構設計，支撐華為公司的ICT戰略轉型、雲計算數據中心及電信雲化解決方案，完成浙江移動、上海聯通、上海健康雲、新加坡StarHub、華為桌面雲及數據倉庫等數百個雲計算項目的商用落地。曾任華為公司融合IMS解決方案首席架構師、華為公司移動軟交換產品首席架構師，擁有已獲授權並發布的個人專利30多項
圖書目錄
第 1 章 雲計算理念的發展 1
1.1 雲計算的基礎概念與架構 2
1.2 雲計算的發展趨勢 3
第 2 章 雲計算的架構內涵與關鍵技術 9
2.1 雲計算的總體架構 10
2.2 雲計算架構的關鍵技術 20
2.3 雲計算核心架構的競爭力衡量維度 36
2.4 雲計算解決方案的典型架構組合及落地套用場景 41
第 3 章 雲計算相關的開源軟體 53
3.1 雲計算領域開源軟體概覽 54
3.2 Cloud OS開源軟體：CloudStack 54
3.3 Cloud OS開源軟體：OpenStack 67
3.4 開源和社區發展 87
3.5 開源還是閉源 91
第 4 章 面向電信及企業關鍵套用的計算虛擬化 93
4.1 計算虛擬化核心引擎：Hypervisor介紹 94
4.2 跨伺服器的計算資源調度算法 106
4.3 計算高可靠性保障 108
第 5 章 面向網路自動化、多租戶的網路虛擬化 111
5.1 網路虛擬化的驅動力與關鍵需求 112
5.2 SDN架構 113
5.3 網路虛擬化關鍵技術：大二層實現 121
5.4 網路虛擬化關鍵技術：多租戶網路實現 124
5.5 網路虛擬化端到端解決方案 126
5.6 網路雲化還有多遠 128
第 6 章 面向企業關鍵套用性能提升和存儲管理簡化的存儲虛擬化 129
6.1 雲計算的存儲虛擬化概述 130
6.2 靈活的軟體定義存儲 131
6.3 傳統存儲SAN/NAS的虛擬化 133
6.4 分散式存儲池化和加速 135
第 7 章 雲接入的關鍵技術架構與套用 151
7.1 雲接入的概述 152
7.2 雲接入的架構 156
7.3 雲接入的典型套用 157
7.4 雲接入的關鍵技術 166
7.5 雲接入的發展趨勢 176
第 8 章 雲管理與自動化的關鍵技術架構與套用 181
8.1 業務套用驅動的拉通計算、存儲、網路自動化 183
8.2 物理和虛擬化資源的統一管控 188
8.3 基於網路的硬體即插即用的自動化機制 197
8.4 異構硬體的統一接入管理 201
8.5 服務目錄和套用管理 202
8.6 面向雲管理的ITSM 205
8.7 雲平台第三方App資源使用計量 206
8.8 雲管理的套用案例 207
第 9 章 雲安全架構與套用實踐 215
9.1 端到端雲安全架構 216
9.2 可信計算TPM/vTPM 220
9.3 虛擬機的安全隔離 226
9.4 虛擬化環境中的網路安全 229
9.5 雲數據安全 232
9.6 公有雲、私有雲的安全組 234
9.7 雲安全管理 235
9.8 雲安全套用實施案例 238
9.9 雲計算安全的其他考慮 239
第 10 章 大數據平台核心技術與架構 241
10.1 大數據特點與支撐技術 242
10.2 企業級Hadoop 245
10.3 流處理技術 258
10.4 大數據在金融領域的探索與實踐 267
10.5 未來大數據套用暢想 274
第 11 章 企業私有雲和公有雲對IAAS層的訴求 279
11.1 企業私有雲和公有雲對IAAS層的訴求 280
11.2 一體機的市場和技術 281
11.3 一體機市場、技術趨勢 291
結 語 297
縮 略 語 299
後 記 307
序言
序 言 一
早在三千多年前，《易經》出現時，人類便用樸實的哲學思想揭示了一個變化的世界。變化無所不在，體現在政治、經濟、社會、科學等方方面面。其中科學技術的發展變化，是這幾個領域中最能被人們感同身受的。在科學技術領域，IT技術成為科技發展變化的急先鋒。IT領域的“雲計算”在2007年還是一個未知的概念，到2014年“雲計算”不僅家喻戶曉，而且在基於雲計算的平台上創造了一個又一個發展速度的新記錄：一款在雲平台上的遊戲，可以在幾個月發展數千萬用戶；雲平台支撐的電子商務，1秒鐘可以完成數萬筆交易。目前這種IT雲計算領域的發展變化模式不再局限於令人瞠目的數字，而開始向傳統行業乃至國家整體經濟與社會領域進行快速滲透。我們相信，在不久的將來，全球的經濟、社會與科學的面貌在雲計算技術、服務與理念的推動下會煥然一新。這就是我們過去十幾年常說的“信息技術革命”，在我們眼前正在發生、發展和不斷演變著。
“雲計算”這個名詞雖然已經家喻戶曉，而且業內基本認可美國國家標準與技術研究院(NIST)對雲計算的概念定義，但人們對雲計算的理解至今不同。究其根因，一方面是雲計算的技術、服務模式和理念在不斷演進和發展變化；另一方面，雲計算的宣傳推廣主體，出於商業或理念的差異而對雲計算的內涵進行了不同方向的強化和引申。人們對雲計算的不同理解，勢必引發概念定義上的爭議，但一個不爭的共識是：雲計算已經落地生根，並快速地發展壯大，“像用電一樣使用信息服務”的雲計算理想雖然還未完全實現，但距離這個目標已經越來越近。我們每個人對雲計算的發展階段可能有不同的理解和劃分，這很正常也很有益，因為多樣化的觀點碰撞是創新靈感的源泉。本書也將“雲計算”的技術內涵進行了更大範圍的發展和延伸。這讓我聯想到網際網路行業正在發生的變化，早期的網際網路公司僅僅開發與其直接相關的Web網站，但現如今，大型網際網路公司所做的產品與業務早已遠遠地超出當初的範疇，不僅在看似簡單的Web網站下面搭建了一個龐大的數據處理與分析平台，而且支撐其網站的伺服器、存儲、網路乃至數據中心。這些硬體產品均由網際網路公司自己研發與設計，領先的網際網路公司做的產品還遠不止這些，Google推出了手機作業系統、眼鏡，並致力於開發、完善無人駕駛汽車；亞馬遜開發無人飛機用於物流投遞；Facebook在虛擬現實領域進行了高額投入；國內的阿里巴巴、騰訊等公司在開發各種金融類創新產品。針對這些巨大的變化，在沒有更好的名稱之前，我們依然要稱呼它們是網際網路公司，我們只能說當今網際網路的含義比10年前的網際網路更加寬泛。“雲計算”也是如此。在IT領域，基本上每3～5年便會進行一次產品技術的更新換代，雲計算經過多年發展，無論在技術深度還是在技術廣度上均會有顯著延展。通過閱讀此書，可以明顯感受到雲計算技術這些年來的發展和進步，以及雲計算技術在企業IT和電信網路重構中的作用。
雲計算不僅對企業和電信的發展有重大的推動作用，對教育科研領域也有深遠的影響。“雲計算”是由企業提出的概念，並一直由企業主導“雲計算”技術的研發、推廣與套用。雲計算所支撐的大數據概念與技術的出現，企業主導，特別是網際網路企業主導技術發展的趨勢更加明顯。企業之所以能夠主導雲計算與大數據技術的發展，原因可能來自三個方面：一是企業擁有雄厚的資金；二是雲計算技術與企業套用及市場需求呈現出了緊耦合的發展；三是企業(特別是網際網路企業)擁有足量的數據資源和計算資源。企業主導同時意味著在雲計算與大數據領域傳統的先有理論後有套用的模式基本不再適用，即大學科研機構負責理論(學術)創新，企業負責套用創新(工程實踐)的分工模式。大學教育科研機構，特別是信息技術學科，需要調整自身角色來適應這一趨勢的發展。雲計算領域提供了非常豐富的開源環境，比如OpenStack、Hadoop、Xen、KVM等，網際網路同時提供了數量龐大的信息技術文章，雲計算廠商會提供免費或低價的試用軟體或雲計算環境，再加上不斷出版更新的信息技術類書籍，這些資源構成了一個開放且實時更新的教學乃至實驗環境，可以供廣大學生學習和實踐使用。未來大學對學生的培養工作可能集中在4個方面：
方向性的指導，綜合技能的認證，給學生提供專心學習交流的環境，為學生搭建創新的平台。大學的信息技術類學科的科研機構，需要與企業和市場更加緊密地結合，雙方共享數據，共享研發測試環境，專利交叉共享，項目收益共享。大學科研機構可側重承擔企業偏遠期的雲計算與大數據技術的開發，企業側重承擔近期套用技術的開發，雙方的界限會很模糊。在雲計算時代，年齡、資歷和職稱都不再是科研創新的門檻，大學生可以廣泛參與和承擔雲平台類產品套用開發，學生的自主創新成果(同時參照產品受市場歡迎的程度)將是個人能力認證的一個重要依據。
希望本書的所有讀者，在了解雲計算技術的同時，都能夠積極地投身到雲計算產業實踐中來。只有更多的人認識到雲計算的價值，才能挖掘出更多雲計算的價值，雲計算產業才會有源源不斷的動力來蓬勃發展。相信各位讀者中的很多人都將成為雲計算產業的中堅力量。
李德毅
中國工程院院士，國際歐亞科學院院士
序 言 二
合作創新，雲以致用雲計算從概念到大規模實踐，短短數年間迅猛發展。它與諸多行業深度融合，帶來了
顛覆性的創新，凸顯出巨大的套用價值和發展前景。讀到華為公司雲計算首席架構師顧炯炯新著《雲計算架構技術與實踐》，我倍感興奮。著作概括了華為的雲計算構想，表明華為雲計算布局已走在行業的前列，也預示著英特爾和華為在雲計算方面的合作將更加密切。
隨著計算的延伸與擴展、移動網際網路的發展，中國消費者擁有了越來越多的智慧型設備。為了讓消費者在不同時間、不同場合獲得實時信息服務，需要將各種內容和套用通過雲端進行整合、匹配，推向不同的終端用戶，實現從雲到端高效順暢的體驗。從電信運營商到服務提供商，通過雲架構部署各種移動設備和個性化服務，無疑是非常經濟、便捷的途徑。
同時，在經濟發展和行業變革中，人們所遇到的挑戰也日益複雜，需要綜合的解決
方案來應對。比如，在城鎮化進程中，利用雲計算結合物聯網與大數據解決方案，可推動智慧型交通、平安城市、智慧醫療、環境監控等項目的建設，帶來更好的城市運營管理和公共服務。將雲計算與傳統行業融合，將帶來跨界創新，催生前所未有的商業模式、產業生態。雲計算越來越從一種降低成本與提高效率的方式，演變成為向企業和消費者提供新服務的途徑。
面對線上套用、服務和數據的高速增長，數據中心規模急劇膨脹，需要對數據中心
IT基礎設施的主要組成部分——伺服器、存儲和網路設備進行以軟體定義為導向的創新，實現自動供給的IT資源池。英特爾於2013年開始踐行“軟體定義基礎設施”戰略，在開放平台上由用戶自行定義他們的基礎設施，這將使用戶在雲資源池內“調兵遣將”時更加輕鬆，進而也讓他們的新套用和新服務更快地得到底層支持，實現迅速交付。
英特爾長期專注於計算的創新，提供從伺服器到存儲、網路全面的計算能力及軟體最佳化支持，與產業夥伴共同應對各種雲計算的發展難題，真正實現“雲以致用”。為此，英特爾與產業界協同合作，基於開放架構推出了英特爾雲構建計畫，幫助開放數據中心聯盟發掘和定義企業用戶的雲計算需求，並提供豐富的雲計算解決方案。
攜手推動雲計算創新，英特爾與華為的合作是一個很好的例證。華為不僅在通信行業處於領先地位，過去幾年間其雲計算業務也成倍增長。英特爾與華為的合作由來已久，雙方都較早受到信息通信產業中最大的潮流——信息技術和通信技術融合的影響，合作領域不斷拓展，從最初在通信領域，擴展到伺服器、存儲、網路領域，現在又把共同的目標放在了雲計算和大數據的創新機會上。我們對雙方的合作前景充滿信心。
中國網際網路用戶眾多，信息終端普及率很高，企業及消費者對於IT技術的了解和接受速度也非常快，再加上政府大力支持雲計算產業，並實施寬頻中國戰略，這就使得中國在雲計算部署規模、技術以及商業模式創新方面迅猛發展。我們期待著與國內合作夥伴深化和擴展合作領域，讓更多源自中國的雲計算創新成果去影響並推動全球信息技術和通信產業的發展進程！
楊 敘
英特爾公司全球副總裁兼中國區總裁
什麼是雲計算？美國國家標準與技術研究院(NIST)對此有這樣一個權威和經典的定義： “所謂雲計算，就是這樣一種模式，該模式允許用戶通過無所不在的、便捷的、按需獲得的網路接入到一個可動態配置的共享計算資源池(其中包括了網路設備、伺服器、存儲、套用以及業務)，並且以最小的管理代價或者業務提供者互動複雜度即可實現這些可配置計算資源的快速發放與發布。”
雲計算的核心可以用五大基本特徵、三種服務模式以及四類部署模式來概括，五大基本特徵是按需獲得的自助服務、廣泛的網路接入、資源池化、快捷的彈性伸縮以及可計量的服務。三種服務模式為雲基礎設施即服務(IaaS)、雲平台即服務(PaaS)以及雲軟體即服務(SaaS)。四類部署模式可以劃分為專有雲(私有雲)、行業雲、公有雲以及混合雲。
從各類雲服務的創建、部署以及消費角度來描述雲計算的實質，意味著雲計算天然要求支持面向服務的能力。現代企業通常會將其IT基礎設施、業務平台以及軟體即服務的對外開放作為其整體端到端企業信息架構SOA解決方案中的重要一環來執行。當然，軟體即服務(SaaS)作為一個流行多年的話題，最早出現是在雲計算概念出現之前，已經不是什麼新鮮概念了。
以亞馬遜2006年3月13日發布的S3服務為起點，到“雲計算”概念於2008年最早被Google提出，至今已有8年多的歷史了，其核心理念已廣為人們所傳播和接受，也經歷了方興未艾的發展。當雲計算還處於概念炒作的初級階段時，雲計算一度成為IT業界、媒體傳播渠道乃至所有涉及IT信息化、政府巨觀規劃、關係國計民生的各大垂直行業關注的焦點，雲計算也因此成為街頭巷尾熱議的 “時髦”話題。與此同時，各種關於雲計算的商業和解決方案也應運而生，各類理念和包裝良莠不齊、不一而足，反而讓大家對雲計算到底能做些什麼，對其潛在的客戶到底能夠解決什麼實際問題，能夠帶來什麼樣的實際價值感到迷惘，甚至使得大家對雲計算的未來前景產生了懷疑。
關於雲計算的社會價值與意義，我們常常用一句話表達雲計算的目標訴求：“未來讓人們像用水和用電那樣使用雲計算”。在這裡，人們將雲計算視為一種“水和電”那樣無處不在、人類社會日常生產和生活過程中必不可少的基礎資源。這裡我們用“電力”來形容雲計算可能更為恰當，因為電力是用來驅動上一個工業文明時代最關鍵的生產資料。
電燈、收音機、電視機、電冰櫃、電風扇，乃至於自動化生產線等無不需要依賴電力的驅動。相比電力，雲計算則對應於當前的知識與資訊時代進行任何信息分析與處理的生產資料，用於支撐ERP/CRM/Email/BI大數據乃至金融實時交易數據處理等所有維持企業業務正常運作所需的按需獲取、按需分配的關鍵資源。
從技術架構演進的視角來看，有人將雲計算視為自IT領域馮·諾依曼計算機架構誕生之後的第三次里程碑式的變革，是對傳統計算架構與計算模式的顛覆與創新。也有人認為雲計算無非是一種商業理念上的包裝，所謂“新瓶裝舊酒”，只是各個IT廠商用來“促銷”自己產品的一種“行銷活動”，並沒有帶來根本性的技術變革，也並沒有給IT架構帶來根本性的變化，那么真相究竟是怎樣的呢？
回顧企業IT架構演進的整個歷史，我們不難看到，馮·諾依曼架構的第一台計算機
誕生以來的前30年，計算高度集中化、支持多用戶多任務的大型機和小型機是企業IT的主流形態，構成IT系統的軟硬體堆疊各層之間缺少統一的工業標準，呈現出內聚與耦合的特徵，僅少數廠家擁有提供端到端高度複雜化的IT系統軟硬體的能力。那個時代，IT系統造價高昂，往往是少數高端企業才能擁有的“奢侈品” 。
於是，20世紀80年代，以x86伺服器和PC系統的誕生為標誌，企業IT系統迎來了第二次里程碑式的變革：從All in One、全封閉的軟硬體棧走向了水平分層的網路、存儲、伺服器、作業系統、中間件、套用層等多層次水平分工的架構，各層之間接口標準化、規範化，極大地簡化了每一層的技術複雜度，各層IT產業鏈獲得了大繁榮與大發展，湧現出一批優秀的專業化廠家，聚焦於提供該領域內質量最佳的產品和解決方案，IT系統終於開始走入“尋常百姓家”。
然而，所謂“物極必反”，當這個架構分層發展到一定階段，弊端逐步顯現，由於企業IT層次太多，各層之間集成交付的難度越來越大，尤其是當今企業軟體套用已從單一實例套用，迅速走向大規模分散式套用，一個關鍵業務的部署往往需要涉及伺服器、網路、存儲等各方面基礎設施資源的協同配合，使得業務驅動的基礎設施層伺服器、存儲、網路資源的集成管理配置和按需供給成為影響企業IT快速回響企業業務需求的關鍵制約因素。
同時軟硬體各層的開發雖然實現了解耦，但部署和運行態仍然是軟硬體耦合綁定的關係，因此跨伺服器的資源出現忙閒不均時，依然無法有效利用IT資源。
隨著企業信息化進程的不斷推進，企業IT系統的使用者和維護者們逐漸發現，分層架構體系也存在著諸多弊端：
軟硬體開發態解耦，但部署和運行態並未解耦；
生態鏈大繁榮的同時，多廠家硬體異構集成與管理的複雜度越來越高；
企業信息化的重心向軟體轉移，但計算、存儲、網路硬體彈性供給能力及其相互協同的不足，越來越成為軟體價值提升的制約性因素。
那么，是否存在一條IT架構演進路徑，可以在代價最小化，即在不對現有軟硬體堆疊做顛覆式改動的前提下，有效應對上述關鍵痛點與挑戰呢？
答案是肯定的，這就是IT領域的第三次里程碑式演進變革，即從PC與伺服器時代邁入雲計算時代，通過虛擬化與雲調度管理技術，將來自不同廠家的、多台煙囪式的、彼此孤立和割裂的計算、存儲、網路設備在邏輯上整合成為一台“超大規模雲計算機”，為上層的軟體提供彈性的按需資源供給的能力，從而實現軟硬體部署過程與運行態的解耦，禁止軟硬體異構多廠家差異性與複雜度，並填補計算與存儲之間的性能鴻溝。
其實大家也許已經注意到，我們談到雲計算驅動的第三次IT架構變革浪潮，其實早在雲計算理念問世前的幾年時間裡，在眾多網際網路廠家中已被多次實踐過，並且取得了巨大成功。那么普遍意義上的企業IT的雲化重構又與網際網路成功的實踐之間存在著什麼樣的關聯呢？
Google、Facebook的“雲計算機”服務於其特定的商業模式和業務套用，比如搜尋
類、社交類套用，而企業IT雲化架構所期望的“雲計算機”，則面臨著大量的、形形色色的面向傳統IT基礎設施架構開發的企業套用和電信套用，它們的套用場景需求既有相同點，也存在著巨大的差異化。
相同點在於：
計算、存儲實現了大規模資源池化，實現了規模經濟效益；
分散式架構與負載均衡能力，資源可按業務需求靈活擴展伸縮；
依賴分散式軟體在系統整體層面而非單點硬體層面實現高可靠性及高性能保障。
不同點在於：
普適性——網際網路平台一般僅為其特定業務模型定製，企業雲平台則要求具備對異構多廠家套用的普遍適用性；
異構兼容性——企業雲平台需要考慮異構廠家硬體的兼容性，需要實現對企業IT基礎設施現有投資的最大化保護；
高性能——網際網路業務雖然並發量和註冊用戶量龐大，但企業高端套用在時延和性能方面卻有更高的要求；
自動化、虛擬化——網際網路業務模式一般為自主開發、自運主營(DevOps、Development和Operations的組合)，因此對管理自動化要求不迫切，企業套用則由於套用顆粒度不一，基礎設施採購自第三方，因此管理自動化和虛擬化基本為必選能力。
“天下大勢，合久必分，分久必合”，雲計算時代IT基礎設施演進的下一個十年，是從分離重新走向融合的十年：
通過雲作業系統，將數據中心多廠家異構的計算、存儲、網路資源進行水平融合，對外提供開放與標準化的IT服務接口，實現面向利用IT基礎設施的“融合”；
通過融合架構一體機，將單廠家計算、存儲與網路資源進行垂直融合，提供模組化、一站式、高性能、性價比最優、面向新建IT基礎設施的交付模式。
無論IT架構如何螺旋式演進，客戶價值和驅動力都體現在：
更低的TCOa；
a TCO，總擁有成本，即從產品採購到後期使用、維護的總成本。
更高的業務部署與生命周期管理效率；
更優的業務性能與用戶體驗。
IT基礎設施架構從分離重新走向融合，並非簡單的歷史重複，而是在繼承現有成果的基礎上創新突破。無論是水平融合，還是垂直融合，在核心技術支撐方面並未將現有已形成產業規模的x86 CPU及其伺服器計算架構推倒重來，而是在最大限度地重用這些成熟產業組件的前提下，藉助虛擬化及分散式雲計算調度管理軟體的作用，將多廠家異構或者單廠家同構的計算、存儲、網路整合為規模可大可小的“雲計算機”，從而有效地解決傳統IT架構所面臨的挑戰——業務上線周期長，TCO居高不下，企業關鍵套用性能低下。
顧炯炯
