內容簡介
涵蓋雲計算、大數據等當前最火熱話題
以開源的Hadoop為鋪墊,從概念、價值、動向及套用為導線,系統地介紹了大數據走向雲端
不是長篇大論的介紹理論,而是具體介紹各種開發技術
雲計算、大數據國中級讀者必備
《大數據走向雲計算》以Hadoop為鋪墊,以概念、價值、動向及套用為導線,系統地介紹了大數據走向雲計算的原理與技術。首先,介紹了雲時代、大數據時代的基本內容,讓讀者了解到雲計算、大數據各自的知識點;其次,介紹了大數據走向雲端、雲下的大數據工程,讓讀者領略到大數據在雲的作用下的價值及套用;然後,介紹了搭建雲計算開發環境、分散式檔案系統、並行計算、分散式鎖等內容,讓讀者認識到Hadoop組件的構建及使用;接著,介紹了數據挖掘、社會中的大數據等套用,讓讀者掌握到大數據走向雲端的需求及益處。最後,總結介紹雲下的大數據套用,讓讀者真正領會到大數據走向雲端的實際效用。 《大數據走向雲計算》適合於雲計算、大數據國中級讀者使用,也可作為大數據專業研究人員的參考資料。
圖書目錄
第1章 雲時代
1.1 雲計算力量
1.2 雲計算概述
1.2.1 雲基本特徵
1.2.2 雲計算簡史
1.2.3 雲計算演化
1.2.4 雲服務形式
1.2.5 雲時代誰是主角
1.3 雲計算的原動力
1.3.1 晶片與硬體技術
1.3.2 資源虛擬化
1.3.3 面向服務架構
1.3.4 軟體即服務
1.3.5 網際網路技術
1.3.6 Web技術
1.4 雲研究趨勢
1.5 雲計算技術
1.5.1 虛擬化技術
1.5.2 數據存儲技術
1.5.3 資源管理技術
1.5.4 能耗管理技術
1.5.5 雲監測技術
1.6 雲優勢分析
1.6.1 最佳化產業布局
1.6.2 推進專業分工
1.6.3 提升資源利用率
1.6.4 降低運營成本
1.6.5 產生新創價值
1.7 雲業務實施
1.7.1 基礎設施層
1.7.2 平台層
1.7.3 實施套用層
1.8 移動雲
1.8.1 移動雲優勢
1.8.2 套用案例
1.9 雲標準
1.9.1 雲標準定製
1.9.2 雲標準主要內容
1.9.3 雲計算潛在需求分析
1.9.4 雲標準意義
1.9.5 雲標準發展趨勢
1.1 雲安全
1.10.1 雲安全發展趨勢
1.10.2 雲安全難點問題
1.10.3 雲安全新增及增強功能
1.10.4 雲安全存在問題
1.11 雲計算的九大威脅
第2章 大數據時代
2.1 什麼是大數據
2.2 大數據來源
2.3 大數據商業價值
2.4 打造高能效數據中心
2.5 大數據變革
2.5.1 變革公共衛生
2.5.2 變革商業
2.5.3 變革思維
2.5.4 開啟重大的時代轉型
2.6 大數據的核心
2.7 大數據的挑戰
2.8 大數據的現狀
2.9 大數據推進力
2.1 大數據存儲
2.11 大數據治理
2.12 大數據未來五年路線
2.13 大數據的套用
第3章 大數據走向雲端
3.1 時代雙雄
3.2 “大數據”走進雲端
3.3 雲計算與大數據的聯繫
3.3.1 雲與大數據的聯繫
3.3.2 大數據和雲計算的不同之處
3.4 數據向雲計算遷移
3.4.1 遷移過程
3.4.2 數據的丟失與備份
3.4.3 遷移應注意問題
3.4.4 管理與監控
3.5 雲延伸
3.5.1 雲計算的延伸
3.5.2 網路管理維護最佳化
3.5.3 用戶行為分析
3.5.4 個性化推薦
3.5.5 數據云服務(DaaS)
3.6 雲計算與大數據挑戰與機遇並存
第4章 雲下的大數據工程
4.1 信息所需求的新生力量
4.1.1 技術因素
4.1.2 商業模式因素
4.2 信息系統工程
4.2.1 雲計算基本思想
4.2.2 雲計算實現
4.3 信息系統工程架構轉變
4.3.1 豎井式的信息系統
4.3.2 逐漸完善的系統需求
4.3.3 全新的系統架構
4.3.4 新型企業信息系統模組
4.4 商業變革因素
4.4.1 零售企業的流程再造
4.4.2 IT資源使用新方式
4.4.3 整合的新平台
4.4.4 轉型新思路
4.4.5 創新的新動力
4.5 信息工業革命
4.5.1 解放生產力
4.5.2 雲計算改變信息生活
4.5.3 推動社會變革
4.6 雲計算機遇
4.6.1 私有雲發展更快
4.6.2 數據集中
4.6.3 企業的“雲”機遇
4.6.4 中國“雲”企業的機遇挑戰
第5章 搭建雲計算開發環境
5.1 Hadoop環境搭建
5.1.1 在Linux下安裝Hadoop
5.1.2 Hadoop安裝步驟
5.1.3 在Windows下安裝Hadoop
5.2 Hadoop的優點
5.3 HBase環境搭建
5.3.1 HBase的系統框架
5.3.2 HBase的模型
5.3.3 HBase的安裝配置
5.4 ZooKeeper環境搭建
5.4.1 ZooKeeper的原理
5.4.2 Zookeeper的特點
5.4.3 Zookeeper的安裝
5.5 MapReduce概述
5.5.1 MapReduce實現機制
5.5.2 MapReduce執行流程
5.5.3 MapReduce映射和化簡
5.6 Pig環境搭建
5.6.1 Pig概述
5.6.2 Pig安裝
第6章 分散式檔案系統
6.1 分散式檔案系統概述
6.1.1 發展史
6.1.2 實現方法
6.1.3 研究狀況
6.2 分散式檔案系統類型
6.2.1 網路檔案系統
6.2.2 Andrew檔案系統
6.2.3 分散式檔案系統
6.3 xFS概述
6.3.1 xFS體系結構
6.3.2 xFS通信
6.3.3 xFS進程
6.3.4 xFS快取
6.3.5 xFS容錯性
6.3.6 xFS安全性
6.3.7 xFS特性
6.3.8 xFS性能考慮
6.4 DAFS概述
6.4.1 DAFS基本原理
6.4.2 DAFS設計目的
6.4.3 檔案訪問方式
6.4.4 實現客戶端
6.5 GFS概述
6.5.1 檔案系統架構
6.5.2 GFS的特點
6.5.3 檔案系統的容錯性
6.5.4 系統管理技術
6.6 GPFS已分享檔案
6.6.1 GPFS概述
6.6.2 GPFS特性
6.6.3 GPFS的高性能和可擴展性
6.7 Lustre並行檔案系統
6.7.1 Lustre概述
6.7.2 Lustre組成部分
6.8 分散式鎖服務Chubby
6.8.1 Paxos算法
6.8.2 Chubby目標設計
6.8.3 Chubby中的Paxos
6.8.4 Chubby檔案系統
6.8.5 Chubby通信協定
6.8.6 正確性和性能
6.9 分散式結構數據表
6.9.1 Bigtable設計目標
6.9.2 Bigtable數據模型
6.9.3 Bigtable系統架構
6.9.4 Bigtable功能
6.9.5 Bigtable主伺服器
6.9.6 Bigtable組件
6.9.7 性能最佳化
第7章 並行計算
7.1 並行計算概述
7.2 MapReduce基礎
7.2.1 編程模型
7.2.2 執行過程
7.2.3 映射和化簡
7.2.4 數據類型
7.2.5 Map類和Reduce類
7.2.6 Job對象配置
7.3 MapReduce模板
7.4 MapReduce計算流程
7.4.1 作業的提交
7.4.2 Map任務的分配
7.4.3 Map任務的執行
7.4.4 Reduce任務的分配與執行
7.5 MapReduce數據流最佳化
7.5.1 MapReduce輸入與輸出
7.5.2 流機制
7.5.3 管道機制
7.5.4 數據流最佳化
7.6 MapReduce數據類型
7.6.1 數據內置輸入格式
7.6.2 數據定製輸入格式
7.6.3 數據定製輸出格式
7.7 MapReduce使用算法
7.7.1 向量乘法實現
7.7.2 記憶體處理
7.7.3 關係運算
7.8 參數/數據檔案的傳遞與使用
7.8.1 傳遞全局作業參數
7.8.2 查詢全局MapReduce作業屬性
7.8.3 全局數據檔案的傳遞
第8章 大數據存儲倉庫
8.1 數據倉庫
8.1.1 RDBMS擴展到HBase
8.1.2 列資料庫
8.1.3 HBase的特點
8.2 HBase資料庫
8.2.1 HBase集群架構
8.2.2 HBase系統架構
8.3 HBase模型
8.3.1 邏輯模型
8.3.2 物理模型
8.4 HBase接口
8.4.1 HBase訪問接口
8.4.2 shell命令接口
8.4.3 HBase Java接口
8.5 HBase基本操作
8.5.1 HBase存儲格式
8.5.2 HBase讀寫流程
8.5.3 HBase表操作
第9章 分散式鎖
9.1 ZooKeeper基本概述
9.1.1 ZooKeeper基本原理
9.1.2 統一命名服務
9.1.3 配置管理
9.1.4 集群管理
9.1.5 分散式鎖
9.1.6 共享鎖(Locks)
9.1.7 佇列
9.2 ZooKeeper角色
9.2.1 系統模型
9.2.2 數據模型
9.2.3 ZooKeeper的特性
9.2.4 ZooKeeper的一致性
9.3 ZooKeeper接口與編程
9.3.1 ZooKeeper接口
9.3.2 ZooKeeper編程實現
9.4 性能
9.4.1 讀/寫性能測試
9.4.2 可靠性測試
9.5 ZooKeeper的典型套用
9.5.1 數據發布與訂閱套用
9.5.2 負載均衡套用
9.5.3 分散式通知
第10章 數據挖掘
10.1 數據挖掘概述
10.1.1 數據挖掘起源
10.1.2 數據挖掘作用
10.1.3 定義數據挖掘
10.1.4 哈希函式
10.1.5 索引
10.1.6 實現數據挖掘步驟
10.2 PageRank工具
10.2.1 PageRank概述
10.2.2 PageRank定義
10.2.3 PageRank相關算法
10.2.4 影響PageRank的因素
10.3 關聯分析
10.3.1 關聯分析原理及算法
10.3.2 數據關聯推測功能
10.3.3 基於用戶行為分析的關聯推薦
10.3.4 數據關聯注意問題
10.4 聚類分析
10.4.1 聚類分析作用
10.4.2 聚類的典型要求
10.4.3 聚類分析算法
10.4.4 在數據挖掘中的套用
10.5 分類分析
10.5.1 決策樹法
10.5.2 神經網路
10.6 異常挖掘
10.6.1 異常挖掘概述
10.6.2 異常挖掘的方法
10.7 特異群組分析
10.7.1 特性群級挖掘根源
10.7.2 何為特異群組挖掘
10.7.3 與聚類、異常挖掘的差異
10.8 矩估計
10.8.1 二階矩估計的AMS算法
10.8.2 高階矩估計
10.8.3 無限流的處理
10.9 衰減視窗
10.9.1 定義衰減視窗
10.9.2 網路流頻繁項集
10.1 頻繁項集
10.10.1 項集概述
10.10.2 A—Priori算法
10.10.3 A—Priori算法改進
10.10.4 更大數據集處理
10.11 數據降維處理
10.11.1 相關定義
10.11.2 降維算法
10.11.3 降維方法
第11章 社會中的大數據
11.1 普適計算
11.1.1 普適計算定義
11.1.2 普適計算核心思想
11.1.3 普適計算目的
11.1.4 普適計算特點
11.1.5 普適計算面臨挑戰
11.1.6 普適計算套用
11.2 數據套用於治國上
11.2.1 循“數”管理
11.2.2 數據驗證民權
11.2.3 數據“打”假
11.3 商務智慧型
11.3.1 數據到知識的跨越
11.3.2 數據倉庫
11.3.3 在線上分析
11.3.4 數據挖掘智慧型產生
11.3.5 數據可視化
11.4 數據質量法與隱私
11.4.1 數據質量法
11.4.2 數據隱私
11.5 數據運動
11.5.1 數據開放
11.5.2 數據之爭
11.6 數據大趨勢
11.6.1 數據權
11.6.2 數據大合流
11.6.3 網際網路再造
11.7 數據大挑戰
11.7.1 數據競爭
11.7.2 從大數據到社會
第12章 雲下的大數據套用
12.1 雲計算如何實現價值
12.2 雲與大數據
12.2.1 大的數據優先權
12.2.2 雲與大數據
12.3 雲計算與大數據的強強聯合
12.3.1 大數據的企業與技術
12.3.2 大數據的經濟意義
12.4 大數據時代下的雲計算套用部署
12.5 雲計算在快速消費品行業的套用
12.5.1 改變傳統交通管理的路徑
12.5.2 在智慧型交通套用上的優勢
12.6 大數據在視頻監控中的套用
12.6.1 解決實時視點監控需求
12.6.2 大數據處理解決方案
12.6.3 實時高效的分散式視頻監控
12.7 區域醫療大數據套用案例
12.7.1 挑戰
12.7.2 海量數據的處理和分析
12.7.3 結論
12.7.4 價值