內容介紹
全書書分為3篇:第1篇(理論部分)對雲計算、Hadoop及Linux作業系統進行了簡單介紹;第2篇(基礎實踐部分)主要詳細介紹了CentOS系統的安裝和集群的搭建、Hadoop集群的常用命令及管理套用等;第3篇(項目實訓部分)主要以實際項目開發為例,從易到難,對源程式進行了詳細解釋。本書以詳細的實踐操作介紹為特色,可作為電子、通信、自動化、計算機等電類專業Hadoop雲計算教學系統課程實驗教材,也可供Hadoop系統相關工程技術人員參考。
作品目錄
前言理論部分 1
第1章 雲計算理論 1
1.1 雲計算的概念 1
1.2 雲計算發展現狀 1
1.3 格線計算與雲計算 4
1.4 雲計算的發展環境 5
1.5 各大IT廠商雲計算平台特點概述 8
1.6 開源雲計算系統概述 20
第2章 Hadoop理論 27
2.1 Hadoop簡介 27
2.2 Hadoop架構 28
2.3 Hadoop分散式檔案系統HDFS 29
2.4 分散式數據處理MapReduce 33
第3章 Linux命令操作 35
3.1 Linux作業系統介紹 35
3.2 Linux常用shell命令 36
基礎實踐部分 40
第4章 集群搭建 40
4.1 CentOS安裝 40
4.1.1 實驗目的 40
4.1.2 實驗設備 40
4.1.3 實驗內容 40
4.1.4 實驗步驟 40
4.2 集群搭建 57
4.2.1 實驗目的 57
4.2.2 實驗設備 57
4.2.3 實驗內容 57
4.2.4 實驗步驟 57
4.3 獲取Hadoop安裝包 79
4.3.1 實驗目的 79
4.3.2 實驗設備 79
4.3.3 實驗內容 79
4.3.4 實驗步驟 79
4.4 啟動和關閉hadoop集群 83
4.4.1 實驗目的 83
4.4.2 實驗設備 83
4.4.3 實驗內容 83
4.4.4 實驗步驟 83
第5章 熟悉Hadoop本地集群 87
5.1 熟悉hadoop一些常用命令 87
5.1.1 實驗目的 87
5.1.2 實驗設備 87
5.1.3 實驗內容 87
5.1.4 實驗步驟 87
5.2 使用distcp進行並行複製 91
5.3 Web瀏覽Hadoop集群 92
5.3.1 實驗目的 92
5.3.2 實驗設備 92
5.3.3 實驗內容 92
5.3.4 實驗步驟 92
5.4 使用hadoop命令歸檔檔案 93
第6章 Hadoop管理套用 96
6.1 系統體檢和報告 96
6.2 了解HDFS的平衡命令 98
6.3 許可權設定 99
6.4 配額管理 99
6.5 啟用資源回收筒 99
第7章 HDFS實踐 101
7.1 使用HDFS上傳檔案 101
7.1.1 實驗目的 101
7.1.2 實驗設備 101
7.1.3 實驗內容 101
7.1.4 實驗原理 101
7.1.5 實驗步驟 102
7.2 使用HDFS瀏覽檔案和目錄 104
7.2.1 實驗目的 104
7.2.2 實驗設備 104
7.2.3 實驗內容 104
7.2.4 實驗原理 105
7.2.5 實驗步驟 107
7.3 使用HDFS打開、下載和刪除檔案 108
7.3.1 實驗目的 108
7.3.2 實驗設備 108
7.3.3 實驗內容 108
7.3.4 實驗原理 108
7.3.5 實驗步驟 110
第8章 MapReduce實踐 113
8.1 數據去重實驗 113
8.1.1 實驗目的 113
8.1.2 實驗設備 113
8.1.3 實驗內容 113
8.1.4 實驗原理 114
8.1.5 實驗步驟 116
8.2 數據排序實驗 119
8.2.1 實驗目的 119
8.2.2 實驗設備 119
8.2.3 實驗內容 120
8.2.4 實驗原理 121
8.2.5 實驗步驟 123
8.3 平均成績實驗 126
8.3.1 實驗目的 126
8.3.2 實驗設備 126
8.3.3 實驗內容 126
8.3.4 實驗原理 126
8.3.5 實驗步驟 129
8.4 單表關聯實驗 131
8.4.1 實驗目的 131
8.4.2 實驗設備 131
8.4.3 實驗內容 131
8.4.4 實驗原理 133
8.4.5 實驗步驟 137
項目實訓 142
第9章 個人存儲私有雲綜合實訓 142
9.1 實驗目的 142
9.2 實驗設備 142
9.3 實驗內容 142
9.4 實驗原理 142
9.5 實驗步驟 146
第10章 氣象數據分析雲綜合實訓 155
10.1 實驗目的 155
10.2 實驗設備 155
10.3 實驗內容 155
10.4 實驗原理 155
10.5 實驗步驟 161
第11章 微信人物關係綜合實訓 165
11.1 實驗目的 165
11.2 實驗設備 165
11.3 實驗內容 165
11.4 實驗原理 165
11.5 實驗步驟 173
第12章 雲圖書館實例綜合實訓 178
12.1 實驗目的 178
12.2 實驗設備 178
12.3 實驗內容 178
12.4 實驗原理 178
12.5 實驗步驟 188
第13章 物聯網與雲計算(快遞)實例 192
13.1 實驗目的 192
13.2 實驗設備 192
13.3 實驗內容 192
13.4 實驗原理 192
13.5 實驗步驟 197
參考文獻 203