內容簡介
Ceph 在AFA、資料庫工作負載、容器存儲及超融合式基礎架構等多個領域套用,其集群在歐洲核子研究中心、雅虎和DreamHost 等組織成功部署,越來越需要我們加以關注和學習。《Ceph Cookbook 中文版》旨在讓你學會建立一個生產級別的Ceph 存儲集群,並掌握Ceph 集群管理技巧。《Ceph Cookbook 中文版》從認識塊、對象和檔案存儲開始,到與OpenStack 的集成,再到建立一個類似Dropbox 的存儲解決方案,直到了解聯合架構和CephFS、用Calamari 和VSM 監控環境、評測集群性能,以及獲取Ceph 運維zui佳實踐。
內容提要
Ceph 在AFA、資料庫工作負載、容器存儲及超融合式基礎架構等多個領域套用,其集群在歐洲核子研究中心、雅虎和DreamHost 等組織成功部署,越來越需要我們加以關注和學習。《Ceph Cookbook 中文版》旨在讓你學會建立一個生產級別的Ceph 存儲集群,並掌握Ceph 集群管理技巧。《Ceph Cookbook 中文版》從認識塊、對象和檔案存儲開始,到與OpenStack 的集成,再到建立一個類似Dropbox 的存儲解決方案,直到了解聯合架構和CephFS、用Calamari 和VSM 監控環境、評測集群性能,以及獲取Ceph 運維zui佳實踐。
目錄
前言 VII
第1 章 Ceph 介紹及其他 1
介紹 1
Ceph—— 一個新時代的開始 3
RAID—— 一個時代的終結 5
Ceph—— 架構概述 7
規劃Ceph 的部署 9
搭建一個虛擬基礎設施 10
安裝和配置Ceph 14
擴展你的Ceph 集群 16
在實踐中使用Ceph 集群 18
第2 章 使用Ceph 塊存儲 20
介紹 21
使用Ceph 塊存儲 21
配置Ceph 客戶端 22
創建Ceph 塊設備 25
映射Ceph 塊設備 26
調整Ceph RBD 大小 27
使用RBD 快照 29
使用RBD 克隆 30
Openstack 簡介 33
Ceph——OpenStack 的最佳匹配 33
搭建OpenStack 35
配置Openstack 為Ceph 客戶端 37
配置Ceph 作為Glance 後端存儲 42
配置Ceph 為Cinder 後端存儲 44
將Ceph RBD 掛載到Nova 上 46
Nova 基於Ceph RBD 啟動實例 47
第3 章 使用Ceph 對象存儲 50
介紹 50
理解Ceph 對象存儲 51
RADOS 網關標準設定、安裝和配置 51
創建radosgw 用戶 57
通過S3 API 訪問Ceph 對象存儲 59
通過Swift API 訪問Ceph 對象存儲 63
RADOS 網關和OpenStack Keystone 的集成 65
配置Ceph 多區域網關 67
測試radosgw 多區域網關 82
使用RGW 創建檔案同步和共享服務 84
第4 章 使用Ceph 檔案系統 90
介紹 90
理解Ceph 檔案系統和MDS 90
部署Ceph MDS 92
通過核心驅動訪問CephFS 94
通過FUSE 客戶端訪問Ceph FS 95
將CephFS 導出為NFS 96
ceph-dokan——CephFS 的Windows 客戶端 98
CephFS——HDFS 的簡易替換 101
第5 章 用Calamari 監控Ceph 集群 103
介紹 103
Ceph 集群的監控——統方法 104
對Ceph 集群進行監控 104
Ceph Calamari 簡介 114
編譯Calamari 伺服器軟體包 115
編譯Calamari 客戶端軟體包 117
配置Calamari 主伺服器 118
將Ceph 節點加到Calamari 121
在Calamari 控制台上監控Ceph 集群 122
Calamari 故障排除 124
第6 章 操作和管理Ceph 集群 127
介紹 127
理解Ceph 的服務管理 128
管理Ceph 的集群配置檔案 129
使用SYSVINT 運行Ceph 130
作為一個服務運行Ceph 132
向上擴展(Scale-up)和向外擴展(Scale-out) 135
向外擴展Ceph 集群 136
縮小Ceph 集群 139
替換Ceph 集群中的故障磁碟 144
升級Ceph 集群 148
維護Ceph 集群 150
第7 章 深入Ceph 153
介紹 153
Ceph 擴展性和高可用 154
理解CRUSH 機制 155
CRUSH map 的內容 156
Ceph cluster map 161
高可用monitors 162
Ceph 身份驗證和授權 163
Ceph 動態集群管理 168
Ceph Placement Group(PG,配置組) 169
PG 狀態 171
在指定OSD 上創建Ceph 存儲池 172
第8 章 Ceph 生產計畫和性能調優 177
介紹 177
Ceph 的容量、性能以及成本的動態調整 178
Ceph 的軟硬體選型 179
Ceph 性能調優和建議 186
Ceph 糾刪碼 198
創建一個糾刪碼存儲池 202
Ceph 快取分層 205
創建一個快取分層的存儲池 206
創建一個快取層 208
配置快取層 209
測試快取層 211
第9 章 Ceph 虛擬存儲管理器(VSM) 213
介紹 213
理解VSM 架構 214
搭建VSM 環境 215
準備VSM 216
安裝VSM 219
使用VSM 創建Ceph 集群 224
探索VSM 儀錶板 226
通過VSM 升級Ceph 集群 230
VSM 路線圖(roadmap) 231
VSM 參考資料 232
第10 章 Ceph 擴展 233
介紹 233
Ceph 集群基準測試 234
磁碟性能基線 234
網路性能基線 237
Ceph rados bench 工具 238
rados load-gen 工具 240
Ceph 塊設備基準測試 242
通過FIO 做Ceph RBD 基準測試 245
Ceph admin socket 246
使用ceph tell 命令 248
Ceph REST API 249
Ceph 記憶體分析 250
使用Ansible 部署Ceph 252
ceph-objectstore-tool 254
前言
我們每一秒鐘都在為巨大的數字世界添磚加瓦。數據增長超乎想像,有人預測,到2020年人類擁有的數據將高達40 澤位元組(Zettabyte)。如果這還不算太大,那到2050 年呢?我們可不可以推測將會有1 堯位元組(Yottabyte)?最明顯的問題是:我們用什麼辦法來存儲如此海量的數據,或者說我們為未來準備好了嗎?對我來說,Ceph 是解決這些數據問題的一線希望,或者可以說是解決未來十年數據存儲需求的一個可能解決方案。Ceph 是存儲的未來!
有這樣一句格言“軟體定義一切”,事實的確如此。不過,從另一個角度來看,軟體是滿足各種計算需求的一種可行方法,如預測天氣、網路體系、存儲、數據中心以及漢堡包……嗯,現在還不是討論漢堡包的時候。眾所周知,通過軟體來定義一切的想法,發揮了軟體本身具有的智慧型優勢,再加上商業硬體,可以解決你的各種難題。而且我認為,這種軟體定義的方式應該是打開未來計算枷鎖的一把鑰匙。
完全開源的Ceph,通過軟體定義存儲的方式,用優異的性能去處理空前增長的數據。它為檔案存儲、對象存儲,以及塊存儲提供了豐富、統一的接口。Ceph 的優點在於分散式、可擴展性以及性能;以及與生俱來的可靠性和穩健性。而且,它價格便宜,經濟實惠,性價比極高。
Ceph 在存儲領域舉足輕重。它的企業級特性,比如可擴展性、可靠性、糾刪碼、快取和計數等,已經在過去幾年取得顯著改善,日益成熟。僅舉幾例,在歐洲核子研究中心、雅虎和DreamHost 等組織中多PB 的Ceph 集群正在部署並成功運行。
Ceph 的塊存儲和對象存儲接口早已被引入,現在已開發完全。直到去年,只有CephFS模組不能投入到生產環境。今年我打賭CephFS 模組一定會在Jewel 版本中具備生產屬性。我已經迫不及待地想見證CephFS 在生產領域有所建樹。Ceph 已經在多個領域套用並日益普及,如AFA(全快閃記憶體陣列)、資料庫工作負載、容器存儲,以及超融合式基礎架構。誠然,Ceph 的發展已漸入佳境。
在這本書中,我們將深入了解Ceph 的各個模組和它的工作架構。本書側重使用知識,提供一步一步的手把手指導。從第一章起,你就會獲得Ceph 的實踐經驗。隨後每章,你將不斷學習,並玩轉Ceph 各個有趣的概念。我希望,到這本書的結尾,不論在概念上還是實踐上,都能夠讓你信心滿滿地玩轉Ceph。學得開心!
Karan Singh