Storm實戰:構建大數據實時計算

Storm實戰:構建大數據實時計算

《Storm實戰:構建大數據實時計算 》是一本系統並且具有實踐指導意義的Storm工具書和參考書,對Storm整個技術體系進行了全面的講解,不僅包括對基本概念、特性的介紹,也涵蓋了一些原理說明。

內容簡介

隨著大數據實時處理需求的強勁增長,Storm的出現填補了大數據處理生態系統的缺失,並被越來越多的公司所採用。阿里巴巴集團數據平台事業部商家數據業務部正是最早使用Storm的技術團隊之一。 《Storm實戰:構建大數據實時計算》是一本系統並且具有實踐指導意義的Storm工具書和參考書,對Storm整個技術體系進行了全面的講解,不僅包括對基本概念、特性的介紹,也涵蓋了一些原理說明。 實戰性很強,各章節都提供了一些小案例,同時對於本地,以及集群環境的部署有詳細介紹,易於理解,操作性強。 《Storm實戰:構建大數據實時計算 》一共分為10章:第1章全面介紹了Storm的特性、能解決什麼問題,以及和其他流計算系統的對比;第2章通過實際運行一個簡單的例子,以及介紹本地環境和集群環境的搭建,讓讀者對Storm有了直觀的認識;第3章深入講解了Storm的基本概念,同時實現一個Topology運行;第4章和第5章闡述了Storm的並發度、可靠處理的特性;第6章~第8章詳細而系統地講解了幾個高級特性:事務、DRPC和Trident;第9章以實例的方式講解了Storm在實際業務場景中的套用;第10章總結了幾個在大數據場景套用過程中遇到的經典問題,以及詳細的排查過程。

目錄信息

第1章 Storm基礎 1

1.1 Storm能做什麼 2

1.2 Storm特性 3

1.3 其他流計算系統 8

1.4 套用模式 13

第2章 Storm初體驗 17

2.1 本地環境搭建 18

2.2 Storm集群 25

第3章 構建Topology 41

3.1 Storm基本概念 42

3.2 構建Topology 53

3.3 小結 61

第4章 Topology的並行度 62

4.1 並行元素 63

4.2 配置並行度 65

4.3 一個運行中Topology的例子 68

4.4 如何更新運行中的Topology的並行度 71

第5章 訊息的可靠處理 73

5.1 簡介 74

5.2 理解訊息被完整處理 74

5.3 訊息的生命周期 76

5.4 可靠相關的API 79

5.5 高效地實現tuple tree 84

5.6 選擇合適的可靠性級別 87

5.7 集群的各級容錯 89

5.8 小結 91

第6章 一致性事務 92

6.1 簡單設計一:強順序流 93

6.2 簡單設計二:強順序batch流 95

6.3 CoordinateBolt的原理 96

6.4 Transactional Topology 98

第7章 DRPC 105

7.1 Storm DRPC 106

7.2 總體概述 106

7.3 LinearDRPCTopologyBuilder 108

7.4 本地模式DRPC 110

7.5 遠程模式DRPC 111

7.6 一個複雜的例子 113

7.7 非線性DRPC拓撲 117

7.8 LinearDRPCTopologyBuilder工作過程 117

7.9 高級進階 118

第8章 Trident的特性 119

8.1 理解Trident 120

8.2 結合多個Trident任務 124

8.3 消費和生產Field 126

8.4 State(狀態保存) 128

8.5 Trident Topology的執行過程 136

8.6 總結 137

第9章 Storm實例 138

9.1 一個簡單的實例 139

9.2 複雜一點的實例 150

9.3 其他 161

第10章 常見套用問題分析 162

10.1 性能問題排查與定位 163

10.2 系統中常見的問題與排查 167

10.3 業務問題的定位與排查 170

相關詞條

相關搜尋

熱門詞條

聯絡我們