基本信息
大數據背後的核心技術
作 譯 者:張桂剛,李超,邢春曉
出版時間:2017-01
千 字 數:544
版 次:01-01
頁 數:340
開 本:16開
I S B N :9787121302961
內容簡介
本書分為三大部分,分別為大數據基礎理論分析、基於海量語意規則的大數據流處理技術及大數據套用。 第一部分介紹大數據領域的主要基礎理論,包括大數據基本概念、可程式數據中心、雲檔案系統、雲資料庫系統、大數據並行編程與分析模型、大數據智慧型計算算法、基於大數據的數據倉庫技術、大數據安全與隱私保護,以及基於大數據的語意軟體工程方法等。 第二部分介紹基於海量語意規則的大數據流處理技術,包括基於規則的大數據流處理介紹、語意規則描述模型、海量語意規則網及最佳化、海量語意規則處理算法及海量語意規則並行處理等。 第三部分主要介紹大數據的一些典型套用,包括:文化大數據、醫療健康大數據、網際網路金融大數據、教育大數據、電子商務大數據、網際網路大數據、能源大數據、交通大數據、巨觀經濟大數據、進出口食品安全監管大數據、基於大數據的語意計算及典型套用(含語意搜尋引擎、語意金融、語意旅遊規劃、基於海量語意規則的語意電子商務)。最後探討了大數據未來的研究方向。
目錄信息
第一部分 大數據基礎理論分析 (1)
第1章 大數據基本概念 (2)
1.1 大數據定義 (2)
1.2 大數據度量 (3)
1.2.1 大數據能耗度量 (3)
1.2.2 大數據計算能力度量 (4)
1.2.3 大數據的數據中心服務能力度量 (4)
1.2.4 大數據商業與社會價值度量 (4)
1.2.5 大數據冷熱度度量 (5)
1.3 語意計算的發展過程 (5)
1.3.1 語義計算(Semantic Computing) (5)
1.3.2 語意計算(Semantic+ Computing) (5)
1.3.3 語意計算(Semantic++ Computing) (6)
1.3.4 語意計算和大數據 (7)
1.4 大數據的語意理解 (8)
1.4.1 大數據資源語意存儲 (9)
1.4.2 大數據資源語意信息獲取 (9)
1.4.3 語意資源管理 (9)
1.4.4 大數據語意處理 (10)
1.4.5 大數據語意服務(語意分析/語意合成等) (10)
1.4.6 大數據語意安全與隱私 (10)
1.4.7 語意接口 (10)
1.4.8 基於語意的大數據套用 (10)
1.5 大數據和雲計算 (11)
1.5.1 雲計算 (11)
1.5.2 大數據和雲計算的關係 (11)
本章小結 (12)
第2章 可程式數據中心 (13)
2.1 可程式數據中心體系架構 (13)
2.2 數據分配管理 (14)
2.2.1 數據分配管理原理 (14)
2.2.2 數據分配管理案例 (17)
2.3 異構數據節點分配管理 (19)
2.3.1 異構數據節點分配管理方法 (20)
2.3.2 異構數據節點服務能力計算方法 (22)
2.4 規則管理 (23)
2.4.1 規則 (23)
2.4.2 語意規則 (24)
2.4.3 海量語意規則管理架構 (24)
2.5 數據放置策略 (25)
2.5.1 谷歌的數據放置策略 (25)
2.5.2 Hadoop的數據放置策略 (26)
2.5.3 其他常用的數據放置策略 (26)
2.5.4 語意數據放置策略 (26)
2.6 可程式數據中心機房架構 (30)
本章小結 (30)
第3章 雲檔案系統 (32)
3.1 常用雲檔案系統綜述 (32)
3.2 語意雲檔案系統SCFS (34)
3.2.1 SCFS系統架構 (34)
3.2.2 SCFS大小檔案處理機制 (36)
3.2.3 數據一致性保障 (40)
3.2.4 元數據集群管理技術 (40)
3.2.5 副本管理策略(負載均衡機制) (41)
本章小結 (44)
第4章 雲資料庫系統 (45)
4.1 常用雲資料庫系統綜述 (45)
4.2 語意雲資料庫系統SCloudDB (47)
4.2.1 SCloudDB系統架構 (47)
4.2.2 SCloudDB設計思路 (48)
4.2.3 SCloudDB的SRegion定位機制 (50)
4.2.4 多維及海量隨機查詢機制 (51)
4.2.5 支持多維及海量隨機查詢的語意搜尋機制 (52)
4.2.6 大表劃分方法 (54)
4.2.7 基於列族存儲及語意的大表劃分機制 (56)
4.2.8 分散式同步關鍵技術 (57)
本章小結 (59)
第5章 大數據並行編程與分析模型 (60)
5.1 大數據並行編程與分析模型綜述 (60)
5.2 大數據並行編程與分析模型SemanMR (63)
5.2.1 SemanMR體系架構 (63)
5.2.2 SemanMR技術思路 (64)
5.3 SemanMR關鍵技術 (66)
5.3.1 基於語意的調度器關鍵技術 (66)
5.3.2 SemanMR的作業/任務狀態互動新規則 (68)
5.3.3 語意映射器關鍵技術 (69)
5.3.4 基於語意的作業調度器關鍵技術 (70)
5.3.5 基於語意的任務調度器關鍵技術 (73)
5.3.6 任務跟蹤器關鍵技術 (76)
5.4 SemanMR計算部分框架 (78)
5.5 SemanMR原理分析 (82)
5.5.1 SemanMR原理實現分析 (82)
5.5.2 SemanMR實現原理特點分析 (84)
5.6 基於SemanMR的大數據實時處理與分析實現技術 (88)
5.6.1 SemanMR實時架構 (88)
5.6.2 SemanMR的MapReduce網路最佳化技術 (89)
本章小結 (94)
第6章 大數據智慧型計算算法 (95)
6.1 大數據智慧型計算算法架構 (95)
6.2 數據採集算法 (95)
6.2.1 管理信息系統數據採集 (96)
6.2.2 網路信息數據採集 (96)
6.2.3 物理信息數據採集 (96)
6.3 數據預處理算法 (97)
6.4 數據挖掘算法 (99)
6.4.1 分類算法 (99)
6.4.2 聚類算法 (100)
6.4.3 關聯挖掘算法 (101)
6.4.4 推薦算法 (101)
6.5 複雜智慧型算法 (103)
6.5.1 大數據溯源算法 (103)
6.5.2 大數據的相關推薦算法 (105)
6.5.3 基於大數據的決策管理算法 (105)
6.5.4 基於模型的推理及預測算法 (106)
6.5.5 基於數據的推理及預測算法 (107)
6.5.6 基於規則的推理及預測算法 (109)
6.5.7 混合推理及預測算法 (109)
本章小結 (109)
第7章 基於大數據的數據倉庫技術 (110)
7.1 Facebook中Hive採用的技術思路與存在問題分析 (110)
7.1.1 Hive採用的技術思路分析 (110)
7.1.2 Hive存在的問題分析 (111)
7.2 Yahoo!中Pig採用的技術思路與存在問題分析 (111)
7.2.1 Pig採用的技術思路分析 (111)
7.2.2 Pig存在的問題分析 (112)
7.3 未來數據倉庫架構需求分析 (113)
7.4 一種基於大數據的數據倉庫SemanDW (114)
本章小結 (114)
第8章 大數據安全與隱私保護 (115)
8.1 大數據安全模型BigData-PKI (115)
8.1.1 大數據安全體系結構 (115)
8.1.2 大數據安全模型BigData-PKI (116)
8.2 大數據安全協定BigData-Protocol (118)
8.3 大數據隱私 (120)
8.4 大數據的隱私提取方法 (121)
8.4.1 大數據的直接隱私提取方法 (121)
8.4.2 大數據的間接隱私提取方法 (121)
8.5 大數據隱私保護模型BigData-Privacy (122)
8.6 大數據共享信息與隱私信息融合技術 (122)
8.6.1 大數據的共享信息與隱私信息融合機制 (123)
8.6.2 大數據的共享信息與隱私信息融合算法 (123)
8.6.3 大數據的共享信息與隱私信息融合質量評價模型 (123)
8.7 雲環境下醫療大數據安全和隱私保護示範 (125)
8.7.1 雲環境下大數據安全和隱私保護架構 (125)
8.7.2 數據分割及安全機制 (127)
8.7.3 數據融合及安全機制 (129)
8.7.4 基於隱私數據的查詢機制 (130)
8.7.5 數據完整性保障機制 (131)
8.8 海量電子病歷安全保護套用 (133)
本章小結 (134)
第9章 基於大數據的語意軟體工程方法 (135)
9.1 基於大數據的語意軟體工程體系架構 (136)
9.2 基於大數據的語意軟體編制 (136)
9.2.1 基於大數據的語意軟體編制方法 (136)
9.2.2 基於大數據的語意軟體編制方法設計思路 (137)
9.2.3 複雜的SemanPL程式編程實現原理分析 (138)
9.2.4 基於大數據的語意程式語言SemanPL (139)
9.2.5 SemanPL編譯器原理分析 (141)
9.3 基於大數據的語意軟體測試 (143)
9.4 基於大數據的語意軟體驗證 (143)
9.5 基於大數據的語意軟體工程方法的語意軟體系統套用 (144)
本章小結 (144)
第二部分 基於海量語意規則的大數據流處理技術 (145)
第10章 基於規則的大數據流處理介紹 (147)
10.1 基於規則的大數據流 (147)
10.1.1 基於規則的大數據流套用背景 (147)
10.1.2 基於規則的大數據流套用意義 (148)
10.2 大數據流的規則處理技術國內外研究現狀 (149)
10.3 存在的問題總結與分析 (153)
本章小結 (154)
第11章 語意規則描述模型 (155)
11.1 規則表示方法 (155)
11.2 規則節點圖形化符號表示模型 (155)
11.2.1 非計算規則節點 (156)
11.2.2 計算規則節點 (156)
11.3 規則粒度 (158)
11.4 規則節點流量分析 (159)
11.5 計算規則節點計算代價分析 (163)
本章小結 (167)
第12章 海量語意規則網及最佳化 (168)
12.1 海量語意規則網概述 (168)
12.2 海量語意規則網維護 (169)
12.2.1 海量語意規則網增量集成 (169)
12.2.2 刪除規則節點時的規則網維護 (170)
12.3 海量語意規則網最佳化方法 (171)
12.3.1 基於規則合併的最佳化方法 (171)
12.3.2 規則模組等價變換的最佳化方法 (173)
本章小結 (183)
第13章 海量語意規則處理算法 (184)
13.1 傳統規則處理算法存在的問題 (184)
13.2 海量語意規則模式匹配模型 (185)
13.2.1 海量語意規則模式匹配模型體系結構 (185)
13.2.2 概念與介紹 (186)
13.2.3 模式網路存儲組織 (186)
13.2.4 海量語意規則模式匹配算法 (188)
13.3 海量語意規則模式匹配算法特點 (192)
13.4 海量語意規則網運行處理機制 (195)
本章小結 (198)
第14章 海量語意規則並行處理 (199)
14.1 海量語意規則並行處理面臨的問題 (199)
14.2 海量語意規則並行處理機制 (200)
14.2.1 海量語意規則並行處理機制GAPCM概述 (200)
14.2.2 海量語意規則子網生成 (201)
14.2.3 海量語意規則網計算代價預分配 (202)
14.2.4 海量語意規則網通信 (219)
14.2.5 映射分配 (220)
本章小結 (221)
第三部分 大數據套用 (223)
第15章 文化大數據 (224)
15.1 文化大數據的意義 (224)
15.2 文化大數據關鍵技術平台架構 (225)
15.3 文化大數據資源層 (226)
15.4 文化大數據綜合平台層 (227)
15.5 基於文化大數據的套用 (228)
15.6 文化大數據云管理系統 (232)
本章小結 (234)
第16章 醫療健康大數據 (235)
16.1 醫療健康大數據 (235)
16.2 醫療健康大數據平台架構 (235)
16.3 醫療健康大數據共享平台 (237)
16.3.1 集中式醫療健康大數據共享平台 (237)
16.3.2 分散式醫療健康大數據共享平台 (238)
16.4 醫療健康大數據分散式架構資源集成方法 (239)
16.5 醫療健康大數據數據安全保護機制 (241)
16.6 醫療健康大數據隱私保護機制 (241)
16.7 醫療健康大數據挖掘與分析 (242)
16.8 基於可穿戴設備的居家醫療養老大數據分析系統 (243)
16.9 醫療健康大數據其他典型套用 (244)
本章小結 (245)
第17章 網際網路金融大數據 (246)
17.1 網際網路金融 (246)
17.1.1 網際網路金融的概念 (246)
17.1.2 網際網路金融的產生 (246)
17.1.3 網際網路金融分類 (247)
17.1.4 網際網路金融發展歷程 (248)
17.1.5 網際網路金融發展階段 (251)
17.1.6 網際網路金融發展趨勢 (252)
17.2 大數據金融 (253)
17.3 金融大數據架構 (254)
17.3.1 金融大數據數據源 (255)
17.3.2 數據採集/清洗/轉換 (255)
17.3.3 金融大數據存儲 (255)
17.3.4 各種金融模型 (256)
17.3.5 各種大數據挖掘分析算法 (257)
17.3.6 各種大數據並行編程模型 (257)
17.3.7 各種大數據金融套用 (257)
17.4 大數據金融案例 (257)
本章小結 (258)
第18章 其他典型大數據 (259)
18.1 教育大數據 (259)
18.1.1 教育大數據平台架構 (259)
18.1.2 基於大數據的教育社區學生/教師個性化服務 (261)
18.1.3 基於大數據的教育社區學生行為建模與分析 (262)
18.1.4 基於大數據的教育社區教學規律分析 (262)
18.1.5 基於大數據的教育社區個性化教學 (262)
18.1.6 基於教育大數據的語意問答系統 (262)
18.2 電子商務大數據 (263)
18.2.1 電子商務大數據平台架構 (263)
18.2.2 電子商務虛假圖片監測 (265)
18.2.3 電子商務產品個性化推薦 (265)
18.2.4 基於電子商務大數據的消費者行為分析 (266)
18.2.5 基於電子商務大數據的物流 (266)
18.2.6 電子商務實時大數據流規則處理 (266)
18.2.7 電子商務評估管理系統 (267)
18.3 網際網路大數據 (267)
18.3.1 網際網路大數據平台架構 (267)
18.3.2 網際網路熱點計算 (268)
18.3.3 網際網路熱點個性化推薦 (268)
18.3.4 網際網路輿情監測 (268)
18.3.5 網際網路熱點趨勢分析預測 (269)
18.3.6 網際網路輿情預警套用 (269)
18.3.7 大型網路軟體平台的數據採集與分析方案 (269)
18.4 能源大數據 (272)
18.4.1 石油大數據 (272)
18.4.2 智慧型電網大數據 (275)
18.5 交通大數據 (276)
18.6 巨觀經濟大數據 (278)
18.7 進出口食品安全監管大數據 (280)
18.7.1 基於大數據的進出口食品安全監管系統總體架構 (280)
18.7.2 基於大數據的進出口食品安全監測分析 (280)
18.7.3 基於海量語意規則的進出口食品社會應急分析 (281)
18.7.4 基於大數據的進出口食品溯源分析 (282)
18.7.5 基於大數據的進出口食品安全決策 (283)
本章小結 (283)
第19章 基於大數據的語意計算及典型套用 (284)
19.1 基於大數據的套用領域分析 (284)
19.1.1 基於大數據的社交網路領域套用分析 (284)
19.1.2 基於大數據的醫療領域套用分析 (285)
19.1.3 基於大數據的政府領域套用分析 (287)
19.1.4 基於大數據的金融領域套用分析 (289)
19.1.5 基於大數據的企業計算套用分析 (290)
19.2 語意搜尋引擎 (291)
19.2.1 傳統搜尋引擎 (292)
19.2.2 語義搜尋引擎(Semantic Search Engine) (293)
19.2.3 語意搜尋引擎(Semantic+ Search Engine) (293)
19.2.4 語意搜尋引擎(Semantic++ Search Engine) (295)
19.3 語意金融 (296)
19.4 語意旅遊 (296)
19.5 語意電子商務 (297)
19.5.1 案例概述 (297)
19.5.2 校園社區網規則舉例 (298)
19.5.3 最佳化的帶流量的規則網 (302)
19.5.4 未經最佳化的帶流量的規則網最佳化 (302)
19.5.5 規則網路代價計算 (305)
19.5.6 規則網路任務劃分 (306)
19.5.7 規則子網劃分 (308)
本章小結 (310)
第20章 大數據未來研究方向 (311)
參考文獻 (316)