內容簡介
數據分析處於統計學、計算機信息科學、運籌學、資料庫等多個領域的交叉地帶,大數據時代的到來大大豐富了數據分析的內涵,數據分析師的職責與以往相比發生了巨大的改變。本書全面介紹了經典數據分析、模式識別、機器學習、深度學習、數據挖掘、商務智慧型等多個領域的數據分析算法,將大數據時代的數據分析熱點技術一網打盡。本書為每個數據分析算法都搭配了一個經典案例,並按照由易到難的原則構建知識框架,充分照顧了不同水平讀者的閱讀習慣。通過閱讀本書,讀者將對大數據時代下的數據分析有一個全面的認識。無論是入門級的數據分析員還是有一定基礎的數據分析師,都能通過本書完善、加深對數據分析的認識。
圖書目錄
第1章 經典的探索性數據分析案例 1
1.1 探索性數據分析綜述 2
1.1.1 什麼是探索性數據分析 2
1.1.2 如何收集數據 4
1.1.3 數據預處理技術 5
1.2 數據巧收集——紅牛的大數據行銷案例 8
1.2.1 狀況百出的紅牛企業 8
1.2.2 紅牛企業巧妙收集消費者數據 9
1.2.3 數據收集小結 12
1.3 數據可視化——數據新聞促使英軍撤軍 13
1.3.1 維基解密帶來的海量數據 13
1.3.2 百花齊放的數據新聞 15
1.3.3 數據可視化小結 18
1.4 異常值分析——Facebook消滅釣魚連結 19
1.4.1 Facebook和廣告商之間的拉鋸戰 20
1.4.2 異常值分析指導排名算法工作 22
1.4.3 異常值分析小結 26
1.5 對比分析——TrueCar指導購物者尋找最合算的車價 27
1.5.1 火中取栗的TrueCar網站 28
1.5.2 數據對比贏得消費者信賴 29
1.5.3 對比分析小結 32
第2章 經典的相關分析與回歸分析案例 35
2.1 相關回歸綜述 36
2.1.1 相關回歸簡介 36
2.1.2 相關性分析的發展介紹 38
2.1.3 回歸分析的發展介紹 39
2.2 皮爾遜相關值——紐約市政府利用相關分析監控違法建築 40
2.2.1 簡約而不簡單的消防檢測系統 40
2.2.2 使用相關分析洞察60個變數的關係 42
2.2.3 相關分析小結 45
2.3 時間序列分析——人壽保險的可提費用預測 47
2.3.1 人壽保險公司和可提費用 47
2.3.2 使用4種時間序列回歸預測模型解決問題 49
2.3.3 時間序列分析小結 52
2.4 線性回歸分析——梅西百貨公司的12項大數據策略 54
2.4.1 從“一億豪賭”說起的零售商困境 54
2.4.2 SAS公司幫助梅西百貨構建模型 56
2.4.3 線性回歸分析小結 59
2.5 Logistic回歸分析——大面積流感爆發的預測分析 62
2.5.1 究竟誰才是流感預測算法之王 62
2.5.2 向Logistic算法中引入更多變數 64
2.5.3 Logistic回歸分析小結 67
第3章 經典的降維數據分析案例 69
3.1 降維分析算法綜述 70
3.1.1 為什麼要使用降維算法 70
3.1.2 線性降維算法 72
3.1.3 非線性降維算法 73
3.2 粗糙集算法——協助希臘工業發展銀行制定信貸政策 74
3.2.1 銀行信貸政策的制定原則 75
3.2.2 粗糙集算法的原理和套用 76
3.2.3 粗糙集算法小結 80
3.3 因子分析——基於李克特量表的應聘評價法 82
3.3.1 源於智力測試的因子分析 82
3.3.2 使用因子分析解構問卷 84
3.3.3 因子分析小結 87
3.4 最優尺度分析——直觀評估消費者傾向的分析方法 89
3.4.1 市場調查問題催生的最優尺度分析 89
3.4.2 6種經典的最優尺度分析解讀方法 91
3.4.3 最優尺度分析小結 95
3.5 PCA降維算法——智慧型人臉識別的套用與拓展 97
3.5.1 刷臉的時代來了 97
3.5.2 使用PCA算法完成降維工作 99
3.5.3 PCA算法小結 102
第4章 經典的模式識別案例 105
4.1 模式識別綜述 106
4.1.1 模式識別簡介 106
4.1.2 模式識別的發展脈絡 107
4.1.3 模式識別套用簡介 110
4.2 圖像分析——谷歌的超前自動駕駛技術 111
4.2.1 以安全的名義呼籲自動駕駛技術 111
4.2.2 快速成熟的無人駕駛技術 113
4.2.3 圖像分析小結 116
4.3 遺傳算法——經典的人力資源最佳化問題 118
4.3.1 使用有限資源實現利益最大化 118
4.3.2 遺傳算法的計算過程 120
4.3.3 遺傳算法小結 123
4.4 決策樹分析——“沸騰時刻”準確判斷用戶健康水平 124
4.4.1 打造我國最大的健身平台 124
4.4.2 信息增益和決策樹 126
4.4.3 決策樹小結 129
4.5 K均值聚類分析——HSE24通過為客戶分類降低退貨率 131
4.5.1 在電子商務市場快速擴張的HSE24 131
4.5.2 使用K均值聚類為客戶分類 133
4.5.3 K均值聚類小結 136
第5章 經典的機器學習案例 139
5.1 機器學習綜述 140
5.1.1 機器學習簡介 140
5.1.2 機器學習的主流發展和套用 142
5.2 語義搜尋——沃爾瑪搜尋引擎提升15%銷售額 143
5.2.1 注重用戶體驗的沃爾瑪公司 144
5.2.2 語義搜尋引擎的底層技術和原理 145
5.2.3 語義搜尋技術小結 148
5.3 順序分析——搜狗輸入法的智慧型糾錯系統 150
5.3.1 搜狗輸入法的王牌詞庫和智慧型算法 151
5.3.2 頻繁樹模式和順序分析算法 153
5.3.3 順序分析小結 156
5.4 文本分析——經典的垃圾郵件過濾系統 158
5.4.1 大數據時代需要文本分析工作 158
5.4.2 垃圾郵件過濾中的分詞技術和詞集模型 160
5.4.3 文本分析小結 163
5.5 協同過濾——構建個性化推薦系統的經典算法 164
5.5.1 協同過濾算法為什麼這么流行 165
5.5.2 基於用戶和基於產品的協同過濾 166
5.5.3 協同過濾算法小結 169
第6章 經典的深度學習案例 171
6.1 深度學習綜述 172
6.1.1 深度學習簡介 172
6.1.2 深度學習在圖像處理方面的套用 174
6.1.3 深度學習在自然語言處理方面的套用 176
6.2 支持向量機——賈伯斯利用大數據對抗癌症 178
6.2.1 賈伯斯和胰腺癌的抗爭 178
6.2.2 醫學統計學和支持向量機 180
6.2.3 支持向量機小結 184
6.3 感知器神經網路——最佳的房產價格預測算法 185
6.3.1 如何預測房價 186
6.3.2 多層感知器和誤差曲面 188
6.3.3 感知器神經網路小結 191