內容介紹
《數據之魅:基於開源工具的數據分析》結合作者多年來從事數據分析工作的豐富經驗,闡述了數據分析所涉及的概念和方法。本書四部分19章,主題包括如何通過圖表來觀察數據,如何通過各種建模方法來分析數據,然後著重闡述如何進行數據挖掘,最後強調數據分析在商業和金融等領域的實際套用。本書包含大量的模擬過程及結果展示,並通過實例來闡述如何使用開源工具來進行數據分析。通過本書的閱讀,讀者可以清楚地了解這些方法的實際用法及用途。本書結構合理,通俗易懂,適合數據分析愛好者和從業者閱讀,也適合以科學計算為工具的科研人員參考。同時,本書還適用於計算機科學、數學、工程技術和其他相關專業本科或研究生的數據分析課程,是一本不錯的參考書。
作者介紹
Philipp K. Janer,憑藉著自己多年來擔任物理學家和軟體工程師的經驗,為數據分析和數學建模提供諮詢服務。他是Gnuplot in Action: Understanding Data with Graphs(Manning出版)的作者,也在O’Reilly Network、IBM developerWorks和IEEE Software發表過大量文章。他擁有華盛頓大學理論物理學博士學位。作品目錄
第1 章導論數據分析
本書內容
關於講習班
關於數學
需要具備的知識
本書不涉及的內容
第Ⅰ部分圖表:觀察數據
第 2 章單一變數:形狀和分布
數據點和抖動圖
直方圖和核密度估計
直方圖
核密度估計
(選學)如何選擇最優頻寬
累積分布函式
(選學)機率圖分布和QQ 圖
分布的對比
秩序圖和上升圖
僅用於適當時機:匯總統計量和箱形圖
匯總統計量
Box-and-Whisker 圖
(講習班)NumPy
NumPy 實踐
NumPy 詳解
擴展閱讀
第3 章兩個變數:建立關係
散點圖
克服噪聲:平滑
樣條
LOESS
示例
殘差
其他觀點及提醒
對數圖
傾斜
線性回歸以及諸如此類的方法
描述重要信息
圖形分析與圖形演示
(講習班)matplotlib
互動式使用matplotlib
案例學習:matplotlib 與
LOESS
控制屬性
matplotlib 對象模型及結構
零碎知識
擴展閱讀
第4 章以時間為變數:
時序分析
示例
任務
需求和現實
平滑處理
移動平均法
指數平滑法
不要忽視顯而易見的東西
相關函式
示例
實現上的問題
(選學)過濾器和卷積
(講習班)scipysignal
擴展閱讀
第5 章多變數:圖形的多變數分析
假色圖
概覽:多值圖
散點圖矩陣
協作圖
變種
組成問題
組成的改變
多維組成:樹形圖和馬賽克圖
新穎的曲線類型標識符
平行坐標圖
互動式探索
查詢和縮放
連線和塗層
大遊覽與投影尋蹤工具
(講習班)多變數圖形工具R
實驗工具Python 的Chaco 庫
擴展閱讀
第6 章插曲:數據分析會話
數據分析會話
(講習班)gnuplot 軟體
擴展閱讀
第Ⅱ部分分析:數據建模
第 7 章推算和粗略計算
推算的原理
估計大小
建立關聯
使用數字
10 的冪
小擾動
對數
更多示例
我所知道的一些常見事(物)
的相關數字
這些數字是否足夠好?
準備工作:可行性和成本
完成之後:引用和
呈現數字
(選學)進一步探索攝動理論和
誤差傳播
誤差傳播
(講習班)Gnu 科學庫(GSL)
擴展閱讀
第8 章縮放參數模型
模型
建模
模型的運用和誤用
參數的縮放
縮放參數
示例:維度參數
示例:最佳化問題
示例:成本模型
(選學)縮放參數與
量綱分析
其他理論
平均場近似
背景知識和其他示例
常見的時間演變方案
無限增長和衰減現象
約束增長:邏輯斯諦方程
振盪
案例學習:多少台伺服器才是
最好的?
為什麼要建模?
(講習班)Sage
擴展閱讀
第9 章關於機率模型的討論
91 二項分布和伯努利試驗
精確的結果
利用伯努利試驗建立平均場
模型
92 高斯分布和中心極限定理
中心極限定理
中心項與尾項
為什麼高斯分布如此實用?
(選學)高斯積分
冪律分布和非常規統計學
冪律分布的用法
(選學)期望值為無限時的
分布
接下來的研究
其他分布
幾何分布
泊松分布
對數常態分配
特殊用途的分布
(選學)案例學習--隨時間變化的單一訪問者數量
(講習班)冪律分布
擴展閱讀
第10 章你真正需要了解的經典統計學知識起源
統計學的定義
從統計學角度解釋
示例:公式測驗
VS 圖解法
控制實驗VS 觀察研究
實驗設計
前景
(選學)貝葉斯統計--
另一種觀點
用頻率論來解釋機率
用貝葉斯方法來理解機率
貝葉斯數據分析: 一個實際有
效的例子
貝葉斯推理:總結與討論
(講習班)R 語言
擴展閱讀
第11 章插敘:數學大搜捕--
大腳怪和最小二
乘等
111 如何平均均值
辛普森(Simpson)悖論
標準差
如何計算
(選學)應該選擇哪一個
(選學)標準誤差
最小二乘
統計參數估計
函式逼近
擴展閱讀
第Ⅲ部分計算:數據挖掘
第 12 章模擬
熱身問題
蒙特卡洛模擬
組合問題
獲得結果分布
優點和缺點
重新採樣方法
拔靴法
拔靴法適用於哪些情況?
拔靴變數
(講習班)SimPy 離散事件模擬
SimPy 簡介
最簡單的排隊過程
(選學)排隊理論
運行SimPy 模擬
小結
擴展閱讀
第13 章找出簇
簇由什麼組成?
一種不同的觀點
距離計算和相似度計算
常見的距離和相似度
計算方法
聚類方法
中心探索法
樹形構造器
鄰居生長器
前期處理和後期處理
規模的規範化
類的屬性和評估
其他想法
具體案例:超市購物籃的
分析
提醒
(講習班)Pycluster 和C 聚類庫
擴展閱讀
第14 章一木見林:
找出重要屬性
主成分分析法
動機
(選學)理論
解釋
計算
實用觀點
雙標圖
可視化技術
多元尺度法
網路圖
柯霍南圖
(講習班)用R 進行PCA
擴展閱讀
線性代數
第15 章插曲:當數據不成
比例地增長時
一個真實的故事
一些建議
map/reduce 如何
(講習班)生成排列
擴展閱讀
第Ⅳ部分套用:數據的使用
第 16 章報表、商務智慧型和
儀錶板
商務智慧型
報表
企業指標和儀錶板
關於指標計畫的建議
數據的質量問題
數據的可用性
數據的一致性
(講習班)Berkeley DB 和SQLite
Berkeley DB
SQLite
擴展閱讀
第17 章金融計算與建模
貨幣的時間價值
一次性支付:未來值和
現值
多筆付款:複利
複利的計算技巧
概覽:現金流分析和
淨現值
計畫成本和機會成本中的
不確定性
用賬戶的期望值來考慮
不確定性
機會成本
成本概念及貶值
直接成本和間接成本
固定成本和可變成本
資本開支與運營成本
是否應該加以關注?
這些就是全部嗎?
(講習班)報紙經銷商問題
(選學)精確解
擴展閱讀
報紙經銷商問題
第18 章預測分析
預測分析的主題
一些分類術語
分類算法
基於實例的分類和最近鄰
分類算法
貝葉斯分類器
回歸
支持向量機
決策樹和基於規則的
分類器
其他分類算法
流程
集成方法:Bagging 和
Boosting
估計預測誤差
類不平衡問題
私家秘訣
統計學習的本質
(講習班)自己編寫的兩個
分類器
擴展閱讀
第19 章結語:事實並非
現實
附錄A 科學計算與數據分析的
編程環境
附錄B 套用:微積分
附錄C 使用數據
索引