基本信息
原書名： Neural Networks and Learning Machines (3rd Edition)
原出版社： Prentice Hall
作者： (加)Simon Haykin
譯者： 申富饒 徐燁 鄭俊 晁靜
叢書名： 計算機科學叢書
出版社：機械工業出版社
ISBN：9787111324133
上架時間：2011-3-2
出版日期：2011 年3月
開本：16開
頁碼：572
版次：3-1
內容簡介
本書是關於神經網路的全面的、徹底的、可讀性很強的、最新的論述。全書共15章，主要內容包括rosenblatt感知器、通過回歸建立模型、最小均方算法、多層感知器、核方法和徑向基函式網路、支持向量機、正則化理論、主分量分析、自組織映射、資訊理論學習模型、動態規劃、神經動力學、動態系統狀態估計的貝葉斯濾波等。
本書適合作為高等院校計算機相關專業研究生及本科生的教材，也可供相關領域的工程技術人員參考。
目錄
出版者的話
譯者序
前言
縮寫和符號
術語
第0章導言1
0.1什麼是神經網路1
0.2人類大腦4
0.3神經元模型7
0.4被看作有向圖的神經網路10
0.5反饋11
0.6網路結構13
0.7知識表示14
0.8學習過程20
0.9學習任務22
0.10結束語27
注釋和參考文獻27
第1章rosenblatt感知器28
1.1引言28
1.2感知器28
.1.3感知器收斂定理29
1.4高斯環境下感知器與貝葉斯分類器的關係33
1.5計算機實驗：模式分類36
1.6批量感知器算法38
1.7小結和討論39
注釋和參考文獻39
習題40
第2章通過回歸建立模型28
2.1引言41
2.2線性回歸模型：初步考慮41
2.3參數向量的最大後驗估計42
2.4正則最小二乘估計和map估計之間的關係46
2.5計算機實驗：模式分類47
2.6最小描述長度原則48
2.7固定樣本大小考慮50
2.8工具變數方法53
2.9小結和討論54
注釋和參考文獻54
習題55
第3章最小均方算法56
3.1引言56
3.2lms算法的濾波結構56
3.3無約束最最佳化：回顧58
3.4維納濾波器61
3.5最小均方算法63
3.6用馬爾可夫模型來描畫lms算法和維納濾波器的偏差64
3.7朗之萬方程：布朗運動的特點65
3.8kushner直接平均法66
3.9國小習率參數下統計lms學習理論67
3.10計算機實驗Ⅰ：線性預測68
3.11計算機實驗Ⅱ：模式分類69
3.12lms算法的優點和局限71
3.13學習率退火方案72
3.14小結和討論73
注釋和參考文獻74
習題74
第4章多層感知器77
4.1引言77
4.2一些預備知識78
4.3批量學習和線上學習79
4.4反向傳播算法81
4.5異或問題89
4.6改善反向傳播算法性能的試探法90
4.7計算機實驗：模式分類94
4.8反向傳播和微分95
4.9hessian矩陣及其在線上學習中的規則96
4.10學習率的最優退火和自適應控制98
4.11泛化102
4.12函式逼近104
4.13交叉驗證107
4.14複雜度正則化和網路修剪109
4.15反向傳播學習的優點和局限113
4.16作為最最佳化問題看待的監督學習117
4.17卷積網路126
4.18非線性濾波127
4.19小規模和大規模學習問題131
4.20小結和討論136
注釋和參考文獻137
習題138
第5章核方法和徑向基函式網路144
5.1引言144
5.2模式可分性的cover定理144
5.3插值問題148
5.4徑向基函式網路150
5.5k-均值聚類152
5.6權向量的遞歸最小二乘估計153
5.7rbf網路的混合學習過程156
5.8計算機實驗：模式分類157
5.9高斯隱藏單元的解釋158
5.10核回歸及其與rbf網路的關係160
5.11小結和討論162
注釋和參考文獻164
習題165
第6章支持向量機168
6.1引言168
6.2線性可分模式的最優超平面168
6.3不可分模式的最優超平面173
6.4使用核方法的支持向量機176
6.5支持向量機的設計178
6.6xor問題179
6.7計算機實驗:模式分類181
6.8回歸：魯棒性考慮184
6.9線性回歸問題的最最佳化解184
6.10表示定理和相關問題187
6.11小結和討論191
注釋和參考文獻192
習題193
第7章正則化理論197
7.1引言197
7.2良態問題的hadamard條件198
7.3tikhonov正則化理論198
7.4正則化網路205
7.5廣義徑向基函式網路206
7.6再論正則化最小二乘估計209
7.7對正則化的附加要點211
7.8正則化參數估計212
7.9半監督學習215
7.10流形正則化：初步的考慮216
7.11可微流形217
7.12廣義正則化理論220
7.13光譜圖理論221
7.14廣義表示定理222
7.15拉普拉斯正則化最小二乘算法223
7.16用半監督學習對模式分類的實驗225
7.17小結和討論227
注釋和參考文獻228
習題229
第8章主分量分析232
8.1引言232
8.2自組織原則232
8.3自組織的特徵分析235
8.4主分量分析：擾動理論235
8.5基於hebb的最大特徵濾波器241
8.6基於hebb的主分量分析247
8.7計算機實驗：圖像編碼251
8.8核主分量分析252
8.9自然圖像編碼中的基本問題256
8.10核hebb算法257
8.11小結和討論260
注釋和參考文獻262
習題264
第9章自組織映射268
9.1引言268
9.2兩個基本的特徵映射模型269
9.3自組織映射270
9.4特徵映射的性質275
9.5計算機實驗Ⅰ：利用som解格線動力學問題280
9.6上下文映射281
9.7分層向量量化283
9.8核自組織映射285
9.9計算機實驗Ⅱ：利用核som解點陣動力學問題290
9.10核som和相對熵之間的關係291
9.11小結和討論293
注釋和參考文獻294
習題295
第10章資訊理論學習模型299
10.1引言299
10.2熵300
10.3最大熵原則302
10.4互信息304
10.5相對熵306
10.6系詞308
10.7互信息作為最最佳化的目標函式310
10.8最大互信息原則311
10.9最大互信息和冗餘減少314
10.10空間相干特徵316
10.11空間非相干特徵318
10.12獨立分量分析320
10.13自然圖像的稀疏編碼以及與ica編碼的比較324
10.14獨立分量分析的自然梯度學習326
10.15獨立分量分析的最大似然估計332
10.16盲源分離的最大熵學習334
10.17獨立分量分析的負熵最大化337
10.18相關獨立分量分析342
10.19速率失真理論和信息瓶頸347
10.20數據的最優流形表達350
10.21計算機實驗：模式分類354
10.22小結和討論354
注釋和參考文獻356
習題361
第11章植根於統計力學的隨機方法366
11.1引言366
11.2統計力學367
11.3馬爾可夫鏈368
11.4metropolis算法374
11.5模擬退火375
11.6gibbs抽樣377
11.7boltzmann機378
11.8logistic信度網路382
11.9深度信度網路383
11.10確定性退火385
11.11和em算法的類比389
11.12小結和討論390
注釋和參考文獻390
習題392
第12章動態規劃396
12.1引言396
12.2馬爾可夫決策過程397
12.3bellman最優準則399
12.4策略疊代401
12.5值疊代402
12.6逼近動態規劃：直接法406
12.7時序差分學習406
12.8q學習410
12.9逼近動態規劃：非直接法412
12.10最小二乘策略評估414
12.11逼近策略疊代417
12.12小結和討論419
注釋和參考文獻421
習題422
第13章神經動力學425
13.1引言425
13.2動態系統426
13.3平衡狀態的穩定性428
13.4吸引子432
13.5神經動態模型433
13.6作為遞歸網路範例的吸引子操作435
13.7hopfield模型435
13.8cohen-grossberg定理443
13.9盒中腦狀態模型445
13.10奇異吸引子和混沌448
13.11混沌過程的動態重構452
13.12小結和討論455
注釋和參考文獻457
習題458
第14章動態系統狀態估計的貝葉斯濾波461
14.1引言461
14.2狀態空間模型462
14.3卡爾曼濾波器464
14.4發散現象及平方根濾波469
14.5擴展的卡爾曼濾波器474
14.6貝葉斯濾波器477
14.7數值積分卡爾曼濾波器:基於卡爾曼濾波器480
14.8粒子濾波器484
14.9計算機實驗：擴展的卡爾曼濾波器和粒子濾波器對比評價490
14.10大腦功能建模中的
卡爾曼濾波493
14.11小結和討論494
注釋和參考文獻496
習題497
第15章動態驅動遞歸網路501
15.1引言501
15.2遞歸網路體系結構502
15.3通用逼近定理505
15.4可控性和可觀測性507
15.5遞歸網路的計算能力510
15.6學習算法511
15.7通過時間的反向傳播512
15.8實時遞歸學習515
15.9遞歸網路的消失梯度519
15.10利用非線性逐次狀態估計的遞歸網路監督學習框架521
15.11計算機實驗：mackay-glass吸引子的動態重構526
15.12自適應考慮527
15.13實例學習：套用於神經控制的模型參考529
15.14小結和討論530
注釋和參考文獻533
習題534
參考文獻538
譯者序
從20世紀40年代M-P神經元模型的提出開始，神經網路的發展過程可謂是一波三折。1965年M.Minsky和S.Papert的《感知機》使得神經網路的研究停滯了超過10年，直到20世紀80年代初Hopfield網路和誤差反向傳播算法等的提出，神經網路的研究才步入恢復期。時至今日，神經網路系統研究的重要意義已經得到廣泛承認，在模式識別、人工智慧、通信、控制、金融、機器人、生物信息學等許多領域都有廣泛套用。可以說神經網路作為目前非線性科學和計算智慧型研究的主要內容之一，已經成為解決很多實際問題的一種必要的技術手段。
本書作者Simon Haykin長期從事神經網路的研究，其關於神經網路的系列教材是國際上最有影響力的教材之一。本書是其經典教材《Neural Networks:A Comprehensive Foundation》的第3版。正如本書的題目所示，這一版對神經網路和機器學習這兩個密切相關的分支進行了全面分析，在前一版的基礎上作了廣泛修訂，提供了神經網路和機器學習這兩個重要性持續增長的學科的最新分析。本書全面、系統地介紹了神經網路的基本模型、基本方法，對神經網路的基本模型和主要學習理論作了深入研究，對神經網路的最新發展趨勢和主要研究方向進行了全面而綜合的介紹。
在翻譯過程中，譯者常常為本書作者嚴謹的治學態度及本書博大精深的內容而讚嘆不已。本書綜合了諸多神經網路和機器學習的最新研究，在翻譯過程中雖然力求準確地反映原著內容，但由於譯者水平有限，翻譯中如有錯漏之處，懇請讀者批評指正。
本書的翻譯得到了國家自然科學基金的資助（項目編號60975047），特此表示感謝。同時，感謝參與本書翻譯的全體人員，沒有他們的辛勤工作，本書的中文譯本是無法順利完成的；感謝本書第2版（《神經網路原理》）的譯者，在翻譯過程中我們大量參考了第2版中文譯本的內容；還要感謝南京大學計算機軟體新技術國家重點實驗室的支持。
南京大學計算機科學與技術系
計算機軟體新技術國家重點實驗室
申富饒
2010年10月於南京
