廣義最小二乘問題的理論和計算
廣義最小二乘問題的理論和計算責任編輯：呂虹趙彥超
本書總結了各種廣義的最小二乘問題的理論與計算的最新成果。主要包括最小二乘問題、總體最小二乘問題、等式約束最小二乘問題以及剛性加權最小二乘問題等的理論與科學計算問題。
由於各種廣義奇異值分解在解決矩陣論和數值代數問題中有著重要的作用，書中也較詳細地介紹了廣義的奇異值分解，並套用於解決若干矩陣論和數值代數問題。本書需要的預備知識為數值代數和矩陣論。
本書可作為研究生和高年級本科生的教材，也可作為計算數學及套用學科中需要科學計算的科技工作者的參考書。
第一章 預備知識
§1.1 引言
§1.2 特徵值和特徵向量
§1.3 矩陣分解
1.3.1 若干基本分解
1.3.2 SVD 的推廣
§1.4 Hermite矩陣的特徵值和矩陣的奇異值
1.4.1 Hermite矩陣特徵值的極小極大定理
1.4.2 矩陣奇異值的極小極大定理
§1.5 廣義逆
1.5.1 Moore-Penrose逆
1.5.2 其他廣義逆
§1.6 投影
1.6.1 冪等矩陣和投影
1.6.2 正交投影
1.6.3 投影AA†和A†A的幾何意義
§1.7 範數
1.7.1 向量範數
1.7.2 矩陣範數
§1.8 行列式，Hadamard不等式和Kronecker乘積
1.8.1 Binet-Cauchy公式
1.8.2 Hadamard不等式
1.8.3 Kronecker乘積
§1.9 矩陣廣義逆的進一步討論
1.9.1 矩陣乘積廣義逆的反序律
1.9.2 加邊矩陣的廣義逆
1.9.3 矩陣加權廣義逆的結構
習題一
第二章 奇異值，奇異子空間和MP逆的擾動
§2.1 酉不變範數的性質
2.1.1 von Neumann定理
2.1.2 SG 函式
2.1.3 酉不變範數的性質
§2.2 奇異值的擾動和降秩最佳逼近
2.2.1 奇異值的擾動
2.2.2 降秩最佳逼近
§2.3 正交投影和奇異子空間的擾動
§2.4 MP逆的擾動
習題二
第三章 線性最小二乘問題
§3.1 線性最小二乘問題
3.1.1 線性最小二乘及其等價性問題
3.1.2 LS問題的正則化
§3.2 LS問題的擾動
§3.3 若干矩陣方程的LS解
§3.4 加權最小二乘問題
§3.5 WLS問題的誤差估計
3.5.1 第一種類型的誤差界
3.5.2 第二種類型的誤差界
習題三
第四章 總體最小二乘問題
§4.1 總體最小二乘問題及其解集
4.1.1 總體最小二乘問題的定義
4.1.2 TLS問題的解集
§4.2 TLS和截斷的LS問題的擾動
4.2.1 TLS問題的擾動
4.2.2 截斷的LS問題的擾動
§4.3 TLS和截斷的LS問題的比較
4.3.1 TLS和截斷的LS問題的解的比較
4.3.2 TLS和截斷的LS問題殘量的比較
4.3.3 TLS和截斷的LS問題極小F範數修正矩陣的比較
4.3.4 一個實例
§4.4 推廣的降秩最佳逼近定理
§4.5 LS-TLS問題
§4.6 約束總體最小二乘問題
習題四
第五章 等式約束最小二乘問題
§5.1 等式約束最小二乘問題
5.1.1 等式約束最小二乘問題的定義與解集
5.1.2 等式約束最小二乘問題的等價性問題
§5.2 關於KKT方程
5.2.1 WLS問題的KKT方程
5.2.2 LSE和 WLS問題的KKT方程解的比較
5.2.3 對應於B和B(τ)零特徵值的特徵子空間
§5.3 LSE問題的誤差估計
§5.4 等式約束加權最小二乘問題
5.4.1 等式約束加權最小二乘問題的定義與解集
5.4.2 加權最小二乘問題的等價性問題
§5.5 WLSE問題的擾動
§5.6 多重約束MP逆和多重約束最小二乘問題
§5.7 嵌入總體最小二乘問題
習題五
第六章 加權MP逆和約束加權MP逆的上確界
§6.1 基本問題
§6.2 加權MP逆的上確界
§6.3 約束加權MP逆的上確界
§6.4 雙側加權MP逆的上確界
習題六
第七章 WLS問題和WLSE問題的穩定性擾動
§7.1 加權MP逆和約束加權MP逆的穩定性
7.1.1 加權MP逆的穩定性
7.1.2 約束加權MP逆的穩定性
7.1.3 雙側加權MP逆的穩定性
§7.2 加權投影矩陣的擾動上界
§7.3 加權最小二乘問題的穩定性擾動
§7.4 約束加權最小二乘問題的穩定性擾動
習題七
第八章 剛性加權最小二乘問題
§8.1 預備知識
§8.2 剛性加權最小二乘和多重約束最小二乘問題
§8.3 剛性加權投影矩陣和剛性加權MP逆的擾動
§8.4 剛性加權最小二乘問題的擾動
習題八
第九章 廣義最小二乘問題的直接解法
§9.1 基本知識
9.1.1 算法和浮點運算
9.1.2 正定矩陣線性方程組的數值計算
9.1.3 矩陣的預條件處理
§9.2 正交分解的數值計算
9.2.1 QR分解
9.2.2 完全正交分解
9.2.3 奇異值分解
§9.3 最小二乘問題的直接解法
9.3.1 QR分解方法
9.3.2 法方程法
9.3.3 完全正交分解方法
9.3.4 SVD方法
§9.4 總體最小二乘問題的直接解法
9.4.1 基本SVD方法
9.4.2 完全正交方法
9.4.3 Cholesky分解法
§9.5 約束最小二乘問題的數值解法
9.5.1 零空間法
9.5.2 加權LS法
9.5.3 直接消去法
9.5.4 QR分解和Q-SVD方法
§9.6 剛性WLS問題和剛性WLSL問題的直接解法
9.6.1 行穩定的QR分解
9.6.2 剛性WLS問題的穩定解法
9.6.3 剛性WLSE問題的穩定解法
習題九
第十章 廣義最小二乘問題的疊代解法
§10.1 基本知識
10.1.1 Chebyshev多項式
10.1.2 分裂疊代法的基本理論
10.1.3 實對稱三對角矩陣的特徵值的範圍
§10.2 最小二乘解的疊代算法
10.2.1 分裂疊代法
10.2.2 Krylov子空間法
10.2.3 預條件對稱-反對稱分裂疊代法
§10.3 總體最小二乘問題的疊代解法
10.3.1 部分SVD方法
10.3.2 雙對角化方法
§10.4 剛性加權最小二乘問題的疊代解法
習題十
第十一章 非線性最小二乘問題的疊代解法
§11.1 基本知識
11.1.1 Gateaux導數和 Frechet導數
11.1.2 基本算法
§11.2 Gauss-Newton型方法
11.2.1 Gauss-Newton方法
11.2.2 阻尼Gauss-Newton方法
11.2.3 信賴域方法
§11.3 Newton型方法
11.3.1 Newton疊代法
11.3.2 混合Newton疊代法
11.3.3 擬Newton疊代法
§11.4 可分離問題和約束問題
11.4.1 可分離問題
11.4.2 約束非線性最小二乘問題
習題十一
