名詞定義
範數
範數，是具有“長度”概念的函式。線上性代數、泛函分析及相關的數學領域，範數是一個函式，是矢量空間內的所有矢量賦予非零的正 長度或 大小。半範數可以為非零的矢量賦予零長度。
定義範數的矢量空間是賦范矢量空間；同樣，定義半範數的矢量空間就是賦半范矢量空間。
註：在二維的歐氏幾何空間 R中定義歐氏範數，在該矢量空間中，元素被畫成一個從原點出發的帶有箭頭的有向線段，每一個矢量的有向線段的長度即為該矢量的歐氏範數。
半範數
範數
範數
範數
範數假設 是域 上的矢量空間， V的 半範數是一個函式 ， ，滿足：
範數
範數（非負性）
範數（正值齊次性）
範數(三角不等式).
範數=半範數+ 額外性質
賦范線性空間
範數
範數
範數若 是數域上的線性空間，泛函 滿足：
範數
範數(1)正定性： ，且 ；
範數(2)正齊次性： ；
範數(3)次可加性（三角不等式）： 。
範數 範數那么， 稱為 上的一個範數。
如果線性空間上定義了範數，則稱之為 賦范線性空間。
範數
範數若且唯若 是零矢量(正定性）時， 是零矢量；若拓撲矢量空間的拓撲可以被 範數導出，那么這個拓撲矢量空間被稱為賦范矢量空間。
內積、度量、拓撲和範數的關係
範數 範數
範數(1) 範數 度量 拓撲： ，因此賦范線性空間是 度量空間；但是由度量不一定可以得到範數。
範數(2) 如果賦范線性空間作為（由其範數自然誘導度量 的）度量空間是完備的，即任何柯西(Cauchy）序列在其中都收斂，則稱這個賦范線性空間為 巴拿赫（Banach）空間。
範數
範數
範數(3) 內積 範數： ；範數不一定可以推出內積；當範數滿足平行四邊形公式 時，這個範數一定可以誘導內積；完備的內積空間稱為希爾伯特空間。
(4) 如果去掉範數定義中的正定性，那么得到的泛函稱為半範數（seminorm或者叫準範數），相應的線性空間稱為 賦準范線性空間。
範數
範數對於X上的兩種範數 ， ，若存在正常數C滿足：
範數 範數 範數 範數 範數 範數 範數那么稱 弱於 。如果 弱於 且 弱於 ，那么稱這兩種範數等價。
可以證明，有限維空間上的範數都等價，無限維空間上至少有阿列夫（實數集的基數）種不等價的範數。
運算元範數
範數
範數
範數
範數
範數如果 和 是巴拿赫空間， 是 的線性運算元，那么可以按下述方式定義 ：
範數根據定義容易證明：
範數
範數對於多個空間之間的複合運算元，也有， 。
如果一個線性運算元T的範數滿足
範數那么稱T是有界線性運算元，否則稱T是無界線性運算元。
如，在常用的範數下，積分運算元是有界的，微分運算元是無界的。
容易證明，有限維空間的所有線性運算元都有界。
空間範數
基本性質
有限維空間上的範數具有良好的性質，主要體現在以下幾個定理：
性質1：
對於有限維賦范線性空間的任何一組基，範數是元素（在這組基下）的坐標的連續函式。
性質2（ Minkowski定理）：
有限維線性空間的所有範數都等價。
性質3（Cauchy收斂原理）：
實數域（或複數域）上的有限維線性空間（按任何範數）必定完備。
性質4：
有限維賦范線性空間中的序列按坐標收斂的充要條件是它按任何範數都收斂。
常用範數
這裡以C 空間為例，R 空間類似。
範數最常用的範數就是p-範數。若 ，那么
範數可以驗證p-範數確實滿足範數的定義。其中三角不等式的證明不是平凡的，這個結論通常稱為閔可夫斯基(Minkowski）不等式。
範數當p取 的時候分別是以下幾種最簡單的情形：
1-範數：║x║1=│x│+│x│+…+│x│
2-範數：║x║2=（│x│ +│x│ +…+│x│ ）
∞-範數：║x║∞=max（│x│，│x│，…，│x│）
其中2-範數就是通常意義下的距離。
對於這些範數有以下不等式：║x║ ≤ ║x║ ≤ ║x║ ≤ n ║x║ ≤ n║x║
另外，若p和q是赫德爾（Hölder）共軛指標，即1/p+1/q=1，那么有赫德爾不等式：
|<x,y>| = ||x *y| ≤ ║x║║y║
當p=q=2時就是柯西-許瓦茲（Cauchy-Schwarz）不等式。
矩陣範數
範數一般來講矩陣範數除了正定性，齊次性和三角不等式之外，還規定其必須滿足相容性： 。所以矩陣範數通常也稱為相容範數。
如果║·║是相容範數，且任何滿足║·║≤║·║的範數║·║都不是相容範數，那么║·║稱為極小範數。對於n階實方陣（或複方陣）全體上的任何一個範數║·║，總存在唯一的實數k>0，使得k║·║是極小範數。
註：如果不考慮相容性，那么矩陣範數和向量範數就沒有區別，因為mxn矩陣全體和mn維向量空間同構。引入相容性主要是為了保持矩陣作為線性運算元的特徵，這一點和運算元範數的相容性一致，並且可以得到Mincowski定理以外的信息。
誘導的範數
把矩陣看作線性運算元，那么可以由向量範數誘導出矩陣範數
║A║ = max{║Ax║：║x║=1}= max{║Ax║/║x║： x≠0}
它自動滿足對向量範數的相容性
║Ax║ ≤ ║A║║x║
並且可以由此證明：
║AB║ ≤ ║A║║B║。
註：
⒈ 上述定義中可以用max代替sup是因為有限維空間的單位閉球是緊的（有限開覆蓋定理），從而上面的連續函式可以取到最值。
⒉ 單位矩陣的運算元範數為1。
常用的三種p-範數推導出的 矩陣範數 ：
1-範數：
║A║ = max{ ∑|a|，∑|a|，……，∑|a| } （列和範數，A每一列元素絕對值之和的最大值）（其中∑|a|第一列元素絕對值的和∑|a|=|a|+|a|+...+|a|，其餘類似）；
2-範數：
║A║ = A的最大奇異值 = (max{ λ(A *A) }) （譜範數，即A^H*A特徵值λ中最大者λ的平方根，其中A 為A的轉置共軛矩陣）；
∞-範數：
║A║ = max{ ∑|a|，∑|a|,...，∑|a| } （行和範數，A每一行元素絕對值之和的最大值）（其中∑|a| 為第一行元素絕對值的和，其餘類似）；
其它的p-範數則沒有很簡單的表達式。
對於p-範數而言，可以證明║A║=║A ║，其中p和q是共軛指標。
簡單的情形可以直接驗證：║A║=║A ║，║A║=║A ║，一般情形則需要利用║A║=max{y *A*x：║x║=║y║=1}。
非誘導範數
有些矩陣範數不可以由向量範數來誘導，比如常用的Frobenius範數（也叫Euclid範數，簡稱F-範數或者E-範數）：
║A║= （∑∑ a ） (A全部元素平方和的平方根）。
容易驗證F-範數是相容的，但當min{m,n}>1時F-範數不能由向量範數誘導（||E+E||=2>1）。
可以證明任一種矩陣範數總有與之相容的向量範數。
例：
定義║x║=║X║，其中X=[x,x，…，x]是由x作為列的矩陣。由於向量的F-範數就是2-範數，所以F-範數和向量的2-範數相容。
另外還有以下結論：
║AB║<= ║A║ ║B║
║AB║ ≤ ║A║ ║B║
矩陣譜半徑
定義：
A是n階方陣，λ是其特徵值，i=1,2，…，n。則稱特徵值的絕對值的最大值為A的譜半徑，記為ρ（A）。
注：注意要將譜半徑與譜範數（2-範數）區別開來，譜範數是指A的最大奇異值，即A *A最大特徵值的算術平方根。
譜半徑是矩陣的函式，但不是矩陣範數。譜半徑和範數的關係是以下幾個結論：
定理1：
譜半徑不大於矩陣範數，即ρ(A)≤║A║。
因為任一特徵對λ，x,Ax=λx，可得Ax=λx。兩邊取範數並利用相容性即得結果。
定理2：
對於任何方陣A以及任意正數e，存在一種矩陣範數使得║A║<ρ（A)+e。
定理3(Gelfand定理）：
ρ（A)=lim_{k->；∞} ║A ║1 。
推論：
推論1：矩陣序列 I,A,A ，…A ，… 收斂於零的充要條件是ρ（A)<1。
推論2：級數 I+A+A +... 收斂到（I-A) 的充要條件是ρ（A)<1。
酉不變範數
定義：
如果範數║·║滿足║A║=║UAV║對任何矩陣A以及酉矩陣U,V成立，那么這個範數稱為酉不變範數。
容易驗證，2-範數和F-範數是酉不變範數。因為酉變換不改變矩陣的奇異值，所以由奇異值得到的範數是酉不變的，比如2-範數是最大奇異值，F-範數是所有奇異值組成的向量的2-範數。反之可證明，所有的酉不變範數都和奇異值有密切聯繫：
Von Neumann定理：在酉不變範數和對稱度規函式（symmetric gauge function）之間存在一一對應關係。也就是說任何酉不變範數事實上就是所有奇異值的一個對稱度規函式。
