度量矩陣的意義
"度量矩陣" 英文對照 :
measure matrix;gram;
線性空間
對於線性空間中的任意一個向量的表示由基(相當於度量單位)和坐標(相當於具體的尺度),基既然作為度量標準了,當然要求對每一個向量都適用,同時這個標準本身也應該儘可能的簡潔,那么就得到了基定義的兩點約束 1、基的組成向量線性無關;2、線性空間中的任一個向量都可以由基的線性表示。
基作為一種“計量標準”,當然可能會存在多種形式,只要滿足上面的兩點條件,因而就有必要解決不同的度量標準之間的轉換關係,從而得到過渡矩陣的概念,同時可以使用這種轉換關係(過渡矩陣)去完成度量量(坐標)之間的轉換。
線性交換
在完成了線性空間這一對象的認識和表達之後,下面需要研究對象和對象之間的關係。這裡主要是線性變換,線性變換針對於實際對象主要完成類似於鏇轉和尺度變換方面的操作,而這種操作也牽涉到表達的問題。為了保持與空間的一致性,我們也同樣是在在特定的基下來表示,從而線性變換就具體化為一個變換矩陣,並且,在不同的基下對應的變換矩陣當然也不相同,這裡的不同的變換矩陣的關係就是相似的概念。
到此,我們完成了空間中向量的表示和線性變換的矩陣表達。這裡涉及了基、坐標、過渡矩陣、變換矩陣、相似矩陣這幾個重要的概念。上面算是內涵上的認識,下面我們需要知道線性空間裡究竟有些什麼東西,它是如何組成的,各個組成成分之間的關係,也就是空間的結構性方面的東西。
子空間
定義
當然既然也是空間,也就要滿足空間的加法和數乘的封閉性,要滿足那八條定律。後者可以由父空間保證,前面的就要子空間自身素質了。同時要看子空間之間的並、交、直和運算和相應的秩的關係。這裡提到了維數,就要多說幾句了,空間中的元素往往是連續過渡的,但是對於有限空間而言還有離散的性質,那就是維數,我稱其為“不伸則已,一伸則增一”,從這也就說明了為什麼可以用若干個子空間的直和可以等價於原線性空間。
子空間的形式
子空間的形式很多,有生成子空間、值域空間、零空間和特徵子空間等等,我們重點看看特徵子空間。一個空間可以劃分為若干個特徵子空間的直和形式,而每個特徵子空間的共同特徵就是具有相同的特徵值,範圍就是對應著這個特徵值的若干特徵向量的生成子空間。
子空間的劃分
因為我們在平時的研究中,整個線性空間太大了,我們需要縮小研究範圍,某一個或幾個特徵子空間就夠了。或者是模式分類時,每一個樣本點就屬於某個子空間,我們首先需要知道有哪些類,類的特點是什麼,這就是特徵子空間。當然對於協方差矩陣而言,特徵值還具有能量屬性,在清楚各個特徵子空間的位置,我們可以通過某些變換改變這些子空間的空間分布。在系統研究中,還可以在清楚特徵子空間分布後成功地實現系統或方程的解耦。呵呵,可能其用途很多很多,但關鍵的一點就是,我們必須認識空間的結構,在此基礎上再結合對應的物理空間或幾何空間的實際意義進行進一步的處理。
人心苦不足,在知道了上面的東西之後,大家在想,可視的二維平面和三維立體空間中,為了研究向量的長度及向量和向量之間的角度,提出了內積的概念,線上性空間中,人們也對內積的概念作了延拓,於是在原先的線性空間添油加醋改裝成了內積空間(分為實數的歐式空間和復內積空間),這裡的油醋就是以下的四點:1、交換律;2、分配律;3、齊次性;4、非負性。向量自身的內積開二次根得到長度,兩個向量內積除以兩個向量的長度得到角度的餘弦。所有這些都是與可視空間中的性質是一致的(可以參閱《由相容性想到的》)。這裡要注意的是,它只給出了內積的約束,但在具體的向量空間中內積的計算形式卻沒有硬性規定,要想量化內積,很自然地就是要知道,量化的標準是什麼,這就引出了度量矩陣(結合具體的內積計算式,計算得到的基的內積構成的矩陣)的概念。考慮到內積的非負性和交換律,度量矩陣必須是對稱正定矩陣。這裡也和前面一樣,度量矩陣是在一定基下定義的,當基變化了,度量矩陣也會發生改變,相同的內積定義式在不同的基下得到的度量矩陣是契約的,呵呵,又多了一個概念。而且,對稱變換、正交性也在內積這找到了家。
矩陣分析
視野範圍
老是待線上性代數的視野範圍內,終歸有些不爽,下面就正式進入了分析的領域,既然是矩陣分析,首先就是什麼是矩陣函式,該如何定義,當然書中是先從矩陣級數出發的,既然是級數,就會牽涉到部分和的收斂問題,收斂就是極限問題,如何定義矩陣的極限?
矩陣極限的定義
最原始的就是按坐標收斂,不過那么多的元素要收斂,太累了!怎么辦呢?其實這從本質上來說是多元衡量尺度一元化的問題,於是就找出了範數的概念,用一個範數來代替多個元素的收斂問題討論。
不同矩陣的範數
不同矩陣範數的等價性保證了函式極限的一致性。在某種程度上範數成了距離的代名詞,但要注意的是範數的概念要比距離強得多(主要是增加了絕對齊次性),我們會用範數去表示不同樣本之間的距離,用範數去表示誤差程度,用範數去衡量許許多多的表示某種程度的量。
小結
其實總結到此本來可以宣告結束,但是隨著計算技術的發展,諸如線性方程組求解、矩陣求逆等問題都需要一些補充內容:
1、矩陣分解(簡化方程求解)
2、廣義逆(病態矩陣和一般矩陣的求逆問題)不過其最小二乘性質還真好使。
3、特徵值估計(求高階的多項式方程可是要命的事,大概知道特徵值和特徵空間的位置對於一定的套用場合就可以了)