流程
圖像配準 相關書籍配準技術的流程如下：首先對兩幅圖像進行特徵提取得到特徵點；通過進行相似性度量找到匹配的特徵點對；然後通過匹配的特徵點對得到圖像空間坐標變換參數；最後由坐標變換參數進行圖像配準。而特徵提取是配準技術中的關鍵，準確的特徵提取為特徵匹配的成功進行提供了保障。因此，尋求具有良好不變性和準確性的特徵提取方法，對於匹配精度至關重要。
研究工作
圖像配準的方法迄今為止，在國內外的圖像處理研究領域，已經報導了相當多的圖像配準研究工作，產生了不少圖像配準方法。總的來說，各種方法都是面向一定範圍的套用領域，也具有各自的特點。比如計算機視覺中的景物匹配和飛行器定位系統中的地圖匹配，依據其完成的主要功能而被稱為目標檢測與定位，根據其所採用的算法稱之為圖像相關等等。
基本方式
圖像配準的方式
圖像配準的方式可以概括為相對配準和絕對配準兩種：相對配準是指選擇多圖像中的一張圖像作為參考圖像，將其它的相關圖像與之配準，其坐標系統是任意的。絕對配準是指先定義一個控制格線，所有的圖像相對於這個格線來進行配準，也就是分別完成各分量圖像的幾何校正來實現坐標系的統一。本文主要研究大幅面多圖像的相對配準，因此如何確定多圖像之間的配準函式映射關係是圖像配準的關鍵。通常通過一個適當的多項式來擬合兩圖像之間的平移、旋轉和仿射變換，由此將圖像配準函式映射關係轉化為如何確定多項式的係數，最終轉化為如何確定配準控制點（RCP）。
圖像配準方法
根據如何確定RCP的方法和圖像配準中利用的圖像信息區別可將圖像配準方法分為三個主要類別：基於灰度信息法、變換域法和基於特徵法，其中基於特徵法又可以根據所用的特徵屬性的不同而細分為若干類別。以下將根據這一分類原則來討論已經報導的各種圖像配準方法和原理。
灰度信息
緒論
基於灰度信息的圖像配準方法一般不需要對圖像進行複雜的預先處理，而是利用圖像本身具有灰度的一些統計信息來度量圖像的相似程度。主要特點是實現簡單，但套用範圍較窄，不能直接用於校正圖像的非線性形變，在最優變換的搜尋過程中往往需要巨大的運算量。經過幾十年的發展，人們提出了許多基於灰度信息的圖像配準方法，大致可以分為三類：互相關法（也稱模板匹配法）、序貫相似度檢測匹配法、互動信息法。
互相關法
互相關法是最基本的基於灰度統計的圖像配準的方法，通常被用於進行模板匹配和模式識別。它是一種匹配度量，通過計算模板圖像和搜尋視窗之間的互相關值，來確定匹配的程度，互相關值最大時的搜尋視窗位置決定了模板圖像在待配準圖像中的位置。
圖像配準設 A圖像為參考圖像或基準圖像，表示為 ， B為要進行校正後與 A配準的圖像，表示為 ，在 A圖像中選擇幾塊包含特徵信息豐富的小區域 作模板 ，在 圖像重疊部分選擇一個重疊區域作為模板的搜尋區域 ，並使得 ，即 ，如圖14－3所示。然後把每一個模板 放在與其對應的搜尋區中，通過兩者的相對移動，在逐行逐列的每個位置上，計算 與其覆蓋的搜尋區 中那部分之間的相似性，產生出表明兩者相似程度最大的函式值的位置 。設在待配準圖像 B搜尋到的相似區域為 ，再以 為模板，再用同樣的方法在參考圖像中去搜尋相似程度最大的函式值的區域 ，設定一個閾值Z，如果 ，則認為 和 重合， B圖像中的位置 就是 B圖像與 A圖像 相匹配的位置；反之，則認為特徵區域匹配不正確，即偽匹配。 兩幅圖像之間的相似度評測標準，可以採用不同的方法，主要有下面三種：
14－3 模板匹配示意圖 圖
Fig.14－3 Sample image of template matching
A. 均方和
（14－7）
B. 蘭氏距離
（14－8）
C.歸一化標準相關係數
（14－9）
其中，在定義式中，
表示的是模板子圖像中第 行和第 列的像素的灰度值；
是匹配圖像中參考點 處的參考子圖像上的第 行和第 列的像素的灰度值；
和 分別代表兩個子圖像內像素灰度的均值；
而定義式的左邊各自代表模板子圖像 和另一個圖像中的參考點 處的子圖像 的相似性測度。
這三個公式中，前兩個的極小值代表了可能的匹配位置，後一個公式的極大值代表了可能的匹配位置。其它的一些評測標準都是由這些基本的評測標準引申出來的。如相關係數和標準相關係數都是歸一化標準相關係數的簡化形式，從本質上都是相同的。
序貫相似度檢測匹配法（SSDA）
序貫相似度檢測匹配法（Sequential Similarity Detection Algorithms，SSDA）是由Barnea等人提出來的。SSDA方法的最主要的特點是處理速度快。該方法先選擇一個簡單的固定門限 T，若在某點上計算兩幅圖像殘差和的過程中，殘差和大於該固定門限 T，就認為當前點不是匹配點，從而終止當前的殘差和的計算，轉向別的點去計算殘差和，最後認為殘差和增長最慢的點就是匹配點。
基本思想
這種方法的基本思想是基於對誤差的積累進行分析。所以對於大部分非匹配點來說，只需計算模板中的前幾個像素點，而只有匹配點附近的點才需要計算整個模板。這樣平均起來每一點的運算次數將遠遠小於實測圖像的點數，從而達到減少整個匹配過程計算量的目的。
在SSDA算法中，參考圖像與待配準圖像之間的相似度評測標準是通過函式 來度量的，公式如下：
（14－10）
其中殘差和 ，坐標是從待配準圖像中，隨機抽取得到的非重複的點坐標序列。 越大，表示誤差增長越慢，即兩幅圖像越相似。這種方法的關鍵是閾值 T的選擇，它不僅影響到算法的運算速度，同時還影響到算法的匹配精度。
互動信息
互動信息法最初是Viola等人於1995年把互動信息引入到圖像配準的領域的，它是基於信息理論的互動信息相似性準則。初衷是為了解決多模態醫學圖像的配準問題。
互動信息用來比較兩幅圖像的統計依賴性。首先將圖像的灰度視作具有獨立樣本的空間均勻隨機過程，相關的隨機場可以採用高斯—馬爾科夫隨機場模型建立，用統計特徵及機率密度函式來描述圖像的統計性質。互動信息是兩個隨機變數A和B之間統計相關性的量度，或是一個變數包含另一個變數的信息量的量度。
互動信息 是用 A和 B的個體熵 和 和聯合熵 來表示：
（14－11）
其中：
這裡 分別為隨機變數 A和 B的邊緣機率密度； 為兩個隨機變數的聯合機率密度分布。互動信息用於圖像配準的關鍵思想是：如果兩幅圖像達到匹配，它們的互動信息達到最大值。在圖像配準套用中，通常聯合機率密度和邊緣機率密度可以用兩幅圖像重疊區域的聯合機率直方圖和邊緣機率直方圖來估計，或者用Parzen窗機率密度估計法來估計，從而來計算互動信息。
互動信息圖像配準方法一經提出，有不少基於此類的研究，尤其在醫學圖像的配準問題上。比如將互動信息和梯度結合起來改善其極值性能的算法、多解析度圖像金字塔法等等。但互動信息是建立在機率密度估計的基礎上的，有時需要建立參數化的機率密度模型，它要求的計算量很大，並且要求圖像之間有很大的重疊區域，由此函式可能出現病態，且有大量的局部極值。
變換域
傅氏變換
最主要的變換域的圖像配準方法是傅氏變換方法，它主要有以下一些優點：圖像的平移、旋轉、仿射等變換在傅氏變換域中都有相應的體現；利用變換域的方法還有可能獲得一定程度的抵抗噪聲的魯棒性；由於傅氏變換有成熟的快速算法和易於硬體實現，因而在算法實現上有其獨特的優勢。
相位相關技術是配準兩幅圖像平移失配的基本傅氏變換方法。相位相關依據的是傅氏變換的平移性質。給定兩幅圖像，它們之間的唯一區別是存在一個位移 ，即：
（14－12）
則它們之間的傅氏變換 滿足下式：
（14－13）
它們之間的共扼傅氏變換 和 滿足下式：
（14－14）
這就是說兩幅圖像有相同的傅氏變換幅度和不同的相位關係，而相位關係是由它們之間的平移直接決定的。兩幅圖像的交叉功率譜如下：
（14－15）
這裡*為共扼運算，可以看出兩幅圖像的相位差就等於它們交叉功率譜的相位。對其進行傅立葉反變換會得到一個脈衝函式，它在其他各處幾乎為零，只在平移的位置上不為零。這個位置就是要確定的配準位置。
旋轉
旋轉在傅氏變換中是一個不變數。根據傅氏變換的旋轉性質，旋轉一幅圖像，在頻域相當於對其傅氏變換作相同的角度的旋轉。兩幅圖像 之間的區別是一個平移量 和一個旋轉量 ，它們的傅氏變換滿足下式：
（14－16）
設 的幅度分別為： ，則有：
（14－17）
容易看出，兩個頻譜的幅度是一樣的，只是有一個旋轉關係。也就是說，這個旋轉關係通過對其中一個頻譜幅度進行旋轉，用最最佳化方法尋找最匹配的旋轉角度就可以確定。
特徵
共同之處
基於特徵的匹配方法的共同之處是首先要對待配準圖像進行預處理，也就是圖像分割和特徵提取的過程，再利用提取得到的特徵完成兩幅圖像特徵之間的匹配，通過特徵的匹配關係建立圖像之間的配準映射關係。由於圖像中有很多種可以利用的特徵，因而產生了多種基於特徵的方法。常用到的圖像特徵有：特徵點（包括角點、高曲率點等）直線段、邊緣、輪廓、閉合區域、特徵結構以及統計特徵如矩不變數、重心等等。
點
是配準中常用到的圖像特徵之一，其中主要套用的是圖像中的角點，圖像中的角點在計算機視覺模式識別以及圖像配準領域都有非常廣泛的套用。基於角點的圖像配準的主要思路是首先在兩幅圖像中分別提取角點，再以不同的方法建立兩幅圖像中角點的相互關聯，從而確立同名角點，最後以同名角點作為控制點，確定圖像之間的配準變換。由於角點的提取已經有了相當多的方法可循，因此基於角點的方法最困難的問題就是怎樣建立兩幅圖像之間同名點的關聯。已報導的解決點匹配問題的方法包括鬆弛法、相對距離直方圖聚集束檢測法、Hausdorff距離及相關方法等等。這些方法都對檢測到的角點要求比較苛刻，比如有求同樣多的數目，簡單的變換關係等等，因而不能適應普遍的配準套用。
匹配質量
基於圖像配準的原理、步驟和方法，以及如何確定圖像配準的準則，知道影像匹配的速度、精度和可靠性是評價匹配質量好壞的三個重要指標。如何儘可能提高匹配質量、特別在精度和可靠性滿足的前提下進一步提高影像匹配速度，一直是計算機視覺、模式識別等領域研究的課題。
