圖像融合

圖像融合（Image Fusion）是指將多源信道所採集到的關於同一目標的圖像數據經過圖像處理和計算機技術等，最大限度的提取各自信道中的有利信息，最后綜合成高質量的圖像，以提高圖像信息的利用率、改善計算機解譯精度和可靠性、提升原始圖像的空間解析度和光譜解析度，利於監測。待融合圖像已配準好且像素位寬一致。圖像融合分為三個層次：數據級融合、特徵級融合、決策級融合。對圖像融合存在兩個問題：最佳小波基函式的選取和最佳小波分解層數的選取。

基本信息

• 中文名：圖像融合
• 英文名：Image fusion

• 性質：融合
• 屬性：圖像

定義

圖像融合（Image Fusion）是指將多源信道所採集到的關於同一目標的圖像數據經過圖像處理和計算機技術等，

最大限度的提取各自信道中的有利信息，最后綜合成高質量的圖像，以提高圖像信息的利用率、改善計算機解譯精度和可靠性、提升原始圖像的空間解析度和光譜解析度，利於監測。

優點

高效的圖像融合方法可以根據需要綜合處理多源通道的信息，發展系統對目標探測識別的可靠性和系統的自動化程度。其目的是將單一信源的針對同一目標的不同時間的圖像信息或不同類感測器所提供的同一目標的信息加以融合，消除多感測器信息之間存在的冗餘信息和矛盾，並通過一系列圖像處理技術和方法（在圖像融合步驟中都有體現），增強影像中信息的透明度，改善解譯圖像的精確度、可靠性和使用率，以形成對目標的清晰、完整、準確的描述，為軍事套用和非軍事套用提供更準確的指導。

諸多方面的優點使得圖像融合在醫學、遙感、計算機視覺、氣象預報和軍事目標識別等方面的套用潛力得到了更加充分認識和重視，尤其在軍事套用方面。圖像融合被認為是克服目前某些難點的技術方向。在航天、航空多種運載平台上，各種感測器所獲得的大量光譜遙感圖像(Hyperspectral remote sensing image)數據，為目標信息的高效提取提供了良好的處理對象。同時，圖像融合也是當代戰爭中的高端技術和亮點。人們在實踐中將圖像融合理論和技術得到進一步的認識、發展和提高，並迅速逐步轉向實時性圖像處理技術。

層次

圖像融合

圖像融合由低到高分為三個層次：數據級融合、特徵級融合、決策級融合。

這三個等級的區別在於對信息的抽象程度。數據級圖像融合，是指直接對感測器採集來得數據進行處理而獲得融合圖像的過程。它是高層次圖像融合的基礎，也是目前圖像融合研究的重點之一。這種融合的優點是保持儘可能多得現場原始數據，提供其它融合層次所不能提供的細微信息。

常見的圖像融合算法有IHS算法、PCA算法、Brovey算法和小波算法等。由於不同算法具有不同的優缺點，算法互補也是一個熱門研究領域和發展方向。

針對融合後的圖像進行算法評價也是不可或缺的。融合圖像的評價參數通常分為基於信息量的評價參數（如：信息熵、交叉熵、聯合熵等）、基於統計特徵的評價參數（如：均值，中值、標準差、均方差等）、基於相關性的評價參數（如：偏差指數、相關係數等）和基於梯度值的評價參數（如：平均梯度等）。針對實時性系統，完成圖像融合全過程的實際消耗時間也是一個關鍵的參數。

數據級融合也稱像素級融合，是指直接對感測器採集來得數據進行處理而獲得融合圖像的過程，它是高層次圖像融合的基礎，也是圖像融合研究的重點之一。這種融合的優點是保持儘可能多得現場原始數據，提供其它融合層次所不能提供的細微信息。

像素級融合中有空間域算法和變換域算法，空間域算法中又有多種融合規則方法，如邏輯濾波法，灰度加權平均法，對比調製法等；變換域中又有金字塔分解融合法，小波變換法。其中的小波變換是當前最重要，最常用的方法。

方式

主成分變換融合圖像

a)主成分變換融合（PrincipleComponent）主成份變換融合是建立在圖像統計特徵基礎上的多維性變換，具有方差信息濃縮、數據量壓縮的作用，可以更準確地揭示多波段數據結構內部的遙感信息，常常是以高解析度數據替代多波段數據變換以後第一主成份來達到融合的目的。該方法的最大優點是可以套用任意數目的波段，它對N個波段的低解析度圖像進行主成份分析(PCA:PrincipalComponentAnalysis)，將單波段的高解析度圖像經過灰度拉伸，使其灰度的均值和方差和PCA變換第1分量圖像一致；然後以拉伸過的高分辨圖像代替第1分量圖像，經過PCA逆變換還原到原始空間，融合後的圖像包括兩幅原始圖像的高空間解析度和多光譜信息特徵。融合圖像上目標的細部特徵更加清晰，光譜信息更加豐富，其理論基礎是圖像統計特徵。

b)乘積變換融合（Mutiplicative）乘積變換融合是套用最基本的乘積組合算法直接對兩種空間解析度的遙感數據進行合成。將一定亮度的圖像進行變換處理時，只有乘法變換可以使其顏色保持不變。該融合算法是在原始圖像上進行操作，結果將增強某些信息的表現，在很多城市和郊區環境研究城市規劃，基礎設施建設中，用戶經常希望道路、農場等特徵能夠被識別出來，套用該方法將使上述特徵得到增強，該方法簡單，占用的機器資源少，但結果圖像不保留輸入的多光譜圖像的輻射(反射)信息。其融合公式如下
DTM×DSPOT=DTMnew

c)比值變換融合（BroveyTransform）比值變換融合是將輸入遙感數據的3個波段按照公式進行計算，獲得融合以後各波段的數值。Brovey變換融合方法是將遙感圖像的3個波段，按照下列公式進行計算，獲得融合後各波段的數值
[DR/(DR+DG+DB)]×Dhires=DRnew
[DG/(DR+DG+DB)]×Dhires=DGnew
[DB/(DR+DG+DB)]×Dhires=DBnew
其中，R、G、B為圖像的紅、綠、藍波段數值，Dhires代表高解析度遙感圖像。

效果

乘積變換融合圖像

a)主成分變換融合（PrincipleComponent）從影像空間分辨力、清晰度看，變換融合的影像在分辨力、清晰度都較原始多波段圖像有很大提高。在融合影像上能清晰分辨出田塊邊界、道路、居民地輪廓等線性地物和一些小的水體等（由於此文檔較小，如拿原檔案在ERDAS上，可清晰看見這些地物。），而這些在原影像上就較難分辨。一些小的水體在原始圖像上幾乎無法辨認，在融合的圖像上則可以清晰的辨認出。

從光譜特徵看，融合後的彩色合成圖像的色彩整體同原多光譜彩色合成影像相似，但植被在採用主成份變換融合的影像上比採用HIS融合的影像上更容易識別。總體來說，融合後的影像更利於目視解譯。

b)乘積變換融合（Mutiplicative）這種方法是三種常用融合方法中最簡單、耗時最少的方法，但是這種方法改變了多光譜數據的輻射信息，圖像的亮度成分被增加，所以在城市、郊區研究中，經常用這種方法把城市道路、人工特徵等高反射特徵地物突顯出來。

通過乘積變換融合得到的融合圖像，可看出其亮度成分得到了增加，增強影像的細節反差。並且顏色過渡得較為自然，肉眼所看較為舒服。

c)比值變換融合（BroveyTransform）這種方法融合結果色調非常良好，幾乎完整地保持了原始影像的色調信息。而且它可以增加圖像直方圖高低部分的比率，提供城市中陰影、水體和高反射地物的對比，因此它可以產生一幅更高程度反映圖像直方圖高低部分對比的RGB圖像。但是這種方法對多光譜圖像的輻射信息有一定程度的改變。經融合後，明顯感覺解析度得到大大的提高，地物更為突出。