基本定義
灰度級變換(點運算)的定義
對於輸入圖像f(x，y)，灰度級變換T將產生一個輸出圖像g(x，y)，且g(x，y)的每一個像素值都是由f(x，y)的對應輸入像素點的值決定的，g(x，y)=T(f(x，y))。
對於原圖象f(x，y)和灰度值變換函式T(f(x，y))，由於灰度值總是有限個(如：O～2 5 5)，非幾何變換可定義為：R=T(r)，其中R、r（0，255）。
實現
灰度級變換(點運算)的實現
R=T(r)定義了輸入像素值與輸出像素之間的映射關係，通常通過查表來實現。
變換實例
1、圖象求反
2、對比度拉伸
3、動態範圍壓縮
4、灰度級切片
直方圖
總述
灰度直方圖(histogram)統計了圖象中各個灰度級的象素的個數。
計算
若圖象具有L級灰度(通常L=256，即8位灰度級)，則大小為m*n的灰度圖象f(x，Y)的灰度直方圖H[k]，k=0…L-1，可按如下步驟計算獲得：
1)初始化：for(k=0；k<L；k++)
H[k]=0；
2)統計：
for(x=0；x<m；x++)
for(y=0；y<n；y++)
H[f(x，y)]++；
3)規格化：
for(x=0；x<m；x++)
for(y=0；y<n；y++)
H(f(x，y))/=float(m(n))；
直方圖均衡化
直方圖均衡化是通過灰度變換將一幅圖象轉換為另一幅具有均衡化的直方圖，即在每個灰度級上都具有相同的象素點數的過程。
直方圖均衡化變換：設灰度變換s=f(r)為斜率有限的非減連續可微函式，它將輸入圖象Ii(x，y)轉換為輸出圖象Io(x，y)，輸入圖象的直方圖為Hi(r)，輸出圖象的直方圖為Ho(s)，則根據直方圖的含義，經過灰度變換後對應的小面積元相等：Ho(s)ds=Hi(r)dr
變換函式f(r)必須滿足下列2個條件：
(1)f(r) (O(r(1)是單值函式、且單調增加；
(2)O(f(r) (1，(O(r(1)。
上面第一個條件保證了灰度級從黑到白的次序，第二個條件保證了變換後象素的灰度級仍然在容許的範圍之內。r=f-l(s)為逆變換函式，同樣也要滿足上述條件。
直方圖修正的例子
假設有一幅圖像，共有6 4(6 4個象素，8個灰度級），試進行直方圖均衡化處理。根據公式可得：
s2=0.19+0.25+0.2l=0.65，
s3=0.19+0.25+0.2l+0.16=0.8l，
s4=0.89,s5=0.95，s6=0.98，s7=1．00。
由於這裡只取8個等間距的灰度級，變換後的s值也只能選擇最靠近的一個灰度級的值。因此，根據上述計算值可近似地選取：
sO"1/7，s 1¨3/7，s2¨5/7，s3"6/7，
s4¨6/7，s5¨1，s6¨l，s7¨1。
可見，新圖像將只有5個不同的灰度等級，於是我們可以重新定義其符號：
s'O=l/7，s’1=3/7，s'2=5/7，s’3=6/7，s’4=l。
因為由rO=O經變換映射到sO=1/7，所以有n0=790個象素取sO這個灰度值；由rl=3/7映射到sl=3/7，所以有1 02 3個象素取s 1這一灰度值；依次類推，有850個象素取s2=5/7這一灰度值；由於r3和r4均映射到s3=6/7這一灰度值，所以有656+329=98 5個象素都取這一灰度值；同理，有245+1 22+81=448個象素都取s4=1這一灰度值。上述值除以n=4096，便可以得到新的直方圖。離散情況下不可能作到絕對的一致。
直方圖的性質
在直方圖中，只知道具有某一灰度值的象素有多少個，但並不知道這些象素的位置；
一個圖像決定一個唯一的直方圖，但是有時不同的圖像具有相同的直方圖；
如果已知一幅圖像中各個區域的直方圖，則把它們加起來，就可得到這個圖像的直方圖。
典型用途
對圖像進行數位化時，利用直方圖可以檢查輸入圖像的灰度值在可利用的灰度範圍內分配得是否適當；
在醫學方面，為了改善X射線操作人員的工作條件，可採用低輻射X射線曝光，但這樣獲得的X光片灰度級集中在暗區，導致某些圖像細節無法看清，判讀困難。通過直方圖修正使灰度級分布在人眼合適的亮度區域，便可使X片中的細節清晰可見。
可以根據直方圖確定二值化的閾值；
當物體部分的灰度值比其它部分的灰度值大時，可以用直方圖求出物體的面積(實際上是象素數=灰度大於和等於q的象素的總和)；利用色彩直方圖可以進行基於顏色的圖象分割。
幾何變換
總述
幾何變換可改變圖象中物體(象素)之間的空間關係。這種運算可以看成將各象素在圖象內移動的過程。
幾何變換中灰度級插值是必不可少的組成部分，因為圖象一般用整數位置處的象素來定義，某個點經變換後可能映射到多個點之間。
仿射變換(Affine Transformation)和圖象卷繞(ImageWarping)是兩類常見的幾何運算。
灰度級插值
1、 最近鄰插值
最簡單的插值方法是最近鄰插值，即選擇離它所映射到的位置最近的輸入象素的灰度值為插值結果。
最鄰近插值的特點有：
1.簡單快速；
2.灰度保真好；
3.誤差較大；
4.視覺特性較差
5.馬賽克效應
2、雙線性插值：
雙線性插值，又稱為雙線性內插。在數學上，雙線性插值是有兩個變數的插值函式的線性插值擴展，其核心思想是在兩個方向分別進行一次線性插值。假如我們想得到未知函式f在點P(x,y)的值，假設我們已知函式f在Q11（x1,y1），Q12（x1,y2），Q21（x2,y1），Q22（x2,y2）四個點的值。如下圖所示：
圖像預處理首先在x進行線性插值，得到兩個點R1與R2：
圖像預處理,其中R1=（x,y1）;
圖像預處理,其中R2=（x,y2）;
然後在 y方向進行線性插值，得到所要求的點P(x,y)，點P(x,y)的值由下式給出：
圖像預處理,其中y1=f(R1)，y2=(R2)
這樣就得到了未知函式f在點P(x,y)的值，以下式子給出：
圖像預處理如果選擇一個坐標系統使得的四個已知點坐標分別為 (0, 0)、(0, 1)、(1, 0) 和 (1, 1)，如圖所示：
圖像預處理
圖像預處理那么插值公式就可以化簡為一個雙曲面拋物面方程的形式： 的形式，代入各個點的值則可以得到：
圖像預處理由此式可以得帶雙曲拋物面的各個參數的值為：
圖像預處理
圖像預處理
圖像預處理
圖像預處理線性插值的結果與插值的順序無關。首先進行 y方向的插值，然後進行 x方向的插值，所得到的結果是一樣的。
雙線性插值的一個顯然的三維空間延伸是 三線性插值
雙線性插值的特點：
1.計算過程中充分的考慮到了各鄰點的特徵，具有灰度平滑過渡的特點；
2.一般情況下可以得到滿意的結果；
3.具有低通濾波的特性，使圖像輪廓變的模糊；
4.平滑作用會使圖像細節退化，尤其是在放的的時候；
5.不連續性會產生不希望的結果。
3、 高階插值（三次卷積插值）：
在滿足Nyquist條件下，從離散信號X（nTs）可以恢復連續信號x（t）：
圖像預處理
圖像預處理sinc函式如圖所示：
為了簡化計算，僅取原點周圍有限範圍的函式（即高階插值）：
圖像預處理利用三次多項式來近似理論上的最佳插值函式sinc（x），得到以下式子：
圖像預處理當|x|<1時；
圖像預處理當1≤|x|≤2時；
圖像預處理當|x|>2時。
由此形成的三次卷積插值法，又稱三次內插法，兩次立方法（Cubic），CC插值法等。
利用插值點周圍的16個鄰點像素值：
圖像預處理首先確定輔助點位1p,2p,3p,4p各點的亮度值，再由此確定P點的值。由以下公式給出：
圖像預處理其中：
圖像預處理
圖像預處理
圖像預處理由此可以算出插值點P的的值。
三次卷積插值算法的特點：
1.是滿足Nyquist條件下，最佳重構公式的近似；
2.只有圖像滿足特定條件時，三次卷積插值算法才能獲得最佳的結果；
3.可使待求點的灰度值更好的模擬實際可能的值；
4.可以取得更好的視覺效果；
5.三次卷積插值算法的突出優點是高頻信息損失少，可將噪聲平滑；
6.4*4時，像元均值和標準差信息損失小；
7.計算量大為增加。
空間變換
空間變換包括可用數學函式表達的簡單變換(如：平移、拉伸等仿射變換)和依賴實際圖象而不易用函式形式描述的複雜變換(如對存在幾何畸變的攝象機所拍攝的圖象進行校正，需要實際拍攝柵格圖象，根據柵格的實際扭曲數據建立空間變換；再如通過指定圖象中一些控制點的位移及插值方法來描述的空間變換)。
1、仿射變換(affine transfomation)
仿射變換變換的公式如下：f(x)=AX=b
其中A是變形矩陣，b是平移矢量。
任何一個放射變換可以分解為尺度、伸縮、扭曲、鏇轉、平移的組合。
2、基本變換
(1)基本幾何變換的定義
對於原圖象f(x，y)，坐標變換函式
x’=a(x，y)；y’=b(x，y)
唯一確定了幾何變換：g(x’，y’)=f(a(x，y)，b(x，y))；
g(x，y)是目標圖象。
(2)平移變換
(3)鏇轉變換：繞原點鏇轉(度
(4)水平鏡像
(5)垂直鏡像
(6)縮放變換
3、透視變換(Persp ective Tmnsfomation)
透視變換是中心投影的射影變換，在用非齊次射影坐標表達時是平面的分式線性變換，透視變換常用於圖象的校正。
4、幾何校正
幾何校正是指按照一定目的將圖象中的典型幾何結構校正為沒有變形的本來形式。
例如，對如F的走廊圖象進行校正，分兩種情況，一種是針對地磚形狀的校正，另一種是針對最右側有把手的門形狀的校正。
5．圖像卷繞(Image Warping)
圖像卷繞是通過指定一系列控制點的位移來定義空間變換的圖象變形處理。非控制點的位移根據控制點進行插值來確定。
預處理
平滑
l、鄰域平均
A、鄰域的定義
B、鄰域平均法
對一數字圖像f(x，y)，以(x，y)為中心，取一滑動視窗--鄰域S(例如：
3×3的方窗)進行處理：
缺點：去噪聲的同時模糊了邊界。
注意：當鄰域中心落在圖像邊界上：(O行/列或N-l行/列)時
A、邊界行/列點不處理；
B 、擴充上下兩行、左右兩列(複製)。
2、高斯濾波
中值濾波
一般的中值濾波(Median Filtering)
與加權平均方式的平滑濾波不同，中值濾波是將鄰域中的象素按灰度級排序，取其中間值為輸出象素。
1)中值濾波可以保護圖像邊界；
2)中值濾波視窗越大，濾波作用越強，但會丟失細節。
中值濾波是一種非線性濾波，適用於濾除脈衝噪聲或顆粒噪聲，並能保護圖像邊緣。這裡以一維中值濾波為例：一維中值濾波就是用一個含有奇數點的一維滑動視窗，將視窗正中的那點值用視窗內各點按大小排列的中值代替。假設視窗長為5點，其中的值為(80，90，200，11 O，1 20)，那么此視窗內的中值即為11O。
邊緣檢測
邊緣是指圖象中灰度發生急劇變化的區域。圖象灰度的變化情況可以用灰度分布的梯度來反映，給定連續圖象f(x，y)，其方嚮導數在邊緣法線方向上取得局部最大值。
圖象中一點的邊緣被定義為一個矢量，模為當前點最人的方嚮導數，方向為該角度代表的方向。通常我們只考慮其模，而不關心方向。
梯度運算元
(一)梯度運算元可分為3類：
1、使用差分近似圖像函式導數的運算元。有些是具有鏇轉不變性的(如：Laplacian運算元)，因此只需要一個卷積掩模來計算。其它近似一階導數的運算元使用幾個掩模。
2、基於圖像函式二階導數過零點的運算元(如：M arr—Hild reth或Canny邊緣檢測運算元。
3、試圖將圖像函式與邊緣的參數模型相匹配的箅子。
(二)第一類梯度運算元
拉普拉斯(Laplace)運算元通常使用3×3的掩模，有時也使用強調中心象素或其鄰接性的拉普拉斯運算元(這種近似不再具有鏇轉不變性)。
拉普拉斯運算元的缺點：它對圖像中的某些邊緣產生雙重回響。
圖像銳化(shapeening)
圖像銳化的目的是圖像的邊緣更陡峭、清晰。銳化的輸出圖像f是根據下式從輸入圖像g得到的：f(i，j)=g(i，j)-c s(i，j)，其中c是反映銳化程度的正係數，s(i，j)是圖像函式銳化程度的度量，用梯度箅子來計算，Laplacian箅子常被用於這一目的。
Prewitt邊緣檢測運算元
Sobel邊緣檢測運算元
(三)第二類梯度運算元--二階導數過零點運算元
根據圖象邊緣處的一階微分(梯度)應該是極值點的事實，圖象邊緣處的二階微分應為零，確定過零點的位置要比確定極值點容易得多也比較精確。右側是Lena的過零點檢測結果。
為抑制噪聲，可先作平滑濾波然後再作二次微分，通常採用高斯函式作平滑濾波，故有LoG(Laplacian of Gaussian)運算元。
高斯-拉普拉斯(LoG，Laplacian of Gaussian)運算元。
噪聲點對邊緣檢測有較大的影響，效果更好的邊緣檢測器是高斯-拉普拉斯(Lo G)運算元。它把高斯平滑濾波器和拉普拉斯銳化濾波器結合起來，先平滑掉噪聲，再進行邊緣檢測，所以效果更好。
過零點檢測
在實現時一般用兩個不同參數的高斯函式的差DoG(Difference ofGaussians)對圖象作卷積來近似，這樣檢測來的邊緣點稱為f(x，y)的過零點(Zero—crossing)。
與前面的微分運算元出僅採用很小的鄰域來檢測邊緣不同，過零點(Zero-crossing)的檢測所依賴的范闈與參數。有關，但邊緣位置與0的選擇無關，若只關心全局性的邊緣可以選取比較大的鄰域(如0=4時，鄰域接近40個象素寬)來獲取明顯的邊緣。過零點檢測更可靠，不易受噪聲影響，但．缺點是對形狀作了過分的平滑，例如會丟失欠明顯的角點；還有產生環行邊緣的傾向。
產生環行邊緣的原因是：圖象的邊緣多出現於亮度呈現突起或凹陷的位置上，其附近邊緣法向線條上一階微分會出現兩個極值點，也就是會出現兩個過零點。其整體結果是邊緣呈現環行狀態。
(四)Canny邊緣提取（或邊緣檢測Edge Detection)
在如下的三個標準意義下，Canny邊緣檢測運算元對受閂噪聲影響的階躍型邊緣是最優的：
1)檢測標準--不丟失重要的邊緣，不應有虛假的邊緣；
2)定位標準--實際邊緣與檢測到的邊緣位置之間的偏差最小；
3)單回響標準--將多個回響降低為單個邊緣回響。
Canny邊緣檢測運算元的提出是基於以下概念：
(1)邊緣檢測運算元是針對一維信號和前兩個最優標準(即檢測標準和定位標準)表達的，用微積分方法可以得到完整的解；
(2)如果考慮第三個標準(多個回響)，需要通過數值最佳化的辦法得到最優解，該最優濾波器可以有效地近似為標準差為(的高斯平滑濾波器的一階微分，其誤差小於20%，這是為了便於實現；這與M ar—Hild reth邊緣檢測運算元很相似；它是基於LoG邊緣檢測運算元的；
(3)將邊緣檢測箅子推廣到兩維情況。階躍邊緣由位置、方向和可能的幅度(強度)來確定。可以證明將圖象與一對稱2 D Gaussian做卷積後再沿梯度方向微分，就構成了一個簡單而有效的方向運算元(回想一下，LoG過零點運算元並不能提供邊緣方向的信息，因為它使用了Laplacian濾波器)。
(4)由於噪聲引起的對單個邊緣的(多個)虛假回響通常造成所謂的“紋狀(streaking)"問題。一般而言，該問題在邊緣檢測中是非常普遍的。
邊緣檢測運算元的輸出通常要做閾值化處理，以確定哪些邊緣是突出的。
紋狀是指邊緣輪廓斷開的情形，是由運算元輸出超出或低於閾值的波動引起的。紋狀現象可以通過帶滯後的閾值處理(thresh01ding withhysteresis)來消除；
如果邊緣回響超過一給定高閾值時，這些象素點構成了某個尺度下的邊緣檢測運算元的確定的輸出。
個別的弱回響通常對應於噪聲，但是如果這些點是與某些具有強回響的點連線時，它們很可能是圖象中真實的邊緣。這些連線的象素點在當其回響超過一給定的低閾值時，就被當作邊緣象素。
這裡的低閾值和高閾值需要根據對信噪比的估計來確定。
(5)運算元的合適尺度取決於圖象中所含的物體情況。解決該未知數的方法是使用多個尺度，將所得信息收集起來。不同尺度的Canny檢測運算元由高斯的不同的標準差(來表示。有可能存在幾個尺度的運算元對邊緣都給出突出的回響(即信噪比超過閾值)；在這種情況下，選擇具有最小尺度的運算元，因為它定位最準確。
特徵綜合方法(Feature synthesis appmach)
首先標記出所有由最小尺度運算元得到的突出邊緣。具有較大尺度(的運算元產生的邊緣根據它們(標記出的邊緣)合成得到(即，根據從較小的尺度收集到的證據來預測較大尺度(應具有的作用效果)。然後將合成得到的邊緣回響與較大尺度(的實際邊緣回響作比較。僅當它們比通過合成預測的回響顯著地強時，才將其標記為邊緣。
這一過程可以對一個尺度序列(從小到大)重複進行，通過不斷加入較小的尺度中沒有的邊緣點的方式累積起來生成邊緣圖。
Canny邊緣檢測算法
l、對於遞增的標準差(重複(2)到(6)步驟)；
2、將圖象f與尺度為高斯函式做卷積；
3、對圖象中的每個象素，估計局部邊緣的法向n；
4、用非最大抑制公式找到邊緣的位置；
5、用公式計算邊緣強度；
6、對邊緣圖像做滯後閾值化處理，消除虛假回響；
7、用特徵綜合方法，收集來自多尺度的最終的邊緣信息。 (通常的實現，省略該步。)
數位化
總述
預處理過程一般有數位化、幾何變換、歸一化、平滑、復原和增強等步驟。
數位化
一幅原始照片的灰度值是空間變數（位置的連續值）的連續函式。在 M× N點陣上對照片灰度採樣並加以量化（歸為2b個灰度等級之一），可以得到計算機能夠處理的數字圖像。為了使數字圖像能重建原來的圖像,對M、N和b值的大小就有一定的要求。在接收裝置的空間和灰度分辨能力範圍內,M、N 和b的數值越大,重建圖像的質量就越好。當取樣周期等於或小於原始圖像中最小細節周期的一半時，重建圖像的頻譜等於原始圖像的頻譜，因此重建圖像與原始圖像可以完全相同。由於M、N 和b三者的乘積決定一幅圖像在計算機中的存儲量，因此在存儲量一定的條件下需要根據圖像的不同性質選擇合適的M、N 和b值，以獲取最好的處理效果。
幾何變換
用於改正圖像採集系統的系統誤差和儀器位置的隨機誤差所進行的變換。對於衛星圖像的系統誤差，如地球自轉、掃描鏡速度和地圖投影等因素所造成的畸變,可以用模型表示,並通過幾何變換來消除。隨機誤差如飛行器姿態和高度變化引起的誤差，難以用模型表示出來，所以一般是在系統誤差被糾正後，通過把被觀測的圖和已知正確幾何位置的圖相比較，用圖中一定數量的地面控制點解雙變數多項式函式組而達到變換的目的。
歸一化
使圖像的某些特徵在給定變換下具有不變性質的一種圖像標準形式。圖像的某些性質，例如物體的面積和周長，本來對於坐標鏇轉來說就具有不變的性質。在一般情況下，某些因素或變換對圖像一些性質的影響可通過歸一化處理得到消除或減弱，從而可以被選作測量圖像的依據。例如對於光照不可控的遙感圖片，灰度直方圖的歸一化對於圖像分析是十分必要的。灰度歸一化、幾何歸一化和變換歸一化是獲取圖像不變性質的三種歸一化方法。
平滑
消除圖像中隨機噪聲的技術。對平滑技術的基本要求是在消去噪聲的同時不使圖像輪廓或線條變得模糊不清。常用的平滑方法有中值法、局部求平均法和k 近鄰平均法。局部區域大小可以是固定的，也可以是逐點隨灰度值大小變化的。此外，有時套用空間頻率域帶通濾波方法。
復原
校正各種原因所造成的圖像退化，使重建或估計得到的圖像儘可能逼近於理想無退化的像場。在實際套用中常常發生圖像退化現象。例如大氣流的擾動，光學系統的像差，相機和物體的相對運動都會使遙感圖像發生退化。基本的復原技術是把獲取的退化圖像g(x，y)看成是退化函式h(x，y)和理想圖像f(x，y)的卷積。它們的傅立葉變換存在關係 G(u，v=H(u，v)F(u，v)。根據退化機理確定退化函式後，就可從此關係式求出F(u，v)，再用傅立葉反變換求出f(x，y)。通常把
稱為反向濾波器。實際套用時，由於H(u，v)隨離開uv平面原點的距離增加而迅速下降，為了避免高頻範圍內噪聲的強化，當u2+v2大於某一界限值W娿時，使M(u，v)等於1。W0的選擇應使H(u，v)在 u2+v2≤W娿範圍內不會出現零點。圖像復原的代數方法是以最小二乘法最佳準則為基礎。尋求一估值弮,使優度準則函式值最小。這種方法比較簡單，可推導出最小二乘法維納濾波器。當不存在噪聲時，維納濾波器成為理想的反向濾波器。
增強
對圖像中的信息有選擇地加強和抑制，以改善圖像的視覺效果，或將圖像轉變為更適合於機器處理的形式，以便於數據抽取或識別。例如一個圖像增強系統可以通過高通濾波器來突出圖像的輪廓線，從而使機器能夠測量輪廓線的形狀和周長。圖像增強技術有多種方法，反差展寬、對數變換、密度分層和直方圖均衡等都可用於改變圖像灰調和突出細節。實際套用時往往要用不同的方法，反覆進行試驗才能達到滿意的效果。
