內容介紹
圖像變形(anamorphic)指影片或視頻的寬螢幕圖像在水平方向上用透鏡或數字處理的方法加以“壓窄”,以便能適應於標準的4∶3的幅形比。重放時,則通過“反壓窄”將圖像原有的幅形比予以恢復。圖像變形的格式可在不犧牲解析度的情況下,提供正確的幅形比。
圖像變形是圖像處理中的一個常見方法,它是指按一定的規則或方法將一幅圖像變為另一幅。常見變換,如仿射變換、透射變換、雙線性變換是其中的一些例子。圖像變形在實際領域中有著廣泛的套用,如在衛星圖像、超聲圖像的處理中,它用於校正由於工具或方法的內在限制而產生的圖像扭曲;在醫學圖像處理和三維重建中,變形用於定位、匹配等技術中去;在圖像編輯和藝術設計中,利用變形可達到某些特殊效果。圖像變形也是當今許多新技術的基礎,如圖像調配技術和基於圖像的繪製技術。前者在計算機動畫中幫助實現關鍵幀的平滑過渡;後者幫助產生虛擬現實。因此,研究靈活快速的圖像變形技術具有十分重要的實際意義。
問題提出
作為一種計算機視覺方面的套用,圖像變形問題近年來倍受關注,它的價值正在研究與實踐中不斷完善和發展。我們套用圖像變形技術可以生成從一幅數字圖像到另一幅數字圖像的平滑過度,或者根據在多幅圖像之間進行的變換,都可以產生驚人的視覺效果。圖像變形技術套用面很廣,在醫學影像方面,圖像變形更是一種重要套用,對於一些手術需要對很多模型進行模擬,以及變形的假設,這種技術對於醫學研究有很大的幫助。它也可以用在影視業中的虛擬角色,娛樂,人臉記憶合成,虛擬現實等,電影中常見的套用如從某一個臉到另一個臉的變化,或者對於一些給定的圖像讓它產生喜,怒,哀,樂等複雜的表情變化。事實上,電影特技效果的製作在大量套用了圖像變換技術基礎上,也取得了巨大的成功。這些套用可以使得圖像更有生氣,使效果更加逼真。同時我們也可以通過控制物體的形狀變化,或者人物動作的變化的連續操作來實現動畫效果。
研究現狀
圖像變形的先驅,紐約理工學院的Tom Brigham,在1982 年的SIGGRAPH 年會上,首次展現了他製作的膠片:將一個女人變成了一隻大山貓。他採用了圖片拉伸的軟體技術來實現關鍵幀之間的變換。之後,以ILM 公司為代表的許多公司的的科研人員在圖像處理中採用變形技術,來實現各種震撼人心的圖像效果。
從最初的交叉溶解變形開始,圖像變形技術不斷發展,各種新的算法紛紛湧現。圖像變形的關鍵在於,要定義好兩幅圖像間的特徵對應關係。對於特徵位置的精確性要求,決定了特徵表達在Morphing 中是最繁瑣的操作。根據特徵表達方式的不同,通常可以將常規的Morphing 算法分為四種:格線Morphing 算法,域Morphing 算法,點Morphing 算法和複雜特徵Morphing 算法。前兩種算法較為成熟而且套用廣泛,後兩種算法是目前的研究熱點。
圖像格線Morphing 算法
格線Morphing 算法首先在圖像中選擇若干特徵控制點,建立圖像的特徵格線模型,通過改變圖像上有限的控制點,使圖像的其餘部分在某種規則的約束下自動調整,同時保證改變控制點的位置僅影響該點附近的一個小區域的圖像。
圖像域Morphing 算法
域Morphing 算法是利用起始圖像和終止圖像中有代表性的線段對來定義兩幅圖像間的特徵坐標映射,其他的點通過到線段的距離來確定對準關係。通常用逆向映射來估計圖像變形,依次掃描目標圖像的每一個象素,在原始圖像中找出對應象素,這樣目標圖像的每一個象素都會有適當的填充。
域Morphing 算法最早是由Thaddeus Beier 和Shawn Neely 提出的, 這種方法比格線法更賦有表現力且更加容易表達用戶的設計思想。操作中只需要在起始圖像和終止圖像中的關鍵特徵點處標定特徵線段對,不必對非特徵點進行標定,即可產生相當不錯的流暢漸變效果。
圖像點Morphing 算法
點Morphing 算法是一種新的圖像變形算法,其變形函式完全建立在對離散特徵點插值的基礎上。通常圖像對於特徵的描述可歸納為點、線段或者曲線的集合。另一方面,由於線段和曲線都是由點組成的,所以所有對於特徵的描述可以完全統一為一個點集合。這樣基於點特徵的圖像漸變增強了形狀變化與交叉融合溶解度的控制,利用非統一混和技術還可以產生不同混和率下的更加有趣的特技動畫效果。
圖像複雜特徵Morphing 算法
複雜特徵Morphing 算法中套用了一些先進技術和理論,這些技術對於傳統方法進行了補充和擴展。傳統技術的局限性包括,無法進行不同視角圖像的漸變,無法填充形狀變換產生的空洞,無法對單獨的一幅圖像進行漸變處理,無法實現超過兩幅圖像的漸變等等。複雜特徵漸變已經弱化了傳統意義上的特徵的概念,更加注重漸變達的生動性,以及超現實的視覺特技。
由於Morphing 圖像處理方法的實用性,對於圖像的Morphing 技術的研究工作仍然是方興未艾的,更加有效的方法和算法還會不斷產生,任何有多媒體存在的領域都會有Morphing 的用武之地。
套用
圖像變形方法可以廣泛地套用於科幻電影製作,三維重建,刑事偵破,外科人臉整形手術效果預見,人臉檢測以及人臉圖像合成等方面。圖像變形一開始與娛樂業的視覺效果相聯繫,視覺的強迫平滑轉變是由所提供的圖像對之間的綜合中間圖像所創造,這些變形結果應歸功於貫穿圖像序列整個過程中被維持的幾何佇列。
在醫學成像中,CT 和MRI的掃描片可以在一固定薄片間分辯率水平線上獲得。雖然中間薄片可由傳統的線性的、立方的或更次數的插值函式計算得到,但這種傳統的方法沒有考慮被成像的組織的基本構成結構。通過在掃描片的連續對之間建立特徵的對應關係可以獲得更加好的結果,這些特徵可包括組織過界和生理界標。計算得到的變形圖像構成了中間圖像,它們符合由用戶提供的幾何對應關係。Ruprecht 和Muller 描述的這一領域的工作。自動特徵選擇仍然是活躍的研究領域,因為大部分特徵選擇的工作目前還是人工完成的。
最新的人臉識別研究工作也用到了變形技術。Bichsel 提出了一種從一幅圖變到另一幅圖時產生最優映射的新方法。通過在一個Bayesian 框架中最大化變形場的機率,就可計算出這個映射。這個方法利用了一種遞歸逼近:在當前變形場的附近,機率分布由高斯幾率分布近似計算得到,對這個高斯機率分布,最可能的解法由線性代數技術估算而得。這方法己被用於在同一張臉的不同視覺之間和不同人臉圖像之間進行插值。這種技術在不同的視覺和光照條件下的臉部識別的套用上得到證實。Covell 提出自動圖像變形方法恢復臉部特徵的自動化技術, 同時Bregler 證明這種技術可用於嘴唇的同步活動,Wolberg 曾經提出用視頻再寫來自動合成人臉,它是一個由聲控輸入驅動的臉部動畫系統,它可用於配音電影、遠程會議和特技效果。
在臉部分析和合成的相關工作中,Ezzat 和Poggio 利用了一種基於圖像的臉部造型方法,在這方法中他們利用實例圖像來造型臉部運動,他們利用了對圖像合成的視域插值方法的可行性,在實例圖像上對準了一學習網路,每一圖像與一個在表示姿勢和表情的高水平、多維參數空間的位置相聯繫,從而估算姿勢、眼睛、和嘴巴運動及頭平移、旋轉和縮放,Wolberg 證實了他忙的合成分析的技術。
總之,隨著圖像變形技術的發展,它必將會套用於更多的領域。