背景
數字圖像處理和計算機視覺
自上個世紀20年代人類第一次實現在紐約和倫敦之間通過海底電纜傳送圖片至今，數字圖像處理技術已經取得了突飛猛進的發展。在其短短的歷史中，它成功的套用於幾乎所有與成像有關的領域。數字圖像處理((Image Processing)本來是指將一幅圖像通過計算機技術變成另一幅經過變換的圖像或者抽取圖像中的測度的過程[[4J。現在己經發展到從數字圖像編碼、壓縮、傳輸、降噪到再現的所有處理過程。計算機視覺((Computer Vision )是在圖像處理的基礎上發展起來的一門交叉學科，從信息處理的層次研究視覺信息的認知過程，研究視覺信息處理的計算理論、表達與計算方法，試圖通過對一幅或多幅二維圖像的分析，感知三維環境的幾何信息。然而由於攝像機內外參數標定以及立體匹配等過程的不魯棒性，很難自動得到複雜場景的高精度幾何信息。同時繁雜的計算過程也難以滿足虛擬現實的要求。
圖形生成是虛擬現實的重要瓶頸
虛擬現實技術是人可以在隨意變化的互動式控制下感受到場景的動態特性。換句話說，虛擬現實系統要求隨著人的活動即時生成相應的圖形畫面。有兩種重要指標衡量用戶所以沉浸於虛擬環境的效果和程度。其一是動態特性，其二是互動性延遲。自然的動態特性要求每秒生成和顯示30幀圖形畫面，至少不能少於10幀，否則將會產生嚴重的不連續和跳動感。互動延遲是影響用戶感覺的另一個重要指標。對於人產生的互動動作，如fixing模擬時飛行位置、方向的控制，系統的圖形生成必須能立即作出反應產生相應的環境和場景。其餘的時間延遲不應大於0.1秒，最多不能大於0.25秒。否則在長期的工作中，人會產生疲勞、嚴重地影響“現實”的效果，以上指標均依賴於系統生成圖形的速度。
對於動態圖形的效果而言，每圖形生成時間局限於30-50毫秒；而對於互動延遲，除包含對於互動輸入及其處理時間外，圖形生成速度是虛擬現實的重要瓶頸。
圖形生成的額速度主要取決於圖形處理技術的軟體體系結構，特別是硬體加速器的與圖形處理能力，以及圖形生成所採用的各種加速技術。除此之外，還依賴於套用的因素，虛擬場景的複雜程度和圖形生成所需要的真實感程度。
圖形生成的加速方法
雖然得益於告訴發展的CPU和專用圖形處理器，使得現今的圖形工作站性能得到很大的提高。但距離VR的需求仍然相當遙遠。換句話來說，當前圖像生成的速度相當於通常VR環境的規模來說仍然存在很大的差距。下面就一些實時圖形生成加速方法作一些介紹與分析。
可見性的判定
由於視線視覺的方向性、視覺的局限性以及物體想互遮擋，人眼所看到的往往只是場景中的一部反，而繪製圖形的生成是物體空間到圖像空間的轉換。為充分利用繪製軟體的有限資源，就必須充分利用物體空間的相關性。圖像空間的相關性和時間空間的相關性可以加快可見性的判斷、減小繪製深度。
細節層次模型
為物體提供不同的細節層次描述是控制場景複雜程度的一個非常有效的方法。在生活中我們知道，當物體離得越來越遠時，人民不再能辨清該物體上的許多細節結構。如光滑的曲面。因此，繪製一個遠處的物體時，用該物體細節描述非常複雜的模型是完全沒有必要的。
預測計算
預測計算一種減少系統延遲的方法。該方法根據各種運動的速率和加速度。如人體頭部轉動速度，用預測外推法在下一 幀畫面繪製之前估算出頭部跟蹤系統及其他設備的輸入，從而減少由輸入設備所帶來的延遲。在分散式網路虛擬現實系統中，系統根據預測估算原理來減輕網路傳輸負載並減少由網路傳輸帶來的延遲。
脫機計算
脫機計算是減輕計算機實時計算負載的常用方法之一。由於VR 系統是一個多任務的模擬系統，所以有必要儘可能的將一些可預先計算好的結果預先計算並貯存在相應的結果中，其中包括全局光照模型、動態模型的計算等。
目標紅外圖像生成
反演模型生成的目標溫度場為二維場，且一張測量圖像只能反映物體一個觀察角度下的信息，為能自由觀察三維目標，首先需要環繞目標進行不同角度的測量，利用反演模型生成目標各角度的溫度場，結合發射率、雙向反射率等參數，按紅外圖像動態仿真軟體的要求將這些參數組織為浮點格式的DDS(DirectDraw Surface)紋理。其次，需要建立這些環繞目標、不同角度的二維紋理與三維幾何模型頂點之間的坐標映射關係。紋理映射確定了三維目標每個頂點具體對應到紋理上哪個像素的溫度、反射率、雙向反射率，即重建了目標的三維溫度場。由於對非規則物體進行從紋理像素點(二維坐標空間)到模型頂點(三維坐標空間)的映射非常難以操作，文中採用3DS Max提供的反向映射技術實現了紋理映射，生成了目標三維紅外模型。具體方法是利用Unwrap UVW功能將三維空間裡的模型頂點投影到頂點二維拓撲平面，再在該拓撲平面上移動頂點，與相應的紋理像素點建立坐標映射關係。
為生成目標圖像，還要將目標模型載入到紅外圖像動態仿真軟體中。文中採用自研的基於GPU的三維紅外場景渲染引擎PRISSE (Physically ReasonableInfrared Scene Simulation Engine)完成這一工作。首先利用頂點著色器將三維模型頂點從世界坐標空間轉換到投影空間，並進行裁剪與光柵化處理。接著在片段著色器中根據頂點的採樣坐標、表面法向、太陽方位、相機位置等參數，分別獲取溫度、發射率、反射率、太陽直射輻射、背景輻射等數據，採用公式所建立的輻射模型計算目標本徵輻射。第三步繼續利用片段著色器，根據觀察點的海拔高度、天頂角與目標距離，獲得大氣透過率和大氣路徑輻射，根據公式(2)所建立的輻射傳輸模型計算目標表觀輻射。最後，利用片段著色器的PostProcess技術，在表觀輻射圖像上疊加成像系統的MTF、噪聲等系統效應，完成不同的幾何觀察參數下目標紅外圖像的生成。
結束語
以上介紹的是各種常用的圖形生成加速技術。當然，圖形生成的速度還賴於其他一些因素，如資料庫的結構等。資料庫不僅是虛擬現實技術對虛擬環境的描述所在。而且它的數據結構還關係到[1]VR系統的真實效果。就圖形描述而言，為實時的資料庫遍歷提供良好的結構，減少實時可見性計算等亦是VR系統成功的關鍵因素。為充分利用圖形硬體資源，避開圖形處理的瓶頸。資料庫將儘量三角面片組織為共頂點的三角面片串。同時，為減少圖形屬性的改變，如光照特性等的變化，有些VR系統將面片按其屬性進行組織，以減少特性屬性變化所帶來的時間耗費。為減少圖形硬體的矩陣計算，資料庫應儘量預計算好各靜態物體的矩陣變化。
