處理原因
傳統電視(綠)與常見的電影畫面長寬比例之比較長寬比（Aspect ratio）是用來描述視頻畫面與畫面元素的比例。傳統的電視螢幕長寬比為4:3（1.33:1）。HDTV的長寬比為16:9（1.78:1）。而35mm膠捲底片的長寬比約為1.37:1。
雖然電腦螢幕上的像素大多為正方形，但是數字視頻的像素通常並非如此。例如使用於PAL及NTSC訊號的數位保存格式CCIR 601，以及其相對應的非等方寬螢幕格式。因此以720x480像素記錄的NTSC規格DV影像可能因為是比較“瘦”的像素格式而在放映時成為長寬比4:3的畫面，或反之由於像素格式較“胖”而變成16:9的畫面。
常見格式
AVI---AVI檔案
AVI是音頻視頻交錯(Audio Video Interleaved)的英文縮寫，它是Microsoft公司開發的一種符合RIFF檔案規範的數字音頻與視頻檔案格式，原先用於Microsoft Video for Windows (簡稱VFW)環境，已被Windows 95/98、OS/2等多數作業系統直接支持。AVI格式允許視頻和音頻交錯在一起同步播放，支持256色和RLE壓縮，但AVI檔案並未限定壓縮標準，因此，AVI檔案格式只是作為控制界面上的標準，不具有兼容性，用不同壓縮算法生成的AVI檔案，必須使用相應的解壓縮算法才能播放出來。常用的AVI播放驅動程式，主要是Microsoft Video for Windows或Windows 95/98中的Video 1，以及Intel公司的Indeo Video。AVI檔案主要套用在多媒體光碟上，用來保存電影、電視等各種影像信息，有時也出現在Internet上，供用戶下載、欣賞新影片的精彩片斷。
MPEG/MPG/DAT---MPEG檔案
MPEG檔案格式是運動圖像壓縮算法的國際標準，它採用有損壓縮方法減少運動圖像中的冗餘信息，同時保證每秒30幀的圖像動態刷新率，已被幾乎所有的計算機平台共同支持。MPEG標準包括MPEG視頻、MPEG音頻和MPEG系統(視頻、音頻同步)三個部分，前文介紹的MP3音頻檔案就是MPEG音頻的一個典型套用，而Video CD (VCD)、Super VCD (SVCD)、DVD (Digital Versatile Disk)則是全面採用MPEG技術所產生出來的新型消費類電子產品。MPEG壓縮標準是針對運動圖像而設計的，其基本方法是：在單位時間內採集並保存第一幀信息，然後只存儲其餘幀相對第一幀發生變化的部分，從而達到壓縮的目的，它主要採用兩個基本壓縮技術：運動補償技術(預測編碼和插補碼)實現時間上的壓縮，變換域(離散餘弦變換DCT)壓縮技術實現空間上的壓縮。MPEG的平均壓縮比為50∶1，最高可達200∶1，壓縮效率非常高，同時圖像和音響的質量也非常好，並且在微機上有統一的標準格式，兼容性相當好。
這裡值得注意的是DIVX。DIVX視頻編碼技術可以說是一種對 DVD 造成威脅的新生視頻壓縮格式，也有人說它是 DVD 殺手，它由 Microsoftmpeg4 v3 修改而來，使用了MPEG4的壓縮算法。同時它也可以說是為了打破 ASF 的種種協定而發展出來的。而使用這種據說是美國禁止出口的編碼技術MPEG4 壓縮一部 DVD 只需要 2 張 CDROM。這樣就意味著讀者不需要額外購買DVD光碟機也可以得到和它差不多的視頻質量。而且播放這種編碼，對機器的要求也不高，CPU的最低額度只要求在300MHZ 以上，而且在CPU類型的選擇方面，不論你的芯是PII、CELERON還是PIII、AMDK6/2、AMDK6III、ATHALON，就是CYRIXx86也可以統吃拿下。在配置上64 兆記憶體和一個 8兆顯存的顯示卡上，DIVX便可以流暢的播放了。
RA/RM/RMVB---RealVideo檔案
RealVideo檔案是RealNetworks公司開發的一種新型流式視頻檔案格式，它包含在RealNetworks公司所制定的音頻視頻壓縮規範RealMedia中，主要用來在低速率的廣域網上實時傳輸活動視頻影像，可以根據網路數據傳輸速率的不同而採用不同的壓縮比率，從而實現影像數據的實時傳送和實時播放。RealVideo除了可以以普通的視頻檔案形式播放之外，還可以與RealServer伺服器相配合，在數據傳輸過程中邊下載邊播放視頻影像，而不必像大多數視頻檔案那樣，必須先下載然後才能播放。Internet上已有不少網站利用RealVideo技術進行重大事件的實況轉播。
RMVB影片格式比原先的RM多了VB兩字，在這裡VB是VBR（Variable Bit Rate--可變比特率）的縮寫。在保證了平均採樣率的基礎上，設定了一般為平均採樣率兩倍的最大採樣率值，在處理較複雜的動態影像時也能得到比較良好的效果，處理一般靜止畫面時則靈活的轉換至較低的採樣率，有效的縮減了檔案的大小。
MOV/QT---QuickTime檔案
QuickTime是Apple計算機公司開發的一種音頻、視頻檔案格式，用於保存音頻和視頻信息，具有先進的視頻和音頻功能，被包括Apple Mac OS、Microsoft Windows 95/98/NT在內的所有主流電腦平台支持。QuickTime檔案格式支持25位彩色，支持RLE、JPEG等領先的集成壓縮技術，提供150多種視頻效果，並配有提供了200多種MIDI兼容音響和設備的聲音裝置。新版的QuickTime進一步擴展了原有功能，包含了基於Internet套用的關鍵特性，能夠通過Internet提供實時的數位化信息流、工作流與檔案回放功能，此外，QuickTime還採用了一種稱為QuickTime VR (簡作QTVR)技術的虛擬現實(Virtual Reality， VR)技術，用戶通過滑鼠或鍵盤的互動式控制，可以觀察某一地點周圍360度的景像，或者從空間任何角度觀察某一物體。QuickTime以其領先的多媒體技術和跨平台特性、較小的存儲空間要求、技術細節的獨立性以及系統的高度開放性，得到業界的廣泛認可，已成為數字媒體軟體技術領域的事實上的工業標準。國際標準化組織(ISO)選擇QuickTime檔案格式作為開發MPEG4規範的統一數字媒體存儲格式。
ASF/WMV----MICROSOFT流媒體檔案
Microsoft公司推出的Advanced Streaming Format (ASF，高級流格式)，也是一個在Internet上實時傳播多媒體的技術標準，Microsoft公司的野心很大，希圖用ASF取代QuickTime之類的技術標準。ASF的主要優點包括：本地或網路回放、可擴充的媒體類型、部件下載、以及擴展性等。ASF套用的主要部件是NetShow伺服器和NetShow播放器。有獨立的編碼器將媒體信息編譯成ASF流，然後傳送到NetShow伺服器，再由NetShow伺服器將ASF流傳送給網路上的所有NetShow播放器，從而實現單路廣播或多路廣播。這和Real系統的實時轉播則是大同小異。WMV又是一種獨立於編碼方式的在Internet上實時傳播多媒體的技術標準，Microsoft公司希望用其取代QuickTime之類的技術標準以及WAV、AVI之類的檔案擴展名。wmv的主要優點包括：本地或網路回放、可擴充的媒體類型、部件下載、可伸縮的媒體類型、流的優先權化、多語言支持、環境獨立性、豐富的流間關係以及擴展性等。
AVI(n AVI)
如果你發現原來的播放器突然打不開這種格式的avi檔案了，那你就要考慮是不是碰到了nAVI。n AVI是 newAVI 的縮寫，是一個名為 ShadowRealm 的地下組織發展起來的一種新視頻格式。它是由 Microsoft ASF 壓縮算法的修改而來的（並不是想像中的 AVI），視頻格式追求的無非是壓縮率和圖象質量，所以 NAVI 為了追求這個目標，改善了原始的 ASF 格式的一些不足，讓 NAVI 可以擁有更高的幀率（frame rate）。當然，這是犧牲 ASF 的視頻流特性作為代價的。概括來說， NAVI 就是一種去掉視頻流特性的改良型 ASF 格式，也可以被視為是非網路版本的 ASF 。
ISO、BIN、IMG、TAO、DAO、CIF、FCD－鏡像檔案格式
鏡像檔案其實就是一個獨立的檔案，和其他檔案不同，它是由多個檔案通過刻錄軟體或者鏡像檔案製作工具製作而成的。
鏡像檔案的套用範圍比較廣泛，最常見的套用就是數據備份(如軟碟和光碟)。隨著寬頻網的普及，有些下載網站也有了ISO格式的檔案下載，方便了軟體光碟的製作與傳遞。常見的鏡像檔案格式有ISO、BIN、IMG、TAO、DAO、CIF、FCD。
打開鏡像檔案可以使用WinISO或者IsoBuster，下載這些軟體的地方都有相關教程，不再贅述。.
常見處理數據
視頻處理需要使用大量數據作為測試和訓練集，如：Visual Object Classes Challenge 2011 (VOC2011)(PASCAL視覺目標分類挑戰賽2011)、BEHAVE - Crowds(人群行為視頻數據集) 、交通視頻資料庫（2010年-2011年間的數據）、IR Marks video data set (加利福尼亞大學聖迭戈分校臉部運動視頻資料庫) 、The Honda/UCSD Video Database(加利福尼亞大學聖迭戈分校臉部追蹤視頻資料庫) 、VIRAT Video Dataset(美國國防部高級研究計畫局VIRAT視頻資料庫) 等。
信息處理
根據三基色原理，在視頻領域利用R、G、B三色不同比例的混合來表現豐富多彩的世界。由於攝像機中的原始信號和電視機、監視器、計算機顯示器里的最終信號都是RGB信號，因此，使用RGB信號作為視頻信號的傳輸和記錄方式,無疑會有極高的信號質量。但在實際套用中卻並非如此，因為。一則這會極大地增加視頻頻寬，增加相關設備的成本，二則這也與現行的黑白電視不兼容。
①視頻信號
⒈YUV分量信號
按亮度方程將RGB轉換生成亮度信號Y和兩個色差信號U（B-Y）、V（(R-Y），就得到YUV分量信號。
YUV分量的特點
由於Y與UV是分離的，只有Y而沒有U、V的圖就是黑白灰度的。黑白電視機能接收彩色電視信號正是利用了YUV的分離特性。
可利用人眼的特性來降低數字彩色圖像需要的存儲容量。人眼對彩色細節的分辨能力遠比對亮度細節的分辨能力低，把N個相鄰像素不同彩色值當作相同彩色值來處理（降低彩色分量的解析度）可以減少存儲容量，而不明顯影響圖像質量。
Y/C信號
把YUV信號中的U、V信號進一步合成為一個色度信號C，得到Y/C信號。由於對色度信號進行了將頻處理，這種記錄方式又稱為彩色降頻方式。
複合信號
把Y/C信號中的Y信號和C信號進一步合成，得到複合視頻，也就是彩色全電視信號。套用複合視頻主要是為了方便傳輸以及電視信號的發射。
②採樣
③量化
④壓縮
有損壓縮/無損壓縮
硬體壓縮/軟體壓縮
壓縮比
⑤計算機顯示系統
相關技術
硬體技術
①視頻處理硬體的發展方向
與網路通信技術結合，由視頻採集卡附加網路通信卡構成多媒體視頻會議、可視電話、視頻郵件、多媒體通信終端等。
與影視製作技術結合，構成壓縮/解壓縮、合成輸出、特技效果於一體的影視製作非線性編輯系統。
②視頻採集卡
③視頻輸出卡（電視編碼卡）
④MPEG1 壓縮/解壓縮卡
⑤電視接收卡
⑥非線性編輯卡
⑦MPEG2壓縮/解壓縮卡
視頻品質
視頻品質（或譯為“畫質”，“影像質素”）可以利用客觀的峰值信噪比（peak signal-to-noise ratio, PSNR）來量化，或藉由專家的觀察來進行主觀視頻品質的評量。
●對一套視頻處理系統（例如壓縮算法或傳輸系統），典型的主觀畫質評量通常包含下列幾個步驟：
●選擇一組未處理的視頻片段（稱為SRC）作為比較基準。
●選擇處理或傳輸系統的設定值（稱為HRC） 。
●訂定如何將處理過的視頻呈現給評估者並且收集其評價的科學方法。
●邀請足夠數量的評估者，通常不少於15人 。
●實施評量。
●計算每個評估者給予每組不同HRC所打的分數（通常取平均值） 。
在ITU-T建議書 BT.500當中描述了許多種進行主觀畫質評量的方法。其中一種標準化的作法是DSIS（Double Stimulus Impairment Scale）。在DSIS評量中，評估者會先觀看一段未處理過的視頻片段，再觀看處理過的視頻片段。最後再針對處理過的視頻片段做出評價，從“與原始影像分不出差異”到“與原始影像相比嚴重劣化”。
視頻壓縮技術
視頻壓縮技術（僅適用數位訊號），自從數位信號系統被廣泛使用以來，人們發展出許多方法來壓縮視頻串流。由於視頻資料包含了空間的與時間的冗餘性，所以使得未壓縮的視頻串流以傳送效率的觀點來說是相當糟糕的。
總體而言，空間冗餘性可以藉由“只記錄單幀畫面的一部份與另一部份的差異性”來減低；這種技巧被稱為幀內壓縮（intraframe compression）。並且與圖像壓縮密切相關。而時間冗餘性則可藉由“只記錄兩幀不同畫面間的差異性”來減低；這種技巧被稱為幀間壓縮（interframe compression），包括運動補償以及其他技術。目前最常用的視頻壓縮技術為DVD與衛星直播電視所採用的MPEG-2，以及網際網路傳輸常用的MPEG-4。
位元傳輸率
位元傳輸率(僅適用於數位訊號)，位元傳輸率（又譯為位元速率或比特率或碼率）是一種表現視頻串流中所含有的資訊量的方法。其數量單位為bit/s（每秒間所傳送的位元數量，又寫為bps）或者Mbit/s（每秒間所傳送的百萬位元數量，又寫為Mbps）。較高的位元傳輸率將可容納更高的視頻品質。例如DVD格式的視頻（典型位元傳輸率為5Mbps）的畫質高於VCD格式的視頻（典型位元傳輸率為1Mbps）。HDTV格式擁有更高的（約20Mbps）位元傳輸率，也因此比DVD有更高的畫質。
可變位元速率（Variable bit rate，簡寫為VBR）是一種追求視頻品質提升並同時降低位元傳輸率的手段。採用VBR編碼的視頻在大動態或複雜的畫面時段會自動以較高的速率來記錄影像，而在靜止或簡單的畫面時段則降低速率。這樣可以在保證畫面品質恆定的前提下儘量減少傳輸率。但對於傳送頻寬固定，需要即時傳送並且沒有暫存手段的視頻串流來說，固定位元速率（Constant bit rate，CBR）比VBR更為適合。視頻會議系統即為一例。
影響
多數消費類視頻產品是以解壓過程中和解壓後所採用的視頻處理技術以及算法來區分的。一些視頻處理技術可能會採用不同於下面所列舉的方式來實現，而且下列技術在不同的套用場合可能有不同的名稱。
影視
電影通常以每秒24幀的速率進行錄製，在電視上觀看需要將視頻轉換為每秒多少場，這種過程稱為電視電影(telecine)，或者X:Y摺疊。將電影膠片轉換為NTSC電視制式被稱為3:2摺疊，它是將每秒24幀轉換為大約每秒60場。 這個轉換過程包含兩個步驟：首先將電影的速率降低1%。其次將電影中的4幀畫面轉換為10場NTSC制式的畫面，這個轉換過程是利用NTSC制式的交織性質將4幀畫面擴展到5幀實現的。作為電視電影的3:2 (或實際上是2:3)其實就是電影的第一幀顯示2場，然後第二幀顯示3場，第三幀再顯示2場，這樣交替下去。 在任何電影向電視的轉換過程中都會產生一些被稱為“抖動”的失真。為了消除這種抖動並再生原始信號，需要採用反轉電影電視(反轉3:2摺疊)方式將轉換後的信號轉換回24幀/秒。反轉電影電視是一種去交織的方式。
去交織
為了充分利用HD電視和顯示非交織(或逐行掃描)視頻的其它顯示器的優勢，視頻廣播流必須從交織方式轉換成非交織方式，這個轉換過程被稱為去交織。必須對從NTSC等複合信號轉換成RGB或YCbCr等分量信號時實施去交織。 去交織算法通常有幾種不同的方式(名稱也不同)，包括電影模式、視頻模式、運動補償、場合併(交織、混合、選擇性混合)以及場擴展(尺寸減半，雙線技術)等。每種方式各有利弊，最好的去交織辦法是將這些方法結合起來。MPEG解碼器有時仍使用3:2摺疊方式，這樣無需使用去交織。
縮放
對於每個支持多解析度的視頻設備來說縮放(scaling)幾乎都是必需的，這是因為信號必須從一種解析度轉換到適合終端設備的另一種解析度。當採用去交織時，分量信號不能進行定標，除非先把它們轉換為複合信號。 有幾種定標方案，圖像，而像素複製就是通過複製像素以擴大圖像。正如你所想像的，這種方法會產生裕量並引入失真。 線性插值也好不了多少，它也會造成失真，特別是對於高頻成分。反鋸齒再取樣的效果最理想，因為它能保證頻率成分得到正確的定標。目前有好幾種反鋸齒的方法，需要根據終端設備來決定最優的方法。
去塊和去振鈴
視頻幀通常被分成16個採樣值x16行的若干個組，這樣的組也稱為宏塊，這些宏塊用於運動估計和運動矢量。當宏塊被解壓和再生時，相鄰的宏塊邊緣可能不是特別匹配，因為在重建受損編解碼器時會出現自然誤差。 當邊緣不能很好匹配時，宏塊的邊界就顯露出來，為消除這些不良後果，必須使用低通去塊濾波器進行混合和消除這些失真。H.26?包含了一個套用於宏塊級的去塊濾波器，對其它編解碼器來說該濾波器必須另外構建。 當編碼器在宏塊量化過程中丟失太多信息時，圖像邊緣就會出現失真，這種類型的錯誤被稱為振鈴。就像去塊那樣，去振鈴需要採用自適應低通有限脈衝回響濾波器來掩蓋振鈴效應。
其它技術
在廣播或回放過程中可能有多種原因導致錯誤發生，例如，DVD常常被刮傷而無法糾錯。差錯隱藏方法往往能彌補不可糾正的差錯。插值或用前、後幀數據替換損壞數據等技術都可以用來隱藏這種類型的差錯。 邊緣增強方法採用過程濾波器增加邊緣兩側較亮和較暗像素的對比度來改善圖像的銳利度。這種處理技術對低檔顯示器來說較為有用，而且遠距離觀看效果更好。由於邊緣增強方法降低了圖像的質量，所以一般不用於高端顯示器。 代碼轉換就是從一種數位訊號格式直接轉換成另一種格式，它包括選取一個編碼後的視頻格式，將其解碼或解壓縮成原先的格式，就像要進行重放一樣(圖1)。然後，視頻流又被壓縮或編碼成新的想要的格式。大部分編解碼器是有損的，造成的差錯和引起的失真會產生累積，最終導致圖像質量不斷惡化。 “未來幾年內代碼轉換將成為視頻系統的一項最具挑戰性的功能。”TI公司流媒體事業部首席技術官Jeremiah Golston表示。 “在各種不同視頻編解碼格式、位速率以及解析度之間進行轉換時，必須保持高質量的視頻信號，以滿足家庭媒體設備間互相共享內容的需要。”Golston補充道。 “在I/O頻寬和整體成本等系統預算非常緊張的情況下，要達到這些目標就必須在算法和架構上進行創新。基於DSP技術的實時HD代碼轉換解決方案可以同時提供高性能和靈活性，從而滿足這些苛刻的要求。” 專用編解碼器和視頻處理晶片如果優先考慮速度，具有編解碼器和視頻處理功能的專用晶片將是首選方案。表1列舉了一系列本身具有編解碼和圖像處理功能的現有晶片。該表並未搜羅所有相關產品，所列舉的公司也大多不只提供一種或一個系列的視頻處理產品。 高畫質電視不只是進行數字處理。平板HDTV的單一固定式顯示解析度必須匹配多種顯示標準，這樣就出現了CRT電視所不曾經歷的設計難題，對於PC中的圖形卡來說要解決這種問題辦法很多，但HDTV接收機必須比PC圖形卡完成得更快更好，當HDTV必須處理來自VHS/DVD播放器的傳統視頻時挑戰就更為嚴峻。 不過, 這個問題主要是針對高端系統。大眾市場的HD設備只需要處理電纜輸入問題，為了得到外部SD數據源，消費者必須另外付錢購買額外的連線器。模擬前端(AFE)晶片可以完成該處理，但是它們要比人們熟知的僅作為ADC信號調節器的AFE複雜得多。 一些模擬公司提供的產品設法解決了這些問題。Intersil公司的自動黑電平補償(ABLC)功能和模擬器件公司(ADI)的視頻噪聲整形技術以獨特的方法解決了這些挑戰。 模擬視頻信號包含了水平和垂直的回掃間隔，在此間隔期間CRT的電子束要重定向到新的一行或場的起始端，但是由於平板電視缺少垂直或水平回掃，它們就需要一個像素時鐘。 模擬視頻信號不提供像素時鐘，所以要由一個鎖相環(PLL)來產生時鐘。HD解析度要求用低抖動的PLL，但是HD標準所允許的範圍對於模擬PLL提出了設計挑戰，因為當水平分量頻率在10-150kHz時環路濾波器很難得到最佳化。 偏移量是另一個內在的AFE挑戰。AFE視頻路徑通常包括直流恢復鉗位電路、偏移和增益修正以及模數轉換電路。好的直流恢復電路可以消除AFE輸入端的偏移，但是隨後的有源器件還會再產生偏移。偏移量是隨機的，將隨著設備的不同而不同，它們通常有較大的溫度係數，因此顯示器發熱時偏移量會產生漂移。 這裡講述有關偏移量的問題。在分量視頻信號中, Y信號(亮度、灰度級信息)和Pb、Pr信號(色度，顏色信息)通過三個獨立的通道傳送出去。Y信號是單極性的，Y通道上Y偏移量將會影響亮度。Pb和Pr信號是雙極性的，它們形成了正交色彩空間。 Pb和Pr的隨機偏移量會將該空間的中心從0伏移走，這樣就會在本該是灰色的圖像上添加顏色，從而移動了整個顏色空間，導致顏色顯示不正確。過去，顯示器生產商在顯示產品測試時只做一次校正或對這一問題根本不作處理，交付的設備具有很大的黑電平和顏色變化。這樣做的結果是需要用戶手動調整設定值。
處理器
主流視頻處理器
為了創造一個成功的數字視頻產品，你需要選擇合適的處理器。聽起來簡單，當然，實際上並不簡單。其中的一個大問題是，有太多的處理器款式供你選擇：通用CPU，FPGA，DSP，可配置處理器，固定功能晶片以及其它類型的處理器等。
令問題更加複雜的是，數字視頻是一個迅速發展的領域，標準不斷發展和變化。因此，在數字視頻領域，處理器適應變化的能力比在其它套用中顯得更加重要，但是，這種靈活性通常是以降低效率為代價的。
選擇處理器的時候，難免要作一些折衷，但關鍵是要知道，如何選擇處理器，才不至於使產品的成功打折扣。
各取所需
由於有這么多的處理器供你選擇，實際上不可能挨個都看一遍——甚至無法詳細了解各個主要大類，可以採用分級方法：利用對你來說最重要的篩選標準先排除不適合的候選者。
進行初選時普遍採用的標準包括：
* 速度。數字視頻任務，像許多其它類型的信號處理任務一樣，都要求處理器承擔沉重的計算任務。針對目標套用，仔細分析處理器是否具有足夠的速度，最好使用BDTI Video Benchmarks等面向視頻的測試基準。
* 價格。雖然晶片價格很重要，但每通道成本或者總體系統成本可能更加重要。
* 能源效率。在多數情況下，評估能源效率比功耗更有意義，因為能源使用情況決定著電池壽命。
* 靈活性。有些種類的處理器比其它種類的處理器更加靈活，可以適應未來產品特點的變化，或者允許現場升級，如增加對新壓縮算法的支持。但是，一般來說，處理器靈活性越高，其成本和能源使用效率越低。
* 開發工具質量。處理器是否擁有用於支持信號處理套用(或者更進一步，視頻套用)開發的工具，可能對於開發時間產生重大影響，並進而影響產品上市時間。
* 與早期處理器型號的兼容性。如果你期望重複使用早期產品所用的軟體，這點通常很重要。
* 供應商路線圖。供應商的產品路線圖，是否非常符合你的後續產品開發計畫？在你的產品壽命期內，處理器能否得到支持或者升級？
* 以晶片或者可授權核心形式銷售。有些處理器是作為封裝好的現成晶片出售的；有些是作為可授權智慧財產權出售的――通常被稱為可授權核心，用於製造定製晶片。本文所討論的多數處理器種類都既包括封裝式晶片，也包括可授權核心。
各類處理器優劣
重點介紹數字視頻所普遍採用的六類處理器：固定功能引擎，專用標準產品(ASSP)，媒體處理器，DSP，嵌入式RISC處理器和FPGA。這些範圍覆蓋了最專業的和最靈活的產品，討論各類處理器的優劣，並對每類中的一個具體產品進行分析。
首先談談固定功能引擎。它採用硬布線處理器結構，以獲得最大效率；它們不使用指令流，不可以編程。硬布線邏輯犧牲了靈活性，以換取非凡的處理速度、能源效率，而且經常能夠取得成本效益。
採用固定功能引擎可以簡化系統設計和測試。由於固定功能引擎不可程式，產品開發人員就不必學習編程工具，也不必集成多個軟體模組。而且他們不需要考慮，處理器所執行的多個任務是否可能以其不希望的方式相互影響，是否會干擾系統的實時特點等問題。
主流視頻處理器特點及代表產品固定功能引擎一般以可授權智慧財產權(IP)的方式提供，以便於集成到定製晶片之中。採用這種形式，固定功能引擎最適合於手機等大批量套用。固定功能引擎有時也可以晶片的形式提供。固定功能視頻晶片，如MPEG-2解碼器晶片，能夠以較低的成本給現有產品增加功能，特別是當產品具有能夠處理需求控制和用戶接口功能的主機處理器的時候。
比如Hantro公司的5150 MPEG-4視頻解碼器，這是以IP形式出售的固定功能引擎的例子。該引擎準備用作協處理器，附屬於一個通用處理器，後者處理一些MPEG-4解碼所需要的要求不太高的子任務。
固定功能硬體的主要缺點是缺乏靈活性。由於它不可程式，產品開發人員就不能很容易地修改固定功能硬體，使其支持新標準或者不同的功能。這點很令人關切，因為許多視頻套用目前來看仍然不夠成熟，標準和功能變化很快。
因此，固定功能引擎經常被用作專用標準產品的一部分，下面就說一說ASSP。
專用標準產品(ASSP)是集成度很高的專用晶片。可以與專用積體電路(ASIC)作一番比較。ASIC是由系統公司設計的，並用於它們自己的產品之中。而ASSP是由晶片公司設計的，作為現成的晶片提供給多家系統開發商。由於開發一種複雜晶片又費錢又耗時，ASSP通常用於已達到大批量的已定型產品，或者預計會有較高的批量的產品。
比如卓然公司的Vaddis 5R，是面向DVD錄像機中音頻和視頻處理的高度專業化的晶片。所需要的關鍵算法都已確定：最突出的是MPEG-2視頻壓縮與解壓縮。
然Vaddis 5R包含兩個RISC處理器，但它在執行計算量最大的任務時使用固定功能硬體加速器，如MPEG-2視頻解碼和彩色空間轉換。出於上述原因，Vaddis 5R (和其它類似的ASSP)也具有固定功能引擎的優缺點：擁有良好的性能和能源效率，但靈活性有限。
靈活性有限，意味著系統設計人員在設計產品時，使其產品與採用同樣ASSP的其它產品容易雷同。它還意味著，系統設計人員高度依賴晶片供應商的路線圖，因為需要新款晶片支持顯著不同的功能。
還有一種是主要依賴可程式處理器執行繁重視頻任務的ASSP，為獲得靈活性而犧牲了能源效率和成本效率。這類ASSP通常與視頻解碼器和硬體驅動器等關鍵軟體相捆綁，使系統開發人員不必從事許多低級軟體的開發工作。但是，與採用基於固定功能硬體的ASSP相比，仍可能需要在軟體開發和集成方面花費很大的精力。
媒體處理器在專業化/靈活性方面處於ASSP與數位訊號處理器(DSP)之間。媒體處理器針對與音頻和視頻處理相關的任務進行了最佳化，不象DSP那樣面向廣泛的信號處理任務進行最佳化。媒體處理器通常要採用多個處理器，包括一個類似於DSP的主處理引擎、兩個或三個專用協處理器，以及音頻與視頻專用外設。
飛利浦的PNX1500就是一款媒體處理器。像典型的媒體處理器一樣，PNX1500基於一個功能強大的、高度並行的處理器核心，該核心在執行視頻處理任務時具有較高的效率。PNX1500還包含幾個固定功能硬體加速器和專用外設器件，這也是典型的媒體處理器的特點。主處理器核心處理壓縮等複雜的視頻任務，系統設計人員可以對該核心進行編程。
與卓然公司的Vaddis 5R類似， PNX1500非常適合於MPEG-2解碼。但與卓然的ASSP不同的是，PNX1500具有足夠的靈活性，可以與H.264等其它視頻壓縮標準一同使用。當然，這種靈活性也是有代價的：與固定功能硬體相比，軟體視頻解碼器的能源與成本效率通常較低。
由於媒體處理器採用多個不同的處理器，與其它可程式處理器相比，給軟體開發造成極大的困難。例如，為了執行一項特定的視頻任務，一般必須給兩個或更多的處理單元編程，並對它們加以協調。為了幫助彌補這個缺點，媒體處理器供應商經常提供最佳化的軟體構件庫。
媒體處理器供應商通常強調在開發軟體時使用C或C++，不推薦或支持彙編語言。之所以強調用高級語言開發軟體，是為了使程式設計師不需面對處理器架構方面的許多複雜問題。但不足之處是，程式設計師必須依賴編譯器來生成有效代碼，而這不總是現實的。開發人員可能需要投入很大的精力，手工調整其高級語言代碼，以獲得最佳性能。
數位訊號處理器(DSP)是為一系列信號處理套用所設計。與媒體處理器相比，DSP所採用的規格不太偏重於視頻處理，而且並行性較低。為了彌補並行性較低的弱點，在給定的套用中，DSP的指令執行速度通常必須高於媒體處理器。較高的指令速度可能導致系統設計複雜化，並增加能耗。另一方面，與嵌入RISC處理器(下面將會說到)相比，DSP在處理視頻任務時需要的時鐘速度較低。DSP的關鍵優勢在於其靈活性和強大的套用開發工具。
