智慧型視頻分類
從廣義上來說，除了以上的描述被定性為智慧型視頻分析外，我們也可以把智慧型視頻分析定性為所有運算功能，起到對視頻畫面進行分類，比對或識別的作用。另一方面，它可以對畫面進行分析，對畫質進行某些最佳化，提供更好的畫質以供監控人員觀看。其中具體包括：視頻分析類、視頻識別類、視頻改良類。
智慧型視頻分析器其主要功能是在監控畫面中找出物件，並檢測物件的運動特徵屬性如，例如：物件相對的像素點位置，物件的移動方向及相對像素點移動速度，物件本身在畫面中的形狀及其改變。根據以上的基本功能，視頻分析可分為以下幾個功能模組：
● 周界入侵檢測、物件移動方向檢測；
● 物件運動、停止狀態改變檢測;
● 物件出現與消失檢測;
● 流量統計包括（人流量、車流量統計）;
● PTZ自動追蹤系統;
● 攝像機智慧型自檢功能。
B．視頻識別類
視頻識別類包括人臉識別及車牌識別，其主要的技術在於在視頻畫面中找出局部中一些畫面的共性。例如：人臉必然有兩個眼睛，如果我們可以找到雙目的位置，那么就可以定性人臉的位置及尺寸。不過，以現有的技術來說，人臉識別系統必須在雙目可視的情況下，才可進行人臉比對。其主要包括：
● 人臉識別系統;
● 車牌識別系統;
● 照片比對系統;
● 工業自動化上的機器視覺系統。
C．視頻改良類
視頻改良的主要功能是將以前不可視、模糊不清，或者是在振動的畫面進行一些最佳化處理，以增加視頻的可監控性能。具體包括：
● 夜視圖像增強處理;
● 圖像畫面穩定系統;
● 車牌識別影像增強系統。
實現方式
一般智慧型視頻的技術的實現方式包括前端嵌入式實現或者後端PC分析實現兩種方法。
前端嵌入式方式實現，是採用DSP或類似嵌入式系統，在監控前端對視頻進行分析，並進行相應的處理和聯動。它的優點是視頻無需遠程傳輸、兼容性好、系統工作穩定等；它的缺點是，系統處理資源有限，無法完成複雜的視頻分析工作，而且功能升級潛力有限，適用於一些相對簡單的視頻分析功能。
後端PC分析實現，是將視頻傳送至後端的PC/伺服器或者工控機上進行算法實現。它的優點是功能定義靈活、可實現複雜的分析算法；缺點是需保障視頻的傳輸，對網路要求高，後端的硬體投資巨大。
在人臉識別、客流統計等簡單成熟的視頻分析技術上還是推薦採用前端視頻分析的方式進行實現。
智慧型視頻監控套用系統設計攻略
隨著寬頻有線和無線網路基礎設施的完善以及全球安防市場需求的增長，視頻監控的套用正呈爆發性的增長態勢。視頻監控系統的發展趨勢非常明顯，在經歷了數位化和網路化之後，下一個重要的趨勢就是智慧型化，即智慧型監控和視頻分析技術的套用。
傳統的視頻監控由人工進行視頻監測發現安全隱患或異常狀態，或者用於事後分析，這種套用具有其固有的缺點，難以實現實時的安全監控和檢測管理。帶有智慧型分析功能的監控系統可以通過區分監控對象的外形、動作等特徵，做到主動收集、分析數據，並根據預設條件執行報警、記錄、分析等動作。智慧型監控系統可以運行於伺服器，也可以運行在基於DSP的嵌入式系統上，而後者已逐漸成為主流。
智慧型視頻的套用大體上可以分安防、人體行為檢測和智慧型交通三方面的套用。其中安防套用是被廣泛認為是最具潛力的市場，它包括以下幾個套用類別：入侵檢測，可以自動檢測出視頻畫面中的運動行為特徵；物品移除檢測，可以自動檢測物品搬移事件——當防區內某特定位置的物品被拿走或搬走時發出報警；遺留物檢測，可以對遺棄物進行自動檢測——當物品在某個防區內被放置或遺棄的時候自動報警；智慧型跟蹤，可以使攝像機對自身的雲台和變焦鏡頭進行自主PTZ驅動。人體行為檢測套用包括脫崗檢測(可以實現自動檢測崗哨人員就位情況)、徘徊檢測(對重要區域人體徘徊檢測)。智慧型交通套用包括：對非法停留的交通工具進行檢測，當交通工具在防區內非法停留時發出報警；車輛逆行檢測，及時辨別逆行車輛。
隨著準確率和可靠性逐步提高及產品成本的下降，智慧型視頻在越來越多的場合得到了套用，它能夠替代部分安防設備，降低安保人員的工作強度，提高工作效率，減少管理成本。事實上，智慧型視頻的套用具有非常巨大的潛力。隨著技術日趨成熟，智慧型視頻技術的套用領域正在迅速擴展，這些套用主要包括上述的安防、交通以及零售、服務等行業，如人數統計、人臉識別、人群控制、注意力控制和交通流量控制等。
實時視頻監測的需求正在快速增長，特別是隨著實時安全監控套用的需求增加，實時發現安全隱患或目標異常行為的功能已經具有越來越重要的現實意義，智慧型視頻監測系統產品在這種日益增長的需求帶動下，正在成為視頻監控套用的新熱點。特別是隨著半導體技術的進步，例如以Blackfin匯聚式處理器為代表的先進嵌入式解決平台方案的推出，具有極高性價比和極高實用性的智慧型視頻分析設備不斷推出，並在一些關鍵套用中發揮極為重要的作用。
智慧型視頻套用設計攻略
硬體平台方案的選擇往往決定了系統的整體方案成本、性能、開發工具和方法的可用性，以及方案未來持續升級的可行性等，因此方案平台選型至關重要。智慧型視頻套用自身的獨特性要求在硬體平台的選擇上進行綜合權衡。視頻監控系統的網路化和智慧型分析要求，以及大規模工程安裝對成本、體積和功耗的限制，非標準化的智慧型視頻分析方法和幾乎定製化的方案最佳化方式，使得結合了MCU和DSP優勢、具有軟體設計靈活性和強大處理能力的匯聚式處理器方案平台體現出更加明顯的優勢。本文將結合ADI公司獨特的Blackfin匯聚式DSP處理器的特點，分析智慧型視頻設計中主要的設計技術要點。
一、硬體平台選型可定製化能力非常重要。有很多因素制約著視頻監控系統智慧型化的套用步伐：首先是智慧型監控的視頻算法比較複雜，難於標準化，各個系統提供商的視頻分析軟體都有自己的獨特算法，導致市場上的產品沒有統一的標準；其次，視頻監控系統的套用場景比較複雜，用戶的要求多樣化，所以定製化的要求比較多。因此，視頻分析方案通常需要針對客戶的套用特點和需求進行方案最佳化，採用的算法千差萬別。此外，由於智慧型視頻套用的高複雜性，對方案的處理能力提出了更高的要求。MCU+ASIC的視頻監控傳統方案難以實現各種個性化的設計和高運算能力要求，即使選擇普通DSP+MCU的雙晶片方案通常也難以滿足智慧型視頻監控套用的複雜運算需求，需要增加協處理器，這種複雜的解決方案無論是BOM成本、功耗還是開發難度都不足取。Blackfin處理器充分發揮了MCU+DSP匯聚式架構的優勢，滿足了智慧型視頻套用的系統控制和高強度的運算需求，特別是以BF561為代表的高性能雙核心架構已經成為智慧型視頻套用的首選方案平台。
方案的可擴展性也是需要考慮的因素。智慧型視頻分析套用除了需要針對套用環境、套用目的進行方案最佳化外，不同的客戶可能還有其他方面的不同需求。例如，當前一些領先的數字視頻監控方案實現了H.264基本類@Level3.0和MPEG4 D1+CIF雙碼流的支持，未來可能擴展到支持H.264 D1+CIF的雙碼流。隨著智慧型視頻分析的更廣泛套用，如IP攝像機、無線視頻監控、智慧型交通系統等，不同套用都可能對各種接口功能、通信標準、用戶界面等的需求有較大的差異化，硬體平台方案對各種需求的靈活擴展性非常重要。同時，正如前文所述，智慧型視頻分析技術發展不過數年的時間，隨著技術的不斷成熟以及一些相關的標準的出台和改進，產品的可升級特性至關重要，既是開發者須關注的問題也是終端客戶關切的重要特性。Blackfin DSP在算法並行處理上具有獨特優勢，特別是ADSP-BF561採用雙DSP核，能夠實現很複雜的智慧型視頻處理算法。
視頻套用最佳化特性。一些方案儘管具有較強的處理能力和可擴展性，方案是否主要針對視頻套用進行過最佳化設計也值得關注，因為這直接關係到設計工程師可用的軟硬體設計資源以及系統設計難度和可實現的性能。以Blackfin處理器為例，Blackfin為高強度、高數據率的數字和媒體處理做了專門最佳化：Blackfin的幾十個DMA通道和可靈活配置的Cache很好地滿足了視頻監控系統對大運算量、高數據吞吐率的要求；ADI專門開發了完全最佳化的音視頻編解碼器，並免費提供給大客戶；針對視頻套用Blackfin集成了很多硬體驅動，包括WiFi的驅動、音/視頻編解碼器的驅動；Blackfin的4個視頻算術運算單元和視頻象素指令集大大加速了視頻運算速度；在智慧型視頻分析的一些基礎運算元中，例如直方圖統計、中值運算、Sobel運算、形態學中的膨脹運算等都可以利用Blackfin的MIN、MAX指令來消除條件跳轉，節省處理器周期。不僅如此，Blackfin還支持13種非視頻數據的向量運算。適當設計數據結構，在前背景分離、閾值計算和更新等多個環節都可以運用Blackfin的特色指令讓智慧型視頻分析算法更快捷。這些本身就很有效的指令中，大部分指令都能夠並行執行，使得Blackfin的處理能力再加倍。
低功耗和穩定性很重要。考慮到智慧型視頻監控設備通常都是一周7天，每天24小時運行的，穩定性和功耗也比較重要。在低功耗上，Blackfin處理器採用了多種節能技術：基於一種選通時鐘核心設計，可按照逐條指令來選擇性地切斷功能單元的電源；支持多種針對所需CPU動作極少期間的斷電模式；Blackfin處理器支持一種自含動態電源管理電路，藉助該電路即可對工作頻率和電壓進行獨立控制，以滿足正在執行的算法的性能要求；大多數Blackfin處理器都提供片上核心穩壓電路，並可在低至0.8V的電壓下工作。而Blackfin獨特的匯聚式處理架構、90nm工藝等打下了其領先的低功耗處理的基礎。由於高處理能力，基於Blackfin平台的系統方案可以減少主晶片數量，豐富的功能和接口可以滿足各種外設和功能擴展需求，降低元器件數量，從而保證更高的穩定可靠性。目前在同價位DSP中Blackfin DSP的低功耗特性和穩定性是最好的。
基於BF561的智慧型監控終端框圖二、開發工具和可用資源
智慧型視頻監控設備是一個複雜的系統，涉及到複雜的軟硬體設計、人機界面、通信連線等，具有較高的系統設計難度。因此，所選擇的硬體平台方案是否能提供完善的開發工具套件、必要的軟體模組、成熟的參考設計、系統設計支持，以及是否有完整的設計生態系統等，對於是否能按期高質量地完成系統設計非常關鍵。事實上，並不是所有平台方案提供商都能提供這些支持。
以Blackfin系列處理器為例，採用Blackfin處理器的硬體平台從一般的DVR、IP攝像機、數字視頻監控到智慧型視頻監控，已經被全球大量的設備企業的廣泛採用。Blackfin處理器獲得眾多企業的青睞，具有完整的開發工具和參考設計等支持是其受廣泛歡迎的重要原因之一。ADI提供業界一流的工具、初學套件與支持，包括人們熟知的、能夠支持其他Blackfin處理器的ADI CROSSCORE?軟體與硬體工具，這些工具包括獲獎的VisualDSP++?集成開發與調試環境(IDDE)、仿真器，以及EZ-KIT Lite?*估版硬體。
為提高開發效率，降低開發難度，開發時應儘量在已有的資源上進行，比如開放的例程，ADI為此提供了非常豐富的例程和資料。例如，ADI提供免費的“Image Tool Box”圖像處理函式館軟體包，該軟體包專門針對圖像處理套用常用的數學函式進行了最佳化，供客戶在進行套用開發時調用。ADI還提供完整的參考設計，以及由本地合作夥伴開發的*估板、開發工具、算法IP、套用模組，以及由第三方合作夥伴提供包括軟硬體在內的全套交鑰匙方案。Blackfin處理器的視頻監控套用目前在中國已經有多家具有豐富工程經驗的第三方合作夥伴，已經建立完善的生態系統。
以ADI在今年三月份宣布提供基於該公司Blackfin BF526C的完整的IP監控和機器視覺攝像頭參考設計為例，該參考設計在單個匯聚處理器上提供了強大的視頻和音頻處理能力，為工程師提供了一個統一的軟體開發環境，可以實現更快的系統調試和部署，以及更低的系統成本。該處理器提供了集成的音頻編解碼器、流式視頻和IP協定、片上DRAM存儲器以及針對10/100乙太網、USB和SD存儲和本地RS-232連線埠的接口。這種完全可程式的解決方案可以滿足多種視頻壓縮標準，例如H.264和MPEG4，支持音頻G.729標準的編碼。支持從控制中心到相機的雙向語音通信，以及利用Pelo-P或Pelo-D協定的鏡頭平移、傾斜和拉伸動作。該參考設計還提供一塊帶雙核BF561處理器的子卡，使系統能實現更高視頻解析度，並提供實現高級視頻分析功能，如運動檢測和跟蹤。
