系統摘要
智慧型視頻監控的核心內容之一是對特定目標的自動跟蹤。目標跟蹤可分為5個步驟，包括運動檢測、目標分類、目標跟蹤、行為分析和行為識別。如對人體的跟蹤：首先從實時圖像序列(即視頻)中檢測出運動物體，再判定運動物體中的人體，然後跟蹤人體的運動軌跡，並分析和選定有異常行為的人，最後對行為異常的人進行持續跟蹤。
運動檢測是從圖像序列中將變化區域從背景圖像中提取出來。運動區域的有效分割將大大減少後繼過程的運算量。然而，背景圖像的不穩定性，如陰影、光照、慢移動、靜移動(樹葉的擺動)等，也使得運動檢測非常困難。
運動檢測算法可按照不同分類標準分為多種。運動檢測算法歸納為三種：背景消除法，時間差分法，光流法。背景消除法和時間差分法都可以看作是差分圖像法。背景消除法是目前運動分割中最常用的一種方法，它利用當前圖像與背景圖像的差分來檢測出運動區域。時間差分方法是在連續的圖像序列中兩個或三個相鄰幀之間採用基於像素的時間差分並且閾值化來提取出圖像中的運動區域。基於光流方法的運動檢測採用了運動目標隨時間變化的光流特性，通過計算位移向量光流場來初始化基於輪廓的跟蹤算法，從而有效地提取和跟蹤運動目標。該方法的優點是在攝像機運動的情況下也能檢測出獨立的運動目標。
目標分類的目的是從檢測到的運動區域中將特定類型物體的運動區域提取出來。根據利用的信息的不同，目標分類可以分為基於運動特性的分類和基於形狀信息的分類。基於運動特性的識別利用目標運動的周期性進行識別，受顏色、光照的影響較小。基於形狀信息的識別利用檢測出的運動區域的形狀特徵與模板或者統計量進行匹配。
目標跟蹤是在連續的圖像幀間，創建基於位置、速度、形狀、紋理、色彩等有關特徵的對應匹配。依據不同的跟蹤方法可分為基於模型的跟蹤、基於區域的跟蹤、基於活動輪廓的跟蹤、基於特徵的跟蹤等。
聯合目標跟蹤與分類技術是信息融合領域新興的一個研究方向。其基本思想是通過在目標跟蹤器和目標分類器之間進行雙向信息互動，來同時有效地提高目標的跟蹤精度和分類性能。
在特定情況下需要對跟蹤目標從類型細化到個體。這需要對目標的活動進行分析和理解。行為理解的關鍵問題是如何從學習樣本中獲取參考行為序列，並且學習和匹配的行為序列必須能夠處理在相似的運動模式類別中，空間和時間尺度上輕微的特徵變化。
本系統主要致力於基於網路的智慧型監控系統的研究的相關技術的實現。側重於基於複雜背景的下視頻的獲取、壓縮、在網路上傳輸、解碼、跟蹤、識別並對異常的事件進行報警。最終構建成為一個綜合化、低成本、高適用性的網路智慧型監控套用軟體系統。
主要研究內容：小型化嵌入式控制系統：滿足設備小型化的要求，滿足信息的實時收發、安全處理的要求；網際網路通信：利用網際網路通信技術保證通信的安全、可靠，實時傳輸視頻、音頻數據；無線通信：利用無線通信CDMA或GPRS等網路保證通信的安全、可靠，實時傳輸視頻、音頻數據；高效率、高質量的視頻數據壓縮算法；複雜條件下運動目標的監控和識別；複雜條件下運動目標(人)的行為識別與監控；設計並實現一個基於網路的智慧型監控套用軟體系統。
系統的意義
隨著人們對社會安全的重視，視頻監控系統已經開始廣泛的套用到各個領域和行業。產業發展態勢呈現出明顯的4P(Platform平台+Product產品+Provision服務+People大眾)融合趨勢。社會各行業需要實施遠程視頻監控的範圍已逐步擴大，面向管理監控和生產經營監控發展，目前中國的視頻監控集中在行業用戶，個人用戶市場特別是家庭安全領域的需求具備較大潛力。電信運營商寬頻升級，使得現有的寬頻網路能夠滿足用戶多方面的需求，在傳統的以文字和圖片為主的內容服務上，能夠提供具有視頻和音頻的多媒體內容服務。這是網際網路技術發展的必然趨勢，也為視頻監控業務的發展提供了強有力的平台支持。需求與平台的結合，使得視頻監控業務形成巨大的發展潛力。
視頻監控系統作為所有安全保衛工作的眼睛，是第一信息收集來源。視頻監控點的多少、架設範圍直接決定了信息收集的程度，也決定了在處理突發事件和預防突發事件的效率和能力。為了能夠全面監控，通常需要在監控點及其周邊地區架設大量的攝像機，數量如此眾多、範圍如此廣的視頻監控點的無論是設備安裝，還是機動性要求，現有的系統都無法滿足要求，在降低成本、提高工作效率、增加機動性上只有使用移動智慧型監控系統才是解決這些矛盾的最佳選擇。
在現實活中，大量的有意義的視覺信息包含在運動之中。儘管人類視覺既能看見運動又能看見靜止的物體，但是在許多場合，比如說交通流量的監測、重要場所的保全、航空和軍用飛行器的制導、汽車的自動駕駛或輔助駕駛等，我們往往對運動的物體更感興趣。因此研究只對運動目標敏感的檢測與跟蹤系統是很有意義的。此外，運動目標的研究對象是圖像序列，而研究圖像序列的困難性一般要比單幀圖像分析大。
近年來，隨著計算機數字視頻監控系統的不斷發展，對視頻動態檢測的研究也越來越深入，現在視頻動態序列檢測的主要套用方向如下：
1、判斷視頻圖像是否有變化；
2、單個目標的檢測和提取，主要是檢測相對較大目標的運動情況；
3、多運動目標的檢測和提取，主要檢測出螢幕上的多個運動物體運動方向及數量；
4、多運動小目標的檢測和提取，主要是針對視頻上出現的體積較小的物體。
在國外，美國、歐洲和日本已經開展了大量相關項目的研究。例如，1997年美國國防高級研究項目署設立了以卡內基梅隆大學為首、麻省理工學院等高校參與的視覺監控重大項目VSAM(Visual Surveillance And Monitoring)，主要研究用於戰場及普通民用場景進行監控的自動視頻理解技術；實時視覺監控系統W不僅能夠定位人和分割出人的身體部分，而且通過建立外觀模型來實現多人的跟蹤，並可以檢測人是否攜帶物體等簡單行為；英國的雷丁大學已開展了對車輛和行人的跟蹤及其互動作用是別的相關研究；IBM與Microsoft等公司也正逐步將基於視覺的手勢識別接口套用於商業領域中。國內也有很多廠家生產出具有自動報警功能的監控系統，許多科研機構也就該領域做了大量研究，在人體運動視覺分析、交通行為事件分析、交通場景視覺監控等領域取得了許多科研成果。
網路化智慧型監控是運用無線通信、網路、圖像處理與數據壓縮、人工智慧等技術實現視/音頻監控功能的智慧型化系統。在傳統錄像監控系統中無法實現運動檢測，網路傳輸和錄像資料的快速檢索等。傳統的自動報警裝置，大多採取單點信號報警，當採集點的物理量達到一定閾值，就向控制中心發出報警信號。這種報警裝置的優點是安裝便利、反應迅速，但缺點是適應範圍小，對單點噪聲過分敏感，容易誤報，在防止誤報和漏報兩個方面無法做到兼得。因此，高可靠性、準確性的移動智慧型監控系統把握智慧型識別、智慧型判斷、智慧型跟蹤、智慧型調度等特點，其研究開發具有廣泛的套用前景和潛在的經濟價值。此項技術成果可以套用於各行各業的視頻監控系統，例如金融證券保險業的安全監控、政府機關的安全監控、考場紀律的監控、邊境保衛、監獄安全保衛、社區安防等方面，甚至在國防領域都有著十分廣闊的套用前景。
套用場所
1、周界警戒及入侵檢測：在複雜環境中精確的偵測和識別單個物體或多個物體的運動情況並進行運動軌跡跟蹤，包括運動方向、運動特徵等；
2、物品被盜或移動檢測：計算機將自動檢測物體移動情況，用於重要物品和設備的監視；
3、遺留、遺棄物品檢測：當一個物體(如箱子、包裹、車輛、人物等)在警戒區域長時間停留，或超過了預定的時間，系統產生報警信息。典型套用場景包括機場、火車站、捷運站等。
4、自動跟蹤：偵測到移動物體之後，根據物體的運動情況，傳送控制指令，使攝像機能夠自動跟蹤物體，當物體超出該攝像機監控範圍之後，自動通知物體所在區域的攝像機繼續進行追蹤，可用於不同攝像機對同一目標的關聯跟蹤；
5、高級視頻移動偵測(Advanced VMD)：在複雜的天氣環境中(例如雨雪、大霧、大風等)精確的偵測和單個物體或多個物體的運動，包括運動方向、運動特徵等。
6、非法滯留(Object Persistence)：當一個物體(如箱子、包裹、車輛、人物等)在警戒區域停留的時間過長，或超過了預定的時間就報警。典型套用場景包括機場、火車站、捷運站等。
系統設計
智慧型網路視頻監控系統不僅能實現監控功能，還能實現監控範圍網路化、存儲容量擴容化、監控智慧型化等，一旦選定目標，系統即可進行目標實時自主跟蹤，通過攝像頭和雲台監控目標行為，存儲可靠信息。由於均值偏移算法（Mean Shift）是一種基於Bayes濾波的動態系統狀態估計方法，具有很好的抗遮擋性。故採用均值偏移算法，實現智慧型網路視頻監控系統的實時監控和目標實時跟蹤功能。
硬體實現
圖1硬體平台總體結構如圖1所示。客戶可以在不同的網路終端控制網路中的監控設各。在整個監控網路中，每個監控設各擁有自己獨立的IP位址。終端只需要訪問監控設備的IP就可以調看相應視頻並進行監控操作。單個終端獨立控制單個監控設備可以便用點對點控制。監控網路就是由這些點對點控制模組組成的。
網路視頻前端監控設備
系統目前多採用DS-8000系列作為前端監控設備，採用球形或槍形高清晰網路攝像機，Linux嵌入式作業系統以及專用視頻處理晶片，支持多客戶同時訪問和全部的主流壓縮格式（如MJPEG、MPEG-1、MPEG－2、MPEG－4、H.264格式等）。內置高速雲台、監控攝像機。DS－8000通過LAN接入客戶網路，實現前端監控數據的數位化與網路傳輸。網路視頻前端監控設備採用網路攝像機，選擇H．264格式，720×576的最高解析度，Full Dl視頻解析度。
網路客戶終端
在整個監控系統中，視頻信息處理均集中在客戶終端。客戶在終端進行各種監控操作，控制整個系統的運行。網路客戶端是在視頻遠程監控中，通過登錄視頻集中管理服務中心平台（服務端），瀏覽前端視頻圖像、控制攝像機雲台旋轉、鏡頭調焦變倍、錄像查詢回放等遠程終端顯示控制系統。
