識別歸類
智慧型行為識別當前比較主流的識別歸類：
物體識別
智慧型監控越界識別
在視頻畫面上人為的畫一道線或曲線，可以識別出物體穿越此界限的行為。比如視野是個馬路上，畫一條線把道路分成兩端，假設定義了從左到右是合法，從右到左為非法，一旦車輛行駛跨越了這個界線，設備判斷其是否非法，非法則產生報警。軌跡跟蹤
識別處移動物體之後，能在移動的元素後面畫出其運動經過場所的軌跡。如廣場、車站等公眾場所，人流穿梭，設備能顯示並記錄下每個人的走動軌跡，如果一個人長時間在視野中徘徊遊蕩，超過一定時間，則設備自動報警提示發現可疑行為人物。物體識別
設備能識別出視野場景中的物體多出一個或者少了一個，適合倉庫、車站、展廳、安檢等場所，如果有背包長時間丟失在某處無人拾取，超過設定的時間，系統將產生報警，或者像展廳這些場所，如果展示品缺少一件，設備也能發現並報警。車牌識別
如果視頻場景是個道路口或者小區出入口；只要車牌區域在視頻中出現過，設備能自動識別出車牌號碼；並以文字的方式提示用戶。可以用於違規車輛稽查，比如某牌照車輛在事故後逃逸不知去處，如果市內各要道口都有智慧型識視頻伺服器，系統只有通過網路一次性把一個或幾個需要稽查的車牌號碼設定到系統中的各個智慧型設備中，一旦此牌照的車輛在視野中出現過，就能立即告警。節省許多警力資源。車速測量
比如高速路上有200M的速度提示區，時時提醒駕駛員不要超速行駛，然而超速行駛還是屢屢發生；試想如果在高速路上安裝一個智慧型視頻伺服器，我們只要在視野中畫兩道線，如果確知這兩道線的實際距離是100M，輸入到設備中，設備就能自動計算出每個進過車輛的速度，並且超速時立即報警。流量統計
智慧型設備能識別出過往的行人和車輛，同時能統計出過往的人或車的數量；試想在一個十字路口或者一個會展中心的門口，安裝這樣一個智慧型設備，就能統計處過往車流量或人流量。為公交調度提供更多更及時的信息。逆行告警
比如單行道，或者車站、機場的出口或入口，車流人流都是單方向的，一旦有人逆行，系統會自動識別出，並產生報警。塗鴉行為識別
原本潔淨的牆面，被人亂貼小廣告、電話或者亂塗亂畫等，有礙市容。有了智慧型監控系統設備，就能及時發現這樣的塗鴉行為，並及時告警。反常行為識別
公園、廣場、車站等公眾場合，人流眾多，任何突發的危害人身安全的行為都可能造成重大損失和負面影響。智慧型識別系統，能及時發現人或車輛的異常行為，突然奔跑、摔倒，追打等行為，系統都會及時發現並提醒管理者。技術發展
核心內容
視頻監控是通過獲取監控目標的視頻圖像信息，對視頻圖像進行監視、記錄、回溯，並根據視頻圖像信息人工或自動地做出相應的動作，以達到對監控目標的監視、控制、安全防範和智慧型管理，已被廣泛套用于軍事、海關、公安、消防、林業、堤壩、機場、鐵路、港口、城市交通等眾多公眾場合，隨著技術的進步和成本的降低將逐漸普及到家庭安全防範和娛樂套用。監控技術經歷了很多不同的階段，圖像監控技術是視頻監控的核心內容。模擬視頻監控系統
早期的視頻監控是以攝像機、監視器(電視機)組成的純模擬的視頻監控系統，稱為閉路監視系統。其特點是一個攝像機對應一台監視器(電視機)的監視，只能監控範圍很小的區域。隨後出現了視頻切換設備，改變了攝像機和監視器(電視機)的1對1的方式。並且隨著單片機技術的不斷完善，閉路監視系統加入了多路視頻切換、攝像機雲台/鏡頭控制和報警聯動等數字控制功能，實現了數字控制的模擬視頻監控系統,這些統稱為第一代視頻監控系統。數字視頻監控系統
20世紀90年代中期，隨著計算機處理能力的提高和視頻技術的發展，人們利用計算機的高速數據處理能力進行視頻的採集和處理，從而大大提高了圖像質量，增強了視頻監控的功能。這種基於多媒體計算機的系統稱為第二代視頻監控系統，即模擬輸入與數字壓縮、顯示和控制系統。因為核心設備是數字設備，因此可以稱為數字視頻監控系統。網路數字視頻監控
到了20世紀90年代末特別是近兩三年，隨著網路頻寬、計算機處理能力和存儲器容量的迅速提高，以及各種實用視頻信息處理技術的出現，視頻監控進入了全數位化的網路時代，稱為第三代視頻監控系統，即全數字視頻監控系統或網路數字視頻監控。第三代視頻監控系統以網路為依託，以數字視頻的壓縮、傳輸、存儲和播放為核心，以智慧型實用的圖像分析為特色，引發了視頻監控行業的技術革命。本世紀初，隨著以TI公司的TMS320C6000系列、Philips公司的Trimedia、Equator公司的BSP-15等為代表的高性能DSP的出現，由嵌入式處理器來實時完成高速、大數據量的視頻/音頻編解碼處理成為可能，結合網路通訊技術，使集可程式圖像/聲音編解碼、本地存儲、網路傳輸和自動化技術為一體的嵌入式數字視頻監控系統應運而生。以DSP為核心的嵌入式數字視頻監控系統，配合嵌入式實時作業系統，可以以套用為中心，根據套用對功能、可靠性、穩定性、成本、體積等的綜合要求，對軟/硬體進行裁剪，以滿足視頻監控發展的兩大需要：數位化和網路化。目前監控領域最流行的是嵌入式DVR（數字視頻錄像機或數字硬碟錄像機）系統，使用TI的DM642或ADI的BF561等DSP晶片。技術套用
套用實例
從功能上講，視頻監控可用於安全防範、信息獲取和指揮調度等方面，可以提供生產流程控制、大型公共設施的安防，也能為醫療監護、遠程教育等提供各種服務。從套用領域上看，視頻監控在各行各業都得到了廣泛的套用，除了檔案室、檔案室、金庫、博物館等重要部門的監視和報警，在公共場所進行安全監控，在其他經濟和生活領域進行管理和控制也是必不可少的。具體套用實例有:金融領域
:營業大廳監控、金庫的監控、自動提款機及自助銀行監控等。電信/電力領域:交換機房、無線機房、動力機房等的遠程監控、變電站、電廠等的遠程無人值守監控。商業市場:商場的保全監控、超級市場的出入口監控、碼頭、貨櫃、大型倉庫的監管等。軍事領域:基地安防、公安偵破、監獄法庭管理等。我國有上萬公里的海岸線和邊境線，與多個國家毗鄰。準確及時地掌握邊海防區域的軍事情況，對於有效保衛祖國的領海和領土，在未來戰爭中做出快速反應、掌握戰爭主動權有著極其重要的意義。建立邊海防遠程視頻監控系統，對關鍵口岸、哨所和敏感地區實施監控，就能使我軍情報部門直觀、及時地監控邊海防前線的當面情況，提高情報獲取的實時性和綜合處理能力，也能有效防止偷渡、出逃、走私、販毒等非法行為。交通領域
:高速公路收費管理、交通違章和流量監控、公共運輸車輛牌照管理、公路橋樑鐵路機場等場所的遠程圖像監控等。有效的交通管理是我國各大都市面臨的難題。智慧型視頻交通控制系統能及時提供各路段的車輛流量和路況信息，記錄違章車輛，以便實現準確快速的交通指揮調度，達到充分利用現有的道路資源，提高突發交通事故的處理能力，從而為人們的出行提供快捷舒適的交通服務。社區物業管理:住宅小區、辦公室的安全防範、智慧型大廈、停車場的無人監控等。家庭套用
只需在現有的家庭微機上增加USB攝像頭和相應的軟體系統，就可實現功能強、價格低、性能可靠的數位化家庭監控系統。系統自動檢測在家中採集到的圖像，當發現異常時，通過Internet和短訊息中心向用戶指定的電話號碼傳送短訊息，並將現場圖像以Email方式傳送給用戶。用戶收到短訊息後通過檢查Email就可對家中情況有清楚的了解。此外，用戶出差在外時，也可以遠程登錄到家中計算機，觀看家中安全情況或家人的生活健康狀況。市場分析
電信諮詢公司博通智信日前在《國內外視頻監控業務市場研究報告（2005）》中稱，到2005年底，中國視頻監控行業套用市場總產值將達到182億元人民幣。比上一年增長20．5%,中國視頻監控行業套用市場未來幾年將繼續保持20%左右的增長速度。——中國監控網目前我國的視頻監控市場已經規模啟動，這項業務的發展前景不可估量。行業用戶市場快速擴張。個人用戶市場巨大潛能亟待開發。2008年北京奧運會舉辦在即，預計到2008年，科技強警示範城市將達到180個。“平安城市”的建設促進了視頻監控市場的迅速增長，預計到2008年，全國約有200萬個監控攝像頭用於城市監控與報警系統。——中國信息產業網2007年中國網路視頻監控業務市場規模達到26.36億元，預計2011年將達到86.61億元，未來5年之內都將保持約38%的年增長率。——中國信息產業網智慧型監控技術
雖然目前監控攝像機在商業套用中己經普遍存在，但並沒有充分發揮其實時主動的監督作用，因為它們通常是將攝像機的輸出結果記錄下來，當異常情況(如停車場中的車輛被盜)發生後，保全人員才通過一記錄的結果觀察發生的事實，但往往為時已晚。而我們需要的監控系統應能夠每天連續24小時的實時智慧型監視，並自動分析攝像機捕捉的圖像數據，當異常發生時，系統能向保衛人員準確及時地發出警報，從而避免犯罪的發生，同時也減少僱傭大批監視人員所需要的人力、物力和財力的投入。智慧型視覺監控就是要用計算機視覺的方法，在不需要人為干預的情況下，通過對攝像機拍錄的圖像序列進行自動分析，實現對動態場景中目標的定位、識別和跟蹤，並在此基礎上分析和判斷目標的行為，從而做到既能完成日常管理又能在異常情況發生的時候及時做出反應。智慧型監控系統的需求主要來自那些對安全要求敏感的場合，如銀行、商店、停車場等。另外，智慧型監控系統在自動售貨機、ATM機、交通管理、公共場所行人的擁擠狀態分析及商店中消費者流量統計等方面也有著相應的套用。
研究內容
智慧型監控系統——手機視頻監控報警系統是安防進入民用化領域的一套智慧型系統，該系統集成了手機監控與手機防盜報警兩大系統，當有非法人員闖入禁區防區或者火災煤氣泄漏等緊急情況時，系統主機會第一時間給指定用戶撥打電話及傳送簡訊或email！用戶收到電話簡訊時可以第一時間用手機或者電腦查看監控區域的畫面。消除了傳統監控系統馬後炮及傳統報警系統誤報出警的顧慮！該系統集成了無線門磁、無線煙感等無線報警配件信息，有效的提高了監控系統民用化的特性。深圳市凱特科技有限公司是專業從事手機視頻監控產品，該產品的配套手機軟體即凱特守護神能與視頻監控及家庭報警聯動至手機簡訊或電話中。該產品也是一款智慧型家居安防監控防盜系統：該系統系網路但無需電腦即可獨立完成！本地存儲器24小時錄像，異地可通過上網手機或電腦可觀看及操作家中所有監控畫面。系統自帶無線報警模組，可匹配無線門磁、探頭、煙感器等無線報警觸發設備，當有人闖入監控防區，系統會自動打電話、發簡訊、郵件給指定的4位手機用戶，同時本地會產生聲光警笛。遠程用戶收到警情電話、信息後可以通過上網手機或電腦查看監控畫面情況，並通過手機控制攝像機鏇轉角度及焦距、報警系統布防撤防，同時啟動手機錄像功能並處理警情。環境建模
要進行場景的視覺監控，環境模型的動態創建和更新是必不可少的。在攝像機靜止的條件下，環境建模的工作是從一個動態圖像序列中獲取並自動更新背景模型。其中最為關鍵的問題在於怎樣消除場景中的各種干擾因素，如光照變化、陰影、搖動的窗簾、閃爍的螢幕、緩慢移動的人體以及新加入的或被移走的物體等的影響。運動檢測
運動檢測的目的是從序列圖像中將變化區域從背景圖像中提取出來。運動區域的有效分割對於目標分類、跟蹤和行為理解等後期處理是非常重要的，因為以後的處理過程僅僅考慮圖像中對應於運動區域的像素。然而，由於背景圖像的動態變化，如天氣、光照、影子及混亂干擾等的影響，使得運動檢測成為一項相當困難的工作。目標分類
對於人體監控系統而言，在得到了運動區域的信息之後，下面一個重要的問題就是如何將人體目標從所有運動目標中分類出來。不同的運動區域可能對應於不同的運動目標，比如一個室外監控攝像機所捕捉的序列圖像中除了有人以外，還可能包含寵物、車輛、飛鳥、搖動的植物等運動物體。為了便於進一步對行人進行跟蹤和行為分析，運動目標的正確分類是完全必要的。但是，在已經知道場景中僅僅存在人的運動時(比如在室內環境下)，這個步驟就不是必需的了。人體跟蹤
人體的跟蹤可以有兩種含義，一種是在二維圖像坐標系下的跟蹤，一種是在三維空間坐標系下的跟蹤。前者是指在二維圖像中，建立運動區域和運動人體(或人體的某部分)的對應關係，並在一個連續的圖像序列中維持這個對應關係。從運動檢測得到的一般是人的投影，要進行跟蹤首先要給需要跟蹤的對象建立一個模型。對象模型可以是整個人體，這時形狀、顏色、位置、速度、步態等等都是可以利用的信息；也可以是人體的一部分如上臂、頭部或手掌等，這時需要對這些部分單獨進行建模。建模之後，將運動檢測到的投影匹配到這個模型上去。一旦匹配工作完成，我們就得到了最終有用的人體信息，跟蹤過程也就完成了。數據融合
採用多個攝像機可以增加視頻監控系統的視野和功能。由於不同類型攝像機的功能和適用場合不一樣，常常需要把多種攝像機的數據融合在一起。在需要恢復三維信息和立體視覺的場合，也需要將多個攝像機的圖像進行綜合處理。此外，多個攝像機也有利於解決遮擋問題。行為理解描述
事件檢測、行為的理解和描述屬於智慧型監控高層次的內容。它主要是對人的運動模式進行分析和識別，並用自然語言等加以描述。相比而言，以前大多數的研究都集中在運動檢測和人的跟蹤等底層視覺問題上，這方面的研究較少。近年來關於這方面的研究越來越多，逐漸成為熱點之一。研究現狀
智慧型監控具有廣泛的套用前景和潛在的經濟價值，從而激發了世界上廣大科研工作者及相關人士的濃厚興趣，尤其在美國、英國等國家已經開展了大量相關項目的研究。例如，1997年美國國防高級研究項目署(DefenseAdvancedResearchProjeCtSAgency)設立了視覺監控重大項目VSAM主要研究用於戰場及普通民用場景進行監控的自動視頻理解技術。實時視覺監控系統不僅能夠定位人和分割出人的身體部分，而且通過建立外觀模型來實現多人的跟蹤，並可以檢測人是否攜帶物體等簡單行為。英國的雷丁大學(UniversityofReading)己開展了對車輛和行人的跟蹤及其互動作用識別的相關研究;國際上很多權威期刊將智慧型監控中人的運動分析研究作為主題內容之一，為該領域的研究人員提供了更多的交流機會。在我國，這方面的研究近幾年才開展起來的。中國科學院自動化研究所模式識別國家重點實驗室己經成立智慧型視覺監控研究組，開展這方面的研究，目標是實現一個動態場景集成分析演示系統並最終推向實用。第一屆全國智慧型視覺監控學術會議於2002年5月25一26日在北京市西郊賓館成功舉行。國內有一些視頻監控方面的產品，如Anychat、黃金眼、行者貓王等，套用於交通控制，監獄管理等方面。另外，國內產品還有數字硬碟錄像系統(DVR)，將監控區域內有運動對象出現的情況錄製下來，以備查詢，該系統只是簡單的檢測出有無運動對象，而沒有對運動對象做任何分析。由於國內的研究起步較晚，技術還不夠完善，開發出的產品距離智慧型化還有一定差距，在實際的套用中，受到很多限制，還有待於進一步的完善。
