背景分析
視頻檢索簡單的可以理解為從視頻中搜尋有用或者需要的資料。
隨著“天網工程”、“平安城市”建設的不斷深入，視頻安防監控技術的更新換代、新技術的更迭以及未來的發展越來越受到各界的高度重視。高清視頻、視頻存儲、智慧型視頻分析等技術成為當前視頻技術發展的主要方面。
2011年是我國安防行業飛速發展的一年，除了市場需求的增加外，政府的大力推動，特別是城市報警與監控系統（“3111”工程）建設的完成及使用， 全國進入了安防設施建高潮期安防行業得到進一步高速發展。‘但隨著安防行業的發展，視頻監控面臨巨大的挑戰。
目前，監控攝像頭已遍布中國大地的每個街頭，晝夜不停地監視和錄像。在改善社會治安的同時，產生海量視頻信息，對成千上萬個監控平台進行監控將耗費大量的人力、物力和時間。在海量的視頻中查找我們需要的信息，無疑是大海撈針，也給視頻監控帶來巨大的挑戰。傳統的人海戰術，因效率低下以及容易錯過關鍵目標，容易使視頻監控處於“監而不控”的狀態。如何化解這一危機，是現代安防的熱點和難點。視頻檢索和視頻濃縮是其中的關鍵。其中視頻檢索技術已經逐漸成熟並開始走向市場。
智慧型視頻
智慧型視頻處理成為視頻監控的“救命稻草”
智慧型視頻源自計算機視覺技術，計算機視覺技術是人工智慧研究的分支之一，它能夠在圖像及圖像內容描述之間建立映射關係，從而使計算機能夠通過數字圖像處理和分析來有限理解視頻畫面中的內容。運用智慧型視頻分析技術，當系統發現符合某種規則的行為（如定向運動、越界、遊蕩、遺留等）發生時，自動向監控系統發出報警信號（如聲光報警），提示相關工作人員及時處理可疑事件。
智慧型視頻算法的實現
目前，智慧型視頻技術實現對移動目標的實時檢測、識別、分類以及多目標跟蹤等功能的主要算法分為以下五類：目標檢測、目標跟蹤、目標識別、行為分析、基於內容的視頻檢索和數據融合等。
目標檢測
目標檢測（Object Detection）是按一定時間間隔從視頻圖像中抽取像素，採用軟體技術來分析數位化的像素，將運動物體從視頻序列中分離出來。運動目標檢測技術是智慧型化分析的基礎。常用的目標檢測技術可以分為背景減除法（Background Subtraction）、時間差分法（Temporal Difference）和光流法（Optic Flow）三類。
背景減除法利用當前圖像與背景圖像的差分檢測運動區域。背景減除法假設視頻場景中有一個背景，而背景和前景並未給出嚴格定義，背景在實際使用中是變化的，所以背景建模是背景減除法中非常關鍵的一步。常用的背景建模方法有時間平均法、自適應更新法、高斯模型等。背景減除法能夠提供相對來說比較完全的運動目標特徵數據，但對於動態場景的變化，如光線照射情況、攝像機抖動和外來無關事件的干擾特別敏感。
時間差分法充分利用了視頻圖像的時域特徵，利用相鄰幀圖像的相減來提取出前景移動目標的信息。該方法對於動態環境具有較強的自適應性，不對場景做任何假設，但一般不能完全提取出所有相關的特徵像素點，在運動實體內部容易產生空洞現象，只能夠檢測到目標的邊緣。當運動目標停止時，一般時間差分法便失效。 光流法通過比較連續幀為每個圖像中的像素賦予一個運動矢量從而分割出運動物體。
光流法能夠在攝像機運動的情況下檢測出獨立的運動目標，然而光流法運算複雜度高並且對噪聲很敏感，所以在沒有專門硬體支持下很難用於實時視頻流檢測中。
目標跟蹤
目標跟蹤（Object Tracking）算法根據不同的分類標準，有著以下兩種分類方法：根據目標跟蹤與目標檢測的時間關係分類和根據目標跟蹤的策略分類。 根據目標跟蹤與目標檢測的時間關係的分類有三種：
一是先檢測後跟蹤(Detect before Track)，先檢測每幀圖像上的目標，然後將前後兩幀圖像上目標進行匹配，從而達到跟蹤的目的。這種方法可以藉助很多圖像處理和數據處理的現有技術，但是檢測過程沒有充分利用跟蹤過程提供的信息。
二是先跟蹤後檢測(Track before Detect)，先對目標下一幀所在的位置及其狀態進行預測或假設，然後根據檢測結果來矯正預測值。這一思路面臨的難點是事先要知道目標的運動特性和規律。三是邊檢測邊跟蹤(Track while Detect)，圖像序列中目標的檢測和跟蹤相結合，檢測要利用跟蹤來提供處理的對象區域，跟蹤要利用檢測來提供目標狀態的觀察數據。
根據目標跟蹤的策略來分類，通常可分為3D方法和2D方法。相對3D方法而言，2D方法速度較快，但對於遮擋問題難以處理。基於運動估計的跟蹤是最常用的方法之一。
目標識別
目標識別（Object Recognize）利用物體顏色、速度、形狀、尺寸等信息進行判別，區分人、交通工具和其他對象。目標識別常用人臉識別和車輛識別。
視頻人臉識別的通常分為四個步驟：人臉檢測、人臉跟蹤、特徵提取和比對。人臉檢測指在動態的場景與複雜的背景中判斷是否存在面像，並分離出這種面像。人臉跟蹤指對被檢測到的面貌進行動態目標跟蹤。常用方法有基於模型的方法、基於運動與模型相結合的方法、膚色模型法等。
人臉特徵提取方法歸納起來分為三類：第一類是基於邊緣、直線和曲線的基本方法；第二類是基於特徵模板的方法；第三類是考慮各種特徵之間幾何關係的結構匹配法。單一基於局部特徵的提取方法在處理閉眼、眼鏡和張嘴等情景時遇到困難，相對而言，基於整體特徵統計的方法對於圖像亮度和特徵形變的魯棒性更強。人臉比對是將抽取出的人臉特徵與面像庫中的特徵進行比對，並找出最佳的匹配對象。
車輛識別主要分為車牌照識別、車型識別和車輛顏色識別等，套用最廣泛和技術較成熟的是車牌照識別。 車牌照識別的步驟分別為：車牌定位、車牌字元分割、車牌字元特徵提取和車牌字元識別。
車牌定位是指從車牌圖像中找到車牌區域並把其分離出來。字元分割是將漢字、英文字母和數字字元從牌照中提取出來。車牌特徵提取的基本任務是從眾多特徵中找出最有效的特徵，常用的方法有逐像素特徵提取法、骨架特徵提取法、垂直水平方向數據統計特徵提取法、特徵點提取法和基於統計特徵的提取法。車牌字元識別可以使用貝葉斯分離器、支持向量機(SVM)和神經網路分類器(NNC)等算法。
行為分析
行為分析(Behavior Analysis)是指在目標檢測、跟蹤和識別的基礎上，對其行為進行更高層次的語義分析。現有的行為分析技術根據分析的細節程度和對分析結果的判別要求可以分為三類：第一類使用了大量的細節，並往往使用已經建立好的數據進行分析而較少使用目標的時域信息。基於人臉、手勢、步態的行為分析方法屬於這一類；第二類是將目標作為一個整體，使用目標跟蹤的算法來分析其運動軌跡以及該目標與其它目標的互動；第三類是在前兩類的基礎上做一個折中，它使用時域和空域的信息，分析目標各部分的運動。
圖像檢索
基於內容的圖像檢索技術是由用戶提交檢索樣本，系統根據樣本對象的底層物理特徵生成特徵集，然後在視頻庫中進行相似性匹配，得到檢索結果的過程。現有基於內容的檢索方法主要分為：基於顏色的檢索方法、基於形狀的檢索方法和基於紋理的檢索方法等。數據融合是將來自不同視頻源的數據進行整合，以獲得更豐富的數據分析結果。
市場套用
視頻檢索在社會公共安全領域 ，視頻監控系統成為維護社會治安，加強社會管理的一個重要組成部分。然而視頻錄像存在存儲數據量大，存儲時間長等特點，通過錄像尋找線索，獲取證據傳統的做法是要耗費大量人力、物力以及時間，效率極其低下，以至於錯過最佳破案時機。因此在視頻監控系統中，錄像智慧型檢索已成為公安用戶迫切需求。
