視頻濃縮
視頻濃縮 VideoSynopsis
是對視頻內容的一個簡單概括,以自動或半自動的方式,通過對視頻中的運動目標進行算法分析,提取運動目標,然後對各個目標的運動軌跡進行分析,將不同的目標拼接到一個共同的背景場景中,並將它們以某種方式進行組合,生成新的濃縮後視頻的一種技術。
目錄
原理
特性
實現
套用
原理
視頻摘要不僅濃縮的是事件的精華,也是活動事件的全部,沒有價值的視頻將被剔除。通過分析合併技術,可以在幾秒中看完所有的活動目標成為可能,回溯原始視頻功能,瞬間鎖定目標在原始視頻的位置。這些智慧型視頻分析功能的實現和套用將大大提高海量視頻監控錄像分析的效率。
視頻濃縮並不僅僅是是視頻摘要,這兩種概念並不等同。
特性
視頻摘要系統可將數小時的視頻錄像,摘要成數分鐘。工作人員瀏覽完數分鐘的視頻錄像,即可了解數小時內所有的運動物體和對象。這些活動對象不在同一時間發生,全都在同一視頻畫面中展現,一目了然。
生成的新的視頻將大大縮短原始視頻的播放時間,實現在幾分鐘的時間內,對一個小時的原始視頻的查看,並且不會遺漏任何原始視頻中出現過的移動目標。同時,在生成新的視頻過程中,根據目標分析中的分析結果,按照不同的特徵進行目標分類,比如,顏色,類型,運動方式,運動方向等,分類後的特徵可以在後續的查找過程中,根據條件來進行檢索,直接找到與條件對應的搜尋目標。
在海量的視頻中搜尋特定的對象,特定的目標信息,特別針對安防和公安的套用,對城市聯網的安防監控攝像頭,對傳輸到存儲中心的視頻流進行分析,整理,分類,生成可檢索的目標資料庫,可實現目標的規模化條件檢索。這樣在對過往的存儲數據,在對視頻資料的搜尋查找過程中,通過濃縮與進行摘要分析處理後的視頻數據搜尋將大大提高工作效率,節省工作時間,加快工作進度。
視頻摘要技術還擁有如下特性:
l並發處理:可對長視頻檔案進行摘要處理,可同時進行多個視頻檔案的處理工作;
l處理時間短:目前處理時間為原視頻時間的10%~25%;
l摘要視頻短:特定條件下,一小時視頻可摘要成幾十秒,甚至20s;
l靈活的操作:可設定摘要視頻的播放速度,設定摘要視頻中活動對象的展現密度;
l直觀的展現:每個活動對象可現實對象框,並標註出現的時間戳;
l方便的摘要輸出:可將視頻摘要導出為需要的視頻格式檔案;
l可與原始視頻互動:選中活動目標可直接索引播放活動目標的原始視頻
實現
視頻濃縮主要有三個方面的技術操作:活動目標提取、策略性摘要展示和索引能力。
活動目標提取主要使用物體移動偵測(VMD)智慧型視頻分析技術,通過圖形圖像算法,使視頻中的活動目標和固定背景分離,勾勒活動目標輪廓,並對活動目標及其運動軌跡進行記錄。所有的活動目標及其運動軌跡坐標和背景信息全部結構化存儲在資料庫中。
策略性摘要展示主要從資料庫中提取背景和活動目標的相關信息,按照一定的規則和策略進行“組裝”,避免活動目標的重疊,避免同一目標的割裂,避免活動目標與背景之間的不平滑過渡等。最終使得同一空間中不同時間的活動目標“聚集”在一段短時間區間內。
索引為用戶提供了方便的查看原始視頻素材的途徑。用戶可選中摘要中任意的對象,即可查看該對象的原始視頻,方便用戶對真實的現場情況作出準確判斷。
上述三方面技術實現了高質量的視頻摘要系統,否則就會出現展示效果不佳、呈現呆板、遺漏活動對象等問題,實用性也將大為降低。
例如:
下圖是原始的監控視頻畫面
側視窗自動播放原始視頻中目標相關段視頻。左下角為根據主要顏色特徵為綠色,特徵分類為車輛的條件下,檢索出的所有綠色為目標主要顏色的車輛類特徵目標快照;
下圖是根據紅色為主要顏色的搜尋結果:
套用
視頻監控已經成為現代安防、公共安全不可缺少的技術手段,但是視頻的監視和瀏覽的低效利用問題一直都困擾著人們。通常一個案件涉及的視頻錄像長達幾十甚至成百上千小時數,需要幾個或十幾個人,快進瀏覽也需要看上幾個甚至十幾個小時。效率十分低下,也容易喪失破案的時機。
此外,很多重要的線索或活動對象,在監控畫面中僅僅出現十幾秒甚至數秒,而這樣的信息,散落在數十小時的視頻中,人工查看視頻時,極易遺漏這些轉瞬即逝的重要信息。據一項研究實驗表明,在連續觀察12分鐘的視頻圖像時,觀察者會錯過45%的場景,而在連續觀察22分鐘後會錯過95%的場景,從而忽略了許多重要細節。這使得視頻錄像和視頻監控系統的真正有效使用率大為降低。即使有足夠的人力和時間,通過人工查看原始視頻的方式來捕捉轉瞬即逝的線索,也是有很大風險的。
如何讓人在能夠集中精力的數分鐘內,高效的瀏覽所有數小時的視頻內容,有效的捕捉線索和可以對象,這是一個高度面向套用的技術課題,由此,視頻摘要技術應運而生。
視頻摘要產品的顯著特性是可在數分鐘內瀏覽數小時視頻錄像中所有的活動目標,瀏覽視頻摘要可大大縮短查看原始視頻的時間,提高效率和人工識別的準確性。
視頻摘要主要套用於公安刑刑偵部門的視頻調查中,通過數分鐘的摘要處理和數分鐘摘要視頻的查看,公安部分可快速確定數小時的原始視頻中是否有嫌疑人員或特殊情況發生,有助於高效的追嫌追逃、尋找線索。
此外,對於重點、高安保級別區域,如監獄、銀行、政府機關等,通過定期快速瀏覽摘要視頻,有助於安保人員快速明確過去數小時內是否有異常情況發生,及時性很高。這也彌補了智慧型視頻對特性行為進行實時分析、而不能對非特定性為進行判斷的空白。
發展情況
國外目前主要研發企業為freecam、Seen-tek等公司掌握核心技術。