背景
人類接受的外界信息約80%來自視覺，現實世界的事物映射到人的視網膜，形成了人類重要的信息交流方式。視覺信息可分為靜態圖像和動態視頻兩類。靜態圖像含有比傳統的文字和數值豐富的空間信息，動態視頻是隨時間變化的圖像流，由於引入了時間維度，它一方面有直觀、生動、真實、高效表達現實世界的特點，另一方面動態視頻中含有更為豐富的其他媒體所無法表達的信息和內容。但由於視頻信息的信息量巨大，結構複雜，對其進行有效的管理及實現方便的檢索存在很大的困難。
以管理文字及數值信息為主要目的的傳統資料庫技術已獲得很大的發展，已形成完整的理論體系及成熟的技術，視頻作為一種時、空兩維的數據引入資料庫，對傳統的資料庫技術提出了挑戰。視頻資料庫系統涉及模式識別、計算機視覺、人工智慧、認知科學及資料庫理論等多個學科，它與這些學科有緊密的關係，但又不同於這些學科。視頻資料庫系統是一種信息檢索技術，其核心是對龐大的視頻數據流進行基於內容的檢索，它在數字圖書館、遠程教學、電子商務等領域有廣闊的套用前景，視頻資料庫將成為信息處理領域重要的研究方向。
結構
視頻資料庫的分層雖然沒有統一的形式，但可粗略地把視頻資料庫歸為以下所描述的層次結構。
視頻資料庫的第一層稱為媒體支持層，此層主要對視頻原始信息進行分段及識別等操作。分段是指把視頻數據流劃分為有意義的單元，並通過識別抽取對視頻的描述信息。
第二層稱為數據模型層，此層主要完成視頻數據的邏輯存儲向物理存儲的映射，此層中的視頻數據的邏輯內容定義、相互關聯及特徵與數據關係均由數據模型所確定。此層實際上也是資料庫的概念模型的體現。
第三層為視頻用戶接口層，此層完成用戶對視頻信息的查詢描述和查詢結果的表現。
分類
以視頻信息內容為管理對象建立的資料庫，可稱為 基於文本檢索的視頻資料庫；以視頻聲視內容為管理對象建立的資料庫，可稱為 基於內容檢索的視頻資料庫。兩類資料庫的構建目的都是為了管理視頻數據，但二者在原理及套用範圍上卻有很大區別。
(一)基於文本檢索的視頻資料庫
其原理是，預先對視頻數據及相關資源進行人工分析，從中抽取反映該視頻數據的物理特性(時間長度、檔案格式和檔案大小等)和信息內容特性(責任者、代表視頻數據內容的分類名、關鍵字等)的文本信息，建立資料庫，並通過資料庫中的關鍵欄位與視頻數據建立連結，從而將對視頻數據的檢索轉變成對文本信息的檢索。用戶使用關鍵字或自由詞進行檢索，資料庫自動進行文本匹配，輸出符合條件的檢索結果。用戶通過檢索結果中關鍵欄位與視頻數據的連結，線上打開視頻檔案或將視頻檔案下載到本地存儲器。
(二)基於內容檢索的視頻資料庫
為了克服基於文本檢索的視頻資料庫的不足，人們提出了基於內容的視頻信息檢索構想。其基本原理是根據視頻對象的聲視內容及前後片段的聯繫，在大規模視頻資料庫中進行檢索。研究目標是提供在沒有人工參與的情況下，自動識別或理解圖像重要特徵的算法。目前，基於內容的視頻信息檢索的主要研究工作集中在識別和描述圖像的顏色、紋理、形狀、空間關係，以及視頻分割、關鍵幀提取、場景變換探測、故事情節重構等方面。基於內容的視頻檢索已成為圖像圖形科學中一門涉及面很廣的交叉分支學科，需要以圖像處理、模式識別、計算機視覺、圖像理解等領域的知識作為基礎，從認知科學、人工智慧、資料庫管理系統、人機互動、信息檢索等領域引入新的媒體數據表達方式和數據模型，從而設計出可靠、有效的檢索算法、系統結構以及友好的人機界面。
套用
1．視頻資料庫套用於數字圖書館
數字圖書館不是簡單的數位化收藏加上信息處理、傳播和發布工具，而是支持面向對象的分散式查詢的資源庫，並且通常支持基於知識內容的檢索，具有人性化的人機界面。即在數字圖書館中，信息將以多媒體形式表達，讀者將從文本、圖形、圖像、聲音、視頻等多種媒體所表達的信息中獲取知識，視頻資料庫是多媒體資料庫研究的繼承和深入，其中視頻信息由於其動態、直觀的特點將為讀者提供更大的信息量，所以，未來的圖書館是一個數字視頻圖書館，視頻資料庫是數字圖書館不可分割的一部分。
2．視頻資料庫套用於教育方面
教育領域，可以對選定的教學內容建立視頻資料庫，教師可查詢及檢索視頻資料庫中的視頻片段，並按學生的需求動態地組織課程，學生也可通過視頻資料庫系統進行自學。用視頻資料庫進行教育可以創造一種全開放的教育模式，把世界各地有用的信息呈現在用戶面前，並供互動使用。
3．視頻資料庫套用於工業
企業多媒體信息管理系統是視頻資料庫的一個新的套用領域。在企業的多媒體信息管理系統中可包括製造過程視頻資料庫，由資料庫可獲取產品製造過程信息，對製造過程中發生的問題進行診斷。企業可利用視頻數據為位於世界不同地點的分支機構方便地傳播戰略方針及產品信息，並可進行員工教育及再培訓。
4．視頻資料庫套用於醫療保健
視頻資料庫技術可為醫學系統帶來一場革命。視頻資料庫系統可運用多媒體醫學信息系統管理病人的病歷、醫學記錄、病人的圖像信息及病人手術過程的視頻信息，藉助視頻技術可幫助醫院之間及醫學專家之間進行異地合作，即可實現遠程醫療，遠程外科手術和遠程診斷。
視頻資料庫在公安、廣播通信、商業、娛樂等方面都有著重要的套用，如面部及指紋資料庫、犯罪現場視頻資料庫、保全監視資料庫、視頻會議、線上購物、股票視頻資料庫、視頻點播等。
