當前圖片知識獲取主要包括基於人工設計的特徵表達方法和基於深度學習的特徵提取方法和基於圖片的視覺關係檢測。
在基於人工設計的特徵表達方法方面。最初面向圖片的知識獲取主要從圖像分類、物體檢測等技術中獲取圖片中的概念信息，主要是基於人工設計的特徵，主要包括基於局部SIFT方法、基於直方圖HOG的方法和基於全局GIST的方法。
在基於深度學習的特徵提取方法方面。自從Alex Krizhevsk[1]等學者在2012年提出一個8層的深度模型並在Image-Net競賽上取得非常好的效果後，卷積神經網路(Convolutional Neural Networks，CNN)在圖像分類與識別領域受到了廣泛關注，並取得了巨大成功。將卷積神經網路用於圖像識別與分類，可以歸納為三種途徑： 一是直接在待分類的數據集上訓練一個深層的網路。二是在訓練好的網路上直接提取特徵。訓練好的CNN模型可以直接用來當特徵提取器，提取的特徵可以用做其它的後續操作。三是在目標數據集上對現有深度模型進行“精細化”（Fine-tune）改進。在特定數據集上訓練好的模型有很強的泛化性能，但是Fine-tuning能夠進一步提升分類性能。Fine-tuning是在目標數據集上重新調整網路參數，從而使深度模型能夠捕獲針對目標任務更具有區分性的特徵[2]。
在基於圖片的視覺關係檢測方面。更全面的圖片知識獲取不僅需要能辨別視覺信息中包含的物體和場景等概念，還需要考慮物體與物體之間的關係，進行視覺關係檢測乃至對圖片的語言描述。學習關係是通用智慧型行為的一個重要組成部分。在圖像研究中，學習圖像中物體之間的關係也是深層次理解圖像的重要表現方式。
