定義
召回率(Recall)和精度(Precise)是廣泛用於信息檢索和統計學分類領域的兩個度量值,用來評價結果的質量。其中召回率是是檢索出的相關文檔數和文檔庫中所有的相關文檔數的比率,衡量的是檢索系統的查全率。精度是檢索出的相關文檔數與檢索出的文檔總數的比率,衡量的是檢索系統的查準率。計算公式
假定:從一個大規模數據集合中檢索文檔的時,可把文檔分成四組:系統檢索到的相關文檔(A)
系統檢索到的不相關文檔(B)
相關但是系統沒有檢索到的文檔(C)
不相關且沒有被系統檢索到的文檔(D)
召回率R:用檢索到相關文檔數作為分子,所有相關文檔總數作為分母,即R = A / ( A + C )
精度P:用檢索到相關文檔數作為分子,所有檢索到的文檔總數作為分母.即P = A / ( A + B ).
示例
一個資料庫有500個文檔,其中有50個文檔符合定義的問題。系統檢索到75個文檔,但是只有45個符合定義的問題。
召回率R=45/50=90%
精度P=45/75=60%
本例中,系統檢索是比較有效的,召回率為90%。但是結果有很大的噪音,有近一半的檢索結果是不相關。研究表明:在不犧牲精度的情況下,獲得一個高召回率是很困難的。
備註
對於一個檢索系統來講,召回率和精度不可能兩全其美:召回率高時,精度低,精度高時,召回率低。對於搜尋引擎系統來講,它可以通過搜尋更多更多的結果來查到更多相關結果,從而提高召回率(查全率),但也會導致查到更多不相關結果,從而降低了搜尋精度(查準率)。因為沒有一個搜尋引擎系統能夠蒐集到所有的WEB網頁,所以召回率很難計算。所以一般來說,不會單獨的使用召回率或精度,而是在其中一個值固定的基礎上,討論另一個值。如當召回率為60%時的精度值變化情況。目前的搜尋引擎系統都非常關心精度。所以常常用11種召回率下11種精度的平均值來衡量一個檢索系統的精度。
我們也可以將這兩個度量值融合成一個度量值,如F度量(F-measure)。