概述
英文：sparse Coding
稀疏編碼是一種模擬哺乳動物視覺系統主視皮層V1區簡單細胞感受野的人工神經網路方法。該方法具有空間的局部性、方向性和頻域的帶通性,是一種自適應的圖像統計方法.
起源
人眼視覺感知機理的研究表明,人眼視覺系統(Human Visual System, HVS)可看成是一種合理而高效的圖像處理系統.在人眼視覺系統中,從視網膜到大腦皮層存在一系列細胞,以“感受野”模式描述.感受野是視覺系統信息處理的基本結構和功能單元,是視網膜上可引起或調製視覺細胞回響的區域.它們被視網膜上相應區域的光感受細胞所激活,對時空信息進行處理.神經生理研究已表明:在初級視覺皮層(Primary Visual Cortex)下細胞的感受野具有顯著的方向敏感性,單個神經元僅對處於其感受野中的刺激做出反應,即單個神經元僅對某一頻段的信息呈現較強的反映,如特定方向的邊緣、線段、條紋等圖像特徵,其空間感受野被描述為具有局部性、方向性和帶通特性的信號編碼濾波器.而每個神經元對這些刺激的表達則採用了稀疏編碼(Sparse Coding, SC)原則,將圖像在邊緣、端點、條紋等方面的特性以稀疏編碼的形式進行描述.從數學的角度來說,稀疏編碼是一種多維數據描述方法,數據經稀疏編碼後僅有少數分量同時處於明顯激活狀態,這大致等價於編碼後的分量呈現超高斯分布.在實際套用中,稀疏編碼有如下幾個優點:編碼方案存儲能力大,具有聯想記憶能力,並且計算簡便;使自然信號的結構更加清晰;編碼方案既符合生物進化普遍的能量最小經濟策略,又滿足電生理實驗的結論.
研究歷史
1959年,David Hubel和Toresten Wiesel通過對貓的視覺條紋皮層簡單細胞感受野的研究得出一個結論:主視皮層V1區神經元的感受野能對視覺感知信息產生一種“稀疏表示”.基於這一知識。
1961年,H.B.Barlow[5]提出了“利用感知數據的冗餘”進行編碼的理論.
1969年,D.J.Willshaw和O.P.Buneman等人提出了基於Hebbian 學習的局部學習規則的稀疏表示模型.這種稀疏表示可以使模型之間有更少的衝突,從而使記憶能力最大化.Willshaw模型的提出表明了稀疏表示非常有利於學習神經網路中的聯想.
1972年,Barlow推論出在稀疏性(Sparsity)和自然環境的統計特性之間必然存在某種聯繫.隨後,有許多計算方法被提出來論證這個推論,這些方法都成功地表明了稀疏表示可以體現出在大腦中出現的自然環境的統計特性.
1987年,Field提出主視皮層V1區簡單細胞的感受野非常適於學習視網膜成像的圖像結構,因為它們可以產生圖像的稀疏表示.基於這個結論,1988年,Michison明確提出了神經稀疏編碼的概念,然後由牛津大學的E.T.Roll 等人正式引用.隨後對靈長目動物視覺皮層和貓視覺皮層的電生理的實驗報告,也進一步證實了視覺皮層複雜刺激的表達是採用稀疏編碼原則的.
1989年,Field提出了稀疏分散式編碼(Sparse Distributed Coding)方法.這種編碼方法並不減少輸入數據的維數,而是使回響於任一特殊輸入信息的神經細胞數目被減少,信號的稀疏編碼存在於細胞回響分布的四階矩(即峭度Kurtosis)中.
1996年,Olshausen和Field在Nature雜誌上發表了一篇重要論文指出,自然圖像經過稀疏編碼後得到的基函式類似於V1區簡單細胞感受野的反應特性.這種稀疏編碼模型提取的基函式首次成功地模擬了V1區簡單細胞感受野的三個回響特性:空間域的局部性、時域和頻域的方向性和選擇性.考慮到基函式的超完備性(基函式維數大於輸出神經元的個數),Olshausen 和Field在1997年又提出了一種超完備基的稀疏編碼算法,利用基函式和係數的機率密度模型成功地建模了V1區簡單細胞感受野.
1997年,Bell和Sejnowski 等人把多維獨立分量分析(Independent Component Analysis, ICA)用於自然圖像數據分析,並且得出一個重要結論:ICA實際上就是一種特殊的稀疏編碼方法.
21世紀以來,國外從事稀疏編碼研究的人員又提出了許多新的稀疏編碼算法,湧現出了大量的
稀疏編碼方面的論文,國內研究者在稀疏編碼算法和套用方面也作了一些工作],但遠遠落後於國外
研究者所取得的成果.
稀疏編碼的套用
近年來,許多神經生理學家在視覺系統上已展開了全面深入的研究,並且取得了一些有重要意義的研究成果.這就使得在工程上利用計算機來模擬視覺系統成為可能.基於這一認識,利用已有的生物學科研成果,聯繫信號處理、計算理論以及資訊理論知識,通過對視覺系統進行計算機建模,使計算機能在一定程度上模擬人的視覺系統,以解決人工智慧在圖像處理領域中碰到的難題.神經稀疏編碼算法正是這樣一種建模視覺系統的人工神經網路方法。這種算法編碼方式的實現僅依靠自然環境的統計特性,並不依賴於輸入數據的性質,因而是一種自適應的圖像統計方法.
目前,稀疏編碼SC方法在盲源信號分離、語音信號處理、自然圖像特徵提取、自然圖像去噪以及模式識別等方面已經取得許多研究成果,具有重要的實用價值,是當前學術界的一個研究熱點.進一步研究稀疏編碼技術,不僅會積極地促進圖像信號處理、神經網路等技術的研究,而且也將會對相關領域新技術的發展起到一定的促進作用.
