簡介
自編碼器(Autoencoder)的學習只是簡單地保留原始輸入數據的信息，並不能確保獲得一種有用的特徵表示。因為自編碼器可能僅僅簡單地拷貝原始輸入，或者簡單地選取能夠稍微改變重構誤差，卻不包含特別有用信息的特徵。為了避免上述情況，並且能夠學習更好的特徵表示，需要給數據表示一定的約束。去噪自編碼器可以通過重構含有噪聲的輸人數據來解決該問題。
去噪自編碼器所要實現的功能就是學習疊加噪聲的原始數據，而它學習到的特徵與從未疊加噪聲的數據學到的特徵幾乎一樣，但去噪自編碼器從疊加噪聲的輸入中學習得到的特徵更具魯棒性，並且可以避免自編碼器遇到的上述問題，簡單地學習相同的特徵值。
原理
去噪自編碼器（DAE）的訓練過程如圖所示。我們引入一個損壞過程 ，這個條件代表給定數據樣本x產生損壞樣本 機率。
去噪自動編碼被訓練為從損壞的版本 重構乾淨數據點 。這可以通過最小化損失 實現，其中 是樣本 經過損壞過程 後得到的損壞版本。通常分布 是因子的分布（平局參數由前饋網路g給出）。
自編碼器根據以下過程，從訓練數據對 中學習重構分布（reconstruction distribution） :
1.從訓練集中采一個訓練樣本x。
2.從 采一個損壞樣本 。
3.將 作為訓練樣本來估計自編碼器的重構分布 。
通常我們可以簡單地對負對數似然 進行基於梯度法（如小批量梯度下降法）的近似最小化。只要編碼器是確定性的，去噪自編碼器就是一個前饋網路，並且可以使用與其他前饋網路完全相同的方式進行訓練。
因此我們可以認為DAE是一下期望下進行隨機梯度下降：
其中 是訓練數據的分布
