介紹
準確的識別面部表情是個體的一項重要社會技能，在人與人的交流中有著重要的作用。面部表情的識別受到了溝通雙方多種因素的影響。一方面，從表情發出者的角度來看，面部本身的特徵，包括特定部位（如眼睛和嘴部）和整體的特徵信息，均會影響面部表情的識別。另一方面，從信息接收者的角度來看，觀察者自身的特性（如其所處的情緒狀態、內部思維線索等）也會影響面部表情的識別。
人臉特定部位的信息對面部表情識別有重要的影響作用。面部特徵點的選取 ，應包含我們需要提取的面部特徵點 ，同時這些特徵點要能很好地描述出每個表情的變化過程 ，特徵點的數量在其標定五官的周圍要達到一定密度 ，以達到在表情變化時完整地描述該五官的變化情況。
除了特定部位的特徵外，人臉的整體特徵也會影響個體對面部表情的識別。整體特徵的影響可以表現在多個方面，包括面部結構、人臉的形態和性別等。面部結構是指面孔上各個部位之間的空間關係及布局信息。
面部特徵的表示
面部特徵的表示大致可以分為三類：
(1) 第一種是以點來表示面部特徵，也就是根據我們對人臉特徵的理解定義的一些特徵點，比如在 ASM 和 AAM 中，面部特徵就是用點來定義的，我們稱之為界點（Landmark）。這其中又分為三種界點：(a) 極值點，一般這種界點在一個局部範圍內只有唯一的定義，比如眼睛的瞳孔，鼻尖和鼻孔等。(b) 邊界點，這種界點在一個局部內的邊界上都可以認為是界點，但是考慮相鄰界點之間的位置和距離，一般是在整個邊緣上均勻的抽取得到，比如人臉輪廓點，眉毛輪廓點，嘴唇輪廓點等。(b) 插值點，這種界點在局部上並沒有明顯的紋理特徵，是通過其他的界點插值推算得到的，比如嘴巴中心點，眉心，還有那些被遮擋或不可見的點等等。
(2) 第二種是用線條或者邊界來定義面部特徵，比如在可變形模板中就將臉的輪廓定義為一條拋物線，眼珠的邊界定義成圓等等。
(3) 第三種是以區域來定義面部特徵，比如在一些通過顏色或者是灰度值進行分割的方法中，通過對唇色的統計分割出具有唇色的像素的區域作為嘴巴；眼睛、眉毛等也通過相應顏色和亮度同人臉其他區域的區別進行分割，然後將符合條件的像素組成的區域作為相應的目標區域。
但是不論哪種表示方式，最後都可以歸結為兩個方面，一個是紋理模型，一個是形狀模型。而特徵定位的目標就是要在給定待檢測的圖像上尋找到相應的特徵位置和形狀，從而使得不同的圖像可以根據對應特徵的位置和形狀達到語義上的對應。
紋理模型
面部特徵的定義是在語義上的一種定義，是人類對事物的認知。相對於計算機而言，是一種相對穩定的局部結構和局部紋理模式在圖像上的反映。研究者需要為這些局部結構和局部紋理模式建立相應的模型，從而使得計算機在圖像中檢測和定位到這些模式。我們下面具體介紹這些局部紋理的建模方式。紋理信息，包括顏色、邊緣、梯度、提取的各種特徵等等。
面部特徵(1) 顏色模型。最直接、最簡單的圖像信息就是圖像上不同區域的亮度、顏色存在著變化。一般來說，對於人臉圖像其普遍存在的特徵是眼睛區域的亮度要低於周圍區域，眼珠是灰黑色或是藍色等，嘴唇的顏色也和膚色存在著一定的差別。一些人臉檢測和特徵定位方法正是利用這些特性來為不同的人臉特徵建模。比如 ，首先對眼睛和嘴唇的色彩信息在 色彩空間進行統計和建模，然後根據待測圖像上的不同區域的色彩與模型色彩的匹配度得到眼睛和嘴的位置。
(2) 投影模型。通過投影模型或者說是投影函式來定位面部特徵點也是早期廣泛使用的一種方法，主要用於眼睛的定位。這主要是利用了人臉圖像中眼睛區域的灰度分布的特點，也就是眼睛區域的灰度值與周圍區域相比較低，眼珠和眼白的灰度差別較大。這類方法的主要特點是在圖像的 x 方向和 y 方向分別計算圖像投影函式，這個投影函式一般是灰度值的函式，或者是灰度梯度的函式，或者是灰度的方差的函式，亦或是幾種的組合等等。
(3) 邊緣，梯度模型。邊緣和梯度是圖像的底層視覺特徵，被廣泛用於圖像分析。
綜合特徵變換方法和模式分類方法這兩方面的因素，使用這種方式進行紋理建模的方法就有很多種組合。所以湧現出了許多用特徵變換的方式進行面部特徵定位和人臉局部特徵紋理建模的方法。
形狀模型
(1) 基於規則的形狀模型。最簡單的就是基於規則全局形狀模型，比如對獨立特徵點的檢測，初始化搜尋區域設定在特定的位置上，規定眼睛位於鼻子的上方，鼻子在嘴巴上方以及特定特徵點之間距離的比例關係等等的一系列的規則。這樣的規則對於一些比較明顯的形狀約束比較簡單有效，但是對於內在的形狀統計和約束缺乏形式化上的表達和定量的度量。
(2) 基於平滑性約束的形狀模型。主動輪廓模型的內部能量函式包含了輪廓的一階導數和二階導數，具體可以表示為 Eint = α|v′| + β|v′′|，其中 α 和 β 是這兩項的權重係數。這樣在輪廓不平滑的地方，內部能量函式的取值較大，因此在最佳化的時候輪廓的移動就會按照平滑的方式進行，從而保證了整體形狀的平滑性和連續性。
(3) 基於幾何圖形的形狀模型。基於幾何圖形的形狀模型是一種參數化的表示方式，可變形模板 是這類模型中典型的例子。輪廓定義成拋物線，眼珠定義成圓，眼睛定義成橢圓。嘴巴、下巴等，也可以採用類似的幾何圖形建模。但是，實際的眼睛形狀千差萬別，固定的幾何圖形並不能很好地為其建模，而光照、姿態和表情的變化更使得採用這種固定的簡單數學模型難以適應這些複雜的變化，因此很難實現魯棒的特徵提取。最佳化速度慢、容易陷入局部極小也阻止了該算法的進一步發展。
(4) 基於點分布模型的形狀模型。ASM 和 AAM都是基於點分布模型（Point Distribution Model, PDM）的算法。在 PDM 中，外形相似的特定類別物體（比如人臉、人手）的形狀通過若干關鍵的特徵點（Landmarks）的坐標串接成原始形狀向量。對訓練集中的所有形狀向量進行對齊操作後，對他們進行 PCA 分析建模，保留的主成分形成最終的形狀模型，形狀模型的參數反映了形狀的主要可變化模式。
(5) 基於圖模型的形狀模型。彈性圖匹配 是面部關鍵特徵定位的另一個重要算法，該方法將人臉面部關鍵特徵點的屬性及其它們之間的位置關係通過一個屬性圖進行描述，圖的頂點對關鍵特徵點的局部紋理建模（通過 Gabor 特徵） ，圖的邊則反映了特徵點之間的距離等位置關係。
套用
1、學習狀態的研究
2、疲勞駕駛檢測
3、表情識別
4、性別識別
