微表情識別的局部時段模式與數據增強

微表情 (Micro Expression, ME) 是人類不由自主出現的表情,也是揭露一個人情緒與心理狀態最重要的外部指標之一,過去不論是醫學、教育學或是心理學等領域專家們透過臉部動作編碼系統 (Facial Action Coding System, FACS) 分析動作單元 (Action Units, AUs) 與情緒表達之間的關係,雖然這套系統大幅改善微表情識別的準確率,但仍不夠精確。原因是微表情的局部性與短暫性導致難以定位,與大範圍的頭部運動或眨眼較難做出區隔,且 ME 的特徵很小導致數據庫數量有限。

本研究主要有三點貢獻,第一為建立局部時段模式 (Local Temporal Pattern, LTP),當微表情發生時,重點區域的灰階值將產生變化;本研究計算三百毫秒內的變化值,發現每當微表情於重點區域 (Regions of Interest, ROIs) 發生時,從起始到頂點都會形成一個「S 型」(如圖一)。這個發現說明了 LTP 與微表情有更高的契合度,更發展了微表情發生時的特定模式。

圖一 – S 模式

第二項貢獻將大範圍頭部與眨眼關運動加以區隔,上一段說明透過 ROIs 能完成 LTP 的局部辨識,本研究也運用面部整合系統,將微表情與其他臉部表情加以區隔,S 模式也說明更多微表情的類似特徵。

第三項貢獻為透過篩選 S 模式與數據增強來改善識別功能,因為受限於微表情資料庫小且沒有標示精確的位置,大幅限制了定位性能與模型精確度。本研究透過 Hammerstein 模型模擬每個 S 模式的參數,產生更多數據後能夠進行有效篩選並生成其他類似的 S 模式,有利於訓練模型的可靠性。

過去因微表情資料的侷限性導致識別度低,本研究找到微表情產生時共通的模式,並透過這種模式更有效地將宏表情與微表情區分開來,降低模型因加入宏表情數據而產生的誤差;另外本研究也透過數據增強來擴增微表情的資料,將更多共通模式投入模型中進行篩選與訓練。最後在 CASMEI 和 CASMEII 上的檢測結果表明,本研究提出的 LTP 在 F1 – score 優於市面上的辨識方法 (如圖二)。若增加整合系統和數據增強更能進一步提高定位性能。期待此模型可提升未來學術或實務領域對於建立微表情模型的參考,提高微表情定位與識別的準確度。

圖二 – 檢測結果

Ref: https://ieeexplore.ieee.org/abstract/document/9195783