心理學家發現，人格特質是就業時預測求職者能力的標準之一。企業相信可以透過人格特質預測求職者未來在工作中的行為。但目前普遍的作法是請求職者自行填寫測評問卷，這樣的作法的缺點是，求職者可能會為了得到工作機會、做出符合社會期待的答案。當然企業也可以透過求職者其他行為中獲得驗證，但針對每位求職者進行深度行為面談並不符合機會成本。既使使用包括電話面試、視訊面試或是非同步視訊面試的方式降低成本，但卻發現透過媒介後卻更難以準確的評估求職者的特質、近而更難預測其未來潛能。
連結：Pexels
隨著科技發展，人工智慧在生活應用層次範圍越來越廣。透過電腦視覺辨認、自動分析，並判斷求職者的個人特質已經逐步運用在人力資源管理領域，並進一步應用於人才甄選並分析求職者的人格特質與未來工作潛能。在這項研究中，資料的收集方式是通過一個非營利的人力資源組織 IHRCI https://www.ihrci.org/，邀請了 120 位求職者利用非同步視訊面試方式 (AVI) 錄影並填寫國際人格特質評估量表 (IPIP)。
問卷及面試錄影資料收集後，透過 TensorFlow 框架搭建的 AVI-AI (使用 AI 輔助決策功能的非同步視訊面試系統) 提取實驗者的面部表情並與測評問卷所得的人格特質比對，找出特徵及顯著性，並依此建立預測模型。
透過上述流程進行深度學習訓練後，發現可以透過 AI 技術成功判斷實驗者的五大人格特質 (五因素模型 / OCEAN 模型) 分數，準確率 (accuracy) 高達九成，並且優於之前的相關實驗 (非語言行為測量人格特質，準確性約六至七成)。對比傳統針對人格特質的預測方式，通常是針對人工觀察面部表情，並找尋相關的線索，然後給予標籤註1，但執行上太過於複雜；有些其他的研究則是採用一些第三方的資料集 (ChaLearn’s First Impressions dataset)，或是透過非專業的人工標籤 (Amazon’s Mechanical Turk)，這樣的做法都不容易貼近真實的特質預測。換句話說，這樣的方式都取決於觀察者的主觀評分，也就是說可能存在偏見或者誤差，而不一定是受試者的真實特質。
研究中所開發的半監督式深度學習（Semi-supervised Deep Learning）模型，雖然並不是使用大數據建模（僅 120 位實驗者數據），但使用相對少量的未標記數據和一些已標記數據進行比對，減少人工標註的工作時間、卻仍可以達到很高的準確性。
註1：傳統的作法是觀察對方的表情，將表情分類標註成 “緊張”、”沒自信”、”說謊” 等，再將這些反應與五大人格特質做對應。
Ref:TensorFlow-Based Automatic Personality Recognition Used in Asynchronous Video Interviews