TW201909036A - 基於神經網路的人臉影像多維度情感判別系統及方法 - Google Patents

基於神經網路的人臉影像多維度情感判別系統及方法 Download PDF

Info

Publication number
TW201909036A
TW201909036A TW107125104A TW107125104A TW201909036A TW 201909036 A TW201909036 A TW 201909036A TW 107125104 A TW107125104 A TW 107125104A TW 107125104 A TW107125104 A TW 107125104A TW 201909036 A TW201909036 A TW 201909036A
Authority
TW
Taiwan
Prior art keywords
emotion
face
neural network
dimensional
image
Prior art date
Application number
TW107125104A
Other languages
English (en)
Inventor
簡仁賢
Original Assignee
大陸商竹間智能科技（上海）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商竹間智能科技（上海）有限公司 filed Critical 大陸商竹間智能科技（上海）有限公司
Publication of TW201909036A publication Critical patent/TW201909036A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本發明提供的基於神經網路的人臉影像多維度情感判別系統及方法，該系統包括：臉部定位模組，用於識別待檢測圖像中人臉區域，並提取待檢測圖像中的人臉圖像；特徵提取模組，用於提取所述人臉圖像的情緒特徵；識別模組，用於識別所述情緒特徵得到情感資訊；輸出模組，用於輸出所述情感資訊。適應不同臉部角度、膚色與臉型，來提取情緒特徵向量，體現該臉部圖像的所屬多維情緒，提高人臉情緒分析的準確度。

Description

基於神經網路的人臉影像多維度情感判別系統及方法
本發明屬於影像處理技術領域，具體涉及基於神經網路的人臉影像多維度情感判別系統及方法。
人們運用表情、手勢、肢體與語言來傳達訊息與溝通，識別臉部情緒是瞭解人類所傳達的訊息最直接的方法之一。傳統的人臉情緒識別領域主要包括以下幾個方面：
關鍵點檢測之情緒識別：識別出人臉所在區域，使用傳統演算法人臉關鍵點五官與輪廓定位，提取關鍵點特徵作為情緒識別之特徵，其作法受到關鍵點定位準確度之限制，且僅人臉輪廓，缺乏臉肌肉之變化，這樣的方式過於概括，情緒難以準確的被識別。
另一方面，情緒識別之分類：人的情感變化，難以用離散的類別來解釋，舉例來說，生氣與傷心並非一線之隔，人的情緒是交雜且連續的，若一個人臉只用一種情緒表示，這樣的方式過於籠統，且不能仔細地描述人細膩的情感。
本發明針對現有技術中的缺陷，本發明提供基於神經網路的人臉影像多維度情感判別系統及方法，提高人臉情緒分析的準確度。
本發明基於神經網路的人臉影像多維度情感判別系統，包括：一臉部定位模組、一特徵提取模組、一識別模組以及一輸出模組。該臉部定位模組，用於識別待檢測圖像中人臉區域，並利用人臉檢測演算法提取待檢測圖像中的人臉圖像；該特徵提取模組，用於提取該人臉圖像的情緒特徵；該識別模組，用於識別該情緒特徵得到情感資訊；該輸出模組，用於輸出該情感資訊。
在本發明之一實施例中，上述之特徵提取模組通過卷積神經網路提取該人臉圖像的情緒特徵。
在本發明之一實施例中，上述之卷積神經網路的訓練包括：採用通過一個多維的情緒向量來描述臉部圖像的訓練資料進行訓練；該特徵提取模組輸入為該人臉圖像，輸出為多維的情緒向量。
在本發明之一實施例中，上述之特徵提取模組的輸出和該識別模組的輸出均為多維向量，該多維向量包括多個情緒類別。
在本發明之一實施例中，上述之情緒類別包括生氣、厭惡、害怕、開心、難過、驚訝或中性。
本發明更提供了一種基於神經網路的人臉影像多維度情感判別方法，適用於上述基於神經網路的人臉影像多維度情感判別系統，步驟包括：識別待檢測圖像中人臉區域，並利用人臉檢測演算法提取待檢測圖像中的人臉圖像；再提取該人臉圖像的情緒特徵；識別該情緒特徵得到情感資訊；以及輸出該情感資訊。
在本發明之一實施例中，上述之情感資訊為多維向量，該多維向量包括多個情緒類別。
在本發明之一實施例中，上述之情緒類別包括生氣、厭惡、害怕、開心、難過、驚訝或中性。
由上述技術方案可知，本發明提供的基於神經網路的人臉影像多維度情感判別系統及方法，適應不同臉部角度、膚色與臉型，來提取情緒特徵向量，體現該臉部圖像的所屬多維情緒，提高人臉情緒分析的準確度。
為了更清楚地說明本發明具體實施方式或現有技術中的技術方案，下面將對具體實施方式或現有技術描述中所需要使用的附圖作簡單地介紹。在所有附圖中，類似的元件或部分一般由類似的附圖標記標識。附圖中，各元件或部分並不一定按照實際的比例繪製。
下面將結合附圖對本發明技術方案的實施例進行詳細的描述。以下實施例僅用於更加清楚地說明本發明的技術方案，因此只作為示例，而不能以此來限制本發明的保護範圍。需要注意的是，除非另有說明，本申請使用的技術術語或者科學術語應當為本發明所屬領域技術人員所理解的通常意義。
一種基於神經網路的人臉影像多維度情感判別系統，如圖1、2所示，包括：臉部定位模組110，用於識別待檢測圖像200中人臉區域，並提取待檢測圖像200中的人臉圖像210；臉部定位的方法是通過在影像、視頻或待檢測圖像200中執行人臉檢測的演算法(不限於何種機器學習的方法)藉以提取人臉圖像210。特徵提取模組120，用於提取該人臉圖像210的情緒特徵220；根據輸入的人臉圖像210，通過訓練神經網路得到深度學習模型，並且在測試時通過深度學習模型在最後一層的特徵層提取人臉圖像210相對應得特徵向量。識別模組130，用於識別該情緒特徵220得到情感資訊230；根據每一個輸入人臉圖像210所描述的特徵向量，通過多維度情感判別分類器(可同時描述不同情感發生的可能性之分類器，每一類別的機率輸出值皆為0到1)得到情感資訊230。輸出模組140，用於輸出該情感資訊230。
於本實施例中，該臉部定位模組，其用於分別獲取一個或多個待檢測圖像中所有人臉區域的位置，得到待檢測圖像中所有人臉圖像。特徵提取模組利用卷積神經網路提取人臉圖像的情緒特徵。識別模組用於將待測人臉的情緒特徵判別情感資訊。本系統能適應不同臉部角度、膚色與臉型，來提取情緒特徵向量，體現該臉部圖像的多維情緒。
於本實施例中，主要解決問題有以下兩點：一、傳統人臉影像處理技術僅使用人臉關鍵點作為特徵之效果不佳之問題。二、僅以一種情緒類別描述人臉之結果不精確的問題。
於本實施例中，該系統輸入為整張人臉影像，其輸出為多維情緒之判斷，其輸入整張影像可以考慮臉部表情之肌肉細微變化，達到高精度的情緒特徵提取，其輸出用多維之情緒描述，以利精確描述人臉之情緒反應。
於本實施例中，該特徵提取模組通過卷積神經網路提取該人臉圖像的情緒特徵。
於本實施例中，該卷積神經網路的訓練包括：採用通過一個多維的情緒向量來描述臉部圖像的訓練資料進行訓練；該特徵提取模組輸入為該人臉圖像，輸出為多維的情緒向量。特徵提取模組的卷積神經網路包含堆疊與殘差的卷積、池化層，使得提取臉部情緒特徵更為強健，能夠適應與學習不同臉部角度、膚色與臉型。在訓練卷積神經網路時，採用的訓練資料的臉部圖像由一個多維的情緒向量來描述。特徵提取模組，其輸入為臉部影像，由堆疊的卷積層來提取高維抽象的特徵。
於本實施例中，該識別模組使用目標函式訓練其神經網路，使得識別模組達到可描述多維的情緒向量之效果。由於特徵提取模組與識別模組神經網路的設計，使得本發明能夠在高度變化之人臉圖像給予精確的情緒向量分析與預測。
於本實施例中，該特徵提取模組的輸出和該識別模組的輸出均為多維向量，該多維向量包括多個情緒類別。該情緒類別包括生氣、厭惡、害怕、開心、難過、驚訝或中性。此發明能夠處理的情緒類別不限於前面的種類。
於本實施例中，基於神經網路的人臉影像多維度情感判別方法，適用於上述基於神經網路的人臉影像多維度情感判別系統，包括：識別待檢測圖像中人臉區域，並提取待檢測圖像中的人臉圖像；提取該人臉圖像的情緒特徵；識別該情緒特徵得到情感資訊；輸出該情感資訊。
於本實施例中，該方法能夠對於各種人臉的圖像，不論人臉的角度與光源，並作出強健的預測。且能夠輸出多維的情緒結果，精准的描述人臉的情緒變化，可有效解決人臉情感辨識的問題。
於本實施例中，該情感資訊為多維向量，該多維向量包括多個情緒類別。
於本實施例中，該情緒類別包括生氣、厭惡、害怕、開心、難過、驚訝或中性。
於本實施例中，更包括以下幾種應用：
應用場景一：廣告觀察回饋，以螢幕為載體，可置放於公共場合或個人電腦。顧客在觀看廣告時，分析廣告內容與顧客的臉部情緒反應，瞭解群眾對於廣告之吸引度及興趣，來預測產品反應或調整廣告內容。
應用場景二：商場，以攝影機為載體，置放於貨架，觀察顧客挑選物品時之情緒反應，可調整貨架上物品之擺放及瞭解顧客喜愛的產品，來做銷售分析，做出更加的銷售策略。
應用場景三：手機APP，以手機APP為載體，可於用戶觀看影片或社群軟體時，分析用戶情緒，以智慧聊天機器人關心用戶之心情，提升智慧聊天機器人與用戶間的黏性。
綜上所述，本發明提供的基於神經網路的人臉影像多維度情感判別系統及方法，適應不同臉部角度、膚色與臉型，來提取情緒特徵向量，體現該臉部圖像的所屬多維情緒，提高人臉情緒分析的準確度。
雖然本發明以前述實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，所作更動與潤飾之等效替換，仍為本發明之專利保護範圍內。
110‧‧‧臉部定位模組
120‧‧‧特徵提取模組
130‧‧‧識別模組
140‧‧‧輸出模組
200‧‧‧待檢測圖像
210‧‧‧人臉圖像
220‧‧‧情緒特徵
230‧‧‧情感資訊
[圖1]為基於神經網路的人臉影像多維度情感判別系統的結構框圖。 [圖2]為基於神經網路的人臉影像多維度情感判別方法中影像處理方法。

Claims (8)

  1. 一種基於神經網路的人臉影像多維度情感判別系統，其特徵在於，包括： 一臉部定位模組，用於識別待檢測圖像中人臉區域，並利用人臉檢測演算法提取待檢測圖像中的人臉圖像； 一特徵提取模組，用於提取該人臉圖像的情緒特徵； 一識別模組，用於識別該情緒特徵得到情感資訊；以及 一輸出模組，用於輸出該情感資訊。
  2. 如申請專利範圍第1項所述的基於神經網路的人臉影像多維度情感判別系統，其中該特徵提取模組通過卷積神經網路提取該人臉圖像的情緒特徵。
  3. 如申請專利範圍第2項所述的基於神經網路的人臉影像多維度情感判別系統，其中該卷積神經網路的訓練包括：採用通過一個多維的情緒向量來描述臉部圖像的訓練資料進行訓練；該特徵提取模組輸入為該人臉圖像，輸出為多維的情緒向量。
  4. 如申請專利範圍第1項所述的基於神經網路的人臉影像多維度情感判別系統，其中該特徵提取模組的輸出和該識別模組的輸出均為多維向量，該多維向量包括多個情緒類別。
  5. 如申請專利範圍第4項所述的基於神經網路的人臉影像多維度情感判別系統，其中該情緒類別包括生氣、厭惡、害怕、開心、難過、驚訝或中性。
  6. 一種基於神經網路的人臉影像多維度情感判別方法，適用於申請專利範圍第1項該基於神經網路的人臉影像多維度情感判別系統，包括： 識別待檢測圖像中人臉區域，並利用人臉檢測演算法提取待檢測圖像中的人臉圖像； 提取該人臉圖像的情緒特徵； 識別該情緒特徵得到情感資訊；以及 輸出該情感資訊。
  7. 如申請專利範圍第6項所述的基於神經網路的人臉影像多維度情感判別方法，其中該情感資訊為多維向量，該多維向量包括多個情緒類別。
  8. 如申請專利範圍第7項所述的基於神經網路的人臉影像多維度情感判別方法，其中該情緒類別包括生氣、厭惡、害怕、開心、難過、驚訝或中性。
TW107125104A 2017-07-21 2018-07-20 基於神經網路的人臉影像多維度情感判別系統及方法 TW201909036A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??CN201710602218.8 2017-07-21
CN201710602218.8A CN107392151A (zh) 2017-07-21 2017-07-21 基于神经网络的人脸影像多维度情感判别***及方法

Publications (1)

Publication Number Publication Date
TW201909036A true TW201909036A (zh) 2019-03-01

Family

ID=60335706

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107125104A TW201909036A (zh) 2017-07-21 2018-07-20 基於神經網路的人臉影像多維度情感判別系統及方法

Country Status (2)

Country Link
CN (1) CN107392151A (zh)
TW (1) TW201909036A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI767775B (zh) * 2021-06-30 2022-06-11 國立陽明交通大學 影像式情緒辨識系統和方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10610109B2 (en) 2018-01-12 2020-04-07 Futurewei Technologies, Inc. Emotion representative image to derive health rating
CN108197667A (zh) * 2018-01-30 2018-06-22 安徽斛兵信息科技有限公司 基于对话的个人异常情绪检测方法及装置
TWI780333B (zh) * 2019-06-03 2022-10-11 緯創資通股份有限公司 動態處理並播放多媒體內容的方法及多媒體播放裝置
CN110569741A (zh) * 2019-08-19 2019-12-13 昆山琪奥智能科技有限公司 一种基于人工智能的表情识别***
CN110909609A (zh) * 2019-10-26 2020-03-24 湖北讯獒信息工程有限公司 基于人工智能的表情识别方法
CN110796150B (zh) * 2019-10-29 2022-09-16 中山大学 一种基于情感显著性区域检测的图片情感识别方法
WO2021127916A1 (zh) * 2019-12-23 2021-07-01 深圳市优必选科技股份有限公司 脸部情感识别方法、智能装置和计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6994555B2 (en) * 2002-04-18 2006-02-07 Educcomm Llc Play cube to aid in recognizing and developing various emotional states
CN105069447B (zh) * 2015-09-23 2018-05-29 河北工业大学 一种人脸表情的识别方法
CN106257489A (zh) * 2016-07-12 2016-12-28 乐视控股（北京）有限公司 表情识别方法及***
CN106372622A (zh) * 2016-09-30 2017-02-01 北京奇虎科技有限公司 一种人脸表情分类方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI767775B (zh) * 2021-06-30 2022-06-11 國立陽明交通大學 影像式情緒辨識系統和方法

Also Published As

Publication number Publication date
CN107392151A (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
TW201909036A (zh) 基於神經網路的人臉影像多維度情感判別系統及方法
CN107633207A (zh) Au特征识别方法、装置及存储介质
Rafique et al. Age and gender prediction using deep convolutional neural networks
CN110298245B (zh) 兴趣收集方法、装置、计算机设备及存储介质
US11978242B2 (en) Systems and methods for improved facial attribute classification and use thereof
EP2915101A1 (en) Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
Cui et al. Facial expression recognition based on ensemble of mulitple CNNs
Ma et al. Landmark‐Based Facial Feature Construction and Action Unit Intensity Prediction
Gorbova et al. Going deeper in hidden sadness recognition using spontaneous micro expressions database
De Carolis et al. Soft biometrics for social adaptive robots
Mosayyebi et al. Gender recognition in masked facial images using EfficientNet and transfer learning approach
Alugupally et al. Analysis of landmarks in recognition of face expressions
Aslam et al. Gender classification based on isolated facial features and foggy faces using jointly trained deep convolutional neural network
Singh et al. Face emotion identification by fusing neural network and texture features: facial expression
Alafif et al. On classifying facial races with partial occlusions and pose variations
Liu et al. Design and implementation of hair recommendation system based on face recognition
Singla et al. Age and gender detection using Deep Learning
Lopez-de-Arenosa et al. CBR tagging of emotions from facial expressions
Yuvchenko et al. Human emotion recognition system using deep learning algorithms
Monica et al. Face and emotion recognition from real-time facial expressions using deep learning algorithms
Mannan et al. Facial expression recognition based on hybrid approach
Abdullah et al. Hybrid Based Model Face Shape Classification Using Ensemble Method for Hairstyle Recommender System
Nigam et al. Review of Facial Recognition Techniques
Ujir et al. Facial expression recognition using FAPs-based 3DMMM
AU2021100211A4 (en) Predict Gender: Detect Faces and Predict their Gender, Age and Country Using Machine Learning Programming