JP2007065969A - 表情から心理状態を推定する方法 - Google Patents
表情から心理状態を推定する方法 Download PDFInfo
- Publication number
- JP2007065969A JP2007065969A JP2005250983A JP2005250983A JP2007065969A JP 2007065969 A JP2007065969 A JP 2007065969A JP 2005250983 A JP2005250983 A JP 2005250983A JP 2005250983 A JP2005250983 A JP 2005250983A JP 2007065969 A JP2007065969 A JP 2007065969A
- Authority
- JP
- Japan
- Prior art keywords
- mouth
- fourier
- basic
- basic emotion
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 title claims abstract description 10
- 230000008451 emotion Effects 0.000 claims description 66
- 230000008921 facial expression Effects 0.000 claims description 45
- 241000282414 Homo sapiens Species 0.000 claims description 17
- 230000002996 emotional effect Effects 0.000 claims description 9
- 241000282412 Homo Species 0.000 claims 1
- 238000011156 evaluation Methods 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 7
- 238000013210 evaluation model Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 201000003152 motion sickness Diseases 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】ヒトの顔の表情からその心理状態を推定する。
【解決手段】ヒトの画像から、左右の眼および口の形状をフーリエ記述子を用いて定量的に表し、これらの口および左右の眼の形状をそれぞれ表すフーリエ記述子を用いた線形判別式により、口および左右の眼のそれぞれの形状について、あらかじめ設定されている複数の基本感情について判定得点を算出して正規化することにより、それぞれの形状における上記各基本感情に関する感情確信度を求め、各表情要素ごとの重要度を加味した重回帰式を用いて計算し、その結果からヒトの心理状態を推定する。
【選択図】図10
【解決手段】ヒトの画像から、左右の眼および口の形状をフーリエ記述子を用いて定量的に表し、これらの口および左右の眼の形状をそれぞれ表すフーリエ記述子を用いた線形判別式により、口および左右の眼のそれぞれの形状について、あらかじめ設定されている複数の基本感情について判定得点を算出して正規化することにより、それぞれの形状における上記各基本感情に関する感情確信度を求め、各表情要素ごとの重要度を加味した重回帰式を用いて計算し、その結果からヒトの心理状態を推定する。
【選択図】図10
Description
本発明は、ヒトの表情から、そのヒトの心理状態、具体的には幸福、驚き、恐怖、怒り、嫌悪、悲しみといった感情の度合いを推定する方法に関する。
ヒトの表情の研究は、従来、心理学の分野で進められており、喜びや悲しみといった基本的感情を表出したときの表情についてはいくつかの報告がある(例えば非特許文献1,2参照)。
P.Ekma,W.V.Friesen:Facial action coding system,Cosulting Psychologist Press,Inc.,California,1978. 工藤 力:しぐさ表情の心理分析,福村出版 1999,pp.126-169
P.Ekma,W.V.Friesen:Facial action coding system,Cosulting Psychologist Press,Inc.,California,1978. 工藤 力:しぐさ表情の心理分析,福村出版 1999,pp.126-169
ところで、従来のヒトの表情の解析,研究においては、心理状態の変化に伴う表情の変化を表す指標となり得るものは見当たらない。
例えば船舶をはじめとする乗り物の快適性の向上には、乗り心地や乗り物酔いの発症を表す客観的な評価指標が必要である。しかし、これらの評価値等は、対象が人間であり、しかも個人の感受性の違いや場合差による曖昧さを含む心理的反応であるため、客観的に計測することは極めて困難である。
本発明の課題は、ヒトの顔の表情から、基本感情、ひいては乗り心地や物酔いの発症を推定・評価することのできる方法を提供することにある。
上記の課題を解決するため、請求項1に係る発明の表情から心理状態を推定する方法は、ヒトの顔の画像から、その口および左右の眼の形状をそれぞれ表情要素としてそれぞれをフーリエ記述子を用いて定量的に表し、これらの口および左右の眼の形状をそれぞれ表すフーリエ記述子を用いた線形判別式により、口および左右の眼のそれぞれの形状について、あらかじめ設定されている複数の基本感情について判定特定を算出して正規化することにより、それぞれの形状における上記各基本感情に関する感情確信度を求め、口に関する各基本感情についての感情確信度,右眼に関する各基本感情についての感情確信度,および左眼に関する各基本感情についての感情確信度を、あらかじめ各基本感情ごとに定めておいた各表情要素ごとの重要度を加味した重回帰式に当てはめて計算し、各基本感情についての値から、上記画像を用いてヒトの心理状態を推定することによって特徴づけられる。
また、同じ課題を解決するため、請求項2に係る発明の表情から心理状態を推定する方法は、ヒトの顔の画像から、その口および左右の眼の形状をそれぞれ表情要素としてそれぞれをフーリエ記述子を用いて定量的に表し、左右の眼の各フーリエ記述子の個々の平均値EA、左右の眼の各フーリエ記述子の差ED、および口のフーリエ記述子Mを、あらかじめ各基本感情ごとに定めておいた上記EA,EDおよびMごとの重要度を加味した重回帰式に当てはめて計算し、各基本感情にについての値から、上記画像を用いてヒトの心理状態を推定することを特徴とする表情から心理状態を推定することによって特徴づけられる。
本発明は、表情の幾何学的な特徴、特に眼や口等の表情要素に関する特徴を数量化し、その数量化にはフーリエ記述子を用いる。このフーリエ記述子は、他の形状に関する特徴である面積・周囲長・複雑度や、凹凸性、モーメントなどが二つの異なる形状に対して必ずしも異なる値を持つとは限らないのに対し、閉曲線を対象としているため異なる形状に対しては必ず異なる値を持っている点において、眼や口の形状の数量化という観点から最も適している。
フーリエ記述子は、曲線を特徴づける関数を被展開関数とするフーリエ変換によって聞く線を記述する方法であり、被展開関数の違いによりZ型とG型、P型などが知られている。本発明においては、閉曲線を周波数における振幅成分と位相成分により表現することが可能で、しかも閉曲線(表情要素である眼や口)を考えた場合に形状の変化を把握しやすいZ型フーリエ記述子を採用する。以下、Z型フーリエ記述子を単にフーリエ記述子と称する。
このフーリエ記述子について説明すると、図1(A)に示すような2次元平面上の閉曲線を考え、閉曲線上の一点Aを始点とし、始点から時計回りに曲線上を長さsだけ進んだ点における位置をZ(s)とし、方向ベクトルと水平軸とのなす角を偏角φ(s)とすると、その値は同図(B)に示す通りとなり、始点における偏角をφ(0)とし、閉曲線の周長をLとすると、終点における偏角φ(L)は、φ(L)=φ(0)−2πとなり、始点と終点において偏角に2πの差が生じ、不連続な関数となる。閉曲線では始点と終点は一致するため、
と正規化することによって、同図(C)に示すような始点と終点の偏角が一致する周長Lの周期関数となる。
φ* (t)をフーリエ級数展開すると、
φ* (t)をフーリエ級数展開すると、
となり、これによって得られる有限個のフーリエ記述子ak ,bk (k=1,2・・)によって、不規則な閉図形の形状特徴を記述する。ここに、
である。
また、(2)式は、振幅成分Ak と位相成分ak により、
また、(2)式は、振幅成分Ak と位相成分ak により、
と変形できる。ここで、
によって計算される。形態の全体的な構造はフーリエ記述子の低周波数成分に反映され、高周波数成分は局所的な微細な変動を表す。
また、ヒトの基本感情としては、心理学の分野で古くから様々な研究がなされているが、本発明においては、表情として現れ易く、また、モデルの単純化が容易なEkman等の6感情(幸福・驚き・恐怖・怒り・嫌悪・悲しみ)を基本感情とする。
その基本感情と、眼および口の形状をフーリエ記述子で表現した結果との関連性について説明する。被験者20名について、感情を表さない「平静」状態における画像の眼および口の形状をフーリエ記述子ak ,bk で表した結果と、前記した6つの各基本感情を表出した状態の画像から眼および口の形状をフーリエ記述子ak ,bk で表現した結果とを比較し、各基本感情表出時におけるフーリエ記述子ak ,bk の特徴を考察する。
例として、「平静」、「幸福」および「怒り」の状態における眼のフーリエ記述子ak ,bk (k=1〜20)の計算結果を、20名の被験者について同じグラフにプロットしたグラフを図2〜図4に示し、同じくこれらの各状態における口のフーリエ記述子ak ,bk (k=1〜20)の計算結果を図5〜図7に示す。各図において、横軸はkの値であり、縦軸はak またはbk の値を示す。これらのグラフから、眼および口の形状を表すフーリエ記述子は、ヒトの感情に応じて異なる値を採り、特に低次項には、被験者間で大きなバラツキもなく、ほぼ同じような傾向をし、これは全ての基本感情について確かめられた。
図8には、「平静」状態の眼の形状のフーリエ記述子ak ,bk の全被験者の平均値と、前記した6つの各基本感情の表出状態の眼の形状のフーリエ記述子ak ,bk の全被験者の平均値との差をプロットしたグラフ示し、図9には同じく「平静」状態の口の形状のフーリエ記述子ak ,bk の全被験者の平均値と前記した6つの各基本感情の表出状態の口の形状のフーリエ記述子ak ,bk の全被験者の平均値との差をプロットしたグラフ示す。これらの図より、6つの基本感情によてフーリエ記述子の特徴に違いがあることがわかり、この差異が感情表出時の眼と口の形状の違いとなり得ると考えられる。
6つのカテゴリーとして分類される基本感情を目的変数、表情要素としての目や口のフーリエ記述子を説明変数として線形判別分析を適用し、6基本感情のそれぞれに最適と判断されたモデルの判別関数を眼について[表1]に、口について[表2]に示す。
これらの線形判別式を用いて、1つの表情について6つの基本感情ごとの判別得点を求め、最も得点の高い基本感情であると判別する。この場合、得られた判別得点は被験者ごとに異なる値となっており、どの程度感情を表現できているかを判断することはできない。そこで、線形判別関数から求められた判別得点被験者ごとに最高値を1.0、最低値を0.0として正規化し、被験者間の得点影響を排除する。更に、6基本感情の正規化得点の総和に対する各感情の正規化得点の割合を求めることによって感情間の得点影響を排除したものを表情が表す確信度と定義する。つまり、正規化された各基本感情の判別得点それぞれuk (x)(k=1,2・・6:感情、x;表情)とすると、感情確信度uk ′は(x)は、
となる。
ここで、一般に、顔を構成する左右の眼、口等の表情要素は、感情表現に際してその寄与は均等でないと考えるのが自然である。従って、表情評価を行う場合には、感情表出における各表情要素の重要度を考慮する必要がある。そこで、重回帰分析によって得られる右眼、左眼、および口の感情表出に対する寄与の重要度を考慮した判別モデルが必要となる。
ここで、一般に、顔を構成する左右の眼、口等の表情要素は、感情表現に際してその寄与は均等でないと考えるのが自然である。従って、表情評価を行う場合には、感情表出における各表情要素の重要度を考慮する必要がある。そこで、重回帰分析によって得られる右眼、左眼、および口の感情表出に対する寄与の重要度を考慮した判別モデルが必要となる。
左右の眼、口の感情確信度を説明変数、6基本感情を目的変数として、感情ごとに重回帰分析を行って得られた重回帰式を[表3]に示す。ここに、説明変数のM,RE,LEはそれぞれ口、右眼、左眼の感情確信度を示す。
この重回帰式を用いて6基本感情に対する重相関率を求めた結果を[表4]に示す。6基本感情の全てにおいて、45%以上の重相関率を得ている。この6基本感情ごとの重回帰式に、顔の表情から抽出した左右の眼、口の形状のフーリエ記述子を当てはめて計算することにより、各基本感情についての計算値から、ヒトの心理状態を高い確率のもとに推定することができる。
以上が請求項1に係る発明についての説明であり、次に、請求項2に係る発明について説明する。
以上が請求項1に係る発明についての説明であり、次に、請求項2に係る発明について説明する。
表情を客観的で非侵襲的な計測が可能な乗り物酔いの発症を評価するには、基本感情のほかに「うつろ」などの表情を評価する必要がある。基本感情を表出した表情を第三者がどのように評価するかをモデル化する場合、評価項目の選定が重要な要因となる。前記したように、表情の評価には左右の眼と口の形状が大きな役割を果たしていることから、請求項2に係る発明では、左右の眼の形状の平均値と左右差および口の形状を評価項目とした。これらを選んだ理由は、第三者が他人の顔の表情から心理状態を推定・判断する場合、表情要素の形状の細かな変化を見ているわけではなく、大まかな眼の形状や開き具合、そして眼の形状の左右差、口の形状を見ていると判断したことによる。
請求項2に係る発明の表情評価モデルの概念図を図10に示す。この表情評価モデルでは、どの評価項目が重要視されているかを考慮したモデルとするために、重視度(寄与度)をファジィ測度で表現する。このとき、ファジィ積分によって求められる総合評価は、6つの基本感情の度合いであることから、個別評価値も基本感情の度合いを表すものである必要がある。そこで、左右の眼の各フーリエ記述子ak ,bk の個々の平均値(EA)、左右の眼の各フーリエ記述子ak ,bk の差(右眼−左眼:ED)、口のフーリエ記述子(M)が単独で基本感情の度圧を表現できるように個別評価値を求めた。
第三者評価による感情の度合いを目的変数として、EA,ED,Mのそれぞれak ,bk (k=1〜20)の計40項目を説明変数とする重回帰式を基本感情ごとに求める。そして、この重回帰式にそれぞれの表情のEAやED、Mのフーリエ記述子を代入して得られた値をその評価項目の個別評価値とする。ただし、感情の度合いを表す個別評価項目が負になることはないので、重回帰式によって得られた個別評価値が負となる場合は0とした。
そして、これらの個別評価値に個々の重視度を考慮してファジィ積分したものが表情全体が表す総合評価値となるので、非線形数理計画法の2次計画方を用いてファジィ測度を同定する。得られたファジィ測度[表4]〜[表9]に示す。表の見方は、網かけをした対角線上の数値は評価項目単独による重要度で、右上三角形内の数値は対応する2つの評価項目を同時に評価した場合の重要度を表し、Tatal欄の値は3つの評価項目全てを同時に評価したときの重要度である。また、σはファジィ積分による総合評価値と表情評価実験で得られた結果との自乗平均誤差である。
この[表4]より、「幸福」には単独では口が重要視されているものの、眼の平均値や左右差は全く影響しないことがわかる。そして、口と眼の平均値または左右差が複ヴ好適に寄与し、表情全体で「幸福」であることに結びついている。「驚き」は複合的な影響が大きいことがわえる。また、「悲しみ」では、口の寄与は小さく、両眼の平均値、左右差の影響が大きいことがわかる。
本発明によれば、ヒトの顔の表情から、表情要素である左右の眼と口の形状をフーリエ記述子を用いて定量的に表し、そのフーリエ記述子を用いてヒトの表情からその心理状態を推定することが可能となった。
以上の各モデルを用いてヒトの表情を推定し、その有効性を検証した。
請求項1に係る発明に基づく表情判別モデルにより、被験者20名を判別し、被験者の各基本感情との正判別率を求めた結果を[表10]に示す。このモデルにより、「幸福」「驚き」においては90%以上の正判別率を得ることができ、6基本感情全体でも75%以上の高い正判別率を得ることができており、表情判別モデルの妥当性が示された。
請求項2に係る発明に基づくモデルをの妥当性を確認するために、表情評価モデルの構築に用いた被験者以外の6名の被験者の表情を第三者がどのように評価するかの表情評価実験を行った。その結果の一例を[表11]に示す。この表は、それぞれの表情に対して48名の評価者がどのように評価したかの割合を示している。この例では、この被験者の幸福の表情を45名の評価者が幸福であると判断し、「驚き」「嫌悪」「悲しみ」であると評価した評価者が1名(2.1%)いたことを表している。最も評価率の高かったものを太字で示し、表出した感情と評価が一致する正解部分を網かけとした。
表より、「幸福」や「驚き」、「悲しみ」では、評価者によって正しく感情が判定されていることがわかる。
Claims (2)
- ヒトの顔の画像から、その口および左右の眼の形状をそれぞれ表情要素としてそれぞれをフーリエ記述子を用いて定量的に表し、これらの口および左右の眼の形状をそれぞれ表すフーリエ記述子を用いた線形判別式により、口および左右の眼のそれぞれの形状について、あらかじめ設定されている複数の基本感情について判定得点を算出して正規化することにより、それぞれの形状における上記各基本感情に関する感情確信度を求め、口に関する各基本感情についての感情確信度,右眼に関する各基本感情についての感情確信度,および左眼に関する各基本感情についての感情確信度を、あらかじめ各基本感情ごとに定めておいた各表情要素ごとの重要度を加味した重回帰式に当てはめて計算し、各基本感情についての値から、上記画像を用いてヒトの心理状態を推定することを特徴とする表情から心理状態を推定する方法。
- ヒトの顔の画像から、その口および左右の眼の形状をそれぞれ表情要素としてそれぞれをフーリエ記述子を用いて定量的に表し、左右の眼の各フーリエ記述子の個々の平均値EA、左右の眼の各フーリエ記述子の差ED、および口のフーリエ記述子Mを、あらかじめ各基本感情ごとに定めておいた上記EA,EDおよびMごとの重要度を加味した重回帰式に当てはめて計算し、各基本感情にについての値から、上記画像を用いてヒトの心理状態を推定することを特徴とする表情から心理状態を推定する方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005250983A JP2007065969A (ja) | 2005-08-31 | 2005-08-31 | 表情から心理状態を推定する方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005250983A JP2007065969A (ja) | 2005-08-31 | 2005-08-31 | 表情から心理状態を推定する方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007065969A true JP2007065969A (ja) | 2007-03-15 |
Family
ID=37928107
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005250983A Pending JP2007065969A (ja) | 2005-08-31 | 2005-08-31 | 表情から心理状態を推定する方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007065969A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010134937A (ja) * | 2008-12-08 | 2010-06-17 | Korea Electronics Telecommun | 状況認知装置およびこれを用いた状況認知方法 |
JP2011118767A (ja) * | 2009-12-04 | 2011-06-16 | Osaka Prefecture Univ | 表情モニタリング方法および表情モニタリング装置 |
JP2011154665A (ja) * | 2010-01-25 | 2011-08-11 | Opn Corp | 表情変化分析システム |
JP2014041587A (ja) * | 2012-07-23 | 2014-03-06 | Nippon Hoso Kyokai <Nhk> | 顔表情解析装置および顔表情解析プログラム |
US9110501B2 (en) | 2012-04-17 | 2015-08-18 | Samsung Electronics Co., Ltd. | Method and apparatus for detecting talking segments in a video sequence using visual cues |
JP2016093313A (ja) * | 2014-11-13 | 2016-05-26 | 大和ハウス工業株式会社 | 心理状態推定方法、心理状態推定システム及び心理状態推定方法を用いたケアシステム |
-
2005
- 2005-08-31 JP JP2005250983A patent/JP2007065969A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010134937A (ja) * | 2008-12-08 | 2010-06-17 | Korea Electronics Telecommun | 状況認知装置およびこれを用いた状況認知方法 |
US8442832B2 (en) | 2008-12-08 | 2013-05-14 | Electronics And Telecommunications Research Institute | Apparatus for context awareness and method using the same |
JP2011118767A (ja) * | 2009-12-04 | 2011-06-16 | Osaka Prefecture Univ | 表情モニタリング方法および表情モニタリング装置 |
JP2011154665A (ja) * | 2010-01-25 | 2011-08-11 | Opn Corp | 表情変化分析システム |
US9110501B2 (en) | 2012-04-17 | 2015-08-18 | Samsung Electronics Co., Ltd. | Method and apparatus for detecting talking segments in a video sequence using visual cues |
JP2014041587A (ja) * | 2012-07-23 | 2014-03-06 | Nippon Hoso Kyokai <Nhk> | 顔表情解析装置および顔表情解析プログラム |
JP2016093313A (ja) * | 2014-11-13 | 2016-05-26 | 大和ハウス工業株式会社 | 心理状態推定方法、心理状態推定システム及び心理状態推定方法を用いたケアシステム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sutherland et al. | Personality judgments from everyday images of faces | |
JP2007065969A (ja) | 表情から心理状態を推定する方法 | |
Amaral et al. | An improved method of early diagnosis of smoking-induced respiratory changes using machine learning algorithms | |
Torre et al. | 1/f β fluctuations in bimanual coordination: An additional challenge for modeling | |
Saad et al. | Detection of freezing of gait for Parkinson’s disease patients with multi-sensor device and Gaussian neural networks | |
Faul et al. | Gaussian process modeling of EEG for the detection of neonatal seizures | |
Griffin et al. | Perception and automatic recognition of laughter from whole-body motion: Continuous and categorical perspectives | |
Hachisuka | Human and vehicle-driver drowsiness detection by facial expression | |
Tan et al. | Informing intelligent user interfaces by inferring affective states from body postures in ubiquitous computing environments | |
Delignières et al. | Theoretical and methodological issues in serial correlation analysis | |
Ma et al. | EEG Signal and Feature Interaction Modeling‐Based Eye Behavior Prediction Research | |
JP2011039934A (ja) | 感情推定システム及びそれを利用した学習システム | |
Bhatti et al. | Personality analysis of the USA public using Twitter profile pictures | |
Idrisovich Ismagilov et al. | Formation of a knowledge base to analyze the issue of transport and the environment | |
Zheng et al. | Human emotional stress analysis through time domain electromyogram features | |
Hamieh et al. | Multi-modal fusion for continuous emotion recognition by using auto-encoders | |
Yılmaz et al. | Hybrid machine learning model coupled with school closure for forecasting COVID-19 cases in the most affected Countries | |
Sim et al. | Improving the accuracy of erroneous-plan recognition system for Activities of Daily Living | |
Fourati et al. | Relevant body cues for the classification of emotional body expression in daily actions | |
CN112037906B (zh) | 一种长时生理信号时间序列的样本数据的扩充方法及*** | |
Saraswat et al. | Classification of ECG signals using cross-recurrence quantification analysis and probabilistic neural network classifier for ventricular tachycardia patients | |
Zhang et al. | Comparing symbolic and connectionist algorithms for correlating the age of healthy children with sigma-lognormal neuromuscular parameters | |
TWI646438B (zh) | 情緒偵測系統及方法 | |
Nassi et al. | Automated respiratory event detection using deep neural networks | |
US20220160245A1 (en) | System and method of determining disease based on heat map image explainable from electrocardiogram signal |