JP2007065969A

JP2007065969A - 表情から心理状態を推定する方法

Info

Publication number: JP2007065969A
Application number: JP2005250983A
Authority: JP
Inventors: Masakazu Arima; 正和有馬
Original assignee: Osaka University NUC; Osaka Prefecture University PUC
Current assignee: Osaka University NUC; Osaka Prefecture University PUC
Priority date: 2005-08-31
Filing date: 2005-08-31
Publication date: 2007-03-15

Abstract

【課題】ヒトの顔の表情からその心理状態を推定する。
【解決手段】ヒトの画像から、左右の眼および口の形状をフーリエ記述子を用いて定量的に表し、これらの口および左右の眼の形状をそれぞれ表すフーリエ記述子を用いた線形判別式により、口および左右の眼のそれぞれの形状について、あらかじめ設定されている複数の基本感情について判定得点を算出して正規化することにより、それぞれの形状における上記各基本感情に関する感情確信度を求め、各表情要素ごとの重要度を加味した重回帰式を用いて計算し、その結果からヒトの心理状態を推定する。
【選択図】図１０

Description

本発明は、ヒトの表情から、そのヒトの心理状態、具体的には幸福、驚き、恐怖、怒り、嫌悪、悲しみといった感情の度合いを推定する方法に関する。

ヒトの表情の研究は、従来、心理学の分野で進められており、喜びや悲しみといった基本的感情を表出したときの表情についてはいくつかの報告がある（例えば非特許文献１，２参照）。
P.Ekma,W.V.Friesen:Facial action coding system,Cosulting Psychologist Press,Inc.,California,1978. 工藤力：しぐさ表情の心理分析，福村出版 1999,pp.126-169

ところで、従来のヒトの表情の解析，研究においては、心理状態の変化に伴う表情の変化を表す指標となり得るものは見当たらない。

例えば船舶をはじめとする乗り物の快適性の向上には、乗り心地や乗り物酔いの発症を表す客観的な評価指標が必要である。しかし、これらの評価値等は、対象が人間であり、しかも個人の感受性の違いや場合差による曖昧さを含む心理的反応であるため、客観的に計測することは極めて困難である。

本発明の課題は、ヒトの顔の表情から、基本感情、ひいては乗り心地や物酔いの発症を推定・評価することのできる方法を提供することにある。

上記の課題を解決するため、請求項１に係る発明の表情から心理状態を推定する方法は、ヒトの顔の画像から、その口および左右の眼の形状をそれぞれ表情要素としてそれぞれをフーリエ記述子を用いて定量的に表し、これらの口および左右の眼の形状をそれぞれ表すフーリエ記述子を用いた線形判別式により、口および左右の眼のそれぞれの形状について、あらかじめ設定されている複数の基本感情について判定特定を算出して正規化することにより、それぞれの形状における上記各基本感情に関する感情確信度を求め、口に関する各基本感情についての感情確信度，右眼に関する各基本感情についての感情確信度，および左眼に関する各基本感情についての感情確信度を、あらかじめ各基本感情ごとに定めておいた各表情要素ごとの重要度を加味した重回帰式に当てはめて計算し、各基本感情についての値から、上記画像を用いてヒトの心理状態を推定することによって特徴づけられる。

また、同じ課題を解決するため、請求項２に係る発明の表情から心理状態を推定する方法は、ヒトの顔の画像から、その口および左右の眼の形状をそれぞれ表情要素としてそれぞれをフーリエ記述子を用いて定量的に表し、左右の眼の各フーリエ記述子の個々の平均値ＥＡ、左右の眼の各フーリエ記述子の差ＥＤ、および口のフーリエ記述子Ｍを、あらかじめ各基本感情ごとに定めておいた上記ＥＡ，ＥＤおよびＭごとの重要度を加味した重回帰式に当てはめて計算し、各基本感情にについての値から、上記画像を用いてヒトの心理状態を推定することを特徴とする表情から心理状態を推定することによって特徴づけられる。

本発明は、表情の幾何学的な特徴、特に眼や口等の表情要素に関する特徴を数量化し、その数量化にはフーリエ記述子を用いる。このフーリエ記述子は、他の形状に関する特徴である面積・周囲長・複雑度や、凹凸性、モーメントなどが二つの異なる形状に対して必ずしも異なる値を持つとは限らないのに対し、閉曲線を対象としているため異なる形状に対しては必ず異なる値を持っている点において、眼や口の形状の数量化という観点から最も適している。

フーリエ記述子は、曲線を特徴づける関数を被展開関数とするフーリエ変換によって聞く線を記述する方法であり、被展開関数の違いによりＺ型とＧ型、Ｐ型などが知られている。本発明においては、閉曲線を周波数における振幅成分と位相成分により表現することが可能で、しかも閉曲線（表情要素である眼や口）を考えた場合に形状の変化を把握しやすいＺ型フーリエ記述子を採用する。以下、Ｚ型フーリエ記述子を単にフーリエ記述子と称する。

このフーリエ記述子について説明すると、図１（Ａ）に示すような２次元平面上の閉曲線を考え、閉曲線上の一点Ａを始点とし、始点から時計回りに曲線上を長さｓだけ進んだ点における位置をＺ（ｓ）とし、方向ベクトルと水平軸とのなす角を偏角φ（ｓ）とすると、その値は同図（Ｂ）に示す通りとなり、始点における偏角をφ（０）とし、閉曲線の周長をＬとすると、終点における偏角φ（Ｌ）は、φ（Ｌ）＝φ（０）−２πとなり、始点と終点において偏角に２πの差が生じ、不連続な関数となる。閉曲線では始点と終点は一致するため、

と正規化することによって、同図（Ｃ）に示すような始点と終点の偏角が一致する周長Ｌの周期関数となる。
φ^*（ｔ）をフーリエ級数展開すると、

となり、これによって得られる有限個のフーリエ記述子ａ_k，ｂ_k（ｋ＝１，２・・）によって、不規則な閉図形の形状特徴を記述する。ここに、

である。
また、（２）式は、振幅成分Ａ_kと位相成分ａ_kにより、

と変形できる。ここで、

によって計算される。形態の全体的な構造はフーリエ記述子の低周波数成分に反映され、高周波数成分は局所的な微細な変動を表す。

また、ヒトの基本感情としては、心理学の分野で古くから様々な研究がなされているが、本発明においては、表情として現れ易く、また、モデルの単純化が容易なＥｋｍａｎ等の６感情（幸福・驚き・恐怖・怒り・嫌悪・悲しみ）を基本感情とする。

その基本感情と、眼および口の形状をフーリエ記述子で表現した結果との関連性について説明する。被験者２０名について、感情を表さない「平静」状態における画像の眼および口の形状をフーリエ記述子ａ_k，ｂ_kで表した結果と、前記した６つの各基本感情を表出した状態の画像から眼および口の形状をフーリエ記述子ａ_k，ｂ_kで表現した結果とを比較し、各基本感情表出時におけるフーリエ記述子ａ_k，ｂ_kの特徴を考察する。

例として、「平静」、「幸福」および「怒り」の状態における眼のフーリエ記述子ａ_k，ｂ_k（ｋ＝１〜２０）の計算結果を、２０名の被験者について同じグラフにプロットしたグラフを図２〜図４に示し、同じくこれらの各状態における口のフーリエ記述子ａ_k，ｂ_k（ｋ＝１〜２０）の計算結果を図５〜図７に示す。各図において、横軸はｋの値であり、縦軸はａ_kまたはｂ_kの値を示す。これらのグラフから、眼および口の形状を表すフーリエ記述子は、ヒトの感情に応じて異なる値を採り、特に低次項には、被験者間で大きなバラツキもなく、ほぼ同じような傾向をし、これは全ての基本感情について確かめられた。

図８には、「平静」状態の眼の形状のフーリエ記述子ａ_k，ｂ_kの全被験者の平均値と、前記した６つの各基本感情の表出状態の眼の形状のフーリエ記述子ａ_k，ｂ_kの全被験者の平均値との差をプロットしたグラフ示し、図９には同じく「平静」状態の口の形状のフーリエ記述子ａ_k，ｂ_kの全被験者の平均値と前記した６つの各基本感情の表出状態の口の形状のフーリエ記述子ａ_k，ｂ_kの全被験者の平均値との差をプロットしたグラフ示す。これらの図より、６つの基本感情によてフーリエ記述子の特徴に違いがあることがわかり、この差異が感情表出時の眼と口の形状の違いとなり得ると考えられる。

６つのカテゴリーとして分類される基本感情を目的変数、表情要素としての目や口のフーリエ記述子を説明変数として線形判別分析を適用し、６基本感情のそれぞれに最適と判断されたモデルの判別関数を眼について［表１］に、口について［表２］に示す。

これらの線形判別式を用いて、１つの表情について６つの基本感情ごとの判別得点を求め、最も得点の高い基本感情であると判別する。この場合、得られた判別得点は被験者ごとに異なる値となっており、どの程度感情を表現できているかを判断することはできない。そこで、線形判別関数から求められた判別得点被験者ごとに最高値を１．０、最低値を０．０として正規化し、被験者間の得点影響を排除する。更に、６基本感情の正規化得点の総和に対する各感情の正規化得点の割合を求めることによって感情間の得点影響を排除したものを表情が表す確信度と定義する。つまり、正規化された各基本感情の判別得点それぞれｕ_k（ｘ）（ｋ＝１，２・・６：感情、ｘ；表情）とすると、感情確信度ｕ_k′は（ｘ）は、

となる。
ここで、一般に、顔を構成する左右の眼、口等の表情要素は、感情表現に際してその寄与は均等でないと考えるのが自然である。従って、表情評価を行う場合には、感情表出における各表情要素の重要度を考慮する必要がある。そこで、重回帰分析によって得られる右眼、左眼、および口の感情表出に対する寄与の重要度を考慮した判別モデルが必要となる。

左右の眼、口の感情確信度を説明変数、６基本感情を目的変数として、感情ごとに重回帰分析を行って得られた重回帰式を［表３］に示す。ここに、説明変数のＭ，ＲＥ，ＬＥはそれぞれ口、右眼、左眼の感情確信度を示す。

この重回帰式を用いて６基本感情に対する重相関率を求めた結果を［表４］に示す。６基本感情の全てにおいて、４５％以上の重相関率を得ている。この６基本感情ごとの重回帰式に、顔の表情から抽出した左右の眼、口の形状のフーリエ記述子を当てはめて計算することにより、各基本感情についての計算値から、ヒトの心理状態を高い確率のもとに推定することができる。
以上が請求項１に係る発明についての説明であり、次に、請求項２に係る発明について説明する。

表情を客観的で非侵襲的な計測が可能な乗り物酔いの発症を評価するには、基本感情のほかに「うつろ」などの表情を評価する必要がある。基本感情を表出した表情を第三者がどのように評価するかをモデル化する場合、評価項目の選定が重要な要因となる。前記したように、表情の評価には左右の眼と口の形状が大きな役割を果たしていることから、請求項２に係る発明では、左右の眼の形状の平均値と左右差および口の形状を評価項目とした。これらを選んだ理由は、第三者が他人の顔の表情から心理状態を推定・判断する場合、表情要素の形状の細かな変化を見ているわけではなく、大まかな眼の形状や開き具合、そして眼の形状の左右差、口の形状を見ていると判断したことによる。

請求項２に係る発明の表情評価モデルの概念図を図１０に示す。この表情評価モデルでは、どの評価項目が重要視されているかを考慮したモデルとするために、重視度（寄与度）をファジィ測度で表現する。このとき、ファジィ積分によって求められる総合評価は、６つの基本感情の度合いであることから、個別評価値も基本感情の度合いを表すものである必要がある。そこで、左右の眼の各フーリエ記述子ａ_k，ｂ_kの個々の平均値（ＥＡ）、左右の眼の各フーリエ記述子ａ_k，ｂ_kの差（右眼−左眼：ＥＤ）、口のフーリエ記述子（Ｍ）が単独で基本感情の度圧を表現できるように個別評価値を求めた。

第三者評価による感情の度合いを目的変数として、ＥＡ，ＥＤ，Ｍのそれぞれａ_k，ｂ_k（ｋ＝１〜２０）の計４０項目を説明変数とする重回帰式を基本感情ごとに求める。そして、この重回帰式にそれぞれの表情のＥＡやＥＤ、Ｍのフーリエ記述子を代入して得られた値をその評価項目の個別評価値とする。ただし、感情の度合いを表す個別評価項目が負になることはないので、重回帰式によって得られた個別評価値が負となる場合は０とした。

そして、これらの個別評価値に個々の重視度を考慮してファジィ積分したものが表情全体が表す総合評価値となるので、非線形数理計画法の２次計画方を用いてファジィ測度を同定する。得られたファジィ測度［表４］〜［表９］に示す。表の見方は、網かけをした対角線上の数値は評価項目単独による重要度で、右上三角形内の数値は対応する２つの評価項目を同時に評価した場合の重要度を表し、Ｔａｔａｌ欄の値は３つの評価項目全てを同時に評価したときの重要度である。また、σはファジィ積分による総合評価値と表情評価実験で得られた結果との自乗平均誤差である。

この［表４］より、「幸福」には単独では口が重要視されているものの、眼の平均値や左右差は全く影響しないことがわかる。そして、口と眼の平均値または左右差が複ヴ好適に寄与し、表情全体で「幸福」であることに結びついている。「驚き」は複合的な影響が大きいことがわえる。また、「悲しみ」では、口の寄与は小さく、両眼の平均値、左右差の影響が大きいことがわかる。

本発明によれば、ヒトの顔の表情から、表情要素である左右の眼と口の形状をフーリエ記述子を用いて定量的に表し、そのフーリエ記述子を用いてヒトの表情からその心理状態を推定することが可能となった。

以上の各モデルを用いてヒトの表情を推定し、その有効性を検証した。

請求項１に係る発明に基づく表情判別モデルにより、被験者２０名を判別し、被験者の各基本感情との正判別率を求めた結果を［表１０］に示す。このモデルにより、「幸福」「驚き」においては９０％以上の正判別率を得ることができ、６基本感情全体でも７５％以上の高い正判別率を得ることができており、表情判別モデルの妥当性が示された。

請求項２に係る発明に基づくモデルをの妥当性を確認するために、表情評価モデルの構築に用いた被験者以外の６名の被験者の表情を第三者がどのように評価するかの表情評価実験を行った。その結果の一例を［表１１］に示す。この表は、それぞれの表情に対して４８名の評価者がどのように評価したかの割合を示している。この例では、この被験者の幸福の表情を４５名の評価者が幸福であると判断し、「驚き」「嫌悪」「悲しみ」であると評価した評価者が１名（２．１％）いたことを表している。最も評価率の高かったものを太字で示し、表出した感情と評価が一致する正解部分を網かけとした。

表より、「幸福」や「驚き」、「悲しみ」では、評価者によって正しく感情が判定されていることがわかる。

フーリエ記述子の説明図である。「平静」の状態における眼のフーリエ記述この計算結果の例を示すグラフである。「幸福」を表出した状態における眼のフーリエ記述この計算結果の例を示すグラフである。「怒り」を表出した状態における眼のフーリエ記述この計算結果の例を示すグラフである。「平静」の状態における口のフーリエ記述この計算結果の例を示すグラフである。「幸福」を表出した状態における口のフーリエ記述この計算結果の例を示すグラフである。「怒り」を表出した状態における口のフーリエ記述この計算結果の例を示すグラフである。「平静」状態の眼の形状のフーリエ記述子ａ_k，ｂ_kの全被験者の平均値と、前記した６つの各基本感情の表出状態の眼の形状のフーリエ記述子ａ_k，ｂ_kの全被験者の平均値との差をプロットしたグラフである。「平静」状態の眼の形状のフーリエ記述子ａ_k，ｂ_kの全被験者の平均値と、前記した６つの各基本感情の表出状態の口の形状のフーリエ記述子ａ_k，ｂ_kの全被験者の平均値との差をプロットしたグラフである。請求項２に係る発明の表情評価モデルの概念図である。

Claims

ヒトの顔の画像から、その口および左右の眼の形状をそれぞれ表情要素としてそれぞれをフーリエ記述子を用いて定量的に表し、これらの口および左右の眼の形状をそれぞれ表すフーリエ記述子を用いた線形判別式により、口および左右の眼のそれぞれの形状について、あらかじめ設定されている複数の基本感情について判定得点を算出して正規化することにより、それぞれの形状における上記各基本感情に関する感情確信度を求め、口に関する各基本感情についての感情確信度，右眼に関する各基本感情についての感情確信度，および左眼に関する各基本感情についての感情確信度を、あらかじめ各基本感情ごとに定めておいた各表情要素ごとの重要度を加味した重回帰式に当てはめて計算し、各基本感情についての値から、上記画像を用いてヒトの心理状態を推定することを特徴とする表情から心理状態を推定する方法。
ヒトの顔の画像から、その口および左右の眼の形状をそれぞれ表情要素としてそれぞれをフーリエ記述子を用いて定量的に表し、左右の眼の各フーリエ記述子の個々の平均値ＥＡ、左右の眼の各フーリエ記述子の差ＥＤ、および口のフーリエ記述子Ｍを、あらかじめ各基本感情ごとに定めておいた上記ＥＡ，ＥＤおよびＭごとの重要度を加味した重回帰式に当てはめて計算し、各基本感情にについての値から、上記画像を用いてヒトの心理状態を推定することを特徴とする表情から心理状態を推定する方法。