JP2017120609A - 感情推定装置、感情推定方法及びプログラム - Google Patents
感情推定装置、感情推定方法及びプログラム Download PDFInfo
- Publication number
- JP2017120609A JP2017120609A JP2016074175A JP2016074175A JP2017120609A JP 2017120609 A JP2017120609 A JP 2017120609A JP 2016074175 A JP2016074175 A JP 2016074175A JP 2016074175 A JP2016074175 A JP 2016074175A JP 2017120609 A JP2017120609 A JP 2017120609A
- Authority
- JP
- Japan
- Prior art keywords
- estimated
- person
- emotion
- emotion estimation
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
【課題】被推定者の顔画像を用いて、被推定者の感情を高い精度で推定する。【解決手段】発話判定部100は、被推定者の顔画像が撮像される際に被推定者が発話しているか否かを判定する。感情推定部110は、発話判定部100の判定結果に基づいて被推定者の顔画像を用いた感情推定処理を実行することにより、被推定者の感情を推定する。【選択図】図2
Description
本発明は、感情推定装置、感情推定方法及びプログラムに関する。
被推定者の感情を推定する技術が知られている。例えば、特許文献1は、被推定者の顔画像を用いて被推定者の感情を推定する装置を開示している。
さて、一の感情を抱き、かつ、発話している状態における被推定者の口の形状と、他の感情を抱き、かつ、発話していない状態における被推定者の口の形状と、が類似する場合がある。このような場合、特許文献1に開示された装置は、一の感情を抱き、かつ、発話している状態における被推定者の表情を、他の感情を抱き、かつ、発話していない状態における被推定者の表情として誤認識してしまい、被推定者の感情を不正確に推定してしまうことを防げなかった。
本発明は、上記事情に鑑みてなされたものであり、被推定者の顔画像を用いて、被推定者の感情を高い精度で推定することを目的とする。
上記目的を達成するため、本発明に係る感情推定装置は、
被推定者の顔画像が撮像される際に前記被推定者が発話しているか否かを判定する発話判定手段と、
前記発話判定手段の判定結果に基づいて前記被推定者の顔画像を用いた感情推定処理を実行することにより、前記被推定者の感情を推定する感情推定手段と、
を備えることを特徴とする。
被推定者の顔画像が撮像される際に前記被推定者が発話しているか否かを判定する発話判定手段と、
前記発話判定手段の判定結果に基づいて前記被推定者の顔画像を用いた感情推定処理を実行することにより、前記被推定者の感情を推定する感情推定手段と、
を備えることを特徴とする。
本発明によれば、被推定者の顔画像を用いて、被推定者の感情を高い精度で推定することができる。
以下、本発明の実施形態に係る感情推定装置の機能及び動作を、図面を参照しながら詳細に説明する。図中、互いに同一又は同等の部分には同一の符号を付す。
感情推定装置は、被推定者の顔画像を用い、被推定者の感情を推定する。
感情推定装置1は、図1に示すように、CPU(Central Processing Unit)10と、記憶部20と、入力部30と、出力部40と、外部インタフェース50と、を備えている。
CPU10は、記憶部20に記憶された各種プログラムを実行する。具体的に、CPU10は、記憶部20に記憶された制御プログラム21を実行することにより、感情推定装置1全体を制御する。また、CPU10は、記憶部20に記憶された感情推定プログラム22を実行することにより、後述する発話判定部100及び感情推定部110の機能を実現する。
記憶部20は、RAM(Random Access Memory)を備え、CPU10のワークメモリとして機能する。また、記憶部20は、ROM(Read-Only Memory)と、ハードディスクドライブ等の不揮発性メモリを備え、各種データ及び各種プログラムを記憶する。具体的に、本実施形態において、記憶部20は、制御プログラム21と、感情推定プログラム22と、被推定者の顔画像23と、周辺音声データ24と、第1の感情認識モデル25と、第2の感情認識モデル26と、を記憶している。
制御プログラム21は、感情推定装置1全体を制御するためのプログラムである。感情推定プログラム22は、後述する発話判定部100及び感情推定部110の機能を実現するためのプログラムである。被推定者の顔画像23は、被推定者の顔を表す画像である。感情推定装置1は、被推定者の顔画像23を用い、被推定者の感情を推定する。周辺音声データ24は、被推定者の顔画像23が撮像される際における被推定者の周辺の音声を表す音声データである。記憶部20において、被推定者の顔画像23と周辺音声データ24とは互いに対応付けて記憶されている。なお、被推定者の顔画像23が静止画データの場合、周辺音声データ24は、例えば、当該静止画データを撮像した前後数秒程度の音声データを取得して、静止画データと音声データを互いに対応付けるようにし、被推定者の顔画像23が動画データの場合、当該動画データの取得と同時に音声データも取得し、被推定者の顔画像23と周辺音声データ24は、例えば、ムービーファイルデータのように一つのファイルデータの中に含まれていてもよい。第1の感情認識モデル25及び第2の感情認識モデル26の詳細については、後述する。
感情推定装置1は、図示しない外部の撮像装置が撮像した被推定者の顔画像23を予め取得し、記憶部20に記憶している。感情推定装置1は、図示しない外部の録音装置が取得した周辺音声データ24を予め取得し、記憶部20に記憶している。感情推定装置1は、図示しない外部の感情認識モデル生成装置が生成した第1の感情認識モデル25及び第2の感情認識モデル26を予め取得し、記憶部20に記憶している。感情認識モデル生成装置は、例えば、感情推定装置1を製造する工場に設置されたコンピュータである。感情認識モデル生成装置による第1の感情認識モデル25及び第2の感情認識モデル26の生成の詳細については、後述する。
入力部30は、ユーザの操作に従って入力を受け付ける。入力部30は、受け付けた入力をCPU10へ供給する。
出力部40は、各種データをユーザが認識可能な態様で出力する。具体的に、出力部40は、図示しないディスプレイを備え、感情推定装置1が推定した被推定者の感情を表す画像である感情画像をこのディスプレイに表示する。感情画像の具体例としては、被推定者の感情を表すテキストメッセージ等が挙げられる。
外部インタフェース50は、図示しない外部の装置との間で各種データをやり取りする。具体的に、感情推定装置1は、外部インタフェース50を介して、被推定者の顔画像23、周辺音声データ24、第1の感情認識モデル25及び第2の感情認識モデル26を取得する。また、感情推定装置1は、推定した被推定者の感情を表す情報である感情情報を、図示しない外部の情報処理装置へ送出する。
上記の物理的構成を有する感情推定装置1は、機能的に、図2に示すように、発話判定部100と、感情推定部110と、を備えている。
発話判定部100は、被推定者の顔画像23が撮像される際に被推定者が発話しているか否かを判定する。
具体的に、発話判定部100は、被推定者の顔画像23が静止画データの場合は、当該静止画データに対応付けられている音声データを周辺音声データ24とし、被推定者の顔画像23が、例えば、ムービーファイルデータのような動画データの場合は、当該ムービーファイルデータ中の音声データを周辺音声データ24とする。そして、周辺音声データ24の音量が第1の閾値未満であれば、被推定者は発話していないと判定し、周辺音声データ24の音量が第1の閾値以上であれば、被推定者は発話していると判定する。第1の閾値は、実験等の任意の方法により予め設定しておけばよい。
感情推定部110は、発話判定部100の判定結果に基づいて被推定者の顔画像23を用いた被推定者の感情を推定する。
具体的に、感情推定部110は、発話判定部100による判定の結果に基づいて感情識別モデルを選択するモデル選択部110aを備え、モデル選択部110aが選択した感情認識モデルを用いた感情推定処理を実行する。モデル選択部110aは、被推定者が発話していないと発話判定部100が判定した場合には、第1の感情認識モデル25を選択する。一方、モデル選択部110aは、被推定者が発話していると発話判定部100が判定した場合には、第2の感情認識モデル26を選択する。
すなわち、感情推定部110は、被推定者が発話していないと発話判定部100が判定した場合、第1の感情認識モデル25を用いた感情推定処理を実行する。一方、感情推定部110は、被推定者が発話していると発話判定部100が判定した場合、第2の感情認識モデル26を用いた感情推定処理を実行する。なお、被推定者の顔画像23が、例えば、ムービーファイルデータのような動画データの場合、当該動画データの記録時間の間に、被推定者が発話していない箇所と、発話している箇所が混在している場合があるが、その場合は、発話判定部100は、被推定者が発話していない箇所では、被推定者が発話していないと判定し、発話している箇所では、被推定者が発話していると判定する。そして、感情推定部110は、当該動画データの記録時間において、発話判定部100の判定結果に基づいて、第1の感情認識モデル25と第2の感情認識モデル26を適宜切り換えて感情推定処理を実行する。
第1の感情認識モデル25及び第2の感情認識モデル26は、被推定者の顔画像を用いて被推定者の感情を推定するための認識モデルである。第1の感情認識モデル25は、被推定者が発話していない場合に感情推定を行なうのに適した感情認識モデルであり、第2の感情認識モデル26は、被推定者が発話している場合に感情推定を行なうのに適した感情認識モデルである。より具体的には、第1の感情認識モデル25は、被推定者の顔画像の、被推定者の口を表す画像を少なくとも用いて被推定者の感情を推定する。第2の感情認識モデル26は、被推定者の顔画像の、被推定者の口を表す画像以外の画像を用いて被推定者の感情を推定する。
第1の感情認識モデル25及び第2の感情認識モデル26は、図示しない外部の感情認識モデル生成装置によって生成された後、感情推定装置1によって取得され、記憶部20に記憶されている。第1の感情認識モデル25は、複数の学習用顔画像を、各学習用顔画像における被写体の口を表す画像を少なくとも用いて生成される。第2の感情認識モデル26は、複数の学習用顔画像を、各学習用顔画像における被写体の口を表す画像以外の画像を用いて生成される。
[感情認識モデル生成処理の実施形態]
以下、図3〜図5を参照して、感情認識モデル生成装置が第1の感情認識モデル25及び第2の感情認識モデル26を生成する動作を説明する。感情認識モデル生成装置は、図3のフローチャートに示す感情認識モデル生成処理を実行することにより、第1の感情認識モデル25及び第2の感情認識モデル26を生成する。
以下、図3〜図5を参照して、感情認識モデル生成装置が第1の感情認識モデル25及び第2の感情認識モデル26を生成する動作を説明する。感情認識モデル生成装置は、図3のフローチャートに示す感情認識モデル生成処理を実行することにより、第1の感情認識モデル25及び第2の感情認識モデル26を生成する。
まず、感情認識モデル生成装置が、図3のフローチャートに示す感情認識モデル生成処理を実行することにより、第1の感情認識モデル25を生成する動作について説明する。
感情認識モデル生成装置は、外部の撮像装置が撮像した複数の顔画像を予め取得し、記憶しているものとする。これらの顔画像には、各顔画像における被写体の感情を表す感情ラベルが予め付与されているものとする。
感情認識モデル生成装置は、記憶している複数の顔画像のうち一部を学習用顔画像として指定し、残りの顔画像を評価用顔画像として指定する。
この状態において、ユーザが、図示しない入力部を介して第1の感情認識モデル25の生成を指示すると、感情認識モデル生成装置は、図3のフローチャートに示す感情認識モデル生成処理を開始する。
まず、感情認識モデル生成装置は、学習用顔画像それぞれについて、各学習用顔画像の被写体の目を表す画像領域である目領域と、各学習用顔画像の被写体の鼻を表す画像領域である鼻領域と、各学習用顔画像の被写体の口を表す画像領域である口領域と、を検出する(ステップS101)。顔画像から目領域、鼻領域及び口領域を検出する技術は公知であるため、詳細な説明は省略する。
次に、感情認識モデル生成装置は、ステップS101で検出した目領域、鼻領域及び口領域の位置に基づいて、学習用顔画像をそれぞれ正規化する(ステップS102)。感情認識モデル生成装置は、ステップS102において学習用顔画像を正規化する際に用いたパラメータである画像正規化パラメータを記憶する。
具体的に、感情認識モデル生成装置は、第1の感情認識モデル25を生成する場合、ステップS102において、ステップS101で検出した目領域の位置と口領域の位置とに基づいて学習用顔画像をそれぞれ正規化することにより、図4(a)に示すように、各学習用顔画像を、口領域を含むように正規化する。感情認識モデル生成装置は、この際に用いた画像正規化パラメータを記憶する。
例えば、顏画像の大きさが異なると、同じ人の笑ったときの顔でも、しわの長さや太さが異なることになる。そのため、発話時の感情認識を誤る要因となる恐れがある。この誤認識を軽減するために、顔画像の正規化を行う。
感情認識モデル生成装置は、ステップS102で正規化した学習用顔画像それぞれについて、各学習用顔画像が含む全ての画素のLBP(Local Binary Patterns)を算出することにより、LBP画像を生成する(ステップS103)。
感情認識モデル生成装置は、ステップS103で生成したLBP画像をそれぞれ複数のブロックに分割する(ステップS104)。感情認識モデル生成装置は、ステップS104でLBP画像を複数のブロックに分割する際に用いたパラメータである分割パラメータを記憶する。
例えば、目領域について、目頭、瞳、目尻といったさらに細かい部分に領域を分割してもよいし、正規化した顔画像を小矩形領域でタイル状に敷き詰めたように分割してもよい。そして、細かく分割した領域ごとに、特徴量(LBP)を抽出する。
感情認識モデル生成装置は、ステップS104において分割したブロック毎にLBPヒストグラムを生成した上で全ブロックのLBPヒストグラムを連結することにより、ステップS102で正規化した学習用顔画像それぞれについてLBPヒストグラムを生成する(ステップS105)。この際、分割した領域の画素数が顔画像ごとで異なるならば、各領域の頻度の合計が1になるようにヒストグラムを正規化する必要がある。
ヒストグラムを作成する目的は、特徴量の分布を図形化することにより、怒ったときや笑ったときの目尻のしわの向き等を総合的に比較しやすくするためである。感情認識モデル生成装置は、予め感情ラベルが付与された学習用顏画像毎にLBPヒストグラムを作成する。
感情認識モデル生成装置は、全ての学習用顔画像のLBPヒストグラムに基づいて取得したパラメータを用い、全LBPヒストグラムを次元単位で正規化する(ステップS106)。感情認識モデル生成装置は、全LBPヒストグラムを次元単位で正規化する際に用いたパラメータであるヒストグラム正規化パラメータを記憶する。
次元正規化とは、LBPヒストグラムの各次元の広がり具合が次元毎に異ならないようにするためのものである。これは、感情識別に寄与が大きな次元の分布が狭く、感情識別に寄与しない次元の分布が広い場合に認識性能が低下する問題を軽減するのに役立つ。正規化方法としては、最大値最小値に基づくものや、平均標準偏差に基づくものなどがある。
感情認識モデル生成装置は、図4(a)に示す、ステップS106において次元単位で正規化した全ての学習用顔画像のLBPヒストグラム(特徴量)と、各学習用顔画像に予め付与された感情ラベルと、を教師データとして用いた機械学習を行い、サポートベクターマシン(Support Vector Machine)を生成する(ステップS107)。感情認識モデル生成装置は、生成されたサポートベクターマシンを定義するパラメータであるSVMパラメータを記憶する。すなわち、感情認識モデル生成装置は、予め感情ラベルが付与された学習用顏画像を教師データとして、発話者の発話時の感情状態を、例えば、喜怒哀楽に識別するサポートベクターマシンを生成する。なお、本実施形態では正規化したLBPヒストグラムを特徴量として用いるものとして説明するが、これは一例に過ぎない。第1の感情認識モデル25及び第2の感情認識モデル26は、任意の特徴量を機械学習することにより生成できる。
感情認識モデル生成装置は、ステップS102で用いた画像正規化パラメータを示す情報と、ステップS104で用いた画像分割パラメータを示す情報と、ステップS106で用いたヒストグラム正規化パラメータを示す情報と、ステップS107で取得したSVMパラメータを示す情報と、を互いに対応付けることにより、図5に示す構造を有する第1の感情認識モデル25を生成し(ステップS108)、感情認識モデル生成処理を終了する。
なお、感情認識モデル生成装置は、ステップS108において、生成した感情認識モデルの品質を、評価用顔画像を用いて評価してもよい。具体的に、感情認識モデル生成装置は、生成した感情認識モデルを用いて評価用顔画像が表す被写体の感情を推定し、推定結果と当該評価用顔画像に予め付与された感情ラベルとが一致するか否かに基づいて感情認識モデルの品質を評価すればよい。評価の結果、生成した感情認識モデルの品質が所定の基準を満たさないと判定された場合、感情認識モデルの各パラメータを修正するチューニングや、再度機械学習を行って各パラメータを定義し直す再学習を行うこととしてもよい。
以上説明したように、感情認識モデル生成装置は、ステップS102において口領域を含むように正規化した学習用顔画像を用いて、第1の感情認識モデル25を生成する。すなわち、感情認識モデル生成装置は、複数の学習用顔画像の、各学習用顔画像における被写体の口を表す画像を少なくとも用いて、第1の感情認識モデル25を生成する。
次に、感情認識モデル生成装置が、図3のフローチャートに示す感情認識モデル生成処理を実行することにより、第2の感情認識モデル26を生成する動作について説明する。
感情認識モデル生成装置は、上述した第1の感情認識モデル25を生成する際におけるステップS101〜S108の処理と概ね同一の処理を実行することにより、第2の感情認識モデル26を生成する。但し、ステップS102の処理が一部異なる。
具体的に、感情認識モデル生成装置は、第2の感情認識モデル26を生成する場合、ステップS102において、ステップS101で検出した目領域の位置と鼻領域の位置とに基づいて学習用顔画像をそれぞれ正規化することにより、図4(b)に示すように、各学習用顔画像を、口領域を含まないように正規化する。感情認識モデル生成装置は、この際に用いた画像正規化パラメータを記憶する。
感情認識モデル生成装置は、ステップS102において口領域を含まないように正規化した学習用顔画像を用いて、ステップS103〜S108の処理を実行することにより、図5に示す構造を有する第2の感情認識モデル26を生成する。すなわち、感情認識モデル生成装置は、複数の顔画像を、各顔画像における被写体の口を表す画像領域である口領域を除いて用い、第2の感情認識モデル26を生成する。
なお、本実施形態では第1の感情認識モデル25と第2の感情認識モデル26とを個別に生成するものとして説明したが、これは一例に過ぎない。第1の感情認識モデル25と第2の感情認識モデル26とは、共通の学習用顔画像を用い、一つの処理によりまとめて生成してもよい。
[感情推定処理の実施形態]
以下、図6を参照して、上記の物理的・機能的構成を有する感情推定装置1が、被推定者の顔画像23を用いて被推定者の感情を推定する動作を説明する。感情推定装置1は、図6のフローチャートに示す感情推定処理を実行することにより、被推定者の顔画像23を用いて被推定者の感情を推定する。
以下、図6を参照して、上記の物理的・機能的構成を有する感情推定装置1が、被推定者の顔画像23を用いて被推定者の感情を推定する動作を説明する。感情推定装置1は、図6のフローチャートに示す感情推定処理を実行することにより、被推定者の顔画像23を用いて被推定者の感情を推定する。
感情推定装置1は、外部インタフェース50を介し、被推定者の顔画像23、周辺音声データ24、第1の感情認識モデル25及び第2の感情認識モデル26を予め取得し、記憶部20に記憶している。記憶部20において、被推定者の顔画像23と周辺音声データ24とは互いに対応付けて記憶されている。
この状態において、被推定者の感情を推定することを所望するユーザが入力部30を介して感情の推定を指示すると、CPU10は、この指示に応答し、図6のフローチャートに示す感情推定処理を開始する。
まず、発話判定部100が、被推定者の顔画像23が撮像される際に被推定者が発話しているか否かを判定する(ステップS201)。具体的に、発話判定部100は、周辺音声データ24の音量が第1の閾値未満であれば、被推定者は発話していないと判定し、周辺音声データ24の音量が第1の閾値以上であれば、被推定者は発話していると判定する。
モデル選択部110aは、ステップS201における判定結果に基づいて、第1の感情認識モデル25と第2の感情認識モデル26とのうち何れかを選択する(ステップS202)。具体的に、モデル選択部110aは、感情推定部110は、被推定者が発話していないとステップS201で判定された場合には第1の感情認識モデル25を選択し、被推定者が発話しているとステップS202で判定された場合には第2の感情認識モデル26を選択する。
感情推定部110は、被推定者の顔画像23の目を表す画像領域である目領域と、被推定者の鼻を表す画像領域である鼻領域と、被推定者の口を表す画像領域である口領域と、を検出し(ステップS203)、検出した目領域、鼻領域及び口領域の位置に基づいて、ステップS202で選択された感情認識モデルの含む画像正規化パラメータを用いて、被推定者の顔画像23を正規化する(ステップS204)。
具体的に、感情推定部110は、ステップS202において第1の感情認識モデル25をモデル選択部110aが選択した場合、ステップS204において、第1の感情認識モデル25が含む画像正規化パラメータを用いて被推定者の顔画像23を正規化することにより、被推定者の顔画像23を、被推定者の口を表す画像領域を含むように正規化する。また、感情推定部110は、ステップS202において第2の感情認識モデル26をモデル選択部110aが選択した場合、ステップS204において、第2の感情認識モデル26が含む画像正規化パラメータを用いて被推定者の顔画像23を正規化することにより、被推定者の顔画像23を、被推定者の口を表す画像領域を含まないように正規化する。
感情推定部110は、ステップS204で正規化した被推定者の顔画像23が含む全ての画素のLBPを算出することにより、LBP画像を生成する(ステップS205)。
感情推定部110は、ステップS202で選択された感情認識モデルが含む分割パラメータを用いて、ステップS205で生成したLBP画像を複数のブロックに分割する(ステップS206)。具体的に、感情推定部110は、ステップS202においてモデル選択部110aが第1の感情認識モデル25を選択した場合、第1の感情認識モデル25が含む分割パラメータを用いてLBP画像を分割する。また、感情推定部110は、ステップS202においてモデル選択部110aが第2の感情認識モデル26を選択した場合、第2の感情認識モデル26が含む分割パラメータを用いてLBP画像を分割する。
感情推定部110は、ステップS206において分割したブロック毎にLBPヒストグラムを生成した上で全ブロックのLBPヒストグラムを連結することにより、ステップS204で正規化した被推定者の顔画像23についてLBPヒストグラムを生成する(ステップS207)。
感情推定部110は、ステップS202で選択された感情認識モデルが含むヒストグラム正規化パラメータを用いて、ステップS207で生成したLBPヒストグラムを次元単位で正規化する(ステップS208)。具体的に、感情推定部110は、ステップS202においてモデル選択部110aが第1の感情認識モデル25を選択した場合、第1の感情認識モデル25が含むヒストグラム正規化パラメータを用いてLBPヒストグラムを正規化する。また、感情推定部110は、ステップS202においてモデル選択部110aが第2の感情認識モデル26を選択した場合、第2の感情認識モデル26が含むヒストグラム正規化パラメータを用いてLBPヒストグラムを正規化する。
感情推定部110は、ステップS208で正規化したLBPヒストグラムと、ステップS202で選択された感情認識モデルが含むSVMパラメータで定義されるサポートベクターマシンと、を用いて被推定者の感情を推定する(ステップS209)。具体的に、感情推定部110は、ステップS202においてモデル選択部110aが第1の感情認識モデル25を選択した場合、第1の感情認識モデル25が含むSVMパラメータで定義されるサポートベクターマシンを用いて被推定者の感情を推定する。また、感情推定部110は、ステップS202においてモデル選択部110aが第2の感情認識モデル26を選択した場合、第2の感情認識モデル26が含むSVMパラメータで定義されるサポートベクターマシンを用いて被推定者の感情を推定する。
すなわち、感情推定部110は、感情認識モデル生成装置が感情認識モデルを生成したときと同じように、被推定者の顏画像23を目、鼻、口等の領域に分割する。そして、さらに目頭や目尻のように領域を細分化する。そして、細分化した領域毎に、感情認識モデル生成装置と同様にLPBヒストグラムを生成して、次元正規化を行う。そして、正規化されたLPBヒストグラムを被推定者の顔画像23の特徴データとして、感情識別モデル内のSVMを用いて、その特徴データが、喜怒哀楽のいずれの感情状態の顏画像に属するかを識別する。
感情推定部110は、ステップS209で推定した被推定者の感情を表すテキストメッセージを感情画像として出力部40のディスプレイに表示し、ステップS209で推定した被推定者の感情を表す感情情報を、外部インタフェース50を介して、図示しない外部の情報処理装置へ送出して(ステップS210)、感情推定処理を終了する。
以上説明したように、感情推定装置1は、被推定者の顔画像23が撮像される際に被推定者が発話していると発話判定部100が判定したか否かに応じて、被推定者の顔画像23を用いた互いに異なる感情推定処理を実行する。このため、感情推定装置1は、被推定者の顔画像23を用いて、高い精度で被推定者の感情を推定できる。
具体的に、感情推定装置1は、被推定者が発話していないと発話判定部100が判定した場合、第1の感情認識モデル25を用いた感情推定処理を実行する。第1の感情認識モデル25を用いた感情推定処理では、上述したステップS204の処理で被推定者の顔画像23を、被推定者の口を表す画像領域を含むように正規化していることから明らかなように、被推定者の顔画像23の、被推定者の口を表す画像を少なくとも用いて被推定者の感情を推定する。
被推定者が発話していない場合には、被推定者の顔画像23の、被推定者の口を表す画像を用いたとしても、一の感情を抱き、かつ、発話している状態における被推定者の表情を、他の感情を抱き、かつ、発話していない状態における被推定者の表情として感情推定装置1が誤認識してしまう虞は無い。
感情推定装置1は、被推定者の顔画像23の、被推定者の口を表す画像を用いることで、被推定者の口を表す画像を用いない場合よりも高い精度で被推定者の感情を推定できる。
また、感情推定装置1は、被推定者が発話していると発話判定部100が判定した場合、第2の感情認識モデル26を用いた感情推定処理を実行する。第2の感情認識モデル26を用いた感情推定処理では、上述したステップS204の処理で被推定者の顔画像23を、被推定者の口を表す画像領域を含まないように正規化していること等から明らかなように、被推定者の顔画像23の、被推定者の口を表す画像以外の画像を用いて被推定者の感情を推定する。
被推定者が発話している場合には、被推定者の顔画像23の、被推定者の口を表す画像を用いると、一の感情を抱き、かつ、発話している状態における被推定者の表情を、他の感情を抱き、かつ、発話していない状態における被推定者の表情として感情推定装置1が誤認識してしまう虞がある。
感情推定装置1は、被推定者の顔画像23の、被推定者の口を表す画像以外の画像用いることで、被推定者の口を表す画像を用いた場合よりも高い精度で被推定者の感情を推定できる。
以上説明したように、感情推定装置1は、被推定者が発話していない場合には第1の感情認識モデル25を、被推定者が発話している場合には第2の感情認識モデル26を用いて感情推定処理を行うことにより、被推定者の顔画像23を用いて、当該顔画像が撮像される際に被推定者が発話しているか否かにかかわらず、高い精度で被推定者の感情を推定できる。
以上、本発明の実施形態について説明したが、この実施形態は一例に過ぎず、本発明の範囲はこの実施形態に限定されるものではない。本発明は、種々の形態で実施可能であり、あらゆる実施形態が本発明の範囲に含まれる。
上記の実施形態において、感情推定装置1は、図示しない外部の撮像装置が撮像した被推定者の顔画像23と、図示しない外部の録音装置が取得した当該被推定者の顔画像23を撮像した際の被推定者の周辺音声データ24を予め取得し、被推定者の顔画像23と周辺音声データ24とはお互いに対応付けられて記憶部20に記憶していた。しかし、これは一例に過ぎない。感情推定装置1は、被推定者の顔画像23と周辺音声データ24とを任意の方法により取得できる。
例えば、感情推定装置1は、図示しない撮像手段を備え、この撮像手段を用いて被推定者の顔を撮像することにより被推定者の顔画像23を取得すればよい。また、感情推定装置1は、図示しない音声入力手段を備え、この音声入力手段を用いて、被推定者の顔画像23が撮像手段により撮像される際における被推定者の周辺の音声を表す音声データを周辺音声データ24として取得すればよい。この場合、感情推定装置1は、被推定者の顔画像23と被推定者の周辺音声の取得と、被推定者の発話の有無に基づいた被推定者の顔画像23を用いた当該被推定者の感情認識を常時行なうようにしてもよい。
上記の実施形態において、第1の感情認識モデル25及び第2の感情認識モデルは、図3のフローチャートに示す感情認識モデル生成処理によって生成され、図5に示す構造を有していた。しかし、これは一例に過ぎない。第1の感情認識モデル25は、被推定者の顔画像の、被推定者の口を表す画像を少なくとも用いて被推定者の感情を推定する認識モデルであれば、任意の方法によって生成された、任意の構造を有する認識モデルであってよい。第2の感情認識モデル26は、被推定者の顔画像の、被推定者の口を表す画像以外の画像を用いて被推定者の感情を推定する認識モデルであれば、任意の方法によって生成された、任意の構造を有する認識モデルであってよい。
上記の実施形態において、発話判定部100は、周辺音声データ24の音量が第1の閾値未満であれば、被推定者は発話していないと判定し、周辺音声データ24の音量が第1の閾値以上であれば、被推定者は発話していると判定した。しかし、これは一例に過ぎない。発話判定部100は、被推定者の顔画像23が撮像される際に被推定者が発話しているか否かを、任意の方法により判定できる。
例えば、発話判定部100は、周辺音声データ24と母音音声データ及び子音音声データとの間の類似度に基づいて、被推定者が発話しているか否かを判定すればよい。なお、母音音声データは、母音を表す音声データであり、子音音声データは、子音を表す音声データである。具体的に、発話判定部100は、周辺音声データ24と母音音声データとの間の類似度と、周辺音声データ24と子音音声データとの間の類似度と、のうち少なくとも何れか一方が第2の閾値未満であれば、被推定者は発話していないと判定すればよい。また、発話判定部100は、周辺音声データと母音音声データとの間の類似度と、周辺音声データと子音音声データとの間の類似度と、のうち少なくとも何れか一方が第2の閾値以上であれば、被推定者は発話していると判定すればよい。なお、第2の閾値は、実験等の任意の方法により、予め設定しておくものとする。
或いは、発話判定部100は、被推定者の顔画像23が撮像される際に被推定者が発話しているか否かを示す発話情報を外部から取得し、この発話情報に基づいて被推定者が発話しているか否かを判定してもよい。発話判定部100は、発話情報を、任意の方法により取得できる。例えば、発話判定部100は、ユーザが入力部30を用いて入力した、被推定者の顔画像23が撮像される際に被推定者が発話しているか否かを示す情報を、発話情報として取得すればよい。
[感情推定処理の変形例]
上記の実施形態において、感情推定部110は、被推定者が発話していないと発話判定部100が判定した場合と、被推定者が発話していると発話判定部100が判定した場合と、で被推定者の顔画像23を用いた互いに異なる感情推定処理を実行した。具体的には、感情推定部110は、被推定者が発話していないと発話判定部100が判定した場合は、第1の感情認識モデル25を選択して感情推定処理を実行し、被推定者が発話していると発話判定部100が判定した場合は、第2の感情認識モデル26を選択して感情推定処理を実行した。
上記の実施形態において、感情推定部110は、被推定者が発話していないと発話判定部100が判定した場合と、被推定者が発話していると発話判定部100が判定した場合と、で被推定者の顔画像23を用いた互いに異なる感情推定処理を実行した。具体的には、感情推定部110は、被推定者が発話していないと発話判定部100が判定した場合は、第1の感情認識モデル25を選択して感情推定処理を実行し、被推定者が発話していると発話判定部100が判定した場合は、第2の感情認識モデル26を選択して感情推定処理を実行した。
感情推定処理の変形例においては、感情推定部110は、被推定者が発話していないと発話判定部100が判定した場合は、被推定者の顔画像23を用いた感情推定処理を実行し、被推定者が発話していると発話判定部100が判定した場合は、被推定者の顔画像23を用いた感情推定処理を行なわないように動作する。
以下、図7を参照して、感情推定処理の変形例について説明する。
まず、発話判定部100が、被推定者の顔画像23が撮像される際に被推定者が発話しているか否かを判定する(ステップS301)。本処理は、上記の実施形態におけるステップS201と同一の処理である。
まず、発話判定部100が、被推定者の顔画像23が撮像される際に被推定者が発話しているか否かを判定する(ステップS301)。本処理は、上記の実施形態におけるステップS201と同一の処理である。
感情推定部110は、ステップS301における判定結果において被推定者が発話していないと判定した場合(ステップS302:Yes)、被推定者の顔画像23を用いた感情推定処理を実行する(ステップS303)。具体的には、第1の感情認識モデル25を用いて、上記の実施形態におけるステップS203〜ステップS210の処理を行なった後、感情推定処理を終了する。
また、感情推定部110は、ステップS301における判定結果において被推定者が発話していると判定した場合(ステップS302:No)、被推定者の顔画像23を用いた感情推定処理を実行することなく(被推定者の顔画像23を用いた感情推定処理の実行を禁止し)感情推定処理を終了する。なお、本実施形態では、被推定者が発話していると判定した場合、被推定者の顔画像23を用いた感情推定処理を実行することなく感情推定処理を終了するものとして説明したが、これは一例に過ぎない。被推定者が発話していると判定した場合、被推定者の顔画像23を用いた感情推定処理を実行することなく(被推定者の顔画像23を用いた感情推定処理の実行を禁止し)、被推定者の顔画像23を用いない任意の感情推定処理を実行することにより被推定者の感情を推定することもできる。例えば、被推定者が発話していると判定した場合、被推定者の顔画像23を用いた感情推定処理を実行することなく、周辺音声データ24が表す被推定者の音声を用いて被推定者の感情を推定すればよい。被推定者の音声を用いて被推定者の感情を推定する技術は、当該技術分野において周知であるため、詳細な説明は省略する。
なお、感情推定部110は、被推定者が発話していると判定した場合、被推定者の顔画像23を用いた感情推定処理を実行してもよい。具体的には、第2の感情認識モデル26を用いて、上記の実施形態におけるステップS203〜ステップS210の処理を行ない、被推定者が発話していないと判定した場合、被推定者の顔画像23を用いた感情推定処理を実行することなく感情推定処理を終了してもよい。
以上説明したように、感情推定装置1は、被推定者の顔画像23を用いた被推定者の感情を推定する際、被推定者の発話の有無に影響されない感情推定を行なうので、高い精度で被推定者の感情を推定できる。
上記の実施形態、及び変形例において、感情推定装置1は、出力部40が備えるディスプレイに感情画像を表示し、外部インタフェース50を介して感情情報を送出することにより、感情推定処理の結果を出力した。しかし、これは一例に過ぎない。感情推定装置1は、任意の方法により、感情推定処理の結果を出力できる。例えば、感情推定装置1の出力部40は、図示しないスピーカを備え、感情推定装置1が推定した被推定者の感情を表す音声である感情音声をこのスピーカから出力すればよい。
本発明に係る感情推定装置は、コンピュータや携帯電話、スマートフォン、カメラ、PDA(Personal Digital Assistance)等の任意の電子機器によって実現できる。具体的には、これらの電子機器を本発明に係る感情推定装置として動作させるためのプログラムを、これらの電子機器が読み取り可能な記録媒体(例えば、メモリカードやCD−ROM(Compact Disc Read-Only Memory)、DVD−ROM(Digital Versatile Disc Read-Only Memory)等)に格納して配布し、これらの電子機器にインストールすることにより本発明に係る感情推定装置を実現できる。
あるいは、上記プログラムを、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置(例えば、ディスク装置等)に格納しておき、コンピュータや携帯電話、スマートフォン、カメラ、PDA等の電子機器がこのプログラムをダウンロードすることによって本発明に係る感情推定装置を実現してもよい。
また、本発明に係る感情推定装置の機能を、OS(Operating System)とアプリケーションプログラムとの協働又は分担により実現する場合には、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
また、アプリケーションプログラムを搬送波に重畳し、通信ネットワークを介して配信してもよい。例えば、通信ネットワーク上の掲示板(BBS:Bulletin Board System)にアプリケーションプログラムを掲示し、ネットワークを介してアプリケーションプログラムを配信してもよい。そして、このアプリケーションプログラムをコンピュータにインストールして起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、本発明に係る感情推定装置を実現してもよい。
以上、本発明の好ましい実施の形態について説明したが、本発明は係る特定の実施の形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。
(付記1)
被推定者の顔画像が撮像される際に前記被推定者が発話しているか否かを判定する発話判定手段と、
前記発話判定手段の判定結果に基づいて前記被推定者の顔画像を用いた感情推定処理を実行することにより、前記被推定者の感情を推定する感情推定手段と、
を備えることを特徴とする感情推定装置。
(付記2)
前記感情推定手段は、前記被推定者が発話していないと前記発話判定手段が判定した場合、前記被推定者の顔画像を用いた感情推定処理を実行することを特徴とした付記1に記載の感情推定装置。
(付記3)
前記感情推定手段は、前記被推定者が発話していると前記発話判定手段が判定した場合、前記被推定者の顔画像を用いた感情推定処理を実行しないことを特徴とした付記2に記載の感情推定装置。
(付記4)
前記感情推定手段は、前記被推定者が発話していると前記発話判定手段が判定した場合、前記被推定者の顔画像を用いた感情推定処理を実行することを特徴とした付記1に記載の感情推定装置。
(付記5)
前記感情推定手段は、前記被推定者が発話していないと前記発話判定手段が判定した場合と、前記被推定者が発話していると前記発話判定手段が判定した場合と、で前記被推定者の顔画像を用いた互いに異なる感情推定処理を実行することにより、前記被推定者の感情を推定することを特徴とする付記1に記載の感情推定装置。
(付記6)
前記感情推定手段は、
前記被推定者が発話していないと前記発話判定手段が判定した場合、前記被推定者の顔画像の、前記被推定者の口を表す画像を少なくとも用いて、前記被推定者の感情を推定する第1の感情認識モデルにより感情推定処理を実行し、
前記被推定者が発話していると前記発話判定手段が判定した場合、前記被推定者の顔画像の、前記被推定者の口を表す画像以外の画像を用いて、前記被推定者の感情を推定する第2の感情認識モデルにより感情推定処理を実行することを特徴とする付記5に記載の感情推定装置。
(付記7)
前記発話判定手段は、
前記被推定者の顔画像が撮像される際における音声に基づいて、前記被推定者が発話しているか否かを判定することを特徴とする付記1乃至6の何れか一つに記載の感情推定装置。
(付記8)
前記発話判定手段は、
前記被推定者の顔画像が撮像される際における前記被推定者の周囲の音声を表す周辺音声データの音量が第1の閾値未満であれば、前記被推定者は発話していないと判定し、
前記周辺音声データの音量が前記第1の閾値以上であれば、前記被推定者は発話していると判定することを特徴とする付記7に記載の感情推定装置。
(付記9)
前記発話判定手段は、
前記被推定者の顔画像が撮像される際における前記被推定者の周辺の音声を表す周辺音声データと母音を表す母音音声データとの間の類似度と、前記周辺音声データと子音を表す子音音声データとの間の類似度と、のうち少なくとも何れか一方が第2の閾値未満であれば、前記被推定者は発話していないと判定し、
前記周辺音声データと前記母音音声データとの間の類似度と、前記周辺音声データと前記子音音声データとの間の類似度と、のうち少なくとも何れか一方が前記第2の閾値以上であれば、前記被推定者は発話していると判定することを特徴とする付記7に記載の感情推定装置。
(付記10)
被推定者の顔画像が撮像される際に前記被推定者が発話しているか否かを判定する発話判定ステップと、
前記発話判定ステップの判定結果に基づいて前記被推定者の顔画像を用いた感情推定処理を実行することにより、前記被推定者の感情を推定する感情推定ステップと、
を含むことを特徴とする感情推定方法。
(付記11)
コンピュータを、
被推定者の顔画像が撮像される際に前記被推定者が発話しているか否かを判定する発話判定手段、
前記発話判定手段の判定結果に基づいて前記被推定者の顔画像を用いた感情推定処理を実行することにより、前記被推定者の感情を推定する感情推定手段、
として機能させることを特徴とするプログラム。
被推定者の顔画像が撮像される際に前記被推定者が発話しているか否かを判定する発話判定手段と、
前記発話判定手段の判定結果に基づいて前記被推定者の顔画像を用いた感情推定処理を実行することにより、前記被推定者の感情を推定する感情推定手段と、
を備えることを特徴とする感情推定装置。
(付記2)
前記感情推定手段は、前記被推定者が発話していないと前記発話判定手段が判定した場合、前記被推定者の顔画像を用いた感情推定処理を実行することを特徴とした付記1に記載の感情推定装置。
(付記3)
前記感情推定手段は、前記被推定者が発話していると前記発話判定手段が判定した場合、前記被推定者の顔画像を用いた感情推定処理を実行しないことを特徴とした付記2に記載の感情推定装置。
(付記4)
前記感情推定手段は、前記被推定者が発話していると前記発話判定手段が判定した場合、前記被推定者の顔画像を用いた感情推定処理を実行することを特徴とした付記1に記載の感情推定装置。
(付記5)
前記感情推定手段は、前記被推定者が発話していないと前記発話判定手段が判定した場合と、前記被推定者が発話していると前記発話判定手段が判定した場合と、で前記被推定者の顔画像を用いた互いに異なる感情推定処理を実行することにより、前記被推定者の感情を推定することを特徴とする付記1に記載の感情推定装置。
(付記6)
前記感情推定手段は、
前記被推定者が発話していないと前記発話判定手段が判定した場合、前記被推定者の顔画像の、前記被推定者の口を表す画像を少なくとも用いて、前記被推定者の感情を推定する第1の感情認識モデルにより感情推定処理を実行し、
前記被推定者が発話していると前記発話判定手段が判定した場合、前記被推定者の顔画像の、前記被推定者の口を表す画像以外の画像を用いて、前記被推定者の感情を推定する第2の感情認識モデルにより感情推定処理を実行することを特徴とする付記5に記載の感情推定装置。
(付記7)
前記発話判定手段は、
前記被推定者の顔画像が撮像される際における音声に基づいて、前記被推定者が発話しているか否かを判定することを特徴とする付記1乃至6の何れか一つに記載の感情推定装置。
(付記8)
前記発話判定手段は、
前記被推定者の顔画像が撮像される際における前記被推定者の周囲の音声を表す周辺音声データの音量が第1の閾値未満であれば、前記被推定者は発話していないと判定し、
前記周辺音声データの音量が前記第1の閾値以上であれば、前記被推定者は発話していると判定することを特徴とする付記7に記載の感情推定装置。
(付記9)
前記発話判定手段は、
前記被推定者の顔画像が撮像される際における前記被推定者の周辺の音声を表す周辺音声データと母音を表す母音音声データとの間の類似度と、前記周辺音声データと子音を表す子音音声データとの間の類似度と、のうち少なくとも何れか一方が第2の閾値未満であれば、前記被推定者は発話していないと判定し、
前記周辺音声データと前記母音音声データとの間の類似度と、前記周辺音声データと前記子音音声データとの間の類似度と、のうち少なくとも何れか一方が前記第2の閾値以上であれば、前記被推定者は発話していると判定することを特徴とする付記7に記載の感情推定装置。
(付記10)
被推定者の顔画像が撮像される際に前記被推定者が発話しているか否かを判定する発話判定ステップと、
前記発話判定ステップの判定結果に基づいて前記被推定者の顔画像を用いた感情推定処理を実行することにより、前記被推定者の感情を推定する感情推定ステップと、
を含むことを特徴とする感情推定方法。
(付記11)
コンピュータを、
被推定者の顔画像が撮像される際に前記被推定者が発話しているか否かを判定する発話判定手段、
前記発話判定手段の判定結果に基づいて前記被推定者の顔画像を用いた感情推定処理を実行することにより、前記被推定者の感情を推定する感情推定手段、
として機能させることを特徴とするプログラム。
1…感情推定装置、10…CPU、20…記憶部、21…制御プログラム、22…感情推定プログラム、23…被推定者の顔画像、24…周辺音声データ、25…第1の感情認識モデル、26…第2の感情認識モデル、30…入力部、40…出力部、50…外部インタフェース、100…発話判定部、110…感情推定部、110a…モデル選択部
Claims (11)
- 被推定者の顔画像が撮像される際に前記被推定者が発話しているか否かを判定する発話判定手段と、
前記発話判定手段の判定結果に基づいて前記被推定者の顔画像を用いた感情推定処理を実行することにより、前記被推定者の感情を推定する感情推定手段と、
を備えることを特徴とする感情推定装置。 - 前記感情推定手段は、前記被推定者が発話していないと前記発話判定手段が判定した場合、前記被推定者の顔画像を用いた感情推定処理を実行することを特徴とした請求項1に記載の感情推定装置。
- 前記感情推定手段は、前記被推定者が発話していると前記発話判定手段が判定した場合、前記被推定者の顔画像を用いた感情推定処理を実行しないことを特徴とした請求項2に記載の感情推定装置。
- 前記感情推定手段は、前記被推定者が発話していると前記発話判定手段が判定した場合、前記被推定者の顔画像を用いた感情推定処理を実行することを特徴とした請求項1に記載の感情推定装置。
- 前記感情推定手段は、前記被推定者が発話していないと前記発話判定手段が判定した場合と、前記被推定者が発話していると前記発話判定手段が判定した場合と、で前記被推定者の顔画像を用いた互いに異なる感情推定処理を実行することにより、前記被推定者の感情を推定することを特徴とする請求項1に記載の感情推定装置。
- 前記感情推定手段は、
前記被推定者が発話していないと前記発話判定手段が判定した場合、前記被推定者の顔画像の、前記被推定者の口を表す画像を少なくとも用いて、前記被推定者の感情を推定する第1の感情認識モデルにより感情推定処理を実行し、
前記被推定者が発話していると前記発話判定手段が判定した場合、前記被推定者の顔画像の、前記被推定者の口を表す画像以外の画像を用いて、前記被推定者の感情を推定する第2の感情認識モデルにより感情推定処理を実行することを特徴とする請求項5に記載の感情推定装置。 - 前記発話判定手段は、
前記被推定者の顔画像が撮像される際における音声に基づいて、前記被推定者が発話しているか否かを判定することを特徴とする請求項1乃至6の何れか一項に記載の感情推定装置。 - 前記発話判定手段は、
前記被推定者の顔画像が撮像される際における前記被推定者の周囲の音声を表す周辺音声データの音量が第1の閾値未満であれば、前記被推定者は発話していないと判定し、
前記周辺音声データの音量が前記第1の閾値以上であれば、前記被推定者は発話していると判定することを特徴とする請求項7に記載の感情推定装置。 - 前記発話判定手段は、
前記被推定者の顔画像が撮像される際における前記被推定者の周辺の音声を表す周辺音声データと母音を表す母音音声データとの間の類似度と、前記周辺音声データと子音を表す子音音声データとの間の類似度と、のうち少なくとも何れか一方が第2の閾値未満であれば、前記被推定者は発話していないと判定し、
前記周辺音声データと前記母音音声データとの間の類似度と、前記周辺音声データと前記子音音声データとの間の類似度と、のうち少なくとも何れか一方が前記第2の閾値以上であれば、前記被推定者は発話していると判定することを特徴とする請求項7に記載の感情推定装置。 - 被推定者の顔画像が撮像される際に前記被推定者が発話しているか否かを判定する発話判定ステップと、
前記発話判定ステップの判定結果に基づいて前記被推定者の顔画像を用いた感情推定処理を実行することにより、前記被推定者の感情を推定する感情推定ステップと、
を含むことを特徴とする感情推定方法。 - コンピュータを、
被推定者の顔画像が撮像される際に前記被推定者が発話しているか否かを判定する発話判定手段、
前記発話判定手段の判定結果に基づいて前記被推定者の顔画像を用いた感情推定処理を実行することにより、前記被推定者の感情を推定する感情推定手段、
として機能させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/276,376 US10255487B2 (en) | 2015-12-24 | 2016-09-26 | Emotion estimation apparatus using facial images of target individual, emotion estimation method, and non-transitory computer readable medium |
CN201610900053.8A CN107025423A (zh) | 2015-12-24 | 2016-10-14 | 情绪估计装置以及情绪估计方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015250995 | 2015-12-24 | ||
JP2015250995 | 2015-12-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017120609A true JP2017120609A (ja) | 2017-07-06 |
Family
ID=59272035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016074175A Pending JP2017120609A (ja) | 2015-12-24 | 2016-04-01 | 感情推定装置、感情推定方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2017120609A (ja) |
CN (1) | CN107025423A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110020580A (zh) * | 2018-01-08 | 2019-07-16 | 三星电子株式会社 | 识别对象和面部表情的方法以及训练面部表情的方法 |
JP2020010217A (ja) * | 2018-07-10 | 2020-01-16 | Kddi株式会社 | 識別要求元のアクセス制御が可能なデータ識別装置、システム、プログラム及び方法 |
US11107464B2 (en) * | 2018-12-03 | 2021-08-31 | Honda Motor Co., Ltd. | Feeling estimation device, feeling estimation method, and storage medium |
JPWO2022064565A1 (ja) * | 2020-09-23 | 2022-03-31 | ||
JP7479031B2 (ja) | 2019-09-06 | 2024-05-08 | 富士通株式会社 | 顔解析のための画像正規化 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102133728B1 (ko) * | 2017-11-24 | 2020-07-21 | 주식회사 제네시스랩 | 인공지능을 이용한 멀티모달 감성인식 장치, 방법 및 저장매체 |
JP7350735B2 (ja) * | 2018-06-22 | 2023-09-26 | 株式会社半導体エネルギー研究所 | 画像表示装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011081541A (ja) * | 2009-10-06 | 2011-04-21 | Canon Inc | 入力装置及びその制御方法 |
US20130271361A1 (en) * | 2012-04-17 | 2013-10-17 | Samsung Electronics Co., Ltd. | Method and apparatus for detecting talking segments in a video sequence using visual cues |
JP2014219557A (ja) * | 2013-05-08 | 2014-11-20 | カシオ計算機株式会社 | 音声処理装置、音声処理方法及びプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6471420B1 (en) * | 1994-05-13 | 2002-10-29 | Matsushita Electric Industrial Co., Ltd. | Voice selection apparatus voice response apparatus, and game apparatus using word tables from which selected words are output as voice selections |
TWI221574B (en) * | 2000-09-13 | 2004-10-01 | Agi Inc | Sentiment sensing method, perception generation method and device thereof and software |
EP1391876A1 (en) * | 2002-08-14 | 2004-02-25 | Sony International (Europe) GmbH | Method of determining phonemes in spoken utterances suitable for recognizing emotions using voice quality features |
JP2004349851A (ja) * | 2003-05-20 | 2004-12-09 | Ntt Docomo Inc | 携帯端末、画像通信プログラム、及び画像通信方法 |
US7403643B2 (en) * | 2006-08-11 | 2008-07-22 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US8462996B2 (en) * | 2008-05-19 | 2013-06-11 | Videomining Corporation | Method and system for measuring human response to visual stimulus based on changes in facial expression |
KR101541907B1 (ko) * | 2008-10-14 | 2015-08-03 | 삼성전자 주식회사 | 음성 기반 얼굴 캐릭터 형성 장치 및 방법 |
TW201203185A (en) * | 2010-07-13 | 2012-01-16 | Univ Nat Changhua Education | Interactive virtual environment-learning method and system thereof |
TWI482108B (zh) * | 2011-12-29 | 2015-04-21 | Univ Nat Taiwan | To bring virtual social networks into real-life social systems and methods |
CN203208671U (zh) * | 2013-04-10 | 2013-09-25 | 东北大学秦皇岛分校 | 一种带有情绪感知、表情展现及语音对话功能的机器人 |
-
2016
- 2016-04-01 JP JP2016074175A patent/JP2017120609A/ja active Pending
- 2016-10-14 CN CN201610900053.8A patent/CN107025423A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011081541A (ja) * | 2009-10-06 | 2011-04-21 | Canon Inc | 入力装置及びその制御方法 |
US20130271361A1 (en) * | 2012-04-17 | 2013-10-17 | Samsung Electronics Co., Ltd. | Method and apparatus for detecting talking segments in a video sequence using visual cues |
JP2014219557A (ja) * | 2013-05-08 | 2014-11-20 | カシオ計算機株式会社 | 音声処理装置、音声処理方法及びプログラム |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110020580A (zh) * | 2018-01-08 | 2019-07-16 | 三星电子株式会社 | 识别对象和面部表情的方法以及训练面部表情的方法 |
JP2019121374A (ja) * | 2018-01-08 | 2019-07-22 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 表情認識方法、オブジェクト認識方法、表情認識装置及び表情トレーニング方法 |
KR20190093714A (ko) * | 2018-01-08 | 2019-08-12 | 삼성전자주식회사 | 표정 변화에 강인한 객체 및 표정 인식 장치 및 방법, 객체 및 표정 트레이닝 장치 및 방법 |
JP7097801B2 (ja) | 2018-01-08 | 2022-07-08 | 三星電子株式会社 | 表情認識方法、オブジェクト認識方法、表情認識装置及び表情トレーニング方法 |
KR102564855B1 (ko) * | 2018-01-08 | 2023-08-08 | 삼성전자주식회사 | 표정 변화에 강인한 객체 및 표정 인식 장치 및 방법, 객체 및 표정 트레이닝 장치 및 방법 |
CN110020580B (zh) * | 2018-01-08 | 2024-06-04 | 三星电子株式会社 | 识别对象和面部表情的方法以及训练面部表情的方法 |
JP2020010217A (ja) * | 2018-07-10 | 2020-01-16 | Kddi株式会社 | 識別要求元のアクセス制御が可能なデータ識別装置、システム、プログラム及び方法 |
US11107464B2 (en) * | 2018-12-03 | 2021-08-31 | Honda Motor Co., Ltd. | Feeling estimation device, feeling estimation method, and storage medium |
JP7479031B2 (ja) | 2019-09-06 | 2024-05-08 | 富士通株式会社 | 顔解析のための画像正規化 |
JPWO2022064565A1 (ja) * | 2020-09-23 | 2022-03-31 |
Also Published As
Publication number | Publication date |
---|---|
CN107025423A (zh) | 2017-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017120609A (ja) | 感情推定装置、感情推定方法及びプログラム | |
CN106782536B (zh) | 一种语音唤醒方法及装置 | |
US8416998B2 (en) | Information processing device, information processing method, and program | |
US10990803B2 (en) | Key point positioning method, terminal, and computer storage medium | |
US10255487B2 (en) | Emotion estimation apparatus using facial images of target individual, emotion estimation method, and non-transitory computer readable medium | |
US10559062B2 (en) | Method for automatic facial impression transformation, recording medium and device for performing the method | |
US10552593B2 (en) | Face verification method and electronic device | |
US20150169942A1 (en) | Terminal configuration method and terminal | |
US20170110125A1 (en) | Method and apparatus for initiating an operation using voice data | |
CN105426867A (zh) | 人脸识别验证方法及装置 | |
CN105512605A (zh) | 人脸图像处理方法及装置 | |
KR20150031896A (ko) | 음성인식장치 및 그 동작방법 | |
CN104408402A (zh) | 人脸识别方法及装置 | |
JP7295284B2 (ja) | 適応ダイアライゼーションモデルおよびユーザインタフェース | |
CN107945806B (zh) | 基于声音特征的用户识别方法及装置 | |
US9503632B2 (en) | Guidance based image photographing device and method thereof for high definition imaging | |
US20230306792A1 (en) | Spoof Detection Based on Challenge Response Analysis | |
US20160163180A1 (en) | Electronic device and method for reminding | |
CN106847273B (zh) | 语音识别的唤醒词选择方法及装置 | |
KR102051016B1 (ko) | 학습 기반 음성 인식 단말을 제어하는 서버 및 제어 방법 | |
US9298971B2 (en) | Method and apparatus for processing information of image including a face | |
CN111506183A (zh) | 一种智能终端及用户交互方法 | |
Gofman et al. | Hidden markov models for feature-level fusion of biometrics on mobile devices | |
EP2793102A2 (en) | Information processing device | |
JP2018132623A (ja) | 音声対話装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190313 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200908 |