JP2012059107A - Emotion estimation device, emotion estimation method and program - Google Patents
Emotion estimation device, emotion estimation method and program Download PDFInfo
- Publication number
- JP2012059107A JP2012059107A JP2010202899A JP2010202899A JP2012059107A JP 2012059107 A JP2012059107 A JP 2012059107A JP 2010202899 A JP2010202899 A JP 2010202899A JP 2010202899 A JP2010202899 A JP 2010202899A JP 2012059107 A JP2012059107 A JP 2012059107A
- Authority
- JP
- Japan
- Prior art keywords
- emotion
- subject
- emotion estimation
- estimation result
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は被験者の感情を推定する技術に関する。 The present invention relates to a technique for estimating a subject's emotion.
被験者の状態から、被験者の感情を推定する技術が存在する。 There is a technique for estimating the emotion of a subject from the state of the subject.
たとえば、特許文献１は、不特定人物の表情を認識してその人物の感情を推定する感情推定装置を開示している。特許文献１の技術では、所定の感情に関連付けられた特定人物の表情画像を学習することによりニューラルネットワークによる表情マップを生成し、生成した特定人物のそれぞれに対応する表情マップを所定の感情に基づいて複数の領域に区分する。そして、不特定人物の表情画像と区分された領域を有する複数の表情マップとに基づいて不特定人物の感情を推定する。また、複数の表情マップのそれぞれで対応する領域を共通化し、不特定人物の表情画像と共通化された領域を有する複数の表情マップとに基づいて不特定人物の感情を推定する。
For example,
特許文献２は、適正でかつ使用されている時間が長くなればなるほど正しい判断ができ、かつ、患者の状態に応じた正確な感情判断を可能にした生体情報に基づく感情認識システムを開示している。特許文献２の技術では、患者の身体に着脱が可能なセンサを用いて、当該患者の身体から発せられる生体信号を取り込み、ファジー関数処理を行うことによって当該生体の現在の感情を認識させてその認識結果を出力する。
特許文献３は、ユーザの感情状態をより精度良く推定する感情推定装置を開示している。特許文献３の技術では、音声入力装置により、ユーザからの入力となる入力文を示す入力文データを取得し、取得した入力文と、ハードディスクに予め記憶された所定の事例を示す文と当該文により示される感情状態を示す感情状態情報を各々対応付けた事例感情情報の各事例を示す文との類似度を導出し、導出された類似度に基づいてユーザの感情状態を推定する。 Patent Document 3 discloses an emotion estimation device that estimates a user's emotional state with higher accuracy. In the technique of Patent Document 3, input sentence data indicating an input sentence to be input from a user is acquired by a voice input device, the acquired input sentence, a sentence indicating a predetermined case stored in advance on a hard disk, and the sentence The degree of similarity with the sentence indicating each case of the case emotion information in which the emotion state information indicating the emotion state indicated by each is associated is derived, and the emotion state of the user is estimated based on the derived similarity.
特許文献４は、ユーザの感情の状態によって、バリエーションに富んだ対話を行う対話処理装置を開示している。特許文献４の技術では、ユーザからの音声を認識してその音声の韻律情報を抽出し、音声認識結果に含まれる語句の概念情報を抽出する。また、ユーザの顔を撮像して顔画像情報を出力し、ユーザの脈拍数等の生理情報を感知する。そして、上述の韻律情報や、概念情報、顔画像情報、生理情報に基づいて、ユーザの感情を推定し、その感情の推定結果に基づいて、ユーザに出力する出力文を生成する。 Patent Document 4 discloses a dialogue processing apparatus that performs a dialogue rich in variations depending on the emotional state of a user. In the technique of Patent Document 4, speech from a user is recognized, prosodic information of the speech is extracted, and concept information of a phrase included in the speech recognition result is extracted. The user's face is imaged and face image information is output, and physiological information such as the user's pulse rate is sensed. Then, the user's emotion is estimated based on the above-mentioned prosodic information, concept information, face image information, and physiological information, and an output sentence to be output to the user is generated based on the emotion estimation result.
特許文献５は、利用者の発話単語が音声認識辞書にとって未登録語であるのか否か、また、認識誤りのため再発話するべきであるのか否かを、利用者に判り易く提示することができる音声認識装置を開示している。特許文献５の技術では、複数の未登録語検出のための尺度を統計的に組み合わせて判定することで、未登録語の判定精度を向上させる。 Japanese Patent Laid-Open No. 2004-26883 can present to the user easily whether or not the user's utterance word is an unregistered word in the speech recognition dictionary and whether or not to speak again due to a recognition error. A speech recognition device that can be used is disclosed. In the technique of Patent Document 5, the determination accuracy of unregistered words is improved by statistically combining a plurality of measures for detecting unregistered words.
特許文献６は、入力された文から感情および感情極性を推定する際に、複数の方法による推定結果を精度よく統合して誤りを削減する感情推定装置およびプグラムを開示している。特許文献６の技術では、辞書およびルールベースの判定結果と学習ベースの判定結果を、統合ルールに基づいて統合して感情を決定する。 Patent Document 6 discloses an emotion estimation device and a program for accurately integrating estimation results obtained by a plurality of methods and reducing errors when estimating emotion and emotion polarity from an input sentence. In the technique of Patent Literature 6, the dictionary and the rule-based determination result and the learning-based determination result are integrated based on the integration rule to determine the emotion.
関連する技術は、１種類の観点によって感情の推定を行うので複雑な感情の分類ができないという問題点がある。 The related technology has a problem in that since emotions are estimated from one kind of viewpoint, complicated emotions cannot be classified.
特許文献１のような対象者の表情を認識することで対象者の感情を推定する技術の問題点は、明るさが不十分な状況などの画像処理に問題が出る状況において、画像認識の技術を用いている表情認識の精度が低下してしまうため、感情推定の精度が低下してしまうことである。
The problem of the technique for estimating the emotion of the subject by recognizing the facial expression of the subject as in
特許文献２のような対象者の生体情報を分析することで対象者の感情を推定する技術の問題点は、対象者の発汗の激しい状況や対象者の病気などで一時的に生体情報が変動している状況では、感情以外の要因による影響が生体情報に大きく現れており、生体情報を基にした感情の推定が困難になってしまうため感情推定の精度が低下してしまうことである。
The problem with the technique of estimating the subject's emotions by analyzing the subject's biological information as in
特許文献３のような対象者の音声を分析することで対象者の感情を推定する技術の問題点は、雑音が発生している状況などの音声収録に問題が出る状況においては、分析に用いる音声の質が低下し、正確な音声の分析ができなくなってしまうため、感情推定の精度が低下してしまうことである。 The problem of the technique for estimating the subject's emotion by analyzing the subject's voice as in Patent Document 3 is used for analysis in situations where there is a problem in voice recording such as a situation where noise is occurring. The voice quality is degraded, and accurate voice analysis cannot be performed, so that the accuracy of emotion estimation is lowered.
また、複数の情報を組み合わせて感情を推定する技術であっても、単純な感情モデルで感情の推定を行うので上記の問題点と同様に複雑な感情の分類ができないという問題点がある。たとえば、特許文献４に記載の技術は表情データと音声データと生体情報を組み合わせて、「悲しい」「怒っている」などのいくつかの感情に分類する技術だが、悲しみや怒りの度合いといった細かな感情情報の推定や「悲しみながら怒っている」という複数の感情が複合した感情状態の推定が不可能である。 In addition, even with a technique for estimating emotions by combining a plurality of information, since emotions are estimated using a simple emotion model, there is a problem that complex emotion classification cannot be performed as in the above-described problems. For example, the technique described in Patent Document 4 is a technique that combines facial expression data, voice data, and biological information, and classifies it into several emotions such as “sad” and “angry”. It is impossible to estimate emotion information or an emotional state in which a plurality of emotions “sad and angry” are combined.
特許文献５に記載の技術は、感情の推定を行うものではない。 The technique described in Patent Document 5 does not perform emotion estimation.
特許文献６に記載の技術は、画像、生体情報および音声などの複数の観点から感情の推定を行うものではない。 The technique described in Patent Document 6 does not estimate emotions from a plurality of viewpoints such as images, biological information, and voice.
本発明は、上述のような事情に鑑みてなされたものであり、１種類の尺度による感情の推定では分類できない複雑な感情も扱うことができる感情推定装置、感情推定方法およびプログラムを提供することを目的とする。 The present invention has been made in view of the circumstances as described above, and provides an emotion estimation device, an emotion estimation method, and a program that can handle complex emotions that cannot be classified by emotion estimation based on one type of scale. With the goal.
本発明の第１の観点に係る感情推定装置は、
被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類の手段で感情を推定した感情推定結果を取得する推定手段と、
ユーザが入力した前記感情推定結果を組み合わせる重み付け係数を取得する第１取得手段と、
前記重み付け係数に従って、前記推定手段が取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出する調整手段と、
前記調整手段が算出した前記調整感情推定結果を出力する出力手段と、
を備えることを特徴とする。
The emotion estimation apparatus according to the first aspect of the present invention provides:
Emotion can be detected by at least two types of means: a means for recognizing a subject's facial expression to estimate emotion, a means for detecting biological information of the subject to estimate emotion, and a means for estimating emotion from the voice of the subject. An estimation means for acquiring an emotion estimation result obtained by estimating
First acquisition means for acquiring a weighting coefficient for combining the emotion estimation results input by the user;
Adjusting means for calculating an adjusted emotion estimation result obtained by combining at least two of the emotion estimation results acquired by the estimating means according to the weighting factor;
Output means for outputting the adjusted emotion estimation result calculated by the adjusting means;
It is characterized by providing.
本発明の第２の観点に係る感情推定方法は、
被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類のス手段で感情を推定した感情推定結果を取得する推定ステップと、
ユーザが入力した前記感情推定結果を組み合わせる重み付け係数を取得する第１取得ステップと、
前記重み付け係数に従って、前記推定ステップで取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出する調整ステップと、
前記調整ステップで算出した前記調整感情推定結果を出力する出力ステップと、
を備えることを特徴とする。
The emotion estimation method according to the second aspect of the present invention includes:
At least two types of means: a means for recognizing a subject's facial expression and estimating an emotion; a means for detecting a biological information of the subject to estimate an emotion; and a means for estimating an emotion from the voice of the subject. An estimation step for obtaining an emotion estimation result obtained by estimating an emotion;
A first acquisition step of acquiring a weighting coefficient that combines the emotion estimation results input by the user;
An adjustment step of calculating an adjusted emotion estimation result obtained by combining at least two of the emotion estimation results acquired in the estimation step according to the weighting factor;
An output step of outputting the adjustment emotion estimation result calculated in the adjustment step;
It is characterized by providing.
本発明の第３の観点に係るプログラムは、コンピュータに、
被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類のス手段で感情を推定した感情推定結果を取得する推定ステップと、
ユーザが入力した前記感情推定結果を組み合わせる重み付け係数を取得する第１取得ステップと、
前記重み付け係数に従って、前記推定ステップで取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出する調整ステップと、
前記調整ステップで算出した前記調整感情推定結果を出力する出力ステップと、
を実行させることを特徴とする。
A program according to the third aspect of the present invention is stored in a computer.
At least two types of means: a means for recognizing a subject's facial expression and estimating an emotion; a means for detecting a biological information of the subject to estimate an emotion; and a means for estimating an emotion from the voice of the subject. An estimation step for obtaining an emotion estimation result obtained by estimating an emotion;
A first acquisition step of acquiring a weighting coefficient that combines the emotion estimation results input by the user;
An adjustment step of calculating an adjusted emotion estimation result obtained by combining at least two of the emotion estimation results acquired in the estimation step according to the weighting factor;
An output step of outputting the adjustment emotion estimation result calculated in the adjustment step;
Is executed.
本発明によれば、２種類以上の観点の感情推定結果を用いることで、１種類の尺度による感情の推定では分類できない複雑な感情も扱うことができる。 According to the present invention, by using emotion estimation results from two or more viewpoints, it is possible to handle complex emotions that cannot be classified by emotion estimation using one type of scale.
本発明において、被験者とは、感情を推定する対象であって、感情推定装置を備えるロボットやＰＣに対し、対話や操作を行う人物である。ユーザとは、被験者の感情を推定するために感情推定装置を利用する人物であって、感情推定装置が出力する被験者の感情の推定結果を取得したり、感情推定装置に設定を入力したりする。重み付け係数とは、複数の感情推定結果を組み合わせる際に、感情推定結果の値にかける係数や優先順位を示す情報である。 In the present invention, a subject is a person who estimates an emotion, and is a person who interacts and operates with a robot or PC equipped with an emotion estimation device. The user is a person who uses the emotion estimation device to estimate the subject's emotion, and obtains the estimation result of the subject's emotion output by the emotion estimation device or inputs settings to the emotion estimation device . The weighting coefficient is information indicating a coefficient or priority applied to the value of the emotion estimation result when a plurality of emotion estimation results are combined.
以下に、発明を実施するための形態について図面を参照して詳細に説明する。なお、図中同一または相当する部分には同じ符号を付す。 EMBODIMENT OF THE INVENTION Below, the form for inventing is demonstrated in detail with reference to drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals.
（実施の形態１）
図１は、本発明の実施の形態１に係る感情推定装置の構成例を示すブロック図である。感情推定装置１は、カメラ１１、表情認識部１２、生体情報取得部１３、生体情報分析部１４、係数取得部１５、推定結果調整部１６および推定結果出力部１７を備える。
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration example of an emotion estimation apparatus according to
カメラ１１は、被験者Ｅの画像を撮影して表情認識部１２に送る。
The
表情認識部１２は、カメラ１１から受け取った被験者Ｅの画像から表情認識を行うことで被験者Ｅの感情推定を行い、推定結果を推定結果調整部１６に送る。表情認識による感情推定は、被験者Ｅの表情や顔色、視線の動きなどに基づいて行う。
The facial
生体情報取得部１３は、被験者Ｅに装着された生体センサ２から被験者Ｅの体温や心拍数、脳波などの生体情報を取得して生体情報分析部１４に送る。
The biological
生体情報分析部１４は、生体情報取得部１３から受け取った被験者Ｅの生体情報を分析することで被験者Ｅの感情推定を行い、推定結果を推定結果調整部１６に送る。
The biological
係数取得部１５は、ユーザからの入力を受け付けて、表情認識部１２および生体情報分析部１４による２種類の感情推定結果を組み合わせる際の重み付け係数を推定結果調整部１６に送る。
The
推定結果調整部１６は、係数取得部１５から受け取った重み付け係数に基づいて、表情認識部１２および生体情報分析部１４による２種類の感情推定結果を組み合わせた調整感情推定結果を算出し、推定結果出力部１７に送る。
Based on the weighting coefficient received from the
推定結果出力部１７は、推定結果調整部１６から受け取った調整感情推定結果を出力する。
The estimation
生体センサ２は、被験者Ｅの体温や心拍数、脳波などの生体情報を検出して生体情報取得部１３に送る。生体センサ２は、被験者Ｅが装着する装着型であってもよいし、感情推定装置１の周囲に設置する形式のものであってもよい。非接触の方法の場合、たとえば、レーザによる心拍検出、赤外線カメラ等による体温検出を行う。
The
図２は、実施の形態１に係る感情推定装置をロボットに適用した例を示す図である。図２の例では、カメラ１１はロボットに目として埋め込まれている。また、生体情報取得部１３は、生体情報の受信器であって、ロボットの体に埋め込まれている。表情認識部１２、生体情報分析部１４、係数取得部１５、推定結果調整部１６および推定結果出力部１７は、ロボットの内部に備える。
FIG. 2 is a diagram illustrating an example in which the emotion estimation apparatus according to
カメラ１１はロボット対話者（被験者Ｅ）の画像を撮影し、表情認識部１２に送る。表情認識部１２はカメラ１１から受け取った画像のロボット対話者の表情に基づいて、たとえば「好意・嫌悪」の度合いを推定し、推定結果を推定結果調整部１６に送る。生体センサ２はロボット対話者が身に付けることでロボット対話者の心拍数と体温とを検出するセンサであり、生体情報取得部１３に検出した生体情報を送信する。生体情報取得部１３は、生体センサ２から受信した生体情報を生体情報分析部１４に送る。生体情報分析部１４は生体情報取得部１３から受け取ったロボット対話者の心拍数と体温から、たとえば「興奮・沈静」の度合いを推定し、推定結果を推定結果調整部１６に送る。
The
ロボット設定者（ユーザ）は、ロボットとロボット対話者の対話開始前に、ロボットに備え付けられたスイッチで重み付け係数を入力する。係数取得部１５は、ロボット設定者が入力した重み付け係数を推定結果調整部１６に送る。推定結果調整部１６は、係数取得部１５から受け取った重み付け係数に基づいて、表情認識部１２および生体情報分析部１４による２種類の感情推定結果を組み合わせた調整感情推定結果を算出し、推定結果出力部１７に送る。推定結果出力部１７は、推定結果調整部１６から受け取った調整推定結果をロボットを制御する制御部に出力する。
A robot setter (user) inputs a weighting coefficient with a switch provided in the robot before the conversation between the robot and the robot talker starts. The
生体情報取得部１３が取得する生体情報の例としては、心拍数・脈拍、脳波・脳活動、体温、筋電位、瞬目頻度・速度、血圧、皮膚表面電気活動、分泌物内容物、瞳孔サイズなどが考えられる。表情認識部１２、生体情報分析部１４による感情の推定には、「興奮・沈静」などの２値分類する形式の他に、喜怒哀楽などの３種以上の感情へ分類する形式、感情を複数のパラメータで表現するモデルにおいてパラメータの値を推定する形式などが考えられる。
Examples of biological information acquired by the biological
ユーザが入力する重み付け係数は、たとえば、以下のようなものがある。ユーザは、表情認識部１２および生体情報分析部１４についてどちらを優先させるかを判断し、優先させる方の値に重み付けを行う。推定結果調整部１６がこの方法を用いた場合の例を説明する。推定結果調整部１６は、「感情の種別：値」の形式の調整感情推定結果を算出することとする。また、推定結果調整部１６が係数取得部１５から受け取った重み付け係数によれば、ユーザは、表情認識部１２が出した感情推定結果の係数を「２」、生体情報分析部１４が出した感情推定結果の係数を「１」と設定していることとする。
Examples of weighting factors input by the user include the following. The user determines which of the facial
表情認識部１２が出した感情推定結果が「悲しんでいる」で値が４０であって、生体情報分析部１４が出した感情推定結果が「怒っている」で値が３０であるとすると、推定結果調整部１６は、「悲しみ：４０ 怒り：３０」という調整感情推定結果を算出する。表情認識部１２および生体情報分析部１４が出した感情推定結果の感情の種別が同一であった場合は、合算することとしてもよいし、平均をとることとしてもよい。
If the emotion estimation result issued by the facial
表情認識部１２および生体情報分析部１４は、複数の情報（表情・顔色・視線の動きや心拍数・脳波・体温など）に基づいてそれぞれ感情推定結果を出してもよい。この場合、ユーザは、各情報に基づく感情推定結果に優先順位を付け、優先順位に合わせて重み付けを行う。推定結果調整部１６は、感情推定結果の値にユーザが設定した重み付けを行い、組み合わせる。
The facial
推定結果出力部１７が、ディスプレイなどに調整推定結果を出力する場合、調整感情推定結果は単に「悲しんでいる」「喜んでいる」などの感情の種別を示す情報であってもよい。表情認識部１２および生体情報分析部１４が出した感情推定結果が感情の種別を示す情報である場合、推定結果調整部１６は、２つの推定結果の感情の種別が異なるときはユーザが設定した優先順位の高い方の感情の種別を示す言葉を後ろに付けて結合する。推定結果調整部１６がこの方法を用いた場合の例を説明する。推定結果調整部１６が係数取得部１５から受け取った重み付け係数によれば、ユーザは、表情認識部１２の優先順位を上に設定していることとする。
When the estimation
表情認識部１２が出した感情推定結果が「悲しんでいる」であって、生体情報分析部１４が出した感情推定結果が「怒っている」であったとすると、推定結果調整部１６は、「悲しみながら怒っている」という調整感情推定結果を算出する。あるいは、前述のように推定結果調整部１６が重み付けした結果が「悲しみ：４０ 怒り：３０」であった場合、値の大きい方の感情の種別を示す言葉を後ろに付けて結合し、「怒りながら悲しんでいる」という調整感情推定結果を算出してもよい。
If the emotion estimation result issued by the facial
なお、これらの重み付けの方法は、２種類以上の感情推定結果を扱う場合でも同様である。 These weighting methods are the same even when two or more types of emotion estimation results are handled.
ロボットの制御部は、推定結果出力部１７から送られたロボット対話者の感情の調整推定結果に応じてロボットのロボット対話者に対する振る舞いを変える。このようなロボットの制御の例として、「喜びながら興奮している状態」ではロボット対話者がロボットとの対話で盛り上がっていると判断して現状と同様の振る舞いを続行するよう制御し、「喜んでいるが落ち着いている状態」ではロボット対話者がロボットとの対話にひとまず満足したと判断して対話内容をまとめて対話を切り上げるよう制御し、「嫌悪しながら興奮している状態」ではロボット対話者が怒っていると判断してロボットに謝らせるよう制御し、「嫌悪しているが落ち着いている状態」ではロボット対話者がロボットとの対話内容に興味が持てていないと判断して話題を変えるよう制御するものなどがある。
The control unit of the robot changes the behavior of the robot with respect to the robot talker according to the adjustment estimation result of the emotion of the robot talker sent from the estimation
このように本実施の形態の感情推定装置１をロボットに適用すると、ロボットの制御部は、推定結果出力部１７から受け取ったロボット対話者の感情の調整推定結果に応じてロボットのロボット対話者に対する振る舞いを変えるので、ロボット対話者に柔軟に対応することが可能となる。
As described above, when the
図３は、実施の形態１に係る感情推定の動作の一例を示すフローチャートである。感情推定処理は、感情推定装置１の電源がＯＮになったら開始することとしてもよいし、被験者Ｅを検知したら開始することとしてもよい。また、感情推定処理は、カメラ１１が被験者Ｅの画像を撮影し、生体情報取得部１３が生体情報を取得している間は、繰り返し実行される。
FIG. 3 is a flowchart showing an example of emotion estimation operation according to the first embodiment. The emotion estimation process may be started when the
まず、カメラ１１は、被験者Ｅの画像を撮影して（ステップＳ１１）、表情認識部１２に送る。表情認識部１２は、カメラ１１から受け取った被験者Ｅの画像から表情認識を行うことで被験者Ｅの感情推定を行い（ステップＳ１２）、推定結果を推定結果調整部１６に送る。
First, the
一方、生体情報取得部１３は、被験者Ｅの心拍数と体温などの生体情報を取得して（ステップＳ１３）、生体情報分析部１４に送る。生体情報分析部１４は、生体情報取得部１３から受け取った被験者Ｅの生体情報を分析することで被験者Ｅの感情推定を行い（ステップＳ１４）、推定結果を推定結果調整部１６に送る。
On the other hand, the biological
推定結果調整部１６は、係数取得部１５から取得した（ステップＳ１５）重み付け係数に基づいて、表情認識部１２および生体情報分析部１４による２種類の感情推定結果を組み合わせて調整推定結果を算出し（ステップＳ１６）、調整推定結果を推定結果出力部１７に送る。推定結果出力部１７は、推定結果調整部１６から受け取った調整推定結果を出力し（ステップＳ１７）、処理を終了する。
The estimation
以上説明したように実施の形態１の感情推定装置１によれば、２種類以上の尺度を用いることで、１種類の尺度による感情の推定では分類できない複雑な感情も扱うことができる。
As described above, according to the
（実施の形態２）
図４は、本発明の実施の形態２に係る感情推定装置の構成例を示すブロック図である。実施の形態２の感情推定装置１には、実施の形態１の感情推定装置１にマイク１８および音声分析部１９が追加されている。マイク１８は、被験者Ｅの音声を収録するためのマイクロフォンである。音声分析部１９はマイク１８が収録した被験者Ｅの音声の音量および発音を分析することで被験者Ｅの感情推定を行い、推定結果を推定結果調整部１６に送る。
(Embodiment 2)
FIG. 4 is a block diagram showing a configuration example of the emotion estimation apparatus according to
図５は、実施の形態２に係る感情推定装置をロボットに適用した例を示す図である。図２の例では、カメラ１１はロボットの目の部分に埋め込まれている。生体情報取得部１３は、生体情報の受信器であって、ロボットの体に埋め込まれている。また、マイク１８は、ロボットの耳の部分に埋め込まれている。表情認識部１２、生体情報分析部１４、係数取得部１５、推定結果調整部１６、推定結果出力部１７および音声分析部１９は、ロボットの内部に備える。
FIG. 5 is a diagram illustrating an example in which the emotion estimation apparatus according to
カメラ１１はロボット対話者（被験者Ｅ）の画像を撮影し、表情認識部１２に送る。表情認識部１２はカメラ１１から受け取った画像のロボット対話者の表情に基づいて、たとえば「好意・嫌悪」の度合いを推定し、推定結果を推定結果調整部１６に送る。生体センサ２はロボット対話者が身に付けることでロボット対話者の心拍数と体温とを検出するセンサであり、生体情報取得部１３に検出した生体情報を送信する。生体情報取得部１３は、生体センサ２から受信した生体情報を生体情報分析部１４に送る。生体情報分析部１４は生体情報取得部１３から受け取ったロボット対話者の心拍数と体温から、たとえば「興奮・沈静」の度合いを推定し、推定結果を推定結果調整部１６に送る。マイク１８は、ロボット対話者の音声を収録して音声分析部１９に送る。音声分析部１９は、マイク１８から受け取ったロボット対話者の音声から、たとえば「喜び・悲しみ」の度合いを推定し、推定結果を推定結果調整部１６に送る。
The
ロボット設定者（ユーザ）は、ロボットとロボット対話者の対話開始前に、ロボットに備え付けられたスイッチで入力する。係数取得部１５は、ロボット設定者が入力した重み付け係数を推定結果調整部１６に送る。推定結果調整部１６は、係数取得部１５から受け取った重み付け係数に基づいて、表情認識部１２、生体情報分析部１４および音声分析部１９よる３種類の感情推定結果を組み合わせた調整感情推定結果を算出し、推定結果出力部１７に送る。推定結果出力部１７は、推定結果調整部１６から受け取った調整推定結果をロボットを制御する制御部に出力する。
A robot setter (user) performs input using a switch provided in the robot before the conversation between the robot and the robot talker starts. The
図６は、実施の形態２に係る感情推定の動作の一例を示すフローチャートである。感情推定処理は、感情推定装置１の電源がＯＮになったら開始することとしてもよいし、被験者Ｅを検知したら開始することとしてもよい。また、感情推定処理は、カメラ１１が被験者Ｅの画像を撮影し、生体情報取得部１３が生体情報を取得し、マイク１８が被験者Ｅの音声を収録している間は繰り返し実行される。
FIG. 6 is a flowchart showing an example of the emotion estimation operation according to the second embodiment. The emotion estimation process may be started when the
まず、カメラ１１は、被験者Ｅの画像を撮影して（ステップＳ２１）、表情認識部１２に送る。表情認識部１２は、カメラ１１から受け取った被験者Ｅの画像から表情認識を行うことで被験者Ｅの感情推定を行い（ステップＳ２２）、推定結果を推定結果調整部１６に送る。生体情報取得部１３は、被験者Ｅの心拍数と体温などの生体情報を取得して（ステップＳ２３）、生体情報分析部１４に送る。生体情報分析部１４は、生体情報取得部１３から受け取った被験者Ｅの生体情報を分析することで被験者Ｅの感情推定を行い（ステップＳ２４）、推定結果を推定結果調整部１６に送る。また、マイク１８は、被験者Ｅの音声を収録して（ステップＳ２５）、音声分析部１９に送る。音声分析部１９、マイク１８から受け取った被験者Ｅの音声を分析することで被験者Ｅの感情推定を行い（ステップＳ２６）、推定結果を推定結果調整部１６に送る。
First, the
推定結果調整部１６は、係数取得部１５から取得した（ステップＳ２７）重み付け係数に基づいて、表情認識部１２、生体情報分析部１４およびに音声分析部１９よる３種類の感情推定結果を組み合わせて調整推定結果を算出し（ステップＳ２８）、調整推定結果を推定結果出力部１７に送る。推定結果出力部１７は、推定結果調整部１６から受け取った調整推定結果を出力し（ステップＳ２９）、処理を終了する。
The estimation
以上説明したように実施の形態２の感情推定装置１によれば、３種類の感情推定結果を組み合わせて調整推定結果を算出することで、より精度の高い調整推定結果を算出することができる。
As described above, according to the
実施の形態１では、被験者の画像および生体情報の２つの観点の感情推定結果を採用し、実施の形態２では、被験者の画像、生体情報および音声の３つの観点の感情推定結果を採用した。本発明はこれに限らず、被験者の画像および音声の２つの観点の感情推定結果を採用してもよいし、被験者の生体情報および音声の２つの観点の感情推定結果を採用してもよい。 In the first embodiment, emotion estimation results from two viewpoints of the subject image and biological information are adopted, and in the second embodiment, emotion estimation results from three viewpoints of the subject image, biological information and voice are adopted. The present invention is not limited to this, and emotion estimation results from two viewpoints of the subject's image and voice may be adopted, or emotion estimation results from two viewpoints of the subject's biological information and voice may be adopted.
（実施の形態３）
図７は、本発明の実施の形態３に係る感情推定装置の構成例を示すブロック図である。実施の形態３の感情推定装置１には、実施の形態２の感情推定装置１の係数取得部１５および推定結果調整部１６に代えて、推定結果選択部２０が追加されている。推定結果選択部２０は、表情認識部１２、生体情報分析部１４および音声分析部１９から受け取った画像、生体情報および音声に基づいて、感情の推定に関する状況を判定する。推定結果選択部２０は、あらかじめ保持している選択条件に従って、画像、生体情報および音声からの３種類の感情推定結果から感情推定結果を選択する。推定結果選択部２０は、選択した感情推定結果を感情推定結果出力部１７に送る。また、カメラ１１は、画像を取得するだけでなく、照度センサや測位センサを備え、照度や測位情報を取得する。
(Embodiment 3)
FIG. 7 is a block diagram showing a configuration example of the emotion estimation apparatus according to Embodiment 3 of the present invention. In the
図８は、実施の形態３に係る感情推定装置をＰＣに適用した例を示す図である。図８の例では、ＰＣ操作者（被験者Ｅ）の画像を撮影するカメラ１１はＰＣのディスプレイ上に設置されている。マイク１８は、ＰＣの周囲に設置されている。表情認識部１２、生体情報分析部１４、推定結果出力部１７、音声分析部１９および推定結果選択部２０は、ＰＣの内部に備える。
FIG. 8 is a diagram illustrating an example in which the emotion estimation apparatus according to Embodiment 3 is applied to a PC. In the example of FIG. 8, the
カメラ１１はＰＣ操作者の画像を撮影し、表情認識部１２に送る。表情認識部１２はカメラ１１から受け取った画像のＰＣ操作者の表情に基づいて、たとえば「好意・嫌悪」の度合いを推定し、推定結果を推定結果選択部２０に送る。生体センサ２はＰＣ操作者が身に付けることでＰＣ操作者の心拍数と体温とを検出するセンサであり、生体情報取得部１３に検出した生体情報を送信する。生体情報取得部１３は、生体センサ２から受信した生体情報を生体情報分析部１４に送る。生体情報分析部１４は生体情報取得部１３から受け取ったＰＣ操作者の心拍数と体温から、たとえば「興奮・沈静」の度合いを推定し、推定結果を推定結果選択部２０に送る。マイク１８は、ＰＣ操作者の音声を収録して音声分析部１９に送る。音声分析部１９は、マイク１８から受け取ったＰＣ操作者の音声から、たとえば「喜び・悲しみ」の度合いを推定し、推定結果を推定結果選択部２０に送る。
The
推定結果選択部２０は、表情認識部１２、生体情報分析部１４および音声分析部１９から受け取った画像、生体情報および音声に基づいてＰＣ周辺の状況を判定する。そして、推定結果選択部２０は、ＰＣ周辺の状況を、あらかじめ保持している選択条件に照らす。推定結果選択部２０は、表情認識部１２、生体情報分析部１４および音声分析部１９による３種類の感情推定結果から、選択条件にあてはまる感情推定結果を選択する。推定結果選択部２０は、選択した感情推定結果を推定結果出力部１７に送る。推定結果出力部１７は、推定結果選択部２０から受け取った感情推定結果をシステム管理者（ユーザ）のディスプレイ３に出力する。
The estimation
推定結果選択部２０は、ＰＣ周辺の状況を以下のような選択条件に照らして感情推定結果を選択する。表情認識に支障が出る場合は、表情認識部１２以外の感情推定結果を選択する。表情認識に支障が出る場合とは、たとえば、明るさが足りない、ＰＣ操作者の顔とカメラの間に障害物がある、ＰＣ操作者が激しく動いている、ＰＣ操作者の顔がカメラの方を向いていない、ＰＣ操作者の位置がカメラの焦点位置から外れている、ＰＣ操作者の顔がカメラの撮影範囲外に存在するなどの場合である。
The estimation
ＰＣ操作者の生体情報が感情以外の要素により変動している場合や、ＰＣ操作者の生体情報の計測に支障が出る場合は、生体情報分析部１４以外の感情推定結果を選択する。ＰＣ操作者の生体情報が感情以外の要素により変動している場合とは、たとえばＰＣ操作者が病気である、ＰＣ操作者が運動直後である、ＰＣ操作者が寝不足であるなどの場合である。
When the biometric information of the PC operator is fluctuating due to factors other than emotions, or when the measurement of the biometric information of the PC operator is hindered, an emotion estimation result other than the biometric
これらの判断は、それぞれの場合の所定の条件を示す情報をあらかじめ保持し、当該条件にあてはまるか否かで判断する。病気であるか否かの判断は、たとえば、ＰＣ操作者の体温と、顔画像から検出するＰＣ操作者の顔色から判断する。ＰＣ操作者が運動直後であるか否かの判断は、たとえば、運動直後の発汗量や心拍数などのモデルにあてはまるか否かで判断する。ＰＣ操作者が寝不足であるか否かの判断は、たとえば、あくびをしたか否かや瞬きの回数をＰＣ操作者の顔画像から検出して判断する。 These determinations are made based on whether information indicating a predetermined condition in each case is stored in advance and whether or not the condition is satisfied. The determination as to whether or not the patient is ill is made, for example, based on the body temperature of the PC operator and the face color of the PC operator detected from the face image. Whether or not the PC operator is immediately after the exercise is determined by whether or not the PC operator is applied to a model such as a sweat amount or a heart rate immediately after the exercise. The determination as to whether or not the PC operator is short of sleep is made, for example, by detecting whether or not yawning or the number of blinks is detected from the PC operator's face image.
あるいは、ＰＣ操作者自身が入力してもよい。たとえば、感情の推定を開始する前に、「体調はどうですか？」「昨日はよく眠れましたか？」などの質問を出力して、ＰＣ操作者に答えさせる。 Alternatively, the PC operator himself may input. For example, before starting the estimation of emotions, questions such as “How are you feeling?” And “Have you slept well yesterday?” Are output and the PC operator is made to answer.
ＰＣ操作者の生体情報の計測に支障が出る場合とは、ＰＣ操作者の発汗や皮膚の汚れにより通常と皮膚の電気状態が変化している(脳波、筋電位、皮膚表面電気活動などの皮膚表面から電気的に計測する生体情報を採用している場合)、電磁波による計測ノイズが発生しやすいなどの場合である。これらの判断は、たとえば、計測した値が正常の範囲を超えている、計測器が正常に動作していることを示す信号が受信できない、計測値をパケットで受信する場合にパケットが正常に受信できないなどの情報から判断する。 When the PC operator's measurement of biological information is hindered, the electrical condition of the skin changes due to the sweating of the PC operator or skin contamination (such as skin waves such as EEG, myoelectric potential, and skin surface electrical activity). This is the case where measurement noise due to electromagnetic waves is likely to occur). These judgments can be made when, for example, the measured value exceeds the normal range, the signal indicating that the measuring instrument is operating normally cannot be received, or when the measured value is received as a packet, the packet is received normally. Judgment based on information that cannot be done.
音声収録に支障が出る場合は、音声分析部１９以外の感情推定結果を採用する。音声収録に支障が出る場合とは、雑音が大きい、ＰＣ操作者がマイク１８から離れている、ＰＣ操作者の音声が感情以外の要素により変動している、ＰＣ操作者が風邪などの発音に影響が出る身体状態である、ＰＣ操作者が母国語ではない言語で話しているなどの場合である。なお、推定結果選択部２０が感情推定結果を選択する選択条件は、ユーザが入力することとしてもよい。
If there is a problem with voice recording, an emotion estimation result other than the
これら選択条件は、実施の形態１および実施の形態２の重み付け係数の決定に用いてもよい。たとえば、表情認識に支障が出る場合は、表情認識部１２の感情推定結果の優先順位を低くする。被験者Ｅの生体情報が感情以外の要素により変動している場合は、生体情報分析部１４の感情推定結果の優先順位を低くする。音声収録に支障が出る場合は、音声分析部１９の感情推定結果の優先順位を低くする。これによれば、ユーザが重み付け係数を入力しなくても、推定結果調整部１６は自動で感情推定結果を調整することができる。
These selection conditions may be used for determining the weighting coefficients in the first and second embodiments. For example, when the facial expression recognition is hindered, the priority of the emotion estimation result of the facial
図９は、実施の形態３に係る感情推定の動作の一例を示すフローチャートである。感情推定処理は、感情推定装置１の電源がＯＮになったら開始することとしてもよいし、被験者Ｅを検知したら開始することとしてもよい。また、感情推定処理は、カメラ１１が被験者Ｅの画像を撮影し、生体情報取得部１３が生体情報を取得し、マイク１８が被験者Ｅの音声を収録している間は、繰り返し実行される。
FIG. 9 is a flowchart showing an example of emotion estimation operation according to the third embodiment. The emotion estimation process may be started when the
まず、カメラ１１は、被験者Ｅの画像を撮影して（ステップＳ３１）、表情認識部１２に送る。表情認識部１２は、カメラ１１から受け取った被験者Ｅの画像から表情認識を行うことで被験者Ｅの感情推定を行い（ステップＳ３２）、推定結果を推定結果選択部２０に送る。生体情報取得部１３は、被験者Ｅの心拍数と体温などの生体情報を取得して（ステップＳ３３）、生体情報分析部１４に送る。生体情報分析部１４は、生体情報取得部１３から受け取った被験者Ｅの生体情報を分析することで被験者Ｅの感情推定を行い（ステップＳ３４）、推定結果を推定結果選択部２０に送る。また、マイク１８は、被験者Ｅの音声を収録して（ステップＳ３５）、音声分析部１９に送る。音声分析部１９、マイク１８から受け取った被験者Ｅの音声を分析することで被験者Ｅの感情推定を行い（ステップＳ３６）、推定結果を推定結果選択部２０に送る。
First, the
推定結果選択部２０は、表情認識部１２、生体情報分析部１４および音声分析部１９から受け取った画像、生体情報および音声に基づいて状況を判定する。そして、推定結果選択部２０は、判定した状況をあらかじめ保持している選択条件に照らす。推定結果選択部２０は、画像、生体情報および音声からの３種類の感情推定結果から、選択条件にあてはまる感情推定結果を選択する（ステップＳ３７）。推定結果選択部２０は、選択した感情推定結果を推定結果出力部１７に送る。推定結果出力部１７は、推定結果選択部２０から受け取った感情推定結果を出力し（ステップＳ３８）、処理を終了する。
The estimation
本実施の形態では、３種類の感情推定結果から採用する感情推定結果を選択しているが、２種類の感情推定結果から採用する感情推定結果を選択してもよい。 In this embodiment, the emotion estimation result adopted from three types of emotion estimation results is selected, but the emotion estimation result adopted from two types of emotion estimation results may be selected.
以上説明したように実施の形態３の感情推定装置１によれば、状況に応じた感情推定を行うことができる。画像処理に問題が出る状況、一時的に生体情報が変動している状況または音声収録に問題が出る状況においても、推定結果選択部２０が状況を判定し、状況に問題がない推定結果に基づいて調整推定結果を算出することで、状況による悪影響を取り除くことができる。
As described above, according to the
図１０は、本発明の実施の形態に係る感情推定装置のハードウェア構成の一例を示すブロック図である。感情推定装置１は、図１０に示すように、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５、送受信部３６および入出力部３７を備える。主記憶部３２、外部記憶部３３、操作部３４、表示部３５、送受信部３６および入出力部３７はいずれも内部バス３０を介して制御部３１に接続されている。
FIG. 10 is a block diagram showing an example of a hardware configuration of the emotion estimation apparatus according to the embodiment of the present invention. As shown in FIG. 10, the
制御部３１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部３３に記憶されている制御プログラム３９に従って、感情推定装置１の表情認識部１２、生体情報分析部１４、推定結果調整部１６、音声分析部１９および推定結果選択部２０の各処理を実行する。
The
主記憶部３２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部３３に記憶されている制御プログラム３９をロードし、制御部３１の作業領域として用いられる。
The
外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、感情推定装置１の処理を制御部３１に行わせるためのプログラムをあらかじめ記憶し、また、制御部３１の指示に従って、このプログラムが記憶するデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。係数取得部１５が取得した重み付け係数を記憶する場合は、外部記憶部３３に構成される。
The
操作部３４はキーボードおよびマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス３０に接続するインタフェース装置から構成されている。ユーザが重み付け係数を入力する場合などは、操作部３４を介して、指示が制御部３１に供給される。
The
表示部３５は、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などから構成され、ユーザが重み付け係数を入力する場合などは、操作画面を表示する。
The
送受信部３６は、ネットワークに接続する網終端装置または無線通信装置、およびそれらと接続するシリアルインタフェースまたはＬＡＮ（Local Area Network）インタフェースから構成されている。送受信部３６は、生体情報取得部１３および推定結果出力部１７として機能する。
The transmission /
入出力部３７は、シリアルインタフェースまたはパラレルインタフェースから構成されている。入出力部３７は、カメラ１１およびマイク１８と接続する。あるいは、カメラ１１およびマイク１８は、内部バス３０で接続されることとしてもよい。
The input /
図１、図４または図７に示す感情推定装置１の表情認識部１２、生体情報分析部１４、係数取得部１５、推定結果調整部１６、推定結果出力部１７、音声分析部１９、および推定結果選択部２０の処理は、制御プログラム３９が、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５、送受信部３６および入出力部３７を資源として用いて処理することによって実行する。
The facial
その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。 In addition, the hardware configuration and the flowchart described above are merely examples, and can be arbitrarily changed and modified.
制御部３１、主記憶部３２、外部記憶部３３、内部バス３０などから構成される制御処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する感情推定装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで感情推定装置１を構成してもよい。
The central part that performs control processing including the
また、感情推定装置１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
Further, when the function of the
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。 It is also possible to superimpose a computer program on a carrier wave and distribute it via a communication network. For example, the computer program may be posted on a bulletin board (BBS: Bulletin Board System) on a communication network, and the computer program may be distributed via the network. The computer program may be started and executed in the same manner as other application programs under the control of the OS, so that the above-described processing may be executed.
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。 A part or all of the above-described embodiment can be described as in the following supplementary notes, but is not limited thereto.
（付記１）
被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類の手段で感情を推定した感情推定結果を取得する推定手段と、
ユーザが入力した前記感情推定結果を組み合わせる重み付け係数を取得する第１取得手段と、
前記重み付け係数に従って、前記推定手段が取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出する調整手段と、
前記調整手段が算出した前記調整感情推定結果を出力する出力手段と、
を備えることを特徴とする感情推定装置。
(Appendix 1)
Emotion can be detected by at least two types of means: a means for recognizing a subject's facial expression to estimate emotion, a means for detecting biological information of the subject to estimate emotion, and a means for estimating emotion from the voice of the subject. An estimation means for acquiring an emotion estimation result obtained by estimating
First acquisition means for acquiring a weighting coefficient for combining the emotion estimation results input by the user;
Adjusting means for calculating an adjusted emotion estimation result obtained by combining at least two of the emotion estimation results acquired by the estimating means according to the weighting factor;
Output means for outputting the adjusted emotion estimation result calculated by the adjusting means;
An emotion estimation apparatus comprising:
（付記２）
前記被験者の顔の画像、前記被験者の生体情報および前記被験者の音声の少なくとも１つの情報を取得する第２取得手段と、
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが、所定の条件に適合するか否かを判断する判定手段と、
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが前記所定の条件に適合する場合に、当該適合する情報に基づいて前記被験者の感情を推定する手段で感情を推定した前記感情推定結果を選択する選択手段と、をさらに備え、
前記出力手段は、前記選択手段が選択した前記感情推定結果を出力することを特徴とする付記１に記載の感情推定装置。
(Appendix 2)
Second acquisition means for acquiring at least one information of the face image of the subject, the biological information of the subject and the voice of the subject;
A determination unit that determines whether any one of the face image of the subject, the biological information of the subject, or the voice of the subject meets a predetermined condition;
When any one of the face image of the subject, the biological information of the subject, or the voice of the subject meets the predetermined condition, the emotion is estimated by means for estimating the subject's emotion based on the conforming information. And selecting means for selecting the emotion estimation result.
The emotion estimation apparatus according to
（付記３）
前記選択手段は、前記所定の条件に適合しない情報に基づいて前記被験者の感情を推定する手段で感情を推定した前記感情推定結果を除外することを特徴とする付記２に記載の感情推定装置。
(Appendix 3)
The emotion estimation apparatus according to
（付記４）
前記ユーザが入力した前記感情推定結果の選択条件を取得する第３取得手段をさらに備え、
前記選択手段は、前記選択条件に基づいて前記感情推定結果を選択することを特徴とする付記２または３に記載の感情推定装置。
(Appendix 4)
A third acquisition means for acquiring a selection condition of the emotion estimation result input by the user;
The emotion estimation apparatus according to
（付記５）
前記被験者の顔の画像、前記被験者の生体情報および前記被験者の音声の少なくとも１つの情報を取得する第２取得手段と、
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが、所定の条件に適合するか否かを判断する判定手段と、をさらに備え、
前記調整手段は、前記判定手段の判断に基づいて前記感情推定結果を組み合わせる重み付け係数を決定し、当該重み付け係数に従って、前記推定手段が取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出することを特徴とする付記１に記載の感情推定装置。
(Appendix 5)
Second acquisition means for acquiring at least one information of the face image of the subject, the biological information of the subject and the voice of the subject;
Determination means for determining whether any one of the face image of the subject, the biological information of the subject, or the voice of the subject meets a predetermined condition; and
The adjustment means determines a weighting coefficient that combines the emotion estimation results based on the determination of the determination means, and adjusts emotion estimation results obtained by combining at least two emotion estimation results acquired by the estimation means according to the weighting coefficients. The emotion estimation apparatus according to
（付記６）
被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類のス手段で感情を推定した感情推定結果を取得する推定ステップと、
ユーザが入力した前記感情推定結果を組み合わせる重み付け係数を取得する第１取得ステップと、
前記重み付け係数に従って、前記推定ステップで取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出する調整ステップと、
前記調整ステップで算出した前記調整感情推定結果を出力する出力ステップと、
を備えることを特徴とする感情推定方法。
(Appendix 6)
At least two types of means: a means for recognizing a subject's facial expression and estimating an emotion; a means for detecting a biological information of the subject to estimate an emotion; and a means for estimating an emotion from the voice of the subject. An estimation step for obtaining an emotion estimation result obtained by estimating an emotion;
A first acquisition step of acquiring a weighting coefficient that combines the emotion estimation results input by the user;
An adjustment step of calculating an adjusted emotion estimation result obtained by combining at least two of the emotion estimation results acquired in the estimation step according to the weighting factor;
An output step of outputting the adjustment emotion estimation result calculated in the adjustment step;
An emotion estimation method characterized by comprising:
（付記７）
前記被験者の顔の画像、前記被験者の生体情報および前記被験者の音声の少なくとも１つの情報を取得する第２取得ステップと、
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが、所定の条件に適合するか否かを判断する判定ステップと、
前記被験者の顔の画像、被験者の生体情報または被験者の音声のいずれかが前記所定の条件に適合する場合に、当該適合する情報に基づいて前記被験者の感情を推定する手段が感情を推定した前記感情推定結果を選択する選択ステップと、をさらに備え、
前記出力ステップでは、前記選択ステップが選択した前記感情推定結果を出力することを特徴とする付記６に記載の感情推定方法。
(Appendix 7)
A second acquisition step of acquiring at least one information of the face image of the subject, the biological information of the subject and the voice of the subject;
A determination step of determining whether any one of the face image of the subject, the biological information of the subject or the voice of the subject meets a predetermined condition;
When any one of the face image of the subject, the biological information of the subject, or the voice of the subject meets the predetermined condition, the means for estimating the emotion of the subject based on the conforming information estimated the emotion A selection step of selecting an emotion estimation result,
The emotion estimation method according to appendix 6, wherein in the output step, the emotion estimation result selected in the selection step is output.
（付記８）
前記選択ステップでは、前記所定の条件に適合しない情報に基づいて前記被験者の感情を推定する手段が感情を推定した前記感情推定結果を除外することを特徴とする付記７に記載の感情推定方法。
(Appendix 8)
The emotion estimation method according to appendix 7, wherein in the selection step, the emotion estimation result obtained by estimating the emotion by the means for estimating the subject's emotion based on information that does not match the predetermined condition is excluded.
（付記９）
前記ユーザが入力した前記感情推定結果の選択条件を取得する第３取得ステップをさらに備え、
前記選択ステップでは、前記選択条件に基づいて前記感情推定結果を選択することを特徴とする付記７または８に記載の感情推定方法。
(Appendix 9)
A third acquisition step of acquiring a selection condition of the emotion estimation result input by the user;
The emotion estimation method according to appendix 7 or 8, wherein, in the selection step, the emotion estimation result is selected based on the selection condition.
（付記１０）
前記被験者の顔の画像、前記被験者の生体情報および前記被験者の音声の少なくとも１つの情報を取得する第２取得ステップと、
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが、所定の条件に適合するか否かを判断する判定ステップと、をさらに備え、
前記調整ステップでは、前記判定ステップでの判断に基づいて前記感情推定結果を組み合わせる重み付け係数を決定し、当該重み付け係数に従って、前記推定ステップで取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出することを特徴とする付記６に記載の感情推定方法。
(Appendix 10)
A second acquisition step of acquiring at least one information of the face image of the subject, the biological information of the subject and the voice of the subject;
A determination step of determining whether any one of the face image of the subject, the biological information of the subject, or the voice of the subject meets a predetermined condition, and
In the adjustment step, a weighting coefficient that combines the emotion estimation results is determined based on the determination in the determination step, and adjusted emotion estimation that combines at least two emotion estimation results acquired in the estimation step according to the weighting coefficient The emotion estimation method according to appendix 6, wherein a result is calculated.
（付記１１）
コンピュータに、
被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類のス手段で感情を推定した感情推定結果を取得する推定ステップと、
ユーザが入力した前記感情推定結果を組み合わせる重み付け係数を取得する第１取得ステップと、
前記重み付け係数に従って、前記推定ステップで取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出する調整ステップと、
前記調整ステップで算出した前記調整感情推定結果を出力する出力ステップと、
を実行させることを特徴とするプログラム。
(Appendix 11)
On the computer,
At least two types of means: a means for recognizing a subject's facial expression and estimating an emotion; a means for detecting a biological information of the subject to estimate an emotion; and a means for estimating an emotion from the voice of the subject. An estimation step for obtaining an emotion estimation result obtained by estimating an emotion;
A first acquisition step of acquiring a weighting coefficient that combines the emotion estimation results input by the user;
An adjustment step of calculating an adjusted emotion estimation result obtained by combining at least two of the emotion estimation results acquired in the estimation step according to the weighting factor;
An output step of outputting the adjustment emotion estimation result calculated in the adjustment step;
A program characterized by having executed.
１ 感情推定装置
２ 生体センサ
３ ディスプレイ
１１ カメラ
１２ 表情認識部
１３ 生体情報取得部
１４ 生体情報分析部
１５ 係数取得部
１６ 推定結果調整部
１７ 推定結果出力部
１８ マイク
１９ 音声分析部
２０ 推定結果選択部
３１ 制御部
３３ 主記憶部
３３ 外部記憶部
３４ 操作部
３５ 表示部
３６ 送受信部
３７ 入出力部
３９ 制御プログラム
DESCRIPTION OF
Claims (10)
ユーザが入力した前記感情推定結果を組み合わせる重み付け係数を取得する第１取得手段と、
前記重み付け係数に従って、前記推定手段が取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出する調整手段と、
前記調整手段が算出した前記調整感情推定結果を出力する出力手段と、
を備えることを特徴とする感情推定装置。 Emotion can be detected by at least two types of means: a means for recognizing a subject's facial expression to estimate emotion, a means for detecting biological information of the subject to estimate emotion, and a means for estimating emotion from the voice of the subject. An estimation means for acquiring an emotion estimation result obtained by estimating
First acquisition means for acquiring a weighting coefficient for combining the emotion estimation results input by the user;
Adjusting means for calculating an adjusted emotion estimation result obtained by combining at least two of the emotion estimation results acquired by the estimating means according to the weighting factor;
Output means for outputting the adjusted emotion estimation result calculated by the adjusting means;
An emotion estimation apparatus comprising:
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが、所定の条件に適合するか否かを判断する判定手段と、
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが前記所定の条件に適合する場合に、当該適合する情報に基づいて前記被験者の感情を推定する手段で感情を推定した前記感情推定結果を選択する選択手段と、をさらに備え、
前記出力手段は、前記選択手段が選択した前記感情推定結果を出力することを特徴とする請求項１に記載の感情推定装置。 Second acquisition means for acquiring at least one information of the face image of the subject, the biological information of the subject and the voice of the subject;
A determination unit that determines whether any one of the face image of the subject, the biological information of the subject, or the voice of the subject meets a predetermined condition;
When any one of the face image of the subject, the biological information of the subject, or the voice of the subject meets the predetermined condition, the emotion is estimated by means for estimating the subject's emotion based on the conforming information. And selecting means for selecting the emotion estimation result.
The emotion estimation apparatus according to claim 1, wherein the output unit outputs the emotion estimation result selected by the selection unit.
前記選択手段は、前記選択条件に基づいて前記感情推定結果を選択することを特徴とする請求項２または３に記載の感情推定装置。 A third acquisition means for acquiring a selection condition of the emotion estimation result input by the user;
The emotion estimation apparatus according to claim 2, wherein the selection unit selects the emotion estimation result based on the selection condition.
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが、所定の条件に適合するか否かを判断する判定手段と、をさらに備え、
前記調整手段は、前記判定手段の判断に基づいて前記感情推定結果を組み合わせる重み付け係数を決定し、当該重み付け係数に従って、前記推定手段が取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出することを特徴とする請求項１に記載の感情推定装置。 Second acquisition means for acquiring at least one information of the face image of the subject, the biological information of the subject and the voice of the subject;
Determination means for determining whether any one of the face image of the subject, the biological information of the subject, or the voice of the subject meets a predetermined condition; and
The adjustment means determines a weighting coefficient that combines the emotion estimation results based on the determination of the determination means, and adjusts emotion estimation results obtained by combining at least two emotion estimation results acquired by the estimation means according to the weighting coefficients. The emotion estimation apparatus according to claim 1, wherein:
ユーザが入力した前記感情推定結果を組み合わせる重み付け係数を取得する第１取得ステップと、
前記重み付け係数に従って、前記推定ステップで取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出する調整ステップと、
前記調整ステップで算出した前記調整感情推定結果を出力する出力ステップと、
を備えることを特徴とする感情推定方法。 Emotion can be detected by at least two types of means: a means for recognizing a subject's facial expression to estimate emotion, a means for detecting biological information of the subject to estimate emotion, and a means for estimating emotion from the voice of the subject. An estimation step for obtaining an emotion estimation result obtained by estimating
A first acquisition step of acquiring a weighting coefficient that combines the emotion estimation results input by the user;
An adjustment step of calculating an adjusted emotion estimation result obtained by combining at least two of the emotion estimation results acquired in the estimation step according to the weighting factor;
An output step of outputting the adjustment emotion estimation result calculated in the adjustment step;
An emotion estimation method characterized by comprising:
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが、所定の条件に適合するか否かを判断する判定ステップと、
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが前記所定の条件に適合する場合に、当該適合する情報に基づいて前記被験者の感情を推定する手段が感情を推定した前記感情推定結果を選択する選択ステップと、をさらに備え、
前記出力ステップでは、前記選択ステップが選択した前記感情推定結果を出力することを特徴とする請求項６に記載の感情推定方法。 A second acquisition step of acquiring at least one information of the face image of the subject, the biological information of the subject and the voice of the subject;
A determination step of determining whether any one of the face image of the subject, the biological information of the subject or the voice of the subject meets a predetermined condition;
When any of the face image of the subject, the biological information of the subject, or the voice of the subject meets the predetermined condition, the means for estimating the subject's emotion based on the conforming information estimates the emotion And a selection step of selecting the emotion estimation result.
The emotion estimation method according to claim 6, wherein in the output step, the emotion estimation result selected in the selection step is output.
前記選択ステップでは、前記選択条件に基づいて前記感情推定結果を選択することを特徴とする請求項７または８に記載の感情推定方法。 A third acquisition step of acquiring a selection condition of the emotion estimation result input by the user;
The emotion estimation method according to claim 7 or 8, wherein, in the selection step, the emotion estimation result is selected based on the selection condition.
被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類のス手段で感情を推定した感情推定結果を取得する推定ステップと、
ユーザが入力した前記感情推定結果を組み合わせる重み付け係数を取得する第１取得ステップと、
前記重み付け係数に従って、前記推定ステップで取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出する調整ステップと、
前記調整ステップで算出した前記調整感情推定結果を出力する出力ステップと、
を実行させることを特徴とするプログラム。 On the computer,
At least two types of means: a means for recognizing a subject's facial expression and estimating an emotion; a means for detecting a biological information of the subject to estimate an emotion; and a means for estimating an emotion from the voice of the subject. An estimation step for obtaining an emotion estimation result obtained by estimating an emotion;
A first acquisition step of acquiring a weighting coefficient that combines the emotion estimation results input by the user;
An adjustment step of calculating an adjusted emotion estimation result obtained by combining at least two of the emotion estimation results acquired in the estimation step according to the weighting factor;
An output step of outputting the adjustment emotion estimation result calculated in the adjustment step;
A program characterized by having executed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010202899A JP2012059107A (en) | 2010-09-10 | 2010-09-10 | Emotion estimation device, emotion estimation method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010202899A JP2012059107A (en) | 2010-09-10 | 2010-09-10 | Emotion estimation device, emotion estimation method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012059107A true JP2012059107A (en) | 2012-03-22 |
Family
ID=46056107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010202899A Pending JP2012059107A (en) | 2010-09-10 | 2010-09-10 | Emotion estimation device, emotion estimation method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012059107A (en) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015050614A (en) * | 2013-08-30 | 2015-03-16 | 株式会社ニコン | Image processing device |
| JP2015054240A (en) * | 2013-09-13 | 2015-03-23 | エヌエイチエヌ エンターテインメント コーポレーションＮＨＮ Ｅｎｔｅｒｔａｉｎｍｅｎｔ Ｃｏｒｐｏｒａｔｉｏｎ | Content evaluation system and content evaluation method using the same |
| EP3155961A1 (en) * | 2015-10-14 | 2017-04-19 | Panasonic Intellectual Property Corporation of America | Emotion estimating method, emotion estimating apparatus, and recording medium storing program |
| JP2017119336A (en) * | 2015-12-28 | 2017-07-06 | ヴイストン株式会社 | Robot, robot control method, and robot program |
| JP2018072876A (en) * | 2016-10-24 | 2018-05-10 | 富士ゼロックス株式会社 | Emotion estimation system and emotion estimation model generation system |
| WO2018203501A1 (en) * | 2017-05-02 | 2018-11-08 | 株式会社ソニー・インタラクティブエンタテインメント | Object control system and object control method |
| JP2018534641A (en) * | 2016-07-07 | 2018-11-22 | 深▲せん▼狗尾草智能科技有限公司Ｓｈｅｎｚｈｅｎ Ｇｏｗｉｌｄ Ｒｏｂｏｔｉｃｓ Ｃｏ．，Ｌｔｄ． | Robot emotion data update method and system |
| WO2019202351A1 (en) * | 2018-04-20 | 2019-10-24 | 日産自動車株式会社 | Device control apparatus, and control method for controlling devices |
| US10788235B2 (en) | 2014-11-07 | 2020-09-29 | Sony Corporation | Control system, control method, and storage medium |
| CN112220479A (en) * | 2020-09-04 | 2021-01-15 | 陈婉婷 | Genetic algorithm-based examined individual emotion judgment method, device and equipment |
| JP2021033359A (en) * | 2019-08-14 | 2021-03-01 | 沖電気工業株式会社 | Emotion estimation device, emotion estimation method, program, information presentation device, information presentation method and emotion estimation system |
| CN113143274A (en) * | 2021-03-31 | 2021-07-23 | 北京晶栈信息技术有限公司 | Emotion early warning method based on camera |
| WO2021261126A1 (en) * | 2020-06-24 | 2021-12-30 | オムロン株式会社 | Emotion determination device and emotion determination method |
| WO2022065386A1 (en) * | 2020-09-23 | 2022-03-31 | 国立大学法人愛媛大学 | Thought inference system, inference model generation system, thought inference device, inference model generation method, computer program, and inference model |
| JP7160160B1 (en) | 2021-08-19 | 2022-10-25 | 凸版印刷株式会社 | Mental state estimation device, mental state estimation system, and mental state estimation program |
| WO2023074129A1 (en) * | 2021-11-01 | 2023-05-04 | ソニーグループ株式会社 | Information processing device, communication assistance device, and communication assistance system |
| JP7442611B2 (en) | 2021-10-13 | 2024-03-04 | 株式会社電通 | Event support system, event support method, event support program |
-
2010
- 2010-09-10 JP JP2010202899A patent/JP2012059107A/en active Pending
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015050614A (en) * | 2013-08-30 | 2015-03-16 | 株式会社ニコン | Image processing device |
| JP2015054240A (en) * | 2013-09-13 | 2015-03-23 | エヌエイチエヌ エンターテインメント コーポレーションＮＨＮ Ｅｎｔｅｒｔａｉｎｍｅｎｔ Ｃｏｒｐｏｒａｔｉｏｎ | Content evaluation system and content evaluation method using the same |
| US10188338B2 (en) | 2013-09-13 | 2019-01-29 | Nhn Entertainment Corporation | Content evaluation system and content evaluation method using the system |
| US10206615B2 (en) | 2013-09-13 | 2019-02-19 | Nhn Entertainment Corporation | Content evaluation system and content evaluation method using the system |
| US11940170B2 (en) | 2014-11-07 | 2024-03-26 | Sony Corporation | Control system, control method, and storage medium |
| US10788235B2 (en) | 2014-11-07 | 2020-09-29 | Sony Corporation | Control system, control method, and storage medium |
| EP3155961A1 (en) * | 2015-10-14 | 2017-04-19 | Panasonic Intellectual Property Corporation of America | Emotion estimating method, emotion estimating apparatus, and recording medium storing program |
| CN106580346A (en) * | 2015-10-14 | 2017-04-26 | 松下电器（美国）知识产权公司 | Emotion estimating method, and emotion estimating apparatus |
| JP2017144222A (en) * | 2015-10-14 | 2017-08-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Emotion estimating method, emotion estimating apparatus, and recording medium storing program |
| US10863939B2 (en) | 2015-10-14 | 2020-12-15 | Panasonic Intellectual Property Corporation Of America | Emotion estimating method, emotion estimating apparatus, and recording medium storing program |
| CN106580346B (en) * | 2015-10-14 | 2021-09-14 | 松下电器（美国）知识产权公司 | Emotion estimation method and emotion estimation device |
| JP2017119336A (en) * | 2015-12-28 | 2017-07-06 | ヴイストン株式会社 | Robot, robot control method, and robot program |
| JP2018534641A (en) * | 2016-07-07 | 2018-11-22 | 深▲せん▼狗尾草智能科技有限公司Ｓｈｅｎｚｈｅｎ Ｇｏｗｉｌｄ Ｒｏｂｏｔｉｃｓ Ｃｏ．，Ｌｔｄ． | Robot emotion data update method and system |
| US10452982B2 (en) | 2016-10-24 | 2019-10-22 | Fuji Xerox Co., Ltd. | Emotion estimating system |
| JP2018072876A (en) * | 2016-10-24 | 2018-05-10 | 富士ゼロックス株式会社 | Emotion estimation system and emotion estimation model generation system |
| JP2018187712A (en) * | 2017-05-02 | 2018-11-29 | 株式会社ソニー・インタラクティブエンタテインメント | Object control system and object control method |
| WO2018203501A1 (en) * | 2017-05-02 | 2018-11-08 | 株式会社ソニー・インタラクティブエンタテインメント | Object control system and object control method |
| US11759959B2 (en) | 2017-05-02 | 2023-09-19 | Sony Interactive Entertainment Inc. | Object control system and object control method |
| JP7192858B2 (en) | 2018-04-20 | 2022-12-20 | 日産自動車株式会社 | Equipment control device and control method for controlling equipment |
| JPWO2019202351A1 (en) * | 2018-04-20 | 2021-05-20 | 日産自動車株式会社 | Equipment control device and control method to control the equipment |
| WO2019202351A1 (en) * | 2018-04-20 | 2019-10-24 | 日産自動車株式会社 | Device control apparatus, and control method for controlling devices |
| US11820394B2 (en) | 2018-04-20 | 2023-11-21 | Nissan Motor Co., Ltd. | Device control apparatus, and control method for controlling devices |
| JP7306152B2 (en) | 2019-08-14 | 2023-07-11 | 沖電気工業株式会社 | Emotion estimation device, emotion estimation method, program, information presentation device, information presentation method, and emotion estimation system |
| JP2021033359A (en) * | 2019-08-14 | 2021-03-01 | 沖電気工業株式会社 | Emotion estimation device, emotion estimation method, program, information presentation device, information presentation method and emotion estimation system |
| WO2021261126A1 (en) * | 2020-06-24 | 2021-12-30 | オムロン株式会社 | Emotion determination device and emotion determination method |
| DE112021003342T5 (en) | 2020-06-24 | 2023-04-06 | Omron Corporation | DEVICE AND METHOD FOR DETERMINING EMOTIONS |
| CN112220479A (en) * | 2020-09-04 | 2021-01-15 | 陈婉婷 | Genetic algorithm-based examined individual emotion judgment method, device and equipment |
| WO2022065386A1 (en) * | 2020-09-23 | 2022-03-31 | 国立大学法人愛媛大学 | Thought inference system, inference model generation system, thought inference device, inference model generation method, computer program, and inference model |
| CN113143274B (en) * | 2021-03-31 | 2023-11-10 | 中国科学院心理研究所 | Emotion early warning method based on camera |
| CN113143274A (en) * | 2021-03-31 | 2021-07-23 | 北京晶栈信息技术有限公司 | Emotion early warning method based on camera |
| JP2023028552A (en) * | 2021-08-19 | 2023-03-03 | 凸版印刷株式会社 | Psychological state estimation device, psychological state estimation system, and psychological state estimation program |
| JP7160160B1 (en) | 2021-08-19 | 2022-10-25 | 凸版印刷株式会社 | Mental state estimation device, mental state estimation system, and mental state estimation program |
| JP7442611B2 (en) | 2021-10-13 | 2024-03-04 | 株式会社電通 | Event support system, event support method, event support program |
| WO2023074129A1 (en) * | 2021-11-01 | 2023-05-04 | ソニーグループ株式会社 | Information processing device, communication assistance device, and communication assistance system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2012059107A (en) | Emotion estimation device, emotion estimation method and program | |
| CN106992013B (en) | Speech emotion modification | |
| US10433052B2 (en) | System and method for identifying speech prosody | |
| RU2613580C2 (en) | Method and system for helping patient | |
| JP6524049B2 (en) | Emotion estimation device, emotion estimation method, emotion estimation program, and emotion counting system | |
| US9329758B2 (en) | Multiple sensory channel approach for translating human emotions in a computing environment | |
| US9031293B2 (en) | Multi-modal sensor based emotion recognition and emotional interface | |
| JP2004310034A (en) | Interactive agent system | |
| JP2017156854A (en) | Speech semantic analysis program, apparatus and method for improving comprehension accuracy of context semantic through emotion classification | |
| KR102276415B1 (en) | Apparatus and method for predicting/recognizing occurrence of personal concerned context | |
| JP2018169506A (en) | Conversation satisfaction degree estimation device, voice processing device and conversation satisfaction degree estimation method | |
| US20210186370A1 (en) | Automated and objective symptom severity score | |
| JP2019096116A (en) | Information processing device, information processing method, and program | |
| CN111149172B (en) | Emotion management method, device and computer-readable storage medium | |
| KR20200029663A (en) | Emotion recognition apparatus and control method THEREOF | |
| JP2020190579A (en) | System for evaluating presentation, method, learned model and program, information processing device and terminal device | |
| KR20210100831A (en) | System and method for providing sign language translation service based on artificial intelligence | |
| EP3340240A1 (en) | Information processing device, information processing method, and program | |
| WO2020175969A1 (en) | Emotion recognition apparatus and emotion recognition method | |
| CN115171284B (en) | Senior caring method and device | |
| WO2022024194A1 (en) | Emotion analysis system | |
| EP3956748B1 (en) | Headset signals to determine emotional states | |
| JP2006136742A (en) | Communication apparatus | |
| WO2023075746A1 (en) | Detecting emotional state of a user | |
| KR20210100832A (en) | System and method for providing sign language translation service based on artificial intelligence that judges emotional stats of the user |