JP6941800B2 - 感情推定装置、感情推定方法及びプログラム - Google Patents

感情推定装置、感情推定方法及びプログラム Download PDF

Info

Publication number
JP6941800B2
JP6941800B2 JP2020511592A JP2020511592A JP6941800B2 JP 6941800 B2 JP6941800 B2 JP 6941800B2 JP 2020511592 A JP2020511592 A JP 2020511592A JP 2020511592 A JP2020511592 A JP 2020511592A JP 6941800 B2 JP6941800 B2 JP 6941800B2
Authority
JP
Japan
Prior art keywords
evaluation value
emotion
value group
correction
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020511592A
Other languages
English (en)
Other versions
JPWO2019193781A1 (ja
Inventor
隆 杉本
杉本　　隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2019193781A1 publication Critical patent/JPWO2019193781A1/ja
Application granted granted Critical
Publication of JP6941800B2 publication Critical patent/JP6941800B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Description

本開示は、感情を推定する技術に関する。
従来、対象者（つまり感情推定の対象者）の画像を取得して画像から表情を認識することで対象者の感情を推定する感情推定装置が知られている（例えば特許文献１、２参照）。
特開２０１４−１７８９７０号公報 特開２０１６−１４９０６３号公報
ところで、対象者の顔立ち又は対象者が真の感情を表情に表す度合い等は対象者毎に異なるので、従来の感情推定装置では対象者の感情を適切に推定できない場合もある。
本開示は、感情推定のための新たな手法を用いて、対象者の感情を適切に（例えば高精度に）推定し得る感情推定装置を提供する。また本開示は、その感情推定装置で用いられる感情推定方法及び感情推定用のプログラム（つまりコンピュータプログラム）を提供する。
本開示における感情推定装置は、対象者の感情を推定する感情推定装置であって、前記対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得部と、前記取得部により取得された評価値群である第１評価値群と、前記取得部により前記第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合には当該同一の感情属性に対する前記第１評価値群の評価値を減少させるように、前記第１評価値群に対して１つ以上の評価値を補正する補正処理を実行し、当該補正処理の実行後の前記第１評価値群に基づいて、前記複数種類の感情属性のうち対応する評価値が高い感情属性ほど前記対象者の感情として強く推定されるように、前記対象者の感情を推定する推定処理を実行する処理部と、前記処理部による前記推定処理の結果を出力する出力部とを備える。
また、本開示における感情推定装置は、対象者の感情を推定する感情推定装置であって、前記対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得部と、前記取得部により取得された評価値群である第１評価値群と、前記取得部により前記第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えるか否かに基づいて補正値を定め、当該補正値に応じて、前記取得部により前記第１評価値群の後に取得された第３評価値群における当該同一の感情属性に対する前記第３評価値群の評価値を変化させるように、前記第３評価値群に対して１つ以上の評価値を補正する補正処理を実行し、当該補正処理の実行後の前記第３評価値群に基づいて、前記対象者の感情を推定する推定処理を実行する処理部と、前記処理部による前記推定処理の結果を出力する出力部とを備える。
また、本開示における感情推定方法は、対象者の感情を推定する感情推定方法であって、前記対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得ステップと、前記取得ステップで取得された評価値群である第１評価値群と、前記取得ステップで前記第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合には当該同一の感情属性に対する前記第１評価値群の評価値を減少させるように、前記第１評価値群に対して１つ以上の評価値を補正する補正処理を実行する補正ステップと、前記補正ステップでの前記補正処理の実行後の前記第１評価値群に基づいて、前記複数種類の感情属性のうち対応する評価値が相対的に高い感情属性ほど前記対象者の感情として相対的に強く推定されるように、前記対象者の感情を推定する推定処理を実行する推定ステップと、前記推定ステップでの前記推定処理の結果を出力する出力ステップとを含む。
また、本開示におけるプログラムは、マイクロプロセッサを備え対象者の感情を推定する感情推定装置に感情推定処理を実行させるためのプログラムであって、前記感情推定処理は、前記対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得ステップと、前記取得ステップで取得された評価値群である第１評価値群と、前記取得ステップで前記第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合には当該同一の感情属性に対する前記第１評価値群の評価値を減少させるように、前記第１評価値群に対して１つ以上の評価値を補正する補正処理を実行する補正ステップと、前記補正ステップでの前記補正処理の実行後の前記第１評価値群に基づいて、前記複数種類の感情属性のうち対応する評価値が相対的に高い感情属性ほど前記対象者の感情として相対的に強く推定されるように、前記対象者の感情を推定する推定処理を実行する推定ステップと、前記推定ステップでの前記推定処理の結果を出力する出力ステップとを含む。
本開示における感情推定装置、感情推定方法又はプログラムによれば、対象者の感情が適切に推定され得る。
図１は、実施の形態１に係る感情推定装置を含むシステムの構成例を示す図である。 図２は、実施の形態１に係る感情推定装置の機能構成を示すブロック図である。 図３は、感情推定装置が取得する、感情属性に係る評価値群の一例を示す図である。 図４は、感情推定装置が記憶する、各感情属性に対応する補正値の初期値の一例を示す図である。 図５は、感情推定装置における感情推定処理の一例を示すフローチャートである。 図６Ａは、感情推定装置における補正処理の一例（動作例１）を示すフローチャートである。 図６Ｂは、感情推定装置における補正処理の一例（動作例２）を示すフローチャートである。 図６Ｃは、感情推定装置における補正処理の一例（動作例３）を示すフローチャートである。 図６Ｄは、感情推定装置における補正処理の一例（動作例４）を示すフローチャートである。 図６Ｅは、感情推定装置における補正処理の一例（動作例５）を示すフローチャートである。 図６Ｆは、感情推定装置における補正処理の一例（動作例６）を示すフローチャートである。 図７は、感情推定処理の実施例に係る実施結果を示す図である。 図８は、感情推定装置が出力する感情推定結果の一例を示す図である。 図９は、実施の形態２に係る感情推定装置の機能構成を示すブロック図である。
対象者の感情を適切に推定すべく、本開示における感情推定装置は、対象者の感情を推定する感情推定装置であって、前記対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得部と、前記取得部により取得された評価値群である第１評価値群と、前記取得部により前記第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合には当該同一の感情属性に対する前記第１評価値群の評価値を減少させるように、前記第１評価値群に対して１つ以上の評価値を補正する補正処理を実行し、当該補正処理の実行後の前記第１評価値群に基づいて、前記複数種類の感情属性のうち対応する評価値が高い感情属性ほど前記対象者の感情として強く推定されるように、前記対象者の感情を推定する推定処理を実行する処理部と、前記処理部による前記推定処理の結果を出力する出力部とを備える。
これにより、感情を分類した複数（つまり複数種類）の感情属性のうち、評価値が高く変化の少ない感情属性に隠れているような感情属性が相対的に感情の推定結果に大きく影響を及ぼすようになり得る。このため、対象者の感情が適切に推定され得る。
なお、これらの包括的又は具体的な各種態様には、装置、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能な記録媒体等の１つ又は複数の組合せが含まれる。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者は、当業者が本開示を十分に理解するために図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。即ち、以下の具体例を用いた説明で示される数値、形状、構成要素、構成要素の配置及び接続形態、並びに、工程或いは処理のステップ及びステップの順序等は、一例であって、請求の範囲に記載の主題を限定するものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
（実施の形態１）
本実施の形態では、感情推定装置を含むシステムの一例として、ディスプレイ装置１０及びサーバ装置３０を備える感情推定システムについて、図面を用いて説明する。
［１−１．感情推定システムの構成］
図１は、感情推定システムの構成図である。この感情推定システムは、通信路４０により通信するディスプレイ装置１０及びサーバ装置３０を備える。通信路４０は、有線又は無線での通信のための通信網等である。なお、同図ではサーバ装置３０を１台示しているが、ディスプレイ装置１０の通信相手となるサーバ装置３０は、相互に離間して複数台存在してもよい。ディスプレイ装置１０のユーザ２０は、感情推定の対象者である。この感情推定システムでは、ディスプレイの表示内容に対するユーザ２０の感情を推定する。ユーザ２０の感情の推定結果は、ユーザ２０に示されるようにしてもよいし、サーバ装置３０に収集されて、サーバ装置３０においてディスプレイの表示内容との相関が分析されてその分析結果が各種用途に活用されるようにしてもよいし、ディスプレイ装置１０の表示内容の切り替え等といった機器制御に利用されるようにしてもよい。
ディスプレイ装置１０は、ディスプレイの他に、例えば、プロセッサ、記録媒体（例えばメモリ又はハードディスク等）、通信インタフェース（つまり通信回路）及びユーザインタフェース等を備えるコンピュータで構成される。ディスプレイ装置１０は、例えば、パーソナルコンピュータであってもよいし、据え置き型のテレビ（television）受像機等の装置であってもよいし、携帯性を有するタブレット又はスマートフォン等であってもよい。ディスプレイ装置１０は、機能面において、表示制御部１１と通信部１２とイメージセンサ１３と感情推定装置１００とを含んで構成される。
表示制御部１１は、ディスプレイ（例えば液晶ディスプレイ又は有機ＥＬ（Electro-Luminescence）ディスプレイ等）及び制御回路等で実現され、画像をディスプレイ面に表示するように制御する。表示制御部１１は、例えば、通信部１２を介して受信した動画又は静止画等の画像のディスプレイ面への表示制御を行う。画像の内容は、写真、文字又は図形等、いかなる視覚的情報であってもよい。表示制御部１１は、例えばウェブブラウザ機能を有していてもよい。なお、表示制御部１１は、ディスプレイ装置１０が備える記録媒体に記録された画像をディスプレイ面に表示する制御を行うこととしてもよい。
通信部１２は、サーバ装置３０と無線又は有線で通信する通信インタフェース等で実現される。サーバ装置３０は、例えば、ディスプレイ装置１０がディスプレイに表示する画像の送信機能（例えばテレビ放送機能又はウェブサーバ機能等）を有するコンピュータである。通信部１２は、ディスプレイの表示内容となる画像を受信して表示制御部１１に伝達する機能を有する。通信部１２は、例えば、各種テレビ放送を受信するチューナ又はインターネット等のウェブサイトにアクセスするためのネットワークインタフェース等で実現される。ユーザ２０は、ディスプレイにテレビ画像（つまりテレビ放送の映像コンテンツ）を表示させる場合においては、ディスプレイ装置１０のユーザインタフェースを介して、例えば通信部１２のチューナに対して、受信チャネルの選択操作を行い得る。また、ユーザ２０は、例えば、ネットワーク上から、ディスプレイに表示させるべき画像としてのウェブページの情報を指定するＵＲＬ（Uniform Resource Locator）等の情報（例えばウェブサイトのネットワークアドレス等）を指定する操作を行い得る。また、サーバ装置３０は、ユーザ２０のセンシング結果である顔画像（つまり対象者の顔が写っている画像）を受信するとその顔画像に基づいて対象者の感情についての評価を行って評価結果を顔画像の送信元に返信する感情評価機能を有する。この感情評価機能は、例えば従来の感情推定装置（例えば特許文献１或いは特許文献２における感情推定装置）と同様の技術を用いて、顔画像が表す顔の表情が、感情を分類した複数種類の感情クラス（感情属性と称する）のそれぞれをどの程度表しているかという評価を行う機能である。この評価は、例えば取得した顔画像と、複数種類の感情属性それぞれにおける顔画像の特徴を示す情報とに基づく、画像処理又は特徴の照合等といった演算処理によって評価結果（つまり各感情属性についての評価値）を算定する処理である。ここでは、サーバ装置３０は、複数種類の感情属性それぞれに対する評価値の集合である評価値群を、評価結果として顔画像の送信元に返信するものとして説明する。通信部１２は、更に、サーバ装置３０の感情評価機能を利用するために、イメージセンサ１３で逐次生成された顔画像をサーバ装置３０に逐次送信し、サーバ装置３０から逐次返信される評価結果としての評価値群を受信して感情推定装置１００に逐次伝達する機能を有する。
イメージセンサ１３は、例えば、ディスプレイ装置１０のディスプレイの前方を撮像可能となるように配置され、そのディスプレイを見るユーザ２０の顔を、逐次撮像することで顔画像をセンシング結果として逐次生成して通信部１２に伝達するセンサである。撮像間隔は、例えば、数百ミリ秒、数秒又は数十秒等であり、また、必ずしも一定間隔でなくてもよい。
感情推定装置１００は、感情推定の対象者としてのユーザ２０の感情を推定する装置であり、例えば、ディスプレイ装置１０に備えられるコンピュータにより実現される。詳細には、感情推定装置１００は、メモリに格納された感情推定用のプログラムをプロセッサで実行することで、対象者の感情について推定する感情推定方法を実現する。
［１−２．感情推定装置の構成］
図２は、感情推定装置１００の機能構成を示すブロック図である。
感情推定装置１００は、図２に示すように取得部１１０と記憶部１２０と処理部１３０と出力部１４０とを含んで構成される。
取得部１１０は、対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する機能を有する。取得部１１０は、逐次取得した評価値群を記憶部１２０に格納する。取得部１１０は、例えば、通信インタフェース、及び、プログラムを実行するプロセッサ等で実現され得る。プログラムは、例えば、アプリ（application program）であっても、ＯＳ（Operating System）の一部であってもよい。ここでは、対象者（つまり感情推定の対象者）がユーザ２０であることとして説明する。取得部１１０は、ディスプレイ装置１０の通信部１２を介して評価値群を逐次取得する。評価値群は、ユーザ２０を逐次撮像するイメージセンサ１３による各センシング結果（つまり顔画像）に応じてサーバ装置３０により算定された各評価結果である。取得部１１０が評価値群を取得する間隔は、特に限定されず、例えば数百ミリ秒、数秒、数十秒又は数分等であり、また、必ずしも一定間隔でなくてもよい。ここでは、取得部１１０が取得する評価値群に係る感情属性の例（つまり感情を分類した複数種類の感情属性の例）として、５種類の「平静」、「喜び」、「驚き」、「怒り」及び「悲しみ」を用いて説明するが、これは一例に過ぎず、感情の分類数を５より多くしても少なくしてもよい。なお、各感情属性間に相関性があってもなくてもよい。取得部１１０がサーバ装置３０から取得する評価値群を構成する、複数種類の感情属性それぞれに対する評価値は、例えば、その評価値に対する感情属性が、対象者（つまりユーザ２０）の感情に含まれる可能性の高さを示す確率（％）、レベル又はポイント数等のいかなる値であってもよい。また、感情属性に対する評価値が、例えば、対象者の感情にその感情属性が含まれる可能性の高さを示す確率の高いほど高い値となる順位数をレベル（例えば最低順位はレベル１で最高順位はレベル５）として表現してもよい。ここでは、取得部１１０が逐次取得する評価値群を構成する１つの感情属性に対する評価値は、その感情属性が対象者の感情に含まれる可能性を示す確率（％）を表し、その評価値群の全ての感情属性の評価値の総和が一定値（この例では１００％）となるように正規化されていることとして説明する。
記憶部１２０は、感情を分類した複数種類の感情属性それぞれに対応して補正値を記憶する。記憶部１２０は、取得部１１０により取得された評価値群を記憶するためのメモリ等の記憶媒体の一領域である。記憶媒体は、メモリに限られず、ハードディスク等であってもよい。取得部１１０により取得された各評価値群は、処理部１３０での推定処理において必要なくなった時以後は削除されてもよい。補正値は、処理部１３０における補正部１３１に実行される補正処理における演算に用いられる値である。図３に、感情推定装置１００の取得部１１０が逐次取得して記憶部１２０に格納する、感情属性に係る各評価値群の一例を示す。同図の例では、取得部１１０がサーバ装置３０から取得した評価Ｎ（Ｎは１以上の自然数）回目の評価値群は、感情属性「平静」に対する５０（％）という評価値と、感情属性「喜び」に対する０（％）という評価値と、感情属性「驚き」に対する５（％）という評価値と、感情属性「怒り」に対する１５（％）という評価値と、感情属性「悲しみ」に対する３０（％）という評価値とで構成されている。この例では、各評価値を合計すると１００％になる。また、図４に、記憶部１２０が記憶する、複数種類の感情属性それぞれに対応する補正値の初期値の一例を示す。同図の例では、各感情属性に対応する補正値の初期値はゼロ（０）である。
処理部１３０は、プログラムを実行するプロセッサ等の電子回路で実現され、機能面において、補正部１３１と推定部１３２とを含んで構成される。処理部１３０は、補正部１３１により補正処理を実行し、推定部１３２により推定処理を実行する。
補正部１３１は、補正処理を実行する。この補正処理は、取得部１１０により取得された評価値群である第１評価値群と、取得部１１０によりその第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、その第１評価値群及び第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合にはその同一の感情属性に対する第１評価値群の評価値を減少させるように、第１評価値群に対して１つ以上の評価値を補正する処理である。なお、第２評価値群としては、取得部１１０により取得されたままの評価値群を用いる方法と、既に実行された補正処理の結果として変化した評価値群を用いる方法とがある。具体例としては、補正部１３１は、上述の補正処理の実行後の第１評価値群の各評価値の総和が一定値（例えば１００％）を維持するように、第１評価値群に対しての補正処理において、減少させるように補正した評価値以外の第１評価値群の評価値それぞれを、例えば均等に（つまり同値の加算により）、増加させる。なお、取得部１１０に逐次取得された２つの評価値群における同一の感情属性に対する評価値同士の差異と、所定基準との比較は、例えば、差、比、微分（例えば差の時間間隔による除算）を求める演算処理により実現可能である。なお、評価値同士の差異は、複数種類の感情属性の中での評価値が高い方からの順位の差（つまり順位数をレベルで表現した場合のレベルの差）であってもよい。差異と比較する所定基準は、例えば０（ゼロ）という１点であってもよいし、例えば１或いは２等といった範囲であってもよい。評価値同士の差異と比較する所定基準がゼロ（このゼロは差異を差で表した場合における０とする。）である場合には、評価値同士が同値であれば所定基準を超えず同値以外であれば所定基準を超えることとしてもよい。また、所定基準が、１の場合には、評価値同士の差異が１以下であれば所定基準を超えず１より大きい場合に所定基準を超えることとしてもよい。所定基準は、例えば、評価値がとり得る値の範囲（例えば０〜１００）に対して比較的小さい範囲（例えば０〜２等）である。また、評価値同士の差異が、複数種類の感情属性の中での評価値が高い方からの順位の差（つまり順位数をレベルで表現した場合のレベルの差）であることとして所定基準がゼロであるとした場合には、評価値同士に順位の変動がなければ所定基準を超えないことになる。なお、補正処理の一層具体的な一例を挙げると、補正部１３１は、例えば、取得部１１０により取得された第１評価値群のうち最高値の評価値である最高評価値と、第２評価値群のうちその最高評価値に対する感情属性と同一の感情属性に対する評価値との差異（例えば評価値が高いほど高い値となる順位数を表現したレベルの差）が、所定基準を超えない場合には、その最高評価値を減少させ、最高評価値以外の評価値を均等に増加させることで補正処理を実行する。例えば、補正処理では、第１評価値群及び第２評価値群における同一の感情属性に対する評価値同士の差が０である場合に、上述の差異が所定基準を超えない場合であるとして、その同一の感情属性に対する第１評価値群の評価値を減少させることとしてもよい。所定基準をゼロ（０）とし２つの評価値群における同一の感情属性に対する評価値の順位の差異に注目した例としては、第１評価値群のうちの最高評価値と、第２評価値群のうちその最高評価値に対する感情属性と同一の感情属性に対する評価値との差異としての、最高順位と、第２評価値群のうちその最高評価値に対する感情属性と同一の感情属性に対する評価値の高さに係る第２評価値群における順位との差異がない場合に、差異が所定基準を超えないと扱うこととする例が挙げられる。なお、第１評価値群において最高値の評価値が複数あればその複数の評価値はいずれも減少され、それ以外の評価値が均等に増加して各評価値の総和が一定値となるように補正処理が行われてもよい。補正処理の具体的な一例としては、図４に示した各感情属性に対応する補正値を用い、補正部１３１がまず補正値を初期化する。そして、補正部１３１は、補正処理として、例えば、第１評価値群及び第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合に、記憶部１２０に記憶したその感情属性に対応する補正値を減少させるよう更新し、その補正値を評価値に加算する演算によって、その感情属性に対する第１評価値群の評価値を減少させる。
推定部１３２は、推定処理を実行する。推定部１３２は、感情属性毎の補正処理実行後の評価値に基づき、予め定められた処理アルゴリズム（各種演算及び条件判定処理の組合せ等）の実行により、対象者（つまりユーザ２０）の感情を推定する推定処理を行い推定処理の結果を出力部１４０に伝達する。この推定処理は、補正部１３１による補正処理の実行後の第１評価値群に基づいて、複数種類の感情属性のうち対応する評価値が相対的に高い感情属性ほど対象者の感情として相対的に強く推定されるように、対象者の感情を推定する処理である。即ち、推定部１３２は、対象者の感情が、複数種類の感情属性のうち相対的に高い評価値に対応する感情属性に、より大きく支配されているとして、評価値の高い感情属性が推定結果に大きく影響を与えるように推定処理を行う。推定部１３２が出力部１４０に伝達する推定処理の結果は、いかなる態様の信号或いはデータであってもよく、例えば感情であるとして推定された１つの感情属性を示す文字列データ等であってもよい。例えば、推定部１３２は、補正処理実行後における第１評価値群のうち、最高の評価値に対する感情属性（例えば、「喜び」が相対的に最高の評価値であれば「喜び」）が、対象者の感情であると推定することとしてもよいし、上位Ｎ個（例えばＮは２つ）の評価値に対する感情属性（例えば「喜び」及び「驚き」）を、複合的に、対象者の感情であると推定することとしてもよい。また、例えば、推定部１３２は、補正処理実行後における第１評価値群つまり感情属性毎の評価値の集合自体を、対象者の感情であると推定することとしてもよく、この場合の対象者の感情の推定結果の一例は、「平静が４０％、喜びが５０％、驚きが１０％、怒りが０％、悲しみが０％」である。
処理部１３０は、取得部１１０が評価値群を取得する毎に記憶部１２０に格納した評価値群を逐次参照することで、補正部１３１による補正処理と推定部１３２による推定処理とを繰り返し逐次実行させ得る。例えば、処理部１３０は、補正部１３１に補正処理を実行させた後の第１評価値群に基づいて推定部１３２に推定処理を実行させた後においては、補正部１３１に、その補正処理の実行後の第１評価値群と、取得部１１０により第１評価値群の次に取得された評価値群である第３評価値群との関係に応じて、第３評価値群に対して補正処理を新たに実行させてもよい。具体的には、処理部１３０は、補正部１３１にその補正処理の実行後の第１評価値群とその第３評価値群とにおける同一の感情属性に対する評価値同士の差異が所定基準を超えない場合にはその同一の感情属性に対する第３評価値群の評価値を減少させるように、第３評価値群に対して１つ以上の評価値を補正する補正処理を新たに実行させてもよい。この場合に、処理部１３０は、その補正処理の実行後の第３評価値群に基づいて、複数種類の感情属性のうち対応する評価値が相対的に高い感情属性ほど対象者の感情として相対的に強く推定されるように、更に推定部１３２に新たに推定処理を実行させてもよい。
出力部１４０は、例えばプログラムを実行するプロセッサ及び通信インタフェース等で実現され、処理部１３０における推定部１３２による推定処理の結果を取得して感情推定装置１００の外部に出力する。この出力は、例えば推定処理の結果を示す情報を表す信号の外部への送信である。ディスプレイ装置１０における感情推定装置１００の出力部１４０は、推定処理の結果を、例えば通信部１２を介して表示制御部１１に送信することでディスプレイにその推定処理の結果を表示させ得る。また、ディスプレイ装置１０における感情推定装置１００の出力部１４０は、推定処理の結果を、例えば通信部１２を介してサーバ装置３０に送信してもよい。
［１−３．感情推定装置の動作］
以下、上述の構成を備える感情推定装置１００による感情推定方法に係る動作について説明する。
［１−３−１．感情推定処理］
図５は、感情推定装置１００における感情推定方法としての感情推定処理の一例を示すフローチャートである。以下、同図に即して、感情推定装置１００の動作を説明する。
感情推定処理は、例えば、感情推定の対象者であるユーザ２０によるディスプレイ装置１０の電源オン操作によって、ディスプレイ装置１０の各部（イメージセンサ１３及び感情推定装置１００等）が起動した際に開始される。ここでは、ディスプレイ装置１０のイメージセンサ１３でユーザ２０の顔が撮像されて生成された顔画像が、例えば数秒間隔等で撮像される毎に、サーバ装置３０に送信され、サーバ装置３０はその撮像された画像を受信する毎に評価値群（つまり複数種類の感情属性それぞれの評価値）をディスプレイ装置１０に送信するものとして説明する。
まず、感情推定処理の開始時点で、処理部１３０の補正部１３１は、記憶部１２０に記憶されている複数種類の感情属性それぞれについての補正値を０に初期化する初期化処理を行う（ステップＳ１）。
次に、取得部１１０は、対象者の感情評価結果として評価値群を取得する（ステップＳ２）。例えば、イメージセンサ１３によるセンシング結果としての顔画像に基づいて、サーバ装置３０が複数種類の感情属性それぞれについての評価値の集合である評価値群を送信し、取得部１１０がその評価値群を、通信部１２を介して取得し、逐次取得した評価値群（図３参照）を、記憶部１２０に格納する。
続いて、処理部１３０の補正部１３１は、補正処理を実行する（ステップＳ３）。補正処理は、例えば、記憶部１２０に記憶されている補正値の更新又は補正値を用いた演算による評価値の補正等である。この補正処理の一例としては、評価値群における各感情属性に対する評価値の順位に応じて、各評価値の補正がなされる。補正処理については動作例を後に説明する。
続いて、処理部１３０の推定部１３２は、補正部１３１により補正処理が実行された後の評価値群（つまり各感情属性に対する評価値の集合）に基づいて、対象者の感情を推定する推定処理を実行する（ステップＳ４）。この推定処理の一例としては、評価値群における最高値の評価値に対する感情属性を、対象者の感情であると推定する。
続いて、出力部１４０は、推定部１３２による推定処理の結果を出力する（ステップＳ５）。
ステップＳ５に続いて、次に取得部１１０に取得された評価値群に基づいて対象者の感情の推定を行うために、ステップＳ２での処理が再び行われる。その後、ステップＳ２〜Ｓ５での処理が繰り返される。なお、推定部１３２による推定処理は、複数回補正処理が実行される毎に行われるようにしてもよいし、任意のタイミングで行われるようにしてもよい。
上述のように感情推定処理では、補正処理及び推定処理が繰り返されることになる。例えば、感情推定処理では、補正値の初期化処理の実行後に、取得部１１０により取得された第１評価値群のうち最高値の評価値である最高評価値の高さに係る順位である最高順位と、取得部１１０により第１評価値群の前に取得された評価値群である第２評価値群のうち当該最高評価値に対する感情属性と同一の感情属性に対する評価値の高さに係る第２評価値群における順位との差異がない場合には、以下の処理を実行する。感情推定処理では、その最高評価値に対する感情属性に対応する補正値を減少させ、複数種類の感情属性それぞれに対応する補正値の総和が０となるように、第１評価値群のうち最高値以外の評価値それぞれに対する感情属性に対応する補正値を均等に増加させ、第１評価値群のうちの各感情属性に対する評価値に当該感情属性に対応する補正値を加算することで、補正処理を実行する。また、感情推定処理では、その補正処理の実行後の第１評価値群に基づいて推定処理を実行する。また、感情推定処理では、補正処理の実行後の第１評価値群のうち最高値の評価値である最高評価値の高さに係る順位である最高順位と、取得部１１０により第１評価値群の次に取得された評価値群である第３評価値群のうちその最高評価値に対する感情属性と同一の感情属性に対する評価値の高さに係る第３評価値群における順位との差異がない場合には、以下の処理を実行する。感情推定処理では、その同一の感情属性に対応する補正値を減少させ、複数種類の感情属性それぞれに対応する補正値の総和が０となるように、その減少させた補正値以外の補正値を均等に増加させ、第３評価値群のうちの各感情属性に対する評価値にその感情属性に対応する補正値を加算することで、更に補正処理を実行し、その補正処理の実行後の第３評価値群に基づいて更に推定処理を実行する。
なお、別の一例としては、感情推定処理では、補正値の初期化処理の実行後に、取得部１１０により取得された第１評価値群のうち最高値の評価値である最高評価値の高さに係る順位である最高順位と、取得部１１０により第１評価値群の前に取得された評価値群である第２評価値群のうち当該最高評価値に対する感情属性と同一の感情属性に対する評価値の高さに係る第２評価値群における順位との差異がない場合には、以下の処理を実行してもよい。感情推定処理では、その最高評価値に対する感情属性に対応する補正値を減少させ、複数種類の感情属性それぞれに対応する補正値の総和が０となるように、第１評価値群のうち最高値以外の評価値それぞれに対する感情属性に対応する補正値を均等に増加させるように、各感情属性に対応する補正値を決定し、第１評価値群の後に取得部１１０により取得された評価値群である第３評価値群のうちの各感情属性に対する評価値に当該感情属性に対応する上述の補正値を加算することで、補正処理を実行してもよい。この場合において感情推定処理では、その補正処理の実行後の第３評価値群に基づいて推定処理を実行する。なお、例えば、各感情属性に対する補正値の決定は、逐次取得された複数の評価値群に関連して決定された補正値の逐次更新によりなされ、その補正値の適用により、新たに取得された評価値群に対する補正処理がなされ得る。
以下、ステップＳ３での補正処理の動作例１〜６について図６Ａ〜図６Ｆを用いて説明する。以下、補正処理は、ユーザ２０の顔画像の撮像に対応してサーバ装置３０からの評価値群がディスプレイ装置１０の取得部１１０により取得される毎に、つまり評価値群が取得されて記憶部１２０に格納される毎に、実行されるものとして説明する。１回目の補正処理の前においては、各補正値（つまり記憶部１２０に記憶されている各感情属性に対応する補正値）は、図４に示すように初期化されている。
［１−３−２．補正処理の動作例１］
図６Ａは、図５におけるステップＳ３で処理部１３０の補正部１３１が実行する補正処理の一例（動作例１）を示すフローチャートである。以下、図６Ａに即して補正処理の動作例１を説明する。
補正部１３１は、取得部１１０により直前に取得され記憶部１２０に格納された評価値群のうち、最高評価値（つまり値が最も高い最高順位の評価値）に対する感情属性に対応する補正値を１減少させる（ステップＳ１１）。
また、補正部１３１は、最高評価値以外の評価値に対する感情属性に対応する補正値それぞれを均等に１／（ｎ−１）増加させる（ステップＳ１２）。ここで、ｎは感情を分類した複数種類の感情属性の数であり、この例では、感情属性の数は図３及び図４に示すように、５である。ステップＳ１１での補正値の減少或いはステップＳ１２での補正値の増加の作用として、記憶部１２０に記憶されている補正値が更新される。
次に、補正部１３１は、取得部１１０により直前に取得され記憶部１２０に格納された評価値群の各評価値について、その評価値に対する感情属性に対応する補正値であってステップＳ１１或いはＳ１２での演算がなされた結果としての補正値（つまり記憶部１２０に現在記憶されている補正値）を、加算する（ステップＳ１３）。
これにより、取得部１１０により取得された評価値群は、補正処理の実行後において変化する。補正処理の実行後の評価値群は、推定部１３２に伝達されて推定処理（図５のステップＳ４）に用いられる。なお、補正処理の実行後の評価値群を、記憶部１２０に蓄積してもよい。
［１−３−３．補正処理の動作例２］
図６Ｂは、図５におけるステップＳ３で処理部１３０の補正部１３１が実行する補正処理の一例（動作例２）を示すフローチャートである。以下、図６Ｂに即して補正処理の動作例２を説明する。図６ＢにおけるステップＳ１１〜Ｓ１３は、図６Ａで示したものと同様であるので、ここでは説明を適宜省略する。
補正部１３１は、取得された１回分の評価値群のうち、最高評価値に対する感情属性に対応する補正値を１減少させ（ステップＳ１１）、その他の各感情属性に対応する補正値を１／（ｎ−１）増加させ（ステップＳ１２）、取得された評価値群の各評価値について、その評価値に対する感情属性に対応する補正値を加算する（ステップＳ１３）。
次に、補正部１３１は、ステップＳ１３で補正値を加算した後の、１回分の評価値群における全ての感情属性それぞれに対する評価値が同値であるか否かを判定する（ステップＳ１４）。
ステップＳ１４で、全ての評価値が同値であると判定した場合には、補正部１３１は、各補正値を変動させる前の状態（つまりステップＳ１１及びステップＳ１２での補正値の更新を行う前の状態）に戻して（ステップＳ１５）、補正処理を終える。また、ステップＳ１４で、全ての評価値が同値でない（つまり全ての評価値が一致してはいない）と判定した場合には、補正部１３１は、ステップＳ１５での処理をスキップして補正処理を終える。
［１−３−４．補正処理の動作例３］
図６Ｃは、図５におけるステップＳ３で処理部１３０の補正部１３１が実行する補正処理の一例（動作例３）を示すフローチャートである。以下、図６Ｃに即して補正処理の動作例３を説明する。
補正部１３１は、前回の補正後（つまり評価値群に対して前回に実行した補正処理の後）における評価値群における全ての評価値が同値であるか否かを判定する（ステップＳ１６）。
ステップＳ１６で、前回補正後の評価値群における全ての評価値が同値ではないと判定した場合（つまり互いに異なる値の評価値が複数存在する場合）には、補正部１３１は、前回補正後の評価値群のうち最高評価値（つまり最高順位の評価値）に対する感情属性に対応する補正値を１減少させる（ステップＳ１７）。
次に、補正部１３１は、前回補正後の評価値群のうち最高評価値以外の各評価値に対する感情属性に対応する補正値を１／（ｎ−１）増加させる。ここでは、最高評価値が１つである例を示したが、例えば最高評価値が複数のｍ個である場合においては、最高評価値以外の各評価値に対する感情属性に対応する補正値をｍ／（ｎ−ｍ）増加させてもよい。
そして、補正部１３１は、取得部１１０により今回取得された評価値群に補正を行う（ステップＳ１９）。即ち、補正部１３１は、今回取得された評価値群における各評価値について、当該評価値に対する感情属性に対応する補正値を、当該評価値に加算し、補正処理を終える。
また、ステップＳ１６で、前回補正後の評価値群における全ての評価値が同値であると判定した場合には、補正部１３１は、ステップＳ１７及びステップＳ１８での処理をスキップして（つまり補正値を変化させずに）、ステップＳ１９で評価値群への補正を行い、補正処理を終える。
［１−３−５．補正処理の動作例４］
図６Ｄは、図５におけるステップＳ３で処理部１３０の補正部１３１が実行する補正処理の一例（動作例４）を示すフローチャートである。以下、図６Ｄに即して補正処理の動作例４を説明する。以下、取得部１１０により直前に取得された評価値群を今回取得の評価値群と称し、その１回前に取得された評価値群を前回取得の評価値群と称する。
補正部１３１は、前回取得の評価値群のうち、今回取得の評価値群の最高評価値と同一の感情属性に対する評価値の順位は、今回取得の評価値群の最高評価値の順位（つまり最高順位）と差異がないか否かを判定する（ステップＳ２１）。これは今回と前回とで最高順位の評価値に対する感情属性が同一か否かの判定と同様である。ステップＳ２１で、否定的な判定をした場合には、補正部１３１は、ステップＳ２２及びステップＳ２３での処理をスキップする。なお、前回取得の評価値群については、既にその評価値群に対して補正部１３１による補正処理が行われている場合においてその補正処理が行われた後の評価値群を用いることで、ステップＳ２１での判定を行うこととしてもよい。
ステップＳ２１で、前回取得の評価値群のうち今回取得の評価値群の最高評価値と同一の感情属性に対する評価値の順位が、今回取得の最高評価値の順位と差異がないと判定した場合には、補正部１３１は、今回取得の評価値群の最高評価値に対する感情属性に対応する補正値を１減少させる（ステップＳ２２）。本動作例では、説明の便宜上、最高評価値は１つであるとして説明する。
ステップＳ２２に続いて、補正部１３１は、今回取得の評価値群のうち最高評価値以外の各評価値に対する感情属性に対応する補正値を均等に１／（ｎ−１）増加させる（ステップＳ２３）。
ステップＳ２３の後に、或いは、ステップＳ２１で否定的な判定をした場合に、補正部１３１は、今回取得の評価値群の各評価値について、その評価値に対する感情属性に対応する補正値を加算して（ステップＳ２４）、補正処理を終える。なお、補正処理の実行後の評価値群は、推定部１３２に伝達されて推定処理（図５のステップＳ４）に用いられる。
［１−３−６．補正処理の動作例５］
図６Ｅは、図５におけるステップＳ３で処理部１３０の補正部１３１が実行する補正処理の一例（動作例５）を示すフローチャートである。以下、図６Ｅに即して補正処理の動作例５を説明する。
補正部１３１は、今回取得の評価値群と前回取得の評価値群とにおける同一の感情属性に対する評価値同士の差異が、所定基準を超えないという感情属性があるか否かを判定する（ステップＳ３１）。これは、複数種類の感情属性のうち、同一の感情属性に対して順次取得された２つの評価値同士の差異が、所定基準を超えないという感情属性があるか否かの判定と同様である。ステップＳ３１で、否定的な判定をした場合には、補正部１３１は、ステップＳ３２及びステップＳ３３での処理をスキップする。
ステップＳ３１で、今回取得の評価値群と前回取得の評価値群とにおける同一の感情属性に対する評価値同士の差異が、所定基準を超えないという感情属性があると判定した場合には、補正部１３１は、その差異が所定基準を超えないところの各感情属性に対応する補正値を１減少させる（ステップＳ３２）。所定基準は、例えばゼロ（０）、１又は２等であり。所定基準がゼロの場合には上述の差異がなければ所定基準を超えず、差異があれば所定基準を超えることになる。所定基準を超えないところの感情属性がある場合においてその感情属性の数は１つ又は複数となる。
ステップＳ３２に続いて、補正部１３１は、上述の差異が所定基準を超えないところの評価値に対する感情属性の数をｍとすると、他の（ｎ−ｍ）個の感情属性（つまり上述の差異が所定基準を超える感情属性）に対応する補正値それぞれをｍ／（ｎ−ｍ）だけ増加させる（ステップＳ３３）。
ステップＳ３３の後に、或いは、ステップＳ３１で否定的な判定をした場合に、補正部１３１は、今回取得の評価値群の各評価値について、その評価値に対する感情属性に対応する補正値を加算して（ステップＳ３４）、補正処理を終える。なお、補正処理の実行後の評価値群は、推定部１３２に伝達されて推定処理（図５のステップＳ４）に用いられる。
［１−３−７．補正処理の動作例６］
図６Ｆは、図５におけるステップＳ３で処理部１３０の補正部１３１が実行する補正処理の一例（動作例６）を示すフローチャートである。以下、図６Ｆに即して補正処理の動作例６を説明する。動作例６は、図４に示す各感情属性に対応する補正値の利用を省略した一例である。
補正部１３１は、今回取得の評価値群と前回取得の評価値群とにおける同一の感情属性に対する評価値同士の差異が、所定基準を超えないという感情属性があるか否かを判定する（ステップＳ４１）。ステップＳ４１は、図６ＥにおけるステップＳ３１と同様である。
ステップＳ４１で、否定的な判定をした場合には、補正部１３１は、ステップＳ４２及びステップＳ４３での処理をスキップして補正処理を終える。
ステップＳ４１で、今回取得の評価値群と前回取得の評価値群とにおける同一の感情属性に対する評価値同士の差異が、所定基準を超えないという感情属性があると判定した場合には、補正部１３１は、その差異が所定基準を超えないところの各感情属性に対する今回取得の評価値を所定数減少させる（ステップＳ４２）。ここでは所定基準は、例えばゼロとして説明する。ステップＳ４２では、同一の感情属性に対する今回取得の評価値と前回取得の評価値とに差異がなければ所定基準を超えないとして、その今回取得の評価値を所定数減少させる。所定数は、評価値がとり得る最大値に対して比較的小さいように予め定めた任意の数であり、例えば１である。なお、上述の差異があれば所定基準を超えることになる。
ステップＳ４２に続いて、補正部１３１は、今回取得の評価値群の全ての評価値の総和が所定の一定値（例えば１００）となるように、上述の差異が所定基準を超えないところの評価値以外の各評価値を均等に増加させ（ステップＳ４３）、補正処理を終える。なお、補正処理の実行後の評価値群は、推定部１３２に伝達されて推定処理（図５のステップＳ４）に用いられる。
なお、動作例６においても動作例２（図６ＢのステップＳ１４、Ｓ１５）に似た処理として、処理部１３０の補正部１３１は、更に、評価値群に対して補正処理を実行するとその評価値群の全ての評価値が同値となるような場合においては、その評価値群に対しての補正処理の実行を省略することとしてもよい。
［１−４．実施例］
図７は、感情推定処理の実施例に係る実施結果のデータを示す表である。この表のデータは、感情推定装置１００における取得部１１０により取得された評価値群（表の左側）と、記憶部１２０に記憶されている各感情属性に対応する補正値（表の中央）と、補正部１３１での補正処理の実行後における評価値群（表の右側）とを、評価値群が取得され補正処理が実行される毎に記録したデータである。これは、上述の動作例３に対応する補正処理の実行結果である。
１回分の評価値群において「平静」、「喜び」、「驚き」、「怒り」及び「悲しみ」の各感情属性に対する評価値の総和は１００となっている。また、１回目では、「平静」、「喜び」、「驚き」、「怒り」及び「悲しみ」の各感情属性に対応する補正値を、０に初期化している。
２回目では、取得された評価値群のうち感情属性「平静」に対する評価値が最高値であるので「平静」に対応する補正値を１減じて−１とし、他の各感情属性に対応する補正値を０．２５ずつ均等に増加している。５つの感情属性に対応する補正値の総和は０となっている。
逐次取得された評価値群においては毎回、感情属性「平静」の評価値が最高値となっているが、補正処理実行後の評価値群では、３１回目から感情属性「喜び」の評価値が最高値となっており、これは推定処理で対象者の主たる感情として「喜び」が推定される結果につながる。
なお、図７の表では、補正処理の３０回目において、補正処理実行後の評価値群における５つの各感情属性に対する評価値はいずれも２０であり、同値となっている。このため、図６Ｃで示したように、ステップＳ１７、Ｓ１８での補正値の変更がスキップされ、５つの各感情属性に対応する補正値は、３０回目と３１回目において変化していない。なお、２９回目においては、補正処理実行後の評価値群が「喜び」以外の４つの感情属性において最高値の２１となっているので、２９回目と比べて３０回目のその４つの感情属性に対応する補正値はいずれも１減少しており、補正値の総和を０に保つべく「喜び」という感情属性に対応する補正値が４増加している。
［１−５．感情推定結果］
図８は、感情推定装置１００の出力部１４０が出力する感情推定結果（つまり推定部１３２による推定処理の結果）の一例を示す図である。
同図の例における感情推定結果では、評価値群のうち最高値の評価値に対する感情属性が主たる感情として表され、各感情属性についての評価値が付加されている。
［１−６．効果等］
感情推定装置１００では、取得部１１０により逐次取得された評価値群において、例えば最高値の評価値（つまり最高順位の評価値）に対する感情属性が連続的に特定の感情属性（例えば「平静」）であった場合に、補正処理が繰り返される毎に、その特定の感情属性の評価値が低下し相対的に他の感情属性の評価値が増加する。このため、感情推定装置１００は、結果的に、特定の感情属性に隠されていた真の感情属性が、対象者の感情に占める度合が高いものとして推定できるようになる。
感情推定装置１００では、変化の乏しい感情属性に係る評価を低下させることによって、小さな感情変化が生じた場合においてその感情を適切に推定することが可能となり得る。また、例えば、対象者が「平静」等といった特定の感情を装っている場合、対象者の顔の表情の変化が乏しい場合等においても、感情推定装置１００によれば、真の感情を適切に推定し得る。また、例えば、対象者が、その内心と無関係に、特定の感情を表しているような顔立ちをしている場合においても、感情推定装置１００によれば、その見かけ上の感情に相当する感情属性の評価値の変動が少ないことから、補正処理によりその評価値を低減させることができるので、結果的に、対象者の真の感情が適切に推定され得る。補正処理の動作例１〜４では、評価値群のうち最高値である評価値に対応する感情属性が、感情の推定結果に大きく影響を与えることと、特定の顔立ちをしている対象者又は特定の感情を装っている対象者等について取得された評価値群における最高値の評価値に対応する感情属性が変化し難いこととを踏まえて、評価値群間での最高値の評価値に対する感情属性の差異についての判定を省略しているが、これは差異がないものと見做した結果であるとも言える。
なお、感情推定装置１００の推定部１３２の推定処理での感情の推定においては、評価値が相対的に高い感情属性ほど推定される感情への影響が強くなる。このため、例えば評価値群の全ての評価値の総和が一定値（例えば１００％）となる例を示したように、各感情属性についての評価値を対比可能な程度に正規化しておくことは有用となる。
（実施の形態２）
本実施の形態では、対象者の感情を分類した複数種類の感情属性に対する評価値の集合である評価値群を算定する構成を感情推定装置が備える例について、図面を用いて説明する。
［２−１．感情推定装置の構成］
図９は、感情推定装置１００ａの機能構成を示すブロック図である。
感情推定装置１００ａは、ユーザを感情推定の対象者として、感情推定処理を行う装置である。感情推定装置１００ａは、プロセッサ、記録媒体（例えばメモリ又はハードディスク等）、通信インタフェース（つまり通信回路）、ユーザインタフェース、イメージセンサ等を備えるコンピュータを含んで構成される。ユーザインタフェースは、一例としては、ディスプレイと、ディスプレイ面上に重ねられたタッチパッドとを含んで構成されるタッチパネル等を含む。感情推定装置１００ａは、例えば、スマートフォン、タブレット又はパーソナルコンピュータ等であってもよい。感情推定装置１００は、メモリに格納された感情推定用のプログラムをプロセッサで実行することで、対象者の感情について推定する感情推定方法を実現する。
感情推定装置１００ａは、実施の形態１で示した感情推定装置１００と同様の構成要素を含んで構成され、更に、イメージセンサ１５０と評価部１６０とを備える。実施の形態１で示した構成要素については、図９において図２と同様の符号を付しており、ここでは説明を適宜省略する。
イメージセンサ１５０は、撮像により画像を生成するセンサ、つまりカメラであり、対象者を撮像することで対象者の顔画像（つまり顔が写っている画像）を生成してその顔画像を評価部１６０に伝達する。イメージセンサ１５０は、例えば、数秒又は数十秒等の撮像間隔で撮像し、撮像毎に生成した顔画像を評価部１６０に伝達する。
評価部１６０は、プログラムを実行するプロセッサ等で実現され、顔画像が伝達されるとその顔画像に基づいて対象者の感情についての評価を行って、評価結果として感情を分類した複数種類の感情属性それぞれについての評価値の集合である評価値群を取得部１１０に伝達する感情評価機能を有する。この感情評価機能は、実施の形態１で示したサーバ装置３０における感情評価機能と同様である。評価部１６０では評価を、例えばイメージセンサ１５０により撮像された顔画像と、複数種類の感情属性それぞれにおける顔画像の特徴を示す情報とに基づく、画像処理又は特徴の照合等といった演算処理により、評価値群を算定することで実行する。複数種類の感情属性のうち、感情属性についての特徴的な表情等が、顔画像に表れている程度が高いほど、その感情属性に対する評価値は相対的に高いものとなる。なお、複数種類の感情属性は、例えば、実施の形態１で示したように５種類の「平静」、「喜び」、「驚き」、「怒り」及び「悲しみ」であるが、感情属性の数及び内容は、必ずしも前述のものに限られない。例えば、画像の特徴の照合に用いられる感情属性毎の顔画像の特徴を示す情報は周知の情報であるが、一例としては、例えば「喜び」については頬と唇の両端（つまり左端及び右端）とが顔の上方向（つまり頭頂側）に変位した状態となること等を表す情報、「怒り」については上瞼が上方向に変位した状態となること等を表す情報、「悲しみ」については上瞼と唇の両端とが下方向に変位した状態となること等を表す情報等が挙げられる。
評価部１６０の評価結果としての評価値群を構成する、複数種類の感情属性それぞれに対する評価値は、例えば、その評価値に対する感情属性が、対象者の感情に含まれる可能性の高さを示す確率（％）、レベル又はポイント数等のいかなる値であってもよい。例えば、評価部１６０の評価結果としての評価値群を構成する１つの感情属性に対する評価値は、その感情属性が対象者の感情に含まれる可能性を示す確率（％）を表し、その評価値群の全ての感情属性の評価値の総和が一定値（この例では１００％）となるように正規化されている。
取得部１１０は、評価部１６０の評価結果としての評価値群を、逐次取得し、取得した評価値群を記憶部１２０に格納する。取得部１１０は、例えば、プログラムを実行するプロセッサ等で実現され得る。取得部１１０が評価値群を取得する間隔は、例えば、数秒又は数十秒等であり、また、必ずしもイメージセンサ１５０における撮像の間隔と同一でなくてもよい。
記憶部１２０は、感情を分類した複数種類の感情属性それぞれに対応して補正値を記憶し、取得部１１０により取得された評価値群を記憶するためのメモリ等の記憶媒体の一領域である。
処理部１３０は、プログラムを実行するプロセッサ等で実現され、補正処理を実行する補正部１３１と、推定処理を実行する推定部１３２とを含んで構成される。
出力部１４０は、例えばプログラムを実行するプロセッサ等で実現され、推定部１３２による推定処理の結果を取得して、推定処理の結果を出力する。この推定処理の結果の出力は、例えば推定処理の結果を示す情報を表す信号の外部装置への送信である。また、この推定処理の結果の出力は、感情推定装置１００ａがディスプレイを備える場合においては、そのディスプレイに推定処理の結果（例えば図８に例示する情報）を表示させることであってもよい。また、この推定処理の結果の出力は、推定処理の結果を示す情報に基づいてディスプレイの表示内容を切り替えるプログラム処理に対して、その情報を送出することであってもよい。
［２−２．感情推定装置の動作］
上述の構成を備える感情推定装置１００ａでは、図５に示した感情推定処理を実行する。感情推定装置１００ａは、図５のステップＳ３での補正処理として、例えば図６Ａ〜図６Ｆのいずれかに示した処理等を、行い得る。但し、感情推定装置１００ａの取得部１１０が、図５のステップＳ２で取得する評価値群は、イメージセンサ１５０での撮像により生成された画像に基づいて、評価部１６０が逐次生成した評価結果としての評価値群である。
［２−３．効果等］
感情推定装置１００ａでは、サーバ装置３０等といった外部装置を用いずに、対象者の感情を推定してその結果を出力することができる。感情推定装置１００ａにおいても感情推定装置１００と同様に、評価値の変動の少ない感情属性が感情の推定結果に与える影響を低減させるような補正処理を実行するので、対象者が特定の感情を装っている場合、対象者の顔の表情の変化が乏しい場合等においても、真の感情を適切に推定し得る。
（他の実施の形態等）
以上のように、本出願において開示する技術の例示として、実施の形態１、２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加又は省略等を行った実施の形態にも適用可能である。
上述の実施の形態では、感情推定装置１００が感情を推定する対象である対象者がユーザ２０である例を示したが、感情推定の対象者は、いかなる人間でもよいし、人間以外の感情を有する生物（犬等）であってもよい。
また、上述の実施の形態では、対象者をセンシングするセンサとして、対象者の顔画像を撮像により取得するイメージセンサ１３或いはイメージセンサ１５０を例に挙げて説明した。対象者の画像、音声又は生体情報等の各種のセンシング結果から、感情を分類した複数種類の感情属性に係る評価（つまり対象者の感情に各感情属性が含まれる確率の推定等）が行われる場合には、対象者をセンシングするセンサは、イメージセンサに限られず、音声或いは生体情報の検知用等のいかなるセンサであってもよい。なお、画像、音声又は生体情報等の各種のセンシング結果から、上述の複数種類の感情属性に係る評価を行うために、いかなるアルゴリズムを利用してもよく、その評価結果としての評価値群を取得部１１０が取得できれば、感情推定装置１００、１００ａにおいて、対象者の感情を一層適切に推定することが可能になる。
また、上述の実施の形態では、感情推定装置１００、１００ａが近辺或いは内部に対象者をセンシングするためのセンサを備える例を示した。しかし、例えば、感情推定装置１００が取得する評価値群の供給元となる外部のコンピュータ（例えばサーバ装置３０）等が、対象者をセンシングするためのセンサを備えてもよいし、例えば、対象者がセンサを装着して、そのセンサが、直接又は他の装置を介して、無線又は有線通信により感情推定装置１００、１００ａ或いはサーバ装置３０に、センシング結果を送信することとしてもよい。
また、上述の実施の形態では、感情推定装置１００の出力部１４０は、推定処理の結果の出力として、その推定処理の結果を感情推定装置１００の外部へ送信する例を示した。しかし、推定処理の結果の出力はこれに限られず、例えば感情推定装置１００がディスプレイ又はプリンタ等を備える場合には、その出力として、推定処理の結果の表示又は印刷等をしてもよいし、その出力として、感情推定装置１００に着脱自在な記録媒体（例えばメモリカード等）へ推定処理の結果を記録してもよい。
また、上述した感情推定装置１００、１００ａにおける各部の機能分担は、任意に変更することができ、各部を統合してもよい。例えば、感情推定装置１００ａにおける取得部１１０が評価部１６０の機能を包含することとしてもよい。この場合には、取得部１１０は、例えば、複数種類の感情属性毎の特徴を示す情報に基づき、イメージセンサ１５０により対象者の顔を逐次撮像した結果である顔画像に応じた演算処理（例えば画像における特徴の照合等）を行って評価値群を逐次生成することで、評価値群を逐次取得することになる。
また、上述した感情推定装置１００、１００ａの処理部１３０では、例えば、取得部１１０で取得された第１評価値群と第２評価値群とにおける同一の感情属性に対する評価値同士の差異が所定基準を超えるか否かに基づいて補正値を定める。この補正値を定める方法として、例えば、ある同一の感情属性に対する評価値同士についての、評価値の大きさによって定まる評価値群における順位の差を、評価値同士の差異として取り扱い得るし、評価値同士の値の差又は比等を評価値同士の差異として取り扱ってもよい。評価値同士の差異が所定基準を超えない場合（例えば、差異が存在しない場合、或いは、差異が極めて小さい場合等）において、該当の感情属性に対応する補正値を減少させることとしてもよい。また、その感情属性に対応する補正値の減少後において各感情属性に対応する補正値の総和がゼロ等の一定値となるように他の補正値を変化させて正規化することとしてもよい。処理部１３０により逐次定められた各感情属性に対応する補正値は、例えば、その後（つまり第１評価値群及び第２評価値群より後）に取得部１１０により取得された評価値群のうち該当の感情属性に対応する評価値に対する演算（例えば加算）である補正処理に用いられることとしてもよい。これにより取得された第３評価値群の評価値が変化することになる。このように変化した、補正処理の実行後の第３評価値群は、処理部１３０の推定部１３２における推定処理に用いられることになる。
また、上述した感情推定装置１００、１００ａにより出力される対象者の感情の推定結果は、テレビ番組若しくは宣伝広告等に対する視聴者の感情の調査、医療のための診断又は患者等との意思疎通等の各種用途に利用可能である。
また、上述した感情推定装置１００、１００ａにおける各種処理（例えば図５、図６Ａ〜図６Ｆに示す手順等）の実行順序は、必ずしも、上述した通りの順序に制限されるものではなく、例えば、実行順序を入れ替えたり、複数の手順を並列に行ったり、その手順の一部を省略したりすることができる。また、上述の感情推定装置１００、１００ａにおける各種処理（例えば図５、図６Ａ〜図６Ｆに示す手順等）の全部又は一部は、専用の電子回路等のハードウェアにより実現されても、プロセッサ及びソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、感情推定装置１００、１００ａに含まれるプロセッサがメモリに記憶されたプログラム（例えば感情推定用のプログラム）を実行することにより実現されるものである。また、そのプログラムを、コンピュータが読み取り可能なＲＯＭ、光ディスク又はハードディスク等の非一時的な記録媒体に記録して頒布や流通させてもよい。例えば、頒布された感情推定用のプログラムを感情推定装置１００或いは感情推定装置１００ａにインストールして、そのインストール先の感情推定装置のプロセッサに実行させることで、その感情推定装置に各種処理（図５、図６Ａ〜図６Ｆに示す手順等）の全部又は一部を行わせることが可能となる。感情推定用のプログラムは、感情推定装置１００、１００ａの記録媒体（例えば記憶部１２０）に予め格納されていてもよいし、インターネット等を含む広域通信網を介してその記録媒体へ供給されてもよい。なお、感情推定用のプログラムは、例えば、感情推定の対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得ステップ（例えば図５のステップＳ２）と、取得ステップで取得された評価値群である第１評価値群と、取得ステップで第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、第１評価値群及び第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合（例えば差がない場合等）にはその同一の感情属性に対する第１評価値群の評価値を減少させるように第１評価値群に対して１つ以上の評価値を補正する補正処理を実行する補正ステップ（例えば図５のステップＳ３、図６Ａ〜図６Ｆの各ステップ等）と、補正ステップでの補正処理の実行後の第１評価値群に基づいて、上述の複数種類の感情属性のうち対応する評価値が相対的に高い感情属性ほど対象者の感情として相対的に強く推定されるように、対象者の感情を推定する推定処理を実行する推定ステップ（例えば図５のステップＳ４）と、推定ステップでの推定処理の結果を出力する出力ステップ（例えば図５のステップＳ５）とを含む。
また、上述した感情推定装置１００、１００ａにおける各機能構成要素としての機能ブロックの全部又は一部は、ＩＣ（Integrated Circuit）又はＬＳＩ（Large Scale Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。１チップ化されたＬＳＩは、プロセッサ、ＲＯＭ及びＲＡＭ等を含みコンピュータとして機能するシステムＬＳＩであってもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、或いは、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上述した実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。
本開示は、人間等の感情を推定する感情推定装置又は感情推定システム等に適用可能である。
１０ ディスプレイ装置
１１ 表示制御部
１２ 通信部
１３、１５０ イメージセンサ
２０ ユーザ
３０ サーバ装置
４０ 通信路
１００、１００ａ 感情推定装置
１１０ 取得部
１２０ 記憶部
１３０ 処理部
１３１ 補正部
１３２ 推定部
１４０ 出力部
１６０ 評価部

Claims (15)

  1. 対象者の感情を推定する感情推定装置であって、
    前記対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得部と、
    前記取得部により取得された評価値群である第１評価値群と、前記取得部により前記第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合には当該同一の感情属性に対する前記第１評価値群の評価値を減少させるように、前記第１評価値群に対して１つ以上の評価値を補正する補正処理を実行し、当該補正処理の実行後の前記第１評価値群に基づいて、前記複数種類の感情属性のうち対応する評価値が高い感情属性ほど前記対象者の感情として強く推定されるように、前記対象者の感情を推定する推定処理を実行する処理部と、
    前記処理部による前記推定処理の結果を出力する出力部とを備える
    感情推定装置。
  2. 前記取得部は、センサにより前記対象者を逐次センシングした結果に応じて算定された前記評価値群を逐次取得する
    請求項１記載の感情推定装置。
  3. 前記感情推定装置は、イメージセンサを備え、
    前記取得部は、前記複数種類の感情属性毎の特徴を示す情報に基づき、前記イメージセンサにより前記対象者の顔を逐次撮像した結果である顔画像に応じた演算処理を行うことで、前記評価値群を逐次取得する
    請求項２記載の感情推定装置。
  4. 前記取得部により取得された評価値群における前記複数種類の感情属性それぞれに対する評価値の総和は一定値であり、
    前記処理部は、前記補正処理の実行後の前記第１評価値群の各評価値の総和が前記一定値を維持するように、前記第１評価値群に対しての前記補正処理において、減少させるように補正した前記評価値以外の前記第１評価値群の評価値を増加させる
    請求項１〜３のいずれか一項に記載の感情推定装置。
  5. 前記処理部は、前記第１評価値群に対しての前記補正処理において、減少させるように補正した前記評価値以外の前記第１評価値群の評価値が複数存在する場合に当該複数の評価値それぞれを均等に増加させる
    請求項４記載の感情推定装置。
  6. 前記処理部は、前記取得部により取得された前記第１評価値群のうち最高値の評価値である最高評価値と、前記第２評価値群のうち当該最高評価値に対する感情属性と同一の感情属性に対する評価値との差異が、所定基準を超えない場合には、当該最高評価値を減少させるように前記補正処理を実行する
    請求項１〜５のいずれか一項に記載の感情推定装置。
  7. 前記取得部により取得される、前記評価値群の各評価値は、当該評価値に対する感情属性が、前記対象者の感情として含まれる可能性の高さを表す値であり、
    前記第１評価値群のうちの最高評価値と、前記第２評価値群のうち当該最高評価値に対する感情属性と同一の感情属性に対する評価値との差異は、最高順位と、前記第２評価値群のうち当該最高評価値に対する感情属性と同一の感情属性に対する評価値の高さに係る前記第２評価値群における順位との差異であり、当該差異がない場合には、前記処理部は当該差異が前記所定基準を超えないと扱うことで、前記補正処理を実行する
    請求項６記載の感情推定装置。
  8. 前記処理部は、
    前記補正処理の実行後の前記第１評価値群に基づいて前記推定処理を実行した後において、
    前記補正処理の実行後の前記第１評価値群と、前記取得部により前記第１評価値群の次に取得された評価値群である第３評価値群との関係に応じて、前記補正処理の実行後の前記第１評価値群及び前記第３評価値群における同一の感情属性に対する評価値同士の差異が前記所定基準を超えない場合には当該同一の感情属性に対する前記第３評価値群の評価値を減少させるように、前記第３評価値群に対して１つ以上の評価値を補正する補正処理を実行し、当該補正処理の実行後の前記第３評価値群に基づいて、前記複数種類の感情属性のうち対応する評価値が相対的に高い感情属性ほど前記対象者の感情として相対的に強く推定されるように、更に前記推定処理を実行する
    請求項１〜７のいずれか一項に記載の感情推定装置。
  9. 前記感情推定装置は、前記複数種類の感情属性それぞれに対応して補正値を記憶する記憶部を備え、
    前記処理部は、
    前記記憶部に記憶された前記補正値それぞれを０に初期化する初期化処理を行い、
    前記初期化処理の実行後において、前記取得部により取得された前記第１評価値群のうち最高値の評価値である最高評価値の高さに係る順位である最高順位と、前記取得部により取得された前記第２評価値群のうち当該最高評価値に対する感情属性と同一の感情属性に対する評価値の高さに係る前記第２評価値群における順位との差異がない場合には、当該最高評価値に対する感情属性に対応する前記補正値を減少させ、前記複数種類の感情属性それぞれに対応する前記補正値の総和が０となるように、前記第１評価値群のうち最高値以外の評価値それぞれに対する感情属性に対応する前記補正値を均等に増加させ、前記第１評価値群のうちの各感情属性に対する評価値に当該感情属性に対応する前記補正値を加算することで、前記補正処理を実行し、当該補正処理の実行後の前記第１評価値群に基づいて前記推定処理を実行し、
    前記補正処理の実行後の前記第１評価値群のうち最高値の評価値である最高評価値の高さに係る順位である最高順位と、前記取得部により前記第１評価値群の次に取得された評価値群である第３評価値群のうち当該最高評価値に対する感情属性と同一の感情属性に対する評価値の高さに係る前記第３評価値群における順位との差異がない場合には、当該同一の感情属性に対応する前記補正値を減少させ、前記複数種類の感情属性それぞれに対応する前記補正値の総和が０となるように、当該減少させた補正値以外の前記補正値を均等に増加させ、前記第３評価値群のうちの各感情属性に対する評価値に当該感情属性に対応する前記補正値を加算することで、更に前記補正処理を実行し、当該補正処理の実行後の前記第３評価値群に基づいて更に前記推定処理を実行する
    請求項１〜３のいずれか一項に記載の感情推定装置。
  10. 前記処理部による、前記補正処理の実行後の評価値群に基づく前記推定処理では、当該評価値群における最高値の評価値に対する感情属性を、前記対象者の感情であるとして推定する
    請求項１〜９のいずれか一項に記載の感情推定装置。
  11. 前記処理部は、評価値群に対して前記補正処理を実行すると当該評価値群の全ての評価値が同値となるような場合においては、当該評価値群に対しての前記補正処理の実行を省略する
    請求項１〜１０のいずれか一項に記載の感情推定装置。
  12. 前記処理部による前記補正処理では、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差が０である場合に、前記差異が所定基準を超えない場合であるとして、当該同一の感情属性に対する前記第１評価値群の評価値を減少させる
    請求項１〜６のいずれか一項に記載の感情推定装置。
  13. 対象者の感情を推定する感情推定装置であって、
    前記対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得部と、
    前記取得部により取得された評価値群である第１評価値群と、前記取得部により前記第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えるか否かに基づいて補正値を定め、当該補正値に応じて、前記取得部により前記第１評価値群の後に取得された第３評価値群における当該同一の感情属性に対する前記第３評価値群の評価値を変化させるように、前記第３評価値群に対して１つ以上の評価値を補正する補正処理を実行し、当該補正処理の実行後の前記第３評価値群に基づいて、前記対象者の感情を推定する推定処理を実行する処理部と、
    前記処理部による前記推定処理の結果を出力する出力部とを備える
    感情推定装置。
  14. 対象者の感情を推定する感情推定方法であって、
    前記対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得ステップと、
    前記取得ステップで取得された評価値群である第１評価値群と、前記取得ステップで前記第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合には当該同一の感情属性に対する前記第１評価値群の評価値を減少させるように、前記第１評価値群に対して１つ以上の評価値を補正する補正処理を実行する補正ステップと、
    前記補正ステップでの前記補正処理の実行後の前記第１評価値群に基づいて、前記複数種類の感情属性のうち対応する評価値が相対的に高い感情属性ほど前記対象者の感情として相対的に強く推定されるように、前記対象者の感情を推定する推定処理を実行する推定ステップと、
    前記推定ステップでの前記推定処理の結果を出力する出力ステップとを含む
    感情推定方法。
  15. マイクロプロセッサを備え対象者の感情を推定する感情推定装置に感情推定処理を実行させるためのプログラムであって、
    前記感情推定処理は、
    前記対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得ステップと、
    前記取得ステップで取得された評価値群である第１評価値群と、前記取得ステップで前記第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合には当該同一の感情属性に対する前記第１評価値群の評価値を減少させるように、前記第１評価値群に対して１つ以上の評価値を補正する補正処理を実行する補正ステップと、
    前記補正ステップでの前記補正処理の実行後の前記第１評価値群に基づいて、前記複数種類の感情属性のうち対応する評価値が相対的に高い感情属性ほど前記対象者の感情として相対的に強く推定されるように、前記対象者の感情を推定する推定処理を実行する推定ステップと、
    前記推定ステップでの前記推定処理の結果を出力する出力ステップとを含む
    プログラム。
JP2020511592A 2018-04-04 2018-10-25 感情推定装置、感情推定方法及びプログラム Active JP6941800B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018071994 2018-04-04
JP2018071994 2018-04-04
PCT/JP2018/039713 WO2019193781A1 (ja) 2018-04-04 2018-10-25 感情推定装置、感情推定方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019193781A1 JPWO2019193781A1 (ja) 2020-12-10
JP6941800B2 true JP6941800B2 (ja) 2021-09-29

Family

ID=68100626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020511592A Active JP6941800B2 (ja) 2018-04-04 2018-10-25 感情推定装置、感情推定方法及びプログラム

Country Status (3)

Country Link
US (1) US11373448B2 (ja)
JP (1) JP6941800B2 (ja)
WO (1) WO2019193781A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11127181B2 (en) * 2018-09-19 2021-09-21 XRSpace CO., LTD. Avatar facial expression generating system and method of avatar facial expression generation
JP7279583B2 (ja) * 2019-08-30 2023-05-23 セイコーエプソン株式会社 画像読取装置、及び画像読取装置における媒体の傾き算出方法
JP7260505B2 (ja) * 2020-05-08 2023-04-18 ヤフー株式会社 情報処理装置、情報処理方法、情報処理プログラム及び端末装置
JP7359084B2 (ja) * 2020-06-23 2023-10-11 トヨタ自動車株式会社 感情推定装置、感情推定方法及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3560936B2 (ja) 2001-06-05 2004-09-02 オープンインタフェース株式会社 感性データ算出方法および感性データ算出装置
JP3903783B2 (ja) 2001-12-14 2007-04-11 日本電気株式会社 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置
JP4375571B2 (ja) 2006-08-04 2009-12-02 日本電気株式会社 顔類似度算出方法および装置
JP4974788B2 (ja) 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP5423379B2 (ja) 2009-08-31 2014-02-19 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US10869626B2 (en) * 2010-06-07 2020-12-22 Affectiva, Inc. Image analysis for emotional metric evaluation
JP6076110B2 (ja) * 2013-02-06 2017-02-08 日本放送協会 不快度推定装置及び不快度推定プログラム
JP6132335B2 (ja) * 2013-03-15 2017-05-24 Ｎｅｃソリューションイノベータ株式会社 感情推定装置及び感情推定方法
US10474842B2 (en) * 2014-11-07 2019-11-12 Sony Corporation Information processing system, storage medium, and control method
JP5905652B1 (ja) * 2015-01-30 2016-04-20 株式会社Ｕｂｉｃ データ評価システム、データ評価方法、およびデータ評価プログラム
JP6467965B2 (ja) * 2015-02-13 2019-02-13 オムロン株式会社 感情推定装置及び感情推定方法
JP6301966B2 (ja) * 2015-03-13 2018-03-28 株式会社Ｕｂｉｃ データ分析システム、データ分析方法、データ分析のためのプログラム、及び、このプログラムの記録媒体
WO2017187712A1 (ja) * 2016-04-26 2017-11-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JP2018149053A (ja) 2017-03-13 2018-09-27 祐徳薬品工業株式会社 スリット入り救急絆創膏
JP7401968B2 (ja) * 2018-12-07 2023-12-20 ルネサスエレクトロニクス株式会社 撮影制御装置、撮影システム及び撮影制御方法
US11393252B2 (en) * 2019-05-01 2022-07-19 Accenture Global Solutions Limited Emotion sensing artificial intelligence
US11687778B2 (en) * 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals

Also Published As

Publication number Publication date
JPWO2019193781A1 (ja) 2020-12-10
US11373448B2 (en) 2022-06-28
WO2019193781A1 (ja) 2019-10-10
US20200410217A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
JP6941800B2 (ja) 感情推定装置、感情推定方法及びプログラム
US10799168B2 (en) Individual data sharing across a social network
WO2019120029A1 (zh) 智能调节屏幕亮度的方法、装置、存储介质及移动终端
US20190034706A1 (en) Facial tracking with classifiers for query evaluation
US20170238860A1 (en) Mental state mood analysis using heart rate collection based on video imagery
US20200134295A1 (en) Electronic display viewing verification
US20200342979A1 (en) Distributed analysis for cognitive state metrics
EP2919142A1 (en) Electronic apparatus and method for providing health status information
US20130151333A1 (en) Affect based evaluation of advertisement effectiveness
US20030156304A1 (en) Method for providing affective information in an imaging system
US11977981B2 (en) Device for automatically capturing photo or video about specific moment, and operation method thereof
US11430561B2 (en) Remote computing analysis for cognitive state data metrics
KR20140138798A (ko) 내재된 사용자 입력 및 행동에 기초한 미디어의 동적 각색을 위한 시스템 및 방법
US20170047096A1 (en) Video generating system and method thereof
US11386474B2 (en) System and method for generating a product recommendation in a virtual try-on session
CN111183455A (zh) 图像数据处理***与方法
CN111429338B (zh) 用于处理视频的方法、装置、设备和计算机可读存储介质
US20220138489A1 (en) Method of live video event detection based on natural language queries, and an apparatus for the same
KR102155521B1 (ko) 카메라를 구비하는 전자 장치의 부가 정보 획득 방법 및 장치
JP4943909B2 (ja) データ処理装置、データ処理方法、及びプログラム
US20160071550A1 (en) Video system for embedding excitement data and methods for use therewith
CN110062183A (zh) 获取进食数据的方法、装置、服务器、存储介质及***
US20200226012A1 (en) File system manipulation using machine learning
JP2018082766A (ja) 診断装置、診断方法、プログラム
US9706112B2 (en) Image tuning in photographic system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210820

R151 Written notification of patent or utility model registration

Ref document number: 6941800

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151