JP7076357B2 - 感情推定装置 - Google Patents

Description

本発明は、人の感情推定を行う感情推定装置に関する。

人の感情を推定する感情推定装置が様々な分野で開発されている。例えば、特許文献１には、運転者の顔面をカメラで撮像し、所定周期内（例えば３分以内）の表情の変化（顔面の特定部位の変化）の回数に基づいて、運転者が漫然状態か否かを判定する装置が開示されている。

特開２０１６－７１５７７号公報

感情推定の頻度を高くすれば、人の感情把握の精度を高くすることができるが、その反面、演算負荷が大きくなる。

本発明はこのような課題を考慮してなされたものであり、人の感情を適切に把握できるようにすると共に演算負荷が大きくなることを抑制することができる感情推定装置を提供することを目的とする。

本発明の態様は、
人の感情に変化を起こすイベントごとに当該イベントの発生を予測するための予測情報を記録する記録部と、
前記予測情報を検出することに基づいて、前記イベントの発生を予測するイベント予測部と、
前記感情推定を行う頻度を設定する頻度設定部と、
を備え、
前記頻度設定部は、前記イベント予測部により前記イベントの発生が予測される場合に、前記イベントの発生が予測されない場合よりも高い頻度を設定すると共に、前記イベントの内容に基づいて当該頻度を設定する。

本発明によれば、人の感情を適切に把握できるようにすると共に演算負荷が大きくなることを抑制することができる。

図１は第１実施形態に係る感情推定装置のブロック図である。 図２は第１、第２実施形態で実行される処理フローである。 図３は第２実施形態に係る感情推定装置のブロック図である。 図４は第３実施形態に係る感情推定装置のブロック図である。 図５は第３実施形態で実行される処理フローである。 図６は第４実施形態に係る感情推定装置のブロック図である。 図７は第４、第５実施形態で実行される処理フローである。 図８は第５実施形態に係る感情推定装置のブロック図である。

以下、本発明に係る感情推定装置について、好適な実施形態を挙げ、添付の図面を参照して詳細に説明する。

以下で説明する各実施形態においては、車両に設けられる感情推定装置を想定する。各実施形態においては、感情推定の対象者を、車内の所定位置に座る人に特定してもよいし、全ての人にしてもよい。なお、以下の説明では、運転席に座る人（運転者）の感情推定を行うことを想定する。

感情推定装置は、設定される頻度で人の感情推定を行う。人の感情は、イベントが発生した後に変化する。そこで、感情推定装置は、イベントが発生するよりも前に発生する可能性が高い他のイベント（以下、事前イベントという。）の有無を検出することにより、イベントの発生の有無を予測し、イベントの発生が予測される場合に、イベントの発生が予測されない場合よりも高い頻度を設定する。

［１．第１実施形態］
第１実施形態に係る感情推定装置１０を説明する。第１実施形態では、人の感情に変化を起こすイベントとして、車両内で人と他者とが会話すること（人と他者との会話）を想定する。

［１．１．構成］
図１を用いて第１実施形態に係る感情推定装置１０の構成を説明する。感情推定装置１０は、車内カメラ１２と、演算部１４と、記録部１６と、を有する。

車内カメラ１２は、各座席を撮像できる位置、例えば車内のダッシュボードや天井に設けられてもよいし、座席毎に設けられてもよい。車内カメラ１２は、車室（乗員）を撮像して画像情報を取得し、画像情報を演算部１４に出力する。

演算部１４は、ＣＰＵ等のプロセッサを備える。演算部１４は、記録部１６に記憶されるプログラムを実行することにより各種機能を実現する。第１実施形態において、演算部１４は、認識部２０、イベント予測部２２、識別部２４、頻度設定部２６、感情推定部２８として機能する。認識部２０は、車内カメラ１２により取得される画像情報に基づいて車内の状況（乗員の位置、乗員の顔等）を認識する。イベント予測部２２は、予測情報３２を検出することに基づいてイベントの発生を予測する。識別部２４は、人および人と同行する他者を識別する。頻度設定部２６は、感情推定を行う頻度を設定する。感情推定部２８は、車内カメラ１２により取得される画像情報に基づいて人の感情推定を行う。例えば微表情を判定して感情推定を行う。この際、感情推定部２８は、感情推定を頻度設定部２６で設定される頻度で行う。

記録部１６は、ＲＯＭ、ＲＡＭ等の記憶装置を備える。記録部１６は、演算部１４が実行するプログラム、各種数値、感情推定の頻度（所定頻度、第１頻度、第２頻度）を記録する他に、イベント情報３０と予測情報３２とを対応付けて記録し、また、人データベース３４（以下、人ＤＢ３４ともいう。）を記録する。イベント情報３０は、イベントを規定する情報である。また、予測情報３２は、イベント情報３０で示されるイベントの発生を予測するための情報、すなわち事前イベントを規定する情報である。第１実施形態において、イベント情報３０は、人と他者との会話というイベントを規定する情報であり、予測情報３２は、人の顔または視線が他者の方向に向くという事前イベントを規定する情報である。人ＤＢ３４は、人情報３６と、他者情報３８と、同行履歴情報４０と、を含む。人情報３６は、感情推定の対象者となる人の生体情報、例えば、顔画像データや指紋データ等を含む。他者情報３８は、人情報３６に紐付けられる情報であって、人情報３６で記録される人と関係がある他者の生体情報、例えば、顔画像データや指紋データ等を含む。同行履歴情報４０は、人と他者とが行動を共にした日付を時系列で示すデータである。

［１．２．動作］
図２を用いて第１実施形態に係る感情推定装置１０の動作を説明する。図２に示される一連の処理は定期的に行われる。

ステップＳ１において、イベント予測部２２は、予測情報３２で規定される事前イベントの検出状況を監視し、イベントが発生するか否かを予測する。この処理において、車内カメラ１２は、車内を撮像した画像情報を演算部１４に出力する。認識部２０は、画像情報を用いた画像認識処理により車内の人の位置および他者の位置を認識すると共に、画像情報を用いた顔検出技術または視線検出技術により人の顔の向きまたは視線の向きを認識する。イベント予測部２２は、認識部２０の認識結果に基づいて、人に対する他者の方向、および、人の顔または視線の向きを特定する。イベント予測部２２は、事前イベント（人の顔または視線が他者の方向に向く）が検出される場合に、イベント（人と他者との会話）が発生すると予測する（ステップＳ１：ＹＥＳ）。この場合に処理はステップＳ３に移行する。一方、イベント予測部２２は、事前イベントが検出されない場合に、イベントが発生しないと予測する（ステップＳ１：ＮＯ）。この場合に処理はステップＳ２に移行する。

ステップＳ１からステップＳ２に移行すると、頻度設定部２６は、感情推定の頻度として所定頻度を設定する。このとき、演算部１４は、図示しない感情推定装置に対して所定頻度で感情推定を行うように動作指示を出力する。ステップＳ２の後、一連の処理は一旦終了する。

ステップＳ１からステップＳ３に移行すると、頻度設定部２６は、識別部２４による識別結果に基づいて、人と他者との関係を判定する。識別部２４は、認識部２０により認識された人の顔の画像データを、人ＤＢ３４の人情報３６の顔画像データと照合することにより人を識別する。また、識別部２４は、認識部２０により認識された他者の顔の画像データを、識別した人の人情報３６に紐付けられている他者情報３８の顔画像データと照合することにより他者を識別する。更に、頻度設定部２６は、識別部２４の識別結果に基づいて人情報３６および他者情報３８に紐付けられている同行履歴情報４０を特定し、人と他者との関係を判定する。例えば、頻度設定部２６は、同行履歴情報４０に基づいて同行回数を演算する。そして、頻度設定部２６は、同行回数＞回数閾値である場合に、両者は親しい間柄であると判定する。また、頻度設定部２６は、同行回数≦回数閾値である場合に、両者は親しい間柄でないと判定する。なお、頻度設定部２６は、識別部２４が他者を識別できない場合も、両者は親しい間柄でないと判定する。他に、所定期間内の同行回数で両者の関係を判定してもよい。ステップＳ３の後、処理はステップＳ４に移行する。

ステップＳ４において、頻度設定部２６は、他者が人にとって気を遣う人物であるか否かを判定する。頻度設定部２６は、両者が親しい間柄でない場合に、他者が人にとって気を遣う人物であると判定する（ステップＳ４：ＹＥＳ）。この場合に処理はステップＳ５に移行する。一方、頻度設定部２６は、両者が親しい間柄である場合に、他者が人にとって気を遣う人物でないと判定する（ステップＳ４：ＮＯ）。この場合に処理はステップＳ６に移行する。

ステップＳ４からステップＳ５に移行すると、頻度設定部２６は、感情推定の頻度として所定頻度よりも高頻度である第１頻度を設定する。このとき、演算部１４は、図示しない感情推定装置に対して第１頻度で感情推定を行うように動作指示を出力する。ステップＳ５の後、一連の処理は一旦終了する。

ステップＳ４からステップＳ６に移行すると、頻度設定部２６は、感情推定の頻度として所定頻度よりも高頻度であり、かつ、第１頻度よりも低頻度である第２頻度を設定する。このとき、演算部１４は、図示しない感情推定装置に対して第２頻度で感情推定を行うように動作指示を出力する。ステップＳ６の後、一連の処理は一旦終了する。

ステップＳ４、ステップＳ５、ステップＳ６のように、頻度設定部２６は、人と他者との会話というイベントについての「イベントの内容」（親しい間柄の人物間の会話か）に基づいて頻度を設定する。

なお、演算部１４は、人情報３６および他者情報３８に紐付けられている同行履歴情報４０を更新する。この際、演算部１４は、同行履歴情報４０として、人と他者を識別した時点のシステム日付を新たに登録する。但し、同行履歴情報４０に既にシステム日付と同日の情報が記録されている場合、演算部１４は、同行履歴情報４０を更新しない。

［１．３．第１実施形態の変形例］
上記説明では車両に設けられる感情推定装置１０を想定した。これに代わり、車両以外の移動体に第１実施形態に係る感情推定装置１０を設けてもよい。また、移動体以外の装置、例えばパーソナルコンピュータ（モバイルＰＣ、タブレットＰＣを含む）やスマートフォンに第１実施形態に係る感情推定装置１０を設けてもよい。

［２．第２実施形態］
第２実施形態に係る感情推定装置１０を説明する。第２実施形態では、人の感情に変化を起こすイベントとして、人と他者が車両に搭乗すること（人と他者の車両への搭乗）を想定する。

［２．１．構成］
図３を用いて第２実施形態に係る感情推定装置１０の構成を説明する。なお、第２実施形態においては、第１実施形態と同一の構成に同一の符号を付し、その説明を省略する。感情推定装置１０は、車内カメラ１２と、接触センサ４２と、指紋センサ４４と、演算部１４と、記録部１６と、を有する。

接触センサ４２と指紋センサ４４は、各ドアハンドルに設けられる。接触センサ４２は、ドアハンドルに対する接触を検知し、検知情報を演算部１４に出力する。指紋センサ４４は、ドアハンドルに触れた人または他者の指紋を検出し、指紋情報を演算部１４に出力する。

第２実施形態において、演算部１４は、認識部２０、イベント予測部２２、識別部２４、頻度設定部２６として機能する。

第２実施形態において、記録部１６は、イベント情報３０と予測情報３２とを対応付けて記録し、また、人ＤＢ３４を記録する。第２実施形態において、イベント情報３０は、人と他者の車両への搭乗というイベントを規定する情報であり、予測情報３２は、人と他者がドアハンドルに接触するという事前イベントを規定する情報である。

［２．２．動作］
第１実施形態と同様に、図２を用いて第２実施形態に係る感情推定装置１０の動作を説明する。図２に示される一連の処理は定期的に行われる。以下では、第１実施形態と異なる処理が行われるステップ（ステップＳ１、ステップＳ３）を中心に第２実施形態で行われる処理を説明する。

ステップＳ１において、イベント予測部２２は、予測情報３２で規定される事前イベントの検出状況を監視し、イベントが発生するか否かを予測する。この処理において、イベント予測部２２は、運転席のドアに設けられる接触センサ４２と、他座席、例えば助手席のドアに設けられる接触センサ４２の検出結果に基づいて、ドアハンドルに対する接触状態を特定する。イベント予測部２２は、事前イベント（人と他者がドアハンドルに接触する）が検出される場合に、イベント（人と他者の車両への搭乗）が発生すると予測する（ステップＳ１：ＹＥＳ）。この場合に処理はステップＳ３に移行する。一方、イベント予測部２２は、事前イベントが検出されない場合に、イベントが発生しないと予測する（ステップＳ１：ＮＯ）。この場合に処理はステップＳ２に移行する。

ステップＳ１からステップＳ３に移行すると、頻度設定部２６は、識別部２４による識別結果に基づいて、人と他者との関係を判定する。識別部２４は、運転席のドアに設けられる指紋センサ４４により検出された指紋データを、人ＤＢ３４の人情報３６の指紋データと照合することにより人を識別する。また、識別部２４は、助手席のドアに設けられる指紋センサ４４により検出された指紋データを、識別した人の人情報３６に紐付けられている他者情報３８の指紋データと照合することにより他者を識別する。更に、頻度設定部２６は、識別部２４の識別結果に基づいて人情報３６および他者情報３８に紐付けられている同行履歴情報４０を特定し、人と他者との関係を判定する。人と他者との関係の判定方法は、第１実施形態と同じようにすることができる。

第１実施形態と同様に、頻度設定部２６は、人が車両に搭乗するというイベントについての「イベントの内容」（親しい間柄の人物との乗車か）に基づいて頻度を設定する。

［２．３．第２実施形態の変形例］
第２実施形態を、第１実施形態と組み合わせてもよい。

［３．第３実施形態］
第３実施形態に係る感情推定装置１０を説明する。第３実施形態では、人の感情に変化を起こすイベントとして、運転状況が変化すること（運転状況の変化）を想定する。

［３．１．構成］
図４を用いて第３実施形態に係る感情推定装置１０の構成を説明する。なお、第３実施形態においては、第１実施形態と同一の構成に同一の符号を付し、その説明を省略する。感情推定装置１０は、車内カメラ１２と、ナビゲーション装置５０と、車速センサ５２と、演算部１４と、記録部１６と、を有する。

ナビゲーション装置５０は、ナビ演算部５４と、ナビ記録部５６と、通信部５８と、測位部６０と、ＨＭＩ部６２と、を有する。ナビ演算部５４は、ＣＰＵ等のプロセッサを備える。ナビ記録部５６は、ＲＯＭ、ＲＡＭ等の記憶装置を備え、地図情報を記録する。通信部５８は、道路に設けられる通信端末から送信される電波を受信する第１受信機と、放送局から送信される電波を受信する第２受信機と、を備える。測位部６０は、ＧＰＳ衛星から送信される電波を受信するＧＰＳ受信機とジャイロセンサを備える。ナビゲーション装置５０は、種々の情報、例えば、各受信機により受信される交通情報やＧＰＳ受信機等で測位される車両位置等の情報を演算部１４に出力する。車速センサ５２は、車両の走行速度を検出して演算部１４に出力する。

第３実施形態において、演算部１４は、認識部２０、イベント予測部２２、リスク推定部６４、頻度設定部２６として機能する。リスク推定部６４は、人が搭乗する車両の運転状況に対するリスク度合を推定する。

第３実施形態において、記録部１６は、イベント情報３０と予測情報３２とを対応付けて記録し、また、リスク度合演算マップ６６を記録する。第３実施形態において、イベント情報３０は、運転状況の変化というイベントを規定する情報であり、予測情報３２は、右左折地点に接近するという事前イベントを規定する情報である。ここでいう接近とは、車両位置と右左折地点との距離が所定距離以内になることである。リスク度合演算マップ６６は、リスクパラメータ（交通事故件数、交通参加者数、車速等）とリスク度合とを予め対応付ける。ここでいうリスク度合とは、右左折地点または右左折地点以降における走行リスクのことをいう。以下の説明では、リスク度合を右左折地点における走行リスクとする。

［３．２．動作］
図５を用いて第３実施形態に係る感情推定装置１０の動作を説明する。図５に示される一連の処理は定期的に行われる。図５に示される各処理のうち、ステップＳ１２、ステップＳ１５、ステップＳ１６の処理は、図２に示されるステップＳ２、ステップＳ５、ステップＳ６の処理と同じである。以下では、独自の処理が行われるステップＳ１１、ステップＳ１３、ステップＳ１４の処理を中心に第３実施形態で行われる処理を説明する。

ステップＳ１１において、イベント予測部２２は、予測情報３２で規定される事前イベントの検出状況を監視し、イベントが発生するか否かを予測する。この処理において、ナビゲーション装置５０は、最新の車両位置を測定し、車両位置から所定距離内に設定されている走行予定経路を監視する。所定距離の情報は予めナビ記録部５６に記録される。ナビゲーション装置５０は、車両位置から所定距離内に右左折地点があることを検出した場合に、演算部１４に対して、右左折地点が所定距離内にあることを知らせる検出信号を出力する。イベント予測部２２は、ナビゲーション装置５０により事前イベント（右左折地点に接近する）が検出される場合に、イベント（道路状況の変化）が発生すると予測する（ステップＳ１１：ＹＥＳ）。この場合に処理はステップＳ１３に移行する。一方、イベント予測部２２は、ナビゲーション装置５０により事前イベントが検出されない場合に、イベントが発生しないと予測する（ステップＳ１１：ＮＯ）。この場合に処理はステップＳ１２に移行する。

ステップＳ１１からステップＳ１３に移行すると、頻度設定部２６は、リスク推定部６４による推定結果に基づいて、リスク度合を特定する。この処理において、ナビゲーション装置５０は、通信部５８を介して外部の通信端末または放送局から発信される右左折地点の道路の交通情報、例えば交通参加者数や事故件数の情報を取得し、演算部１４に出力する。また、車速センサ５２は、検出した車速を演算部１４に出力する。リスク推定部６４は、リスク度合演算マップ６６を用いてリスクパラメータ（交通参加者数、事故件数、車速）の少なくとも１つに応じたリスク度合を推定する。頻度設定部２６は、リスク推定部６４により推定されるリスク度合を、右左折地点の道路のリスク度合として特定する。

ステップＳ１４において、頻度設定部２６は、リスク度合を基準値と比較する。基準値の情報は記録部１６に予め記録される。リスク度合＞基準値である場合（ステップＳ１４：ＹＥＳ）、処理はステップＳ１５に移行する。一方、リスク度合≦基準値である場合（ステップＳ１４：ＮＯ）、処理はステップＳ１６に移行する。

ステップＳ１４、ステップＳ１５、ステップＳ１６のように、頻度設定部２６は、運転状況の変化というイベントについての「イベントの内容」（リスク度合が基準値より高くなる運転状況変化か）に基づいて頻度を設定する。

［３．３．第３実施形態の変形例］
［３．３．１．変形例１］
第３実施形態を、第１実施形態と第２実施形態の少なくとも１つと組み合わせてもよい。

［３．３．２．変形例２］
記録部１６は、リスク度合と頻度とを対応付けるマップを予め記録していてもよい。マップは、リスク度合が高くなるほど高い頻度を対応付ける。この場合、頻度設定部２６は、リスク度合に対応する頻度をマップから求める。

［４．第４実施形態］
第４実施形態に係る感情推定装置１０を説明する。第４実施形態では、人の感情に変化を起こすイベントとして、車両に搭乗する人に対して店の案内が報知されること（情報の報知）を想定する。

［４．１．構成］
図６を用いて第４実施形態に係る感情推定装置１０の構成を説明する。なお、第４実施形態においては、第１実施形態と同一の構成に同一の符号を付し、その説明を省略する。感情推定装置１０は、車内カメラ１２と、ナビゲーション装置５０と、演算部１４と、記録部１６と、を有する。

ナビゲーション装置５０のナビ記録部５６は、登録店情報６８と距離情報７０（第１距離、第２距離）を記録する。登録店情報６８は、人によって登録される店の情報、例えば好みの店（嗜好性に沿った店）の情報であり、店の名前、位置情報を含む。距離情報７０のうち第１距離は、店の案内を報知するタイミングを規定する情報である。距離情報７０のうち第２距離は、報知の予測を行うタイミングを規定する情報である。なお、第１距離＜第２距離である。本実施形態において、ナビゲーション装置５０は、測位部６０により測定される車両位置と登録店情報６８として登録される店の位置との距離が第２距離以下となった場合に、好みの店に接近することを知らせる検出信号を出力し、第１距離以下となった場合に、ＨＭＩ部６２を介して車両が店に近づいたことを報知する。

第４実施形態において、演算部１４は、イベント予測部２２、認識部２０、識別部２４、自信度判定部７２、頻度設定部２６として機能する。自信度判定部７２は、ナビゲーション装置５０のＨＭＩ部６２による報知内容の自信度を判定する。

第４実施形態において、記録部１６は、イベント情報３０と予測情報３２とを対応付けて記録し、また、人－店データベース７４（以下、人－店ＤＢ７４ともいう。）と、第１自信度演算マップ８０と、を記録する。第４実施形態において、イベント情報３０は、情報（店の案内）の報知というイベントを規定する情報であり、予測情報３２は、好みの店に接近するという事前イベントを規定する情報である。人－店ＤＢ７４は、人情報３６と、店情報７６と、入店履歴情報７８と、を含む。店情報７６は、人情報３６に紐付けられる情報であって、人情報３６で記録される人が過去に訪れた店の名前、店の種別、位置等の情報を含む。入店履歴情報７８は、人情報３６および店情報７６に紐付けられる情報であって、人が店を訪れた日付を時系列で示すデータである。第１自信度演算マップ８０は、自信度パラメータ（入店回数、入店頻度等）と自信度とを予め対応付ける。ここでいう自信度とは、報知内容が適切であるか否かを計る尺度である。

［４．２．動作］
図７を用いて第４実施形態に係る感情推定装置１０の動作を説明する。図７に示される一連の処理は定期的に行われる。図７に示される各処理のうち、ステップＳ２２、ステップＳ２５、ステップＳ２６の処理は、図２に示されるステップＳ２、ステップＳ５、ステップＳ６の処理と同じである。以下では、独自の処理が行われるステップＳ２１、ステップＳ２３、ステップＳ２４の処理を中心に第４実施形態で行われる処理を説明する。

ステップＳ２１において、イベント予測部２２は、予測情報３２で規定される事前イベントの検出状況を監視し、イベントが発生するか否かを予測する。この処理において、ナビゲーション装置５０は、最新の車両位置を測定し、車両と登録店情報６８に登録される店との相対位置を監視する。ナビゲーション装置５０は、車両と店との距離が第２距離（＞第１距離）以内になった場合に、演算部１４に対して、登録された店が第２距離以内にあること、すなわち好みの店に接近することを知らせる検出信号を出力する。イベント予測部２２は、ナビゲーション装置５０により事前イベント（好みの店に接近する）が検出される場合に、イベント（情報の報知）が発生すると予測する（ステップＳ２１：ＹＥＳ）。この場合に処理はステップＳ２３に移行する。一方、イベント予測部２２は、ナビゲーション装置５０により事前イベントが検出されない場合に、イベントが発生しないと予測する（ステップＳ２１：ＮＯ）。この場合に処理はステップＳ２２に移行する。

ステップＳ２１からステップＳ２３に移行すると、頻度設定部２６は、自信度判定部７２による判定結果に基づいて、自信度を特定する。この処理において、ナビゲーション装置５０は、車両との距離が第２距離以内になった店の登録店情報６８を演算部１４に出力する。また、車内カメラ１２は、車内を撮像した画像情報を演算部１４に出力する。認識部２０は、画像情報を用いた画像認識処理により車内の人の顔を認識する。識別部２４は、認識部２０により認識された人の顔の画像データを、人－店ＤＢ７４の人情報３６の顔画像データと照合することにより人を識別する。自信度判定部７２は、識別された人の人情報３６に紐付けられる店情報７６の中から、登録店情報６８と一致する店情報７６を検索する。更に、自信度判定部７２は、検索した店情報７６に紐付けられる入店履歴情報７８に基づき、入店回数または所定期間内の入店頻度を演算する。自信度判定部７２は、第１自信度演算マップ８０を用いて自信度パラメータ（入店回数、入店頻度）の少なくとも１つに応じた自信度を判定する。頻度設定部２６は、自信度判定部７２により判定される自信度を、報知情報の自信度として特定する。

ステップＳ２４において、頻度設定部２６は、自信度を基準値と比較する。基準値の情報は記録部１６に予め記録される。自信度＜基準値である場合（ステップＳ２４：ＹＥＳ）、処理はステップＳ２５に移行する。一方、自信度≧基準値である場合（ステップＳ２４：ＮＯ）、処理はステップＳ２６に移行する。

ステップＳ２４、ステップＳ２５、ステップＳ２６のように、頻度設定部２６は、情報の報知というイベントについての「イベントの内容」（システムとして自信度が高い報知かどうか）に基づいて頻度を設定する。

なお、演算部１４は、人が実際に店に入店した場合に、人情報３６および店情報７６に紐付けられている入店履歴情報７８を更新する。この際、演算部１４は、入店履歴情報７８として、店近辺で車両が駐車または発車した時点のシステム日付を新たに登録する。演算部１４は、車両の駐車、発車をイグニッションスイッチ、スタートスイッチ等の操作により検出する。

［４．３．第４実施形態の変形例］
［４．３．１．変形例１］
第４実施形態を、第１実施形態～第３実施形態の少なくとも１つと組み合わせてもよい。また、頻度設定部２６は、種類が異なるイベント内容である「人と他者との会話」、「人と他者の車両への搭乗」、「運転状況の変化」、「情報の報知」について、それぞれ特有の頻度を設定してもよい。

［４．３．２．変形例２］
記録部１６は、自信度と頻度とを対応付けるマップを予め記録していてもよい。マップは、自信度が高くなるほど低い頻度を対応付ける。この場合、頻度設定部２６は、自信度に対応する頻度をマップから求める。

［５．第５実施形態］
第５実施形態に係る感情推定装置１０を説明する。第５実施形態では、人の感情に変化を起こすイベントとして、車両に搭乗する人に対して給油の推薦（推薦事項）が報知されること（情報の報知）を想定する。なお、本実施形態では、車両としてガソリンや軽油等を燃料とするガソリン車またはディーゼル車を想定する。

［５．１．構成］
図８を用いて第５実施形態に係る感情推定装置１０の構成を説明する。なお、第５実施形態においては、第１実施形態と同一の構成に同一の符号を付し、その説明を省略する。感情推定装置１０は、車内カメラ１２と、ナビゲーション装置５０と、燃料センサ８６と、演算部１４と、記録部１６と、を有する。

燃料センサ８６は、車両の燃料タンクに設けられる。燃料センサ８６は、燃料タンク内の燃料の残量を検出し、ナビゲーション装置５０と演算部１４に出力する。

ナビゲーション装置５０のナビ記録部５６は、残量情報８４（第１残量、第２残量）を記録する。残量情報８４のうち第１残量は、給油の推薦を報知するタイミングを規定する情報である。残量情報８４のうち第２残量は、報知の予測を行うタイミングを規定する情報である。なお、第１残量＜第２残量である。本実施形態において、ナビゲーション装置５０は、燃料センサ８６により検出される燃料の残量が第１残量以下となった場合に、車内の人に、ＨＭＩ部６２を介して、給油の必要性を報知する。

第５実施形態において、演算部１４は、認識部２０、イベント予測部２２、自信度判定部７２、頻度設定部２６として機能する。

第５実施形態において、記録部１６は、イベント情報３０と予測情報３２とを対応付けて記録し、また、第２自信度演算マップ８８を記録する。第５実施形態において、イベント情報３０は、情報（給油の推薦）の報知というイベントを規定する情報であり、予測情報３２は、燃料の残量が第２残量以下となるという事前イベントを規定する情報である。第２自信度演算マップ８８は、自信度パラメータ（走行可能距離－目的地までの距離）と自信度とを予め対応付ける。

［５．２．動作］
第４実施形態と同様に、図７を用いて第５実施形態に係る感情推定装置１０の動作を説明する。図７に示される一連の処理は定期的に行われる。以下では、第４実施形態と異なる処理が行われるステップ（ステップＳ２１、ステップＳ２３）を中心に第５実施形態で行われる処理を説明する。

ステップＳ２１において、イベント予測部２２は、予測情報３２で規定される事前イベントの検出状況を監視し、イベントが発生するか否かを予測する。この処理において、燃料センサ８６は、燃料の残量を検出してナビゲーション装置５０と演算部１４に出力する。ナビゲーション装置５０は、燃料の残量が第２残量（＞第１残量）以下となった場合に、演算部１４に対して、給油の推薦の報知が行われることを知らせる信号を出力する。イベント予測部２２は、ナビゲーション装置５０により事前イベント（燃料の残量が第２残量以下となる）が検出される場合に、イベント（情報の報知）が発生すると予測する（ステップＳ２１：ＹＥＳ）。この場合に処理はステップＳ２３に移行する。一方、イベント予測部２２は、ナビゲーション装置５０により事前イベントが検出されない場合に、イベントが発生しないと予測する（ステップＳ２１：ＮＯ）。この場合に処理はステップＳ２２に移行する。

ステップＳ２１からステップＳ２３に移行すると、頻度設定部２６は、自信度判定部７２による判定結果に基づいて、自信度を特定する。この処理において、自信度判定部７２は、燃料センサ８６で検出される燃料の残量と、記録部１６に記録される燃費と、に基づいて、給油せずに走行できる最長距離、すなわち走行可能距離を演算する。また、自信度判定部７２は、ナビゲーション装置５０で測定される車両位置から目的地までの距離を取得し、“走行可能距離－目的地までの距離”を演算する。自信度判定部７２は、第２自信度演算マップ８８を用いて“走行可能距離－目的地までの距離”に応じた自信度を判定する。頻度設定部２６は、自信度判定部７２により判定される自信度を、報知情報の自信度として特定する。

第４実施形態と同様に、頻度設定部２６は、情報の報知というイベントについての「イベントの内容」（システムとして自信度が高い報知かどうか）に基づいて頻度を設定する。

［５．３．第５実施形態の変形例］
［５．３．１．変形例１］
第５実施形態を、第１実施形態～第４実施形態の少なくとも１つと組み合わせてもよい。

［５．３．２．変形例２］
記録部１６が自信度と頻度とを対応付けるマップを記録し、頻度設定部２６が自信度に対応する頻度をマップから求めるようにしてもよい。この場合、マップは、自信度が高くなるほど低い頻度を対応付ける。

［５．３．３．変形例３］
第５実施形態において、情報（給油の推薦）の報知の際に、質問を伴うようにしてもよい。例えば、ナビゲーション装置５０は、人に対して給油を推薦する際に、給油地点を設定するか否かの問合せ（第１質問）を行うようにしてもよい。この問合せに対して、人は、ＨＭＩ部６２を使用してイエスまたはノーの回答をする。また、ナビゲーション装置５０は、人に対して給油を推薦する際に、希望する給油地点の問合せ（第２質問）を行うようにしてもよい。この問合せに対して、人は、ＨＭＩ部６２を使用して給油地点の設定を行う。

頻度設定部２６は、第２質問のようにイエスまたはノーで回答できるものでない場合に第１頻度を設定し、第１質問のようにイエスまたはノーで回答できるものである場合に第２頻度（＜第１頻度）を設定する。

変形例３において、頻度設定部２６は、情報の報知というイベントについての「イベントの内容」（イエスまたはノーで回答できる情報の報知か）に基づいて頻度を設定する。

［６．他の実施形態］
他のタイミングで感情推定を行う頻度を変更してもよい。例えば、人が携帯電話で通話する、または、人が携帯端末に届いたメッセージを読む、というイベントに対して、人の携帯端末に電話やメールが届くという事前イベントを設定してもよい。この場合、人の携帯端末に電話やメールが届いたことをトリガにして感情推定を行う頻度を通常頻度よりも高い頻度に設定する。

［７．実施形態から得られる発明］
上記実施形態および変形例から把握しうる発明について、以下に記載する。

本発明は、
人の感情に変化を起こすイベントごとにイベントの発生を予測するための予測情報３２を記録する記録部１６と、
予測情報３２を検出することに基づいて、イベントの発生を予測するイベント予測部２２と、
感情の推定を行う頻度を設定する頻度設定部２６と、
を備え、
頻度設定部２６は、イベント予測部２２によりイベントの発生が予測される場合に、イベントの発生が予測されない場合よりも高い頻度を設定すると共に、イベントの内容に基づいて頻度を設定する。

上記構成によれば、人の感情に変化を起こすイベントの発生が予測される場合に、イベントの発生が予測されない場合よりも高い頻度を設定するため、人の感情を適切に把握することができる。また、イベント内容に基づいて頻度が設定されるため、必要以上の頻度で感情推定が行われることを抑制することができ、装置の演算負荷が大きくなることを抑制することができる。更に、イベントの発生が予測されない場合は通常の頻度で感情推定が行われるため、感情推定装置１０の演算負荷が大きくなることを抑制することができる。

本発明（第１実施形態）において、
人と同行する他者を識別する識別部２４を備え、
記録部１６は、人と他者との会話の発生を予測するための予測情報３２を記録し、
頻度設定部２６は、識別部２４による他者の識別結果に基づいて頻度を設定してもよい。

上記構成によれば、人と他者との会話という人の感情に変化を起こすイベントを予測することができ、その際に、人と他者との関係に基づいて頻度を設定するため、適切な頻度で感情推定を行うことができる。

本発明（第２実施形態）において、
人と同行する他者を識別する識別部２４を備え、
記録部１６は、人の車両への搭乗を予測するための予測情報３２を記録し、
頻度設定部２６は、識別部２４による他者の識別結果に基づいて頻度を設定してもよい。

上記構成によれば、人と他者の車両への搭乗という人の感情に変化を起こすイベントを予測することができ、その際に、人と他者との関係に基づいて頻度を設定するため、適切な頻度で感情推定を行うことができる。

本発明（第１、第２実施形態）において、
記録部１６は、複数の他者ごとに、人にとって気を遣う人物かどうか区別して記録し、
頻度設定部２６は、他者が人にとって気を遣う人物である場合に第１頻度を設定し（図２のステップＳ５）、他者が人にとって気を遣う人物ではない場合に第１頻度よりも低い第２頻度を設定してもよい（図２のステップＳ６）。

本発明（第３実施形態）において、
人が搭乗する車両の運転状況に対するリスク度合を推定するリスク推定部６４を備え、
記録部１６は、車両の運転状況が変化することを予測するための予測情報３２を記録し、
頻度設定部２６は、リスク推定部６４により推定される車両の運転状況の変化地点または変化後のリスク度合に基づいて頻度を設定してもよい。

上記構成によれば、運転状況の変化という人の感情に変化を起こすイベントを予測することができ、その際に、リスク度合に基づいて頻度を設定するため、適切な頻度で感情推定を行うことができる。

本発明（第３実施形態）において、
頻度設定部２６は、リスク度合が高いほど頻度を高く設定してもよい。

例えば、頻度設定部２６は、リスク度合が所定の基準値よりも高い場合に第１頻度を設定し（図５のステップＳ１５）、リスク度合が基準値以下である場合に第１頻度よりも低い第２頻度を設定してもよい（図５のステップＳ１６）。

本発明（第３実施形態）において、
リスク推定部６４は、交通事故件数、車速、交通参加者数、の少なくとも１つに基づいてリスク度合を推定してもよい。

本発明（第４、第５実施形態）において、
人に対して所定情報を報知する報知部（ＨＭＩ部６２）と、
報知部による報知内容の自信度を判定する自信度判定部７２と、を備え、
記録部１６は、所定情報の報知が行われることを予測するための予測情報３２を記録し、
頻度設定部２６は、自信度判定部７２により判定される自信度に基づいて頻度を設定してもよい。

上記構成によれば、人に対する情報の報知という人の感情に変化を起こすイベントを予測することができ、その際に、自信度に基づいて頻度を設定するため、適切な頻度で感情推定を行うことができる。

本発明（第４、第５実施形態）において、
頻度設定部２６は、自信度が低いほど頻度を高く設定してもよい。

例えば、頻度設定部２６は、自信度が所定の基準値よりも低い場合に第１頻度を設定し（図７のステップＳ２５）、前記自信度が前記基準値よりも高い場合に前記第１頻度よりも低い第２頻度を設定してもよい（図７のステップＳ２６）。

本発明（第４実施形態）において、
自信度判定部７２は、自信度を人の嗜好性に沿っているか否かで判断してもよい。

本発明（第５実施形態の変形例２）において、
頻度設定部２６は、人に対する報知内容が人に対する質問を伴うものであって、質問がイエスまたはノーで回答できるものでない場合に第１頻度を設定し、質問がイエスまたはノーで回答できるものである場合に第１頻度よりも低い第２頻度を設定してもよい。

なお、本発明に係る感情推定装置は、上述の実施形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。

１０…感情推定装置 １６…記録部
２２…イベント予測部 ２４…識別部
２６…頻度設定部 ３２…予測情報
６２…ＨＭＩ部（報知部） ６４…リスク推定部
７２…自信度判定部

Claims (11)

1. 人の感情に変化を起こすイベントごとに当該イベントの発生前に発生する事前イベントを記録する記録部と、
   前記事前イベントを検出することに基づいて、前記イベントの発生を予測するイベント予測部と、
   前記感情の推定を行う頻度を設定する頻度設定部と、
   を備え、
   前記頻度設定部は、前記イベント予測部により前記イベントの発生が予測されることをトリガとして、前記イベントの発生が予測されない場合よりも高い前記頻度を設定すると共に、前記イベントの内容に基づいて当該頻度を設定する、感情推定装置。
2. 請求項１に記載の感情推定装置であって、
   前記人と同行する他者を識別する識別部を備え、
   前記記録部は、前記人と前記他者との会話の発生を予測するための前記事前イベントを記録し、
   前記頻度設定部は、前記識別部による前記他者の識別結果に基づいて前記頻度を設定する、感情推定装置。
3. 請求項１に記載の感情推定装置であって、
   前記人と同行する他者を識別する識別部を備え、
   前記記録部は、前記人の車両への搭乗を予測するための前記事前イベントを記録し、
   前記頻度設定部は、前記識別部による前記他者の識別結果に基づいて前記頻度を設定する、感情推定装置。
4. 請求項２または３に記載の感情推定装置であって、
   前記記録部は、複数の前記他者ごとに、前記人にとって気を遣う人物かどうか区別して記録し、
   前記頻度設定部は、前記他者が前記人にとって気を遣う人物である場合に第１頻度を設定し、前記他者が前記人にとって気を遣う人物ではない場合に前記第１頻度よりも低い第２頻度を設定する、感情推定装置。
5. 請求項１に記載の感情推定装置であって、
   前記人が搭乗する車両の運転状況に対するリスク度合を推定するリスク推定部を備え、
   前記記録部は、前記車両の運転状況が変化することを予測するための前記事前イベントを記録し、
   前記頻度設定部は、前記リスク推定部により推定される前記車両の運転状況の変化地点または変化後の前記リスク度合に基づいて前記頻度を設定する、感情推定装置。
6. 請求項５に記載の感情推定装置であって、
   前記頻度設定部は、前記リスク度合が高いほど前記頻度を高く設定する、感情推定装置。
7. 請求項６に記載の感情推定装置であって、
   前記リスク推定部は、交通事故件数、車速、交通参加者数、の少なくとも１つに基づいて前記リスク度合を推定する、感情推定装置。
8. 請求項１に記載の感情推定装置であって、
   前記人に対して所定情報を報知する報知部と、
   前記報知部による報知内容の自信度を判定する自信度判定部と、を備え、
   前記記録部は、前記所定情報の報知が行われることを予測するための前記事前イベントを記録し、
   前記頻度設定部は、前記自信度判定部により判定される前記自信度に基づいて前記頻度を設定する、感情推定装置。
9. 請求項８に記載の感情推定装置であって、
   前記頻度設定部は、前記自信度が低いほど前記頻度を高く設定する、感情推定装置。
10. 請求項９に記載の感情推定装置であって、
    前記自信度判定部は、前記自信度を前記人の嗜好性に沿っているか否かで判断する、感情推定装置。
11. 請求項９に記載の感情推定装置であって、
    前記頻度設定部は、前記人に対する前記報知内容が前記人に対する質問を伴うものであって、前記質問がイエスまたはノーで回答できるものでない場合に第１頻度を設定し、前記質問がイエスまたはノーで回答できるものである場合に前記第１頻度よりも低い第２頻度を設定する、感情推定装置。

Images