JPWO2020161768A1

JPWO2020161768A1 - 感情推定装置及び感情推定方法

Info

Publication number: JPWO2020161768A1
Application number: JP2020570671A
Authority: JP
Inventors: 周作 ▲高▼本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-02-04
Filing date: 2019-02-04
Publication date: 2021-09-09
Anticipated expiration: 2039-02-04
Also published as: WO2020161768A1; CN113365556A; JP7233449B2; DE112019006823T5; US11430231B2; US20220067412A1

Abstract

顔情報検出部（１３）は、車両の運転者の顔の特徴に関する顔情報を検出する。身体情報検出部（１４）は、運転者の身体の特徴に関する身体情報を検出する。運転可能度合い推定部（１５）は、顔情報と身体情報とに基づいて運転者の運転可能度合いを推定する。表情推定部（１６）は、顔情報に基づいて運転者の表情を推定する。感情推定部（１７）は、運転者の運転可能度合いと運転者の表情との時間変化に基づいて、快適度合い及び活性度合いで表される運転者の感情を推定する。

Description

この発明は、運転者の感情を推定する感情推定装置及び感情推定方法に関するものである。

従来の感情推定装置は、カメラが撮像した映像等から被験者の生理学データと非生理学データとを検出し、検出した生理学データと非生理学データとに基づいて被験者の覚醒の度合いと快適さの度合いとを推定し、推定した覚醒の度合いと快適さの度合いとに応対する感情を選択する（例えば、特許文献１参照）。

特開２０１７−１４４２２２号公報

従来の感情推定装置が推定した感情は、交通事故の原因となる速度超過及びあおり運転等の運転者の行動を予見し、運転支援装置による加減速の調整及び運転者への警告等に有用である。しかし、感情には持続時間があることから、覚醒の度合いと快適さの度合いとだけでは正しく感情を推定することができないという課題があった。

この発明は、上記のような課題を解決するためになされたもので、時間変化を考慮した感情を推定することを目的とする。

この発明に係る感情推定装置は、車両の運転者の顔に関する顔情報を検出する顔情報検出部と、運転者の身体の特徴に関する身体情報を検出する身体情報検出部と、顔情報と身体情報とに基づいて運転者の運転可能度合いを推定する運転可能度合い推定部と、顔情報に基づいて運転者の表情を推定する表情推定部と、運転者の運転可能度合いと運転者の表情との時間変化に基づいて、快適度合い及び活性度合いで表される運転者の感情を推定する感情推定部とを備えるものである。

この発明によれば、運転者の運転可能度合いと運転者の表情との時間変化に基づいて感情を推定するようにしたので、時間変化を考慮した感情を推定することができる。

実施の形態１に係る感情推定装置の構成例を示すブロック図である。実施の形態１の感情推定部による感情推定方法を説明する図である。実施の形態１の感情推定部による感情推定方法を説明するグラフである。図４Ａ、図４Ｂ、及び図４Ｃは、実施の形態１の感情推定部により推定された感情の時間変化の一例を示すグラフである。図５Ａ及び図５Ｂは、実施の形態１の感情推定部により推定された感情の時間変化の別の例を示すグラフである。実施の形態１に係る感情推定装置の動作例を示すフローチャートである。実施の形態２に係る感情推定装置の構成例を示すブロック図である。各実施の形態に係る感情推定装置のハードウェア構成の一例を示す図である。各実施の形態に係る感情推定装置のハードウェア構成の別の例を示す図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る感情推定装置１の構成例を示すブロック図である。実施の形態１に係る感情推定装置１は、車両に搭載されて、又は車両に持ち込まれて、運転者の感情を推定するものである。

この感情推定装置１には、撮像部２が接続される。撮像部２は、例えばハンドル付近に設置され、運転者を撮像するカメラである。この撮像部２は、運転者を撮像した撮像画像を、感情推定装置１へ出力する。

感情推定装置１は、顔検出部１１、顔パーツ検出部１２、顔情報検出部１３、身体情報検出部１４、運転可能度合い推定部１５、表情推定部１６、及び感情推定部１７を備える。

顔検出部１１は、撮像部２から撮像画像を取得する。顔検出部１１は、取得した撮像画像から運転者の顔が写った領域を検出する。顔検出部１１は、撮像画像のうちの顔領域を顔パーツ検出部１２及び身体情報検出部１４へ出力する。

顔パーツ検出部１２は、顔検出部１１が検出した撮像画像のうちの顔領域から、運転者の顔パーツを検出する。顔パーツは、目、鼻、及び口等である。顔パーツ検出部１２は、検出した顔パーツを、顔情報検出部１３又は身体情報検出部１４の少なくとも一方へ出力する。

なお、顔検出部１１及び顔パーツ検出部１２の機能は、必ずしも感情推定装置１が備える必要はなく、例えば撮像部２等の外部装置が備える構成であってもよい。

顔情報検出部１３は、顔パーツ検出部１２が検出した顔パーツに基づいて、運転者の顔の特徴に関する顔情報を検出する。顔情報は、運転者の顔向き角度、開眼度合い、瞬き速度、開口度合い、視線角度、又は頭部位置のうちの少なくとも１つを含む。顔情報検出部１３は、検出した顔情報を運転可能度合い推定部１５及び表情推定部１６へ出力する。

身体情報検出部１４は、顔検出部１１が検出した顔領域、又は顔パーツ検出部１２が検出した顔パーツに基づいて、運転者の身体の特徴に関する身体情報を検出する。身体情報は、心拍数、心拍変動、ＲＲＩ（心拍間隔）、脳波、脈波、脈拍変動、血圧、体温、又は発汗量のうちの少なくとも１つを含む。なお、身体情報検出部１４は、撮像部２の撮像画像から検出された顔領域又は顔パーツを用いて身体情報を検出してもよいし、図示しないセンサの検出結果を用いて身体情報を検出してもよい。身体情報検出部１４は、検出した身体情報を運転可能度合い推定部１５へ出力する。

なお、顔情報は、生体機能に関する情報のうち、顔向き角度、開眼度合い、瞬き速度、開口度合い、視線角度、及び頭部位置等の、生理学で顔の特徴として扱われる項目である。身体情報は、生体機能に関する情報のうち、心拍数、心拍変動、ＲＲＩ、脳波、脈波、脈拍変動、血圧、体温、及び発汗量等の、生理学で身体の特徴として扱われる項目である。

運転可能度合い推定部１５は、顔情報検出部１３が検出した顔情報、又は身体情報検出部１４が検出した身体情報の少なくとも一方に基づいて、運転者の運転可能度合いを推定する。例えば、運転可能度合い推定部１５は、不特定多数の人の平常時及び異常時の顔情報及び身体情報と運転可能度合いとの対応関係を学習したモデルを用いて、顔情報検出部１３が検出した顔情報と身体情報検出部１４が検出した身体情報とに対応する運転可能度合いを推定する。なお、運転可能度合い推定部１５は、自車両の運転者の顔情報及び身体情報を用いて、上記モデルを自車両の運転者用に最適化してもよい。運転可能度合いは、例えば、可能と不可の２段階とする。運転可能である場合、運転者は運転に適したコンディションであり、一方、運転不可である場合、運転者は運転に適していない、又は運転できないコンディションである。運転可能度合い推定部１５は、推定した運転可能度合いを感情推定部１７へ出力する。

表情推定部１６は、顔情報検出部１３が検出した顔情報に基づいて、運転者の表情を推定する。例えば、表情推定部１６は、予め定められた顔情報と表情との対応関係に基づいて、顔情報検出部１３が検出した顔情報に対応する表情を推定する（いわゆるルールベース）。また、表情推定部１６は、不特定多数の人の顔情報と表情との対応関係を学習したモデルを用いて、顔情報検出部１３が検出した顔情報に対応する表情を推定してもよい（いわゆる機械学習）。さらに、表情推定部１６は、ルールベースと機械学習の両方を行って、表情を推定してもよい。表情は、例えば、ポジティブ（笑顔）、ネガティブ（不機嫌又は泣き顔）、及びニュートラル（その他の表情）の３種類とする。表情推定部１６は、推定した表情を感情推定部１７へ出力する。

感情推定部１７は、運転可能度合い推定部１５が推定した運転可能度合いの時間変化と、表情推定部１６が推定した表情の時間変化とに基づいて、快適度合い及び活性度合いで表される運転者の感情を推定する。なお、活性度合いが高い「活性」状態とは、運転者が起きている、又は覚醒している状態であり、活性度合いが低い「不活性」状態とは、運転者が眠っている、又は酔っている状態である。

図２は、実施の形態１の感情推定部１７による感情推定方法を説明する図である。
運転不可の場合、感情が表情に出にくく、表情から感情を推定することが困難である。そのため、感情推定部１７は、運転可能度合い推定部１５により運転者が運転不可であると推定された場合、活性度合いを不活性と判定する。
一方、感情推定部１７は、運転可能度合い推定部１５により運転者が運転可能であると推定された場合、活性度合いを活性と判定する。また、感情推定部１７は、運転可能度合い推定部１５により運転者が運転可能であると推定された場合、表情推定部１６により推定された表情がポジティブの場合に快適度合いを快適と判定し、ニュートラルの場合に無表情と判定し、ネガティブの場合に不快と判定する。

以下では、ラッセル感情円環モデルを利用して感情を推定する例を説明する。
図３は、実施の形態１の感情推定部１７による感情推定方法を説明するグラフである。図３に示されるグラフは、縦軸が活性度合い、横軸が快適度合いである。感情推定部１７は、運転可能度合いと表情とに基づいて判定した活性度合いと快適度合いとに応じて、感情を表す点を図３のグラフ上にプロットする。例えば、感情推定部１７は、運転可能度合いが「可能」である場合、「可能」の継続時間に応じた分だけ感情を表す点を現在の位置から活性側に移動させる。反対に運転可能度合いが「不可」である場合、感情推定部１７は、感情を表す点を縦軸と横軸との交点である原点にプロットした後、「不可」の継続時間に応じた分だけ感情を表す点を原点から不活性側に移動させる。また、感情推定部１７は、表情が「ポジティブ」である場合、「ポジティブ」の継続時間に応じた分だけ感情を表す点を現在の位置から快適側に移動させる。反対に表情が「ネガティブ」である場合、感情推定部１７は、「ネガティブ」の継続時間に応じた分だけ感情を表す点を現在の位置から不快側に移動させる。また、感情推定部１７は、表情が「ニュートラル」である場合、「ニュートラル」の継続時間に応じた分だけ感情を表す点を、原点の方向に移動させる。なお、感情を表す点の、単位時間あたりの移動量は、予め与えられた値であってもよいし、運転者ごとに異なる値であってもよい。

また、感情推定部１７は、図３のグラフにおいて、活性かつ快適な領域３１に感情を表す点をプロットした場合、運転者の感情を「興奮」と推定する。感情推定部１７は、感情を表す点が領域３１に向かって移動していく場合、運転者が徐々に興奮していると推定する。運転者が興奮状態にある場合、速度超過等が予見される。また、感情推定部１７は、活性かつ不快な領域３２に感情を表す点をプロットした場合、運転者の感情を「不満」と推定する。感情推定部１７は、感情を表す点が領域３２に向かって移動していく場合、運転者が徐々に不満を感じていると推定する。運転者が不満状態にある場合、あおり運転等が予見される。また、感情推定部１７は、不活性な領域３３に感情を表す点をプロットした場合、運転者の感情を「眠気」と推定する。感情推定部１７は、感情を表す点が領域３３に向かって移動していく場合、運転者が徐々に眠くなっていると推定する。運転者が眠気状態にある場合、居眠り運転等が予見される。なお、図３のグラフにおける感情の種類、及び領域と感情との対応関係は、上記例に限定されるものではない。また、感情に対応する領域の位置及び大きさは、運転者ごとに異なってもよい。

次に、感情推定の具体例を説明する。
図４Ａ、図４Ｂ、及び図４Ｃは、実施の形態１の感情推定部１７により推定された感情の時間変化の一例を示すグラフである。運転者の運転可能度合いが「可能」であり、表情が「ポジティブ」である場合、感情推定部１７は、図４Ａのようにグラフ上に感情を表す点４１をプロットする。運転可能度合い「可能」及び表情「ポジティブ」が継続した場合、継続時間に応じた分だけ感情を表す点４１が活性側及び快適側に移動していく。図４Ｂのように感情を表す点４１が感情を表す点４２へ移動していき領域３１へ近づいていく場合、感情推定部１７は、運転者が徐々に興奮しているというように、感情の時間変化を推定することができる。

図４Ｃでは、興奮の領域３１に感情を表す点４３がプロットされている。ここで、運転可能度合い「可能」及び表情「ニュートラル」が継続した場合、継続時間に応じた分だけ感情を表す点４３が原点方向に移動していく。なお、実施の形態１では、感情推定部１７は、運転可能度合い「可能」よりも表情「ニュートラル」を優先して、感情を表す点４３を移動させている。図４Ｃのように感情を表す点４３が感情を表す点４４へ移動していき領域３１から離れていく場合、感情推定部１７は、運転者が徐々に冷静になっているというように、感情の時間変化を推定することができる。

図５Ａ及び図５Ｂは、実施の形態１の感情推定部１７により推定された感情の時間変化の別の例を示すグラフである。運転者の運転可能度合いが「不可」である場合、感情推定部１７は、表情に関係なく、原点に感情を表す点５１をプロットする。そして、感情推定部１７は、運転可能度合い「不可」の継続時間に応じた分だけ感情を表す点５１を不活性側へ移動させる。図５Ａのように感情を表す点５１が感情を表す点５２へ移動していき領域３３に近づいていく場合、感情推定部１７は、運転者が徐々に眠くなっているというように、感情の時間変化を推定することができる。

運転者の運転可能度合いが「可能」になった場合、感情推定部１７は、運転可能度合い「可能」の継続時間に応じた分だけ感情を表す点５２を活性側へ移動させる。図５Ｂのように感情を表す点５２が感情を表す点５３へ移動していき領域３３から離れていく場合、感情推定部１７は、運転者が徐々に覚醒しているというように、感情の時間変化を推定することができる。なお、図５Ｂでは、運転可能度合いが「可能」、かつ表情が「ニュートラル」である場合の例が示されているため、感情を表す点５２が原点方向に移動している。表情が「ポジティブ」（又は「ネガティブ」）である場合には、感情を表す点５２が活性側かつ快適側（又は不快側）に移動していく。

次に、感情推定装置１の動作を説明する。
図６は、実施の形態１に係る感情推定装置１の動作例を示すフローチャートである。感情推定装置１は、例えば車両のイグニッションスイッチがオンになると図６のフローチャートに示される動作を開始し、イグニッションスイッチがオフになるまでこの動作を繰り返す。

ステップＳＴ１において、顔検出部１１は、撮像部２の撮像画像から運転者の顔領域を検出する。ステップＳＴ２において、顔パーツ検出部１２は、撮像画像のうちの顔領域から顔パーツを検出する。なお、上述したように、顔検出部１１及び顔パーツ検出部１２の機能は、外部装置が備える構成であってもよい。その構成の場合、感情推定装置１は、ステップＳＴ１及びステップＳＴ２における動作を行わない。

ステップＳＴ３において、顔情報検出部１３は、顔パーツに基づいて運転者の顔の特徴に関する顔情報を検出する。ステップＳＴ４において、身体情報検出部１４は、撮像画像のうちの顔領域又は顔パーツに基づいて、運転者の身体の特徴に関する身体情報を検出する。ステップＳＴ５において、運転可能度合い推定部１５は、顔情報と身体情報とに基づいて、運転者の運転可能度合いを推定する。ステップＳＴ６において、表情推定部１６は、顔情報に基づいて、運転者の表情を推定する。ステップＳＴ７において、感情推定部１７は、運転者の運転可能度合いと表情との時間変化に基づいて、快適度合い及び活性度合いで表される感情を推定する。

なお、図６のフローチャートに示される感情推定装置１の動作は一例であり、この動作に限定されるものではない。例えば、身体情報検出部１４が顔パーツを用いず顔領域のみを用いて身体情報を検出する場合、顔パーツ検出部１２はステップＳＴ２の顔パーツ検出に関する動作を行わない。また、例えば、運転可能度合い推定部１５及び表情推定部１６が顔情報検出部１３により検出された顔情報のみを用いて運転可能度合いを推定する場合、身体情報検出部１４はステップＳＴ４の身体情報検出に関する動作を行わない。

以上のように、実施の形態１に係る感情推定装置１は、顔情報検出部１３と、身体情報検出部１４と、運転可能度合い推定部１５と、表情推定部１６と、感情推定部１７とを備える。顔情報検出部１３は、車両の運転者の顔の特徴に関する顔情報を検出する。身体情報検出部１４は、運転者の身体の特徴に関する身体情報を検出する。運転可能度合い推定部１５は、顔情報と身体情報とに基づいて運転者の運転可能度合いを推定する。表情推定部１６は、顔情報に基づいて運転者の表情を推定する。感情推定部１７は、運転者の運転可能度合いと運転者の表情との時間変化に基づいて、快適度合い及び活性度合いで表される運転者の感情を推定する。この構成により、感情推定装置１は、ある時点における運転者の感情を推定するだけでなく、運転者が徐々に興奮している、及び徐々に冷静になっているといった、時間変化を考慮した感情を推定することができる。

また、実施の形態１の感情推定部１７は、運転可能度合い推定部１５により運転可能と推定された場合、運転者の表情の継続時間に基づいて運転者の感情を推定する。これにより、感情推定部１７は、運転者の状態が、感情が表情に表れにくい状態である場合であっても、精度よく感情を推定することができる。

また、実施の形態１の感情推定部１７は、運転者の運転可能度合いの継続時間及び運転者の表情の継続時間に応じて快適度合い及び活性度合いを判定し、予め定められた快適度合いと活性度合いと感情との対応関係を参照し、判定した快適度合い及び活性度合いに対応する運転者の感情を推定する。これにより、感情推定部１７は、図３〜図５に示されるように簡単に、時間変化を考慮した感情を推定することができる。

実施の形態２．
図７は、実施の形態２に係る感情推定装置１の構成例を示すブロック図である。実施の形態２に係る感情推定装置１は、図１に示された実施の形態１の感情推定装置１に対して警告部１８及び運転切り替え部１９が追加された構成である。図７において図１と同一又は相当する部分は、同一の符号を付し説明を省略する。

警告部１８は、ディスプレイ又はスピーカの少なくとも一方を備える。警告部１８は、感情推定部１７が推定した感情に応じて、運転者に対して警告する、又は手動運転から自動運転への切り替えを促す。例えば、運転者が徐々に興奮していき、感情を表す点が図３の領域３１内に入った場合、速度超過等が予見される。そのため、警告部１８は、ディスプレイに警告画面を表示する、又はスピーカから警告音を出力することにより、運転者に対して警告する。また、運転者が徐々に不満を感じていき、感情を表す点が図３の領域３２内に入った場合、あおり運転等が予見される。そのため、警告部１８は、ディスプレイに警告画面を表示する、又はスピーカから警告音を出力することにより、運転者に対して警告する。また、運転者が徐々に眠気を感じていき、感情を表す点が図３の領域３３内に入った場合、居眠り運転等が予見される。そのため、警告部１８は、ディスプレイに警告画面を表示する、又はスピーカから警告音を出力することにより、運転者に対して警告する。

なお、警告部１８は、警告画面表示後一定時間が経過した場合に警告画面の表示を終了してもよいし、興奮若しくは不満の状態から冷静になった場合又は眠気の状態から覚醒した場合に警告画面の表示を終了してもよい。同様に、警告部１８は、警告音出力後一定時間が経過した場合に警告音の出力を終了してもよいし、興奮若しくは不満の状態から冷静になった場合又は眠気の状態から覚醒した場合に警告音の出力を終了してもよい。

また、警告部１８は、運転者が徐々に眠気を感じていき、感情を表す点が図３の領域３３内に入った場合、ディスプレイに自動運転への切り替えを促す画面を表示する、又はスピーカから自動運転への切り替えを促す音声を出力するようにしてもよい。

さらに、感情推定装置１は、運転者が眠気を感じている場合、手動運転から自動運転への切り替えを自動的に行う構成であってもよい。具体的には、運転切り替え部１９は、運転者が徐々に眠気を感じていき、感情を表す点が図３の領域３３内に入った場合、手動運転から自動運転への切り替えを図示しない車両制御装置に対して指示する。

以上のように、実施の形態２に係る感情推定装置１は、警告部１８を備える。警告部１８は、感情推定部１７により推定された運転者の感情に応じて、運転者に対して警告する、又は自動運転への切り替えを促す。これにより、感情推定装置１は、運転者の感情に応じた適切なタイミングで警告することができる。

最後に、各実施の形態に係る感情推定装置１のハードウェア構成を説明する。
図８及び図９は、各実施の形態に係る感情推定装置１のハードウェア構成例を示す図である。感情推定装置１における顔検出部１１、顔パーツ検出部１２、顔情報検出部１３、身体情報検出部１４、運転可能度合い推定部１５、表情推定部１６、感情推定部１７、警告部１８、及び運転切り替え部１９の機能は、処理回路により実現される。即ち、感情推定装置１は、上記機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路１００であってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。

図８に示されるように、処理回路が専用のハードウェアである場合、処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、又はこれらを組み合わせたものが該当する。顔検出部１１、顔パーツ検出部１２、顔情報検出部１３、身体情報検出部１４、運転可能度合い推定部１５、表情推定部１６、感情推定部１７、警告部１８、及び運転切り替え部１９の機能を複数の処理回路１００で実現してもよいし、各部の機能をまとめて１つの処理回路１００で実現してもよい。

図９に示されるように、処理回路がプロセッサ１０１である場合、顔検出部１１、顔パーツ検出部１２、顔情報検出部１３、身体情報検出部１４、運転可能度合い推定部１５、表情推定部１６、感情推定部１７、警告部１８、及び運転切り替え部１９の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、感情推定装置１は、プロセッサ１０１により実行されるときに、図６のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、顔検出部１１、顔パーツ検出部１２、顔情報検出部１３、身体情報検出部１４、運転可能度合い推定部１５、表情推定部１６、感情推定部１７、警告部１８、及び運転切り替え部１９の手順又は方法をコンピュータに実行させるものであるとも言える。

ここで、プロセッサ１０１とは、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、処理装置、演算装置、又はマイクロプロセッサ等のことである。
メモリ１０２は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲＯＭ）、又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）又はＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）等の光ディスクであってもよい。

なお、顔検出部１１、顔パーツ検出部１２、顔情報検出部１３、身体情報検出部１４、運転可能度合い推定部１５、表情推定部１６、感情推定部１７、警告部１８、及び運転切り替え部１９の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、感情推定装置１における処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の機能を実現することができる。

なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能である。

この発明に係る感情推定装置は、車両、鉄道、船舶又は航空機を含む移動体に搭乗した運転者及び搭乗者等の感情を推定する感情推定装置に適している。

１感情推定装置、２撮像部、１１顔検出部、１２顔パーツ検出部、１３顔情報検出部、１４身体情報検出部、１５運転可能度合い推定部、１６表情推定部、１７感情推定部、１８警告部、１９運転切り替え部、３１〜３３領域、４１〜４４，５１〜５３感情を表す点、１００処理回路、１０１プロセッサ、１０２メモリ。

Claims

車両の運転者の顔の特徴に関する顔情報を検出する顔情報検出部と、
前記運転者の身体の特徴に関する身体情報を検出する身体情報検出部と、
前記顔情報と前記身体情報とに基づいて前記運転者の運転可能度合いを推定する運転可能度合い推定部と、
前記顔情報に基づいて前記運転者の表情を推定する表情推定部と、
前記運転者の運転可能度合いと前記運転者の表情との時間変化に基づいて、快適度合い及び活性度合いで表される前記運転者の感情を推定する感情推定部とを備える感情推定装置。
前記感情推定部は、前記運転可能度合い推定部により運転可能と推定された場合、前記運転者の表情の継続時間に基づいて前記運転者の感情を推定することを特徴とする請求項１記載の感情推定装置。
前記感情推定部は、前記運転者の運転可能度合いの継続時間及び前記運転者の表情の継続時間に応じて前記快適度合い及び前記活性度合いを判定し、予め定められた快適度合いと活性度合いと感情との対応関係を参照し、判定した前記快適度合い及び前記活性度合いに対応する前記運転者の感情を推定することを特徴とする請求項１記載の感情推定装置。
前記感情推定部により推定された前記運転者の感情に応じて、前記運転者に対して警告する、又は自動運転への切り替えを促す警告部を備えることを特徴とする請求項１記載の感情推定装置。
顔情報検出部が、車両の運転者の顔の特徴に関する顔情報を検出し、
身体情報検出部が、前記運転者の身体の特徴に関する身体情報を検出し、
運転可能度合い推定部が、前記顔情報と前記身体情報とに基づいて前記運転者の運転可能度合いを推定し、
表情推定部が、前記顔情報に基づいて前記運転者の表情を推定し、
感情推定部が、前記運転可能度合い推定部により運転可能と推定された場合、前記運転者の表情の時間変化に基づいて、快適度合い及び活性度合いで表される前記運転者の感情を推定する感情推定方法。