JP6865896B1 - 不安要因特定装置、プログラム及び不安要因特定方法 - Google Patents

不安要因特定装置、プログラム及び不安要因特定方法 Download PDF

Info

Publication number
JP6865896B1
JP6865896B1 JP2020533032A JP2020533032A JP6865896B1 JP 6865896 B1 JP6865896 B1 JP 6865896B1 JP 2020533032 A JP2020533032 A JP 2020533032A JP 2020533032 A JP2020533032 A JP 2020533032A JP 6865896 B1 JP6865896 B1 JP 6865896B1
Authority
JP
Japan
Prior art keywords
anxiety
unit
factor
passenger
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020533032A
Other languages
English (en)
Other versions
JPWO2021149200A1 (ja
Inventor
幹郎 佐々木
幹郎 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6865896B1 publication Critical patent/JP6865896B1/ja
Publication of JPWO2021149200A1 publication Critical patent/JPWO2021149200A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

車両の搭乗者が不安を感じたことを検出する不安検出部として機能する感情認識部(140)と、不安が検出された際に、搭乗者の状態を検出することにより得られた搭乗者状態データ、車両の状態を検出することにより得られた車両状態データ及び車両が走行する状態を検出することで得られた走行状態データの少なくとも一つを用いて、予め定められた複数の要因から、搭乗者が前記不安を感じている一つの要因を特定する不安要因特定部(145)とを備える。

Description

本開示は、不安要因特定装置、プログラム及び不安要因特定方法に関する。
近年、車両の走行に関する情報を収集して、車両の状況を判断し、運転者への情報提供又は車両の動作制御を行うことで、車両の運転を支援する装置が提供されている。
例えば、特許文献1には、運転状況、気象状況及び運転者の生体状態から、運転者の心理状態を判断して、判断された心理状態に応じて、運転者への通知及び車両の制御を行う車両制御装置が開示されている。
特開2008−65704号公報
車両の運転者は、車両の周囲の様々な状況に応じて、車両を運転しなければならず、車両を運転する際に、大きなストレスを感じる。
従来の車両制御装置は、運転者の心理状態に応じて、運転者への通知及び車両の制御を行っているが、運転者を含む車両の搭乗者の不安の要因を特定するような処理は行っていない。
そこで、本開示の一又は複数の態様は、搭乗者の不安の要因を特定できるようにすることを目的とする。
本開示の一態様に係る不安要因特定装置は、車両の搭乗者が不安を感じたことを検出する不安検出部と、前記不安が検出された際に、前記搭乗者の状態を検出することにより得られた搭乗者状態データ、前記車両の状態を検出することにより得られた車両状態データ及び前記車両が走行する状態を検出することで得られた走行状態データの少なくとも一つを用いて、予め定められた複数の要因から、前記搭乗者に前記不安を与えている一つの要因を特定する不安要因特定部と、前記一つの要因が正しいか否かを前記搭乗者に確認する確認部と、前記搭乗者が前記一つの要因が正しいと確認した場合に、前記一つの要因に対する対策を決定する対策決定部と、前記対策を実行する対策実行部と、を備えることを特徴とする。
本開示の一態様に係るプログラムは、コンピュータを、車両の搭乗者が不安を感じたことを検出する不安検出部前記不安が検出された際に、前記搭乗者の状態を検出することにより得られた搭乗者状態データ、前記車両の状態を検出することにより得られた車両状態データ及び前記車両が走行する状態を検出することで得られた走行状態データの少なくとも一つを用いて、予め定められた複数の要因から、前記搭乗者に前記不安を与えている一つの要因を特定する不安要因特定部、前記一つの要因が正しいか否かを前記搭乗者に確認する確認部、前記搭乗者が前記一つの要因が正しいと確認した場合に、前記一つの要因に対する対策を決定する対策決定部、及び前記対策を実行する対策実行部、として機能させることを特徴とする。
本開示の一態様に係る不安要因特定方法は、車両の搭乗者が不安を感じたことを検出し、前記不安が検出された際に、前記搭乗者の状態を検出することにより得られた搭乗者状態データ、前記車両の状態を検出することにより得られた車両状態データ及び前記車両が走行する状態を検出することで得られた走行状態データの少なくとも一つを用いて、予め定められた複数の要因から、前記搭乗者に前記不安を与えている一つの要因を特定し、前記一つの要因が正しいか否かを前記搭乗者に確認し、前記搭乗者が前記一つの要因が正しいと確認した場合に、前記一つの要因に対する対策を決定し、前記対策を実行することを特徴とする。
本開示の一又は複数の態様によれば、搭乗者の不安の要因を特定することができる。
実施の形態1〜3に係る不安要因特定装置の構成を概略的に示すブロック図である。 (A)〜(C)は、搭乗者状態データ、車両状態データ及び走行状態データの一例を示す概略図である。 実施の形態1における対策テーブルの一例を示す概略図である。 実施の形態1〜4に係る不安要因特定装置のハードウェア構成例を示すブロック図である。 実施の形態1における不安要因特定部の動作を示すフローチャートである。 実施の形態1における車外状況判定処理を示す第1のフローチャートである。 実施の形態1における車外状況判定処理を示す第2のフローチャートである。 実施の形態1における車内状況判定処理を示す第1のフローチャートである。 実施の形態1における車内状況判定処理を示す第2のフローチャートである。 (A)〜(C)は、学習データの例を示す概略図である。 (A)及び(B)は、機械学習による要因の特定を説明するための概略図である。 実施の形態3における対策テーブルの一例を示す概略図である。 実施の形態3における不安要因特定部の動作を示すフローチャートである。 実施の形態3における驚きを含む不安要因の特定処理を示すフローチャートである。 実施の形態3における驚きを含む車外状況判定処理を示す第1のフローチャートである。 実施の形態3における驚きを含む車外状況判定処理を示す第2のフローチャートである。 実施の形態3における驚きを含む車内状況判定処理を示す第1のフローチャートである。 実施の形態3における驚きを含む車内状況判定処理を示す第2のフローチャートである。 実施の形態3における恐れを含む不安要因の特定処理を示すフローチャートである。 実施の形態3における恐れを含む車外状況判定処理を示す第1のフローチャートである。 実施の形態3における恐れを含む車外状況判定処理を示す第2のフローチャートである。 実施の形態3における恐れを含む車内状況判定処理を示す第1のフローチャートである。 実施の形態3における恐れを含む車内状況判定処理を示す第2のフローチャートである。 実施の形態3におけるその他の不安要因の特定処理を示すフローチャートである。 実施の形態3におけるその他車外状況判定処理を示す第1のフローチャートである。 実施の形態3におけるその他車外状況判定処理を示す第2のフローチャートである。 実施の形態4に係る不安要因特定装置の構成を概略的に示すブロック図である。 実施の形態5及び6に係る不安要因特定システムの構成を概略的に示すブロック図である。 実施の形態5に係る不安要因特定装置の構成を概略的に示すブロック図である。 実施の形態5及び6におけるクラウドサーバの構成を概略的に示すブロック図である。 実施の形態5及び6における不安要因特定装置及びクラウドサーバのハードウェア構成例を示すブロック図である。 実施の形態6に係る不安要因特定装置の構成を概略的に示すブロック図である。
実施の形態1.
図1は、実施の形態1に係る不安要因特定装置100の構成を概略的に示すブロック図である。
不安要因特定装置100は、搭乗者状態センシング部110と、車両状態センシング部120と、走行状態センシング部130と、感情認識部140と、搭乗者状態管理部141と、車両状態管理部142と、走行状態管理部143と、記憶部144と、不安要因特定部145と、対策決定部146と、対策実行部147とを備える。
搭乗者状態センシング部110は、運転者を含む搭乗者の状態を検出して、その検出結果を搭乗者検出結果として感情認識部140及び搭乗者状態管理部141に与える。
搭乗者状態センシング部110は、例えば、搭乗者の覚醒度、視線方向及び感情を特定することのできる搭乗者状態検出結果である搭乗者検出結果を搭乗者状態管理部141に与える。
例えば、搭乗者状態センシング部110は、DMS(Driver Monitoring System)111を含む。
DMS111は、搭乗者の画像及び音声を取得して、搭乗者の状態を監視するシステムであり、搭乗者の画像を取得する撮像装置としての車内カメラ、搭乗者の音声を取得する音声取得装置としてのマイクロフォン(以下、マイク)等を含む。
車両状態センシング部120は、車両の状態を検出して、その検出結果である車両検出結果を車両状態管理部142に与える。
車両状態センシング部120は、例えば、車両の速度、加速度、ブレーキ、アクセル、ステアリング角度、クラクション、警告有無、警告種別、ナビ状態及びインパネ状態を特定することのできる車両状態検出結果を車両状態管理部142に与える。
例えば、車両状態センシング部120は、CAN(Controller Area Network)121、ナビシステム122及びマイク123を含む。
CAN121は、車両の速度、加速度、ブレーキ、アクセル、ステアリング角度、クラクション、警告有無、警告種別及びインパネ状態の状態を転送するためのシステムである。
ナビシステム122は、車両の位置を計測して、目的地への経路案内を行なう機能である。
マイク123は、車両の周囲の音を取得する音声取得装置である。
走行状態センシング部130は、車両の周囲の走行状態を検出して、その検出結果である走行状態検出結果を走行状態管理部143に与える。
走行状態センシング部130は、例えば、天候及び車両の周囲の物体を特定することのできる走行状態検出結果を走行状態管理部143に与える。
例えば、走行状態センシング部130は、カメラ131、接近センサ132及びライダー(Lighgt Detection and Ranging)133を含む。
カメラ131は、車両の周囲の映像を撮像する撮像装置である。カメラ131は、少なくとも車両の前方の映像を撮像する。
接近センサ132は、車両から予め定められた範囲に物体があることを検出するセンサである。
ライダー133は、光を使って、車両の周囲の物体と、その距離とを計測する装置である。
感情認識部140は、搭乗者状態センシング部110からの搭乗者検出結果により、搭乗者の感情を認識する。
例えば、感情認識部140は、DMS111で取得される搭乗者の顔の画像、声のトーン、又は、その両方等から、公知の技術を用いて、搭乗者の感情を認識すればよい。
特に、感情認識部140は、搭乗者状態センシング部110からの搭乗者検出結果により、搭乗者が不安を感じたか否かを検出する。このため、感情認識部140は、搭乗者が不安を感じたことを検出する不安検出部として機能する。
搭乗者状態管理部141は、搭乗者状態センシング部110からの搭乗者検出結果により、搭乗者の覚醒度、視線方向及び感情といった搭乗者状態を特定し、特定された搭乗者状態を示す搭乗者状態データを記憶部144に記憶させる。
車両状態管理部142は、車両状態センシング部120からの車両状態検出結果により、車両の速度、加速度、ブレーキ、アクセル、ステアリング角度、クラクション、警告有無、警告種別、ナビ状態及びインパネ状態といった車両状態を特定し、特定された車両状態を示す車両状態データを記憶部144に記憶させる。
走行状態管理部143は、走行状態センシング部130からの走行状態検出結果により、天候及び車両の周囲の物体といった走行状態を特定し、特定された走行状態を示す走行状態データを記憶部144に記憶させる。
例えば、悪天候の場合には、走行状態センシング部130に含まれているカメラ131、接近センサ132又はライダー133等の各種センサの性能が低下するため、走行状態管理部143は、これら各種センサの性能が低下した場合に、悪天候と判断して、その判断結果を走行状態データに格納する。
記憶部144は、不安要因特定装置100での処理に必要なデータを記憶する。
例えば、記憶部144は、感情認識部140が生成した感情認識データと、搭乗者状態管理部141が生成した搭乗者状態データと、車両状態管理部142が生成した車両状態データと、走行状態管理部143が生成した走行状態データと、対策テーブルと、インストルメントパネル(以下、インパネ)、サイドミラー又はバックミラー等の車内の部品の位置を示す部品位置データとを記憶する。
図2(A)〜(C)は、記憶部144が記憶する搭乗者状態データ、車両状態データ及び走行状態データの一例を示す概略図である。
図2(A)に示されているように、搭乗者状態データは、覚醒度を示す検出データと、視線方向を示す検出データと、感情を示す検出データとを含む。
覚醒度は、搭乗者の意識がはっきりしている度合いである。
視線方向は、搭乗者の視線方向である。搭乗者の視線方向は、例えば、予め定められたx軸、y軸及びz軸の直交する予め定められた三つの軸に対する角度で示されるものとする。
感情は、搭乗者の感情である。ここでは、感情は、「neutral」、「怒り」、「恐れ」、「驚き」、「悲しみ」、「嫌悪」及び「幸せ(喜び)」の度合いを示す。
図2(B)に示されているように、車両状態データは、速度を示す検出データと、加速度を示す検出データと、ブレーキを示す検出データと、アクセルを示す検出データと、ステアリング角度を示す検出データと、クラクションを示す検出データと、警告有無を示す検出データと、警告種別を示す検出データと、ナビ状態を示す検出データと、インパネ状態を示す検出データとを含む。
速度は、車両の速度である。
加速度は、車両の加速度である。
ブレーキは、運転者が車両のブレーキを操作している強度である。
アクセルは、運転者が車両のアクセルを操作している強度である。
ステアリング角度は、運転者が車両のステアリングを操作している角度である。
クラクションは、クラクションの有無である。
警告有無は、車両に警告があるか否かである。
警告種別は、車両に警告がある場合に、その警告の種別である。
ナビ状態は、車両に搭載されているナビゲーションで取得されている情報である。
インパネ状態は、車両のインパネに表示されている情報である。
図2(C)に示されているように、走行状態データは、天候を示す検出データと、物体を示す検出データとを含む。
天候は、車両の周囲の天候である。
物体i(iは1以上の整数)は、車両の周囲で検出された物体iの種別、大きさ、出現時間、距離、方向及び相対速度により特定される。これらは、例えば、カメラ131からの画像、接近センサ132からの検出信号及びライダー133からの検出信号の少なくとも何れか一つから、公知の技術を用いて取得されるものとする。なお、物体iの検出データについては、車両の周囲で検出された数iだけ、走行状態データとして格納されるものとする。
搭乗者状態データ、車両状態データ及び走行状態データの各々に含まれている検出データは、不安の要因を示すことができるものとする。
図3は、実施の形態1における対策テーブルの一例を示す概略図である。
図3に示されている対策テーブル160は、要因列160aと、対応処理列160bと、パラメータ列160cとを有する。
要因列160aは、搭乗者が感じる不安の要因を示す。
対応処理列160bは、搭乗者が感じる不安に対する対応処理を示す。
パラメータ列160cは、搭乗者が感じる不安に対して対応する際に、車両の自動運転においてパラメータを調整する値を示す。パラメータ列160cに格納されている値は、車両が自動運転に対応している場合に使用される値である。
以上のように、本実施の形態では、対策として少なくとも対応処理があり、場合により対策にパラメータが含まれる。
図1に戻り、不安要因特定部145は、記憶部144に記憶されている感情認識データを参照することで、搭乗者が不安を感じた場合に、記憶部144に記憶されている搭乗者状態データ、車両状態データ及び走行状態データの少なくとも一つを用いて、予め定められた複数の要因から、搭乗者に不安を与えている一つの要因を特定する。
実施の形態1では、後述するように、搭乗者状態データ、車両状態データ及び走行状態データに含まれている複数の検出データの各々で示される要因が、搭乗者に不安を与えているか否かを判断する順番が予め定められており、その順番に従って、搭乗者の不安の要因が特定される。
対策決定部146は、記憶部144に記憶されている対策テーブルを参照することで、不安要因特定部145が特定した要因に対する対策を決定する。
対策実行部147は、対策決定部146が決定した対策を実行する。
図4は、不安要因特定装置100のハードウェア構成例を示すブロック図である。
不安要因特定装置100は、搭乗者センサ170と、車外センサ171と、車両制御機器172と、入力装置173と、表示装置174と、記憶装置175と、演算装置176とを備える。
また、不安要因特定装置100は、図1を用いて説明したCAN121と、ナビシステム122と、マイク123と、カメラ131とを備える。
言い換えると、不安要因特定装置100は、コンピュータにより実現することができる。
搭乗者センサ170は、運転者を含む搭乗者の状態を検出する。搭乗者は、車両に乗っている人である。なお、搭乗者センサ170は、DMS111に含まれる。
車外センサ171は、車両の外部の状況を検出する。車外センサ171には、接近センサ132が含まれる。
車両制御機器172は、車両の制御を行う。車両制御機器172は、対策実行部147としての機能を実行する。
入力装置173は、車両のユーザからの入力を受け付ける。入力装置173は、不安要因特定装置100の入力部である装置入力部としての機能を実行する。
表示装置174は、各種画面画像を表示する。表示装置174は、不安要因特定装置100の表示部である装置表示部としての機能を実行する。
記憶装置175は、不安要因特定装置100で必要とされるプログラム及びデータを記憶する。記憶装置175は、記憶部144としての機能を実行する。
演算装置176は、不安要因特定装置100を制御する。演算装置176は、感情認識部140、搭乗者状態管理部141、車両状態管理部142、走行状態管理部143、不安要因特定部145及び対策決定部146としての機能を実行する。
図5は、実施の形態1における不安要因特定部145の動作を示すフローチャートである。
まず、不安要因特定部145は、搭乗者が覚醒状態であるか否かを判断する(S10)。例えば、不安要因特定部145は、記憶部144に記憶されている搭乗者状態データの「覚醒度」が予め定められた閾値よりも高い場合に、搭乗者が覚醒状態であると判断する。そして、搭乗者が覚醒状態ではない場合(S10でNo)には、処理はステップS11に進み、搭乗者が覚醒状態である場合(S10でYes)には、処理はステップS12に進む。
搭乗者が覚醒状態ではない場合、例えば、寝ている場合等、意識がはっきりしていない場合には、感情を誤認識する可能性がある。そこで、ステップS11では、感情認識部140で判断された不安に誤認識の可能性があるため、不安要因特定部145は、不安の要因がないと判断する。
ステップS12では、不安要因特定部145は、異常音があるか否かを判断する。例えば、不安要因特定部145は、記憶部144に記憶されている車両状態データの「クラクション」がクラクションの鳴動を示す場合、又は、記憶部144に記憶されている「警告有無」が警告有りを示し、「警告種別」が警告音を発する警告の種別であることを示す場合には、異常音があると判断する。異常音がある場合(S13でYes)には、処理はステップS13に進み、異常音がない場合(S13でNo)には、処理はステップS14に進む。
ステップS13では、不安要因特定部145は、異常音を不安の要因と特定する。
ステップS14では、不安要因特定部145は、直前に急操作があったか否かを判断する。例えば、不安要因特定部145は、記憶部144に記憶されている車両状態データの「ステアリング角度」を監視することにより、現在までの予め定められた期間内に、予め定められた角度以上のステアリング操作がある場合に、直前に急操作があったと判断する。直前に急操作があった場合(ステップS14でYes)には、処理はステップS15に進み、直前に急操作がなかった場合(ステップS14でNo)には、処理はステップS16に進む。
ステップS15では、不安要因特定部145は、急操作を不安の要因と特定する。
ステップS16では、不安要因特定部145は、搭乗者の視線方向が車外であるか否かを判断する。例えば、不安要因特定部145は、記憶部144に記憶されている搭乗者状態データの「視線方向」を確認することで、搭乗者の視線方向が車外であるか否かを判断する。搭乗者の視線方向が車外である場合(ステップS16でYes)には、処理はステップS17に進み、搭乗者の視線方向が車内である場合(ステップS16でNo)には、処理はステップS18に進む。
ステップS17では、不安要因特定部145は、車両の外部の状況を判定して、不安の要因を特定する車外状況判定処理を行う。この処理については、図6及び図7を用いて、詳細に説明する。
ステップS18では、不安要因特定部145は、車両の内部の状況を判定して、不安の要因を特定する車内状況判定処理を行う。この処理については、図8及び図9を用いて、詳細に説明する。
図6及び図7は、実施の形態1における車外状況判定処理を示すフローチャートである。
まず、不安要因特定部145は、搭乗者の視線方向に、予め定められた物体である対象物体があるか否かを判断する(S20)。例えば、不安要因特定部145は、記憶部144に記憶されている走行状態データの「物体i」の中に、搭乗者の視線方向を含む予め定められた方向範囲内に、予め定められた物体がある場合に、搭乗者の視線方向に対象物体があると判断する。対象物体がある場合(ステップS20でYes)には、処理はステップS21に進み、対象物体がない場合(ステップS20でNo)には、処理は図7のステップS28に進む。
ステップS21では、不安要因特定部145は、対象物体の相対速度S1が予め定められた速度X1よりも速いか否かを判断する。対象物体の相対速度S1は、記憶部144に記憶されている走行状態データにおいて、対象物体に対応する「物体i」の「速度」である。対象物体の相対速度S1が予め定められた速度X1よりも速い場合(S21でYes)には、処理はステップS22に進み、対象物体の相対速度S1が予め定められた速度X1以下である場合(S21でNo)には、処理はステップS23に進む。
ステップS22では、不安要因特定部145は、他車速度を不安の要因と特定する。
ステップS23では、不安要因特定部145は、対象物体の出現時間Tが予め定められた時間Yよりも短いか否かを判断する。対象物体の出現時間Tは、記憶部144に記憶されている走行状態データにおいて、対象物体に対応する「物体i」の「出現時間」である。対象物体の出現時間Tが予め定められた時間Yよりも短い場合(S23でYes)には、処理はステップS24に進み、対象物体の出現時間Tが予め定められた時間Y以上である場合(S23でNo)には、処理はステップS25に進む。
ステップS24では、不安要因特定部145は、飛び出しを不安の要因と特定する。
ステップS25では、不安要因特定部145は、対象物体との距離Dが予め定められた距離Zよりも短いか否かを判断する。対象物体との距離Dは、記憶部144に記憶されている走行状態データにおいて、対象物体に対応する「物体i」の「距離」である。対象物体との距離Dが予め定められた距離Zよりも短い場合(S25でYes)には、処理はステップS26に進み、対象物体との距離Dが予め定められた距離Z以上である場合(S25でNo)には、処理はステップS27に進む。
ステップS26では、不安要因特定部145は、車間距離を不安の要因と特定する。
一方、ステップS27では、不安要因特定部145は、不安の要因が不明であるため、不安の要因がないと判断する。
また、ステップS20において、対象物体がない場合(ステップS20でNo)には、処理は、図7のステップS28に進む。
ステップS28では、不安要因特定部145は、自車両の速度S2が予め定められた速度X2よりも速いか否かを判断する。自車両の速度S2は、記憶部144に記憶されている車両状態データの「速度」である。自車両の速度S2が予め定められた速度X2よりも速い場合(ステップS28でYes)には、処理はステップS29に進み、自車両の速度S2が予め定められた速度X2以下である場合(ステップS28でNo)には、処理はステップS30に進む。
ステップS29では、不安要因特定部145は、自車速度を不安の要因と特定する。
ステップS30では、不安要因特定部145は、悪天候であるか否かを判断する。不安要因特定部145は、例えば、記憶部144に記憶されている走行状態データの「天候」を参照することで、悪天候であるか否かを判断すればよい。悪天候である場合(ステップS28でYes)には、処理はステップS31に進み、悪天候ではない場合(ステップS28でNo)には、処理はステップS32に進む。
ステップS31では、不安要因特定部145は、悪天候を不安の要因と特定する。
一方、ステップS32では、不安要因特定部145は、不安の要因が不明であるため、不安の要因がないと判断する。
図8及び図9は、実施の形態1における車内状況判定処理を示すフローチャートである。
まず、不安要因特定部145は、搭乗者の視線方向にサイドミラー又はバックミラーがあるか否かを判断する(S40)。例えば、不安要因特定部145は、記憶部144に記憶されている部品位置データを参照することで、搭乗者の視線方向を含む予め定められた方向範囲にサイドミラー又はバックミラーがある場合には、搭乗者の視線方向にサイドミラー又はバックミラーがあると判断する。搭乗者の視線方向にサイドミラー又はバックミラーがない場合(ステップS40でNo)には、処理はステップS41に進み、搭乗者の視線方向にサイドミラー又はバックミラーがある場合(ステップS40でYes)には、処理は図9のステップS45に進む。
ステップS41では、不安要因特定部145は、搭乗者の視線方向に、ナビシステム122のディスプレイ又はインパネなどの車内表示機器があるか否かを判断する。例えば、不安要因特定部145は、記憶部144に記憶されている部品位置データを参照することで、搭乗者の視線方向を含む予め定められた方向範囲に車内表示機器がある場合には、搭乗者の視線方向に車内表示機器があると判断する。搭乗者の視線方向に車内表示機器がある場合(ステップS41でYes)には、処理はステップS42に進み、搭乗者の視線方向に車内表示機器がない場合(ステップS41でNo)には、処理はステップS44に進む。
ステップS42では、不安要因特定部145は、車内表示機器において直前に表示された内容が特定の内容であるか否かを判断する。例えば、不安要因特定部145は、記憶部144に記憶されている車両状態データの「警告有無」、「警告種別」、「ナビ状態」及び「インパネ状態」を監視することにより、現在までの予め定められた期間内に、予め定められた内容の表示が行われた場合に、直前に表示された内容が特定の内容であると判断する。直前に表示された内容が特定の内容である場合(ステップS42でYes)には、処理はステップS43に進み、直前に表示された内容が特定の内容ではない場合(ステップS42でNo)には、処理はステップS44に進む。
ステップS43では、不安要因特定部145は、直前に表示された特定の内容を不安の要因と特定する。
一方、ステップS44では、不安要因特定部145は、不安の要因が不明であるため、不安の要因がないと判断する。
ステップS40において、視線方向にサイドミラー又はバックミラーがある場合(ステップS40でYes)には、処理は図9のステップS45に進む。
ステップS45では、不安要因特定部145は、搭乗者の視線方向にあるサイドミラー又はバックミラーに、予め定められた物体である対象物体が写っているか否かを判断する。例えば、不安要因特定部145は、記憶部144に記憶されている走行状態データの「物体i」の中に、搭乗者の視線方向にあるサイドミラー又はバックミラーからの予め定められた方向範囲内に、予め定められた物体がある場合に、搭乗者の視線方向にあるサイドミラー又はバックミラーに対象物体が写っていると判断する。搭乗者の視線方向にあるサイドミラー又はバックミラーに対象物体が写っている場合(ステップS45でYes)には、処理はステップS46に進み、搭乗者の視線方向にあるサイドミラー又はバックミラーに対象物体がない場合(ステップS45でNo)には、処理はステップS52に進む。
ステップS46では、不安要因特定部145は、対象物体の相対速度S1が予め定められた速度X1よりも速いか否かを判断する。ここでの処理は、図6におけるステップS21での処理と同様である。対象物体の相対速度S1が予め定められた速度X1よりも速い場合(S46でYes)には、処理はステップS47に進み、対象物体の相対速度S1が予め定められた速度X1以下である場合(S46でNo)には、処理はステップS48に進む。
ステップS47では、不安要因特定部145は、他車速度を不安の要因と特定する。
ステップS48では、不安要因特定部145は、対象物体の出現時間Tが予め定められた時間Yよりも短いか否かを判断する。ここでの処理は、図6におけるステップS23での処理と同様である。対象物体の出現時間Tが予め定められた時間Yよりも短い場合(S48でYes)には、処理はステップS49に進み、対象物体の出現時間Tが予め定められた時間Y以上である場合(S48でNo)には、処理はステップS50に進む。
ステップS49では、不安要因特定部145は、飛び出しを不安の要因と特定する。
ステップS50では、不安要因特定部145は、対象物体との距離Dが予め定められた距離Zよりも短いか否かを判断する。ここでの処理は、図6におけるステップS25と同様である。対象物体との距離Dが予め定められた距離Zよりも短い場合(S50でYes)には、処理はステップS51に進み、対象物体との距離Dが予め定められた距離Z以上である場合(S50でNo)には、処理はステップS52に進む。
ステップS51では、不安要因特定部145は、車間距離を不安の要因と特定する。
一方、ステップS52では、不安要因特定部145は、不安の要因が不明であるため、不安の要因がないと判断する。
以上のように、実施の形態1によれば、搭乗者が不安を感じた場合に、その不安の要因を特定し、その要因に対して対策を行うことができるようになる。
実施の形態2.
図1に示されているように、実施の形態2に係る不安要因特定装置200は、搭乗者状態センシング部110と、車両状態センシング部120と、走行状態センシング部130と、感情認識部140と、搭乗者状態管理部141と、車両状態管理部142と、走行状態管理部143と、記憶部244と、不安要因特定部245と、対策決定部146と、対策実行部147とを備える。
実施の形態2に係る不安要因特定装置200の搭乗者状態センシング部110、車両状態センシング部120、走行状態センシング部130、感情認識部140、搭乗者状態管理部141、車両状態管理部142、走行状態管理部143、対策決定部146及び対策実行部147は、実施の形態1に係る不安要因特定装置100の搭乗者状態センシング部110、車両状態センシング部120、走行状態センシング部130、感情認識部140、搭乗者状態管理部141、車両状態管理部142、走行状態管理部143、対策決定部146及び対策実行部147と同様である。
記憶部244は、不安要因特定装置200での処理に必要なデータを記憶する。
実施の形態2における記憶部244は、実施の形態1における記憶部144に記憶されているデータと同様のデータにおける履歴を記憶するほか、不安要因特定部245での機械学習による不安要因の特定に必要な学習結果データを記憶する。
不安要因特定部245は、記憶部244に記憶されている感情認識データを参照することで、搭乗者が不安を感じた場合に、記憶部244に記憶されている搭乗者状態データ、車両状態データ及び走行状態データの履歴、並びに、学習結果データを用いて、不安の要因を特定する。
不安要因特定部245は、例えば、RandomForest等の機械学習により、不安の要因を特定する。
具体的には、事前の学習段階において、搭乗者が不安を感じた時点で、その要因をインタビュー等により聴取することで、搭乗者状態データ、車両状態データ及び走行状態データの履歴から、どの検出データで示される値を時系列に並べた時系列データが不安の要因となっているかを示す学習データを生成しておく。図10(A)〜(C)では、実線で示されている時系列データが不安の要因となっているものとする。言い換えると、学習データでは、時系列データに要因がラベル付けされている。これらの学習データを用いて、予め機械学習により学習が行われる。
そして、不安要因特定部245は、運用段階において、感情認識部140が搭乗者の不安を認識した時点で、搭乗者状態データ、車両状態データ及び走行状態データの履歴が図11(A)であった場合に、学習した結果である学習結果データを用いることで、図11(B)において実線で示されているように、不安の要因となっている時系列データを特定する。
不安要因特定部245は、以上のようにして特定された時系列データに対応付けられている要因を、搭乗者の不安の要因と特定する。
例えば、特定された時系列データが、左右の加速度の検出データである場合、不安要因特定部245は、前方の車両が近づいたために、搭乗者が急ハンドルを切ったと推定し、不安の要因を車間距離であると判断する。
以上のように、実施の形態2によれば、機械学習により、搭乗者の不安の要因を高精度に特定することができる。
実施の形態3.
図1に示されているように、実施の形態3に係る不安要因特定装置300は、搭乗者状態センシング部110と、車両状態センシング部120と、走行状態センシング部130と、感情認識部140と、搭乗者状態管理部141と、車両状態管理部142と、走行状態管理部143と、記憶部344と、不安要因特定部345と、対策決定部346と、対策実行部147とを備える。
実施の形態3に係る不安要因特定装置300の搭乗者状態センシング部110、車両状態センシング部120、走行状態センシング部130、感情認識部140、搭乗者状態管理部141、車両状態管理部142、走行状態管理部143及び対策実行部147は、実施の形態1に係る不安要因特定装置100の搭乗者状態センシング部110、車両状態センシング部120、走行状態センシング部130、感情認識部140、搭乗者状態管理部141、車両状態管理部142、走行状態管理部143及び対策実行部147と同様である。
記憶部344は、不安要因特定装置300での処理に必要なデータを記憶する。
例えば、記憶部344は、感情認識データ、搭乗者状態データ、車両状態データ、走行状態データ、対策テーブル及び部品位置データを記憶する。
実施の形態3における感情認識データ、搭乗者状態データ、車両状態データ、走行状態データ及び部品位置データは、実施の形態1における感情認識データ、搭乗者状態データ、車両状態データ、走行状態データ及び部品位置データと同様である。
図12は、実施の形態3における対策テーブルの一例を示す概略図である。
図12に示されている対策テーブル360は、要因列360aと、主感情分類列360dと、対応処理列360bと、パラメータ列360cとを有する。
要因列360aは、搭乗者が感じる不安の要因を示す。
主感情分類列360dは、搭乗者が感じた「驚き」及び「恐れ」の感情の度合い内、高い方の感情である主感情分類を示す。言い換えると、主感情分類は、搭乗者の感情の内、予め定められた方法で選択された感情である。
対応処理列360bは、搭乗者が感じる不安及び主感情分類に対する対応処理を示す。
パラメータ列360cは、搭乗者が感じる不安及び主感情分類に対して対応する際に、車両の自動運転においてパラメータを調整する値を示す。パラメータ列360cに格納されている値は、車両が自動運転に対応している場合に使用される値である。
図1に戻り、不安要因特定部345は、記憶部344に記憶されている感情認識データを参照することで、搭乗者が不安を感じた場合に、記憶部344に記憶されている搭乗者状態データ、車両状態データ及び走行状態データを用いて、不安の要因を特定する。
実施の形態3においては、不安要因特定部345は、搭乗者の感情の分類に従って、不安の要因を特定する順番を変える。
対策決定部346は、記憶部144に記憶されている対策テーブルを参照することで、不安要因特定部145が特定した要因と、搭乗者の主感情との組み合わせに対応する対策を決定する。
図13は、実施の形態3における不安要因特定部345の動作を示すフローチャートである。
まず、不安要因特定部345は、搭乗者が覚醒状態であるか否かを判断する(S60)。ここでの処理は、図5のステップS10での処理と同様である。搭乗者が覚醒状態ではない場合(S60でNo)には、処理はステップS61に進み、搭乗者が覚醒状態である場合(S60でYes)には、処理はステップS62に進む。
ステップS61では、不安要因特定部345は、不安の要因がないと判断する。
ステップS62では、不安要因特定部345は、搭乗者の感情分類が驚きであるか否かを判断する。例えば、不安要因特定部345は、記憶部344に記憶されている運転状態データに含まれている「感情」である「neutral」、「怒り」、「恐れ」、「驚き」、「悲しみ」、「嫌悪」及び「幸せ(喜び)」の度合いの内、最も高い度合いとなっているものを搭乗者の感情分類として特定する。そして、搭乗者の感情分類が驚きである場合(ステップS62でYes)には、処理はステップS63に進み、搭乗者の感情分類が驚きではない場合(ステップS62でNo)には、処理はステップS64に進む。
ステップS63では、不安要因特定部345は、驚きを含む不安要因の特定処理を実行する。ここでの処理については、図14〜図18を用いて説明する。
ステップS64では、不安要因特定部345は、搭乗者の感情分類が恐れであるか否かを判断する。そして、搭乗者の感情分類が恐れである場合(ステップS64でYes)には、処理はステップS65に進み、搭乗者の感情分類が恐れではない場合(ステップS64でNo)には、処理はステップS66に進む。
ステップS65では、不安要因特定部345は、恐れを含む不安要因の特定処理を実行する。ここでの処理については、図19〜図23を用いて説明する。
ステップS66では、不安要因特定部345は、その他の不安要因の特定処理を実行する。ここでの処理については、図24〜図26を用いて説明する。
図14〜図18は、驚きを含む不安要因の特定処理を示すフローチャートである。
まず、図14から説明を行う。
不安要因特定部345は、異常音があるか否かを判断する(S70)。ここでの処理は、図5のステップS10の処理と同様である。異常音がある場合(S70でYes)には、処理はステップS71に進み、異常音がない場合(S70でNo)には、処理はステップS72に進む。
ステップS71では、不安要因特定部345は、異常音を不安の要因と特定する。
ステップS72では、不安要因特定部345は、直前に急操作があったか否かを判断する。ここでの処理は、図5のステップS14での処理と同様である。直前に急操作があった場合(ステップS72でYes)には、処理はステップS73に進み、直前に急操作がなかった場合(ステップS72でNo)には、処理はステップS74に進む。
ステップS73では、不安要因特定部345は、急操作を不安の要因と特定する。
ステップS74では、不安要因特定部345は、搭乗者の視線方向が車外であるか否かを判断する。ここでの処理は、図5のステップS16での処理と同様である。搭乗者の視線方向が車外である場合(ステップS74でYes)には、処理はステップS75に進み、搭乗者の視線方向が車内である場合(ステップS74でNo)には、処理はステップS76に進む。
ステップS75では、不安要因特定部345は、車両の外部の状況を判定して、驚きを含んでいる状態での不安の要因を特定する驚きを含む車外状況判定処理を行う。この処理については、図15及び図16を用いて、詳細に説明する。
ステップS76では、不安要因特定部345は、車両の内部の状況を判定して、驚きを含んでいる状態での不安の要因を特定する驚きを含む車内状況判定処理を行う。この処理については、図17及び図18を用いて、詳細に説明する。
図15及び図16は、実施の形態3における驚きを含む車外状況判定処理を示すフローチャートである。
まず、不安要因特定部345は、搭乗者の視線方向に対象物体があるか否かを判断する(S80)。ここでの処理は、図6のステップS20での処理と同様である。対象物体がある場合(ステップS80でYes)には、処理はステップS81に進み、対象物体がない場合(ステップS80でNo)には、処理は図16のステップS88に進む。
ステップS81では、不安要因特定部345は、対象物体の出現時間Tが予め定められた時間Yよりも短いか否かを判断する。ここでの処理は、図6のステップS23での処理と同様である。対象物体の出現時間Tが予め定められた時間Yよりも短い場合(S81でYes)には、処理はステップS82に進み、対象物体の出現時間Tが予め定められた時間Y以上である場合(S81でNo)には、処理はステップS83に進む。
ステップS82では、不安要因特定部345は、飛び出しを不安の要因と特定する。
ステップS83では、不安要因特定部345は、対象物体の相対速度S1が予め定められた速度X1よりも速いか否かを判断する。ここでの処理は、図6のステップS21での処理と同様である。対象物体の相対速度S1が予め定められた速度X1よりも速い場合(S83でYes)には、処理はステップS84に進み、対象物体の相対速度S1が予め定められた速度X1以下である場合(S83でNo)には、処理はステップS85に進む。
ステップS84では、不安要因特定部345は、他車速度を不安の要因と特定する。
ステップS85では、不安要因特定部345は、対象物体との距離Dが予め定められた距離Zよりも短いか否かを判断する。ここでの処理は、図6のステップS25での処理と同様である。対象物体との距離Dが予め定められた距離Zよりも短い場合(S85でYes)には、処理はステップS86に進み、対象物体との距離Dが予め定められた距離Z以上である場合(S85でNo)には、処理はステップS87に進む。
ステップS86では、不安要因特定部345は、車間距離を不安の要因と特定する。
一方、ステップS87では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
また、ステップS80において、対象物体がない場合(ステップS80でNo)には、処理は、図16のステップS88に進む。
ステップS88では、不安要因特定部345は、悪天候であるか否かを判断する。ここでの処理は、図7のステップS30での処理と同様である。悪天候である場合(ステップS88でYes)には、処理はステップS89に進み、悪天候ではない場合(ステップS88でNo)には、処理はステップS90に進む。
ステップS89では、不安要因特定部345は、悪天候を不安の要因と特定する。
ステップS90では、不安要因特定部345は、自車両の速度S2が予め定められた速度X2よりも速いか否かを判断する。ここでの処理は、図7のステップS28での処理と同様である。自車両の速度S2が予め定められた速度X2よりも速い場合(ステップS90でYes)には、処理はステップS91に進み、自車両の速度S2が予め定められた速度X2以下である場合(ステップS90でNo)には、処理はステップS92に進む。
ステップS91では、不安要因特定部345は、自車速度を不安の要因と特定する。
一方、ステップS92では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
図17及び図18は、実施の形態3における驚きを含む車内状況判定処理を示すフローチャートである。
まず、不安要因特定部345は、搭乗者の視線方向にサイドミラー又はバックミラーがあるか否かを判断する(S100)。ここでの処理は、図8におけるステップS40での処理と同様である。搭乗者の視線方向にサイドミラー又はバックミラーがない場合(ステップS100でNo)には、処理はステップS101に進み、搭乗者の視線方向にサイドミラー又はバックミラーがある場合(ステップS100でYes)には、処理は図18のステップS105に進む。
ステップS101では、不安要因特定部345は、搭乗者の視線方向に車内表示機器があるか否かを判断する。ここでの処理は、図8におけるステップS41での処理と同様である。搭乗者の視線方向に車内表示機器がある場合(ステップS101でYes)には、処理はステップS102に進み、搭乗者の視線方向に車内表示機器がない場合(ステップS101でNo)には、処理はステップS104に進む。
ステップS102では、不安要因特定部345は、車内表示機器において直前に表示された内容が特定の内容であるか否かを判断する。ここでの処理は、図8におけるステップS42での処理と同様である。直前に表示された内容が特定の内容である場合(ステップS102でYes)には、処理はステップS103に進み、直前に表示された内容が特定の内容ではない場合(ステップS102でNo)には、処理はステップS104に進む。
ステップS103では、不安要因特定部345は、直前に表示された特定の内容を不安の要因と特定する。
一方、ステップS104では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
ステップS100において、視線方向にサイドミラー又はバックミラーがある場合(ステップS100でYes)には、処理は図18のステップS105に進む。
ステップS105では、不安要因特定部345は、搭乗者の視線方向にあるサイドミラー又はバックミラーに、予め定められた物体である対象物体が写っているか否かを判断する。ここでの処理は、図9におけるステップS45での処理と同様である。搭乗者の視線方向にあるサイドミラー又はバックミラーに対象物体が写っている場合(ステップS105でYes)には、処理はステップS106に進み、搭乗者の視線方向にあるサイドミラー又はバックミラーに対象物体がない場合(ステップS105でNo)には、処理はステップS112に進む。
ステップS106では、不安要因特定部345は、対象物体の出現時間Tが予め定められた時間Yよりも短いか否かを判断する。ここでの処理は、図6におけるステップS23での処理と同様である。対象物体の出現時間Tが予め定められた時間Yよりも短い場合(S106でYes)には、処理はステップS107に進み、対象物体の出現時間Tが予め定められた時間Y以上である場合(S106でNo)には、処理はステップS108に進む。
ステップS107では、不安要因特定部345は、飛び出しを不安の要因と特定する。
ステップS108では、不安要因特定部345は、対象物体の相対速度S1が予め定められた速度X1よりも速いか否かを判断する。ここでの処理は、図6におけるステップS21での処理と同様である。対象物体の相対速度S1が予め定められた速度X1よりも速い場合(S108でYes)には、処理はステップS109に進み、対象物体の相対速度S1が予め定められた速度X1以下である場合(S108でNo)には、処理はステップS110に進む。
ステップS109では、不安要因特定部345は、他車速度を不安の要因と特定する。
ステップS110では、不安要因特定部345は、対象物体との距離Dが予め定められた距離Zよりも短いか否かを判断する。ここでの処理は、図6におけるステップS25と同様である。対象物体との距離Dが予め定められた距離Zよりも短い場合(S110でYes)には、処理はステップS111に進み、対象物体との距離Dが予め定められた距離Z以上である場合(S110でNo)には、処理はステップS112に進む。
ステップS111では、不安要因特定部345は、車間距離を不安の要因と特定する。
一方、ステップS112では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
図19〜図23は、恐れを含む不安要因の特定処理を示すフローチャートである。
まず、図19から説明を行う。
不安要因特定部345は、異常音があるか否かを判断する(S120)。ここでの処理は、図5のステップS10の処理と同様である。異常音がある場合(S120でYes)には、処理はステップS121に進み、異常音がない場合(S120でNo)には、処理はステップS122に進む。
ステップS121では、不安要因特定部345は、異常音を不安の要因と特定する。
ステップS122では、不安要因特定部345は、搭乗者の視線方向が車外であるか否かを判断する。ここでの処理は、図5のステップS16での処理と同様である。搭乗者の視線方向が車外である場合(ステップS122でYes)には、処理はステップS123に進み、搭乗者の視線方向が車内である場合(ステップS122でNo)には、処理はステップS124に進む。
ステップS123では、不安要因特定部345は、車両の外部の状況を判定して、恐れを含んでいる状態での不安の要因を特定する驚きを含む車外状況判定処理を行う。この処理については、図20及び図21を用いて、詳細に説明する。
ステップS124では、不安要因特定部345は、車両の内部の状況を判定して、恐れを含んでいる状態での不安の要因を特定する驚きを含む車内状況判定処理を行う。この処理については、図22及び図23を用いて、詳細に説明する。
図20及び図21は、実施の形態3における恐れを含む車外状況判定処理を示すフローチャートである。
まず、不安要因特定部345は、搭乗者の視線方向に対象物体があるか否かを判断する(S130)。ここでの処理は、図6のステップS20での処理と同様である。対象物体がある場合(ステップS130でYes)には、処理はステップS131に進み、対象物体がない場合(ステップS130でNo)には、処理は図21のステップS138に進む。
ステップS131では、不安要因特定部345は、対象物体の相対速度S1が予め定められた速度X1よりも速いか否かを判断する。ここでの処理は、図6のステップS21での処理と同様である。対象物体の相対速度S1が予め定められた速度X1よりも速い場合(S131でYes)には、処理はステップS132に進み、対象物体の相対速度S1が予め定められた速度X1以下である場合(S131でNo)には、処理はステップS133に進む。
ステップS132では、不安要因特定部345は、他車速度を不安の要因と特定する。
ステップS133では、不安要因特定部345は、対象物体との距離Dが予め定められた距離Zよりも短いか否かを判断する。ここでの処理は、図6のステップS25での処理と同様である。対象物体との距離Dが予め定められた距離Zよりも短い場合(S133でYes)には、処理はステップS134に進み、対象物体との距離Dが予め定められた距離Z以上である場合(S133でNo)には、処理はステップS135に進む。
ステップS134では、不安要因特定部345は、車間距離を不安の要因と特定する。
ステップS135では、不安要因特定部345は、対象物体の出現時間Tが予め定められた時間Yよりも短いか否かを判断する。ここでの処理は、図6のステップS23での処理と同様である。対象物体の出現時間Tが予め定められた時間Yよりも短い場合(S135でYes)には、処理はステップS136に進み、対象物体の出現時間Tが予め定められた時間Y以上である場合(S135でNo)には、処理はステップS137に進む。
ステップS136では、不安要因特定部345は、飛び出しを不安の要因と特定する。
一方、ステップS137では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
また、ステップS130において、対象物体がない場合(ステップS130でNo)には、処理は、図21のステップS138に進む。
ステップS138では、不安要因特定部345は、自車両の速度S2が予め定められた速度X2よりも速いか否かを判断する。ここでの処理は、図7のステップS28での処理と同様である。自車両の速度S2が予め定められた速度X2よりも速い場合(ステップS138でYes)には、処理はステップS139に進み、自車両の速度S2が予め定められた速度X2以下である場合(ステップS138でNo)には、処理はステップS140に進む。
ステップS139では、不安要因特定部345は、自車速度を不安の要因と特定する。
ステップS140では、不安要因特定部345は、悪天候であるか否かを判断する。ここでの処理は、図7のステップS30での処理と同様である。悪天候である場合(ステップS140でYes)には、処理はステップS141に進み、悪天候ではない場合(ステップS140でNo)には、処理はステップS142に進む。
ステップS141では、不安要因特定部345は、悪天候を不安の要因と特定する。
ステップS142では、不安要因特定部345は、直前に急操作があったか否かを判断する。ここでの処理は、図5のステップS14での処理と同様である。直前に急操作があった場合(ステップS142でYes)には、処理はステップS143に進み、直前に急操作がなかった場合(ステップS142でNo)には、処理はステップS144に進む。
ステップS143では、不安要因特定部345は、急操作を不安の要因と特定する。
一方、ステップS144では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
図22及び図23は、実施の形態3における恐れを含む車内状況判定処理を示すフローチャートである。
まず、不安要因特定部345は、搭乗者の視線方向にサイドミラー又はバックミラーがあるか否かを判断する(S150)。ここでの処理は、図8におけるステップS40での処理と同様である。搭乗者の視線方向にサイドミラー又はバックミラーがない場合(ステップS150でNo)には、処理はステップS151に進み、搭乗者の視線方向にサイドミラー又はバックミラーがある場合(ステップS150でYes)には、処理は図23のステップS155に進む。
ステップS151では、不安要因特定部345は、搭乗者の視線方向に車内表示機器があるか否かを判断する。ここでの処理は、図8におけるステップS41での処理と同様である。搭乗者の視線方向に車内表示機器がある場合(ステップS151でYes)には、処理はステップS152に進み、搭乗者の視線方向に車内表示機器がない場合(ステップS151でNo)には、処理はステップS154に進む。
ステップS152では、不安要因特定部345は、車内表示機器において直前に表示された内容が特定の内容であるか否かを判断する。ここでの処理は、図8におけるステップS42での処理と同様である。直前に表示された内容が特定の内容である場合(ステップS152でYes)には、処理はステップS153に進み、直前に表示された内容が特定の内容ではない場合(ステップS152でNo)には、処理はステップS154に進む。
ステップS153では、不安要因特定部345は、直前に表示された特定の内容を不安の要因と特定する。
一方、ステップS154では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
ステップS150において、視線方向にサイドミラー又はバックミラーがある場合(ステップS150でYes)には、処理は図23のステップS155に進む。
ステップS155では、不安要因特定部345は、搭乗者の視線方向にあるサイドミラー又はバックミラーに、予め定められた物体である対象物体が写っているか否かを判断する。ここでの処理は、図9におけるステップS45での処理と同様である。搭乗者の視線方向にあるサイドミラー又はバックミラーに対象物体が写っている場合(ステップS155でYes)には、処理はステップS156に進み、搭乗者の視線方向にあるサイドミラー又はバックミラーに対象物体がない場合(ステップS155でNo)には、処理はステップS162に進む。
ステップS156では、不安要因特定部345は、対象物体の相対速度S1が予め定められた速度X1よりも速いか否かを判断する。ここでの処理は、図6におけるステップS21での処理と同様である。対象物体の相対速度S1が予め定められた速度X1よりも速い場合(S156でYes)には、処理はステップS157に進み、対象物体の相対速度S1が予め定められた速度X1以下である場合(S156でNo)には、処理はステップS158に進む。
ステップS157では、不安要因特定部345は、他車速度を不安の要因と特定する。
ステップS158では、不安要因特定部345は、対象物体との距離Dが予め定められた距離Zよりも短いか否かを判断する。ここでの処理は、図6におけるステップS25と同様である。対象物体との距離Dが予め定められた距離Zよりも短い場合(S158でYes)には、処理はステップS159に進み、対象物体との距離Dが予め定められた距離Z以上である場合(S158でNo)には、処理はステップS160に進む。
ステップS159では、不安要因特定部345は、車間距離を不安の要因と特定する。
ステップS160では、不安要因特定部345は、対象物体の出現時間Tが予め定められた時間Yよりも短いか否かを判断する。ここでの処理は、図6におけるステップS23での処理と同様である。対象物体の出現時間Tが予め定められた時間Yよりも短い場合(S160でYes)には、処理はステップS161に進み、対象物体の出現時間Tが予め定められた時間Y以上である場合(S160でNo)には、処理はステップS162に進む。
ステップS161では、不安要因特定部345は、飛び出しを不安の要因と特定する。
一方、ステップS162では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
図24〜図26は、その他の不安要因の特定処理を示すフローチャートである。
まず、図24から説明を行う。
不安要因特定部345は、異常音があるか否かを判断する(S170)。ここでの処理は、図5のステップS10の処理と同様である。異常音がある場合(S170でYes)には、処理はステップS171に進み、異常音がない場合(S170でNo)には、処理はステップS172に進む。
ステップS171では、不安要因特定部345は、異常音を不安の要因と特定する。
ステップS172では、不安要因特定部345は、搭乗者の視線方向が車外であるか否かを判断する。ここでの処理は、図5のステップS16での処理と同様である。搭乗者の視線方向が車外である場合(ステップS172でYes)には、処理はステップS173に進み、搭乗者の視線方向が車内である場合(ステップS172でNo)には、処理はステップS174に進む。
ステップS173では、不安要因特定部345は、車両の外部の状況を判定して、その他の状況における不安の要因を特定するその他車外状況判定処理を行う。この処理については、図25及び図26を用いて、詳細に説明する。
ステップS174では、不安要因特定部345は、車両の内部の状況を判定して、その他の状況における不安の要因を特定するその他車内状況判定処理を行う。この処理については、図22及び図23を用いて説明した恐れを含む車外状況判定処理と同様である。
図25及び図26は、実施の形態3におけるその他車外状況判定処理を示すフローチャートである。
まず、不安要因特定部345は、搭乗者の視線方向に対象物体があるか否かを判断する(S180)。ここでの処理は、図6のステップS20での処理と同様である。対象物体がある場合(ステップS180でYes)には、処理はステップS181に進み、対象物体がない場合(ステップS180でNo)には、処理は図26のステップS188に進む。
ステップS181では、不安要因特定部345は、対象物体の相対速度S1が予め定められた速度X1よりも速いか否かを判断する。ここでの処理は、図6のステップS21での処理と同様である。対象物体の相対速度S1が予め定められた速度X1よりも速い場合(S181でYes)には、処理はステップS182に進み、対象物体の相対速度S1が予め定められた速度X1以下である場合(S181でNo)には、処理はステップS183に進む。
ステップS182では、不安要因特定部345は、他車速度を不安の要因と特定する。
ステップS183では、不安要因特定部345は、対象物体の出現時間Tが予め定められた時間Yよりも短いか否かを判断する。ここでの処理は、図6のステップS23での処理と同様である。対象物体の出現時間Tが予め定められた時間Yよりも短い場合(S183でYes)には、処理はステップS184に進み、対象物体の出現時間Tが予め定められた時間Y以上である場合(S183でNo)には、処理はステップS185に進む。
ステップS184では、不安要因特定部345は、飛び出しを不安の要因と特定する。
ステップS185では、不安要因特定部345は、対象物体との距離Dが予め定められた距離Zよりも短いか否かを判断する。ここでの処理は、図6のステップS25での処理と同様である。対象物体との距離Dが予め定められた距離Zよりも短い場合(S185でYes)には、処理はステップS186に進み、対象物体との距離Dが予め定められた距離Z以上である場合(S185でNo)には、処理はステップS187に進む。
ステップS186では、不安要因特定部345は、車間距離を不安の要因と特定する。
一方、ステップS187では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
また、ステップS180において、対象物体がない場合(ステップS180でNo)には、処理は、図26のステップS188に進む。
ステップS188では、不安要因特定部345は、悪天候であるか否かを判断する。ここでの処理は、図7のステップS30での処理と同様である。悪天候である場合(ステップS188でYes)には、処理はステップS189に進み、悪天候ではない場合(ステップS188でNo)には、処理はステップS190に進む。
ステップS189では、不安要因特定部345は、悪天候を不安の要因と特定する。
ステップS190では、不安要因特定部345は、自車両の速度S2が予め定められた速度X2よりも速いか否かを判断する。ここでの処理は、図7のステップS28での処理と同様である。自車両の速度S2が予め定められた速度X2よりも速い場合(ステップS190でYes)には、処理はステップS191に進み、自車両の速度S2が予め定められた速度X2以下である場合(ステップS190でNo)には、処理はステップS192に進む。
ステップS191では、不安要因特定部345は、自車速度を不安の要因と特定する。
ステップS192では、不安要因特定部345は、直前に急操作があったか否かを判断する。ここでの処理は、図5のステップS14での処理と同様である。直前に急操作があった場合(ステップS192でYes)には、処理はステップS193に進み、直前に急操作がなかった場合(ステップS192でNo)には、処理はステップS194に進む。
ステップS193では、不安要因特定部345は、急操作を不安の要因と特定する。
一方、ステップS194では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
以上のように、実施の形態3によれば、搭乗者の感情に応じて、不安の要因を高精度に特定することができる。
実施の形態4.
図27は、実施の形態4に係る不安要因特定装置400の構成を概略的に示すブロック図である。
不安要因特定装置400は、搭乗者状態センシング部110と、車両状態センシング部120と、走行状態センシング部130と、感情認識部140と、搭乗者状態管理部141と、車両状態管理部142と、走行状態管理部143と、記憶部144と、不安要因特定部145と、対策決定部446と、対策実行部147と、確認部448とを備える。
実施の形態4に係る不安要因特定装置400の搭乗者状態センシング部110、車両状態センシング部120、走行状態センシング部130、感情認識部140、搭乗者状態管理部141、車両状態管理部142、走行状態管理部143、記憶部144、不安要因特定部145及び対策実行部147は、実施の形態1に係る不安要因特定装置100の搭乗者状態センシング部110、車両状態センシング部120、走行状態センシング部130、感情認識部140、搭乗者状態管理部141、車両状態管理部142、走行状態管理部143、記憶部144、不安要因特定部145及び対策実行部147と同様である。
但し、不安要因特定部145は、特定された要因を確認部448に通知する。
確認部448は、不安要因特定部145から受け取った要因が正しいか否か、搭乗者に確認する。例えば、確認部448は、表示部として機能する表示装置174にその要因を表示させて、入力部として機能する入力装置173を介して、搭乗者からその要因が正しいか否かの回答を得る。
そして、確認部448は、搭乗者からその要因が正しいとの回答が得られた場合に、その要因を対策決定部446に通知する。
一方、確認部448は、搭乗者からその要因が正しくないとの回答が得られた場合には、その要因を対策決定部446に通知することなく、削除する。
対策決定部446は、確認部448から要因を通知された場合に、記憶部144に記憶されている対策テーブルを参照することで、確認部448において確認された要因に対応する対策を決定する。
以上のように、実施の形態4によれば、搭乗者に不安の要因を直接確認することができるため、不安の要因を確定することができ、その要因に対して、対策を実行することができる。
なお、以上に記載された実施の形態4では、実施の形態1に確認部448を追加しているが、実施の形態4は、このような例に限定されない。例えば、実施の形態2又は3に確認部448が追加されてもよい。
実施の形態5.
図28は、実施の形態5に係る不安要因特定システム501の構成を概略的に示すブロック図である。
不安要因特定システム501は、不安要因特定装置500と、クラウドサーバ580とを備える。不安要因特定装置500と、クラウドサーバ580とは、インターネット等のネットワーク502に接続されている。
図29は、実施の形態5に係る不安要因特定装置500の構成を概略的に示すブロック図である。
不安要因特定装置500は、搭乗者状態センシング部110と、車両状態センシング部120と、走行状態センシング部130と、感情認識部140と、搭乗者状態管理部141と、車両状態管理部142と、走行状態管理部143と、記憶部144と、不安要因特定部145と、対策決定部146と、対策実行部147と、ログデータ記憶部549と、アップロード部550と、更新部551とを備える。
実施の形態5に係る不安要因特定装置500の搭乗者状態センシング部110、車両状態センシング部120、走行状態センシング部130、感情認識部140、搭乗者状態管理部141、車両状態管理部142、走行状態管理部143、記憶部144、不安要因特定部145、対策決定部146及び対策実行部147は、実施の形態1に係る不安要因特定装置100の搭乗者状態センシング部110、車両状態センシング部120、走行状態センシング部130、感情認識部140、搭乗者状態管理部141、車両状態管理部142、走行状態管理部143、記憶部144、不安要因特定部145、対策決定部146及び対策実行部147と同様である。
但し、対策決定部146は、特定された要因と、その要因に対応する対策とを示す対策データをログデータ記憶部549に記憶させる。
ログデータ記憶部549は、対策決定部146から与えられる対策データを、その対策データが取得された時間を示す時間情報とともにログデータとして記憶する。
アップロード部550は、定期的に、ログデータ記憶部549に記憶されているログデータを、後述する装置通信部を介して、クラウドサーバ580にアップロードする。ここでは、通信量を減らすため、アップロード部550は、前回アップロードしたログデータとの差分である差分データを、アップロードすればよい。
更新部551は、後述する装置通信部を介して、クラウドサーバ580から、対策テーブルを更新するための更新データを取得する。
そして、更新部551は、更新データに従って、記憶部144に記憶されている対策テーブルを更新する。
図30は、実施の形態5におけるクラウドサーバ580の構成を概略的に示すブロック図である。
クラウドサーバ580は、データ取得部581と、記憶部582と、更新処理部583とを備える。
データ取得部581は、後述するサーバ通信部を介して、不安要因特定装置500からログデータを取得する。ここでは、ログデータの差分である差分データが取得される。そして、データ取得部581は、取得されたデータを記憶部582に記憶させる。
記憶部582は、クラウドサーバ580での処理に必要なデータを記憶する。
例えば、記憶部582は、データ取得部581で取得されたログデータを記憶する。
更新処理部583は、記憶部582に記憶されているログデータを解析し、不安要因特定装置500の対策テーブルを更新する必要があると判断した場合に、その対策テーブルを更新するための更新データを生成する。
例えば、更新処理部583は、ログデータにおいて、ある要因が、予め定められた期間に、予め定められた数含まれている場合には、対策テーブルを更新する必要があると判断する。この場合、更新処理部583は、その要因を更新対象として特定する。言い換えると、予め定められた期間に、予め定められた回数、同じ要因により搭乗者が不安を感じている場合に、その要因に対応する対策を更新する必要があると判断される。
そして、更新処理部583は、搭乗者が不安を感じる頻度を減らすように、更新対象として特定された要因の対策を更新するための更新データを生成する。
具体的には、更新処理部583には、要因毎に、その対策を更新する方法が予め定められており、その方法に従って、更新処理部583は、更新データを生成すればよい。例えば、更新対象となった要因が「車間距離」である場合、更新処理部583は、車間距離を空けるためのパラメータの値を増加させればよい。
なお、更新処理部583は、例えば、更新対象となった要因を、後述する表示部であるサーバ表示部に表示させ、後述する入力部であるサーバ入力部を介して、オペレータから、変更する対策の入力を受け付けてもよい。
そして、更新処理部583は、生成された更新データを後述するサーバ通信部を介して、不安要因特定装置500に送る。
図31は、実施の形態5における不安要因特定装置500及びクラウドサーバ580のハードウェア構成例を示すブロック図である。
不安要因特定装置500は、搭乗者センサ170と、車外センサ171と、車両制御機器172と、入力装置173と、表示装置174と、記憶装置175と、演算装置176と、通信装置577とを備える。
実施の形態5における不安要因特定装置500の搭乗者センサ170、車外センサ171、車両制御機器172、入力装置173、表示装置174、記憶装置175及び演算装置176は、実施の形態1における不安要因特定装置500の搭乗者センサ170、車外センサ171、車両制御機器172、入力装置173、表示装置174、記憶装置175及び演算装置176と同様である。
なお、実施の形態5では、記憶装置175は、ログデータ記憶部549としての機能も実行する。
また、実施の形態5では、演算装置176は、アップロード部550及び更新部551としての機能も実行する。
通信装置577は、ネットワーク502との通信を行う通信インターフェースである。通信装置577は、装置通信部としての機能を実行する。
クラウドサーバ580は、通信装置590と、入力装置591と、表示装置592と、記憶装置593と、演算装置594とを備える。
言い換えると、クラウドサーバ580は、コンピュータにより実現することができる。
通信装置590は、ネットワーク502との通信を行う通信インターフェースである。通信装置590は、サーバ通信部としての機能を実行する。
入力装置591は、オペレータからの入力を受け付ける。入力装置591は、サーバ入力部としての機能を実行する。
表示装置592は、各種画面画像を表示する。表示装置592は、サーバ表示部としての機能を実行する。
記憶装置593は、クラウドサーバ580で必要とされるプログラム及びデータを記憶する。記憶装置593は、記憶部582としての機能を実行する。
演算装置594は、クラウドサーバ580を制御する。演算装置594は、更新処理部583としての機能を実行する。
以上のように、実施の形態5によれば、運転車が不安を感じている頻度に応じて、その対策を更新し、その不安が生ずる回数を減らすことができる。
なお、以上に記載された実施の形態5では、実施の形態1の不安要因特定装置100にログデータ記憶部549、アップロード部550及び更新部551を追加しているが、実施の形態5は、このような例に限定されない。例えば、実施の形態2又は3に係る不安要因特定装置200、300に、ログデータ記憶部549、アップロード部550及び更新部551が追加されてもよい。
実施の形態3に係る不安要因特定装置300に、ログデータ記憶部549、アップロード部550及び更新部551が追加された場合、搭乗者が感じる不安の要因及び搭乗者が感じる主感情分類に対する対策を示す対策データをログデータ記憶部549に記憶させればよい。クラウドサーバ580は、搭乗者が感じる不安の要因及び搭乗者が感じる主感情分類の組み合わせに対する対策を更新する更新データを生成すればよい。
実施の形態6.
図28に示されているように、実施の形態6に係る不安要因特定システム601は、不安要因特定装置600と、クラウドサーバ680とを備える。
図32は、実施の形態6に係る不安要因特定装置600の構成を概略的に示すブロック図である。
不安要因特定装置600は、搭乗者状態センシング部110と、車両状態センシング部120と、走行状態センシング部130と、感情認識部140と、搭乗者状態管理部141と、車両状態管理部142と、走行状態管理部143と、記憶部244と、不安要因特定部245と、対策決定部646と、対策実行部147と、確認部648と、ログデータ記憶部649と、アップロード部650と、更新部651とを備える。
実施の形態6に係る不安要因特定装置600の搭乗者状態センシング部110、車両状態センシング部120、走行状態センシング部130、感情認識部140、搭乗者状態管理部141、車両状態管理部142、走行状態管理部143及び対策実行部147は、実施の形態1に係る不安要因特定装置100の搭乗者状態センシング部110、車両状態センシング部120、走行状態センシング部130、感情認識部140、搭乗者状態管理部141、車両状態管理部142、走行状態管理部143及び対策実行部147と同様である。
実施の形態6に係る不安要因特定装置600の記憶部244及び不安要因特定部245は、実施の形態2に係る不安要因特定装置200の記憶部244及び不安要因特定部245と同様である。
確認部648は、不安の要因を搭乗者に確認する。例えば、確認部648は、表示部として機能する表示装置174に不安の要因のリストを表示させて、入力部として機能する入力装置173を介して、そのリストから不安の要因の選択を受ける。
そして、確認部648は、搭乗者からの回答と、不安要因特定部245で特定された要因とを対策決定部646に通知する。
対策決定部646は、搭乗者からの回答と、不安要因特定部245で特定された要因とが一致する場合に、記憶部244に記憶されている対策テーブルを参照することで、確認部648において確認された要因に対応する対策を決定する。
そして、対策決定部646は、搭乗者からの回答と、不安要因特定部245で特定された要因とが一致する場合には、その要因と、対策とを示す対策データをログデータ記憶部649に記憶させる。
また、対策決定部646は、搭乗者からの回答と、記憶部244に記憶されている搭乗者状態データ、車両状態データ及び走行状態データの履歴の内、不安要因特定部245での特定で使用された期間のデータとを、学習用データとして、ログデータ記憶部649に記憶させる。
ログデータ記憶部649は、対策決定部646から与えられる対策データを、その対策データが取得された時間を示す時間情報とともにログデータとして記憶する。
また、ログデータ記憶部649は、対策決定部646から与えられる学習用データを記憶する。
アップロード部650は、定期的に、ログデータ記憶部549に記憶されているログデータ及び学習用データを、後述する装置通信部を介して、クラウドサーバ580にアップロードする。ここでは、通信量を減らすため、アップロード部650は、前回アップロードしたログデータとの差分である差分データを、アップロードすればよい。
更新部651は、後述する装置通信部を介して、クラウドサーバ680から、対策テーブルを更新するための更新データ、及び、機械学習処理を更新するための更新学習結果データを取得する。
そして、更新部651は、更新データに従って、記憶部144に記憶されている対策テーブルを更新し、更新学習結果データを用いて、記憶部144に記憶されている学習結果データを更新する。
図30に示されているように、実施の形態6におけるクラウドサーバ680は、データ取得部681と、記憶部682と、更新処理部683とを備える。
データ取得部681は、サーバ通信部を介して、不安要因特定装置600からログデータ及び学習用データを取得する。ここでは、ログデータの差分である差分データが取得される。そして、データ取得部681は、取得されたデータを記憶部682に記憶させる。
記憶部682は、クラウドサーバ680での処理に必要なデータを記憶する。
例えば、記憶部682は、データ取得部681で取得されたログデータ及び学習用データを記憶する。
更新処理部683は、記憶部682に記憶されているログデータを解析し、不安要因特定装置600の対策テーブルを更新する必要があると判断した場合に、その対策テーブルを更新するための更新データを生成する。ここでの処理は、実施の形態5における更新処理部583と同様である。
また、更新処理部683は、記憶部682に記憶されている学習用データを解析し、搭乗者から回答された不安の要因に対応する時系列データを生成し、その時系列データに回答された要因をラベル付けすることで、学習データを生成する。そして、更新処理部683は、生成された学習データを利用して機械学習を行う。学習の結果、更新学習結果データが生成される。
そして、更新処理部683は、生成された更新データ及び更新学習結果データをサーバ通信部を介して、不安要因特定装置600に送る。
以上のように、実施の形態6によれば、運転車が不安を感じている頻度に応じて、対応処理及びパラメータの少なくとも何れか一方を更新し、その不安が生ずる回数を減らすことができるとともに、機械学習の運用フェーズにおいても学習結果データを更新することができるため、不安の要因の特定精度を高めることができる。
以上に記載された実施の形態では、走行状態データに天候が含まれているが、実施の形態は、このような例に限定されない。例えば、ナビシステム122が、インターネット通信等により、エリア毎の天気予報を取得することができる。このため、車両状態管理部142が、ナビシステム122が取得した天気予報により、悪天候を判断し、その判断結果を車両状態データに含めてもよい。
また、車両のワイパーの速度からも、悪天候か否かを判断することができる。このため、車両状態管理部142は、CAN121を介して、ワイパーの速度を取得することで、悪天候を判断し、その判断結果を車両状態データに含めてもよい。
なお、以上に記載した実施の形態1〜6では、例えば、運転者のように1人の搭乗者について、その不安の要因を特定しているが、実施の形態1〜6は、このような例に限定されない。車両に複数の人が東上している場合には、その複数の人の各々について、実施の形態1〜6に記載されている処理を実行することで、その複数の人の各々の不安を特定することができる。
100,200,300,400,500,600 不安要因特定装置、 501,601 不安要因特定システム、 110 搭乗者状態センシング部、 111 DMS、 120 車両状態センシング部、 121 CAN、 122 ナビシステム、 123 マイク、 130 走行状態センシング部、 131 カメラ、 132 接近センサ、 133 ライダー、 140 感情認識部、 141 搭乗者状態管理部、 142 車両状態管理部、 143 走行状態管理部、 144,244,344 記憶部、 145,245,345 不安要因特定部、 146,346,446,646 対策決定部、 147 対策実行部、 448,648 確認部、 549,649 ログデータ記憶部、 550,650 アップロード部、 551,651 更新部、 580,680 クラウドサーバ、 581,681 データ取得部、 582,682 記憶部、 583,683 更新処理部。

Claims (11)

  1. 車両の搭乗者が不安を感じたことを検出する不安検出部と、
    前記不安が検出された際に、前記搭乗者の状態を検出することにより得られた搭乗者状態データ、前記車両の状態を検出することにより得られた車両状態データ及び前記車両が走行する状態を検出することで得られた走行状態データの少なくとも一つを用いて、予め定められた複数の要因から、前記搭乗者に前記不安を与えている一つの要因を特定する不安要因特定部と、
    前記一つの要因が正しいか否かを前記搭乗者に確認する確認部と、
    前記搭乗者が前記一つの要因が正しいと確認した場合に、前記一つの要因に対する対策を決定する対策決定部と、
    前記対策を実行する対策実行部と、を備えること
    を特徴とする不安要因特定装置。
  2. 前記対策決定部は、前記搭乗者の感情と、前記特定された一つの要因との組み合わせにより、前記対策を決定すること
    を特徴とする請求項に記載の不安要因特定装置。
  3. 前記搭乗者状態データ、前記車両状態データ及び前記走行状態データの各々は、各々が前記複数の要因の何れかを示すことのできる複数の検出データを含んでおり、
    前記複数の検出データの各々で示される要因が、前記搭乗者に前記不安を与えているか否かを判断する順番が予め定められており、
    前記不安要因特定部は、前記順番に従って、前記複数の検出データの何れかから前記一つの要因を特定すること
    を特徴とする請求項1又は2に記載の不安要因特定装置。
  4. 前記搭乗者の感情を分類した感情分類に応じて、前記順番が異なること
    を特徴とする請求項に記載の不安要因特定装置。
  5. 前記搭乗者状態データ、前記車両状態データ及び前記走行状態データの各々は、複数の検出データを含んでおり、
    前記不安要因特定部は、前記複数の検出データの各々で示される値を時系列に並べた時系列データに、前記複数の要因の何れかをラベル付けした学習データを用いて学習された学習結果データを用いて、前記一つの要因を特定すること
    を特徴とする請求項1又は2に記載の不安要因特定装置。
  6. 前記不安が検出された際に、前記搭乗者に前記不安の要因を確認する確認部と、
    前記複数の検出データの何れかで示される値を時系列に並べた時系列データに、前記確認された要因をラベル付けしたデータを、前記学習データに追加して学習を行うことで、前記学習結果データを更新する更新部と、をさらに備えること
    を特徴とする請求項に記載の不安要因特定装置。
  7. ネットワークに接続されたサーバと通信を行う通信部と、
    前記複数の検出データと、前記確認された要因とを、前記通信部を介して、前記サーバにアップロードするアップロード部と、をさらに備え、
    前記更新部は、前記サーバにおいて生成された、前記複数の時系列データから選択された一つの時系列データに前記確認された要因をラベル付けした学習データを用いて学習された更新学習結果データを、前記通信部を介して、前記サーバから受け取り、前記更新学習結果データを用いて、前記学習結果データを更新すること
    を特徴とする請求項に記載の不安要因特定装置。
  8. 予め定められた期間に、予め定められた回数、同じ要因が前記一つの要因として特定された場合に、前記一つの要因に対する前記対策を更新する更新部をさらに備えること
    を特徴とする請求項1又は2に記載の不安要因特定装置。
  9. 前記一つの要因と、前記一つの要因に対応する前記対策と、時間を示す時間情報とを対応付けたログデータを記憶するログデータ記憶部と、
    ネットワークに接続されたサーバと通信を行う通信部と、
    前記ログデータを、前記通信部を介して、前記サーバにアップロードするアップロード部と、をさらに備え、
    前記更新部は、前記サーバで生成された、前記対策を更新するための更新データを、前記通信部を介して、前記サーバから受け取ることで、前記対策を更新すること
    を特徴とする請求項に記載の不安要因特定装置。
  10. コンピュータを、
    車両の搭乗者が不安を感じたことを検出する不安検出部
    前記不安が検出された際に、前記搭乗者の状態を検出することにより得られた搭乗者状態データ、前記車両の状態を検出することにより得られた車両状態データ及び前記車両が走行する状態を検出することで得られた走行状態データの少なくとも一つを用いて、予め定められた複数の要因から、前記搭乗者に前記不安を与えている一つの要因を特定する不安要因特定部、
    前記一つの要因が正しいか否かを前記搭乗者に確認する確認部、
    前記搭乗者が前記一つの要因が正しいと確認した場合に、前記一つの要因に対する対策を決定する対策決定部、及び
    前記対策を実行する対策実行部、として機能させること
    を特徴とするプログラム。
  11. 車両の搭乗者が不安を感じたことを検出し、
    前記不安が検出された際に、前記搭乗者の状態を検出することにより得られた搭乗者状態データ、前記車両の状態を検出することにより得られた車両状態データ及び前記車両が走行する状態を検出することで得られた走行状態データの少なくとも一つを用いて、予め定められた複数の要因から、前記搭乗者に前記不安を与えている一つの要因を特定し、
    前記一つの要因が正しいか否かを前記搭乗者に確認し、
    前記搭乗者が前記一つの要因が正しいと確認した場合に、前記一つの要因に対する対策を決定し、
    前記対策を実行すること
    を特徴とする不安要因特定方法。
JP2020533032A 2020-01-22 2020-01-22 不安要因特定装置、プログラム及び不安要因特定方法 Active JP6865896B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/002170 WO2021149200A1 (ja) 2020-01-22 2020-01-22 不安要因特定装置、プログラム及び不安要因特定方法

Publications (2)

Publication Number Publication Date
JP6865896B1 true JP6865896B1 (ja) 2021-04-28
JPWO2021149200A1 JPWO2021149200A1 (ja) 2021-07-29

Family

ID=75638857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020533032A Active JP6865896B1 (ja) 2020-01-22 2020-01-22 不安要因特定装置、プログラム及び不安要因特定方法

Country Status (2)

Country Link
JP (1) JP6865896B1 (ja)
WO (1) WO2021149200A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008301957A (ja) * 2007-06-06 2008-12-18 Toyota Motor Corp 心理状態推定装置
JP2016052881A (ja) * 2014-09-03 2016-04-14 株式会社デンソー 車両の走行制御システム
JP2017225647A (ja) * 2016-06-23 2017-12-28 国立大学法人名古屋大学 運転時の心理状態解析方法
WO2018092436A1 (ja) * 2016-11-16 2018-05-24 本田技研工業株式会社 感情推定装置、および、感情推定システム
JP2018180983A (ja) * 2017-04-14 2018-11-15 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008301957A (ja) * 2007-06-06 2008-12-18 Toyota Motor Corp 心理状態推定装置
JP2016052881A (ja) * 2014-09-03 2016-04-14 株式会社デンソー 車両の走行制御システム
JP2017225647A (ja) * 2016-06-23 2017-12-28 国立大学法人名古屋大学 運転時の心理状態解析方法
WO2018092436A1 (ja) * 2016-11-16 2018-05-24 本田技研工業株式会社 感情推定装置、および、感情推定システム
JP2018180983A (ja) * 2017-04-14 2018-11-15 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
JPWO2021149200A1 (ja) 2021-07-29
WO2021149200A1 (ja) 2021-07-29

Similar Documents

Publication Publication Date Title
CN108885836B (zh) 驾驶辅助装置、***、方法、控制装置、车辆及介质
US10214221B2 (en) System and method for identifying a vehicle driver by a pattern of movement
US11577734B2 (en) System and method for analysis of driver behavior
US11042766B2 (en) Artificial intelligence apparatus and method for determining inattention of driver
US11935401B2 (en) Vehicle control device, vehicle control method, and vehicle control system
CN108803604A (zh) 车辆自动驾驶方法、装置以及计算机可读存储介质
US11688195B2 (en) Electronic device and method for assisting with driving of vehicle
US10817751B2 (en) Learning data creation method, learning method, risk prediction method, learning data creation device, learning device, risk prediction device, and recording medium
US11927682B2 (en) Sound source visualization device and method
KR20170051197A (ko) 운전 패턴 분석을 통한 운전자 상태 감시 방법 및 장치
US10882536B2 (en) Autonomous driving control apparatus and method for notifying departure of front vehicle
US11847562B2 (en) Obstacle recognition assistance device, obstacle recognition assistance method, and storage medium
US11609565B2 (en) Methods and systems to facilitate monitoring center for ride share and safe testing method based for selfdriving cars to reduce the false call by deuddaction systems based on deep learning machine
JP5651642B2 (ja) 物***置検知装置
JP2017151694A (ja) 安全確認診断システム及び安全確認診断方法
CN112689587A (zh) 考虑到在要求接管驾驶任务时驾驶员的非驾驶任务活动的可中断性而分类非驾驶任务活动的方法及因要求接管驾驶任务而中断非驾驶任务活动后重新释放非驾驶任务活动的方法
JP2019086889A (ja) 評価装置、評価システム、車両、およびプログラム
JP6865896B1 (ja) 不安要因特定装置、プログラム及び不安要因特定方法
JP6304075B2 (ja) 故障判定装置
US11325609B2 (en) Vehicle driving assist system
JP7513841B2 (ja) ナビゲーションセッション中の運転イベント音の検出と処理
JP2010262424A (ja) 車載カメラシステム
JP2018072254A (ja) 経路探索装置、制御方法、プログラム及び記憶媒体
US20240103541A1 (en) Information generation method, information generation device, and recording medium
JP2017117116A (ja) 車両状態変更システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200615

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200615

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210406

R150 Certificate of patent or registration of utility model

Ref document number: 6865896

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250