JP6865896B1 - 不安要因特定装置、プログラム及び不安要因特定方法 - Google Patents
不安要因特定装置、プログラム及び不安要因特定方法 Download PDFInfo
- Publication number
- JP6865896B1 JP6865896B1 JP2020533032A JP2020533032A JP6865896B1 JP 6865896 B1 JP6865896 B1 JP 6865896B1 JP 2020533032 A JP2020533032 A JP 2020533032A JP 2020533032 A JP2020533032 A JP 2020533032A JP 6865896 B1 JP6865896 B1 JP 6865896B1
- Authority
- JP
- Japan
- Prior art keywords
- anxiety
- unit
- factor
- passenger
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000019901 Anxiety disease Diseases 0.000 title claims abstract description 421
- 230000036506 anxiety Effects 0.000 title claims abstract description 421
- 238000000034 method Methods 0.000 title claims description 174
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 230000008451 emotion Effects 0.000 claims description 34
- 238000004891 communication Methods 0.000 claims description 27
- 238000012790 confirmation Methods 0.000 claims description 21
- 238000013500 data storage Methods 0.000 claims description 17
- 230000008909 emotion recognition Effects 0.000 abstract description 34
- 230000006870 function Effects 0.000 abstract description 19
- 238000012545 processing Methods 0.000 description 139
- 238000007726 management method Methods 0.000 description 68
- 238000010586 diagram Methods 0.000 description 18
- 230000002159 abnormal effect Effects 0.000 description 17
- 238000010801 machine learning Methods 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 4
- 230000037007 arousal Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000036626 alertness Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
従来の車両制御装置は、運転者の心理状態に応じて、運転者への通知及び車両の制御を行っているが、運転者を含む車両の搭乗者の不安の要因を特定するような処理は行っていない。
図1は、実施の形態1に係る不安要因特定装置100の構成を概略的に示すブロック図である。
不安要因特定装置100は、搭乗者状態センシング部110と、車両状態センシング部120と、走行状態センシング部130と、感情認識部140と、搭乗者状態管理部141と、車両状態管理部142と、走行状態管理部143と、記憶部144と、不安要因特定部145と、対策決定部146と、対策実行部147とを備える。
搭乗者状態センシング部110は、例えば、搭乗者の覚醒度、視線方向及び感情を特定することのできる搭乗者状態検出結果である搭乗者検出結果を搭乗者状態管理部141に与える。
DMS111は、搭乗者の画像及び音声を取得して、搭乗者の状態を監視するシステムであり、搭乗者の画像を取得する撮像装置としての車内カメラ、搭乗者の音声を取得する音声取得装置としてのマイクロフォン(以下、マイク)等を含む。
車両状態センシング部120は、例えば、車両の速度、加速度、ブレーキ、アクセル、ステアリング角度、クラクション、警告有無、警告種別、ナビ状態及びインパネ状態を特定することのできる車両状態検出結果を車両状態管理部142に与える。
CAN121は、車両の速度、加速度、ブレーキ、アクセル、ステアリング角度、クラクション、警告有無、警告種別及びインパネ状態の状態を転送するためのシステムである。
ナビシステム122は、車両の位置を計測して、目的地への経路案内を行なう機能である。
マイク123は、車両の周囲の音を取得する音声取得装置である。
走行状態センシング部130は、例えば、天候及び車両の周囲の物体を特定することのできる走行状態検出結果を走行状態管理部143に与える。
カメラ131は、車両の周囲の映像を撮像する撮像装置である。カメラ131は、少なくとも車両の前方の映像を撮像する。
接近センサ132は、車両から予め定められた範囲に物体があることを検出するセンサである。
ライダー133は、光を使って、車両の周囲の物体と、その距離とを計測する装置である。
例えば、感情認識部140は、DMS111で取得される搭乗者の顔の画像、声のトーン、又は、その両方等から、公知の技術を用いて、搭乗者の感情を認識すればよい。
特に、感情認識部140は、搭乗者状態センシング部110からの搭乗者検出結果により、搭乗者が不安を感じたか否かを検出する。このため、感情認識部140は、搭乗者が不安を感じたことを検出する不安検出部として機能する。
例えば、悪天候の場合には、走行状態センシング部130に含まれているカメラ131、接近センサ132又はライダー133等の各種センサの性能が低下するため、走行状態管理部143は、これら各種センサの性能が低下した場合に、悪天候と判断して、その判断結果を走行状態データに格納する。
例えば、記憶部144は、感情認識部140が生成した感情認識データと、搭乗者状態管理部141が生成した搭乗者状態データと、車両状態管理部142が生成した車両状態データと、走行状態管理部143が生成した走行状態データと、対策テーブルと、インストルメントパネル(以下、インパネ)、サイドミラー又はバックミラー等の車内の部品の位置を示す部品位置データとを記憶する。
図2(A)に示されているように、搭乗者状態データは、覚醒度を示す検出データと、視線方向を示す検出データと、感情を示す検出データとを含む。
覚醒度は、搭乗者の意識がはっきりしている度合いである。
視線方向は、搭乗者の視線方向である。搭乗者の視線方向は、例えば、予め定められたx軸、y軸及びz軸の直交する予め定められた三つの軸に対する角度で示されるものとする。
感情は、搭乗者の感情である。ここでは、感情は、「neutral」、「怒り」、「恐れ」、「驚き」、「悲しみ」、「嫌悪」及び「幸せ(喜び)」の度合いを示す。
速度は、車両の速度である。
加速度は、車両の加速度である。
ブレーキは、運転者が車両のブレーキを操作している強度である。
アクセルは、運転者が車両のアクセルを操作している強度である。
ステアリング角度は、運転者が車両のステアリングを操作している角度である。
クラクションは、クラクションの有無である。
警告有無は、車両に警告があるか否かである。
警告種別は、車両に警告がある場合に、その警告の種別である。
ナビ状態は、車両に搭載されているナビゲーションで取得されている情報である。
インパネ状態は、車両のインパネに表示されている情報である。
天候は、車両の周囲の天候である。
物体i(iは1以上の整数)は、車両の周囲で検出された物体iの種別、大きさ、出現時間、距離、方向及び相対速度により特定される。これらは、例えば、カメラ131からの画像、接近センサ132からの検出信号及びライダー133からの検出信号の少なくとも何れか一つから、公知の技術を用いて取得されるものとする。なお、物体iの検出データについては、車両の周囲で検出された数iだけ、走行状態データとして格納されるものとする。
図3に示されている対策テーブル160は、要因列160aと、対応処理列160bと、パラメータ列160cとを有する。
要因列160aは、搭乗者が感じる不安の要因を示す。
対応処理列160bは、搭乗者が感じる不安に対する対応処理を示す。
パラメータ列160cは、搭乗者が感じる不安に対して対応する際に、車両の自動運転においてパラメータを調整する値を示す。パラメータ列160cに格納されている値は、車両が自動運転に対応している場合に使用される値である。
以上のように、本実施の形態では、対策として少なくとも対応処理があり、場合により対策にパラメータが含まれる。
実施の形態1では、後述するように、搭乗者状態データ、車両状態データ及び走行状態データに含まれている複数の検出データの各々で示される要因が、搭乗者に不安を与えているか否かを判断する順番が予め定められており、その順番に従って、搭乗者の不安の要因が特定される。
対策実行部147は、対策決定部146が決定した対策を実行する。
不安要因特定装置100は、搭乗者センサ170と、車外センサ171と、車両制御機器172と、入力装置173と、表示装置174と、記憶装置175と、演算装置176とを備える。
また、不安要因特定装置100は、図1を用いて説明したCAN121と、ナビシステム122と、マイク123と、カメラ131とを備える。
言い換えると、不安要因特定装置100は、コンピュータにより実現することができる。
車外センサ171は、車両の外部の状況を検出する。車外センサ171には、接近センサ132が含まれる。
入力装置173は、車両のユーザからの入力を受け付ける。入力装置173は、不安要因特定装置100の入力部である装置入力部としての機能を実行する。
表示装置174は、各種画面画像を表示する。表示装置174は、不安要因特定装置100の表示部である装置表示部としての機能を実行する。
演算装置176は、不安要因特定装置100を制御する。演算装置176は、感情認識部140、搭乗者状態管理部141、車両状態管理部142、走行状態管理部143、不安要因特定部145及び対策決定部146としての機能を実行する。
まず、不安要因特定部145は、搭乗者が覚醒状態であるか否かを判断する(S10)。例えば、不安要因特定部145は、記憶部144に記憶されている搭乗者状態データの「覚醒度」が予め定められた閾値よりも高い場合に、搭乗者が覚醒状態であると判断する。そして、搭乗者が覚醒状態ではない場合(S10でNo)には、処理はステップS11に進み、搭乗者が覚醒状態である場合(S10でYes)には、処理はステップS12に進む。
ステップS13では、不安要因特定部145は、異常音を不安の要因と特定する。
ステップS15では、不安要因特定部145は、急操作を不安の要因と特定する。
まず、不安要因特定部145は、搭乗者の視線方向に、予め定められた物体である対象物体があるか否かを判断する(S20)。例えば、不安要因特定部145は、記憶部144に記憶されている走行状態データの「物体i」の中に、搭乗者の視線方向を含む予め定められた方向範囲内に、予め定められた物体がある場合に、搭乗者の視線方向に対象物体があると判断する。対象物体がある場合(ステップS20でYes)には、処理はステップS21に進み、対象物体がない場合(ステップS20でNo)には、処理は図7のステップS28に進む。
ステップS22では、不安要因特定部145は、他車速度を不安の要因と特定する。
ステップS24では、不安要因特定部145は、飛び出しを不安の要因と特定する。
ステップS26では、不安要因特定部145は、車間距離を不安の要因と特定する。
一方、ステップS27では、不安要因特定部145は、不安の要因が不明であるため、不安の要因がないと判断する。
ステップS28では、不安要因特定部145は、自車両の速度S2が予め定められた速度X2よりも速いか否かを判断する。自車両の速度S2は、記憶部144に記憶されている車両状態データの「速度」である。自車両の速度S2が予め定められた速度X2よりも速い場合(ステップS28でYes)には、処理はステップS29に進み、自車両の速度S2が予め定められた速度X2以下である場合(ステップS28でNo)には、処理はステップS30に進む。
ステップS29では、不安要因特定部145は、自車速度を不安の要因と特定する。
一方、ステップS32では、不安要因特定部145は、不安の要因が不明であるため、不安の要因がないと判断する。
まず、不安要因特定部145は、搭乗者の視線方向にサイドミラー又はバックミラーがあるか否かを判断する(S40)。例えば、不安要因特定部145は、記憶部144に記憶されている部品位置データを参照することで、搭乗者の視線方向を含む予め定められた方向範囲にサイドミラー又はバックミラーがある場合には、搭乗者の視線方向にサイドミラー又はバックミラーがあると判断する。搭乗者の視線方向にサイドミラー又はバックミラーがない場合(ステップS40でNo)には、処理はステップS41に進み、搭乗者の視線方向にサイドミラー又はバックミラーがある場合(ステップS40でYes)には、処理は図9のステップS45に進む。
一方、ステップS44では、不安要因特定部145は、不安の要因が不明であるため、不安の要因がないと判断する。
ステップS45では、不安要因特定部145は、搭乗者の視線方向にあるサイドミラー又はバックミラーに、予め定められた物体である対象物体が写っているか否かを判断する。例えば、不安要因特定部145は、記憶部144に記憶されている走行状態データの「物体i」の中に、搭乗者の視線方向にあるサイドミラー又はバックミラーからの予め定められた方向範囲内に、予め定められた物体がある場合に、搭乗者の視線方向にあるサイドミラー又はバックミラーに対象物体が写っていると判断する。搭乗者の視線方向にあるサイドミラー又はバックミラーに対象物体が写っている場合(ステップS45でYes)には、処理はステップS46に進み、搭乗者の視線方向にあるサイドミラー又はバックミラーに対象物体がない場合(ステップS45でNo)には、処理はステップS52に進む。
ステップS47では、不安要因特定部145は、他車速度を不安の要因と特定する。
ステップS49では、不安要因特定部145は、飛び出しを不安の要因と特定する。
ステップS51では、不安要因特定部145は、車間距離を不安の要因と特定する。
一方、ステップS52では、不安要因特定部145は、不安の要因が不明であるため、不安の要因がないと判断する。
図1に示されているように、実施の形態2に係る不安要因特定装置200は、搭乗者状態センシング部110と、車両状態センシング部120と、走行状態センシング部130と、感情認識部140と、搭乗者状態管理部141と、車両状態管理部142と、走行状態管理部143と、記憶部244と、不安要因特定部245と、対策決定部146と、対策実行部147とを備える。
実施の形態2における記憶部244は、実施の形態1における記憶部144に記憶されているデータと同様のデータにおける履歴を記憶するほか、不安要因特定部245での機械学習による不安要因の特定に必要な学習結果データを記憶する。
具体的には、事前の学習段階において、搭乗者が不安を感じた時点で、その要因をインタビュー等により聴取することで、搭乗者状態データ、車両状態データ及び走行状態データの履歴から、どの検出データで示される値を時系列に並べた時系列データが不安の要因となっているかを示す学習データを生成しておく。図10(A)〜(C)では、実線で示されている時系列データが不安の要因となっているものとする。言い換えると、学習データでは、時系列データに要因がラベル付けされている。これらの学習データを用いて、予め機械学習により学習が行われる。
例えば、特定された時系列データが、左右の加速度の検出データである場合、不安要因特定部245は、前方の車両が近づいたために、搭乗者が急ハンドルを切ったと推定し、不安の要因を車間距離であると判断する。
図1に示されているように、実施の形態3に係る不安要因特定装置300は、搭乗者状態センシング部110と、車両状態センシング部120と、走行状態センシング部130と、感情認識部140と、搭乗者状態管理部141と、車両状態管理部142と、走行状態管理部143と、記憶部344と、不安要因特定部345と、対策決定部346と、対策実行部147とを備える。
例えば、記憶部344は、感情認識データ、搭乗者状態データ、車両状態データ、走行状態データ、対策テーブル及び部品位置データを記憶する。
実施の形態3における感情認識データ、搭乗者状態データ、車両状態データ、走行状態データ及び部品位置データは、実施の形態1における感情認識データ、搭乗者状態データ、車両状態データ、走行状態データ及び部品位置データと同様である。
図12に示されている対策テーブル360は、要因列360aと、主感情分類列360dと、対応処理列360bと、パラメータ列360cとを有する。
要因列360aは、搭乗者が感じる不安の要因を示す。
主感情分類列360dは、搭乗者が感じた「驚き」及び「恐れ」の感情の度合い内、高い方の感情である主感情分類を示す。言い換えると、主感情分類は、搭乗者の感情の内、予め定められた方法で選択された感情である。
対応処理列360bは、搭乗者が感じる不安及び主感情分類に対する対応処理を示す。
パラメータ列360cは、搭乗者が感じる不安及び主感情分類に対して対応する際に、車両の自動運転においてパラメータを調整する値を示す。パラメータ列360cに格納されている値は、車両が自動運転に対応している場合に使用される値である。
実施の形態3においては、不安要因特定部345は、搭乗者の感情の分類に従って、不安の要因を特定する順番を変える。
まず、不安要因特定部345は、搭乗者が覚醒状態であるか否かを判断する(S60)。ここでの処理は、図5のステップS10での処理と同様である。搭乗者が覚醒状態ではない場合(S60でNo)には、処理はステップS61に進み、搭乗者が覚醒状態である場合(S60でYes)には、処理はステップS62に進む。
ステップS61では、不安要因特定部345は、不安の要因がないと判断する。
ステップS66では、不安要因特定部345は、その他の不安要因の特定処理を実行する。ここでの処理については、図24〜図26を用いて説明する。
まず、図14から説明を行う。
不安要因特定部345は、異常音があるか否かを判断する(S70)。ここでの処理は、図5のステップS10の処理と同様である。異常音がある場合(S70でYes)には、処理はステップS71に進み、異常音がない場合(S70でNo)には、処理はステップS72に進む。
ステップS71では、不安要因特定部345は、異常音を不安の要因と特定する。
ステップS73では、不安要因特定部345は、急操作を不安の要因と特定する。
まず、不安要因特定部345は、搭乗者の視線方向に対象物体があるか否かを判断する(S80)。ここでの処理は、図6のステップS20での処理と同様である。対象物体がある場合(ステップS80でYes)には、処理はステップS81に進み、対象物体がない場合(ステップS80でNo)には、処理は図16のステップS88に進む。
ステップS82では、不安要因特定部345は、飛び出しを不安の要因と特定する。
ステップS84では、不安要因特定部345は、他車速度を不安の要因と特定する。
ステップS86では、不安要因特定部345は、車間距離を不安の要因と特定する。
一方、ステップS87では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
ステップS88では、不安要因特定部345は、悪天候であるか否かを判断する。ここでの処理は、図7のステップS30での処理と同様である。悪天候である場合(ステップS88でYes)には、処理はステップS89に進み、悪天候ではない場合(ステップS88でNo)には、処理はステップS90に進む。
ステップS89では、不安要因特定部345は、悪天候を不安の要因と特定する。
一方、ステップS92では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
まず、不安要因特定部345は、搭乗者の視線方向にサイドミラー又はバックミラーがあるか否かを判断する(S100)。ここでの処理は、図8におけるステップS40での処理と同様である。搭乗者の視線方向にサイドミラー又はバックミラーがない場合(ステップS100でNo)には、処理はステップS101に進み、搭乗者の視線方向にサイドミラー又はバックミラーがある場合(ステップS100でYes)には、処理は図18のステップS105に進む。
一方、ステップS104では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
ステップS105では、不安要因特定部345は、搭乗者の視線方向にあるサイドミラー又はバックミラーに、予め定められた物体である対象物体が写っているか否かを判断する。ここでの処理は、図9におけるステップS45での処理と同様である。搭乗者の視線方向にあるサイドミラー又はバックミラーに対象物体が写っている場合(ステップS105でYes)には、処理はステップS106に進み、搭乗者の視線方向にあるサイドミラー又はバックミラーに対象物体がない場合(ステップS105でNo)には、処理はステップS112に進む。
ステップS107では、不安要因特定部345は、飛び出しを不安の要因と特定する。
ステップS109では、不安要因特定部345は、他車速度を不安の要因と特定する。
ステップS111では、不安要因特定部345は、車間距離を不安の要因と特定する。
一方、ステップS112では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
まず、図19から説明を行う。
不安要因特定部345は、異常音があるか否かを判断する(S120)。ここでの処理は、図5のステップS10の処理と同様である。異常音がある場合(S120でYes)には、処理はステップS121に進み、異常音がない場合(S120でNo)には、処理はステップS122に進む。
ステップS121では、不安要因特定部345は、異常音を不安の要因と特定する。
まず、不安要因特定部345は、搭乗者の視線方向に対象物体があるか否かを判断する(S130)。ここでの処理は、図6のステップS20での処理と同様である。対象物体がある場合(ステップS130でYes)には、処理はステップS131に進み、対象物体がない場合(ステップS130でNo)には、処理は図21のステップS138に進む。
ステップS132では、不安要因特定部345は、他車速度を不安の要因と特定する。
ステップS134では、不安要因特定部345は、車間距離を不安の要因と特定する。
ステップS136では、不安要因特定部345は、飛び出しを不安の要因と特定する。
一方、ステップS137では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
ステップS138では、不安要因特定部345は、自車両の速度S2が予め定められた速度X2よりも速いか否かを判断する。ここでの処理は、図7のステップS28での処理と同様である。自車両の速度S2が予め定められた速度X2よりも速い場合(ステップS138でYes)には、処理はステップS139に進み、自車両の速度S2が予め定められた速度X2以下である場合(ステップS138でNo)には、処理はステップS140に進む。
ステップS139では、不安要因特定部345は、自車速度を不安の要因と特定する。
ステップS141では、不安要因特定部345は、悪天候を不安の要因と特定する。
ステップS143では、不安要因特定部345は、急操作を不安の要因と特定する。
一方、ステップS144では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
まず、不安要因特定部345は、搭乗者の視線方向にサイドミラー又はバックミラーがあるか否かを判断する(S150)。ここでの処理は、図8におけるステップS40での処理と同様である。搭乗者の視線方向にサイドミラー又はバックミラーがない場合(ステップS150でNo)には、処理はステップS151に進み、搭乗者の視線方向にサイドミラー又はバックミラーがある場合(ステップS150でYes)には、処理は図23のステップS155に進む。
一方、ステップS154では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
ステップS155では、不安要因特定部345は、搭乗者の視線方向にあるサイドミラー又はバックミラーに、予め定められた物体である対象物体が写っているか否かを判断する。ここでの処理は、図9におけるステップS45での処理と同様である。搭乗者の視線方向にあるサイドミラー又はバックミラーに対象物体が写っている場合(ステップS155でYes)には、処理はステップS156に進み、搭乗者の視線方向にあるサイドミラー又はバックミラーに対象物体がない場合(ステップS155でNo)には、処理はステップS162に進む。
ステップS157では、不安要因特定部345は、他車速度を不安の要因と特定する。
ステップS159では、不安要因特定部345は、車間距離を不安の要因と特定する。
ステップS161では、不安要因特定部345は、飛び出しを不安の要因と特定する。
一方、ステップS162では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
まず、図24から説明を行う。
不安要因特定部345は、異常音があるか否かを判断する(S170)。ここでの処理は、図5のステップS10の処理と同様である。異常音がある場合(S170でYes)には、処理はステップS171に進み、異常音がない場合(S170でNo)には、処理はステップS172に進む。
ステップS171では、不安要因特定部345は、異常音を不安の要因と特定する。
まず、不安要因特定部345は、搭乗者の視線方向に対象物体があるか否かを判断する(S180)。ここでの処理は、図6のステップS20での処理と同様である。対象物体がある場合(ステップS180でYes)には、処理はステップS181に進み、対象物体がない場合(ステップS180でNo)には、処理は図26のステップS188に進む。
ステップS182では、不安要因特定部345は、他車速度を不安の要因と特定する。
ステップS184では、不安要因特定部345は、飛び出しを不安の要因と特定する。
ステップS186では、不安要因特定部345は、車間距離を不安の要因と特定する。
一方、ステップS187では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
ステップS188では、不安要因特定部345は、悪天候であるか否かを判断する。ここでの処理は、図7のステップS30での処理と同様である。悪天候である場合(ステップS188でYes)には、処理はステップS189に進み、悪天候ではない場合(ステップS188でNo)には、処理はステップS190に進む。
ステップS189では、不安要因特定部345は、悪天候を不安の要因と特定する。
ステップS191では、不安要因特定部345は、自車速度を不安の要因と特定する。
ステップS193では、不安要因特定部345は、急操作を不安の要因と特定する。
一方、ステップS194では、不安要因特定部345は、不安の要因が不明であるため、不安の要因がないと判断する。
図27は、実施の形態4に係る不安要因特定装置400の構成を概略的に示すブロック図である。
不安要因特定装置400は、搭乗者状態センシング部110と、車両状態センシング部120と、走行状態センシング部130と、感情認識部140と、搭乗者状態管理部141と、車両状態管理部142と、走行状態管理部143と、記憶部144と、不安要因特定部145と、対策決定部446と、対策実行部147と、確認部448とを備える。
但し、不安要因特定部145は、特定された要因を確認部448に通知する。
一方、確認部448は、搭乗者からその要因が正しくないとの回答が得られた場合には、その要因を対策決定部446に通知することなく、削除する。
図28は、実施の形態5に係る不安要因特定システム501の構成を概略的に示すブロック図である。
不安要因特定システム501は、不安要因特定装置500と、クラウドサーバ580とを備える。不安要因特定装置500と、クラウドサーバ580とは、インターネット等のネットワーク502に接続されている。
不安要因特定装置500は、搭乗者状態センシング部110と、車両状態センシング部120と、走行状態センシング部130と、感情認識部140と、搭乗者状態管理部141と、車両状態管理部142と、走行状態管理部143と、記憶部144と、不安要因特定部145と、対策決定部146と、対策実行部147と、ログデータ記憶部549と、アップロード部550と、更新部551とを備える。
但し、対策決定部146は、特定された要因と、その要因に対応する対策とを示す対策データをログデータ記憶部549に記憶させる。
アップロード部550は、定期的に、ログデータ記憶部549に記憶されているログデータを、後述する装置通信部を介して、クラウドサーバ580にアップロードする。ここでは、通信量を減らすため、アップロード部550は、前回アップロードしたログデータとの差分である差分データを、アップロードすればよい。
そして、更新部551は、更新データに従って、記憶部144に記憶されている対策テーブルを更新する。
クラウドサーバ580は、データ取得部581と、記憶部582と、更新処理部583とを備える。
例えば、記憶部582は、データ取得部581で取得されたログデータを記憶する。
そして、更新処理部583は、搭乗者が不安を感じる頻度を減らすように、更新対象として特定された要因の対策を更新するための更新データを生成する。
不安要因特定装置500は、搭乗者センサ170と、車外センサ171と、車両制御機器172と、入力装置173と、表示装置174と、記憶装置175と、演算装置176と、通信装置577とを備える。
また、実施の形態5では、演算装置176は、アップロード部550及び更新部551としての機能も実行する。
言い換えると、クラウドサーバ580は、コンピュータにより実現することができる。
入力装置591は、オペレータからの入力を受け付ける。入力装置591は、サーバ入力部としての機能を実行する。
表示装置592は、各種画面画像を表示する。表示装置592は、サーバ表示部としての機能を実行する。
記憶装置593は、クラウドサーバ580で必要とされるプログラム及びデータを記憶する。記憶装置593は、記憶部582としての機能を実行する。
演算装置594は、クラウドサーバ580を制御する。演算装置594は、更新処理部583としての機能を実行する。
図28に示されているように、実施の形態6に係る不安要因特定システム601は、不安要因特定装置600と、クラウドサーバ680とを備える。
不安要因特定装置600は、搭乗者状態センシング部110と、車両状態センシング部120と、走行状態センシング部130と、感情認識部140と、搭乗者状態管理部141と、車両状態管理部142と、走行状態管理部143と、記憶部244と、不安要因特定部245と、対策決定部646と、対策実行部147と、確認部648と、ログデータ記憶部649と、アップロード部650と、更新部651とを備える。
そして、確認部648は、搭乗者からの回答と、不安要因特定部245で特定された要因とを対策決定部646に通知する。
また、対策決定部646は、搭乗者からの回答と、記憶部244に記憶されている搭乗者状態データ、車両状態データ及び走行状態データの履歴の内、不安要因特定部245での特定で使用された期間のデータとを、学習用データとして、ログデータ記憶部649に記憶させる。
また、ログデータ記憶部649は、対策決定部646から与えられる学習用データを記憶する。
そして、更新部651は、更新データに従って、記憶部144に記憶されている対策テーブルを更新し、更新学習結果データを用いて、記憶部144に記憶されている学習結果データを更新する。
例えば、記憶部682は、データ取得部681で取得されたログデータ及び学習用データを記憶する。
Claims (11)
- 車両の搭乗者が不安を感じたことを検出する不安検出部と、
前記不安が検出された際に、前記搭乗者の状態を検出することにより得られた搭乗者状態データ、前記車両の状態を検出することにより得られた車両状態データ及び前記車両が走行する状態を検出することで得られた走行状態データの少なくとも一つを用いて、予め定められた複数の要因から、前記搭乗者に前記不安を与えている一つの要因を特定する不安要因特定部と、
前記一つの要因が正しいか否かを前記搭乗者に確認する確認部と、
前記搭乗者が前記一つの要因が正しいと確認した場合に、前記一つの要因に対する対策を決定する対策決定部と、
前記対策を実行する対策実行部と、を備えること
を特徴とする不安要因特定装置。 - 前記対策決定部は、前記搭乗者の感情と、前記特定された一つの要因との組み合わせにより、前記対策を決定すること
を特徴とする請求項1に記載の不安要因特定装置。 - 前記搭乗者状態データ、前記車両状態データ及び前記走行状態データの各々は、各々が前記複数の要因の何れかを示すことのできる複数の検出データを含んでおり、
前記複数の検出データの各々で示される要因が、前記搭乗者に前記不安を与えているか否かを判断する順番が予め定められており、
前記不安要因特定部は、前記順番に従って、前記複数の検出データの何れかから前記一つの要因を特定すること
を特徴とする請求項1又は2に記載の不安要因特定装置。 - 前記搭乗者の感情を分類した感情分類に応じて、前記順番が異なること
を特徴とする請求項3に記載の不安要因特定装置。 - 前記搭乗者状態データ、前記車両状態データ及び前記走行状態データの各々は、複数の検出データを含んでおり、
前記不安要因特定部は、前記複数の検出データの各々で示される値を時系列に並べた時系列データに、前記複数の要因の何れかをラベル付けした学習データを用いて学習された学習結果データを用いて、前記一つの要因を特定すること
を特徴とする請求項1又は2に記載の不安要因特定装置。 - 前記不安が検出された際に、前記搭乗者に前記不安の要因を確認する確認部と、
前記複数の検出データの何れかで示される値を時系列に並べた時系列データに、前記確認された要因をラベル付けしたデータを、前記学習データに追加して学習を行うことで、前記学習結果データを更新する更新部と、をさらに備えること
を特徴とする請求項5に記載の不安要因特定装置。 - ネットワークに接続されたサーバと通信を行う通信部と、
前記複数の検出データと、前記確認された要因とを、前記通信部を介して、前記サーバにアップロードするアップロード部と、をさらに備え、
前記更新部は、前記サーバにおいて生成された、前記複数の時系列データから選択された一つの時系列データに前記確認された要因をラベル付けした学習データを用いて学習された更新学習結果データを、前記通信部を介して、前記サーバから受け取り、前記更新学習結果データを用いて、前記学習結果データを更新すること
を特徴とする請求項6に記載の不安要因特定装置。 - 予め定められた期間に、予め定められた回数、同じ要因が前記一つの要因として特定された場合に、前記一つの要因に対する前記対策を更新する更新部をさらに備えること
を特徴とする請求項1又は2に記載の不安要因特定装置。 - 前記一つの要因と、前記一つの要因に対応する前記対策と、時間を示す時間情報とを対応付けたログデータを記憶するログデータ記憶部と、
ネットワークに接続されたサーバと通信を行う通信部と、
前記ログデータを、前記通信部を介して、前記サーバにアップロードするアップロード部と、をさらに備え、
前記更新部は、前記サーバで生成された、前記対策を更新するための更新データを、前記通信部を介して、前記サーバから受け取ることで、前記対策を更新すること
を特徴とする請求項8に記載の不安要因特定装置。 - コンピュータを、
車両の搭乗者が不安を感じたことを検出する不安検出部、
前記不安が検出された際に、前記搭乗者の状態を検出することにより得られた搭乗者状態データ、前記車両の状態を検出することにより得られた車両状態データ及び前記車両が走行する状態を検出することで得られた走行状態データの少なくとも一つを用いて、予め定められた複数の要因から、前記搭乗者に前記不安を与えている一つの要因を特定する不安要因特定部、
前記一つの要因が正しいか否かを前記搭乗者に確認する確認部、
前記搭乗者が前記一つの要因が正しいと確認した場合に、前記一つの要因に対する対策を決定する対策決定部、及び
前記対策を実行する対策実行部、として機能させること
を特徴とするプログラム。 - 車両の搭乗者が不安を感じたことを検出し、
前記不安が検出された際に、前記搭乗者の状態を検出することにより得られた搭乗者状態データ、前記車両の状態を検出することにより得られた車両状態データ及び前記車両が走行する状態を検出することで得られた走行状態データの少なくとも一つを用いて、予め定められた複数の要因から、前記搭乗者に前記不安を与えている一つの要因を特定し、
前記一つの要因が正しいか否かを前記搭乗者に確認し、
前記搭乗者が前記一つの要因が正しいと確認した場合に、前記一つの要因に対する対策を決定し、
前記対策を実行すること
を特徴とする不安要因特定方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/002170 WO2021149200A1 (ja) | 2020-01-22 | 2020-01-22 | 不安要因特定装置、プログラム及び不安要因特定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6865896B1 true JP6865896B1 (ja) | 2021-04-28 |
JPWO2021149200A1 JPWO2021149200A1 (ja) | 2021-07-29 |
Family
ID=75638857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020533032A Active JP6865896B1 (ja) | 2020-01-22 | 2020-01-22 | 不安要因特定装置、プログラム及び不安要因特定方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6865896B1 (ja) |
WO (1) | WO2021149200A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008301957A (ja) * | 2007-06-06 | 2008-12-18 | Toyota Motor Corp | 心理状態推定装置 |
JP2016052881A (ja) * | 2014-09-03 | 2016-04-14 | 株式会社デンソー | 車両の走行制御システム |
JP2017225647A (ja) * | 2016-06-23 | 2017-12-28 | 国立大学法人名古屋大学 | 運転時の心理状態解析方法 |
WO2018092436A1 (ja) * | 2016-11-16 | 2018-05-24 | 本田技研工業株式会社 | 感情推定装置、および、感情推定システム |
JP2018180983A (ja) * | 2017-04-14 | 2018-11-15 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
-
2020
- 2020-01-22 JP JP2020533032A patent/JP6865896B1/ja active Active
- 2020-01-22 WO PCT/JP2020/002170 patent/WO2021149200A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008301957A (ja) * | 2007-06-06 | 2008-12-18 | Toyota Motor Corp | 心理状態推定装置 |
JP2016052881A (ja) * | 2014-09-03 | 2016-04-14 | 株式会社デンソー | 車両の走行制御システム |
JP2017225647A (ja) * | 2016-06-23 | 2017-12-28 | 国立大学法人名古屋大学 | 運転時の心理状態解析方法 |
WO2018092436A1 (ja) * | 2016-11-16 | 2018-05-24 | 本田技研工業株式会社 | 感情推定装置、および、感情推定システム |
JP2018180983A (ja) * | 2017-04-14 | 2018-11-15 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021149200A1 (ja) | 2021-07-29 |
WO2021149200A1 (ja) | 2021-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108885836B (zh) | 驾驶辅助装置、***、方法、控制装置、车辆及介质 | |
US10214221B2 (en) | System and method for identifying a vehicle driver by a pattern of movement | |
US11577734B2 (en) | System and method for analysis of driver behavior | |
US11042766B2 (en) | Artificial intelligence apparatus and method for determining inattention of driver | |
US11935401B2 (en) | Vehicle control device, vehicle control method, and vehicle control system | |
CN108803604A (zh) | 车辆自动驾驶方法、装置以及计算机可读存储介质 | |
US11688195B2 (en) | Electronic device and method for assisting with driving of vehicle | |
US10817751B2 (en) | Learning data creation method, learning method, risk prediction method, learning data creation device, learning device, risk prediction device, and recording medium | |
US11927682B2 (en) | Sound source visualization device and method | |
KR20170051197A (ko) | 운전 패턴 분석을 통한 운전자 상태 감시 방법 및 장치 | |
US10882536B2 (en) | Autonomous driving control apparatus and method for notifying departure of front vehicle | |
US11847562B2 (en) | Obstacle recognition assistance device, obstacle recognition assistance method, and storage medium | |
US11609565B2 (en) | Methods and systems to facilitate monitoring center for ride share and safe testing method based for selfdriving cars to reduce the false call by deuddaction systems based on deep learning machine | |
JP5651642B2 (ja) | 物***置検知装置 | |
JP2017151694A (ja) | 安全確認診断システム及び安全確認診断方法 | |
CN112689587A (zh) | 考虑到在要求接管驾驶任务时驾驶员的非驾驶任务活动的可中断性而分类非驾驶任务活动的方法及因要求接管驾驶任务而中断非驾驶任务活动后重新释放非驾驶任务活动的方法 | |
JP2019086889A (ja) | 評価装置、評価システム、車両、およびプログラム | |
JP6865896B1 (ja) | 不安要因特定装置、プログラム及び不安要因特定方法 | |
JP6304075B2 (ja) | 故障判定装置 | |
US11325609B2 (en) | Vehicle driving assist system | |
JP7513841B2 (ja) | ナビゲーションセッション中の運転イベント音の検出と処理 | |
JP2010262424A (ja) | 車載カメラシステム | |
JP2018072254A (ja) | 経路探索装置、制御方法、プログラム及び記憶媒体 | |
US20240103541A1 (en) | Information generation method, information generation device, and recording medium | |
JP2017117116A (ja) | 車両状態変更システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200615 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200615 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210309 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210406 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6865896 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |