JP6840341B2 - Hmi制御装置、移動体、hmi制御方法、及びプログラム - Google Patents
Hmi制御装置、移動体、hmi制御方法、及びプログラム Download PDFInfo
- Publication number
- JP6840341B2 JP6840341B2 JP2018519551A JP2018519551A JP6840341B2 JP 6840341 B2 JP6840341 B2 JP 6840341B2 JP 2018519551 A JP2018519551 A JP 2018519551A JP 2018519551 A JP2018519551 A JP 2018519551A JP 6840341 B2 JP6840341 B2 JP 6840341B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- moving body
- user
- skill
- actual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000010801 machine learning Methods 0.000 claims description 74
- 230000006870 function Effects 0.000 claims description 12
- 238000000053 physical method Methods 0.000 claims 13
- 230000004044 response Effects 0.000 claims 3
- 230000006978 adaptation Effects 0.000 description 72
- 230000003044 adaptive effect Effects 0.000 description 52
- 238000010586 diagram Methods 0.000 description 18
- 208000019901 Anxiety disease Diseases 0.000 description 16
- 230000036506 anxiety Effects 0.000 description 16
- 238000012360 testing method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010022998 Irritability Diseases 0.000 description 1
- 206010068829 Overconfidence Diseases 0.000 description 1
- 238000012356 Product development Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Psychology (AREA)
- Heart & Thoracic Surgery (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Child & Adolescent Psychology (AREA)
- Social Psychology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Developmental Disabilities (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Description
本発明の特徴を説明するために、以下において、図面を参照して具体的に述べる。
以下、実施の形態1で説明したHMI制御部80が行う制御例について説明する。以下では、走行状況解析部11が解析した解析情報を、HMI部90のひとつである表示部に表示する場合を例にして説明する。また、車両には、ドライバー支援制御として、周囲監視アシストシテテム、ステアリングコントロールアシストシステム、アクセルコントロールシステム、レーン・キーピングシステム、及びACCシステムが搭載されているものとする。
本発明の第2の実施の形態について説明する。本実施の形態では、適応状態認識部70の認識結果と実走行情報及び実生体情報とを機械学習して、ユーザの適応状態を認識する場合について説明する。尚、上記実施の形態と同様の構成については同一の番号を付し、詳細な説明は省略する。
本発明の第3の実施の形態について説明する。本実施の形態では、適応状態認識部70の認識結果と実走行情報及び実生体情報とを機械学習して、事前学習で構築した関係のパラメータを変更する場合について説明する。尚、上記実施の形態と同様の構成については同一の番号を付し、詳細な説明は省略する。
本発明の第4の実施の形態について説明する。本実施の形態では、適応状態認識部70の認識結果に応じて提供したHMI部90に対するユーザの反応を考慮して、関係のパラメータを変更する場合について説明する。尚、上記実施の形態と同様の構成については同一の番号を付し、詳細な説明は省略する。
上記実施の形態1〜4では、機械学習部50は走行情報と生体情報とを機械学習して学習モデルを構築していた。本実施の形態では、走行情報を機械学習して学習モデルを構築し、走行情報と適応状態情報の関係を作成して関係記憶部60に記憶する場合について説明する。尚、上記実施の形態と同様の構成については同一付番を有し、詳細な説明は省略する。
10 走行情報収集部
11 走行状況解析部
20 走行情報履歴データ
30 生体情報収集部
40 生体情報履歴データ
50 機械学習部
60 関係記憶部
70 適応状態認識部
80 HMI制御部
90 HMI部
100 認識結果記憶部
110 ユーザ反応認識部
Claims (11)
- ユーザに対して情報を提供するHMI(Human Machine Interface)を制御する制御装置であって、
サンプルとして予め収集した移動体の走行情報、サンプルとして予め収集した前記移動体の走行時におけるユーザの生体状態の情報である生体情報、及び前記ユーザの移動体の操作に対するスキルを機械学習して、前記走行情報と前記生体情報と前記スキルとの相関関係の学習モデルが構築されており、前記移動体の実走行時に取得した前記移動体の実走行情報及び前記移動体の実走行時におけるユーザの生体状態である実生体情報を入力として前記ユーザのスキルを出力する機械学習手段と、
前記移動体の実走行時の前記移動体がおかれている状況に関する情報である実走行状況情報を、前記実走行情報を解析して取得する取得手段と、
前記出力されたユーザのスキルに応じて、前記取得した実走行状況情報の提示内容が異なるように前記HMIを制御する制御手段と
を有し、
前記制御手段は、前記出力されたユーザのスキルが高い場合、前記実走行状況情報が詳細になるように前記移動体の物理的測定値を含め、前記出力されたユーザのスキルが低い場合、前記実走行状況情報に前記移動体の物理的測定値を含めず、緊急に表示する場合、前記出力されたユーザのスキルに関わらず前記実走行状況情報に前記移動体の物理的測定値を含めない
制御装置。 - 前記制御手段は、前記出力されたユーザのスキルが高い場合、前記実走行状況情報に前記移動体の物理的測定値に加えて、注意喚起を示す情報及び発動するドライバー支援に関する情報を含める
請求項1に記載の制御装置。 - 前記機械学習手段が出力したスキルと、前記実走行情報及び前記実生体情報から得られるユーザのスキルとを機械学習して、前記出力されたユーザのスキルの妥当性を判定し、判定結果に応じて前記機械学習手段が出力したユーザのスキルを変更して前記制御手段に出力する認識結果変更手段を有する、請求項1又は請求項2に記載の制御装置。
- 前記機械学習手段が出力したユーザのスキルと、前記実走行情報及び前記実生体情報とを機械学習して、前記構築した学習モデルのパラメータを変更する第1のパラメータ変更手段を有する、請求項1から請求項3のいずれかに記載の制御装置。
- 前記実走行状況情報の提示時に対する前記ユーザの反応を収集し、前記収集したユーザの反応を用いて、前記構築した学習モデルのパラメータを変更する第2のパラメータ変更手段を有する、請求項1から請求項4のいずれかに記載の制御装置。
- 前記移動体は、自動車である
請求項1から請求項5のいずれかに記載の制御装置。 - サンプルとして予め収集した移動体の走行情報、サンプルとして予め収集した前記移動体の走行時におけるユーザの生体状態の情報である生体情報、及びユーザの前記移動体の操作に対するスキルを機械学習して、前記走行情報と前記生体情報と前記スキルとの相関関係の学習モデルが構築されており、前記移動体の実走行時に取得した前記移動体の実走行情報及び前記移動体の実走行時におけるユーザの生態状態である実生体情報を入力とし、前記ユーザのスキルを出力する機械学習手段と、
前記移動体の実走行時の前記移動体がおかれている状況に関する情報である実走行状況情報を、前記実走行情報を解析して取得する取得手段と、
ユーザに対して情報を提供するHMI(Human Machine Interface)と、
前記出力されたユーザのスキルに応じて、前記取得した実走行状況情報の提示内容が異なるように、前記実走行時の前記HMIを制御するHMI制御手段と
を有し、
前記制御手段は、前記出力されたユーザのスキルが高い場合、前記実走行状況情報が詳細になるように前記移動体の物理的測定値を含め、前記出力されたユーザのスキルが低い場合、前記実走行状況情報に前記移動体の物理的測定値を含めず、緊急に表示する場合、前記出力されたユーザのスキルに関わらず前記実走行状況情報に前記移動体の物理的測定値を含めないする
移動体。 - ユーザに対して情報を提供するHMI(Human Machine Interface)を制御する制御方法であって、
サンプルとして予め収集した移動体の走行情報、サンプルとして予め収集した前記移動体の走行時におけるユーザの生体状態の情報である生体情報、及びユーザの前記移動体の操作に対するスキルを機械学習して、前記走行情報と前記生体情報と前記スキルとの相関関係の学習モデルが構築されており、前記移動体の実走行時に取得した、前記移動体の実走行情報及び前記移動体の実走行時におけるユーザの生体状態である実生体状態を入力とし、前記ユーザのスキルを出力し、
前記移動体の実走行時の前記移動体がおかれている状況に関する情報である実走行状況情報を、前記実走行情報を解析して取得し、
前記出力されたユーザのスキルに応じて、前記取得した実走行状況情報の提示内容が異なるように前記HMIを制御し、
前記提示内容は、前記出力されたユーザのスキルが高い場合、前記実走行状況情報が詳細になるように前記移動体の物理的測定値を含み、前記出力されたユーザのスキルが低い場合、前記実走行状況情報に前記移動体の物理的測定値を含まず、緊急に表示する場合、前記出力されたユーザのスキルに関わらず前記実走行状況情報に前記移動体の物理的測定値を含まないする
HMI制御方法。 - ユーザに対して情報を提供するHMI(Human Machine Interface)を制御する制御システムであって、
サンプルとして予め収集した移動体の走行情報、サンプルとして予め収集した前記移動体の走行時におけるユーザの生体状態の情報である生体情報、及びユーザの前記移動体の操作に対するスキルを機械学習して、前記走行情報と前記生体情報と前記スキルとの相関関係の学習モデルが構築されており、前記移動体の実走行時に取得した前記移動体の実走行情報及び前記移動体の実走行時におけるユーザの生態状態である実生体情報を入力とし、前記ユーザのスキルを出力する機械学習手段と、
前記移動体の実走行時の前記移動体がおかれている状況に関する情報である実走行状況情報を、前記実走行情報を解析して取得する取得手段と、
前記出力されたユーザのスキルに応じて、前記取得した実走行状況情報の提示内容が異なるように前記HMIを制御するHMI制御手段と
を有し、
前記HMI制御手段は、前記出力されたユーザのスキルが高い場合、前記実走行状況情報が詳細になるように前記移動体の物理的測定値を含め、前記出力されたユーザのスキルが低い場合、前記実走行状況情報に前記移動体の物理的測定値を含めず、緊急に表示する場合、前記出力されたユーザのスキルに関わらず前記実走行状況情報に前記移動体の物理的測定値を含めないする
制御システム。 - 制御装置のプログラムであって、前記プログラムは前記制御装置を、
サンプルとして予め収集した移動体の走行情報、サンプルとして予め収集した前記移動体の走行時におけるユーザの生体状態の情報である生体情報、及びユーザの前記移動体の操作に対するスキルを機械学習して、前記走行情報と前記生体情報と前記スキルとの相関関係の学習モデルが構築されており、前記移動体の実走行時に取得した前記移動体の実走行情報及び前記移動体の実走行時におけるユーザの生態状態である実生体情報を入力とし、前記ユーザのスキルを出力する機械学習手段と、
前記移動体の実走行時の前記移動体がおかれている状況に関する情報である実走行状況情報を、前記実走行情報を解析して取得する取得手段と、
ユーザに対して情報を提供するHMI(Human Machine Interface)と、
前記出力されたユーザのスキルに応じて、前記取得した実走行状況情報の提示内容が異なるように前記HMIを制御するHMI制御手段と
して機能させ、
前記HMI制御手段は、前記出力されたユーザのスキルが高い場合、前記実走行状況情報が詳細になるように前記移動体の物理的測定値を含め、前記出力されたユーザのスキルが低い場合、前記実走行状況情報に前記移動体の物理的測定値を含めず、緊急に表示する場合、前記出力されたユーザのスキルに関わらず前記実走行状況情報に前記移動体の物理的測定値を含めないる
プログラム。 - ユーザに対して情報を提供するHMI(Human Machine Interface)を制御する制御装置であって、
サンプルとして予め収集した移動体の走行情報、サンプルとして予め収集した前記移動体の走行時におけるユーザの生体状態の情報である生体情報、及びユーザの前記移動体の操作に対するスキルを機械学習して、前記走行情報と前記生体情報と前記スキルとの相関関係を構築する機械学習手段と、
前記移動体の実走行時に取得した、前記移動体の実走行情報及び前記移動体の実走行時におけるユーザの生体状態の情報である実生体情報を前記機械学習手段に入力して、前記ユーザのスキルを認識する認識手段と、
前記移動体の実走行時の前記移動体がおかれている状況に関する情報である実走行状況情報を、前記実走行情報を解析して取得する取得手段と、
前記認識したユーザのスキルに応じて、前記取得した実走行状況情報の内容が異なるように前記HMIを制御する制御手段と
を有し、
前記制御手段は、前記出力されたユーザのスキルが高い場合、前記実走行状況情報が詳細になるように前記移動体の物理的測定値を含め、前記出力されたユーザのスキルが低い場合、前記実走行状況情報に前記移動体の物理的測定値を含めず、緊急に表示する場合、前記出力されたユーザのスキルに関わらず前記実走行状況情報に前記移動体の物理的測定値を含めない制御装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016103627 | 2016-05-24 | ||
JP2016103627 | 2016-05-24 | ||
PCT/JP2017/019132 WO2017204195A1 (ja) | 2016-05-24 | 2017-05-23 | Hmi制御装置、移動体、hmi制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017204195A1 JPWO2017204195A1 (ja) | 2019-03-22 |
JP6840341B2 true JP6840341B2 (ja) | 2021-03-10 |
Family
ID=60411753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018519551A Active JP6840341B2 (ja) | 2016-05-24 | 2017-05-23 | Hmi制御装置、移動体、hmi制御方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6840341B2 (ja) |
WO (1) | WO2017204195A1 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05325098A (ja) * | 1992-05-18 | 1993-12-10 | Honda Motor Co Ltd | 車両用運転警告装置 |
JP3646492B2 (ja) * | 1997-10-24 | 2005-05-11 | 日産自動車株式会社 | ブレーキアシストシステム |
JP5720462B2 (ja) * | 2011-07-20 | 2015-05-20 | 日産自動車株式会社 | 運転者疲労度推定装置 |
JP5392686B2 (ja) * | 2011-09-26 | 2014-01-22 | トヨタ自動車株式会社 | 運転支援装置および方法 |
JP6090340B2 (ja) * | 2015-01-08 | 2017-03-08 | マツダ株式会社 | ドライバ感情推定装置 |
-
2017
- 2017-05-23 WO PCT/JP2017/019132 patent/WO2017204195A1/ja active Application Filing
- 2017-05-23 JP JP2018519551A patent/JP6840341B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2017204195A1 (ja) | 2019-03-22 |
WO2017204195A1 (ja) | 2017-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kashevnik et al. | Driver distraction detection methods: A literature review and framework | |
US11375338B2 (en) | Method for smartphone-based accident detection | |
US11249544B2 (en) | Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness | |
JP6895634B2 (ja) | 情報処理システム、情報処理方法、およびプログラム | |
Schmidt et al. | Eye blink detection for different driver states in conditionally automated driving and manual driving using EOG and a driver camera | |
CN103732480B (zh) | 用于在行车道上车辆的线路引导中辅助驾驶员的方法和设备 | |
US10336252B2 (en) | Long term driving danger prediction system | |
CN107004363B (zh) | 图像处理装置及车载显示***及显示装置及图像处理方法 | |
JP2016216021A (ja) | 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム | |
JP6613290B2 (ja) | 運転アドバイス装置及び運転アドバイス方法 | |
JP2018072988A (ja) | 情報処理システム、情報処理方法、およびプログラム | |
JP4935589B2 (ja) | 状態判定装置およびプログラム | |
US11609565B2 (en) | Methods and systems to facilitate monitoring center for ride share and safe testing method based for selfdriving cars to reduce the false call by deuddaction systems based on deep learning machine | |
FI124068B (en) | Procedure for improving driving safety | |
CN110765807A (zh) | 驾驶行为分析、处理方法、装置、设备和存储介质 | |
WO2016170763A1 (ja) | 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援プログラム | |
US11810373B2 (en) | Cognitive function estimation device, learning device, and cognitive function estimation method | |
US10741076B2 (en) | Cognitively filtered and recipient-actualized vehicle horn activation | |
Tran et al. | Vision for driver assistance: Looking at people in a vehicle | |
WO2021067380A1 (en) | Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness | |
Wowo et al. | Towards sub-maneuver selection for automated driver identification | |
KR102300209B1 (ko) | 디지털 클러스터의 차량 주행정보 및 운전자 정보 표시 방법 | |
JP6840341B2 (ja) | Hmi制御装置、移動体、hmi制御方法、及びプログラム | |
JPWO2018083728A1 (ja) | 情報提示方法 | |
Alomari | Human-centric detection and mitigation approach for various levels of cell phone-based driver distractions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200521 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200916 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6840341 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |