JP6840341B2 - HMI control device, mobile body, HMI control method, and program - Google Patents

HMI control device, mobile body, HMI control method, and program Download PDF

Info

Publication number
JP6840341B2
JP6840341B2 JP2018519551A JP2018519551A JP6840341B2 JP 6840341 B2 JP6840341 B2 JP 6840341B2 JP 2018519551 A JP2018519551 A JP 2018519551A JP 2018519551 A JP2018519551 A JP 2018519551A JP 6840341 B2 JP6840341 B2 JP 6840341B2
Authority
JP
Japan
Prior art keywords
information
moving body
user
skill
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018519551A
Other languages
Japanese (ja)
Other versions
JPWO2017204195A1 (en
Inventor
鈴木　啓高
啓高 鈴木
拓也 小杉
拓也 小杉
文崇 加藤
文崇 加藤
均 川端
均 川端
智隆 渡邊
智隆 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SDTECH INC.
Original Assignee
SDTECH INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SDTECH INC. filed Critical SDTECH INC.
Publication of JPWO2017204195A1 publication Critical patent/JPWO2017204195A1/en
Application granted granted Critical
Publication of JP6840341B2 publication Critical patent/JP6840341B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Psychology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Description

ＨＭＩ制御装置、移動体、ＨＭＩ制御方法、及びプログラムに関する。 It relates to an HMI control device, a mobile body, an HMI control method, and a program.

近年、安全なモビリティ社会の実現を目指して、様々な運転支援技術が開発されている。現在、安全運転支援システムとして、走行中の車両同士の車間を制御するＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｉｎｇ Ｃｏｎｔｒｏｌ）やＣＡＣＣ（Ｃｏｏｐｅｒａｔｉｖｅ Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）の技術、前方の障害物等を検知してブレーキを制御する衝突被害軽減ブレーキの技術、道路の白線等の道路情報を検知して車両が走行車線を維持するようにハンドル操作を制御するレーンキープアシスト等の技術がある。 In recent years, various driving assistance technologies have been developed with the aim of realizing a safe mobility society. Currently, as a safe driving support system, ACC (Adaptive Cruing Control) and CACC (Cooperative Adaptive Cruise Control) technologies that control the distance between running vehicles, collision damage that detects obstacles in front and controls the brakes, etc. There are technologies such as mitigation braking technology and lane keep assist that detects road information such as white lines on the road and controls the steering operation so that the vehicle maintains the driving lane.

このような安全運転支援システムを用いて運転する場合、運転者による手動運転の走り方と乖離してしまい、運転者が予想していない動作が発生して運転者に不安を与えてしまうことがある。そこで、例えば特許文献１のような技術が提案されている。 When driving using such a safe driving support system, it may deviate from the driving method of manual driving by the driver, and an unexpected operation may occur, causing anxiety to the driver. is there. Therefore, for example, a technique such as Patent Document 1 has been proposed.

この特許文献１には、運転者の車両の運転動作と運転者や同乗者の生体的な情報とを測定し、運転者や同乗者が不安を感じた場合に車両の走行制御を行って不安要素を低減することが記載されている。また、特許文献１には、運転者や同乗者が不安を感じた際にはそれを記録し、運転者や同乗者が感じる不安要素を推定することが記載されている。 In Patent Document 1, the driving motion of the driver's vehicle and the biological information of the driver and the passenger are measured, and when the driver and the passenger feel anxiety, the running control of the vehicle is performed to cause anxiety. It is stated that the element is reduced. Further, Patent Document 1 describes that when a driver or a passenger feels anxiety, the driver or the passenger feels anxiety by recording the anxiety factor and estimates the anxiety factor felt by the driver or the passenger.

更に、近年はあらゆる製品において、製品の機能面での性能向上だけでなく、利用者の感じる定性的な満足度も重要な評価尺度となり注目されている。ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）で規定されている利用時品質（Ｕｓａｂｉｌｉｔｙ Ｉｎ Ｕｓｅ）においても、有効さ・効率性・満足の度合がその尺度として挙げられていることからも明らかなように、利用者の満足の度合を向上することが重要な課題となっている。 Furthermore, in recent years, in all products, not only the performance improvement in terms of product functionality but also the qualitative satisfaction felt by the user has become an important evaluation scale and is attracting attention. As is clear from the fact that the degree of effectiveness, efficiency, and satisfaction is also listed as a measure in the quality at use (Usability In Use) specified by ISO (International Organization for Standardization), users. It is an important issue to improve the degree of satisfaction of.

利用時品質の向上には、現状の問題点を解決し最低限の利用時品質を確保する「ゼロナイズ」と、利用時品質をさらに向上し、利用者の満足度を高める「マキシマイズ」とがある。特に後者は「魅力品質」とも呼ばれ、昨今の製品開発においては非常に重要なテーマとなっている。 There are two ways to improve the quality at the time of use: "Zeroize", which solves the current problems and secures the minimum quality at the time of use, and "Maximize", which further improves the quality at the time of use and enhances the satisfaction of users. .. In particular, the latter is also called "attractive quality" and has become a very important theme in product development these days.

現在開発されている運転支援技術は、そのほとんど全てが「安全の確保」を目的としていて、実際にそれを利用する利用者がそれらの運転支援技術を実際に利用する場面で「どう感じるか」という、利用時品質については考慮されていない。特許文献1は不安要素を推定し、それを低減することを目的としているが、これは前述の「ゼロナイズ」の一つであるといえる。 Almost all of the driving assistance technologies currently being developed are aimed at "ensuring safety", and "how do users feel" when they actually use those driving assistance technologies? That is, the quality at the time of use is not considered. Patent Document 1 aims to estimate anxiety factors and reduce them, which can be said to be one of the above-mentioned "zero-nise".

利用時品質を高め、利用者の満足度を最大化するためには、その製品のあらゆる利用シーンにおける最低限の利用時品質を確保（ゼロナイズ）するだけでなく、可能な限り魅力品質を高める（マキシマイズ）必要がある。 In order to improve the quality at the time of use and maximize the satisfaction of the users, we not only ensure the minimum quality at the time of use (zeroize) in every usage scene of the product, but also enhance the attractive quality as much as possible (" Maximize) Need.

特開２０１６−０５２８８１号公報Japanese Unexamined Patent Publication No. 2016-052881

通常、運転中に運転者や同乗者が不安を感じる場合、様々な事象が絡み合って起きるものである。しかしながら、上記特許文献１では、予め設定されている車両制御を行っているため、実際に起こった事象によっては、車両制御が更に運転者や同乗者を不安にさせてしまう可能性がある。 Usually, when a driver or a passenger feels uneasy while driving, various events are intertwined. However, in Patent Document 1, since the vehicle control is set in advance, the vehicle control may further make the driver and passengers uneasy depending on the event that actually occurs.

また、運転者や同乗者の不安を低減する車両制御の内容は一様ではなく、運転者や同乗者によって感じ方が変わるので、実際に起こった事象だけでなく、利用している人によっても、別の利用者には有効だった車両制御が更に運転者や同乗者を不安にさせてしまう可能性がある。 In addition, the content of vehicle control that reduces the anxiety of the driver and passengers is not uniform, and the feeling changes depending on the driver and passengers, so it depends not only on what actually happened but also on the person using it. , Vehicle control, which was effective for another user, may further anxiety the driver and passengers.

更に、上記特許文献１では、運転者や同乗者が不安を感じた時点の１点に注目して記録を行って不安要素を推定しているため、複数の事象が絡み合って起きた事象によって感じた不安が記録されている場合、同じ事象が推定されない限り、何も制御しないシステムとなってしまい、意味の無いものになってしまう。 Further, in Patent Document 1, since the anxiety factor is estimated by paying attention to one point at the time when the driver or the passenger feels anxiety, the anxiety factor is estimated. If anxiety is recorded, it becomes a system that does not control anything unless the same event is estimated, and it becomes meaningless.

また、上記特許文献1では、利用者の不安要素を推定し、それを低減するための車両制御を行うという点において、推定する「人の状態」も、推定の結果行う制御も限定的であり、数多くあるべきゼロナイズ項目の一つにすぎない。車両の利用時品質を向上し、魅力品質を獲得するためには、さまざまな利用場面における、利用者毎に異なる満足度の最大化を実現する必要がある。 Further, in Patent Document 1, the estimated "human condition" and the control performed as a result of the estimation are limited in that the anxiety factor of the user is estimated and the vehicle is controlled to reduce it. , It is just one of the many zeroized items that should be there. In order to improve the quality of the vehicle when it is used and to obtain attractive quality, it is necessary to maximize the satisfaction level that differs for each user in various usage situations.

そこで、本発明が解決しようとする課題は、上記問題点を解決することであり、複雑な条件で起こる事象にも対応できる技術を提供することにある。 Therefore, the problem to be solved by the present invention is to solve the above-mentioned problems, and to provide a technique capable of dealing with an event occurring under complicated conditions.

上記課題を解決する本願発明は、ＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）制御装置であって、実走行時の移動体がおかれている状況の情報である移動体実走行状況情報と、実走行時の前記移動体の走行情報である移動体走行情報とを取得する取得手段と、前記走行情報を用いて、前記移動体がおかれている状況に関する情報を、前記移動体を操作するユーザの前記移動体に対する適応状態に対応した方法で提示する提示手段とを有する。 The present invention for solving the above problems is an HMI (Human Machine Interface) control device, which is information on a situation in which a moving body is placed during actual running, and information on the actual running situation of the moving body and the above-mentioned information during actual running. Using the acquisition means for acquiring the moving body running information which is the running information of the moving body and the running information, the moving body of the user who operates the moving body can obtain information about the situation where the moving body is placed. It has a presentation means for presenting in a manner corresponding to the adaptation state to.

上記課題を解決する本願発明は、移動体であって、実走行時の移動体がおかれている状況の情報である移動体実走行状況情報と、実走行時の前記移動体の走行情報である移動体走行情報とを取得する取得手段と、前記走行情報を用いて、前記移動体がおかれている状況に関する情報を、前記移動体を操作するユーザの前記移動体に対する適応状態に対応した方法で提示する提示手段を有する。 The present invention for solving the above-mentioned problems is a moving body, which is information on a situation in which the moving body is placed during actual running, and is based on information on the actual running situation of the moving body and running information of the moving body during actual running. Using the acquisition means for acquiring the traveling information of a certain moving body and the traveling information, the information regarding the situation where the moving body is placed corresponds to the adaptation state of the user who operates the moving body to the moving body. It has a presentation means to present by a method.

上記課題を解決する本願発明は、ＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）制御方法であって、ユーザに対して情報を提供するＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）を制御する制御方法であって、実走行時の移動体がおかれている状況の情報である移動体実走行状況情報と、実走行時の前記移動体の走行情報である移動体走行情報とを取得し、前記走行情報を用いて、前記移動体がおかれている状況に関する情報を、前記移動体を操作するユーザの前記移動体に対する適応状態に対応した方法で提示する。 The present invention that solves the above problems is an HMI (Human Machine Interface) control method, which is a control method for controlling an HMI (Human Machine Interface) that provides information to a user, and is a moving body during actual traveling. The moving body actual running situation information which is the information of the situation where the moving body is placed and the moving body running information which is the running information of the moving body at the time of actual running are acquired, and the moving body can use the running information. Information about the situation is presented in a manner corresponding to the adaptation state of the user operating the mobile body to the mobile body.

上記課題を解決する本願発明は、ＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）制御システムであって、実走行時の移動体がおかれている状況の情報である移動体実走行状況情報と、実走行時の前記移動体の走行情報である移動体走行情報とを取得する取得手段と、前記走行情報を用いて、前記移動体がおかれている状況に関する情報を、前記移動体を操作するユーザの前記移動体に対する適応状態に対応した方法で提示する提示手段とを有する。 The present invention for solving the above problems is an HMI (Human Machine Interface) control system, which is information on a situation in which a moving body is placed during actual running, and information on the actual running situation of the moving body and the above-mentioned information during actual running. Using the acquisition means for acquiring the moving body running information which is the running information of the moving body and the running information, the moving body of the user who operates the moving body can obtain information about the situation where the moving body is placed. It has a presentation means for presenting in a manner corresponding to the adaptation state to.

上記課題を解決する本願発明は、ＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）制御装置のプログラムであって、前記プログラムは前記ＨＭＩ制御装置を、実走行時の移動体がおかれている状況の情報である移動体実走行状況情報と、実走行時の前記移動体の走行情報である移動体走行情報とを取得する取得手段と、前記走行情報を用いて、前記移動体がおかれている状況に関する情報を、前記移動体を操作するユーザの前記移動体に対する適応状態に対応した方法で提示する提示手段として機能させる。 The present invention for solving the above problems is a program of an HMI (Human Machine Interface) control device, and the program is information on a situation in which a moving body is placed on the HMI control device during actual traveling. Using the acquisition means for acquiring the actual running situation information and the moving body running information which is the running information of the moving body during the actual running, and the running information, information on the situation where the moving body is placed can be obtained. It functions as a presenting means for presenting in a method corresponding to the adaptation state of the user who operates the moving body to the moving body.

本発明によると、複雑な条件で起こる事象にも対応できる。 According to the present invention, it is possible to deal with events that occur under complicated conditions.

図１は、第１の実施の形態を示すブロック図である。FIG. 1 is a block diagram showing a first embodiment. 図２は、第１の実施の形態の別の構成を示すブロック図である。FIG. 2 is a block diagram showing another configuration of the first embodiment. 図３は、第１の実施の形態の事前作業の動作を説明するフロー図である。FIG. 3 is a flow chart illustrating the operation of the pre-work according to the first embodiment. 図４は、第１の実施の形態の動作を説明するフロー図である。FIG. 4 is a flow chart illustrating the operation of the first embodiment. 図５は、第２の実施の形態を示すブロック図である。FIG. 5 is a block diagram showing a second embodiment. 図６は、第２の実施の形態の動作を説明するフロー図である。FIG. 6 is a flow chart illustrating the operation of the second embodiment. 図７は、第３の実施の形態を示すブロック図である。FIG. 7 is a block diagram showing a third embodiment. 図８は、第３の実施の形態の動作を説明するフロー図である。FIG. 8 is a flow chart illustrating the operation of the third embodiment. 図９は、第４の実施の形態を示すブロック図である。FIG. 9 is a block diagram showing a fourth embodiment. 図１０は、第４の実施の形態の動作を説明するフロー図である。FIG. 10 is a flow chart illustrating the operation of the fourth embodiment. 図１１は、第５の実施の形態を示すブロック図である。FIG. 11 is a block diagram showing a fifth embodiment. 図１２は、第５の実施の形態の別の構成を示すブロック図である。FIG. 12 is a block diagram showing another configuration of the fifth embodiment. 図１３は、第５の実施の形態の事前作業の動作を説明するフロー図である。FIG. 13 is a flow chart illustrating the operation of the pre-work according to the fifth embodiment. 図１４は、第５の実施の形態の動作を説明するフロー図である。FIG. 14 is a flow chart illustrating the operation of the fifth embodiment. 図１５は、ＨＭＩ制御部８０が行う制御例を説明するための図である。FIG. 15 is a diagram for explaining a control example performed by the HMI control unit 80. 図１６は、ＨＭＩ制御部８０が行う制御例を説明するための図である。FIG. 16 is a diagram for explaining a control example performed by the HMI control unit 80. 図１７は、ＨＭＩ制御部８０が行う制御例を説明するための図である。FIG. 17 is a diagram for explaining a control example performed by the HMI control unit 80. 図１８は、プログラムで動作するコンピュータの一例を示す図である。FIG. 18 is a diagram showing an example of a computer operating by a program.

〈第１の実施の形態〉
本発明の特徴を説明するために、以下において、図面を参照して具体的に述べる。<First Embodiment>
In order to explain the features of the present invention, the present invention will be specifically described below with reference to the drawings.

本発明を実施するための第１の実施の形態について図面を参照して詳細に説明する。図１は、本発明の第１の実施の形態における制御システムのブロック図である。本発明の制御システム１は、ユーザが車両の走行中に、ＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）を制御することにより、各ユーザのその時々の状態に適した方法で各種機能を提供する。本発明の制御システム１は、走行情報収集部１０、走行情報履歴データ２０、生体情報収集部３０、生体情報履歴データ４０、機械学習部５０、関係記憶部６０、適応状態認識部７０、ＨＭＩ制御部８０、及びＨＭＩ部９０を有する。 The first embodiment for carrying out the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram of a control system according to the first embodiment of the present invention. The control system 1 of the present invention provides various functions in a manner suitable for each user's current state by controlling the HMI (Human Machine Interface) while the user is traveling in the vehicle. The control system 1 of the present invention includes a traveling information collecting unit 10, a traveling information history data 20, a biological information collecting unit 30, a biological information history data 40, a machine learning unit 50, a relational storage unit 60, an adaptive state recognition unit 70, and HMI control. It has a unit 80 and an HMI unit 90.

走行情報収集部１０は、走行中の車両の走行情報を収集する。そして、収集した走行情報を走行情報履歴データ２０に時系列でログとして記録する。走行情報収集部１０は走行情報として、アクセル、ブレーキ、ステアリング、スロットル、回転数、速度、位置情報等、車両に取りつけられた各種センサから測定値を収集する。また、走行情報収集部１０は、車両に取り付けられたカメラ等から、道路情報、前方車両に関する情報（距離、速度等）、対向車両に関する情報、左右の車両に関する情報、合流車両に関する情報、車両周辺の歩行者に関する情報、カーナビからの情報も収集しても良い。これら走行情報収集部１０が収集する情報を、以下、走行情報と記載する。尚、走行情報は、事前のテスト走行で該車両のユーザの走行情報を収集しても、本システム提供者が事前に多数のユーザによるテスト走行を行って収集してもよいものとする。また、走行情報のうち、サンプル収集を目的とするテスト走行ではなく、ユーザが実際に車両を操作して車両を走行させている時（実走行時）に得られた走行情報を、以下、実走行情報と記載する。 The traveling information collecting unit 10 collects traveling information of a moving vehicle. Then, the collected travel information is recorded as a log in the travel information history data 20 in chronological order. The traveling information collecting unit 10 collects measured values as traveling information from various sensors attached to the vehicle, such as accelerator, brake, steering, throttle, rotation speed, speed, and position information. In addition, the traveling information collecting unit 10 uses a camera or the like attached to the vehicle to obtain road information, information on vehicles in front (distance, speed, etc.), information on oncoming vehicles, information on left and right vehicles, information on merging vehicles, and vehicle surroundings. Information about pedestrians and information from car navigation systems may also be collected. The information collected by the traveling information collecting unit 10 is hereinafter referred to as traveling information. It should be noted that the running information may be collected by collecting the running information of the user of the vehicle in the test running in advance, or by the system provider performing the test running by a large number of users in advance. In addition, among the driving information, the driving information obtained when the user actually operates the vehicle to drive the vehicle (actual driving), not the test driving for the purpose of collecting samples, is referred to below. Described as driving information.

走行情報収集部１０は、走行中に収集した走行情報に基づいて走行中の車両が置かれている状況を解析し、走行状況情報を出力する走行状況解析部１１を有する。走行状況情報は、走行中の車両が置かれている状況を示した情報である。例えば車両に取り付けられたカメラからの走行情報によって、前方すぐ近くに車がある状況、右から割り込んできた車両がある状況等である。他には、センサからの走行情報によって、車両周辺に霧が発生している状況、走行速度が法廷速度を超えている状況等である。尚、走行状況情報のうち、サンプル収集を目的とするテスト走行ではなく、ユーザが実際に車両を操作して車両を走行させている時（実走行時）に得られた走行状況情報を、以下、実走行状況情報と記載する。 The traveling information collecting unit 10 has a traveling condition analysis unit 11 that analyzes the situation in which the traveling vehicle is placed based on the traveling information collected during traveling and outputs the traveling condition information. The traveling status information is information indicating the status in which the traveling vehicle is placed. For example, there is a situation where there is a car in the immediate vicinity of the front, a situation where there is a vehicle interrupting from the right, etc., based on the running information from a camera attached to the vehicle. In addition, there are situations where fog is generated around the vehicle based on the running information from the sensor, and where the running speed exceeds the court speed. Of the driving status information, the following is the driving status information obtained when the user actually operates the vehicle to drive the vehicle (actual driving) instead of the test driving for the purpose of collecting samples. , Describe as actual driving situation information.

生体情報収集部３０は、運転者や同乗者であるユーザの生体情報を走行時に収集する。そして、生体情報履歴データ４０に時系列でログとして記録する。生体情報収集部３０は生体情報として、ユーザの心電図、心拍数、血圧、発汗状態、脳波、体の加速度、視線、瞳孔径等を収集する。尚、生体情報は、事前のテスト走行で該車両のユーザのテスト走行時の生体情報を収集しても、本システム提供者が事前に多数のユーザによるテスト走行時の生体情報を収集してもよいものとする。また、生体情報のうち、サンプル収集を目的とするテスト走行ではなく、ユーザが実際に車両を操作して車両を走行させている時（実走行時）に得られた生体情報を、以下、実生体情報と記載する。 The biological information collecting unit 30 collects biological information of a user who is a driver or a passenger during driving. Then, it is recorded as a log in the biological information history data 40 in chronological order. The biological information collecting unit 30 collects the user's electrocardiogram, heart rate, blood pressure, sweating state, electroencephalogram, body acceleration, line of sight, pupil diameter, etc. as biological information. As for the biometric information, the biometric information of the user of the vehicle during the test run may be collected in advance, or the system provider may collect the biometric information of a large number of users during the test run in advance. It should be good. In addition, among the biometric information, the biometric information obtained when the user actually operates the vehicle to drive the vehicle (actual driving), not the test driving for the purpose of collecting samples, is referred to below. Described as biometric information.

機械学習部５０は、システム提供者が予め想定して用意した、車両の操作に対するユーザの適応状態を表す適応状態情報を有する。この適応状態情報は、車両の操作に対するユーザのスキル及び心情等を表す情報であり、“不安”、“過信”、“苛立ち”、“上級ドライバー”、“初心者ドライバー”等である。機械学習部５０は、走行情報を走行情報履歴データ２０から取得し、その取得した走行時の生体情報を生体情報履歴データ４０から取得する。そして、走行情報と生体情報と適応状態情報との関係を機械学習させて、走行情報と生体情報と適応状態情報との関係を学習した学習モデルを関係記憶部６０に記憶する。この機械学習部５０が行う機械学習は、ユーザが走行を開始する前に行われる。尚、ここでの機械学習は、予め幾つかの教師情報（サンプルとして予め収集した車両の走行情報と、サンプルとして予め収集した車両の走行時におけるユーザの生体情報とを入力して適応状態情報を出力する）を用いて学習させるのが好ましいが、教師情報無しの機械学習であっても良い。教師情報有りの機械学習は、適応状態情報をラベル付けした走行情報と生体情報とを用いて機械学習する。教師情報無しの機械学習は、入力した走行情報と生体情報とを機械学習して分類し、分類結果に適応状態情報を対応づけて行われる。機械学習部５０が行う機械学習の技法は問わず、ディープラーニング、サポートベクターマシン、ベイジアンネットワーク、決定木学習等のいずれでも良い。 The machine learning unit 50 has adaptation state information representing the user's adaptation state to the operation of the vehicle, which is prepared by the system provider in advance. This adaptation state information is information representing the user's skill and feelings regarding the operation of the vehicle, such as "anxiety", "overconfidence", "irritability", "advanced driver", and "beginner driver". The machine learning unit 50 acquires the traveling information from the traveling information history data 20, and acquires the acquired biological information at the time of traveling from the biological information history data 40. Then, the relationship between the traveling information, the biological information, and the adaptive state information is machine-learned, and the learning model in which the relationship between the traveling information, the biological information, and the adaptive state information is learned is stored in the relationship storage unit 60. The machine learning performed by the machine learning unit 50 is performed before the user starts traveling. In the machine learning here, some teacher information (vehicle running information collected in advance as a sample and user's biological information during running of the vehicle collected in advance as a sample is input to obtain adaptive state information. It is preferable to learn by using (output), but machine learning without teacher information may be used. In machine learning with teacher information, machine learning is performed using running information labeled with adaptive state information and biometric information. Machine learning without teacher information is performed by machine learning and classifying the input driving information and biological information, and associating the classification result with the adaptation state information. The machine learning technique performed by the machine learning unit 50 may be any of deep learning, support vector machine, Bayesian network, decision tree learning, and the like.

適応状態認識部７０は、ユーザが実際に車両に乗車して走行が開始されると、走行情報収集部１０が収集する実走行情報と、生体情報収集部３０が収集する実生体情報と取得する。この取得した実走行状況情報とユーザの実生体情報とに基づいて、関係記憶部６０の関係を参照して、ユーザの適応状態を取得する。尚、本説明では、適応状態認識部７０を単独で設けたが、これを単体として設けずに、実走行状況情報とユーザの実生体情報とを機械学習部５０に入力し、機械学習部に学習させた結果を出力させる構成であっても良い。このような構成の場合のブロック図を図２に示す。 The adaptive state recognition unit 70 acquires the actual driving information collected by the traveling information collecting unit 10 and the actual biological information collected by the biological information collecting unit 30 when the user actually gets on the vehicle and starts traveling. .. Based on the acquired actual running situation information and the user's actual biological information, the user's adaptive state is acquired by referring to the relationship of the relationship storage unit 60. In this description, the adaptive state recognition unit 70 is provided independently, but instead of providing this as a single unit, the actual running situation information and the user's actual biological information are input to the machine learning unit 50 and input to the machine learning unit. It may be configured to output the learned result. A block diagram in the case of such a configuration is shown in FIG.

ＨＭＩ制御部８０は、適応状態認識部７０が認識したユーザの適応状態に応じた機能をＨＭＩ部９０を制御することによって提供する。ＨＭＩ制御部８０が制御するＨＭＩ部９０がユーザに提供する機能としては、例えば、スピーカから流す音声、表示画面に表示させるメッセージや画像、車両内の照明の色や明るさ等である。ＨＭＩ部９０はこれらの機能を用いて、走行情報解析部１１が出力した実走行状況情報に基づく実走行時に車両が置かれている状況をユーザに提示する。ＨＭＩ制御部８０は、適応状態認識部７０が認識する適応状態ごとに、制御するＨＭＩ部９０とその制御内容とが対応付けられたＨＭＩ制御情報を参照し、適応状態認識部７０が認識した適応状態に対応した制御内容の方法で実走行時のＨＭＩ部９０の制御を行う。ＨＭＩ制御情報は、例えば、ＨＭＩ部９０が表示部である場合には、適応状態情報“上級者”には制御内容“詳細表示”が、適応状態情報“中級者”には制御内容“概略表示”が、適応状態情報“初級者”には制御内容“簡易表示”を対応づけた情報である。 The HMI control unit 80 provides a function according to the adaptation state of the user recognized by the adaptation state recognition unit 70 by controlling the HMI unit 90. Functions provided by the HMI unit 90 controlled by the HMI control unit 80 to the user include, for example, voices from speakers, messages and images to be displayed on a display screen, color and brightness of lighting in a vehicle, and the like. Using these functions, the HMI unit 90 presents to the user the situation in which the vehicle is placed during actual driving based on the actual driving situation information output by the driving information analysis unit 11. The HMI control unit 80 refers to the HMI control information associated with the HMI unit 90 to be controlled and the control content thereof for each adaptation state recognized by the adaptation state recognition unit 70, and the adaptation recognized by the adaptation state recognition unit 70. The HMI unit 90 is controlled during actual driving by the method of the control content corresponding to the state. For the HMI control information, for example, when the HMI unit 90 is a display unit, the control content "detailed display" is displayed for the adaptation state information "advanced person", and the control content "summary display" is displayed for the adaptation state information "intermediate person". Is the information in which the control content "simple display" is associated with the adaptation state information "beginner".

続いて、本実施の形態の動作について説明する。 Subsequently, the operation of the present embodiment will be described.

まず、ユーザが実際に利用する前に行われる事前学習について、図３のフロー図を用いて説明する。尚、以下の説明では、既にユーザとして運転者を識別してあるものとして説明する。 First, the pre-learning performed before the user actually uses it will be described with reference to the flow chart of FIG. In the following description, it is assumed that the driver has already been identified as a user.

走行情報収集部１０は事前にサンプルとして走行中の車両の走行情報を収集して（Ｓ３０１）、走行情報履歴データ２０に時系列でログをとり（Ｓ３０２）、生体情報収集部３０は走行中の運転者の生体情報を収集して（Ｓ３０３）、生体情報履歴データ４０に時系列でログをとる（Ｓ３０４）。 The driving information collecting unit 10 collects the driving information of the traveling vehicle as a sample in advance (S301), logs the driving information history data 20 in chronological order (S302), and the biological information collecting unit 30 is traveling. The driver's biometric information is collected (S303), and the biometric information history data 40 is logged in chronological order (S304).

機械学習部５０は走行情報履歴データ２０から走行情報と、この走行情報取得時の生体情報を生体情報履歴データ４０から取得し、学習モデルである走行情報及び生体情報と適応状態との関係を機械学習して（Ｓ３０５）、関係記憶部６０に記憶する（Ｓ３０６）。 The machine learning unit 50 acquires the driving information from the driving information history data 20 and the biological information at the time of acquiring the driving information from the biological information history data 40, and determines the relationship between the driving information and the biological information as a learning model and the adaptive state. It learns (S305) and stores it in the relation storage unit 60 (S306).

続いて、ＨＭＩ部９０を制御することにより、各ユーザのその時々の状態に適した方法で各種機能を提供する方法について、図４のフロー図を用いて説明する。本発明のＨＭＩ部の制御動作においては、ユーザを識別して行われるのが望ましい。このユーザ識別は、運転者毎、若しくは同乗者毎に識別しても良いが、運転者と同乗者との組み合わせで識別しても良いものとする。また、ユーザの識別の方法であるが、例えば、運転者が携帯している車両の電子キー、携帯機器、車両に搭載されているカメラによる顔や指紋等の生体認証キー、運転者によって車両に登録される識別情報等によって識別するものとする。尚、以下の説明では、既にユーザとして運転者を識別してあるものとして説明する。即ち、適応状態認識部７０がユーザの適応状態情報を認識する際、関係記憶部６０に記憶されている関係のうち、識別したユーザの関係を用いてユーザの適応状態情報を認識するものとして説明する。 Subsequently, a method of providing various functions by controlling the HMI unit 90 in a manner suitable for each user's current state will be described with reference to the flow chart of FIG. In the control operation of the HMI unit of the present invention, it is desirable that the user is identified. This user identification may be performed for each driver or for each passenger, but may be identified by a combination of the driver and the passenger. As for the method of identifying the user, for example, the electronic key of the vehicle carried by the driver, the mobile device, the biometric authentication key such as the face or fingerprint by the camera mounted on the vehicle, and the driver's method of identifying the vehicle. It shall be identified by the registered identification information, etc. In the following description, it is assumed that the driver has already been identified as a user. That is, when the adaptation state recognition unit 70 recognizes the adaptation state information of the user, it is described as recognizing the adaptation state information of the user by using the identified user relationship among the relationships stored in the relationship storage unit 60. To do.

車両の実走行が開始されると、適応状態認識部７０は、走行情報収集部１０から走行中の車両の実走行状況情報を、生体情報収集部３０から実生体情報を取得する（Ｓ４０１）。 When the actual traveling of the vehicle is started, the adaptation state recognition unit 70 acquires the actual traveling status information of the traveling vehicle from the traveling information collecting unit 10 and the actual biological information from the biological information collecting unit 30 (S401).

そして、適応状態認識部７０は、取得した走行情報と生体情報とに基づいて、関係記憶部６０の関係を参照して、ユーザの適応状態情報を認識する（Ｓ４０２）。 Then, the adaptive state recognition unit 70 recognizes the user's adaptive state information by referring to the relationship of the relationship storage unit 60 based on the acquired traveling information and the biological information (S402).

Ｓ４０１の実行と同時進行で、走行状況解析部１１は、収集した走行情報に基づいて、車両が置かれている状況を解析して実走行状況情報を出力する（Ｓ４０４）。 Simultaneously with the execution of S401, the traveling situation analysis unit 11 analyzes the situation in which the vehicle is placed based on the collected traveling information and outputs the actual driving situation information (S404).

ＨＭＩ制御部８０は、走行状況解析部１１が出力した実走行状況情報に基づく実走行時に車両が置かれている状況を、適応状態認識部７０が認識したユーザの適応状態情報に応じた制御内容をＨＭＩ制御情報から参照し、その制御内容に沿った方法で提示する（Ｓ４０３）。 The HMI control unit 80 controls the situation in which the vehicle is placed during actual driving based on the actual driving situation information output by the driving situation analysis unit 11 according to the user's adaptive state information recognized by the adaptive state recognition unit 70. Is referred from the HMI control information and presented by a method according to the control content (S403).

尚、上記の走行情報収集部１０は、車両に装備されている安全運転支援システム又は自動運転制御システムの一部であっても良い。 The driving information collecting unit 10 may be a part of a safe driving support system or an automatic driving control system equipped in the vehicle.

上記実施の形態によると、個々のユーザに適応した方法でＨＭＩ部９０を提供することができる。 According to the above embodiment, the HMI unit 90 can be provided by a method adapted to each user.

<実施例>
以下、実施の形態１で説明したＨＭＩ制御部８０が行う制御例について説明する。以下では、走行状況解析部１１が解析した解析情報を、ＨＭＩ部９０のひとつである表示部に表示する場合を例にして説明する。また、車両には、ドライバー支援制御として、周囲監視アシストシテテム、ステアリングコントロールアシストシステム、アクセルコントロールシステム、レーン・キーピングシステム、及びＡＣＣシステムが搭載されているものとする。<Example>
Hereinafter, a control example performed by the HMI control unit 80 described in the first embodiment will be described. Hereinafter, the case where the analysis information analyzed by the traveling situation analysis unit 11 is displayed on the display unit, which is one of the HMI units 90, will be described as an example. Further, it is assumed that the vehicle is equipped with a surrounding monitoring assist system, a steering control assist system, an accelerator control system, a lane keeping system, and an ACC system as driver assist control.

ＨＭＩ制御部８０は、実走行情報に対応した情報を表示部に表示するにあたって、適応状態認識部７０が認識した適応状態情報を確認する。ＨＭＩ制御部８０は、適応状態情報に対応付けられている制御内容をＨＭＩ制御情報から検索し、検索した制御内容に沿った方法でＨＭＩ部９０を制御する。 The HMI control unit 80 confirms the adaptation state information recognized by the adaptation state recognition unit 70 when displaying the information corresponding to the actual driving information on the display unit. The HMI control unit 80 searches for the control content associated with the adaptation state information from the HMI control information, and controls the HMI unit 90 by a method according to the searched control content.

例えば、霧が発生している状況であることを走行状況解析部１１が解析して、このことをＨＭＩ部９０を介してユーザに通知する場合について、図１５を用いて説明する。 For example, a case where the traveling condition analysis unit 11 analyzes the situation where fog is generated and notifies the user of this via the HMI unit 90 will be described with reference to FIG.

霧が発生している状況であることを走行状況解析部１１が解析すると、ＨＭＩ部９０の表示部に“センサが機能しなくなる恐れがある為、周囲に注意”という内容の情報を表示させるために、ＨＭＩ制御部８０は、適応状態認識部７０が認識した適応状態情報をＨＭＩ制御情報から検索する。そして、ＨＭＩ制御部８０は、検索した適応状態情報に対応付けられているＨＭＩ制御内容に沿った方法でＨＭＩ部９０を制御する。 When the driving situation analysis unit 11 analyzes that the situation is foggy, the display unit of the HMI unit 90 displays information that says "Be careful of the surroundings because the sensor may not function." In addition, the HMI control unit 80 searches the HMI control information for the adaptation state information recognized by the adaptation state recognition unit 70. Then, the HMI control unit 80 controls the HMI unit 90 by a method according to the HMI control content associated with the searched adaptation state information.

適応状態情報が“上級者”である場合、ユーザは車両の操作について熟知しているため、車両が置かれている状況に関する情報を詳細に表示して注意喚起してもユーザは理解できる。そのため、ＨＭＩ制御情報のＨＭＩ制御内容において、適応状態“上級者”には詳細表示するように制御内容が記されている。詳細表示の内容は、車両の物理的な測定値、ユーザへの注意喚起内容を示すイラスト、発動するドライバー支援に関する情報等である。ＨＭＩ制御部８０は、これらを画面フォーマットに基づいて、ＨＭＩ部９０に表示させる。図１５の例では、物理的な測定値としてオドメータ及びトリップメータの数値が表示されている。注意喚起内容を示すイラストとしては、車のイラストと注意マークとが表示されている。発動するドライバー支援に関する情報としては、制御無しを示すイラストが表示されている。 When the adaptation status information is "advanced", the user is familiar with the operation of the vehicle, so that the user can understand even if the information about the situation in which the vehicle is placed is displayed in detail to call attention. Therefore, in the HMI control content of the HMI control information, the control content is described so that the adaptive state "advanced" is displayed in detail. The contents of the detailed display include physical measured values of the vehicle, illustrations showing the contents of alerting the user, information on the driver support to be activated, and the like. The HMI control unit 80 displays these on the HMI unit 90 based on the screen format. In the example of FIG. 15, the numerical values of the odometer and the trip meter are displayed as the physical measured values. As an illustration showing the content of the alert, an illustration of a car and a caution mark are displayed. As information on the driver assistance to be activated, an illustration showing no control is displayed.

適応状態が“中級者”である場合、ユーザは車両の操作についてある程度慣れているため、車両が置かれている状況に関する情報をある程度詳細に表示して注意喚起しても理解できる。そのため、ＨＭＩ制御情報のＨＭＩ制御内容において、適応状態“中級者”には概略を表示するように制御内容が記されている。概略表示の内容は、車両の物理的な測定値、ユーザへの注意喚起内容を示すテキスト、発動するドライバー支援に関する情報等である。ＨＭＩ制御部８０は、これらを画面フォーマットに基づいて、ＨＭＩ部９０に表示させる。図１５の例では、物理的な測定値としてオドメータ及びトリップメータの数値が表示されている。ユーザへの注意喚起内容を示すテキストとしては、周囲監視を強化しますが表示されている。発動するドライバー支援に関する情報としては、周囲接近センサのイラストが表示されている。 When the adaptation state is "intermediate", the user is accustomed to operating the vehicle to some extent, so that it can be understood even if the information about the situation in which the vehicle is placed is displayed in some detail to call attention. Therefore, in the HMI control content of the HMI control information, the control content is described so as to display an outline in the adaptive state "intermediate person". The contents of the outline display are physical measured values of the vehicle, texts indicating the contents of alerting the user, information on the driver support to be activated, and the like. The HMI control unit 80 displays these on the HMI unit 90 based on the screen format. In the example of FIG. 15, the numerical values of the odometer and the trip meter are displayed as the physical measured values. As a text indicating the content of alerting the user, "Enhance surrounding monitoring" is displayed. As information on the driver assistance to be activated, an illustration of a surrounding proximity sensor is displayed.

適応状態が“初級者”である場合、ユーザは車両の操作に注意の大半を注ぎこんでいることが多い。そのため、車両が置かれている状況に関する情報を詳細に表示しても、ユーザは理解できない可能性が高い。そのため、ＨＭＩ制御情報のＨＭＩ制御内容において、適応状態“初級者”には最低限の注意喚起の内容のみの簡素表示をするように制御内容が記されている。ＨＭＩ制御部８０は、これを簡素表示の画面フォーマットに基づいて、ＨＭＩ部９０に表示させる。図１５の例では、注意喚起の内容として、前方注意のテキストと前方注意を示すイラストが表示されている。 When the adaptive state is "beginner", the user often pays most attention to the operation of the vehicle. Therefore, even if the information about the situation where the vehicle is placed is displayed in detail, it is highly likely that the user cannot understand it. Therefore, in the HMI control content of the HMI control information, the control content is described so that only the minimum warning content is simply displayed for the adaptive state "beginner". The HMI control unit 80 causes the HMI unit 90 to display this based on the simple display screen format. In the example of FIG. 15, as the content of the alert, the text of the forward attention and the illustration showing the forward attention are displayed.

次に、走行状況解析部１１が、右から車両が割り込んできている状況であることを解析して、このことをＨＭＩ部９０を介してユーザに通知する場合について、図１６を用いて説明する。 Next, a case where the traveling condition analysis unit 11 analyzes that the vehicle is interrupting from the right and notifies the user via the HMI unit 90 will be described with reference to FIG. ..

走行状況解析部１１が、右から車両が割り込んできていることを解析すると、ＨＭＩ部９０の表示部に“右からの車の割り込みがあり、自動で減速するので注意”という内容の情報を表示画面に表示するために、ＨＭＩ制御部８０はＨＭＩ制御情報から、認識した適応状態情報を検索する。そして、検索した適応状態情報に対応付けられているＨＭＩ制御内容に沿った方法でＨＭＩ部９０を制御する。 When the driving situation analysis unit 11 analyzes that the vehicle is interrupting from the right, the display unit of the HMI unit 90 displays the information "Be careful because there is an interruption of the vehicle from the right and the vehicle automatically decelerates." In order to display it on the screen, the HMI control unit 80 searches the recognized adaptation state information from the HMI control information. Then, the HMI unit 90 is controlled by a method according to the HMI control content associated with the searched adaptation state information.

適応状態が“上級者”である場合、ユーザは車両の操作について熟知しているため、車両が置かれている状況に関する情報を詳細に表示して注意喚起してもユーザは理解できる。そのため、ＨＭＩ制御情報のＨＭＩ制御内容において、適応状態“上級者”には詳細表示するように制御内容が記されている。図１６の例では、物理的な測定値としてオドメータ及びトリップメータの数値が表示されている。注意喚起内容を示すイラストとしては、ユーザの車と割り込みの車のイラストと注意マークが表示されている。発動するドライバー支援に関する情報としては、制御無しを示すイラストが表示されている。 When the adaptation state is "advanced", the user is familiar with the operation of the vehicle, so that the user can understand even if the information about the situation in which the vehicle is placed is displayed in detail to call attention. Therefore, in the HMI control content of the HMI control information, the control content is described so that the adaptive state "advanced" is displayed in detail. In the example of FIG. 16, the numerical values of the odometer and the trip meter are displayed as the physical measured values. As an illustration showing the content of the alert, an illustration of the user's car and the interrupting car and a caution mark are displayed. As information on the driver assistance to be activated, an illustration showing no control is displayed.

適応状態が“中級者”である場合、ユーザは車両の操作についてある程度慣れているため、車両が置かれている状況に関する情報をある程度詳細に表示して注意喚起しても理解できる。そのため、ＨＭＩ制御情報のＨＭＩ制御内容において、適応状態“中級者”には概略を表示するように制御内容が記されている。図１６の例では、物理的な測定値としてオドメータ及びトリップメータの数値が表示されている。注意喚起内容を示すテキストとしては、減速しますが表示されている。発動するドライバー支援に関する情報としては、自動速度制御を示すイラストが表示されている。 When the adaptation state is "intermediate", the user is accustomed to the operation of the vehicle to some extent, so that it can be understood even if the information about the situation in which the vehicle is placed is displayed in some detail to call attention. Therefore, in the HMI control content of the HMI control information, the control content is described so as to display an outline in the adaptive state "intermediate person". In the example of FIG. 16, the numerical values of the odometer and the trip meter are displayed as the physical measured values. Slow down is displayed as the text indicating the content of the alert. As information on the driver assistance to be activated, an illustration showing automatic speed control is displayed.

適応状態が“初級者”である場合、ユーザは車両の操作に注意の大半を注ぎこんでいて、車両が置かれている状況に関する情報を詳細に表示してもユーザは理解できない可能性が高い。そのため、ＨＭＩ制御情報のＨＭＩ制御内容において、適応状態“初級者”には最低限の注意喚起のみの簡素表示をするように制御内容が記されている。ＨＭＩ制御部８０は、これを簡素表示の画面フォーマットに基づいて、ＨＭＩ部９０に表示させる。図１６の例では、注意喚起内容を示す情報として、右に注意するよう促すテキストとイラストが表示されている。 If the adaptation is "beginner", the user is most likely to pay attention to the operation of the vehicle and the detailed information about the situation in which the vehicle is located is not understandable to the user. .. Therefore, in the HMI control content of the HMI control information, the control content is described so that the adaptive state "beginner" is simply displayed with only the minimum warning. The HMI control unit 80 causes the HMI unit 90 to display this based on the simple display screen format. In the example of FIG. 16, text and an illustration urging attention to the right are displayed as information indicating the content of the alert.

次に、走行状況解析部１１が、前方に車両が接近している状況であることを解析して、このことをＨＭＩ部９０を介してユーザに緊急に通知する場合について、図１７を用いて説明する。 Next, when the traveling situation analysis unit 11 analyzes that the vehicle is approaching ahead and urgently notifies the user via the HMI unit 90, FIG. 17 is used. explain.

走行状況解析部１１が、前方車両が接近していることを解析すると、ＨＭＩ部９０の表示部に“前方車両への追突の可能性があり、自動制御にて急減速するので注意”という内容の情報を表示するために、ＨＭＩ制御部８０は、適応状態認識部７０が認識した適応状態情報をＨＭＩ制御情報から検索する。そして、ＨＭＩ制御部８０は、検索した適応状態に対応付けられているＨＭＩ制御内容に沿った方法でＨＭＩ部９０を制御する。 When the driving situation analysis unit 11 analyzes that the vehicle in front is approaching, the display unit of the HMI unit 90 says, "Be careful because there is a possibility of a rear-end collision with the vehicle in front and the vehicle decelerates suddenly by automatic control." In order to display the information of, the HMI control unit 80 searches the HMI control information for the adaptation state information recognized by the adaptation state recognition unit 70. Then, the HMI control unit 80 controls the HMI unit 90 by a method according to the HMI control content associated with the searched adaptive state.

緊急に通知する場合、適応状態が“上級者”であっても、ユーザに通知する内容は一瞬で理解できる程度が良い。そのため、ＨＭＩ部９０は緊急時の詳細表示の画面フォーマットに基づいて、注意喚起内容を示すイラストと、発動するドライバー支援制御内容を示すイラスト等というように、情報を減らして表示する。図１７の例では、注意喚起内容を示すイラストとして、ユーザの車と割り込みの車のイラストと注意マークが表示されている。発動するドライバー支援制御内容を示すイラストとして、制御無しを示すイラストが表示されている。 In the case of urgent notification, even if the adaptation status is "advanced", it is good that the content to be notified to the user can be understood in an instant. Therefore, the HMI unit 90 reduces and displays information such as an illustration showing the alert content and an illustration showing the driver assist control content to be activated, based on the screen format of the detailed display in an emergency. In the example of FIG. 17, an illustration of a user's car and an interrupting car and a caution mark are displayed as illustrations showing the content of the alert. As an illustration showing the driver assist control content to be activated, an illustration showing no control is displayed.

適応状態が“中級者”である場合、ＨＭＩ部９０は緊急時の概略表示の画面フォーマットに基づいて、例えば注意喚起内容を示すテキストと、発動するドライバー支援制御内容を示すイラスト等のように、表示する情報を減らす。図１７の例では、注意喚起内容を示すテキストとして減速しますが表示されている。発動するドライバー支援制御内容を示すイラストとして、自動速度制御のイラストが表示されている。 When the adaptation state is "intermediate", the HMI unit 90 is based on the screen format of the outline display in an emergency, for example, a text showing the alert content and an illustration showing the driver assist control content to be activated. Reduce the information displayed. In the example of FIG. 17, deceleration is displayed as text indicating the content of the alert. An illustration of automatic speed control is displayed as an illustration showing the contents of the driver assist control to be activated.

適応状態が“初級者”である場合、ＨＭＩ部９０は緊急時の簡素表示の画面フォーマットに基づいて、最低限の注意喚起として、右に注意するよう促すテキストとイラストが表示されている。但し、この時は緊急であることがユーザに伝わるように色を変えても良い。 When the adaptation state is "beginner", the HMI unit 90 displays text and an illustration to the right as a minimum alert based on the screen format of the simple display in an emergency. However, at this time, the color may be changed so that the user is informed that it is urgent.

〈第２の実施の形態〉
本発明の第２の実施の形態について説明する。本実施の形態では、適応状態認識部７０の認識結果と実走行情報及び実生体情報とを機械学習して、ユーザの適応状態を認識する場合について説明する。尚、上記実施の形態と同様の構成については同一の番号を付し、詳細な説明は省略する。<Second Embodiment>
A second embodiment of the present invention will be described. In the present embodiment, a case where the recognition result of the adaptation state recognition unit 70, the actual running information, and the real body information are machine-learned to recognize the adaptation state of the user will be described. The same configurations as those in the above-described embodiment are assigned the same numbers, and detailed description thereof will be omitted.

図５は、第２の実施の形態の制御システム１のブロック図である。上記第１の実施の形態の構成に加えて、認識結果記憶部１００と、機械学習部５０−２を有する。尚、本実施の形態では、第１の実施の形態で説明した機械学習部は機械学習部５０−１と付す。 FIG. 5 is a block diagram of the control system 1 of the second embodiment. In addition to the configuration of the first embodiment, it has a recognition result storage unit 100 and a machine learning unit 50-2. In the present embodiment, the machine learning unit described in the first embodiment is referred to as a machine learning unit 50-1.

認識結果記憶部１００は、適応状態認識部７０が認識した認識結果である適応状態情報のログが適応状態認識部７０によって時系列で実走行情報及び前記実生体情報と共に記録される。 In the recognition result storage unit 100, the adaptation state information log, which is the recognition result recognized by the adaptation state recognition unit 70, is recorded by the adaptation state recognition unit 70 in chronological order together with the actual running information and the actual biological information.

機械学習部５０−２は、認識結果記憶部１００に記録されている認識結果と実走行情報及び実生体情報とを機械学習して認識結果の妥当性を検証する。そして、検証結果によっては、認識した適応状態を変更して、ＨＭＩ制御部８０に出力する。尚、ここでの機械学習は、予め幾つかの教師情報を用いた学習させるのが好ましいが、教師情報無しの機械学習であっても良い。 The machine learning unit 50-2 machine-learns the recognition result recorded in the recognition result storage unit 100, the actual running information, and the actual biological information, and verifies the validity of the recognition result. Then, depending on the verification result, the recognized adaptation state is changed and output to the HMI control unit 80. In the machine learning here, it is preferable to perform learning using some teacher information in advance, but machine learning without teacher information may be used.

本実施の形態の動作について、図６のフロー図を用いて説明する。尚、事前学習の動作については第１の実施の形態と同じであるため、説明を省略する。 The operation of this embodiment will be described with reference to the flow chart of FIG. Since the operation of the pre-learning is the same as that of the first embodiment, the description thereof will be omitted.

車両の実走行が開始されると、適応状態認識部７０は、走行情報収集部１０から走行中の車両の実走行情報を、生体情報収集部３０から実生体情報を取得する（Ｓ６０１）。 When the actual traveling of the vehicle is started, the adaptation state recognition unit 70 acquires the actual traveling information of the traveling vehicle from the traveling information collecting unit 10 and the actual biological information from the biological information collecting unit 30 (S601).

そして、適応状態認識部７０は、取得した実走行情報と実生体情報とに基づいて、関係記憶部６０の関係を参照して、ユーザの適応状態情報を認識する（Ｓ６０２）。 Then, the adaptive state recognition unit 70 recognizes the user's adaptive state information by referring to the relationship of the relationship storage unit 60 based on the acquired actual running information and the actual biological information (S602).

適応状態認識部７０は、認識結果のログを時系列で実走行情報及び前記実生体情報と共に記録する（Ｓ６０３）。 The adaptive state recognition unit 70 records a log of the recognition result in chronological order together with the actual running information and the actual biological information (S603).

機械学習部５０−２は、認識結果記憶部１００に新たに認識結果と実走行情報及び実生体情報とが記録されると、認識結果記憶部１００内に記録されている認識結果と実走行情報及び実生体情報とを機械学習する（Ｓ６０４）。Ｓ６０２での認識は妥当であったかを検証する（Ｓ６０５）。妥当でない場合は、Ｓ６０２で認識した適応状態をＳ６０４での機械学習によって得られた適応状態情報に変更する（Ｓ６０６）。一方、妥当である場合は、Ｓ６０２で認識した適応状態情報を変更させない。 When the recognition result, the actual running information, and the actual biological information are newly recorded in the recognition result storage unit 100, the machine learning unit 50-2 records the recognition result and the actual running information in the recognition result storage unit 100. And the real body information are machine-learned (S604). It is verified whether the recognition in S602 was valid (S605). If it is not valid, the adaptive state recognized in S602 is changed to the adaptive state information obtained by machine learning in S604 (S606). On the other hand, if it is appropriate, the adaptation state information recognized in S602 is not changed.

Ｓ６０１の実行と同時進行で、走行状況解析部１１は、収集した走行情報に基づいて、車両が置かれている状況を解析して実走行状況情報を出力する（Ｓ６０８）。 Simultaneously with the execution of S601, the traveling situation analysis unit 11 analyzes the situation in which the vehicle is placed based on the collected traveling information and outputs the actual driving situation information (S608).

ＨＭＩ制御部８０は、走行状況解析部１１が出力した実走行状況情報に基づく実走行時に車両が置かれている状況を、機械学習部５０−２が認識したユーザの適応状態情報に応じた制御内容をＨＭＩ制御情報から参照して、その制御内容に沿った方法で提示する（Ｓ６０７）。 The HMI control unit 80 controls the situation in which the vehicle is placed during actual driving based on the actual driving situation information output by the driving situation analysis unit 11 according to the user's adaptation state information recognized by the machine learning unit 50-2. The contents are referred from the HMI control information and presented by a method according to the control contents (S607).

ＨＭＩ制御部８０によるＨＭＩ部９０の制御が実行されている一方で、適応状態認識部７０は、認識結果のログを時系列で実走行情報及び前記実生体情報と共に記録する。 While the HMI control unit 80 controls the HMI unit 90, the adaptation state recognition unit 70 records a log of the recognition result in chronological order together with the actual running information and the actual biological information.

本実施の形態によると、個々のユーザに適応したＨＭＩ部９０を提供することができる。 According to this embodiment, it is possible to provide an HMI unit 90 adapted to an individual user.

上記実施の形態では、図１に示された適応状態認識部７０を単独で設けた構成に適用させて説明したが、図２に示したように、適応状態認識部７０を単体として設けずに、実走行情報とユーザの実生体情報とを機械学習部５０に再度入力し、機械学習に学習させた結果を出力させる構成に適用させても良い。 In the above embodiment, the adaptation state recognition unit 70 shown in FIG. 1 is applied to the configuration provided independently, but as shown in FIG. 2, the adaptation state recognition unit 70 is not provided as a single unit. , The actual running information and the user's actual biological information may be input to the machine learning unit 50 again, and may be applied to a configuration in which the result of learning by machine learning is output.

〈第３の実施の形態〉
本発明の第３の実施の形態について説明する。本実施の形態では、適応状態認識部７０の認識結果と実走行情報及び実生体情報とを機械学習して、事前学習で構築した関係のパラメータを変更する場合について説明する。尚、上記実施の形態と同様の構成については同一の番号を付し、詳細な説明は省略する。<Third embodiment>
A third embodiment of the present invention will be described. In the present embodiment, a case where the recognition result of the adaptive state recognition unit 70, the actual running information, and the actual biological information are machine-learned to change the parameters of the relationship constructed by the pre-learning will be described. The same configurations as those in the above-described embodiment are assigned the same numbers, and detailed description thereof will be omitted.

図７は、第３の実施の形態の制御システム１のブロック図である。上記第１の実施の形態の構成に加えて、認識結果記憶部１００と、機械学習部５０-３を有する。尚、本実施の形態では、第１の実施の形態で説明した機械学習部は機械学習部５０−１と付す。 FIG. 7 is a block diagram of the control system 1 according to the third embodiment. In addition to the configuration of the first embodiment, it has a recognition result storage unit 100 and a machine learning unit 50-3. In the present embodiment, the machine learning unit described in the first embodiment is referred to as a machine learning unit 50-1.

認識結果記憶部１００は、第２の実施の形態同様に、適応状態認識部７０が認識した認識結果のログが適応状態認識部７０によって時系列で実走行情報及び前記実生体情報と共に記録される。 Similar to the second embodiment, the recognition result storage unit 100 records the log of the recognition result recognized by the adaptive state recognition unit 70 together with the actual running information and the actual biological information in time series by the adaptive state recognition unit 70. ..

機械学習部５０−３は、認識結果記憶部１００に記録されている認識結果と実走行情報及び実生体情報とを機械学習して、関係記憶部６０に記憶されている関係のパラメータを変更する。 The machine learning unit 50-3 machine-learns the recognition result recorded in the recognition result storage unit 100, the actual running information, and the actual biological information, and changes the relational parameters stored in the relational storage unit 60. ..

本実施の形態の動作について、図８のフロー図を用いて説明する。尚、事前学習の動作については第１の実施の形態と同じであるため、説明を省略する。 The operation of this embodiment will be described with reference to the flow chart of FIG. Since the operation of the pre-learning is the same as that of the first embodiment, the description thereof will be omitted.

車両の実走行が開始されると、適応状態認識部７０は、走行情報収集部１０から走行中の車両の実走行情報を、生体情報収集部３０から実生体情報を取得する（Ｓ８０１）。 When the actual traveling of the vehicle is started, the adaptation state recognition unit 70 acquires the actual traveling information of the traveling vehicle from the traveling information collecting unit 10 and the actual biological information from the biological information collecting unit 30 (S801).

そして、適応状態認識部７０は、取得した実走行情報と実生体情報とに基づいて、関係記憶部６０の関係を参照して、ユーザの適応状態情報を認識する（Ｓ８０２）。 Then, the adaptive state recognition unit 70 recognizes the user's adaptive state information by referring to the relationship of the relationship storage unit 60 based on the acquired actual running information and the actual biological information (S802).

Ｓ８０１の実行と同時進行で、走行状況解析部１１は、収集した実走行情報に基づいて、車両が置かれている状況を解析して実走行状況情報を出力する（Ｓ８０８）。 Simultaneously with the execution of S801, the traveling situation analysis unit 11 analyzes the situation in which the vehicle is placed based on the collected actual driving information and outputs the actual driving situation information (S808).

ＨＭＩ制御部８０は、走行状況解析部１１が出力した実走行状況情報に基づく実走行時に車両が置かれている状況を、適応状態認識部７０が認識したユーザの適応状態情報に応じた制御内容をＨＭＩ制御情報から参照して、その制御内容に沿った方法で提示する（Ｓ８０３）。 The HMI control unit 80 controls the situation in which the vehicle is placed during actual driving based on the actual driving situation information output by the driving situation analysis unit 11 according to the user's adaptive state information recognized by the adaptive state recognition unit 70. Is referred from the HMI control information and presented by a method according to the control content (S803).

ＨＭＩ制御部８０によるＨＭＩ部９０の制御が実行されている一方で、適応状態認識部７０は、認識結果のログを時系列で実走行情報及び前記実生体情報と共に記録する（Ｓ８０４）。 While the HMI control unit 80 controls the HMI unit 90, the adaptation state recognition unit 70 records a log of the recognition result in chronological order together with the actual running information and the actual biological information (S804).

機械学習部５０−３は、認識結果記憶部１００に新たに認識結果と実走行情報及び実生体情報とが記録されると、認識結果記憶部１００内に記録されている認識結果と実走行情報及び実生体情報とを機械学習して（Ｓ８０５）、関係記憶部６０に記憶されている学習モデルのパラメータを変更する（Ｓ８０６）。 When the recognition result, the actual running information, and the actual biological information are newly recorded in the recognition result storage unit 100, the machine learning unit 50-3 has the recognition result and the actual running information recorded in the recognition result storage unit 100. And the real body information is machine-learned (S805), and the parameters of the learning model stored in the relational storage unit 60 are changed (S806).

本実施の形態によると、個々のユーザに適応したＨＭＩ部９０を提供することができる。 According to this embodiment, it is possible to provide an HMI unit 90 adapted to an individual user.

上記実施の形態では、図１に示された適応状態認識部７０を単独で設けた構成に適用させ説明したが、図２に示したように、適応状態認識部７０を単体として設けずに、実走行情報とユーザの実生体情報とを機械学習部５０に再度入力し、機械学習に学習させた結果を出力させる構成に適用させても良い。 In the above embodiment, the adaptation state recognition unit 70 shown in FIG. 1 is applied to the configuration provided independently, but as shown in FIG. 2, the adaptation state recognition unit 70 is not provided as a single unit. The actual running information and the user's actual biological information may be input to the machine learning unit 50 again, and may be applied to a configuration in which the result of learning by machine learning is output.

また、上記実施の形態では第１の実施の形態に適用させた場合を用いて説明したが、第２の実施の形態に適用させてもよい。 Further, in the above-described embodiment, the case where it is applied to the first embodiment has been described, but it may be applied to the second embodiment.

〈第４の実施の形態〉
本発明の第４の実施の形態について説明する。本実施の形態では、適応状態認識部７０の認識結果に応じて提供したＨＭＩ部９０に対するユーザの反応を考慮して、関係のパラメータを変更する場合について説明する。尚、上記実施の形態と同様の構成については同一の番号を付し、詳細な説明は省略する。<Fourth Embodiment>
A fourth embodiment of the present invention will be described. In the present embodiment, a case where the related parameters are changed in consideration of the user's reaction to the HMI unit 90 provided according to the recognition result of the adaptive state recognition unit 70 will be described. The same configurations as those in the above-described embodiment are assigned the same numbers, and detailed description thereof will be omitted.

図９は、第４の実施の形態の制御システム１のブロック図である。上記第１の実施の形態の構成に加えて、ユーザ反応認識部１１０と、機械学習部５０-４を有する。尚、本実施の形態でも、第１の実施の形態で説明した機械学習部は機械学習部５０−１と付す。 FIG. 9 is a block diagram of the control system 1 according to the fourth embodiment. In addition to the configuration of the first embodiment, it has a user reaction recognition unit 110 and a machine learning unit 50-4. Also in this embodiment, the machine learning unit described in the first embodiment is referred to as a machine learning unit 50-1.

ユーザ反応認識部１１０は、ＨＭＩ制御部８０によって制御されて提供されたＨＭＩ部９０に対するユーザの反応を取得する。ユーザ反応認識部１１０は、例えば、ユーザの表情の変化やユーザが発する声等のように、ＨＭＩ部９０の機能提供時のユーザの生体状態の変化を取得するものである。 The user reaction recognition unit 110 acquires the user's reaction to the HMI unit 90 controlled and provided by the HMI control unit 80. The user reaction recognition unit 110 acquires a change in the user's biological state when the function of the HMI unit 90 is provided, such as a change in the user's facial expression or a voice emitted by the user.

機械学習部５０-４は、ユーザ反応認識部１１０が取得した、実走行時に行ったＨＭＩ制御に対する移動体のユーザの反応と認識した適応状態情報とを機械学習し、関係記憶部６０に記憶されている学習モデルのパラメータを変更する。 The machine learning unit 50-4 machine-learns the reaction of the moving body user to the HMI control performed during actual driving and the recognized adaptation state information acquired by the user reaction recognition unit 110, and stores the recognized adaptive state information in the relationship storage unit 60. Change the parameters of the learning model you are using.

本実施の形態の動作について、図１０のフロー図を用いて説明する。尚、事前学習の動作については第１の実施の形態と同じであるため、説明を省略する。 The operation of this embodiment will be described with reference to the flow chart of FIG. Since the operation of the pre-learning is the same as that of the first embodiment, the description thereof will be omitted.

車両の実走行が開始されると、適応状態認識部７０は、走行情報収集部１０から走行中の車両の実走行情報を、生体情報収集部３０から実生体情報を取得する（Ｓ１００１）。 When the actual traveling of the vehicle is started, the adaptation state recognition unit 70 acquires the actual traveling information of the traveling vehicle from the traveling information collecting unit 10 and the actual biological information from the biological information collecting unit 30 (S1001).

そして、適応状態認識部７０は、取得した実走行情報と実生体情報とに基づいて、関係記憶部６０の関係を参照して、ユーザの適応状態情報を認識する（Ｓ１００２）。 Then, the adaptive state recognition unit 70 recognizes the user's adaptive state information by referring to the relationship of the relationship storage unit 60 based on the acquired actual running information and the actual biological information (S1002).

Ｓ１００１の実行と同時進行で、走行状況解析部１１は、収集した実走行情報に基づいて、車両が置かれている状況を解析して実走行状況情報を出力する（Ｓ１００７）。 Simultaneously with the execution of S1001, the traveling situation analysis unit 11 analyzes the situation in which the vehicle is placed based on the collected actual driving information and outputs the actual driving situation information (S1007).

ＨＭＩ制御部８０は、走行状況解析部１１が出力した実走行状況情報に基づく実走行時に車両が置かれている状況を、適応状態認識部７０が認識したユーザの適応状態情報に応じた制御内容をＨＭＩ制御情報から参照して、その制御内容に沿った方法で提示する（Ｓ１００３）。 The HMI control unit 80 controls the situation in which the vehicle is placed during actual driving based on the actual driving situation information output by the driving situation analysis unit 11 according to the user's adaptive state information recognized by the adaptive state recognition unit 70. Is referred from the HMI control information and presented by a method according to the control content (S1003).

ユーザ反応認識部１１０は、ＨＭＩ制御部８０が実行した制御によって提供されたＨＭＩ部９０に対するユーザの反応を取得する（Ｓ１００４）。 The user reaction recognition unit 110 acquires the user's reaction to the HMI unit 90 provided by the control executed by the HMI control unit 80 (S1004).

機械学習部５０-４は、ユーザ反応認識部１１０が取得した、実走行時に行ったＨＭＩ制御に対する移動体のユーザの反応である反応情報と認識した適応状態情報と機械学習して（Ｓ１００５）、関係記憶部６０に記憶されている学習モデル係のパラメータを変更する（Ｓ１００６）。 The machine learning unit 50-4 performs machine learning with the reaction information acquired by the user reaction recognition unit 110, which is the reaction information of the moving body user to the HMI control performed during actual driving, and the recognized adaptation state information (S1005). The parameters of the learning model clerk stored in the relation storage unit 60 are changed (S1006).

本実施の形態によると、個々のユーザに適応したＨＭＩ部９０を提供することができる。 According to this embodiment, it is possible to provide an HMI unit 90 adapted to an individual user.

上記実施の形態では、図１に示された適応状態認識部７０を単独で設けた構成に適用させて説明したが、図２に示したように、適応状態認識部７０を単体として設けずに、実走行情報とユーザの実生体情報とを機械学習部５０に入力し、機械学習に学習させた結果を出力させる構成に適用させても良い。 In the above embodiment, the adaptation state recognition unit 70 shown in FIG. 1 is applied to the configuration provided independently, but as shown in FIG. 2, the adaptation state recognition unit 70 is not provided as a single unit. , The actual running information and the user's actual biological information may be input to the machine learning unit 50, and may be applied to a configuration in which the result of learning by machine learning is output.

また、上記実施の形態では第１の実施の形態に適用させた場合を用いて説明したが、第２又は第３の実施の形態に適用させてもよい。 Further, in the above embodiment, the case where it is applied to the first embodiment has been described, but it may be applied to the second or third embodiment.

<第５の実施の形態>
上記実施の形態１〜４では、機械学習部５０は走行情報と生体情報とを機械学習して学習モデルを構築していた。本実施の形態では、走行情報を機械学習して学習モデルを構築し、走行情報と適応状態情報の関係を作成して関係記憶部６０に記憶する場合について説明する。尚、上記実施の形態と同様の構成については同一付番を有し、詳細な説明は省略する。<Fifth Embodiment>
In the above-described first to fourth embodiments, the machine learning unit 50 builds a learning model by machine learning the traveling information and the biological information. In the present embodiment, a case where the running information is machine-learned to build a learning model, the relationship between the running information and the adaptation state information is created, and stored in the relationship storage unit 60 will be described. The same configurations as those in the above embodiment have the same numbering, and detailed description thereof will be omitted.

図１１は、本発明の第５の実施の形態における制御システムのブロック図である。上記実施の形態と比べて、生体情報収集部３０及び生体情報履歴データ４０を有さない点が異なる。 FIG. 11 is a block diagram of the control system according to the fifth embodiment of the present invention. Compared with the above embodiment, it is different in that it does not have the biological information collecting unit 30 and the biological information history data 40.

機械学習部５０は、走行情報を走行情報履歴データ２０から取得する。そして、走行情報を機械学習させて、学習モデルである走行情報と適応状態情報との関係を、関係記憶部６０に記憶する。教師情報有りの機械学習は、適応状態情報をラベル付けした走行情報と生体情報とを用いて機械学習する。教師情報無しの機械学習は、入力した走行情報と生体情報とを機械学習して分類し、分類結果に適応状態情報を対応づけて行われる。機械学習部５０が行う機械学習の技法は問わず、ディープラーニング、サポートベクターマシン、ベイジアンネットワーク、決定木学習等のいずれでも良い。 The machine learning unit 50 acquires the traveling information from the traveling information history data 20. Then, the traveling information is machine-learned, and the relationship between the traveling information, which is a learning model, and the adaptive state information is stored in the relationship storage unit 60. In machine learning with teacher information, machine learning is performed using running information labeled with adaptive state information and biometric information. Machine learning without teacher information is performed by machine learning and classifying the input driving information and biological information, and associating the classification result with the adaptation state information. The machine learning technique performed by the machine learning unit 50 may be any of deep learning, support vector machine, Bayesian network, decision tree learning, and the like.

適応状態認識部７０は、ユーザが実際に車両に乗車して走行が開始されると、走行情報収集部１０から実走行情報を取得する。この取得した実走行情報に基づいて、関係記憶部６０に記憶されている関係を参照して、ユーザの適応状態情報を取得する。尚、上記第１の実施の形態でも説明した通り、以下の説明では適応状態認識部７０を単独で設けて説明するが、これを単体として設けずに、実走行情報を機械学習部５０に入力し、機械学習部に学習させた結果を出力させる構成であっても良い。このような構成の場合のブロック図を図１２に示す。 The adaptive state recognition unit 70 acquires actual travel information from the travel information collection unit 10 when the user actually gets on the vehicle and starts traveling. Based on the acquired actual running information, the user's adaptation state information is acquired by referring to the relationship stored in the relationship storage unit 60. As described in the first embodiment, in the following description, the adaptive state recognition unit 70 will be provided independently, but the actual running information will be input to the machine learning unit 50 without providing the adaptive state recognition unit 70 as a single unit. However, the machine learning unit may be configured to output the learned result. A block diagram in the case of such a configuration is shown in FIG.

続いて、本実施の形態の動作について説明する。まず、ユーザが実際に利用する前に行われる事前学習について、図１３のフロー図を用いて説明する。尚、以下の説明では、既にユーザとして運転者を識別してあるものとして説明する。 Subsequently, the operation of the present embodiment will be described. First, the pre-learning performed before the user actually uses it will be described with reference to the flow chart of FIG. In the following description, it is assumed that the driver has already been identified as a user.

走行情報収集部１０は事前にサンプルとして走行中の車両の走行情報を収集して（Ｓ１３０１）、走行情報履歴データ２０に時系列でログをとる（Ｓ１３０２）。 The traveling information collecting unit 10 collects traveling information of a traveling vehicle as a sample in advance (S1301), and logs the traveling information history data 20 in chronological order (S1302).

機械学習部５０は走行情報履歴データ２０から走行情報を取得し、学習モデルである、走行情報と適応状態情報との関係を機械学習して（Ｓ１３０３）、関係記憶部６０に記憶する（Ｓ１３０４）。 The machine learning unit 50 acquires driving information from the driving information history data 20, machine-learns the relationship between the driving information and the adaptation state information, which is a learning model (S1303), and stores it in the relationship storage unit 60 (S1304). ..

続いて、ＨＭＩ部９０を制御することにより、各ユーザのその時々の状態に適した各種機能を提供する方法について、図１４のフロー図を用いて説明する。本発明のＨＭＩ部９０の制御動作においては、ユーザを識別して行われるのが望ましい。このユーザ識別は、運転者毎、若しくは同乗者毎に識別しても良いが、運転者と同乗者との組み合わせで識別しても良いものとする。また、ユーザの識別の方法であるが、例えば、運転者が携帯している車両の電子キー、携帯機器、車両に搭載されているカメラによる顔や指紋等の生体認証キー、運転者によって車両に登録される識別情報等によって識別するものとする。尚、以下の説明では、既にユーザとして運転者を識別してあるものとして説明する。即ち、適応状態認識部７０がユーザの適応状態情報を認識する際、関係記憶部６０に記憶されている関係のうち、識別したユーザの関係を用いてユーザの適応状態情報を認識するものとして説明する。 Subsequently, a method of providing various functions suitable for each user's current state by controlling the HMI unit 90 will be described with reference to the flow chart of FIG. In the control operation of the HMI unit 90 of the present invention, it is desirable that the user is identified. This user identification may be performed for each driver or for each passenger, but may be identified by a combination of the driver and the passenger. As for the method of identifying the user, for example, the electronic key of the vehicle carried by the driver, the mobile device, the biometric authentication key such as the face or fingerprint by the camera mounted on the vehicle, and the driver's method of identifying the vehicle. It shall be identified by the registered identification information, etc. In the following description, it is assumed that the driver has already been identified as a user. That is, when the adaptation state recognition unit 70 recognizes the adaptation state information of the user, it is described as recognizing the adaptation state information of the user by using the identified user relationship among the relationships stored in the relationship storage unit 60. To do.

車両の実走行が開始されると、適応状態認識部７０は、走行情報収集部１０から走行中の車両の実走行情報を取得する（Ｓ１４０１）。 When the actual traveling of the vehicle is started, the adaptation state recognition unit 70 acquires the actual traveling information of the traveling vehicle from the traveling information collecting unit 10 (S1401).

そして、適応状態認識部７０は、取得した実走行情報に基づいて、関係記憶部６０に記憶されている関係を参照して、ユーザの適応状態情報を認識する（Ｓ１４０２）。 Then, the adaptive state recognition unit 70 recognizes the user's adaptive state information by referring to the relationship stored in the relationship storage unit 60 based on the acquired actual running information (S1402).

Ｓ１４０１の実行と同時進行で、走行状況解析部１１は、収集した実走行情報に基づいて、車両が置かれている状況を解析して実走行状況情報を出力する（Ｓ１４０４）。 Simultaneously with the execution of S1401, the traveling condition analysis unit 11 analyzes the situation in which the vehicle is placed based on the collected actual traveling information and outputs the actual traveling condition information (S1404).

ＨＭＩ制御部８０は、走行状況解析部１１が出力した実走行状況情報に基づく実走行時に車両が置かれている状況を、適応状態認識部７０が認識したユーザの適応状態情報に応じた制御内容をＨＭＩ制御情報から参照し、その制御内容に沿った方法で提示する（Ｓ１４０３）。 The HMI control unit 80 controls the situation in which the vehicle is placed during actual driving based on the actual driving situation information output by the driving situation analysis unit 11 according to the user's adaptive state information recognized by the adaptive state recognition unit 70. Is referred from the HMI control information and presented by a method according to the control content (S1403).

上記実施の形態によると、個々のユーザに適応した方法でＨＭＩ部９０を提供することができる。 According to the above embodiment, the HMI unit 90 can be provided by a method adapted to each user.

上記実施の形態では、図１に示された適応状態認識部７０を単独で設けた構成に適用させ説明したが、図２に示したように、適応状態認識部７０を単体として設けずに、実走行情報とユーザの実生体情報とを機械学習部５０に入力し、機械学習に学習させた結果を出力させる構成に適用させても良い。 In the above embodiment, the adaptation state recognition unit 70 shown in FIG. 1 is applied to the configuration provided independently, but as shown in FIG. 2, the adaptation state recognition unit 70 is not provided as a single unit. The actual running information and the user's actual biological information may be input to the machine learning unit 50 and applied to a configuration in which the result of learning by machine learning is output.

また、上記実施の形態では第１の実施の形態に適用させた場合を用いて説明したが、第２、第３、又は第４の実施の形態に適用させてもよい。 Further, in the above embodiment, the case where it is applied to the first embodiment has been described, but it may be applied to the second, third, or fourth embodiment.

また、上記実施例は、第１の実施の形態に適用させた例を説明したが、第２、第３、又は第４の実施の形態に適用させた実施例でもよい。 Further, although the above-described embodiment has been described as being applied to the first embodiment, it may be an example applied to the second, third, or fourth embodiment.

ここで、上記実施の形態１〜５で説明した本発明を別の観点で説明する。本発明は、サンプルとして予め収集した移動体の走行情報と、サンプルとして予め収集した移動体の走行時におけるユーザの生体情報とのうち、少なくとも走行情報を機械学習して、走行情報と生体情報とのうち少なくとも走行情報と移動体の走行に対するユーザの適応状態情報との関係を予め機械学習し、この予め学習した関係を参照して、ユーザが操作する移動体の実走行時におけるＨＭＩ部９０を制御する。そして、制御後のＨＭＩ部９０に対する実走行状況情報及び実生体情報のうち少なくとも実走行情報とユーザの反応情報とを取得して、この取得した制御後のＨＭＩ部９０に対する実走行状況情報及び実生体情報のうち少なくとも実走行情報とユーザの反応情報とを機械学習し、ユーザに適したＨＭＩ部９０の制御方法を更新するものである。 Here, the present invention described in the above-described first to fifth embodiments will be described from another viewpoint. The present invention machine-learns at least the traveling information of the traveling information of the moving body collected in advance as a sample and the biometric information of the user during traveling of the moving body collected in advance as a sample, and obtains the traveling information and the biological information. Of these, at least the relationship between the traveling information and the user's adaptation state information to the traveling of the moving body is machine-learned in advance, and the HMI unit 90 at the time of actual traveling of the moving body operated by the user is referred to by referring to the pre-learned relationship. Control. Then, at least the actual driving information and the reaction information of the user are acquired from the actual driving situation information and the actual biological information for the HMI unit 90 after the control, and the actual driving situation information and the actual driving situation information for the HMI unit 90 after the control are acquired. Of the biometric information, at least the actual running information and the user's reaction information are machine-learned, and the control method of the HMI unit 90 suitable for the user is updated.

尚、上述した本発明の端末は、上記説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。 As is clear from the above description, the terminal of the present invention described above can be configured by hardware, but can also be realized by a computer program.

このような構成の場合、図１８に例示する如く、プロセッサ１８０１、メモリ（ＲＯＭ，ＲＡＭ等）１８０２、及び記憶部（ハードディスク等）１８０３を有するコンピュータによって実現可能である。この場合、このメモリ１８０２又は記憶部１８０３には上述した機械学習部５０、適応状態認識部７０、ＨＭＩ制御部８０、ユーザ反応認識部１１０、及びユーザ反応認識書部１１０の少なくとも１つに対応する処理を行うプログラムが格納されている。そして、メモリ１８０２又は記憶部１８０３に格納されているプログラムを実行することによって、上述した実施の形態と同様の機能、動作を実現させる。尚、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。 Such a configuration can be realized by a computer having a processor 1801, a memory (ROM, RAM, etc.) 1802, and a storage unit (hard disk, etc.) 1803, as illustrated in FIG. In this case, the memory 1802 or the storage unit 1803 corresponds to at least one of the machine learning unit 50, the adaptive state recognition unit 70, the HMI control unit 80, the user reaction recognition unit 110, and the user reaction recognition document unit 110 described above. The program that performs processing is stored. Then, by executing the program stored in the memory 1802 or the storage unit 1803, the same functions and operations as those in the above-described embodiment are realized. It is also possible to realize only a part of the functions of the above-described embodiment by a computer program.

以上、実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。 Although the present invention has been described above with reference to embodiments and examples, the present invention is not necessarily limited to the above embodiments and examples, and is variously modified and implemented within the scope of the technical idea. Can be done.

この出願は、２０１６年５月２４日に出願された日本出願特願２０１６−１０３６２７を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims priority on the basis of Japanese application Japanese Patent Application No. 2016-103627 filed on May 24, 2016 and incorporates all of its disclosures herein.

１ 制御システム
１０ 走行情報収集部
１１ 走行状況解析部
２０ 走行情報履歴データ
３０ 生体情報収集部
４０ 生体情報履歴データ
５０ 機械学習部
６０ 関係記憶部
７０ 適応状態認識部
８０ ＨＭＩ制御部
９０ ＨＭＩ部
１００ 認識結果記憶部
１１０ ユーザ反応認識部1 Control system 10 Driving information collection unit 11 Driving situation analysis unit 20 Driving information history data 30 Biometric information collection unit 40 Biometric information history data 50 Machine learning unit 60 Relationship storage unit 70 Adaptive state recognition unit 80 HMI control unit 90 HMI unit 100 recognition Result storage unit 110 User reaction recognition unit

Claims (11)

ユーザに対して情報を提供するＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）を制御する制御装置であって、
サンプルとして予め収集した移動体の走行情報、サンプルとして予め収集した前記移動体の走行時におけるユーザの生体状態の情報である生体情報、及び前記ユーザの移動体の操作に対するスキルを機械学習して、前記走行情報と前記生体情報と前記スキルとの相関関係の学習モデルが構築されており、前記移動体の実走行時に取得した前記移動体の実走行情報及び前記移動体の実走行時におけるユーザの生体状態である実生体情報を入力として前記ユーザのスキルを出力する機械学習手段と、
前記移動体の実走行時の前記移動体がおかれている状況に関する情報である実走行状況情報を、前記実走行情報を解析して取得する取得手段と、
前記出力されたユーザのスキルに応じて、前記取得した実走行状況情報の提示内容が異なるように前記ＨＭＩを制御する制御手段と
を有し、
前記制御手段は、前記出力されたユーザのスキルが高い場合、前記実走行状況情報が詳細になるように前記移動体の物理的測定値を含め、前記出力されたユーザのスキルが低い場合、前記実走行状況情報に前記移動体の物理的測定値を含めず、緊急に表示する場合、前記出力されたユーザのスキルに関わらず前記実走行状況情報に前記移動体の物理的測定値を含めない
制御装置。 A control device that controls an HMI (Human Machine Interface) that provides information to users.
By machine learning the running information of the moving body collected in advance as a sample, the biological information which is the information on the biological state of the user at the time of running the moving body collected in advance as a sample, and the skill for the operation of the moving body of the user, A learning model of the correlation between the running information, the biological information, and the skill is constructed, and the actual running information of the moving body acquired during the actual running of the moving body and the user's actual running information of the moving body during the actual running of the moving body. A machine learning means that outputs the user's skill by inputting real-body information that is a biological state,
An acquisition means for analyzing and acquiring the actual running situation information, which is information on the situation where the moving body is placed during the actual running of the moving body, and
In response to said output user skills, have a control means for presenting the contents of the acquired actual running status information for controlling the HMI differently,
When the output user's skill is high, the control means includes a physical measurement value of the moving body so that the actual driving situation information becomes detailed, and when the output user's skill is low, the control means said. When the physical measurement value of the moving body is not included in the actual running situation information and is displayed urgently, the physical measurement value of the moving body is not included in the actual running situation information regardless of the output user's skill. <br/> Control device. 前記制御手段は、前記出力されたユーザのスキルが高い場合、前記実走行状況情報に前記移動体の物理的測定値に加えて、注意喚起を示す情報及び発動するドライバー支援に関する情報を含める
請求項１に記載の制御装置。 When the output user's skill is high, the control means includes, in addition to the physical measurement value of the moving body, information indicating attention and information on driver support to be activated in the actual driving situation information. The control device according to claim 1. 前記機械学習手段が出力したスキルと、前記実走行情報及び前記実生体情報から得られるユーザのスキルとを機械学習して、前記出力されたユーザのスキルの妥当性を判定し、判定結果に応じて前記機械学習手段が出力したユーザのスキルを変更して前記制御手段に出力する認識結果変更手段を有する、請求項１又は請求項２に記載の制御装置。 The skill output by the machine learning means and the user's skill obtained from the actual driving information and the actual biological information are machine-learned to determine the validity of the output user's skill , and according to the determination result. The control device according to claim 1 or 2, further comprising a recognition result changing means for changing the skill of the user output by the machine learning means and outputting to the control means. 前記機械学習手段が出力したユーザのスキルと、前記実走行情報及び前記実生体情報とを機械学習して、前記構築した学習モデルのパラメータを変更する第１のパラメータ変更手段を有する、請求項１から請求項３のいずれかに記載の制御装置。 Claim 1 has a first parameter changing means for changing the parameters of the constructed learning model by machine learning the user's skill output by the machine learning means , the actual running information, and the real body information. The control device according to any one of claims 3. 前記実走行状況情報の提示時に対する前記ユーザの反応を収集し、前記収集したユーザの反応を用いて、前記構築した学習モデルのパラメータを変更する第２のパラメータ変更手段を有する、請求項１から請求項４のいずれかに記載の制御装置。 From claim 1, the present invention comprises a second parameter changing means for collecting the reaction of the user with respect to the presentation of the actual driving situation information and changing the parameter of the constructed learning model by using the collected reaction of the user. The control device according to any one of claims 4. 前記移動体は、自動車である
請求項１から請求項５のいずれかに記載の制御装置。 The control device according to any one of claims 1 to 5, wherein the moving body is an automobile. サンプルとして予め収集した移動体の走行情報、サンプルとして予め収集した前記移動体の走行時におけるユーザの生体状態の情報である生体情報、及びユーザの前記移動体の操作に対するスキルを機械学習して、前記走行情報と前記生体情報と前記スキルとの相関関係の学習モデルが構築されており、前記移動体の実走行時に取得した前記移動体の実走行情報及び前記移動体の実走行時におけるユーザの生態状態である実生体情報を入力とし、前記ユーザのスキルを出力する機械学習手段と、
前記移動体の実走行時の前記移動体がおかれている状況に関する情報である実走行状況情報を、前記実走行情報を解析して取得する取得手段と、
ユーザに対して情報を提供するＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）と、
前記出力されたユーザのスキルに応じて、前記取得した実走行状況情報の提示内容が異なるように、前記実走行時の前記ＨＭＩを制御するＨＭＩ制御手段と
を有し、
前記制御手段は、前記出力されたユーザのスキルが高い場合、前記実走行状況情報が詳細になるように前記移動体の物理的測定値を含め、前記出力されたユーザのスキルが低い場合、前記実走行状況情報に前記移動体の物理的測定値を含めず、緊急に表示する場合、前記出力されたユーザのスキルに関わらず前記実走行状況情報に前記移動体の物理的測定値を含めないする
移動体。 By machine learning the running information of the moving body collected in advance as a sample, the biological information which is the information on the biological state of the user at the time of running the moving body collected in advance as a sample, and the skill for the operation of the moving body of the user, A learning model of the correlation between the running information, the biological information, and the skill is constructed, and the actual running information of the moving body acquired during the actual running of the moving body and the user's actual running information of the moving body during the actual running of the moving body. A machine learning means that inputs real-life information that is an ecological state and outputs the skills of the user,
An acquisition means for analyzing and acquiring the actual running situation information, which is information on the situation where the moving body is placed during the actual running of the moving body, and
HMI (Human Machine Interface), which provides information to users, and
In response to said output user skill, the as presented contents of the acquired actual running status information are different, possess an HMI control means for controlling the HMI during the actual running,
When the output user's skill is high, the control means includes a physical measurement value of the moving body so that the actual driving situation information becomes detailed, and when the output user's skill is low, the control means said. When the physical measurement value of the moving body is not included in the actual running situation information and is displayed urgently, the physical measurement value of the moving body is not included in the actual running situation information regardless of the output user skill. A moving body to do. ユーザに対して情報を提供するＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）を制御する制御方法であって、
サンプルとして予め収集した移動体の走行情報、サンプルとして予め収集した前記移動体の走行時におけるユーザの生体状態の情報である生体情報、及びユーザの前記移動体の操作に対するスキルを機械学習して、前記走行情報と前記生体情報と前記スキルとの相関関係の学習モデルが構築されており、前記移動体の実走行時に取得した、前記移動体の実走行情報及び前記移動体の実走行時におけるユーザの生体状態である実生体状態を入力とし、前記ユーザのスキルを出力し、
前記移動体の実走行時の前記移動体がおかれている状況に関する情報である実走行状況情報を、前記実走行情報を解析して取得し、
前記出力されたユーザのスキルに応じて、前記取得した実走行状況情報の提示内容が異なるように前記ＨＭＩを制御し、
前記提示内容は、前記出力されたユーザのスキルが高い場合、前記実走行状況情報が詳細になるように前記移動体の物理的測定値を含み、前記出力されたユーザのスキルが低い場合、前記実走行状況情報に前記移動体の物理的測定値を含まず、緊急に表示する場合、前記出力されたユーザのスキルに関わらず前記実走行状況情報に前記移動体の物理的測定値を含まないする
ＨＭＩ制御方法。 It is a control method for controlling an HMI (Human Machine Interface) that provides information to a user.
By machine-learning the running information of the moving body collected in advance as a sample, the biological information which is the information on the biological state of the user at the time of running the moving body collected in advance as a sample, and the skill for the operation of the moving body of the user. A learning model of the correlation between the traveling information, the biological information, and the skill is constructed, and the actual traveling information of the moving body and the user during the actual traveling of the moving body acquired during the actual traveling of the moving body are constructed. The actual biological state, which is the biological state of, is input, and the skill of the user is output.
The actual running situation information, which is information on the situation where the moving body is placed during the actual running of the moving body, is acquired by analyzing the actual running information.
The HMI is controlled so that the presented content of the acquired actual driving situation information differs according to the output user skill.
The presented content includes a physical measurement value of the moving body so that the actual driving situation information becomes detailed when the output user's skill is high, and when the output user's skill is low, the presentation content is described. When the actual running status information does not include the physical measured value of the moving body and is displayed urgently, the actual running status information does not include the physical measured value of the moving body regardless of the output user skill. HMI control method. ユーザに対して情報を提供するＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）を制御する制御システムであって、
サンプルとして予め収集した移動体の走行情報、サンプルとして予め収集した前記移動体の走行時におけるユーザの生体状態の情報である生体情報、及びユーザの前記移動体の操作に対するスキルを機械学習して、前記走行情報と前記生体情報と前記スキルとの相関関係の学習モデルが構築されており、前記移動体の実走行時に取得した前記移動体の実走行情報及び前記移動体の実走行時におけるユーザの生態状態である実生体情報を入力とし、前記ユーザのスキルを出力する機械学習手段と、
前記移動体の実走行時の前記移動体がおかれている状況に関する情報である実走行状況情報を、前記実走行情報を解析して取得する取得手段と、
前記出力されたユーザのスキルに応じて、前記取得した実走行状況情報の提示内容が異なるように前記ＨＭＩを制御するＨＭＩ制御手段と
を有し、
前記ＨＭＩ制御手段は、前記出力されたユーザのスキルが高い場合、前記実走行状況情報が詳細になるように前記移動体の物理的測定値を含め、前記出力されたユーザのスキルが低い場合、前記実走行状況情報に前記移動体の物理的測定値を含めず、緊急に表示する場合、前記出力されたユーザのスキルに関わらず前記実走行状況情報に前記移動体の物理的測定値を含めないする
制御システム。 A control system that controls an HMI (Human Machine Interface) that provides information to users.
By machine learning the running information of the moving body collected in advance as a sample, the biological information which is the information on the biological state of the user at the time of running the moving body collected in advance as a sample, and the skill for the operation of the moving body of the user, A learning model of the correlation between the running information, the biological information, and the skill is constructed, and the actual running information of the moving body acquired during the actual running of the moving body and the user's actual running information of the moving body during the actual running of the moving body. A machine learning means that inputs real-life information that is an ecological state and outputs the skills of the user,
An acquisition means for analyzing and acquiring the actual running situation information, which is information on the situation where the moving body is placed during the actual running of the moving body, and
In response to said output user skills, possess a HMI control means presenting contents of the acquired actual running status information for controlling the HMI differently,
When the output user's skill is high, the HMI control means includes a physical measurement value of the moving body so that the actual driving situation information becomes detailed, and the output user's skill is low. When the actual running situation information does not include the physical measured value of the moving body and is displayed urgently, the physical measured value of the moving body is included in the actual running situation information regardless of the output user skill. No control system. 制御装置のプログラムであって、前記プログラムは前記制御装置を、
サンプルとして予め収集した移動体の走行情報、サンプルとして予め収集した前記移動体の走行時におけるユーザの生体状態の情報である生体情報、及びユーザの前記移動体の操作に対するスキルを機械学習して、前記走行情報と前記生体情報と前記スキルとの相関関係の学習モデルが構築されており、前記移動体の実走行時に取得した前記移動体の実走行情報及び前記移動体の実走行時におけるユーザの生態状態である実生体情報を入力とし、前記ユーザのスキルを出力する機械学習手段と、
前記移動体の実走行時の前記移動体がおかれている状況に関する情報である実走行状況情報を、前記実走行情報を解析して取得する取得手段と、
ユーザに対して情報を提供するＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）と、
前記出力されたユーザのスキルに応じて、前記取得した実走行状況情報の提示内容が異なるように前記ＨＭＩを制御するＨＭＩ制御手段と
して機能させ、
前記ＨＭＩ制御手段は、前記出力されたユーザのスキルが高い場合、前記実走行状況情報が詳細になるように前記移動体の物理的測定値を含め、前記出力されたユーザのスキルが低い場合、前記実走行状況情報に前記移動体の物理的測定値を含めず、緊急に表示する場合、前記出力されたユーザのスキルに関わらず前記実走行状況情報に前記移動体の物理的測定値を含めないる
プログラム。 It is a program of the control device, and the program refers to the control device.
By machine learning the running information of the moving body collected in advance as a sample, the biological information which is the information on the biological state of the user at the time of running the moving body collected in advance as a sample, and the skill for the operation of the moving body of the user, A learning model of the correlation between the running information, the biological information, and the skill is constructed, and the actual running information of the moving body acquired during the actual running of the moving body and the user's actual running information of the moving body during the actual running of the moving body. A machine learning means that inputs real-life information that is an ecological state and outputs the skills of the user,
An acquisition means for analyzing and acquiring the actual running situation information, which is information on the situation where the moving body is placed during the actual running of the moving body, and
HMI (Human Machine Interface), which provides information to users, and
It is made to function as an HMI control means for controlling the HMI so that the presented contents of the acquired actual driving situation information are different according to the output skill of the user.
When the output user's skill is high, the HMI control means includes a physical measurement value of the moving body so that the actual driving situation information becomes detailed, and the output user's skill is low. When the actual running situation information does not include the physical measured value of the moving body and is displayed urgently, the physical measured value of the moving body is included in the actual running situation information regardless of the output user skill. no Ru program. ユーザに対して情報を提供するＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）を制御する制御装置であって、
サンプルとして予め収集した移動体の走行情報、サンプルとして予め収集した前記移動体の走行時におけるユーザの生体状態の情報である生体情報、及びユーザの前記移動体の操作に対するスキルを機械学習して、前記走行情報と前記生体情報と前記スキルとの相関関係を構築する機械学習手段と、
前記移動体の実走行時に取得した、前記移動体の実走行情報及び前記移動体の実走行時におけるユーザの生体状態の情報である実生体情報を前記機械学習手段に入力して、前記ユーザのスキルを認識する認識手段と、
前記移動体の実走行時の前記移動体がおかれている状況に関する情報である実走行状況情報を、前記実走行情報を解析して取得する取得手段と、
前記認識したユーザのスキルに応じて、前記取得した実走行状況情報の内容が異なるように前記ＨＭＩを制御する制御手段と
を有し、
前記制御手段は、前記出力されたユーザのスキルが高い場合、前記実走行状況情報が詳細になるように前記移動体の物理的測定値を含め、前記出力されたユーザのスキルが低い場合、前記実走行状況情報に前記移動体の物理的測定値を含めず、緊急に表示する場合、前記出力されたユーザのスキルに関わらず前記実走行状況情報に前記移動体の物理的測定値を含めない制御装置。 A control device that controls an HMI (Human Machine Interface) that provides information to users.
Machine learning is performed on the running information of the moving body collected in advance as a sample, the biological information which is the information on the biological state of the user when the moving body is running, and the skill for the operation of the moving body of the user, which is collected in advance as a sample. A machine learning means for constructing a correlation between the traveling information, the biological information, and the skill,
The actual running information of the moving body and the real living body information which is the information of the living body state of the user at the time of the actual running of the moving body, which are acquired during the actual running of the moving body, are input to the machine learning means to input the user's living body information. A recognition means to recognize skills and
An acquisition means for analyzing and acquiring the actual running situation information, which is information on the situation where the moving body is placed during the actual running of the moving body, and
Depending on the skill of the user the recognized, have a control means for the contents of the acquired actual running status information for controlling the HMI differently,
When the output user's skill is high, the control means includes a physical measurement value of the moving body so that the actual driving situation information becomes detailed, and when the output user's skill is low, the control means said. When the physical measurement value of the moving body is not included in the actual running situation information and is displayed urgently, the physical measurement value of the moving body is not included in the actual running situation information regardless of the output user's skill. Control device.
JP2018519551A 2016-05-24 2017-05-23 HMI control device, mobile body, HMI control method, and program Active JP6840341B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016103627 2016-05-24
JP2016103627 2016-05-24
PCT/JP2017/019132 WO2017204195A1 (en) 2016-05-24 2017-05-23 Hmi control device, moving body, hmi control method, and program

Publications (2)

Publication Number Publication Date
JPWO2017204195A1 JPWO2017204195A1 (en) 2019-03-22
JP6840341B2 true JP6840341B2 (en) 2021-03-10

Family

ID=60411753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018519551A Active JP6840341B2 (en) 2016-05-24 2017-05-23 HMI control device, mobile body, HMI control method, and program

Country Status (2)

Country Link
JP (1) JP6840341B2 (en)
WO (1) WO2017204195A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05325098A (en) * 1992-05-18 1993-12-10 Honda Motor Co Ltd Driving warning device for vehicle
JP3646492B2 (en) * 1997-10-24 2005-05-11 日産自動車株式会社 Brake assist system
JP5720462B2 (en) * 2011-07-20 2015-05-20 日産自動車株式会社 Driver fatigue estimation device
JP5392686B2 (en) * 2011-09-26 2014-01-22 トヨタ自動車株式会社 Driving support apparatus and method
JP6090340B2 (en) * 2015-01-08 2017-03-08 マツダ株式会社 Driver emotion estimation device

Also Published As

Publication number Publication date
JPWO2017204195A1 (en) 2019-03-22
WO2017204195A1 (en) 2017-11-30

Similar Documents

Publication Publication Date Title
Kashevnik et al. Driver distraction detection methods: A literature review and framework
US20220286811A1 (en) Method for smartphone-based accident detection
JP6895634B2 (en) Information processing systems, information processing methods, and programs
Schmidt et al. Eye blink detection for different driver states in conditionally automated driving and manual driving using EOG and a driver camera
US20200057487A1 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
CN103732480B (en) Method and device for assisting a driver in performing lateral guidance of a vehicle on a carriageway
CN107004363B (en) Image processing device, on-vehicle display system, display device, and image processing method
JP2016216021A (en) Driving support method, and driving support device, automatic driving control device, vehicle and program utilizing the same
JP6613290B2 (en) Driving advice device and driving advice method
JP2018072988A (en) Information processing system, information processing method, and program
JP4935589B2 (en) Status determination device and program
CN110765807A (en) Driving behavior analysis method, driving behavior processing method, driving behavior analysis device, driving behavior processing device and storage medium
US11609565B2 (en) Methods and systems to facilitate monitoring center for ride share and safe testing method based for selfdriving cars to reduce the false call by deuddaction systems based on deep learning machine
FI124068B (en) A method to improve driving safety
WO2016170763A1 (en) Driving assistance method, driving assistance device using same, automatic driving control device, vehicle, and driving assistance program
US11810373B2 (en) Cognitive function estimation device, learning device, and cognitive function estimation method
US10741076B2 (en) Cognitively filtered and recipient-actualized vehicle horn activation
Tran et al. Vision for driver assistance: Looking at people in a vehicle
EP4042322A1 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
WO2016170773A1 (en) Driving assistance method, and driving assistance device, automatic driving control device, vehicle, and driving assistance program using said method
Wowo et al. Towards sub-maneuver selection for automated driver identification
KR102300209B1 (en) Method for displaying vehicle driving information and driver information in digital clusters
JP6840341B2 (en) HMI control device, mobile body, HMI control method, and program
JP2014219814A (en) Drive aiding device and program
Schwehr et al. The PRORETA 4 City Assistant System: Adaptive maneuver assistance at urban intersections using driver behavior modeling

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200521

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210129

R150 Certificate of patent or registration of utility model

Ref document number: 6840341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250