JP6683163B2 - Vehicle driving support system - Google Patents
Vehicle driving support system Download PDFInfo
- Publication number
- JP6683163B2 JP6683163B2 JP2017065086A JP2017065086A JP6683163B2 JP 6683163 B2 JP6683163 B2 JP 6683163B2 JP 2017065086 A JP2017065086 A JP 2017065086A JP 2017065086 A JP2017065086 A JP 2017065086A JP 6683163 B2 JP6683163 B2 JP 6683163B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- data
- driver
- state
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 119
- 230000008569 process Effects 0.000 claims description 115
- 238000004458 analytical method Methods 0.000 claims description 61
- 230000002996 emotional effect Effects 0.000 claims description 55
- 230000008859 change Effects 0.000 claims description 14
- 230000001133 acceleration Effects 0.000 claims description 13
- 238000013473 artificial intelligence Methods 0.000 claims description 11
- 230000007704 transition Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 60
- 230000008451 emotion Effects 0.000 description 23
- 238000006243 chemical reaction Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 206010041349 Somnolence Diseases 0.000 description 11
- 230000009471 action Effects 0.000 description 10
- 230000006399 behavior Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 9
- 238000012795 verification Methods 0.000 description 9
- 238000004378 air conditioning Methods 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000011946 reduction process Methods 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000008014 freezing Effects 0.000 description 3
- 238000007710 freezing Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008450 motivation Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010048909 Boredom Diseases 0.000 description 1
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 208000015592 Involuntary movements Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 208000008784 apnea Diseases 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 210000003403 autonomic nervous system Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000001914 calming effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002124 endocrine Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005281 excited state Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000017311 musculoskeletal movement, spinal reflex action Effects 0.000 description 1
- 230000001734 parasympathetic effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Description
本発明は、車両運転支援システムに係り、特に、ドライバモデルを利用した車両運転支援システムに関する。 The present invention relates to a vehicle driving support system, and more particularly to a vehicle driving support system using a driver model.
近年、車両制御を支援するためドライバモデルの利用が提案されている（例えば、特許文献１参照）。特許文献１は、特に運転操作に関するドライバモデルが記載されている。特許文献１のドライバモデル処理装置では、当該車両用に作成された個人ドライバモデルと、車外のドライバモデルサーバにより作成された最良ドライバモデルとが用いられる。この装置では、多数の車両からのデータに基づいて作成された最良ドライバモデルを基準とし、個人ドライバモデルと最良ドライバモデルとの間に差分が生じる場合に、差分に対応して運転者へアドバイスが提供されるようになっている。 In recent years, use of a driver model has been proposed to support vehicle control (see, for example, Patent Document 1). Patent Document 1 particularly describes a driver model relating to a driving operation. The driver model processing device of Patent Document 1 uses an individual driver model created for the vehicle and a best driver model created by a driver model server outside the vehicle. With this device, the best driver model created based on the data from many vehicles is used as a reference, and when there is a difference between the individual driver model and the best driver model, the driver is advised according to the difference. It is being offered.
また、車両用の学習システムが提案されている（特許文献２参照）。特許文献２の学習システムでは、車両から画像認識処理に用いたデータを学習サーバへ送信し、このデータを用いて学習サーバにて学習処理が実行される。これにより、画像認識処理に用いられるパラメータの更新データが生成され、この更新データにより車両にてパラメータが更新されるようになっている。 Further, a learning system for vehicles has been proposed (see Patent Document 2). In the learning system of Patent Document 2, the data used for the image recognition processing is transmitted from the vehicle to the learning server, and the learning server executes the learning processing using this data. As a result, the update data of the parameter used in the image recognition process is generated, and the parameter is updated in the vehicle by this update data.
特許文献２に記載のように、外部の機械学習システムにおける学習に基づいて、車両制御処理を逐次更新可能であることは、より良好な車両制御の確保のために好ましい。しかしながら、単に予め設定された車両制御因子のみを更新するだけでは、運転者の運転特性に最適な車両制御処理を実現できないおそれがあった。 As described in Patent Document 2, it is preferable that the vehicle control process can be sequentially updated based on learning in an external machine learning system in order to secure better vehicle control. However, there is a possibility that the vehicle control process most suitable for the driving characteristics of the driver cannot be realized by simply updating only the preset vehicle control factor.
本発明は、このような課題を解決するためになされたものであり、運転者の運転特性に最適な車両制御処理を提供可能な車両運転支援システムを提供することを目的とする。 The present invention has been made to solve such a problem, and an object of the present invention is to provide a vehicle driving support system capable of providing a vehicle control process that is optimal for the driving characteristics of a driver.
上記の目的を達成するために、本発明は、車両運転支援システムであって、複数の運転者の運転データに基づいて複数の運転者に適用するための一般ドライバモデルを学習し更新する人工知能を有する一般ドライバモデル学習装置を備え、運転データは、運転者の音声データを含む運転者状態データと、運転者の車両の複数項目の車両状態を表す車両状態データと、を少なくとも含み、車両状態は、少なくとも運転者の車両の運動状態又は車載装置の作動状態を含み、一般ドライバモデルは、車両状態と運転者の感情状態との間の関連性モデルを含み、人工知能は、運転者の運転者状態データに基づいて運転者の感情状態の遷移を分析し、この感情状態の遷移の分析から得られた感情状態の変化と車両状態の変化との間の関連性を分析し、感情状態の変化と車両状態の変化の分析に基づいて、どのような車両状態が制御因子として感情状態に影響を与えたのかについて、制御因子と感情状態との間の関連性について学習し、感情状態に変化を及ぼす新たな制御因子である複数項目の車両状態の組み合わせが検出された場合、新たな制御因子である複数項目の車両状態の組み合わせに基づく新たな関連性モデルを生成することを特徴としている。 In order to achieve the above-mentioned object, the present invention is a vehicle driving support system, which is an artificial intelligence for learning and updating a general driver model to be applied to a plurality of drivers based on driving data of a plurality of drivers. The vehicle data includes at least driver state data including voice data of the driver and vehicle state data representing vehicle states of a plurality of items of the driver's vehicle. Includes at least the motion state of the vehicle of the driver or the operating state of the in-vehicle device, the general driver model includes a relationship model between the vehicle state and the emotional state of the driver, and the artificial intelligence includes the driving state of the driver. 's state data on the basis of analyzing the transition of the emotional state of the driver, to analyze the relationship between the change of the change and the state of the vehicle obtained emotional state from the analysis of the transition of the emotional state, sensitive Based on the analysis of the state of the change and the vehicle status change, for what the vehicle state that affected the emotional state as a regulator, and learn about association between regulators and emotional state, the emotional state When a combination of vehicle states of multiple items, which is a new control factor that affects changes in the vehicle, is detected, a new relevance model based on the combination of vehicle states of multiple items of new control factors is generated. There is.
このように構成された本発明によれば、一般ドライバモデル学習装置が、複数の運転者の運転データを学習することにより、当初は想定されていなかった感情モデル（車両状態と感情状態との間の関連性モデル）を生成することができる。これにより、運転者の運転特性により適したドライバモデルを構築することが可能である。 According to the present invention configured as described above, the general driver model learning device learns driving data of a plurality of drivers, so that an emotional model (between the vehicle state and the emotional state) that was not initially assumed is obtained. Relevance model) can be generated. This makes it possible to construct a driver model that is more suitable for the driving characteristics of the driver.
また、具体的には、車両状態データは、車速、前後加速度、横加速度、ヨーレート、アクセル開度、エンジン回転数、ＡＴギアポジション、ブレーキスイッチ位置、ブレーキ油圧、前方車間距離、先行車との相対速度、ステアリング角、ステアリングトルク、ウインカースイッチ位置、ワイパースイッチ位置、ライトスイッチ位置に関する情報の少なくとも１つを含む。 Further, specifically, the vehicle state data includes vehicle speed, longitudinal acceleration, lateral acceleration, yaw rate, accelerator opening, engine speed, AT gear position, brake switch position, brake hydraulic pressure, front inter-vehicle distance, and relative to the preceding vehicle. It includes at least one of information about speed, steering angle, steering torque, blinker switch position, wiper switch position, and light switch position.
また、本発明において好ましくは、運転者状態データは、運転者の撮像データ、又は運転者の心拍データの少なくとも１つを更に含む。
このように構成された本発明によれば、音声データ以外にも、運転者の撮像データ、又は運転者の心拍データを用いることにより、運転者の感情状態を推定することができる。
Further, in the present invention, preferably, the driver state data further includes at least one of image data of the driver and heartbeat data of the driver.
According to the present invention thus configured, the emotional state of the driver can be estimated by using the image data of the driver or the heartbeat data of the driver in addition to the voice data.
また、本発明において好ましくは、特定運転者の運転データに基づいて特定運転者に固有の個人ドライバモデルを学習し更新する個人ドライバモデル学習装置と、特定運転者の車両に設けられ、所定の車両制御処理を実行する車載コントローラと、を更に備え、個人ドライバモデル学習装置は、一般ドライバモデル及び個人ドライバモデルに基づいて、車載コントローラに車両制御処理を更新させる車両制御更新部を備えている。
このように構成された本発明によれば、車両制御更新部が、一般ドライバモデルに生成された新たな感情モデルを車両制御処理にフィードバックすることにより、運転者の運転特性により適した車両制御処理を実現することが可能である。
Further, in the present invention, preferably, a personal driver model learning device for learning and updating a personal driver model unique to the specific driver based on driving data of the specific driver, and a predetermined vehicle provided in the vehicle of the specific driver. The in-vehicle controller that executes the control process is further included, and the personal driver model learning device includes a vehicle control update unit that causes the in-vehicle controller to update the vehicle control process based on the general driver model and the individual driver model.
According to the present invention thus configured, the vehicle control update unit feeds back the new emotion model generated in the general driver model to the vehicle control process, so that the vehicle control process more suitable for the driving characteristics of the driver. Can be realized.
本発明によれば、運転者の運転特性に最適な車両制御処理を提供可能な車両運転支援システムを提供することができる。 According to the present invention, it is possible to provide a vehicle driving support system capable of providing a vehicle control process that is optimal for the driving characteristics of the driver.
以下、添付図面を参照して、本発明の実施形態による車両運転支援システムについて説明する。まず、図１〜図３を参照して、車両運転支援システムの構成について説明する。図１は車両運転支援システムの構成図、図２は車両運転支援システムの各構成要素の機能ブロック図、図３は車両内の車両制御ブロック内の機能ブロック図である。 Hereinafter, a vehicle driving support system according to an exemplary embodiment of the present invention will be described with reference to the accompanying drawings. First, the configuration of the vehicle driving support system will be described with reference to FIGS. FIG. 1 is a block diagram of a vehicle driving support system, FIG. 2 is a functional block diagram of each component of the vehicle driving support system, and FIG. 3 is a functional block diagram of a vehicle control block in a vehicle.
図１に示すように、車両運転支援システムＳは、共有サーバ１と、個人サーバ３と、車両Ａ内の車載コントローラ（ＥＣＵ）５を備えている。これらは、無線又は有線の通信回線Ｎによって互いに通信可能に接続されている。
共有サーバ１及び個人サーバ３は、人工知能を構成するコンピュータシステムであり、それぞれ一般ドライバモデル，個人ドライバモデルを学習し逐次更新する。共有サーバ１は、演算部１ａ，記憶部１ｂ，通信部１ｃ等を有する。同様に、個人サーバ３は、演算部３ａ，記憶部３ｂ，通信部３ｃ等を有する。
As shown in FIG. 1, the vehicle driving support system S includes a shared server 1, a
The shared server 1 and the
車載コントローラ５も同様に演算部５ａ（プロセッサ），記憶部５ｂ，通信部５ｃ等を有する。この車載コントローラ５は、車両Ａの車両制御処理を実行する。車両制御処理は、運転制御処理に加えて、運転支援処理を含む。
The vehicle-mounted
図２に示すように、共有サーバ１では、複数の個人サーバ３から受け取った運転データ，外部情報システム（情報提供サービスセンタ等）７ａから受け取った一般データを人工知能からなる学習エンジン１１（演算部１ａ）が学習することにより、一般ドライバモデルＭａが構築される。この一般ドライバモデルＭａは、新たな運転データ，一般データが学習されることにより、逐次更新される。運転データ，一般データは、記憶部１ｂに蓄積データＤａとして蓄積される。
As shown in FIG. 2, in the shared server 1, operation data received from a plurality of
一般データは、例えば、人間（運転者）の音声データ，行動データ，画像データ等である。一般データは、主に一般ドライバモデルＭａの一部を構成する感情推定モデルを構築するために用いられる。なお、一般ドライバモデルＭａの更新には、複数の個人サーバ３からの運転データ及び外部情報源からの一般データからなるビッグデータの学習が要求される。このため、一般ドライバモデルＭａの処理速度（更新間隔）は非常に遅い（例えば、１時間以上）。
The general data is, for example, human (driver) voice data, action data, image data, and the like. The general data is mainly used for constructing an emotion estimation model forming a part of the general driver model Ma. In addition, in order to update the general driver model Ma, learning of big data including driving data from a plurality of
一般ドライバモデルＭａは、車両Ａを運転する特定運転者ではなく一般運転者に対して適用するためのモデルである。そのため、特定運転者以外の複数の運転者についての運転データ、及び、一般的な人間の特性を表す感情推定用データ（一般データ）が用いられる。一般ドライバモデルＭａは、複数のサブモデルを含む。学習エンジン１１は、与えられた又は新規に見出された各サブモデルのテーマに対して、運転データや一般データから一般運転者の行動や状態の時間的な変化を学習し、サブモデルを作成及び更新する。サブモデルには、種々の状況における運転者の行動傾向モデル，走行判断基準モデル，感情推定モデル等が含まれる。更に、一般ドライバモデルＭａは、一般知識データを有する。一般知識データは、運転データや一般データから取得された種々の一般的な情報であり、例えば特定の道路箇所の注意点，娯楽場所情報（レストラン情報等）である。 The general driver model Ma is a model to be applied to the general driver, not the specific driver who drives the vehicle A. Therefore, driving data for a plurality of drivers other than the specific driver, and emotion estimation data (general data) representing general human characteristics are used. The general driver model Ma includes a plurality of sub-models. The learning engine 11 learns the behavior and state of the general driver over time from the driving data and general data for the given or newly found theme of each submodel, and creates a submodel. And update. The sub-model includes a driver's behavior tendency model in various situations, a driving judgment reference model, an emotion estimation model, and the like. Further, the general driver model Ma has general knowledge data. The general knowledge data is various general information acquired from the driving data and the general data, and is, for example, points of caution of a particular road portion, entertainment place information (restaurant information, etc.).
一般ドライバモデルＭａのサブモデルの例を示す。一般運転者の各種感情（喜怒哀楽、特に楽しさを感じているとき）における音声モデル。楽しさの状態モデル（各種状態（運転者，周囲環境，車両）と楽しさとの間の関連性モデル）。地図データや運転者表情データ等に基づいて生成される、わき見や居眠りの発生に関するサブモデル（例えば、発生し易い特定の地点や運転者状態（例えば、走行時間）等を特定）。走行履歴データや操作履歴データ等に基づいて生成される、運転操作特性モデル（例えば、障害物の回避行動開始位置）。 The example of the sub model of general driver model Ma is shown. A voice model for various emotions of a general driver (emotions, emotions, and feelings of pleasure). State model of fun (relationship model between various states (driver, surrounding environment, vehicle) and fun). A sub-model that is generated based on map data, driver facial expression data, and the like, relating to the occurrence of apnea and drowsiness (for example, a specific point that is likely to occur, a driver state (for example, travel time), etc. are specified). A driving operation characteristic model (for example, an obstacle avoidance action start position) generated based on traveling history data, operation history data, and the like.
学習エンジン１１は、アクセル及びブレーキの操作モデルを学習する場合、運転データに含まれる、運転者，走行場所，周辺環境，時間帯，アクセル開度，ブレーキセンサデータ等に関するデータを一群のデータとして用いて、前方車両や歩行者の位置，速度，数等に応じて、どのようにアクセル及びブレーキの操作が行われるのかを学習しモデルを作成する。 When learning the operation model of the accelerator and the brake, the learning engine 11 uses, as a group of data, data regarding the driver, the traveling place, the surrounding environment, the time zone, the accelerator opening, the brake sensor data, etc., which are included in the driving data. Then, a model is created by learning how the accelerator and brake are operated according to the position, speed, number, etc. of vehicles in front and pedestrians.
また、学習エンジン１１は、感情推定モデルに含まれる笑顔判定モデルを学習する場合、一般運転者又は一般人の音声データ及び音声データに関連した画像データを分析し、一般運転者が楽しさを感じているときの顔の表情の特徴を分析する。これにより、外観（即ち、顔の表情）から抽出した特徴部分の変化（口角の角度，目尻の角度等）と笑顔の関連性を示す笑顔判定モデルが生成及び更新される。笑顔判定モデルを用いることにより、特徴部分の情報（口角の角度等）から運転者が笑顔であるか否か（又は楽しいと感じていか否か）を推定することができる。特徴部分は、予め指定された部分であってもよいし、学習エンジン１１が新たに検出した部分であってもよい。 When learning the smile determination model included in the emotion estimation model, the learning engine 11 analyzes the voice data of the general driver or the general person and the image data related to the voice data, so that the general driver feels enjoyment. Analyze the facial expression features when you are present. As a result, the smile determination model showing the relationship between the change of the characteristic portion extracted from the appearance (that is, the facial expression) (angle of the mouth corner, angle of the outer corner of the eye, etc.) and the smile is generated and updated. By using the smile determination model, it is possible to estimate whether or not the driver is smiling (or whether or not he / she feels happy) from the information of the characteristic portion (angle of the corner of the mouth, etc.). The characteristic part may be a part designated in advance or a part newly detected by the learning engine 11.
また、一般ドライバモデルＭａは、車両状態と運転者の感情状態との間の関連性モデル（感情生起モデル）を含む。感情状態は、運転者状態データから分析される。学習エンジン１１は、感情状態の遷移を分析し、感情状態に影響を及ぼした車両状態（運動状態：車速，横加速度，前後加速度等、車載機器作動状態：空調温度，シート位置，音楽等）を分析し、どのような車両状態が感情状態に影響を与えるのかについて、車両状態と感情状態との間の関連性について学習する。感情状態に影響を与える車両状態（制御因子）は、予め設定されていてもよいし、人工知能が分析により新たな制御因子を見出して追加設定してもよい。 The general driver model Ma also includes an association model (emotion occurrence model) between the vehicle state and the driver's emotional state. The emotional state is analyzed from the driver state data. The learning engine 11 analyzes the transition of emotional states, and determines the vehicle states (exercise states: vehicle speed, lateral acceleration, longitudinal acceleration, etc., vehicle-mounted device operating states: air-conditioning temperature, seat position, music, etc.) that have affected emotional states. Analyze and learn about the relationship between the vehicle state and the emotional state as to what kind of vehicle state affects the emotional state. The vehicle state (control factor) that affects the emotional state may be set in advance, or the artificial intelligence may find a new control factor by analysis and additionally set it.
感情状態の分析に用いられる運転者状態データは、音声データ，画像データ，脳波データ等である。感情分析のため、例えば、音声データ（発話音声）を解析して、声帯の不随意運動に基づく音の波の周波数分析が行われる。また、画像データに基づく顔表情分析や、血流の変化のための顔色分析が行われる。また、自律神経系の交感神経／副交感神経の割合分析が行われる。これらの分析の１つ又は複数を用いることにより、例えば、喜怒哀楽を座標上に表現した感情マップやラッセル円環モデル上で感情状態を特定することができる。学習エンジン１１は、感情状態の変化（即ち、感情マップや円環モデル上での移動）と車両状態の変化を分析する。 The driver state data used for emotional state analysis is voice data, image data, brain wave data, and the like. For emotional analysis, for example, voice data (speech voice) is analyzed, and frequency analysis of sound waves based on involuntary movements of the vocal cords is performed. In addition, facial expression analysis based on image data and facial color analysis for changes in blood flow are performed. A sympathetic / parasympathetic ratio analysis of the autonomic nervous system is also performed. By using one or more of these analyzes, for example, the emotional state can be specified on the emotional map expressing the emotions on the coordinates or on the Russell ring model. The learning engine 11 analyzes changes in the emotional state (that is, movement on the emotional map or the circular model) and changes in the vehicle state.
学習エンジン１１は、例えば、温度環境と感情状態との間の関連性モデルを学習する場合、運転データに含まれる、運転者，感情状態，走行場所，時間帯，車内外温度，天候等に関するデータを一群のデータとして用いて、例えば、車内温度と車外温度の差，天候等の温度環境が感情状態にもたらす影響を学習し当該関連性モデルを更新する。 For example, when learning the association model between the temperature environment and the emotional state, the learning engine 11 includes data about the driver, the emotional state, the traveling place, the time zone, the temperature inside and outside the vehicle, the weather, etc., which are included in the driving data. Is used as a group of data, for example, the influence of the temperature environment such as the difference between the vehicle interior temperature and the vehicle exterior temperature and the weather on the emotional state is learned and the relevance model is updated.
また、既存の関連性モデルに含まれない新たな制御因子が、感情状態に変化を及ぼすことが学習されると（例えば、車両状態の複数項目が組み合わされたときに楽しく感じる等）、新たな制御因子に基づく新規の関連性モデルが生成される。このようにして、学習エンジン１１は、ビッグデータから運転者の感情状態に影響を及ぼす制御因子を検出してモデルを構築する。 Also, if it is learned that a new control factor not included in the existing relevance model affects the emotional state (for example, when a plurality of items of the vehicle state are combined, it is enjoyable), a new control factor is added. A new relevance model based on the control factors is generated. In this way, the learning engine 11 detects a control factor that influences the emotional state of the driver from the big data and builds a model.
個人サーバ３では、車両Ａから受け取った運転データ（音声データ含む），外部情報システム７ｂから取得した一般データ，特定運転者の携帯情報端末装置７ｃから取得した通信データ（通話音声データ，メールテキストデータ，機器設定情報等）を人工知能からなる学習エンジン３１（演算部３ａ）が学習することにより、個人ドライバモデルＭｂが構築される。この個人ドライバモデルＭｂも逐次更新される。個人サーバ３は、運転データ等を用いて、運転者の行動，車両挙動，車両性能等の時間的な変化又は履歴を学習する。このため、車両Ａでの各種制御処理よりも個人ドライバモデルＭｂの処理速度は低速である（例えば、１秒以上）。
In the
なお、個人サーバ３が取得する一般データは、運転傾向が共通すると考えられる運転者集団（例えば、同じ車種の車両を有する運転者の集団）に含まれる複数の運転者の音声データ，行動データ，画像データである。また、機器設定情報は、例えば、携帯情報端末装置のインターネットブラウザアプリに登録されたブックマーク情報等である。
Note that the general data acquired by the
また、車両Ａのマイクで取得された音声データは、車載コントローラ５の第２同期エンジン６０を介して取得される運転データにも含まれるが、通信機器を介して実時間で個人サーバ３へ直接出力される。個人サーバ３では、この音声データが音声認識される。運転データ，一般データ，音声データは、記憶部３ｂに蓄積データＤｂとして蓄積される。
また、個人サーバ３の第１同期エンジン４０は、記憶部３ｂに記憶された蓄積データをデータ変換し、共有サーバ１へ送信する。
The voice data acquired by the microphone of the vehicle A is also included in the driving data acquired via the
Further, the
個人ドライバモデルＭｂは、特定運転者に対して適用するためのモデルである。そのため、車両Ａを運転する特定運転者の運転データ、及び、この特定運転者に比較的近い運転特性を有すると考えられる他の運転者の一般データが用いられる。個人ドライバモデルＭｂも一般ドライバモデルＭａと同様に複数のサブモデルを含む。また、個人ドライバモデルＭｂは、取得した運転データから抽出された周辺環境状態データや車両状態データを有する。学習エンジン３１も学習エンジン１１と同様の複数のサブモデルを学習する（個人ドライバモデルＭｂのサブモデルの例は、一般ドライバモデルＭａのサブモデルの例を参照）。また、学習エンジン３１は、学習エンジン１１と同様に運転者の感情状態に影響を及ぼす制御因子を検出してモデルを更新し、また、新たなモデルを構築する。
The individual driver model Mb is a model to be applied to a specific driver. Therefore, the driving data of the specific driver who drives the vehicle A and the general data of other drivers that are considered to have driving characteristics relatively close to this specific driver are used. The individual driver model Mb also includes a plurality of sub-models like the general driver model Ma. Further, the individual driver model Mb has surrounding environment state data and vehicle state data extracted from the acquired driving data. The learning
車載コントローラ５では、車両センサ８のセンサデータに基づいて、車両制御ブロック（演算部）５１により所定の車両制御処理が実行される。車両制御ブロック５１は、車両制御処理を規定する車両制御アルゴリズム（車両制御プログラム）５０を用いて、ルールベースで車両Ａの各種車載機器及びシステムを制御する。即ち、センサデータに基づき、予め決められたルール（アルゴリズム）に従って各種制御が実行される（ルールベース処理）。このため、車載コントローラ５による車両制御処理では、速い処理速度が達成される（例えば、１０ｍ秒以下）。
In the vehicle-mounted
車両制御処理は、運転制御処理に加えて、運転支援処理を含む。運転支援処理には、自動運転支援処理，支援情報提示処理，車載機器制御処理を含む。
自動運転支援処理では、車両制御システム９ｄ（エンジン，ブレーキ，ステアリング）に指令信号が出力され、アクセル，ブレーキ，ステアリング駆動装置が自動操作される。
支援情報提示処理では、車内の情報提示装置９ａ（ナビゲーション装置、メータ、スピーカ等）を介して、運転者の運転操作を支援するための各種の支援情報が提供され、また、情報通信装置９ｃ（車載通信部，携帯情報端末装置等）を介して、外部の情報システム，情報端末装置，家電製品等へ情報が提供される。
車載機器制御処理では、運転環境を改善するため、車載機器９ｂ（空調装置、窓、ライト、ドア等）が自動的に作動される。例えば、空調装置の温度設定やオンオフが自動的に行われ、窓の開閉が自動的に行われる。
The vehicle control process includes a driving support process in addition to the driving control process. The driving support processing includes automatic driving support processing, support information presentation processing, and vehicle-mounted device control processing.
In the automatic driving support process, a command signal is output to the vehicle control system 9d (engine, brake, steering), and the accelerator, brake, and steering drive device are automatically operated.
In the support information presenting process, various kinds of support information for assisting the driver's driving operation are provided through the
In the in-vehicle device control process, the in-
車両センサ８には、車内カメラ，生体センサ，マイク，車外カメラ，レーダ，ナビゲーション装置，車両挙動センサ，運転者操作検知センサ，車車間通信器，車両−インフラ間通信器，リモート制御器等が含まれる。
The
車内カメラは、車両Ａ内の運転者や他の乗員を撮像し、車内画像データを出力する。
生体センサは、運転者の心拍，脈拍，発汗，脳波等を計測し、生体データを出力する。
マイクは、運転者や他の乗員の音声を取集し、音声データを出力する。
車外カメラは、車両Ａの前方，側方，後方の画像を撮像し、車外画像データを出力する。
The in-vehicle camera images the driver and other occupants in the vehicle A and outputs in-vehicle image data.
The biometric sensor measures the driver's heartbeat, pulse rate, perspiration, brain waves, etc., and outputs biometric data.
The microphone collects voices of the driver and other occupants and outputs voice data.
The vehicle exterior camera captures images of the front, side, and rear of the vehicle A, and outputs vehicle exterior image data.
レーダは、車両Ａの前方，側方，後方に向けて電波，音波又はレーザ光を照射し、車両Ａの周囲の車外物体（先行車，他車両，歩行者，地上固定物，障害物等）からの反射波を受信し、物体の相対位置，相対速度等（例えば、先行車位置，先行車相対速度等）の車外物体データを出力する。
ナビゲーション装置は、車両位置情報を取得し、内部地図情報，外部から取得した交通渋滞情報，入力情報（目的地，経由地等）と組み合わせて、ナビゲーションデータ（複数のルート情報，運転者により選択されたルート情報等）を出力する。
The radar irradiates the front, side, and rear of the vehicle A with radio waves, sound waves, or laser light, and external objects around the vehicle A (preceding vehicles, other vehicles, pedestrians, fixed objects on the ground, obstacles, etc.) It receives the reflected wave from the vehicle and outputs the vehicle exterior object data such as the relative position and relative speed of the object (for example, the preceding vehicle position, the preceding vehicle relative speed, etc.).
The navigation device acquires vehicle position information, combines it with internal map information, traffic congestion information acquired from the outside, and input information (destination, waypoint, etc.), and combines navigation data (plural route information, selected by the driver). Output route information).
車両挙動センサ及び運転者操作検知センサには、速度センサ，前後加速度センサ，横加速度センサ，ヨーレートセンサ，アクセル開度センサ，エンジン回転数センサ，ＡＴギアポジションセンサ，ブレーキスイッチセンサ，ブレーキ油圧センサ，ステアリング角センサ，ステアリングトルクセンサ，ウインカースイッチ位置センサ，ワイパースイッチ位置センサ，ライトスイッチ位置センサ，車内外温度センサ等が含まれる。 The vehicle behavior sensor and the driver operation detection sensor include a speed sensor, a longitudinal acceleration sensor, a lateral acceleration sensor, a yaw rate sensor, an accelerator opening sensor, an engine speed sensor, an AT gear position sensor, a brake switch sensor, a brake oil pressure sensor, and a steering wheel. An angle sensor, a steering torque sensor, a winker switch position sensor, a wiper switch position sensor, a light switch position sensor, an inside / outside temperature sensor, and the like are included.
車車間通信器，車両−インフラ間通信器，リモート制御器は、それぞれ他車両からの通信データ，交通インフラからの交通データ（交通渋滞情報，制限速度情報等），外部からのリモート操作データを取得し、これらを出力する。 The inter-vehicle communication device, vehicle-infrastructure communication device, and remote controller obtain communication data from other vehicles, traffic data from traffic infrastructure (traffic congestion information, speed limit information, etc.), and remote operation data from the outside. And output them.
車両センサ８からの出力データは、運転データとして車両制御ブロック５１に入力される。また、出力データは、所定の装置（図示せず）により、又は、車載コントローラ５内のデータ処理ブロックにより、車両制御ブロック５１での処理の実行に適した種々の物理量を表す運転データにデータ変換された後、車両制御ブロック５１に入力される。データ変換により、１つの出力データが１又は複数の情報を表す運転データに変換される。データ変換は、出力データを変換処理しないことも含む。
The output data from the
例えば、車外カメラの車外画像データは、先行車や車線の位置データ，基準ライン（車線中央や設定経路）からのオフセット（ずれ）データ等にデータ変換される。また、ステアリング角センサの操舵角データは、変動データ（ステアリング角のふらつきデータ；変動幅，変動周期等）等にデータ変換される。また、車内カメラの画像データは、個人特定データ（予め登録されていた運転者画像に基づく運転者認証の結果、及び、認証された運転者を特定する個人データ），運転者の笑顔判断等のための表情データ（口角角度，目尻角度等）等にデータ変換される。 For example, the vehicle exterior image data of the vehicle exterior camera is converted into position data of a preceding vehicle or a lane, offset data from a reference line (lane center or set route), and the like. Further, the steering angle data of the steering angle sensor is converted into fluctuation data (steering angle fluctuation data; fluctuation width, fluctuation cycle, etc.). In addition, the image data of the in-vehicle camera includes personal identification data (results of driver authentication based on the driver image registered in advance and personal data that identifies the authenticated driver), driver's smile judgment, etc. Data is converted to facial expression data (mouth angle, corner of the eye, etc.).
運転データは、運転者，周辺環境，車両に関する種々のデータであり、運転者状態データ，周辺環境データ，車両状態データを含む。これらデータは、それぞれ複数の個別データからなる。
運転者状態データは、運転者の身体状態を示すデータであり、車内画像データ（運転者の撮像データを含む），音声データ，生体データ（心拍データを含む）等を含む。
周辺環境データは、車両Ａの周辺の他車両，歩行者，障害物や、道路形状や、交通状況等の車外物体の状況を示すデータであり、車外画像データ，車外物体データ，ナビゲーションデータ，車車間データ，車インフラ間データ等を含む。
The driving data is various data relating to the driver, the surrounding environment, and the vehicle, and includes driver status data, surrounding environment data, and vehicle status data. Each of these data consists of a plurality of individual data.
The driver state data is data indicating the physical state of the driver, and includes in-vehicle image data (including driver image data), voice data, biometric data (including heartbeat data), and the like.
The surrounding environment data is data indicating the status of other vehicles around the vehicle A, pedestrians, obstacles, road shapes, traffic conditions, and other external objects, and is image data outside the vehicle, object data outside the vehicle, navigation data, and vehicle data. Includes inter-vehicle data, inter-vehicle infrastructure data, etc.
車両状態データは、車両運動状態や車載機器の作動状態を表すデータであり、車両挙動センサによる測定データ，運転者操作検知センサによる車載機器のスイッチ位置等を表す運転者操作データ，及び個人特定データを含む。具体的には、車両状態データには、一例として、車速，前後加速度，横加速度，ヨーレート，アクセル開度，エンジン回転数，ＡＴギアポジション，ブレーキスイッチ位置，ブレーキ油圧，前方車間距離，先行車との相対速度，ステアリング角，ステアリングトルク，ウインカースイッチ位置，ワイパースイッチ位置，ライトスイッチ位置，車内外温度，個人特定情報等が含まれる。
車載コントローラ５の第２同期エンジン６０は、記憶部５ｂに一旦記憶された運転データをデータ変換し、個人サーバ３へ送信する。
The vehicle state data is data representing a vehicle motion state and an operating state of an in-vehicle device, and includes measurement data by a vehicle behavior sensor, driver operation data indicating a switch position of the in-vehicle device by a driver operation detection sensor, and personal identification data. including. Specifically, the vehicle state data includes, for example, vehicle speed, longitudinal acceleration, lateral acceleration, yaw rate, accelerator opening, engine speed, AT gear position, brake switch position, brake hydraulic pressure, front inter-vehicle distance, and preceding vehicle. Relative speed, steering angle, steering torque, winker switch position, wiper switch position, light switch position, temperature inside and outside the vehicle, personal identification information, and the like.
The
図３に示すように、車両制御ブロック５１は、現状状態分析ブロック５１ａ，理想状態分析ブロック５１ｂ，差分算出ブロック５１ｃ，エンターテイメント（エンタメ）制御ブロック５２ａ，セーフティ制御ブロック５２ｂを有する。
現状状態分析ブロック５１ａ、及び、理想状態分析ブロック５１ｂには、運転データが入力される。現状状態分析ブロック５１ａでは、運転データから現状運転者状態，現状機器操作状態，現状周辺環境状態，現状車両状態が取り出される。一方、理想状態分析ブロック５１ｂでは、多数の制御パラメータＰで規定された車両制御モデル（理想モデル）に基づいて、運転データから理想運転者状態，理想機器操作状態，理想周辺環境状態，理想車両状態が計算される。
As shown in FIG. 3, the
Operation data is input to the current
運転者状態は、例えば、運転者の心拍データ，ふらつき分析データ等により特定される。周辺環境状態は、例えば、カメラ画像データ，レーダ測定データ等により特定される。車両状態は、例えば、横加速度データ，エンジンパワーデータ，ブレーキ摩耗量データ等から特定される。 The driver's state is specified by, for example, the driver's heartbeat data, fluctuation analysis data, and the like. The surrounding environment state is specified by, for example, camera image data, radar measurement data, and the like. The vehicle state is specified by, for example, lateral acceleration data, engine power data, brake wear amount data, and the like.
差分算出ブロック５１ｃでは、現状状態分析ブロック５１ａと理想状態分析ブロック５１ｂから出力された現状状態と理想状態（運転者状態，機器操作状態，周辺環境状態，車両状態）の種々の項目について差分を算出し、差分データとして出力する。
エンタメ制御ブロック５２ａ、及び、セーフティ制御ブロック５２ｂは、この差分データに基づいて各種の処理を実行する。
In the
The
セーフティ制御ブロック５２ｂは、車両制御システム９ｄの作動を伴うセーフティ制御処理を制御し、また、情報提示装置９ａ，車載機器９ｂ，情報通信装置９ｃの作動を伴う支援情報提示処理も制御する。一方、エンタメ制御ブロック５２ａは、情報提示装置９ａ，車載機器９ｂ，情報通信装置９ｃの作動を伴うエンタメ制御処理を制御するが、車両制御システム９ｄの作動を伴う制御処理は実行しない。
The
エンタメ制御ブロック５２ａ、及び、セーフティ制御ブロック５２ｂは、差分データに基づいて、情報提示装置９ａ，車載機器９ｂ，情報通信装置９ｃへ作動指示を出力する。また、セーフティ制御ブロック５２ｂは、車両制御システム９ｄへも作動指示を出力する。なお、情報通信装置９ｃを介して外部の情報システム７ｂへ送信されるデータは、情報システム７ｂにて蓄積され、さらに個人サーバ３へ提供可能である。
The
例えば、現状状態分析ブロック５１ａが、意識レベルが高い正常な状態で運転者が車両Ａを６０ｋｍで走行させていると分析したとする。一方、理想状態分析ブロック５１ｂは、この状態で運転者が３０ｍ先のカーブを曲がる際の予定走行経路（位置及び速度含む）を車両制御アルゴリズム５０の理想モデルに基づいて計算（予想）する。また、現状状態分析ブロック５１ａは、引き続き状態分析を行うため、車両Ａが実際に走行した走行経路を分析結果として出力する。
For example, assume that the current
差分算出ブロック５１ｃは、理想状態分析ブロック５１ｂによる予定走行経路と、現状状態分析ブロック５１ａによる実際の走行経路との差分を算出する。そして、例えば、セーフティ制御ブロック５２ｂは、予定速度と実速度とがほぼ等しい場合は特段の処理を実行せず、予定速度と実速度との速度差が小さい場合はブレーキ操作警報を発生させる処理を実行し、速度差が大きい場合は自動ブレーキを作動させる処理を実行する。
The
また、予定走行経路で規定されるステアリング操作タイミングよりも、実際のステアリング操作タイミングの方が所定時間以上遅い場合に、ステアリング操作タイミングを早めるように促すメッセージが表示される。
また、所定状況において、理想モデルによる予測心拍数が実際の心拍数よりも所定値以上大きいとき（興奮状態と推定）、エンタメ制御ブロック５２ａは、休憩を促すメッセージや気分を落ち着かせる音楽を流すことを促すメッセージを表示させる処理を実行する。
Further, when the actual steering operation timing is later than the steering operation timing defined by the planned traveling route by a predetermined time or more, a message prompting the steering operation timing to be advanced is displayed.
In addition, in a predetermined situation, when the predicted heart rate by the ideal model is higher than the actual heart rate by a predetermined value or more (estimated to be an excited state), the
次に、図４及び図５を参照して、個人サーバ３の第１同期エンジン４０及び車載コントローラ５の第２同期エンジン６０について説明する。図４は共有サーバ，個人サーバ，車載コントローラにおけるデータの流れの説明図、図５は同期エンジンの動作の説明図である。
Next, the
図４に示すように、車載コントローラ５は、運転データ（情報量「中」）に基づいてルールベースで認知，判断，行動決定を実行する。このため、車載コントローラ５で目標とされる情報速度は速い（＜１０ｍ秒）。更に、車両制御システム９ｄや車載機器９ｂ等は、車載コントローラ５から作動指令（情報量「小」）を受けると、行動決定の指令に従い作動する。このため、情報速度はとても速い（＜１ｍ秒）。
As shown in FIG. 4, the vehicle-mounted
一方、個人サーバ３は、車載コントローラ５からの運転データと外部の情報システム７ｂ等からのデータ（情報量「大」）に基づいて学習，成長する。このため、個人サーバ３での情報速度は遅い（＞１秒）。更に、共有サーバ１は、複数の個人サーバ３からの運転データと外部の情報システム７ａ等からのビッグデータ（情報量「極大」）に基づいて学習，成長する。このため、共有サーバ１での情報速度はとても遅い（＞１時間）。即ち、下位層よりも上位層の方が、扱う情報量は大きいが、情報速度は遅くなる。共有サーバ１が最も上位であり、車載コントローラ５が最も下位である。
On the other hand, the
このため、各階層においてデータ処理がスムーズに行われるように（即ち、いずれかの階層でデータ処理の流れが悪くならないように）、本実施形態では、情報エントロピーの均一化が図られている。概略的には、各階層で実行される処理の演算負荷（処理プログラムの全ステップ数）及び全処理ステップを実行する際の目標応答時間を既知として、各階層において単位時間当たりに処理されるデータ量を調整することにより、各瞬間（単位時間当たり）における処理負荷の均一化が図られている。 Therefore, in this embodiment, the information entropy is made uniform so that the data processing is smoothly performed in each layer (that is, the flow of the data processing is not deteriorated in any layer). In general, the data to be processed per unit time in each layer, with the calculation load (total number of steps of the processing program) of the process executed in each layer and the target response time when executing all the processing steps being known. By adjusting the amount, the processing load at each instant (per unit time) is made uniform.
本実施形態では、情報エントロピーは、「単位時間当たりのデータ量×処理速度」で定義される。処理速度は、「処理プログラムの全ステップ数（全プログラム行数）×目標応答時間」で定義される。
情報エントロピー＝データ量×全ステップ数×目標応答時間
In this embodiment, the information entropy is defined by “data amount per unit time × processing speed”. The processing speed is defined by “the total number of steps of the processing program (total number of program lines) × target response time”.
Information entropy = data amount x total number of steps x target response time
例えば、車載コントローラ５において、データ量が１０ＭＢ，ステップ数が１０００行，目標応答時間が１０ｍ秒である場合、個人サーバ３ではそれぞれ１００ＫＢ，１００００行，１秒に設定され、共有サーバ１ではそれぞれ１０Ｂ，１０００００行，１０００秒に設定される。
For example, in the in-
このように各階層におけるデータ量を調整するため、下位層から上位層へ運転データを送信する際に、上位層で運転データを処理し易くするように下位層の同期エンジンにより運転データのデータ変換が行われる。このデータ変換により、運転データが量，質，時間に関して変換される。車載コントローラ５は第２同期エンジン６０を有し、個人サーバ３は第１同期エンジン４０を有する。
Since the amount of data in each layer is adjusted in this way, when transmitting the operating data from the lower layer to the upper layer, the data conversion of the operating data is performed by the lower layer synchronization engine so that the upper layer can easily process the operating data. Is done. By this data conversion, the operation data is converted in terms of quantity, quality and time. The in-
図５に示すように、車載コントローラ５は、逐次、車両センサ８の出力データに基づく運転データを受け取り、車両制御処理を実行する。一方、第２同期エンジン６０は、運転データに対して第２データ変換処理（量，質，時間）を実行し、データ変換された運転データを個人サーバ３へ送信する。個人サーバ３では、受け取った運転データを運転者の行動履歴データ及び状態履歴データとして記憶部３ｂに蓄積すると共に、所定の処理に用いる。そして、第１同期エンジン４０は、受け取った運転データに対して第１データ変換処理（量，質，時間）を実行し、データ変換された運転データを共有サーバ１へ送信する。共有サーバ１では、受け取った運転データを運転者の行動履歴データ及び状態履歴データとして記憶部１ｂに蓄積すると共に、所定の処理に用いる。
As shown in FIG. 5, the in-
上位層の同期要求ブロック２１，４１は、上位層の処理で要求される方式に応じて、下位層の同期エンジン４０，６０に対して、必要な情報属性の運転データの送信を要求する取得要求指令を出す。この指令を受けて下位層の同期エンジンは、要求される情報属性に応じたデータ変換処理を実行する。下位層の同期エンジンは、同じ下位層の他のデータ処理ブロック（図示せず）へデータ変換指示を出して、データ変換させ、データ変換後の運転データを上位層へ出力する。また、下位層は、上位層を監視する。同期要求ブロック２１，４１は、それぞれ第１同期エンジン４０，第２同期エンジン６０に対して、例えば、データ量低減方式，個別データの関連付け及び切り離し方式（複数の個別データの指定），時間軸設定方式（抽出方式，統計処理方式）を規定する取得要求指令を出力する。
The upper layer synchronization request blocks 21 and 41 are acquisition requests that request the lower
データの量に関するデータ変換処理では、運転データのデータ量が低減される。例えば、特徴量の抽出，情報量の変換等によるデータ量低減処理が行われる。第１同期エンジン４０，第２同期エンジン６０において、それぞれ第１データ量低減処理，第２データ量低減処理が実行される。
In the data conversion process regarding the amount of data, the amount of operation data is reduced. For example, a data amount reduction process is performed by extracting a feature amount, converting an information amount, and the like. The
特徴量の抽出では、上位層の処理での必要最小限の情報を含むようにデータサイズが低減される。例えば、画像データは、この画像データから抽出された特徴量のデータに変換される（口角の角度，車線の情報等）。
情報量の変換では、運転データが要約統計量（平均化，時間軸フィルタ等）に変換される。例えば、センタラインからのずれ量（１０ｍ秒毎のずれ量データ）が、１００秒間隔の平均ずれ量データに変換される。また、１０ｍ秒毎の操舵角データが、５秒単位のふらつき度判定データに変換される。
特徴量の抽出や情報量の変換は、同期エンジンが他の処理ブロックに実行させることができる。
In the extraction of the feature amount, the data size is reduced so as to include the minimum necessary information in the processing of the upper layer. For example, the image data is converted into feature amount data extracted from the image data (angle of the mouth, information about the lane, etc.).
In the conversion of the information amount, the operation data is converted into a summary statistic (averaging, time axis filter, etc.). For example, the deviation amount from the center line (deviation amount data every 10 msec) is converted into average deviation amount data at intervals of 100 seconds. Further, the steering angle data every 10 msec is converted into the fluctuation degree determination data in units of 5 sec.
The synchronization engine can cause other processing blocks to execute the extraction of the characteristic amount and the conversion of the information amount.
データの質に関するデータ変換処理では、運転データに含まれる複数項目の情報間の関連性を変換するデータ関連性変換処理が行われる。第１同期エンジン４０，第２同期エンジン６０において、それぞれ第１データ関連性変換処理，第２データ関連性変換処理が実行される。
In the data conversion process regarding the quality of data, a data relevance conversion process for converting the relevance between the information of a plurality of items included in the driving data is performed. In the
関連性の変換では、選択的に複数の個別データが紐付けされる。例えば、個人特定データと心拍データ，時間データと心拍データ，位置データと心拍データがそれぞれ関連付けられる。個人特定データ，心拍データ，時間データ，位置データを１つに関連付けてもよい。関連付けにより、ある目的の処理において関連付けデータを一体のデータとして処理することが可能となるので、上位層における処理が軽減される。例えば、笑顔判定モデルの学習用に、口角の角度データ（データ量低減処理により得られた特徴量データ），音声データ，運転操作データ，車内環境データ（空調，音響等）を関連付けることができる。 In the conversion of relevance, a plurality of individual data are selectively linked. For example, personal identification data and heartbeat data, time data and heartbeat data, and position data and heartbeat data are associated with each other. Individual identification data, heartbeat data, time data, and position data may be associated with one another. By associating, the association data can be processed as an integral data in the processing for a certain purpose, so that the processing in the upper layer is reduced. For example, for learning the smile determination model, it is possible to associate mouth angle data (feature amount data obtained by the data amount reduction process), voice data, driving operation data, and vehicle interior environment data (air conditioning, sound, etc.).
また、関連性の変換では、関連付けられた複数の情報から特定情報の削除が行われる。例えば、個人特定データが切り離される。個人サーバ３では、特定の個別データと個人特定データが関連付けられた複合データが用いられるが、共有サーバ１では、この複合データの匿名性を確保するため、複合データから個人特定データが切り離された複合データが用いられる。また、個人特定データが、姓名，年齢，性別，住所等を含む場合、特定項目（姓名，性別）のみを切り離してもよい。
Further, in the conversion of relevance, the specific information is deleted from the plurality of related information. For example, the personal identification data is separated. The
データの時間に関するデータ変換処理では、運転データの時間軸加工を行う時間軸変更処理が行われる。第１同期エンジン４０，第２同期エンジン６０において、それぞれ第１時間軸変更処理，第２時間軸変更処理が実行される。
In the data conversion process related to the time of the data, a time axis changing process for processing the time axis of the operation data is performed. In the
時間軸加工では、所定の時間変化データが時間軸上で選択的に抽出（サンプリング）される。例えば、データの質が同じ場合は、時間軸方向に情報が間引かれる。例えば、１０ｍ秒間隔の心拍データが、１００ｍ秒間隔の心拍データに間引かれる。また、例えば、不整脈を検出するために心拍データが用いられる場合、時間軸加工により、有意な数値を示す（所定の閾値を超える）心拍データのみが選択的に抽出される。また、時間軸加工では、統計処理により、運転データの要約統計量への変換（平均化，時間軸フィルタ）や、統計情報（例えば、度数分布等）への変換が行われる。時間軸加工では、時間軸上での選択的な抽出時間間隔（一定又は不定）や統計処理時間間隔が、一般ドライバモデルＭａ，個人ドライバモデルＭｂの更新処理時間（目標応答時間）に応じて設定される。したがって、目標応答時間が長いほど、時間軸加工により出力される運転データのデータ間隔が長くなる。 In the time axis processing, predetermined time change data is selectively extracted (sampled) on the time axis. For example, when the quality of data is the same, information is thinned out in the time axis direction. For example, heartbeat data at 10 msec intervals is thinned out to heartbeat data at 100 msec intervals. Further, for example, when the heartbeat data is used to detect an arrhythmia, only the heartbeat data showing a significant numerical value (exceeding a predetermined threshold value) is selectively extracted by the time axis processing. In the time axis processing, statistical data is used to convert operation data into summary statistics (averaging, time axis filter) and statistical information (for example, frequency distribution). In the time axis processing, selective extraction time intervals (constant or indefinite) and statistical processing time intervals on the time axis are set according to the update processing time (target response time) of the general driver model Ma and the individual driver model Mb. To be done. Therefore, the longer the target response time, the longer the data interval of the operation data output by the time axis processing.
なお、本実施形態では、階層間（共有サーバ１，個人サーバ３，車載コントローラ５）においてデータ量の調整が行われるが、これに限らず、各階層内の機能ブロック（例えば、個人サーバ３の学習エンジン３１，パラメータ更新エンジン３２，リコメンドエンジン３３，差分分析エンジン３４，結果検証エンジン３５をそれぞれ構成するコンピュータ）間においてもデータ量の調整を同様に行ってもよい。
In the present embodiment, the amount of data is adjusted between layers (shared server 1,
次に、図６を参照して、パラメータ更新処理について説明する。図６は、パラメータ更新処理の説明図である。個人サーバ３は、パラメータ更新エンジン３２を有する。
パラメータ更新エンジン３２は、共有サーバ１から一般ドライバモデルＭａを取得し、車載コントローラ５から車両制御処理を規定する各種の制御パラメータＰ，運転データ（音声データ，車両状態データを含む）を取得し、個人ドライバモデルＭｂを参照して、制御パラメータＰを更新する。
Next, the parameter update processing will be described with reference to FIG. FIG. 6 is an explanatory diagram of the parameter updating process. The
The
パラメータ更新エンジン３２は、原則的に学習エンジン３１によって行われる個人ドライバモデルＭｂの更新を判断し、この更新に応じて、更新部分に関連した車両制御アルゴリズム５０を更新する。具体的には、車両制御アルゴリズム５０に含まれる制御パラメータＰ（制御パラメータの値、制御パラメータの種類を含む）が変更される。
The
このためパラメータ更新エンジン３２は、更新前の個人ドライバモデルＭｂと最新の個人ドライバモデルＭｂを比較し、更新部分を抽出する。そして、パラメータ更新エンジン３２は、車両Ａから取得した各種の制御パラメータＰから、更新部分に対応する制御パラメータＰを抽出する。また、パラメータ更新エンジン３２は、この制御パラメータＰに対応する、個人ドライバモデルＭｂのドライバモデルパラメータを取得する。
Therefore, the
そして、取得されたドライバモデルパラメータと、対応する制御パラメータＰとが比較される（差分分析）。なお、ドライバモデルパラメータが制御パラメータＰに関連するが直接は対応しない場合は、これらが直接対応するようにドライバモデルパラメータが変換され、この変換値と制御パラメータＰとが比較される。 Then, the obtained driver model parameter and the corresponding control parameter P are compared (difference analysis). When the driver model parameter is related to the control parameter P but does not directly correspond to the driver model parameter, the driver model parameter is converted so that they directly correspond to each other, and the converted value and the control parameter P are compared.
差分分析の結果、差分が制御パラメータＰの種類に応じて設定された閾値を超える場合、ドライバモデルパラメータ（又は、変換値）が更新パラメータに設定される。更に、パラメータ更新エンジン３２は、所定の更新条件が満足されたか否かを判定する。更新条件が満足されると、パラメータ更新エンジン３２は、その制御パラメータＰを更新パラメータに更新するため、制御パラメータ更新指令を出力する。車載コントローラ５は、この制御パラメータ更新指令を受信すると、これに対応する制御パラメータＰを新たな更新パラメータに更新する。
As a result of the difference analysis, when the difference exceeds the threshold set according to the type of the control parameter P, the driver model parameter (or the conversion value) is set as the update parameter. Further, the
本実施形態では、所定の更新条件として、更新内容と更新時期が規定されている。更新内容については、更新しようとする制御パラメータＰが、走る，止まる，及び曲がることに関連する走行安全に関わる車両制御処理（車両走行安全制御処理）の制御パラメータＰである場合は、更新が禁止される。車両安全に関わる制御処理の制御パラメータＰは、変更されると運転操作時に運転者へ違和感を与えるおそれがあるため更新されない。車両走行安全制御処理は、具体的には、自動アクセル制御，自動ブレーキ制御，自動操舵制御を伴う制御処理である。例えば、車両走行安全制御処理には、障害物との衝突又は走行路逸脱を防止するための危険回避制御処理が含まれる。更に、ふらつき判定処理も走行安全に関わる車両制御処理に含まれる。 In the present embodiment, the update content and update time are defined as the predetermined update conditions. Regarding the update content, if the control parameter P to be updated is the control parameter P of the vehicle control processing (vehicle traveling safety control processing) related to traveling safety related to running, stopping, and turning, updating is prohibited. To be done. The control parameter P of the control process related to vehicle safety is not updated because it may give a driver a feeling of strangeness during a driving operation when the control parameter P is changed. Specifically, the vehicle traveling safety control process is a control process involving automatic accelerator control, automatic brake control, and automatic steering control. For example, the vehicle traveling safety control process includes a risk avoidance control process for preventing a collision with an obstacle or a departure from the traveling road. Further, the fluctuation determination process is also included in the vehicle control process related to traveling safety.
なお、更新可能な更新内容であった場合、パラメータ更新エンジン３２は、運転データ（車両状態データ）から更新時期（停止時、ＩＧオフ時）を判断し、更新時期条件が満足されると制御パラメータ更新指令を送信する。また、なお、本実施形態では、パラメータ更新エンジン３２が更新条件の判断を行っているが、制御パラメータ更新指令を受信した車載コントローラ５が、更新条件の判断を行ってもよい。
If the update content is updatable, the
また、更新時期は、更新内容に応じて規定されている。更新時期には、即時（個人ドライバモデルＭｂの更新時），車両停止時，イグニッションオフ時（ＩＧオフ時）が含まれる。走行中における変更が許容されている制御パラメータＰの更新時期は、「即時」に設定されている。「即時」の例は、例えば、笑顔判定処理における笑顔判定パラメータ（口角の角度），空調装置設定温度，事故情報等である。 Also, the update timing is specified according to the update content. The update timing includes immediate (when updating the personal driver model Mb), when the vehicle is stopped, and when the ignition is off (when the IG is off). The update timing of the control parameter P, which is allowed to be changed during traveling, is set to “immediate”. Examples of "immediate" are, for example, a smile determination parameter (angle of the mouth corner) in the smile determination process, an air conditioner set temperature, accident information, and the like.
また、車両停止時における更新が適切な制御パラメータの更新時期は、「車両停止時」に設定されている。「車両停止時」の例は、例えば、デッドマン判定処理におけるデッドマン判定パラメータ（運転者画像データにおける運転者の身体の角度等），車両シート位置，ミラー角度である。
また、ＩＧオフ時における更新が適切な制御パラメータの更新時期は、「ＩＧオフ時」に設定されている。「ＩＧオフ時」の例は、例えば、一般地図情報である。
Further, the update timing of the control parameter that is appropriately updated when the vehicle is stopped is set to “when the vehicle is stopped”. Examples of “when the vehicle is stopped” are, for example, a deadman determination parameter in the deadman determination process (an angle of the driver's body in driver image data, etc.), a vehicle seat position, and a mirror angle.
Further, the update time of the control parameter that is appropriately updated when the IG is off is set to “when the IG is off”. An example of “when IG is off” is, for example, general map information.
また、更新された個人ドライバモデルＭｂが新たなサブモデルを生成した場合や、学習エンジン３１により既存のサブモデルよりも別のサブモデルの方が所定の処理に対応してより効果的であると判断された場合、これらのサブモデルに対応して新たな制御パラメータＰを追加してもよい。例えば、学習の結果、口角の角度よりも目尻の角度の方が運転者の笑顔判定に有効であると分析され、目尻の角度に基づく新たな笑顔判定モデルが生成されたとする。この場合、既存の口角の角度に基づくサブモデルに代えて、又は追加して、制御パラメータＰが設定される。具体的には、車両制御処理に含まれる笑顔判定処理における笑顔判定ロジックに用いられる制御パラメータＰの種類が、口角の角度から目尻の角度に代えられ、制御パラメータＰの値が口角の角度閾値から目尻の角度閾値に変更される。
Further, when the updated individual driver model Mb generates a new sub model, or when the
また、車両制御処理において、運転者が眠気を有すると判定された場合に所定の処理（走行ルート提案順の変更，ステアリング振動，スピーカ音量アップ等）が実行される例について説明する。学習エンジン３１は、眠気判定モデルとして、ステアリングのふらつき角度の大きさに基づくサブモデルを学習している。これに対応して、車両Ａにおける眠気判定処理では、ステアリングのふらつき角度（変動幅）が判断閾値を超えると眠気が大きいと判断される。学習エンジン３１が、普段でも車両Ａはふらつき角度が大きいと学習するとサブモデルが更新され、これに伴い判断閾値（制御パラメータの値）が大きな値に更新されていく。
Further, an example will be described in which, in the vehicle control process, a predetermined process (changing the order of travel route proposals, steering vibration, increasing the speaker volume, etc.) is executed when it is determined that the driver has drowsiness. The learning
一方、学習エンジン３１が、ステアリングのふらつき角度の大きさよりも変動周期の方が、眠気の判定に有効であると学習した場合、眠気判定モデルとして、ステアリングのふらつき角度の変動周期に基づくサブモデルを追加する。これに伴い、車両Ａにおける眠気判定処理において、制御パラメータの種類がふらつき角度の変動周期に変更され、制御パラメータの値（判断閾値；変動周期）も変更される。
また、画像データに基づく眠気判定サブモデルが追加されると、これに伴い、車両Ａにおいて制御パラメータの種類が画像データのある特徴量に変更され、制御パラメータの値（判断閾値）も変更される。
On the other hand, when the
When a drowsiness determination submodel based on image data is added, the type of the control parameter in the vehicle A is changed to a certain feature amount of the image data, and the value of the control parameter (judgment threshold) is also changed accordingly. .
また、パラメータ更新処理において、一般ドライバモデルＭａが考慮される場合の処理について説明する。即ち、車両Ａの特定運転者が通常とは異なる極端な運転操作を繰り返すと、個人ドライバモデルＭｂ及び車両制御処理（制御パラメータＰ）が、これらの安全性が低下するように更新されるおそれがある。このため、個人ドライバモデルＭｂが一般ドライバモデルＭａから大きく乖離する場合は、安全性を担保するため、一般ドライバモデルＭａに基づいて制御パラメータＰが更新される。 Further, the processing when the general driver model Ma is considered in the parameter updating processing will be described. That is, when the specific driver of the vehicle A repeats an extreme driving operation different from usual, the individual driver model Mb and the vehicle control process (control parameter P) may be updated so as to reduce the safety thereof. is there. Therefore, when the individual driver model Mb largely deviates from the general driver model Ma, the control parameter P is updated based on the general driver model Ma in order to ensure safety.
パラメータ更新エンジン３２は、一般ドライバモデルＭａ，制御パラメータＰを取得する。また、個人ドライバモデルＭｂが更新されると、更新部分を抽出する。そして、この更新部分に対応する制御パラメータＰが取得される。さらに、この更新部分における（又は取得した制御パラメータＰに対応する）個人ドライバモデルＭｂの個人ドライバモデルパラメータと、一般ドライバモデルＭａの一般ドライバモデルパラメータが取得される。
The
次に、パラメータ更新エンジン３２は、取得した個人ドライバモデルパラメータと一般ドライバモデルパラメータとを比較し、差分を算出する。そして、差分が所定値以下の場合、個人ドライバモデルパラメータに基づいて、制御パラメータＰを更新するための更新パラメータが演算される。一方、差分が所定値よりも大きい場合、一般ドライバモデルパラメータに基づいて、制御パラメータＰを更新するための更新パラメータが演算される。更新パラメータの演算は、上述の実施形態と同様である。
Next, the
このようにして更新パラメータが演算されると、上述の実施形態と同様に、所定の更新条件が満たされた場合に、制御パラメータＰを更新パラメータに更新するための制御パラメータ更新指令が出力される。 When the update parameters are calculated in this way, a control parameter update command for updating the control parameters P to the update parameters is output when a predetermined update condition is satisfied, as in the above-described embodiment. .
また、パラメータ更新処理において、個人ドライバモデルＭｂに基づいて更新された後、所定条件に応じて、一般ドライバモデルＭａに基づいて再更新される場合の処理について説明する。即ち、個人ドライバモデルＭｂにより制御パラメータＰが更新されたが、車両制御処理に改善が認められない場合、更新された制御パラメータＰが一般ドライバモデルＭａに基づいて再び更新される。 Further, in the parameter updating process, a process in the case of being updated based on the individual driver model Mb and then updated again based on the general driver model Ma according to a predetermined condition will be described. That is, although the control parameter P is updated by the individual driver model Mb, but if no improvement is recognized in the vehicle control process, the updated control parameter P is updated again based on the general driver model Ma.
再更新のための所定条件は、更新前後において、運転者の感情状態が改善したか否かである。運転者の感情状態が改善しなかった場合には、制御パラメータＰの再更新が行われる。このため、パラメータ更新エンジン３２は、運転データ（音声データ）に基づく運転者の感情分析データから、運転者の感情状態を分析する。
The predetermined condition for re-update is whether the driver's emotional state has improved before and after the update. When the emotional state of the driver has not improved, the control parameter P is updated again. Therefore, the
なお、感情分析は、パラメータ更新エンジン３２が逐次実行してもよいし、他の機能ブロック（運転者状態分析部）が継続的に実行し、感情分析履歴として記憶してもよい。なお、感情状態の改善とは、不快な負の感情（悲しみ，嫌悪，怒り，不安，緊張，不満等）から快い正の感情（喜び，楽しさ，安心，リラックス，満足等）へ感情状態が移動することである。
The emotion analysis may be sequentially executed by the
パラメータ更新エンジン３２は、制御パラメータＰを取得する。また、個人ドライバモデルＭｂが更新されると、更新部分を抽出する。そして、この更新部分に対応する制御パラメータＰが抽出される。さらに、この更新部分における（又は取得した制御パラメータＰに対応する）個人ドライバモデルＭｂの個人ドライバモデルパラメータが取得される。そして、この個人ドライバモデルパラメータに基づいて、制御パラメータＰを更新するための更新パラメータが演算される。
The
所定の更新条件が満たされた場合に、制御パラメータＰを更新パラメータに更新するための制御パラメータ更新指令が出力される。更に、車載コントローラ５は、この制御パラメータ更新指令を受信すると、これに対応する制御パラメータＰを新たな更新パラメータに更新する。
When the predetermined update condition is satisfied, the control parameter update command for updating the control parameter P to the update parameter is output. Further, when the on-
パラメータ更新エンジン３２は、個人ドライバモデルＭｂの更新に起因した制御パラメータＰの更新の前後において、運転者の感情状態が改善したか否かを判定する。運転者の感情状態が改善していると判定される場合は、制御パラメータＰの更新処理を終了する。一方、運転者の感情状態が改善していないと判定される場合は、パラメータ更新エンジン３２は、制御パラメータＰに対応する一般ドライバモデルＭａの一般ドライバモデルパラメータを取得する。
The
そして、この一般ドライバモデルパラメータに基づいて、制御パラメータＰを更新するための新たな更新パラメータが演算される。所定の更新条件が満たされた場合に、制御パラメータＰを新たな更新パラメータに更新するための制御パラメータ更新指令が出力される。更に、車載コントローラ５は、この制御パラメータ更新指令を受信すると、これに対応する制御パラメータＰを新たな更新パラメータに更新する。
Then, a new update parameter for updating the control parameter P is calculated based on this general driver model parameter. When a predetermined update condition is satisfied, a control parameter update command for updating the control parameter P with a new update parameter is output. Further, when the on-
例えば、カーブ路走行時におけるステアリング操作タイミングのサブモデルに関し、個人ドライバモデルＭｂに基づいて車両Ａの対応する制御パラメータＰ（運転支援におけるステアリング操作案内タイミング等）が更新された後、カーブ路を走行した際のストレス（心拍，音声分析等に基づく）が更新前と比べて下がっていない場合には、一般ドライバモデルＭａに基づいて同じ制御パラメータＰが更新される。 For example, regarding the sub-model of the steering operation timing when traveling on a curved road, the corresponding control parameter P of the vehicle A (the steering operation guidance timing in driving assistance, etc.) is updated based on the individual driver model Mb, and then travels on the curved road. When the stress (based on heartbeat, voice analysis, etc.) at the time of performing is not lower than that before the update, the same control parameter P is updated based on the general driver model Ma.
次に、図７を参照して、リコメンド処理（制御推奨処理）について説明する。図７は、制御推奨処理の説明図である。個人サーバ３は、リコメンドエンジン（車両制御推奨部）３３を有する。
リコメンドエンジン３３は、共有サーバ１から取得した一般ドライバモデルＭａ，車両Ａから取得した運転データ（音声データ含む），及び個人ドライバモデルＭｂを用いて、車載コントローラ５へ推奨処理の実行を指示又は提案する。車載コントローラ５は、所定の条件が満足される場合に推奨処理を実行する。
Next, the recommendation processing (control recommendation processing) will be described with reference to FIG. 7. FIG. 7 is an explanatory diagram of the control recommendation process. The
The
リコメンドエンジン３３は、状態分析ブロック３３ａとリコメンドブロック３３ｂとを有する。
状態分析ブロック３３ａは、運転データ（音声データ含む），一般ドライバモデルＭａ，個人ドライバモデルＭｂに基づいて、運転者状態，周辺環境状態，車両状態を分析する。分析には、現在の状態の分析と、近い将来（例えば、３０分後、１時間後）の状態の分析が含まれる。
The
The
リコメンドブロック３３ｂは、状態分析ブロック３３ａの分析出力，運転データ，一般ドライバモデルＭａ，個人ドライバモデルＭｂに基づいて、運転者に適合した最適な働きかけ（推奨処理）を導出及び出力する。なお、リコメンドエンジン３３は、多くの蓄積データを用いた高度な状態分析を行うため、運転者が車両Ａから離れている間においても作動し、推奨処理を適宜に導出する。
The
運転者状態は、運転者の心，体，行動の状態を含む。心（感情）状態には、注意状態，覚醒度，感情，ストレス度，運転負荷，運転モチベーション，感動，緊張度，文脈等が含まれる。体（身体）状態には、疲労度，健康状態，温冷感，機器視認性，機器操作性，乗り心地，座り心地，身体情報等が含まれる。行動状態には、注視位置／対象，注意状態，ジェスチャ，機器操作，運転行動／操作／姿勢，対話，癖，生活行動，行動意図等が含まれる。 The driver state includes the driver's state of mind, body, and behavior. The state of mind (emotion) includes a state of attention, arousal level, emotion, stress level, driving load, driving motivation, emotion, tension, and context. The body (body) state includes fatigue level, health state, thermal sensation, device visibility, device operability, riding comfort, sitting comfort, physical information, and the like. The action state includes gaze position / target, attention state, gesture, device operation, driving action / operation / posture, dialogue, habit, living action, action intention, and the like.
心状態（特に感情状態）は、音声データ（例えば、内分泌モデルを用いた感情分析），運転者の画像データ，心拍データから直接分析してもよいし、他の運転データ（運転者の撮像データ，心拍データ含む）から個人ドライバモデルＭｂを用いて推定してもよい。 The heart state (particularly emotional state) may be directly analyzed from voice data (for example, emotion analysis using an endocrine model), driver image data, heartbeat data, or other driving data (driver's imaging data). , Including the heartbeat data) may be estimated using the individual driver model Mb.
周辺環境状態は、車両Ａの周辺の環境であり、交通／走行環境，リスク事前把握（渋滞，路面凍結等），通信環境等を含む。
車両状態は、車両Ａの走行状態であり、運転難易度，ふらつき等を含む。
The surrounding environment state is the environment around the vehicle A, and includes traffic / driving environment, risk advance grasp (congestion, road surface freezing, etc.), communication environment and the like.
The vehicle state is a traveling state of the vehicle A and includes a driving difficulty level, a stagger, and the like.
リコメンドブロックは、推奨制御として、少なくとも車室空間リコメンド，走行リコメンド，情報提示リコメンドを行う。
車室空間リコメンドは、運転者に適した車室環境を提供しようとする推奨制御であり、シート／ミラー位置・角度，空調，音楽，ウェルカム演出等の提供を含む。
走行リコメンドは、運転者に適した走行ルートを提供しようとする推奨制御であり、推奨ルート，気持ちのいいルート，運転難易度が高いチャレンジルート，危険回避ルート等の提示を含む。
As a recommended control, the recommendation block performs at least vehicle space recommendation, running recommendation, and information presentation recommendation.
The vehicle interior space recommendation is a recommended control for providing a vehicle interior environment suitable for a driver and includes provision of seat / mirror position / angle, air conditioning, music, welcome performance, and the like.
The driving recommendation is a recommended control for providing a driving route suitable for the driver, and includes a recommended route, a comfortable route, a challenge route with high driving difficulty, a risk avoidance route, and the like.
情報提示リコメンドは、適切なタイミングと適切な提示方法による、運転者に役立つ情報の提示，高度な状態推定結果の提示を含む。運転者に役立つ情報の提示には、ルート上の見どころ情報（景色，レストラン，景勝等），道路交通／天気／ニュース，注意喚起（忘れ物，遅刻防止），ＴｏＤｏリスト，思い出の画像等の情報提示が含まれる。高度な状態推定結果の提示には、高度なデッドマン判定，高度な笑顔判定の情報提示が含まれる。 The information presentation recommendation includes presentation of information useful to the driver and presentation of a high-level state estimation result at an appropriate timing and an appropriate presentation method. In order to present useful information to the driver, highlight information on the route (landscape, restaurants, scenic spots, etc.), road traffic / weather / news, alerts (forgotten items, prevention of late arrival), ToDo list, images of memories, etc. Is included. The presentation of the advanced state estimation result includes information presentation of advanced deadman determination and advanced smile determination.
リコメンドブロック３３ｂは、状態分析ブロック３３ａによる分析状態と所定の推奨処理との間の関連性を記述する基本的な関連テーブルを用いて、適切な推奨制御を導出することができる。また、この関連テーブルを個人ドライバモデルＭａや一般ドライバモデルＭｂにより学習し、更新していくこともできる。
車載コントローラ５は、リコメンド信号に応じて、情報提示装置９ａ，車載機器９ｂ，情報通信装置９ｃ，車両制御システム９ｄへ指令を出力する。このため、車載コントローラ５は、各リコメンド信号を受けた場合に実行する処理プログラムを記憶していてもよい。
The
The in-
本実施形態では、例えば、状態分析ブロック３３ａが分析した各運転者状態（疲労度，感情，ストレス，注意状態，覚醒度等）に応じて、周辺環境状態や車両状態を考慮して、リコメンドブロック３３ｂが実現可能で適切な推奨処理を導出し、リコメンド信号を出力する。
In the present embodiment, for example, according to each driver state (fatigue degree, emotion, stress, attention state, awakening degree, etc.) analyzed by the
例えば、状態分析ブロック３３ａが、体の状態を推定する。ここでは、運転者が疲労度を感じていると分析されたとする。これに応じて、リコメンドブロック３３ｂは、車室空間リコメンド信号，走行ルートリコメンド信号，情報提示リコメンド信号の中から状況に応じて適宜なリコメンド信号を選択して出力する。
For example, the
車室空間リコメンド信号は、例えば、空調装置を作動させる処理，空調温度を再設定（低下）させる処理，所定の音楽チャンネル放送をスピーカから出力させる処理，音楽チャンネルを変更する処理，疲労度に応じたシート位置及びミラー角度に変更させる処理等を指示する信号である。走行ルートリコメンド信号は、例えば、難易度の高い（例えばカーブの多い）現在の設定ルートから難易度の低い（直線道路が多い）新たなルートへの変更を促す処理等を指示する信号である。情報提示リコメンド信号は、休憩や速度低下を勧める所定のメッセージを表示画面に表示させる表示処理等を指示する信号である。また、所定の体の状態，所定の心（感情）の状態が分析されたときに、適宜なリコメンド信号が選択される。 The vehicle interior space recommendation signal is, for example, a process of operating the air conditioner, a process of resetting (lowering) the air conditioning temperature, a process of outputting a predetermined music channel broadcast from the speaker, a process of changing the music channel, and a degree of fatigue. It is a signal for instructing a process for changing the seat position and the mirror angle. The travel route recommendation signal is, for example, a signal for instructing a process of prompting a change from a currently set route having high difficulty (for example, many curves) to a new route having low difficulty (for many straight roads). The information presentation recommendation signal is a signal for instructing a display process for displaying a predetermined message recommending a break or speed reduction on the display screen. Further, when a predetermined body condition and a predetermined mind (emotion) condition are analyzed, an appropriate recommendation signal is selected.
また、個人ドライバモデルＭｂは、車載機器の設定に対する運転者の好み（空調温度，放送チャンネル，シート位置，ミラー角度等）を表すサブモデルを含む。例えば、運転者が運転を開始したときや、所定の体の状態又は所定の心（感情）の状態が分析されたときに、状態分析ブロック３３ａが、車載機器の設定が運転者の好みの設定とは異なると分析すると、リコメンドブロック３３ｂは、好みの設定に変更するように指示する車室空間リコメンド信号を出力する。この指示には、作動パラメータ値（好みの設定値）として空調温度，放送チャンネル，シート位置，ミラー角度等が指定される。
Further, the individual driver model Mb includes a sub-model that represents the driver's preference (air conditioning temperature, broadcast channel, seat position, mirror angle, etc.) with respect to the setting of the in-vehicle device. For example, when the driver starts driving, or when a predetermined body condition or a predetermined mind (emotion) condition is analyzed, the
情報提示リコメンドの例を説明する。状態分析ブロック３３ａにより、個人ドライバモデルＭｂを参照して、車両Ａがわき見や眠気を誘発し易い特定場所に接近している（周辺環境状態）と分析されたとする。これに応じて、リコメンドブロック３３ｂは、特定場所の所定距離手前の地点で（適切なタイミングで）音声等による注意喚起処理を実行するようにリコメンド信号を出力する。
An example of the information presentation recommendation will be described. It is assumed that the
更に、状態分析ブロック３３ａは、一般ドライバモデルＭａを参照して、上記特定場所が一般運転者にとってもわき見や眠気を誘発し易い場所であると分析すると、リコメンドブロック３３ｂは、特定場所よりも更に手前の地点で（適切なタイミングで）早期の注意喚起処理を実行するようにリコメンド信号を出力する。
Furthermore, when the
また、個人ドライバモデルＭｂは、携帯情報端末装置７ｃから取得した通信データ（通話音声データ，メールテキストデータ，機器設定情報等）に基づいて構築された、運転者の好み（食べ物，趣味，スポーツ等）を表すサブモデルを含む。例えば、「食べ物」の好みのサブモデルでは、機器設定情報であるブックマーク等に基づいて、好きな料理の種類（日本料理，仏料理，伊料理等）がランク付けされている。
The personal driver model Mb is constructed based on communication data (call voice data, mail text data, device setting information, etc.) acquired from the mobile
このサブモデルに基づいて、状態分析ブロック３３ａは、運転者が空腹を感じ始める予想時間を分析すると、リコメンドブロック３３ｂは、その予想時間に合わせて（適切なタイミング）、好きな料理の種類のレストラン情報（料理種類，レストラン名）をナビゲーション地図上に表示させるリコメンド信号を出力する。なお、空腹度に限らず、所定の体の状態が分析されたとき，所定の心（感情）の状態が分析されたときに上記リコメンド信号を選択するように構成することができる。
Based on this sub-model, the
また、走行ルートリコメンドの例を説明する。状態分析ブロック３３ａが、個人ドライバモデルＭｂや一般ドライバモデルＭａを参照して、運転データから、運転者の感情状態又は体の状態を推定する。ここでは、運転者が感じている楽しさが低いと推定した場合を仮定する（又は、運転モチベーションの低下に伴い、１時間以内に退屈さを感じることを予測する）。
In addition, an example of the travel route recommendation will be described. The
この推定（予測）を表す分析出力を受けて、リコメンドブロック３３ｂは、楽しさを感じさせるための（又は、退屈さを生じさせないための）推奨処理を導出する。例えば、個人ドライバモデルＭｂや一般ドライバモデルＭａに基づいて、現在位置から所定距離範囲内において、一般的な運転者又は車両Ａの運転者が楽しさを感じる場所として登録されている場所（海岸線の道路，ビュースポット等）が探索され、この場所を経由地としたルートに変更を促すリコメンド信号が出力される。車載コントローラ５は、このリコメンド信号を受け取ると、リコメンド信号に含まれる経由地をナビゲーション装置に入力する。これにより、ナビゲーション装置が新たなルート計算を行うことにより、表示画面に新たな推奨ルートが表示される。
Upon receiving the analysis output representing this estimation (prediction), the
また、状態分析ブロック３３ａが、外気温，天候等から路面凍結を推定すると、リコメンドブロック３３ｂは、路面凍結が推定される場所を回避するようなルートを指示するリコメンド信号を出力する。
Further, when the
車載コントローラ５は、リコメンド信号に基づく推奨処理を実行するか否かを判定するリコメンド判定ブロック５３を有する。リコメンド判定ブロック５３は、推奨処理がエンタメ制御処理である場合には実行を許可し、推奨処理がセーフティ制御処理である場合には実行を拒否する。車載コントローラ５では、リコメンド判定ブロック５３により実行が許可された場合、エンタメ制御ブロック５２ａがリコメンド信号に応じて推奨処理を実行する。
The in-
なお、本実施形態では、推奨処理がエンタメ制御処理とセーフティ制御処理のいずれであるかに応じて、推奨処理の実行の可否が判断されている。しかしながら、これに限らず、推奨処理がエンタメ制御処理であっても、車両運転が不安全になるおそれがある場合には、推奨処理の実行が拒否されるように構成してもよい。例えば、推奨処理が、ブレーキ操作タイミングが遅れた場合の警報発生タイミングを遅くする処理であった場合には不安全性が増すため拒否されるが、警報発生タイミングを早める処理であった場合には逆に安全性が増すため許可される。 In the present embodiment, whether or not to execute the recommended process is determined depending on whether the recommended process is the entertainment control process or the safety control process. However, the present invention is not limited to this, and even if the recommended process is the entertainment control process, the execution of the recommended process may be rejected if there is a risk of unsafe vehicle driving. For example, if the recommended process is a process that delays the alarm generation timing when the brake operation timing is delayed, it is rejected due to increased unsafety, but if it is a process that accelerates the alarm generation timing, On the contrary, it is allowed because it increases safety.
また、リコメンド判定ブロック５３は、推奨処理が、車載コントローラ５による車両制御処理と矛盾する又は無効にする処理である場合にも推奨処理の実行を拒否する。例えば、車両制御処理では、天候（雨天や視界低下時）に起因して、ブレーキ操作遅れに対する警報発生タイミングを早める処理を実行するが、推奨処理が、警報発生タイミングを遅くする処理であった場合には天候起因の上記処理と矛盾又は無効にすることになるため拒否されるが、警報発生タイミングを早める処理であった場合には天候起因の上記処理と矛盾せず、無効にもしないので許可される。
Further, the
次に、一般ドライバモデルによる個人ドライバモデルの補充処理について説明する。車両Ａは、特定の地域や特定の走行動作による走行に限定されるため、個人ドライバモデルＭｂに用いられる基準データ（運転データ，一般データ）は、一般ドライバモデルＭａに用いられる基準データよりも大幅に少ない。このため、このようなデータ量の差に応じて、個人ドライバモデルＭｂと一般ドライバモデルＭａとの間には差が生じる。 Next, the supplemental process of the individual driver model by the general driver model will be described. Since the vehicle A is limited to traveling in a specific area or a specific traveling motion, the reference data (driving data, general data) used for the individual driver model Mb is larger than the reference data used for the general driver model Ma. Very few. Therefore, a difference occurs between the individual driver model Mb and the general driver model Ma according to such a difference in the amount of data.
リコメンドエンジン３３内の比較ブロック（図示せず）は、個人ドライバモデルＭｂと一般ドライバモデルＭａを取得し、比較処理を行う。この比較処理により、一般ドライバモデルＭａには存在するが、個人ドライバモデルＭｂには存在しないサブモデルや一般知識等が抽出される。抽出された差分データ（サブモデルや一般知識等）は、結果検証エンジン３５を経由して、蓄積データとして記憶され、学習エンジン３１により学習される。これにより、車両Ａに適合可能なサブモデルや一般知識等が個人ドライバモデルＭｂに付加される。
A comparison block (not shown) in the
次に、図２を参照して、リコメンド指示の検証処理について説明する。個人サーバ３は、理想ドライバモデルＭｉ，差分分析エンジン３４，結果検証エンジン３５を更に有する。
理想ドライバモデルＭｉは、エキスパート運転者の運転操作に基づいて作成されており、運転者が有する運転技術と走行難易度とが釣り合った状態で、運転者が運転操作に集中しつつ楽しんでいる状態を表す理想状態のモデルである。
差分分析エンジン３４は、この理想ドライバモデルＭｉにおける運転者状態と、運転者の音声データに基づいて分析された実際の運転者状態とを比較する。
Next, referring to FIG. 2, the verification process of the recommendation instruction will be described. The
The ideal driver model Mi is created based on the driving operation of the expert driver, and in a state where the driving skill of the driver and the traveling difficulty level are balanced, the driver concentrates on the driving operation and enjoys it. Is a model in an ideal state.
The
結果検証エンジン３５は、差分分析エンジン３４からの差分データを分析することにより、リコメンド信号による推奨処理の実行により、運転者状態がどのような影響を受けたのかを検証し、検証結果を記憶部３ｂに蓄積する。検証結果は、推奨処理の実行によって、差分がどの程度縮小したのか（理想状態に近づいた）、又は、差分がどの程度増大したのか（理想状態から遠のいた）の評価である。この検証結果を学習エンジン３１が学習することにより、特定運転者により適するように個人ドライバモデルＭｂが更新される。
The
次に、図８を参照して、改変例に係る車両運転支援システムについて説明する。図８は改変例に係る車両運転システムの構成図である。
改変例に係る車両運転支援システムＳ２は、上記実施形態の車両運転支援システムＳとは異なり、個人サーバ３が車両Ａに搭載されている。即ち、車両Ａには車載コントローラ５と個人サーバ３とが通信可能に搭載されている。データの流れは、車両運転支援システムＳと同様である。
Next, with reference to FIG. 8, a vehicle driving support system according to a modification will be described. FIG. 8 is a configuration diagram of a vehicle driving system according to a modified example.
The vehicle driving support system S2 according to the modified example is different from the vehicle driving support system S of the above-described embodiment in that the
この車両運転支援システムＳ２では、車載コントローラ５と個人サーバ３がセキュリティ機能を持ったゲートウェイを介して分割された状態で接続されている。このため、車載コントローラ５と個人サーバ３とは、別体のユニットとして構成されている。
In this vehicle driving support system S2, the in-
車載コントローラ５と個人サーバ３を一体のユニットとして構成した場合、高度な処理が要求される個人ドライバモデルの学習処理のために一時的に演算能力が不足して、車両制御処理が遅れてしまうおそれがある。しかしながら、本改変例では、これらを別体のユニットで構成しているため、車載コントローラ５は、上記実施形態と同様に、車両制御処理のみを実行すればよいため、車両制御処理の遅れは生じない。
When the vehicle-mounted
また、人工知能技術は現在開発が進められている段階であり、進歩の度合いが速い。このため、本改変例では、別体に構成した個人サーバ３を、より高性能なものに容易に更新することができる。
In addition, the artificial intelligence technology is currently in the development stage, and the progress rate is rapid. Therefore, in this modified example, the
次に、本実施形態の車両運転支援システムの作用について説明する。
本実施形態の車両運転支援システムは、複数の運転者の運転データに基づいて複数の運転者に適用するための一般ドライバモデルＭａを学習し更新する人工知能（学習エンジン１１）を有する共有サーバ１（一般ドライバモデル学習装置）を備え、運転データは、運転者の音声データを含む運転者状態データと、運転者の車両の車両状態を表す車両状態データと、を少なくとも含み、車両状態は、少なくとも運転者の車両の運動状態又は車載装置の作動状態を含み、一般ドライバモデルＭａは、車両状態と運転者の感情状態との間の関連性モデルを含み、人工知能は、運転者の運転者状態データに基づいて運転者の感情状態を分析し、分析された感情状態と車両状態との間の関連性を分析し、感情状態を生じさせる新たな車両状態を分析し、感情状態を生じさせる新たな車両状態が検出された場合、新たな車両状態に基づく新たな関連性モデルを生成することを特徴としている。
Next, the operation of the vehicle driving support system of this embodiment will be described.
The vehicle driving support system of the present embodiment has a shared server 1 having artificial intelligence (learning engine 11) that learns and updates a general driver model Ma to be applied to a plurality of drivers based on driving data of a plurality of drivers. (General driver model learning device), the driving data includes at least driver state data including voice data of the driver and vehicle state data representing a vehicle state of the vehicle of the driver, and the vehicle state is at least The general driver model Ma includes a relationship model between the vehicle state and the driver's emotional state, and the artificial intelligence includes the driver's driver state. The emotional state of the driver is analyzed based on the data, the relationship between the analyzed emotional state and the vehicle state is analyzed, and the new vehicle state that causes the emotional state is analyzed. If a new vehicle state causing information state is detected, it is characterized by generating a new association model based on a new vehicle state.
これにより、本実施形態では、共有サーバ１が、複数の運転者の運転データを学習することにより、当初は想定されていなかった感情モデル（車両状態と感情状態との間の関連性モデル）を生成することができる。これにより、運転者の運転特性により適したドライバモデルＭａを構築することが可能である。 As a result, in the present embodiment, the shared server 1 learns the driving data of a plurality of drivers, thereby creating an emotional model (relationship model between the vehicle state and the emotional state) that was not initially assumed. Can be generated. This makes it possible to construct a driver model Ma that is more suitable for the driving characteristics of the driver.
また、具体的には、車両状態データは、車速、前後加速度、横加速度、ヨーレート、アクセル開度、エンジン回転数、ＡＴギアポジション、ブレーキスイッチ位置、ブレーキ油圧、前方車間距離、先行車との相対速度、ステアリング角、ステアリングトルク、ウインカースイッチ位置、ワイパースイッチ位置、ライトスイッチ位置に関する情報の少なくとも１つを含む。 Further, specifically, the vehicle state data includes vehicle speed, longitudinal acceleration, lateral acceleration, yaw rate, accelerator opening, engine speed, AT gear position, brake switch position, brake hydraulic pressure, front inter-vehicle distance, and relative to the preceding vehicle. It includes at least one of information about speed, steering angle, steering torque, blinker switch position, wiper switch position, and light switch position.
また、本実施形態では、運転者状態データは、運転者の撮像データ、又は運転者の心拍データの少なくとも１つを更に含む。これにより、本実施形態では、音声データ以外にも、運転者の撮像データ、又は運転者の心拍データを用いることにより、運転者の感情状態を推定することができる。 In addition, in the present embodiment, the driver state data further includes at least one of image data of the driver and heartbeat data of the driver. Accordingly, in the present embodiment, the emotional state of the driver can be estimated by using the image data of the driver or the heartbeat data of the driver in addition to the voice data.
また、本実施形態では、特定運転者の運転データに基づいて特定運転者に固有の個人ドライバモデルＭｂを学習し更新する個人サーバ３（個人ドライバモデル学習装置）と、特定運転者の車両Ａに設けられ、所定の車両制御処理を実行する車載コントローラ５と、を更に備え、個人サーバ３は、一般ドライバモデルＭａ及び個人ドライバモデルＭｂに基づいて、車載コントローラ５に車両制御処理を更新させるパラメータ更新エンジン３２（車両制御更新部）を備えている。これにより、本実施形態では、パラメータ更新エンジン３２が、一般ドライバモデルＭａに生成された新たな感情モデルを車両制御処理にフィードバックすることにより、運転者の運転特性により適した車両制御処理を実現することが可能である。
In the present embodiment, the personal server 3 (individual driver model learning device) that learns and updates the individual driver model Mb unique to the specific driver based on the driving data of the specific driver, and the vehicle A of the specific driver. And a vehicle-mounted
１ 共有サーバ
３ 個人サーバ
５ 車載コントローラ
８ 車両センサ
９ａ 情報提示装置
９ｂ 車載機器
９ｃ 情報通信装置
９ｄ 車両制御システム
１１ 学習エンジン
３１ 学習エンジン
３２ パラメータ更新エンジン
３３ リコメンドエンジン
３３ａ 状態分析ブロック
３３ｂ リコメンドブロック
３４ 差分分析エンジン
３５ 結果検証エンジン
４０ 第１同期エンジン
５１ 車両制御ブロック
５１ａ 現状状態分析ブロック
５１ｂ 理想状態分析ブロック
５１ｃ 差分算出ブロック
５２ａ エンターテイメント制御ブロック
５２ｂ セーフティ制御ブロック
５３ リコメンド判定ブロック
６０ 第２同期エンジン
Ａ 車両
Ｄａ，Ｄｂ 蓄積データ
Ｍａ 一般ドライバモデル
Ｍｂ 個人ドライバモデル
Ｍｉ 理想ドライバモデル
Ｐ 制御パラメータ
Ｓ，Ｓ２ 車両運転支援システム
1
Claims (4)
複数の運転者の運転データに基づいて前記複数の運転者に適用するための一般ドライバモデルを学習し更新する人工知能を有する一般ドライバモデル学習装置を備え、
前記運転データは、前記運転者の音声データを含む運転者状態データと、前記運転者の車両の複数項目の車両状態を表す車両状態データと、を少なくとも含み、
前記車両状態は、少なくとも前記運転者の車両の運動状態又は車載装置の作動状態を含み、
前記一般ドライバモデルは、車両状態と運転者の感情状態との間の関連性モデルを含み、
前記人工知能は、
前記運転者の運転者状態データに基づいて前記運転者の感情状態の遷移を分析し、
この感情状態の遷移の分析から得られた感情状態の変化と前記車両状態の変化との間の関連性を分析し、前記感情状態の変化と前記車両状態の変化の分析に基づいて、どのような車両状態が制御因子として前記感情状態に影響を与えたのかについて、前記制御因子と感情状態との間の関連性について学習し、
前記感情状態に変化を及ぼす新たな制御因子である複数項目の車両状態の組み合わせが検出された場合、前記新たな制御因子である複数項目の車両状態の組み合わせに基づく新たな関連性モデルを生成する、車両運転支援システム。 A vehicle driving support system,
A general driver model learning device having artificial intelligence for learning and updating a general driver model to be applied to the plurality of drivers based on driving data of a plurality of drivers;
The driving data includes at least driver status data including voice data of the driver, and vehicle status data representing vehicle statuses of a plurality of items of the vehicle of the driver,
The vehicle state includes at least the motion state of the vehicle of the driver or the operating state of the vehicle-mounted device,
The general driver model includes a relationship model between a vehicle state and a driver's emotional state,
The artificial intelligence is
Analyzing the transition of the emotional state of the driver based on the driver state data of the driver,
Analyzing the relationship between the change of the vehicle status change of the resulting emotional state from the analysis of the transition of the emotional state, on the basis of the analysis of the vehicle status change with a change in the emotional state, how Learn about the relationship between the control factor and the emotional state, as to whether a different vehicle state affected the emotional state as a control factor,
When a combination of vehicle states of a plurality of items that are new control factors that affect the emotional state is detected, a new relevance model is generated based on a combination of vehicle states of a plurality of items that are the new control factors. , Vehicle driving support system.
前記特定運転者の車両に設けられ、所定の車両制御処理を実行する車載コントローラと、を更に備え、
前記個人ドライバモデル学習装置は、前記一般ドライバモデル及び前記個人ドライバモデルに基づいて、前記車載コントローラに前記車両制御処理を更新させる車両制御更新部を備えている、請求項１〜３のいずれか１項に記載の車両運転支援システム。 An individual driver model learning device for learning and updating an individual driver model specific to the specific driver based on driving data of the specific driver,
An in-vehicle controller that is provided in the vehicle of the specific driver and executes a predetermined vehicle control process,
4. The personal driver model learning device according to claim 1, further comprising a vehicle control updating unit that causes the vehicle-mounted controller to update the vehicle control process based on the general driver model and the individual driver model. The vehicle driving support system according to the item.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017065086A JP6683163B2 (en) | 2017-03-29 | 2017-03-29 | Vehicle driving support system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017065086A JP6683163B2 (en) | 2017-03-29 | 2017-03-29 | Vehicle driving support system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018169706A JP2018169706A (en) | 2018-11-01 |
| JP6683163B2 true JP6683163B2 (en) | 2020-04-15 |
Family
ID=64020296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017065086A Expired - Fee Related JP6683163B2 (en) | 2017-03-29 | 2017-03-29 | Vehicle driving support system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6683163B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022071800A (en) * | 2020-10-28 | 2022-05-16 | 株式会社日本総合研究所 | Information processing device and emotion induction method |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102533295B1 (en) * | 2018-11-13 | 2023-05-18 | 현대자동차주식회사 | Vehicle and control method for the same |
| JP2020142760A (en) * | 2019-03-08 | 2020-09-10 | マツダ株式会社 | Vehicular calculation system |
| JP7434715B2 (en) * | 2019-03-08 | 2024-02-21 | マツダ株式会社 | Vehicle computing system |
| JP7434714B2 (en) * | 2019-03-08 | 2024-02-21 | マツダ株式会社 | Vehicle computing system |
| EP3907115A4 (en) * | 2019-03-08 | 2022-03-16 | Mazda Motor Corporation | Arithmetic operation system for vehicle |
| KR20200120557A (en) * | 2019-04-12 | 2020-10-21 | 삼성전자주식회사 | Electronic device, Server and operating method for updating a artificial intelligence model |
| US11531912B2 (en) | 2019-04-12 | 2022-12-20 | Samsung Electronics Co., Ltd. | Electronic apparatus and server for refining artificial intelligence model, and method of refining artificial intelligence model |
| CN110300175B (en) * | 2019-07-02 | 2022-05-17 | 腾讯科技（深圳）有限公司 | Message pushing method and device, storage medium and server |
| JP7251392B2 (en) * | 2019-08-01 | 2023-04-04 | 株式会社デンソー | emotion estimation device |
| WO2021181699A1 (en) * | 2020-03-13 | 2021-09-16 | ヤマハ発動機株式会社 | Position evaluation device and position evaluation system |
| JP6895004B1 (en) * | 2020-05-29 | 2021-06-30 | 東亜建設工業株式会社 | Navigation monitoring system and navigation monitoring method for construction vessels |
| CN112183457A (en) * | 2020-10-19 | 2021-01-05 | 上海汽车集团股份有限公司 | Control method, device and equipment for atmosphere lamp in vehicle and readable storage medium |
| WO2023074116A1 (en) * | 2021-10-25 | 2023-05-04 | パナソニックＩｐマネジメント株式会社 | Management method for driving-characteristics improving assistance data |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4791874B2 (en) * | 2006-03-31 | 2011-10-12 | 株式会社エクォス・リサーチ | Driving support device and driving action determination device |
| JP2008301957A (en) * | 2007-06-06 | 2008-12-18 | Toyota Motor Corp | Mental state inference device |
| JP2010256943A (en) * | 2009-04-21 | 2010-11-11 | Nec Corp | Driver state decision system, decision method and deciding program |
| JP6497915B2 (en) * | 2014-12-08 | 2019-04-10 | 株式会社デンソーテン | Driving support system |
-
2017
- 2017-03-29 JP JP2017065086A patent/JP6683163B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022071800A (en) * | 2020-10-28 | 2022-05-16 | 株式会社日本総合研究所 | Information processing device and emotion induction method |
| JP2023027783A (en) * | 2020-10-28 | 2023-03-02 | 株式会社日本総合研究所 | Information processing device and emotion derivation method |
| JP7470171B2 (en) | 2020-10-28 | 2024-04-17 | 株式会社日本総合研究所 | Information processing device and emotion induction method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018169706A (en) | 2018-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6683163B2 (en) | Vehicle driving support system | |
| JP6558719B2 (en) | Vehicle driving support system and vehicle driving support method | |
| JP6575934B2 (en) | Vehicle driving support system and vehicle driving support method | |
| JP6575932B2 (en) | Vehicle driving support system | |
| CN108688675B (en) | Vehicle driving support system | |
| JP6575933B2 (en) | Vehicle driving support system | |
| JP6555645B2 (en) | Vehicle driving support system and vehicle driving support method | |
| US10259451B2 (en) | Motion sickness mitigation system and method | |
| US10192171B2 (en) | Method and system using machine learning to determine an automotive driver's emotional state | |
| JP7329755B2 (en) | Support method and support system and support device using the same | |
| JP6607223B2 (en) | Vehicle driving support system and vehicle driving support method | |
| JP6579495B2 (en) | Vehicle driving support system | |
| JP6579493B2 (en) | Vehicle driving support system | |
| JP6579494B2 (en) | Vehicle driving support system | |
| JP2020157820A (en) | Control device of vehicle, control method of vehicle, and program | |
| JP7439738B2 (en) | Vehicle support device and vehicle support method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180228 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190204 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190221 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190515 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190605 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190819 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191018 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200225 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200309 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6683163 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |