JP2021113041A - 自動運転支援装置 - Google Patents
自動運転支援装置 Download PDFInfo
- Publication number
- JP2021113041A JP2021113041A JP2020148989A JP2020148989A JP2021113041A JP 2021113041 A JP2021113041 A JP 2021113041A JP 2020148989 A JP2020148989 A JP 2020148989A JP 2020148989 A JP2020148989 A JP 2020148989A JP 2021113041 A JP2021113041 A JP 2021113041A
- Authority
- JP
- Japan
- Prior art keywords
- occupant
- vehicle
- emotion
- control parameter
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 claims abstract description 273
- 238000013459 approach Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 37
- 230000002996 emotional effect Effects 0.000 claims description 25
- 239000000284 extract Substances 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 50
- 238000000034 method Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 230000006866 deterioration Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000007935 neutral effect Effects 0.000 description 4
- 208000019901 Anxiety disease Diseases 0.000 description 3
- 230000036506 anxiety Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010206 sensitivity analysis Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】ドライバや同乗者等の乗員の感情を理想の状態に近づけるための車両の自動運転制御パラメタを具体的にかつ逐次的に算出可能な自動運転支援装置を提供する。【解決手段】自動運転支援装置は、車両の運転状態及び乗員の感情の情報に基づいて、車両の運転状態から乗員の感情を推定する乗員感情モデルを構築する乗員感情学習部と、乗員感情モデルに基づいて、乗員の感情が目標とする感情に近づく車両の理想運転状態を算出し、理想運転状態に基づいて自動運転制御用の制御パラメタを設定する制御パラメタ設定部と、を備え、制御パラメタ設定部は、車両の運転状態に関する複数の入力値をそれぞれ乗員感情モデルへ入力し、乗員感情モデルに入力された入力値のうち、乗員の感情が現在の感情よりも目標とする感情に近づく入力値を車両の理想運転状態として制御パラメタを設定する。【選択図】図3
Description
本発明は、自動運転支援装置に関する。
自動運転車両において、ドライバや同乗者等の乗員の運転特性を車両の走行制御へ反映することで、不安や違和感などのネガティブな感情を抑制する技術が提案されている。例えば、特許文献1には、運転者の運転データに基づいて運転者に固有の個人ドライバモデルを学習する個人サーバと、運転者の車両に設けられ、所定の車両制御処理を実行する車載コントローラとを備え、個人サーバは、車載コントローラに推奨処理の実行を指示するリコメンドエンジンを備え、リコメンドエンジンは、運転データに含まれる運転者の音声データに基づいて現在の運転者の感情状態を分析し、個人ドライバモデルに基づいて、分析された感情状態に応じた推奨処理を判断する車両運転支援システムが開示されている。
また、特許文献2には、車両の運転者又は同乗者の生体情報を測定する生体センサから取得した生体情報を用いて運転者又は同乗者の感情を推定し、推定した感情に基づいて車両の走行を制御する電子制御装置が開示されている。
しかしながら、特許文献1には、リコメンドエンジンが適切な推奨処理を導出し、車室空間リコメンド信号、走行ルートリコメンド信号、情報提示リコメンド信号の中から状況に応じて適宜なリコメンド信号を選択して出力することが記載されているものの、制御パラメタを具体的に算出する手順は記載されていない。特許文献2においても、推定した感情に基づいて車両の走行を制御するためのパラメタを具体的に算出する手順は記載されていない。車両の自動運転制御を実行するには、制御パラメタを逐次的に算出しなければならず、制御パラメタを具体的にかつ逐次的に算出する手法が必要とされる。
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ドライバや同乗者等の乗員の感情を理想の状態に近づけるための車両の自動運転制御パラメタを具体的にかつ逐次的に算出可能な自動運転支援装置を提供することにある。
上記課題を解決するために、本発明のある観点によれば、車両の運転状態及び乗員の感情の情報に基づいて、車両の運転状態から乗員の感情を推定する乗員感情モデルを構築する乗員感情学習部と、乗員感情モデルに基づいて、乗員の感情が目標とする感情に近づく車両の理想運転状態を算出し、理想運転状態に基づいて自動運転制御用の制御パラメタを設定する制御パラメタ設定部と、を備え、制御パラメタ設定部は、車両の運転状態に関する複数の入力値をそれぞれ乗員感情モデルへ入力し、乗員感情モデルに入力された入力値のうち、乗員の感情が現在の感情よりも目標とする感情に近づく入力値を車両の理想運転状態として制御パラメタを設定する自動運転支援装置が提供される。
また、乗員感情モデルは、車両の周囲環境の情報と、車両の運転状態の情報と、に基づいて乗員の感情を推定する乗員感情モデルであり、制御パラメタ設定部は、現在の車両の周囲環境に対応する周囲環境における車両の理想運転状態を求めて制御パラメタを設定してもよい。
また、乗員感情学習部は、推定される乗員の感情の情報と、車両の周囲環境の情報と、車両の運転状態の情報と、を紐づけたデータセットを蓄積し、制御パラメタ設定部は、蓄積されたデータセットの中から、現在の車両の周囲環境に対応する周囲環境において目標とする感情に近づく車両の運転状態を抽出し、抽出した車両の運転状態の情報に基づいて複数の入力値を作成してもよい。
また、制御パラメタ設定部は、抽出した車両の運転状態における所定のデータ項目の値と現在の車両の運転状態における所定のデータ項目の値との間で複数の入力値を設定してもよい。
また、車両の運転状態における所定のデータ項目は複数のデータ項目を含み、複数のデータ項目のうちの少なくとも一つは、ユーザにより優先項目として設定可能であり、制御パラメタ設定部は、ユーザにより設定された優先項目がある場合には、乗員感情モデルに入力する複数の入力値のデータ項目のうちの当該優先項目の値を、現在の車両の周囲環境に対応する周囲環境において目標とする感情に近づく車両の運転状態として抽出された値に固定するとともに他のデータ項目について複数の入力値を作成してもよい。
また、制御パラメタ設定部は、優先項目の値を固定して求めた制御パラメタにより自動運転制御を実行したときの乗員の感情が、乗員感情モデルを用いて算出した乗員の感情よりも悪化した場合には、乗員の感情に与える影響の大きい少なくとも一つのデータ項目を、現在の車両の周囲環境に対応する周囲環境において目標とする感情に近づく車両の運転状態として抽出された値に固定するようにユーザに提示してもよい。
また、車両の運転状態における所定のデータ項目は複数のデータ項目を含み、乗員感情学習部は、蓄積したデータセットに基づいて、乗員の感情に与える影響の大きい少なくとも一つのデータ項目を抽出し、制御パラメタ設定部は、乗員の感情に与える影響の大きい少なくとも一つのデータ項目を、現在の車両の周囲環境に対応する周囲環境において目標とする感情に近づく車両の運転状態として抽出された値に固定して複数の入力値を求め、制御パラメタを設定してもよい。
また、制御パラメタ設定部は、演算を行う演算処理装置の処理速度及び制御パラメタの更新頻度のうちの少なくとも一方に基づいて、乗員感情モデルへ入力する複数の入力値の数を設定してもよい。
以上説明したように本発明によれば、ドライバや同乗者等の乗員の感情を理想の状態に近づけるための車両の自動運転制御パラメタを具体的に算出することができ、乗員の感情を理想の状態に近づけることが可能な自動運転制御を実現することができる。
以下、添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
<1.自動運転支援装置の構成例>
まず、本発明の実施の形態に係る自動運転支援装置の構成例を説明する。図1は、本実施形態に係る自動運転支援装置10の構成例を示すブロック図である。
まず、本発明の実施の形態に係る自動運転支援装置の構成例を説明する。図1は、本実施形態に係る自動運転支援装置10の構成例を示すブロック図である。
自動運転支援装置10は、車両に搭載され、車両の乗員、車両の運転状態、並びに車両の周囲環境の情報を検出するとともに、検出された各種情報を用いて車両の運転を支援する制御を実行するように構成されている。自動運転支援装置10は、乗員検出部41、車両情報検出部43、入力部45、周囲環境検出部47、生体情報検出部49、電子制御装置50、通信装置31及び車両走行制御装置35を備えている。
(1−1.乗員検出部)
乗員検出部41は、車内に設けられて、ドライバや同乗者等の車両の乗員を検出する。電子制御装置50は、乗員検出部41で検出された情報を取得可能に構成される。乗員検出部41は、少なくとも車両に乗員が存在することを検出してもよく、個々の乗員を特定してもよい。本実施形態において、乗員検出部41は、車室内を撮影するカメラと、当該カメラにより取得される撮像データに基づいて個々の乗員を特定する画像処理装置とを含んで構成されている。画像処理装置は、撮像データを画像処理することにより人物の顔の特徴量を算出し、個々の人物を特定する。乗員検出部41は、検出した乗員が座る位置を特定してもよい。電子制御装置50は、取得した乗員の情報を、個々の乗員の感情の学習に用いる。
乗員検出部41は、車内に設けられて、ドライバや同乗者等の車両の乗員を検出する。電子制御装置50は、乗員検出部41で検出された情報を取得可能に構成される。乗員検出部41は、少なくとも車両に乗員が存在することを検出してもよく、個々の乗員を特定してもよい。本実施形態において、乗員検出部41は、車室内を撮影するカメラと、当該カメラにより取得される撮像データに基づいて個々の乗員を特定する画像処理装置とを含んで構成されている。画像処理装置は、撮像データを画像処理することにより人物の顔の特徴量を算出し、個々の人物を特定する。乗員検出部41は、検出した乗員が座る位置を特定してもよい。電子制御装置50は、取得した乗員の情報を、個々の乗員の感情の学習に用いる。
(1−2.車両情報検出部)
車両情報検出部43は、車両の運転状態の情報を検出する。車両の運転状態とは、車両の操作状態及び挙動を含む。電子制御装置50は、車両情報検出部43で検出された情報を取得可能に構成される。車両情報検出部43は、車速、加速度、ヨーレート等の車両の挙動の情報を検出する。車両情報検出部43は、例えば、エンジン回転数センサ、車速センサ、加速度センサ、角速度センサのうちの少なくとも一つを含んでいてもよい。また、車両情報検出部43は、アクセル操作量、ブレーキ操作量、ステアリング舵角等の車両の操作状態の情報を検出する。車両情報検出部43は、例えば、アクセルポジションセンサ、ブレーキストロークセンサ、舵角センサのうちの少なくとも一つを含んでいてもよい。電子制御装置50は、取得した車両情報を、個々の乗員の感情の学習に用いる。
車両情報検出部43は、車両の運転状態の情報を検出する。車両の運転状態とは、車両の操作状態及び挙動を含む。電子制御装置50は、車両情報検出部43で検出された情報を取得可能に構成される。車両情報検出部43は、車速、加速度、ヨーレート等の車両の挙動の情報を検出する。車両情報検出部43は、例えば、エンジン回転数センサ、車速センサ、加速度センサ、角速度センサのうちの少なくとも一つを含んでいてもよい。また、車両情報検出部43は、アクセル操作量、ブレーキ操作量、ステアリング舵角等の車両の操作状態の情報を検出する。車両情報検出部43は、例えば、アクセルポジションセンサ、ブレーキストロークセンサ、舵角センサのうちの少なくとも一つを含んでいてもよい。電子制御装置50は、取得した車両情報を、個々の乗員の感情の学習に用いる。
(1−3.入力部)
入力部45は、ドライバや同乗者その他のユーザの入力操作を受け付ける。本実施形態において、入力部45は、運転モードを手動運転モード又は自動運転モードに切り替える入力操作を受け付ける。また、入力部45は、運転モードが自動運転モードに設定されている場合に、乗員感情モデル63を利用して制御パラメタを設定する際の目標とする乗員の感情を設定する入力操作を受け付ける。後述のとおり、本実施形態において、ポジティブ及びネガティブの感情がそれぞれ4段階に規定され、乗員の感情はその中間のニュートラルの感情を含めて計9段階に規定されている。このため、ドライバ等の乗員は、9段階のうちのいずれかのレベルの感情を目標とする感情に設定する。
入力部45は、ドライバや同乗者その他のユーザの入力操作を受け付ける。本実施形態において、入力部45は、運転モードを手動運転モード又は自動運転モードに切り替える入力操作を受け付ける。また、入力部45は、運転モードが自動運転モードに設定されている場合に、乗員感情モデル63を利用して制御パラメタを設定する際の目標とする乗員の感情を設定する入力操作を受け付ける。後述のとおり、本実施形態において、ポジティブ及びネガティブの感情がそれぞれ4段階に規定され、乗員の感情はその中間のニュートラルの感情を含めて計9段階に規定されている。このため、ドライバ等の乗員は、9段階のうちのいずれかのレベルの感情を目標とする感情に設定する。
入力部45は、特に限定されるものではなく、タッチパネル、ダイヤルスイッチ、ボタンスイッチ等の適宜の入力装置であってよい。あるいは、入力部45は、音声又はジェスチャによる入力を受け付ける装置であってもよい。
(1−4.周囲環境検出部)
周囲環境検出部47は、車両の周囲環境の情報を検出する。電子制御装置50は、周囲環境検出部47で検出された情報を取得可能に構成される。周囲環境検出部47は、車両の周囲環境の情報として、車両の周囲に存在する人物や他車両、自転車、建造物、その他障害物等を検出する。また、周囲環境検出部47は、車両の走行位置あるいは走行エリアの天候や路面状態、日照条件等を検出する。周囲環境検出部47は、例えば、車両の周囲を撮像するカメラや、車両の周囲の物体を検出するレーダ、車両の周囲の物体までの距離や方位等を検出するLiDAR等の検出器のうちの少なくとも一つを含む。また、周囲環境検出部47は、車車間通信又は路車間通信等の車両の外部の装置から情報を取得する通信装置を含んでいてもよい。さらに、周囲環境検出部47は、路面摩擦に関連する情報を検出する検出器を含んでいてもよい。電子制御装置50は、取得した周囲環境の情報を用いて周囲環境を判定する。
周囲環境検出部47は、車両の周囲環境の情報を検出する。電子制御装置50は、周囲環境検出部47で検出された情報を取得可能に構成される。周囲環境検出部47は、車両の周囲環境の情報として、車両の周囲に存在する人物や他車両、自転車、建造物、その他障害物等を検出する。また、周囲環境検出部47は、車両の走行位置あるいは走行エリアの天候や路面状態、日照条件等を検出する。周囲環境検出部47は、例えば、車両の周囲を撮像するカメラや、車両の周囲の物体を検出するレーダ、車両の周囲の物体までの距離や方位等を検出するLiDAR等の検出器のうちの少なくとも一つを含む。また、周囲環境検出部47は、車車間通信又は路車間通信等の車両の外部の装置から情報を取得する通信装置を含んでいてもよい。さらに、周囲環境検出部47は、路面摩擦に関連する情報を検出する検出器を含んでいてもよい。電子制御装置50は、取得した周囲環境の情報を用いて周囲環境を判定する。
(1−5.生体情報検出部)
生体情報検出部49は、乗員の感情や感性を推定するための情報を検出する一つ又は複数の検出機器からなる。電子制御装置50は、乗員検出部41で検出された情報を取得可能に構成される。乗員検出部41を構成するカメラ及び画像処理装置が生体情報検出部49として機能してもよい。例えば、画像処理装置は、カメラにより取得された顔画像の色の変化に基づいて、乗員の心拍や脈拍、体温等の生体情報を検出することができる。この他、生体情報検出部49は、例えば、乗員の心拍を検出するための電波式ドップラーセンサ、乗員の脈拍を検出するための非装着型の脈拍センサ、ドライバの心拍又は心電図を計測するためにステアリングホイールに埋設された電極、乗員が座席に着座している間の座圧分布を計測するために運転席のシートに埋設された圧力計測器、乗員の心拍又は呼吸を計測するためにシートベルトの位置の変化を検出する機器、乗員の位置(生***置)の情報を検出するためのTOF(Time of Flight)センサ、又は、乗員の皮膚の表面温度を計測するためのサーモグラフィのうちの少なくとも一つを含んでいてもよい。また、乗員検出部41は、乗員に装着されて乗員の生体情報を検出すウェアラブル機器等の装着型の検出器を含んでいてもよい。
生体情報検出部49は、乗員の感情や感性を推定するための情報を検出する一つ又は複数の検出機器からなる。電子制御装置50は、乗員検出部41で検出された情報を取得可能に構成される。乗員検出部41を構成するカメラ及び画像処理装置が生体情報検出部49として機能してもよい。例えば、画像処理装置は、カメラにより取得された顔画像の色の変化に基づいて、乗員の心拍や脈拍、体温等の生体情報を検出することができる。この他、生体情報検出部49は、例えば、乗員の心拍を検出するための電波式ドップラーセンサ、乗員の脈拍を検出するための非装着型の脈拍センサ、ドライバの心拍又は心電図を計測するためにステアリングホイールに埋設された電極、乗員が座席に着座している間の座圧分布を計測するために運転席のシートに埋設された圧力計測器、乗員の心拍又は呼吸を計測するためにシートベルトの位置の変化を検出する機器、乗員の位置(生***置)の情報を検出するためのTOF(Time of Flight)センサ、又は、乗員の皮膚の表面温度を計測するためのサーモグラフィのうちの少なくとも一つを含んでいてもよい。また、乗員検出部41は、乗員に装着されて乗員の生体情報を検出すウェアラブル機器等の装着型の検出器を含んでいてもよい。
(1−6.通信装置)
通信装置31は、電子制御装置50が、外部のサーバ20との間で情報を送受信するためのインタフェースである。例えば、通信装置31は、移動体通信ネットワークを介してサーバ20にアクセス可能な通信インタフェースであってもよい。通信装置31は、ある車両で蓄積された走行感情データベース61を複数の車両で共有するために外部のサーバ20と通信するために備えられるものであり、走行感情データベース61を共有しない場合には省略されていてもよい。
通信装置31は、電子制御装置50が、外部のサーバ20との間で情報を送受信するためのインタフェースである。例えば、通信装置31は、移動体通信ネットワークを介してサーバ20にアクセス可能な通信インタフェースであってもよい。通信装置31は、ある車両で蓄積された走行感情データベース61を複数の車両で共有するために外部のサーバ20と通信するために備えられるものであり、走行感情データベース61を共有しない場合には省略されていてもよい。
(1−7.車両走行制御装置)
車両走行制御装置35は、車両の走行制御を実行する。車両走行制御装置35は、車両の走行制御を実行する一つ又は複数の制御装置を含む、例えば、車両走行制御装置35は、エンジンや、一つ又は複数の駆動用モータ及び変速機を含む動力伝達機構、ステアリングシステム、ブレーキシステム等の駆動を制御する制御装置を含む。本実施形態において、車両走行制御装置35は、車両の自動運転制御を実行可能に構成されている。運転モードが自動運転モードに設定されている場合、車両走行制御装置35は、車両の走行制御の少なくとも一部をドライバの操作によらずに自動で制御し、設定された走行経路を経由して車両を目的地まで走行させる。
車両走行制御装置35は、車両の走行制御を実行する。車両走行制御装置35は、車両の走行制御を実行する一つ又は複数の制御装置を含む、例えば、車両走行制御装置35は、エンジンや、一つ又は複数の駆動用モータ及び変速機を含む動力伝達機構、ステアリングシステム、ブレーキシステム等の駆動を制御する制御装置を含む。本実施形態において、車両走行制御装置35は、車両の自動運転制御を実行可能に構成されている。運転モードが自動運転モードに設定されている場合、車両走行制御装置35は、車両の走行制御の少なくとも一部をドライバの操作によらずに自動で制御し、設定された走行経路を経由して車両を目的地まで走行させる。
また、車両走行制御装置35は、自動運転モード中、電子制御装置50からの指令を受信して車両の走行制御を実行する。具体的に、車両走行制御装置35は、電子制御装置50から送信される制御パラメタを用いて、車両の自動運転制御を実行する。
(1−8.電子制御装置)
電子制御装置50は、例えば、CPU(Central Processing Unit)又はMPU(Micro Processing Unit)等の演算処理装置、及び、RAM(Random Access Memory)やROM(Read Only Memory)等の記憶素子を備えて構成される。演算処理装置は、記憶素子に記憶されたプログラムを実行することにより種々の演算処理を実行する。電子制御装置50は、記憶素子と併せて、あるいは、記憶素子に代えて、HDD(Hard Disk Drive)やCD(Compact Disc)、DVD(Digital Versatile Disc)、SSD(Solid State Drive)、USB(Universal Serial Bus)フラッシュ、ストレージ装置等の記憶媒体を備えていてもよい。なお、電子制御装置50の一部又は全部は、ファームウェア等の更新可能なもので構成されてもよく、また、CPU等からの指令によって実行されるプログラムモジュール等であってもよい。
電子制御装置50は、例えば、CPU(Central Processing Unit)又はMPU(Micro Processing Unit)等の演算処理装置、及び、RAM(Random Access Memory)やROM(Read Only Memory)等の記憶素子を備えて構成される。演算処理装置は、記憶素子に記憶されたプログラムを実行することにより種々の演算処理を実行する。電子制御装置50は、記憶素子と併せて、あるいは、記憶素子に代えて、HDD(Hard Disk Drive)やCD(Compact Disc)、DVD(Digital Versatile Disc)、SSD(Solid State Drive)、USB(Universal Serial Bus)フラッシュ、ストレージ装置等の記憶媒体を備えていてもよい。なお、電子制御装置50の一部又は全部は、ファームウェア等の更新可能なもので構成されてもよく、また、CPU等からの指令によって実行されるプログラムモジュール等であってもよい。
電子制御装置50は、直接的に、又は、CAN(Controller Area Network)やLIN(Local Inter-Net)等の通信ラインを介して、乗員検出部41、車両情報検出部43、入力部45、周囲環境検出部47、生体情報検出部49及び車両走行制御装置35と接続されている。
本実施形態において、電子制御装置50は、運転モード設定部51、周囲環境特定部53、乗員感情推定部55、乗員感情学習部57、感情悪化判定部59、走行感情データベース61、乗員感情モデル63及び制御パラメタ設定部65を備える。このうち、運転モード設定部51、周囲環境特定部53、乗員感情推定部55、乗員感情学習部57、感情悪化判定部59及び制御パラメタ設定部65は、演算処理装置によるプログラムの実行により実現される機能であってもよい。また、走行感情データベース61及び乗員感情モデル63は、記憶部に記憶されたデータからなる。
(1−8−1.運転モード設定部)
運転モード設定部51は、入力部45から送信される操作入力の信号に基づいて、車両の運転モードを手動運転モード又は自動運転モードに切り換える。運転モード設定部51は、自動運転モードのレベルを設定可能に構成されていてもよい。本実施形態に係る自動運転支援装置10において、電子制御装置50は、車両が手動運転モードで走行している間に乗員の感情を学習して乗員感情モデル63を構築する。一方、電子制御装置50は、車両が自動運転モードで走行している間に乗員感情モデル63を用いて乗員の感情を推定し、乗員の感情が現在の感情よりも目標とする感情に近づく車両の理想運転状態を算出し、当該理想運転状態に基づいて自動運転制御用の制御パラメタを設定する。
運転モード設定部51は、入力部45から送信される操作入力の信号に基づいて、車両の運転モードを手動運転モード又は自動運転モードに切り換える。運転モード設定部51は、自動運転モードのレベルを設定可能に構成されていてもよい。本実施形態に係る自動運転支援装置10において、電子制御装置50は、車両が手動運転モードで走行している間に乗員の感情を学習して乗員感情モデル63を構築する。一方、電子制御装置50は、車両が自動運転モードで走行している間に乗員感情モデル63を用いて乗員の感情を推定し、乗員の感情が現在の感情よりも目標とする感情に近づく車両の理想運転状態を算出し、当該理想運転状態に基づいて自動運転制御用の制御パラメタを設定する。
(1−8−2.周囲環境特定部)
周囲環境特定部53は、周囲環境検出部47から送信される周囲環境の情報に基づいて、車両の周囲環境を特定する。具体的に、周囲環境特定部53は、地図上の車両の位置や対向車を含む他車両、自転車、歩行者、建造物、その他の障害物等の位置や大きさ、これらの障害物等と自車両との間の距離や、障害物等と自車両との相対速度等を特定する。周囲環境特定部53は、電子制御装置50の処理速度に応じた所定の時間間隔で周囲環境を特定する。
周囲環境特定部53は、周囲環境検出部47から送信される周囲環境の情報に基づいて、車両の周囲環境を特定する。具体的に、周囲環境特定部53は、地図上の車両の位置や対向車を含む他車両、自転車、歩行者、建造物、その他の障害物等の位置や大きさ、これらの障害物等と自車両との間の距離や、障害物等と自車両との相対速度等を特定する。周囲環境特定部53は、電子制御装置50の処理速度に応じた所定の時間間隔で周囲環境を特定する。
(1−8−3.乗員感情推定部)
乗員感情推定部55は、生体情報検出部49から送信される生体情報に基づいて、乗員の感情を推定する。例えば、乗員感情推定部55は、生体情報検出部49から送信される心拍や脳波等のそれぞれの生体情報を、「怖い」や「心地よい」等のあらかじめ設定された感情それぞれの指標に変換するように構成されていてもよい。具体的に、乗員感情推定部55は、それぞれの生体情報を、あらかじめ設定された感情それぞれの二次元座標上に対応付けるように構成されていてもよい。それぞれの感情は、ポジティブ又はネガティブの二段階に規定されていてもよく、ポジティブ側及びネガティブ側それぞれについて複数段階のレベルに規定されていてもよい。本実施形態において、それぞれの感情がそれぞれ4段階に規定され、その中間にニュートラルの感情を含めて計9段階に規定されている。
乗員感情推定部55は、生体情報検出部49から送信される生体情報に基づいて、乗員の感情を推定する。例えば、乗員感情推定部55は、生体情報検出部49から送信される心拍や脳波等のそれぞれの生体情報を、「怖い」や「心地よい」等のあらかじめ設定された感情それぞれの指標に変換するように構成されていてもよい。具体的に、乗員感情推定部55は、それぞれの生体情報を、あらかじめ設定された感情それぞれの二次元座標上に対応付けるように構成されていてもよい。それぞれの感情は、ポジティブ又はネガティブの二段階に規定されていてもよく、ポジティブ側及びネガティブ側それぞれについて複数段階のレベルに規定されていてもよい。本実施形態において、それぞれの感情がそれぞれ4段階に規定され、その中間にニュートラルの感情を含めて計9段階に規定されている。
なお、本明細書において、「ポジティブ」とは、それぞれの感情について安全側あるいは安心側等の「良い感情」の状態であることを意味し、「ネガティブ」とは、「悪い感情」の状態であることを意味する。
(1−8−4.乗員感情学習部)
乗員感情学習部57は、運転モードが手動運転モードに設定されている間に乗員感情モデル63を学習する。乗員感情学習部57は、乗員感情推定部55で推定された乗員の感情の情報、車両情報検出部43で検出された車両の運転状態の情報及び周囲環境特定部53で特定された車両の周囲環境の情報に基づいて乗員感情モデル63を構築する。具体的に、乗員感情学習部57は、乗員の感情の情報と、当該乗員の感情の情報に時間的に紐づけられた車両の運転状態の情報及び周囲環境の情報とからなるデータセットを走行感情データベース61に蓄積するとともに、当該データセットを用いて乗員感情モデル63を構築する。
乗員感情学習部57は、運転モードが手動運転モードに設定されている間に乗員感情モデル63を学習する。乗員感情学習部57は、乗員感情推定部55で推定された乗員の感情の情報、車両情報検出部43で検出された車両の運転状態の情報及び周囲環境特定部53で特定された車両の周囲環境の情報に基づいて乗員感情モデル63を構築する。具体的に、乗員感情学習部57は、乗員の感情の情報と、当該乗員の感情の情報に時間的に紐づけられた車両の運転状態の情報及び周囲環境の情報とからなるデータセットを走行感情データベース61に蓄積するとともに、当該データセットを用いて乗員感情モデル63を構築する。
図2は、乗員感情モデル63の一例を示す。乗員感情モデル63は、車両の運転状態の情報及び周囲環境の情報を入力とし、出力として乗員感情を推定するための学習モデルである。乗員感情モデル63の構築に用いられるデータセットが時系列のデータセットであることから、入力として車両の運転状態の情報及び周囲環境の情報の時系列のデータを乗員感情モデル63に入力することにより、逐次的に乗員の感情を推定することができる。
入力データとする車両の運転状態の情報としては、車両の前後、左右及び上下それぞれの方向の加速度、ヨー角、ピッチ角及びロール角それぞれの角速度、車速、操舵角、アクセル操作量並びにブレーキ操作量の時系列データを含むことが好ましい。さらに、車両の運転状態の情報として、エンジン回転数、方向指示器出力、乗員数及び個々の乗員の属性等の情報を含んでもよい。また、入力データとする周囲環境の情報としては、自車両の走行車線、他車両や歩行者などの交通参加者に関する属性、相対距離、相対速度及び進行方向、並びに走行中の道路の車線数、信号機情報、制限速度などの交通ルール及び交通規制のデータを含むことが好ましい。さらに、周囲環境の情報として、天候、路面状態及び建造物の属性等の情報を含んでいてもよい。
また、乗員感情モデル63は、上記の時系列のデータの時間順序を保ったまま、入力データに対応する数の入力を受け取ってもよい。あるいは、乗員感情モデル63は、上記の時系列のデータから、例えば時間窓を規定して特徴量を抽出、例えば時間窓内の最大値、最小値及び平均値等を抽出し、入力データとして受け取ってもよい。この場合、入力データ数は、時系列のデータから抽出される特徴量の数に比例する。また、乗員感情モデル63は、乗員感情の推定値(1つの値)を出力する。
なお、乗員感情モデル63を構築する手法は特に限定されるものではなく、例えば、サポートベクタマシン、近傍法、ディープラーニング等のニューラルネットワーク又はベイジアンネットワーク等の公知の手法を適宜採用することができる。
(1−8−5.感情悪化判定部)
感情悪化判定部59は、運転モードが自動運転モードに設定されている間に、乗員の感情が悪化したか否かを判定する。本実施形態において、感情悪化判定部59は、乗員感情推定部55により推定された感情のレベルが、入力部45を介して設定された感情の目標レベルよりもネガティブ側にあるか否かを判定する。
感情悪化判定部59は、運転モードが自動運転モードに設定されている間に、乗員の感情が悪化したか否かを判定する。本実施形態において、感情悪化判定部59は、乗員感情推定部55により推定された感情のレベルが、入力部45を介して設定された感情の目標レベルよりもネガティブ側にあるか否かを判定する。
(1−8−6.制御パラメタ設定部)
制御パラメタ設定部65は、運転モードが自動運転モードに設定されている間、車両走行制御装置35による自動運転制御に用いられる制御パラメタを設定する。制御パラメタ設定部65は、乗員感情モデル63に基づいて、乗員の感情が目標レベルに近づく車両の理想運転状態を算出し、理想運転状態に基づいて自動運転制御用の制御パラメタを設定する。本実施形態において、制御パラメタ設定部65は、車速や加減速度、舵角等の車両の運転状態に関する複数の入力値をそれぞれ乗員感情モデル63へ入力し、乗員感情モデル63に入力された入力値のうち、乗員の感情が現在の感情よりも目標レベルに近づく入力値を車両の理想運転状態として制御パラメタを設定する。
制御パラメタ設定部65は、運転モードが自動運転モードに設定されている間、車両走行制御装置35による自動運転制御に用いられる制御パラメタを設定する。制御パラメタ設定部65は、乗員感情モデル63に基づいて、乗員の感情が目標レベルに近づく車両の理想運転状態を算出し、理想運転状態に基づいて自動運転制御用の制御パラメタを設定する。本実施形態において、制御パラメタ設定部65は、車速や加減速度、舵角等の車両の運転状態に関する複数の入力値をそれぞれ乗員感情モデル63へ入力し、乗員感情モデル63に入力された入力値のうち、乗員の感情が現在の感情よりも目標レベルに近づく入力値を車両の理想運転状態として制御パラメタを設定する。
制御パラメタは、車両走行制御装置35が車両の自動運転制御を実行する際に、それぞれの制御対象の制御量を算出するために用いられる変数である。例えば、制御パラメタは、車速や加減速度、操舵率等の値を含む。
感情の目標レベルは、例えば、入力部45を介して設定される。ドライバ等の乗員は、あらかじめ入力部45の操作入力を行い、感情の目標レベルを設定してもよい。あるいは、制御パラメタ設定部65は、常時、乗員感情推定部55により推定される乗員の感情レベルよりも1段階あるいは複数段階ポジティブ側の感情レベルを目標レベルに設定してもよい。また、制御パラメタ設定部65は、常時、ポジティブ側の最上位の感情レベルを目標レベルに設定してもよい。また、制御パラメタ設定部65は、乗員感情推定部55により推定される乗員の感情レベルがネガティブ側であった場合に、ニュートラルの感情レベルを目標レベルに設定してもよい。
さらに、車両が所定の状況下で走行した際に乗員感情推定部55により推定された乗員の感情がネガティブとなった場合、制御パラメタ設定部65が、類似の状況下での感情の目標レベルを乗員に問いかけ、その反応に基づいて設定してもよい。例えば、車両の右折時に、対向車と近いにもかかわらず車両が右折したときに、乗員感情推定部55によって乗員の生体情報から推定された乗員の感情が右折前の感情状態と比較してネガティブ側に変化した場合、制御パラメタ設定部65が、同じ状況での感情の目標レベルを問いかける。問いかける内容は事前に設定しておき、前記ネガティブ側に変化した際に、車載スピーカーなどを通じて再生する。
具体的には、制御パラメタ設定部65は、乗員に対して「今の状況では怖くない運転がよいですか?」と問いかけたり、「今の状況では多少不安があってもタイミングを重視した運転がよいですか?」と問いかけたりする。乗員が、「今の状況では怖くない運転がよい」に肯定的な反応をした場合、制御パラメタ設定部65は、感情の目標レベルをニュートラルに設定する。また、乗員が、「今の状況では多少不安があってもタイミングを重視した運転がよい」に肯定的な反応をした場合、制御パラメタ設定部65は、そのときに推定された感情レベルの1段階あるいは複数段階上の感情レベルを目標レベルに設定する。
また、制御パラメタ設定部65は、乗員感情モデル63へ入力する入力値の候補を複数用意し、当該複数の入力値を順次乗員感情モデル63へ入力する。制御パラメタ設定部65は、複数の入力値に基づいて乗員感情モデル63から出力される複数の感情レベルのうち、目標レベルに最も近づく感情レベルに対応する入力値を選択する。そして、制御パラメタ設定部65は、当該入力値を理想運転状態として、選択した入力値に基づいて制御パラメタを設定する。これにより、乗員の感情が目標レベルに近づくように車両の自動運転制御が実行される。なお、目標レベルに最も近づく前記複数の入力値が存在する場合、それらの入力値のうち、現在の制御パラメタに最も近い入力値を選択してもよい。
図3は、乗員感情モデル63を用いて車両の制御パラメタを設定するアルゴリズムの一例を示す。制御パラメタを求める際の入力値は、自動運転制御中の車両の操作状態及び挙動に関する入力値からなる。周囲環境の入力値は、制御することのできない情報(固定値)であるため、周囲環境検出部47により検出される周囲環境の情報(固定値)が用いられる。
用意される入力値の候補数は、電子制御装置50を構成する演算処理装置の処理速度及び制御パラメタの更新頻度のうちの少なくとも一方に基づいて適宜設定される。例えば、以下のようにして、用意される複数の入力値の候補数が事前に設定される。まず、乗員感情モデル63に必要とされるデータ処理量、及び、乗員感情モデル63を用いた演算処理を行う演算処理装置の処理能力から、単位時間あたりに乗員感情モデル63に入力値を入力して乗員の感情が出力される演算回数を算出する。算出された演算回数及び制御パラメタの更新速度に基づいて、制御パラメタを更新するごとに演算処理が可能な演算数を算出する。この演算数が、入力値の候補数として設定される。自動運転制御を緻密に実行するには、演算処理装置の処理速度及び制御パラメタの更新頻度を考慮して設定し得る最大数とすることが好ましい。
制御パラメタ設定部65は、複数の入力値を順次乗員感情モデル63へ入力してそれぞれの感情レベルを求め、目標レベルに最も近づく入力値を選択する。そして、制御パラメタ設定部65は、当該入力値を理想運転状態として、選択した入力値に基づいて制御パラメタを設定する。具体的に、制御パラメタ設定部65は、走行感情データベース61に蓄積されているデータセットの中から、周囲環境検出部47により検出される現在の周囲環境の情報に一致又は類似し、かつ、設定されている感情の目標レベルに最も近い感情レベルであったときの車両の運転状態のデータセットを抽出する。制御パラメタ設定部65は、抽出された車両の運転状態のデータセットを、基準操作目標値に設定する。
制御パラメタ設定部65は、舵角や加速度等の車両の運転状態の情報を対象として、現在値と上記の基準操作目標値との間で、上記の演算数に相当する複数の入力値候補を作成する。例えば、車速データについて、現在の車速が40km/hで基準操作目標値が30km/h、演算数が3である場合、車速の入力値の候補は、30km/h、35km/h、40km/hとなる。制御パラメタ設定部65は、同様の処理を、他のデータすべてについて実行し、複数の入力値候補を作成する。なお、入力値候補を複数用意するのは、基準操作目標値に設定されたデータセットの周囲環境の情報が現在の周囲環境に完全に一致していない場合、基準操作目標値が、必ずしも感情の目標レベルを実現可能な車両の運転状態であるとは限らないからである。
制御パラメタ設定部65は、作成した複数の入力値を順次乗員感情モデル63へ入力し、出力される乗員の感情が目標レベルに最も近づく車両の運転状態のデータセットを選択する。そして、制御パラメタ設定部65は、選択したデータセットに基づいて、車速や加減速度、操舵率等の自動運転制御における制御パラメタを設定する。入力値候補の数は、上述のとおり、演算処理装置の処理速度及び制御パラメタの更新頻度の少なくとも一方に基づいて設定されているため、制御パラメタ設定部65は、演算処理装置の処理サイクルごとに制御パラメタを逐次更新することができる。制御パラメタ設定部65は、乗員感情モデル63を用いた制御パラメタの設定を、演算処理装置の処理サイクルごとに実行し、設定した制御パラメタの情報を車両走行制御装置35へ送信する。これにより、乗員の感情が目標レベルとなるような自動運転制御用の制御パラメタが逐次的に求められ、乗員にとって心地よい自動運転制御を実行することができる。
<2.動作例>
ここまで、本実施形態に係る自動運転支援装置10の構成例を説明した。次に、図4〜図6に示すフローチャートに基づいて、本実施形態に係る自動運転支援装置10の動作例を説明する。以下の説明においては、上述の構成例ですでに説明した内容についての説明を省略する場合がある。
ここまで、本実施形態に係る自動運転支援装置10の構成例を説明した。次に、図4〜図6に示すフローチャートに基づいて、本実施形態に係る自動運転支援装置10の動作例を説明する。以下の説明においては、上述の構成例ですでに説明した内容についての説明を省略する場合がある。
まず、自動運転支援装置10の電子制御装置50がシステムの起動を検知すると(ステップS11)、乗員検出部41は、車両の乗員を認識する(ステップS13)。また、運転モード設定部51は、入力部45を介して入力された運転モードにしたがって、車両の運転モードを手動運転モード又は自動運転モードに設定する(ステップS15)。
次いで、運転モード設定部51は、運転モードが自動運転モードであるか否かを判別する(ステップS17)。運転モードが自動運転モードでない場合(S17/No)、つまり、運転モードが手動運転モードに設定されている場合、乗員感情推定部55は、生体情報検出部49から送信される生体情報に基づいて、乗員の感情を推定する(ステップS27)。本実施形態においては、複数段階に規定された乗員の感情のレベルを推定する。このときに推定された乗員の感情は、走行開始時の感情の情報として記憶される。次いで、車両走行制御装置35は、ドライバの運転操作にしたがって車両の走行制御を開始して車両の走行を開始させる(ステップS29)。手動運転モードで車両の走行を開始させた後、電子制御装置50は、乗員感情学習部57による乗員感情モデル63の学習処理を実行する(ステップS31)。システムが停止されるまでの間(ステップS25が肯定判定されるまでの間)、車両が手動運転モードに設定されている状態で、電子制御装置50は、乗員感情モデル63の学習処理を繰り返し実行する。
図5は、自動運転支援装置10による乗員感情モデル学習処理の一例を示すフローチャートである。まず、周囲環境特定部53は、周囲環境検出部47から送信される周囲環境の情報に基づいて車両の現在の周囲環境の情報を特定する(ステップS41)。次いで、車両情報検出部43は、現在の車両の運転状態を検出する(ステップS43)。次いで、乗員感情推定部55は、生体情報検出部49から送信される生体情報に基づいて乗員の感情を推定する(ステップS45)。
次いで、乗員感情学習部57は、乗員の感情の情報、周囲環境の情報及び車両の運転状態の情報を取得し、乗員の感情の情報と、当該乗員の感情の情報に時間的に紐づけられた周囲環境の情報及び車両の運転状態の情報とを走行感情データベース61に蓄積する(ステップS47)。次いで、乗員感情学習部57は、乗員の感情の情報と、当該乗員の感情の情報に時間的に紐づけられた周囲環境の情報及び車両の運転状態の情報とを用いて、ディープラーニング等の公知の手法を用いて乗員感情モデル63を構築あるいは更新する(ステップS49)。乗員感情学習部57は、演算処理装置の処理サイクルごとに、これらのステップS41〜ステップS49までの処理を繰り返し実行し、乗員感情モデル63を構築する。
一方、上記のステップS17において、運転モードが自動運転モードである場合(S17/Yes)、乗員感情推定部55は、生体情報検出部49から送信される生体情報に基づいて、乗員の感情を推定する(ステップS19)。このときに推定された乗員の感情は、走行開始時の感情の情報として記憶される。次いで、車両走行制御装置35は、自動運転モードで車両の走行制御を開始して車両の走行を開始させる(ステップS21)。自動運転モードで車両の走行を開始させた後、電子制御装置50は、乗員の感情に基づく車両の走行制御を実行する(ステップS23)。システムが停止されるまでの間(ステップS25が肯定判定されるまでの間)、車両が自動運転モードに設定されている状態で、電子制御装置50は、乗員の感情に基づく車両の走行制御を継続する。
図6は、自動運転支援装置10による走行感情に基づく走行制御処理のフローチャートの一例を示す。まず、周囲環境特定部53は、周囲環境検出部47から送信される周囲環境の情報に基づいて車両の現在の周囲環境の情報を特定する(ステップS51)。次いで、乗員感情推定部55は、生体情報検出部49から送信される生体情報に基づいて乗員の感情を推定する(ステップS53)。次いで、感情悪化判定部59は、推定された乗員の感情が悪化したか否かを判別する(ステップS55)。本実施形態において、感情悪化判定部59は、推定された乗員の感情のレベルが、前回に比べてネガティブ側に変化したか否かを判別する。
乗員の感情が悪化していない場合(S55/No)、自動運転支援装置10は、ステップS51に戻って、ステップS51〜ステップS55の処理を繰り返す。一方、乗員の感情が悪化した場合(S55/Yes)、制御パラメタ設定部65は、設定されている目標感情値を参照する(ステップS57)。本実施形態においては、設定されている感情の目標レベルの情報を参照する。
次いで、制御パラメタ設定部65は、走行感情データベース61を参照して、乗員感情モデル63に入力する複数の入力値の候補を作成する(ステップS59)。具体的に、制御パラメタ設定部65は、走行感情データベース61を参照して、現在の周囲環境に一致又は類似する周囲環境のデータセットの中から、乗員の感情が目標レベルに最も近い車両の運転状態のデータセットを抽出する。次いで、制御パラメタ設定部65は、抽出された車両の運転状態のデータセットを、基準操作目標値に設定し、現在の車両の運転状態の値と基準操作目標値との間で、あらかじめ設定された演算数に相当する複数の入力値の候補を作成する。
次いで、制御パラメタ設定部65は、入力値の候補のいずれかを乗員感情モデル63へ入力し、出力される乗員の感情の情報を取得する(ステップS61)。次いで、制御パラメタ設定部65は、乗員感情モデル63から出力された乗員の感情の値と目標感情値との差分を算出する(ステップS63)。本実施形態において、制御パラメタ設定部65は、乗員感情モデル63から出力された感情レベルと、感情の目標レベルとの差分を算出する。次いで、制御パラメタ設定部65は、乗員感情モデル63へのすべての入力値の候補の入力が完了したか否かを判別する(ステップS65)。すべての入力値の候補の入力が完了していない場合(S65/No)、制御パラメタ設定部65は、ステップS61に戻って次の入力値の候補を乗員感情モデル63へ入力する。制御パラメタ設定部65は、すべての入力値の候補の入力が完了するまで、ステップS61〜ステップS65の処理を繰り返し実行する。
すべての入力値の候補の入力が完了した場合(S65/Yes)、制御パラメタ設定部65は、乗員感情モデル63から出力された感情レベルと感情の目標レベルとの差分が最小となる入力値を選択する(ステップS67)。ここで選択される入力値は、乗員の感情レベルが目標レベルに最も近づく入力値である。次いで、制御パラメタ設定部65は、選択した入力値を自動運転制御の制御パラメタに変換する(ステップS69)。次いで、制御パラメタ設定部65は、算出した制御パラメタを車両走行制御装置35へ送信し、自動運転制御へ反映させる(ステップS71)。
自動運転モード中に乗員感情に基づく走行制御が実行される場合(ステップS23)、あるいは、手動運転モード中に乗員感情モデル63の学習処理が実行される場合(ステップS31)、いずれの場合においても、自動運転支援装置10は、システムが停止したか否かを判別する(ステップS25)。システムが停止していない場合(S25/No)、自動運転支援装置10は、上述したステップS17〜ステップS31までの処理を繰り返す。一方、システムが停止した場合(S25/Yes)、自動運転支援装置10は、制御処理を終了する。
以上説明したように、本実施形態に係る自動運転支援装置10は、運転モードが手動運転モードに設定されている間、乗員の感情の情報と、当該乗員の感情の情報と時間的に紐づけされた車両の運転状態の情報及び周囲環境の情報とを走行感情データベース61に蓄積するとともに、これらの情報を用いて乗員感情モデル63を構築する。さらに、自動運転支援装置10は、運転モードが自動運転モードに設定されている間、走行感情データベース61を参照して、乗員感情モデル63に入力する車両の運転状態の入力値の複数の候補を作成し、乗員感情モデル63から出力される感情レベルが目標レベルに最も近づく入力値に基づいて自動運転制御の制御パラメタを設定する。
走行感情データベース61が、時間的に紐づけられた情報のデータセットであり、制御パラメタ設定部65は、所定の処理サイクルごとに、車両の運転状態の入力値の複数の候補の中から乗員の感情レベルが目標レベルに近づく入力値に基づいて制御パラメタを設定する。このため、乗員の感情を目標とする感情に近づけることが可能な制御パラメタを具体的にかつ逐次的に設定することができる。
また、制御パラメタ設定部65は、走行感情データベース61の中から、現在の車両の周囲環境に一致するか又は類似する周囲環境のデータセットを用いて制御パラメタを設定する。このため、周囲環境が一致するデータセットが走行感情データベース61にない場合であっても、目標とする感情に近い状態に導く走行制御を実現することができる。
<3.変形例>
ここまで、本実施形態に係る自動運転支援装置10を説明したが、本実施形態に係る自動運転支援装置10は種々の変形が可能である。以下、制御パラメタ設定部65が、さらに個々の乗員に適合させて制御パラメタを設定する変形例を説明する。
ここまで、本実施形態に係る自動運転支援装置10を説明したが、本実施形態に係る自動運転支援装置10は種々の変形が可能である。以下、制御パラメタ設定部65が、さらに個々の乗員に適合させて制御パラメタを設定する変形例を説明する。
第1の変形例は、乗員感情モデル63に入力する複数の入力値の候補について、それぞれの入力値のデータ項目のうち優先する一つ又は複数のデータ項目の値を乗員が事前に決定しておく例である。例えば、ある乗員が、自動運転制御において車速を重視する場合、乗員は、車速を優先項目としてあらかじめ設定する。制御パラメタ設定部65は、複数の入力値の候補を作成する際に、車速のデータについては走行感情データベース61から抽出された基準操作目標値を構成する車速に固定し、その他のデータ項目について入力値の候補を作成する。これにより、車両の運転状態に関する乗員の嗜好を反映しつつ、乗員の感情を目標とする感情に近づける制御パラメタを設定することができる。
第2の変形例は、制御パラメタ設定部65が、個々の乗員ごとに、感情に与える影響の大きい車両の運転状態のデータ項目を走行感情データベース61に基づいて抽出し、当該乗員については、当該データ項目を固定して入力値の候補を作成する例である。例えば、乗員検出部41が個々の乗員を識別して認識し、個々の乗員ごとにデータセットを蓄積した走行感情データベース61を作成する。そして、乗員感情学習部57は、乗員感情モデル63に対する感度を分析し、感情に与える影響の大きいデータ項目を抽出する。感度の分析は、例えば、入力するデータ項目のうち、一つの項目を除いたり、あるいは、一つの項目の数値を変化させたりした場合に、出力される感情レベルが大きく変化するデータ項目を解析する方法であってもよい。制御パラメタ設定部65は、特定されたデータ項目については走行感情データベース61から抽出された基準操作目標値を構成する入力値に固定し、その他のデータ項目について入力値の候補を作成する。これにより、個々の乗員の感情に与える影響が大きいデータ項目について優先的に入力値を設定しつつ、乗員の感情を目標とする感情に近づける制御パラメタを設定することができる。
さらに、上記の第1の変形例の方法を用いて算出した制御パラメタを自動運転制御に反映させた場合に、生体情報検出部49で検出された生体情報に基づいて推定される乗員の感情レベルが、乗員感情モデル63を用いて算出された感情レベルよりもネガティブな場合に、第2の変形例の方法において求められた感情に与える影響の大きい項目について、優先するデータ項目として設定するよう乗員に提案してもよい。
これらの変形例によれば、乗員感情モデル63を用いた自動運転制御に、乗員の嗜好、又は、蓄積された走行感情データベース61に基づく客観的な傾向のうちの少なくとも一方を反映させることができ、個々の乗員の意向や特性を反映させた自動運転制御を実行することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態において、乗員感情学習部57は、運転モードが手動運転モードである場合に走行感情データベース61にデータセットを蓄積し、乗員感情モデル63を更新したが、本発明はかかる例に限定されない。乗員感情学習部57は、運転モードが自動運転モードである場合であっても、走行感情データベース61にデータセットを蓄積し、乗員感情モデル63を更新してもよい。
10…自動運転支援装置、35…車両走行制御装置、50…電子制御装置、51…運転モード設定部、53…周囲環境特定部、55…乗員感情推定部、57…乗員感情学習部、59…感情悪化判定部、61…走行感情データベース、63…乗員感情モデル、65…制御パラメタ設定部
Claims (8)
- 車両の運転状態及び乗員の感情の情報に基づいて、前記車両の運転状態から前記乗員の感情を推定する乗員感情モデルを構築する乗員感情学習部と、
前記乗員感情モデルに基づいて、前記乗員の感情が目標とする感情に近づく前記車両の理想運転状態を算出し、前記理想運転状態に基づいて自動運転制御用の制御パラメタを設定する制御パラメタ設定部と、を備え、
前記制御パラメタ設定部は、前記車両の運転状態に関する複数の入力値をそれぞれ前記乗員感情モデルへ入力し、前記乗員感情モデルに入力された入力値のうち、前記乗員の感情が現在の感情よりも前記目標とする感情に近づく入力値を前記車両の理想運転状態として前記制御パラメタを設定する、自動運転支援装置。 - 前記乗員感情モデルは、前記車両の周囲環境の情報と、前記車両の運転状態の情報と、
に基づいて前記乗員の感情を推定する前記乗員感情モデルであり、
前記制御パラメタ設定部は、現在の前記車両の周囲環境に対応する周囲環境における前記車両の理想運転状態を求めて前記制御パラメタを設定する、請求項1に記載の自動運転支援装置。 - 前記乗員感情学習部は、推定される前記乗員の感情の情報と、前記車両の周囲環境の情報と、前記車両の運転状態の情報と、を紐づけたデータセットを蓄積し、
前記制御パラメタ設定部は、蓄積されたデータセットの中から、現在の前記車両の周囲環境に対応する周囲環境において目標とする感情に近づく前記車両の運転状態を抽出し、
前記抽出した前記車両の運転状態の情報に基づいて前記複数の入力値を作成する、請求項2に記載の自動運転支援装置。 - 前記制御パラメタ設定部は、前記抽出した前記車両の運転状態における所定のデータ項目の値と現在の前記車両の運転状態における前記所定のデータ項目の値との間で前記複数の入力値を設定する、請求項3に記載の自動運転支援装置。
- 前記車両の運転状態における所定のデータ項目は複数のデータ項目を含み、
前記複数のデータ項目のうちの少なくとも一つは、ユーザにより優先項目として設定可能であり、
前記制御パラメタ設定部は、前記ユーザにより設定された前記優先項目がある場合には、前記乗員感情モデルに入力する複数の入力値の前記データ項目のうちの当該優先項目の値を、現在の前記車両の周囲環境に対応する周囲環境において目標とする感情に近づく前記車両の運転状態として抽出された値に固定するとともに他のデータ項目について前記複数の入力値を作成する、請求項3又は4に記載の自動運転支援装置。 - 前記制御パラメタ設定部は、前記優先項目の値を固定して求めた前記制御パラメタにより前記自動運転制御を実行したときの前記乗員の感情が、前記乗員感情モデルを用いて算出した前記乗員の感情よりも悪化した場合には、前記乗員の感情に与える影響の大きい少なくとも一つのデータ項目を、現在の前記車両の周囲環境に対応する周囲環境において前記目標とする感情に近づく前記車両の運転状態として抽出された値に固定するようにユーザに提示する、請求項5に記載の自動運転支援装置。
- 前記車両の運転状態における所定のデータ項目は複数のデータ項目を含み、
前記乗員感情学習部は、前記蓄積したデータセットに基づいて、前記乗員の感情に与える影響の大きい少なくとも一つのデータ項目を抽出し、
前記制御パラメタ設定部は、前記乗員の感情に与える影響の大きい少なくとも一つのデータ項目を、現在の前記車両の周囲環境に対応する周囲環境において前記目標とする感情に近づく前記車両の運転状態として抽出された値に固定して前記複数の入力値を求め、前記制御パラメタを設定する、請求項3に記載の自動運転支援装置。 - 前記制御パラメタ設定部は、演算を行う演算処理装置の処理速度及び前記制御パラメタの更新頻度のうちの少なくとも一方に基づいて、前記乗員感情モデルへ入力する前記複数の入力値の数を設定する、請求項1〜7のいずれか1項に記載の自動運転支援装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011375039.3A CN113135190A (zh) | 2020-01-17 | 2020-11-30 | 自动驾驶辅助装置 |
US17/118,122 US11697431B2 (en) | 2020-01-17 | 2020-12-10 | Automated driving assistance apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020005795 | 2020-01-17 | ||
JP2020005795 | 2020-01-17 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021113041A true JP2021113041A (ja) | 2021-08-05 |
Family
ID=77076560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020148989A Pending JP2021113041A (ja) | 2020-01-17 | 2020-09-04 | 自動運転支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021113041A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023170767A1 (ja) * | 2022-03-08 | 2023-09-14 | 三菱電機株式会社 | パラメータ決定装置、自動運転システム、および、パラメータ決定方法 |
-
2020
- 2020-09-04 JP JP2020148989A patent/JP2021113041A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023170767A1 (ja) * | 2022-03-08 | 2023-09-14 | 三菱電機株式会社 | パラメータ決定装置、自動運転システム、および、パラメータ決定方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3339126B1 (en) | Method and system to recognize individual driving preference for autonomous vehicles | |
US9786192B2 (en) | Assessing driver readiness for transition between operational modes of an autonomous vehicle | |
CN108240819B (zh) | 驾驶辅助装置和驾驶辅助方法 | |
KR102669020B1 (ko) | 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램 | |
US20210064030A1 (en) | Driver assistance for a vehicle and method for operating the same | |
US20170217445A1 (en) | System for intelligent passenger-vehicle interactions | |
JP7329755B2 (ja) | 支援方法およびそれを利用した支援システム、支援装置 | |
JP6575932B2 (ja) | 車両運転支援システム | |
CN111587197A (zh) | 利用驾驶模式识别来调节电动车辆的动力总成 | |
WO2016035268A1 (ja) | 車両の走行制御システム | |
US20190337521A1 (en) | Method and control unit for operating a self-driving car | |
JP7073880B2 (ja) | 進路決定装置 | |
CN108688675B (zh) | 车辆驾驶支援*** | |
EP4057252A1 (en) | Information processing device, information processing method, and information processing program | |
CN113135190A (zh) | 自动驾驶辅助装置 | |
KR20190027657A (ko) | 차량의 주행을 보조하는 장치 및 방법 | |
JP7226197B2 (ja) | 車両制御装置 | |
KR102539286B1 (ko) | 자율 주행 장치 및 방법 | |
US11492005B1 (en) | Systems and methods for communicating with vision and hearing impaired vehicle occupants | |
US20230067615A1 (en) | Systems and methods for communicating with vision and hearing impaired vehicle occupants | |
JP2021113041A (ja) | 自動運転支援装置 | |
JP2022123925A (ja) | 運転姿勢判定装置 | |
JP2022047580A (ja) | 情報処理装置 | |
JP2021107801A (ja) | 自動運転車両、画像表示方法およびプログラム | |
US11345354B2 (en) | Vehicle control device, vehicle control method and computer-readable medium containing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230803 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240723 |