JP7198391B2 - 車両制御装置、車両制御システム、車両制御方法、およびプログラム - Google Patents

Description

本発明は、車両制御装置、車両制御システム、車両制御方法、およびプログラムに関する。

従来、内蔵したカメラで車両の周辺を撮影し、撮影して得られた画像を記録するドライブレコーダーが搭載された車両が開示されている（特許文献１参照）。

特許第６０３５０３２号公報

しかしながら、従来の技術では、ドライブレコーダーとは異なる用途のカメラによる撮影や、撮影と制御部が車両の操舵および加減速を制御との関係については考慮されていない。

本発明は、このような事情を考慮してなされたものであり、車両の状態に応じて、車両をより適切に制御することができる車両制御装置、車両制御システム、車両制御方法、およびプログラムを提供することを目的の一つとする。

この発明に係る車両制御装置は、以下の構成を採用した。
（１）：この発明の一態様に係る車両制御装置は、車両の周辺状況を認識する認識部と、車両の操舵および加減速を制御する運転制御部と、前記車両の運転モードを、第１の運転モードと、第２の運転モードとを含む複数の運転モードのいずれかに決定し、前記第２の運転モードは運転者に課されるタスクが前記第１の運転モードに比して軽度であり、前記運転制御部が前記第２の運転モードで前記車両を制御しており、且つ前記車両の周囲を撮像する一以上のカメラまたは前記一以上のカメラにより撮像された画像に関して所定の条件を含む異常が生じた場合に、前記運転モードを前記第１の運転モードに変更するモード決定部とを備える。

（２）：上記（１）の態様において、前記画像は、少なくも前記第２の運転モードで前記車両が制御されている場合に車外の様子が撮像された画像であり、前記画像は、前記車両の周辺状況の記録用として記憶装置に記憶される。

（３）：上記（１）または（２）の態様において、前記第２の運転モードは、前記運転者に前記車両の周辺を監視するタスクおよびステアリングホイールを把持するタスクを課さないモードであり、前記第１の運転モードは、前記運転者の運転操作により前記車両が制御されるモードである。

（４）：上記（１）から（３）のいずれかの態様において、前記カメラは、前記車両の前方を撮像するカメラ、前記車両の後方を撮像するカメラ、前記車両の右方向を撮像するカメラ、および前記車両の左方向を撮像するカメラを含む。

（５）：上記（１）から（４）のいずれかの態様において、前記異常は、前記運転制御部が前記画像を取得できない状態が第１時間継続したこと、前記画像を録画する装置が前記画像を録画できなくなった状態が第２時間継続したこと、または前記運転制御部が前記装置に録画の指示を行った場合に、前記装置が録画を行わない状態が第３時間継続したことである。

（６）：上記（５）の態様において、前記第２時間または前記第３時間は、前記第１時間よりも長い。

（７）：上記（１）から（６）のいずれかの態様において、前記モード決定部は、前記車両のシステムが休止状態から起動状態に移行した場合において、前記車両に搭載されたバッテリの電圧が第１電圧以上であり、且つ前記画像を録画する設定が有効である場合に、前記一以上のカメラまたは前記一以上のカメラにより撮像された画像に関して所定の条件を含む前記異常が存在するか否を判定する。

（８）：上記（１）から（７）のうちいずれかの態様において、前記車両の操舵を制御して所定の駐車スペースに自動で前記車両を駐車させる支援を行う自動駐車制御部を更に備え、前記自動駐車制御部が前記自動で前記車両を駐車させる場合に、前記画像は表示部に表示される。

（９）：この発明の一態様に係る車両制御システムは、車両の周囲を撮像する一以上の第１カメラと、車両の周辺を撮像する第２カメラと、前記第１カメラにより撮像された画像を用いずに、少なくとも前記第２カメラにより撮像された画像を用いて前記車両の周辺状況を認識する認識部と、前記車両の操舵および加減速を制御する運転制御部と、前記車両の運転モードを、第１の運転モードと、第２の運転モードとを含む複数の運転モードのいずれかに決定し、前記第２の運転モードは運転者に課されるタスクが前記第１の運転モードに比して軽度であり、前記運転制御部が前記第２の運転モードで前記車両を制御しており、且つ前記一以上の第１カメラまたは前記一以上の第１カメラにより撮像された画像に関して所定の条件を含む異常が生じた場合に、前記運転モードを前記第１の運転モードに変更するモード決定部とを備える。

（１０）：この発明の一態様に係る車両制御方法は、車両に搭載されたコンピュータが、車両の周辺状況を認識し、車両の操舵および加減速を制御し、前記車両の運転モードを、第１の運転モードと、第２の運転モードとを含む複数の運転モードのいずれかに決定し、前記第２の運転モードは運転者に課されるタスクが前記第１の運転モードに比して軽度であり、前記第２の運転モードで前記車両を制御しており、且つ前記車両の周囲を撮像する一以上のカメラまたは前記一以上のカメラにより撮像された画像に関して所定の条件を含む異常が生じた場合に、前記運転モードを前記第１の運転モードに変更する。

（１１）：この発明の一態様に係るプログラムは、車両に搭載されたコンピュータに、車両の周辺状況を認識させ、車両の操舵および加減速を制御させ、前記車両の運転モードを、第１の運転モードと、第２の運転モードとを含む複数の運転モードのいずれかに決定させ、前記第２の運転モードは運転者に課されるタスクが前記第１の運転モードに比して軽度であり、前記第２の運転モードで前記車両を制御しており、且つ前記車両の周囲を撮像する一以上のカメラまたは前記一以上のカメラにより撮像された画像に関して所定の条件を含む異常が生じた場合に、前記運転モードを前記第１の運転モードに変更させるプログラムである。

上記（１）～（１１）の態様によれば、車両の状態に応じて、車両をより適切に制御することができる。

実施形態に係る車両制御装置を利用した車両システムの構成図である。 第１制御部および第２制御部の機能構成図である。 運転モードと自車両の制御状態、およびタスクの対応関係の一例を示す図である。 車両システム１を別の観点から示す図である。 第１制御装置１００とマルチビューカメラユニット９０とメモリ装置９６との通信に関する接続状態について説明するための図である。 異常の判定条件と推定される異常とについて説明するための図である。 図６の（１）、（２）、（３）の判定が開始される条件について説明するための図である。 第１制御装置１００の異常判定部１５６により実行される処理の流れの一例を示すフローチャートである。 モード決定部１５０により実行される処理の流れの一例を示すフローチャートである。 各装置により取得された情報の管理状態について説明するための図である。 記録した情報の保存タイミングに関する情報と、情報の保存タイミングとについて説明するための図である。

以下、図面を参照し、本発明の車両制御装置、車両制御方法、およびプログラムの実施形態について説明する。

［全体構成］
図１は、実施形態に係る車両制御装置を利用した車両システム１の構成図である。車両システム１が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。以下の説明では、車両は、四輪の内燃機関と電動機とを駆動源とするハイブリッド車両であるものとして説明する。

車両システム１は、後述する第１グループと第２グループとに車両を制御する機能が多重化または冗長化されている。これにより、車両システム１の信頼性が向上する。

車両システム１は、例えば、カメラ１０と、ＬＩＤＡＲ（Light Detection and Ranging）１４と、第１認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、ドライバモニタカメラ７０と、運転操作子８０と、マルチビューカメラユニット９０と、自動駐車制御装置９４と、メモリ装置９６と、第１制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。

更に、車両システム１は、例えば、カメラ３１０と、レーダ装置３１２と、第２制御装置３２０とを備える。

これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。図１、後述する図２および図４に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。また、図１、後述する図４および図５に示す通信線の接続態様はあくまで一例であり、接続態様は適宜変更されてもよい。更に、各機能構成は、統合されてもよいし、分散して設けられてもよい。車両システム１は、第１グループに含まれる機能構成と、第２グループに含まれる機能構成とに分類される。第１グループおよび第２グループの詳細については後述する（図４参照）。また、車両システム１は、図１に示す他、例えば、近距離の物体を検知するソナー等を備えるが図示は省略する。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両（以下、車両Ｍ）の任意の箇所に取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

ＬＩＤＡＲ１４は、車両Ｍの周辺に光（或いは光に近い波長の電磁波）を照射し、散乱光を測定する。ＬＩＤＡＲ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ＬＩＤＡＲ１４は、車両Ｍの任意の箇所に取り付けられる。

第１認識装置１６は、カメラ１０、およびＬＩＤＡＲ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識し、認識結果を第１制御装置１００に出力する。第１認識装置１６は、カメラ１０、およびＬＩＤＡＲ１４の検出結果をそのまま第１制御装置１００に出力してよい。車両システム１から第１認識装置１６が省略されてもよい。第１認識装置１６は、レーダ装置３１２の検出結果を更に用いてセンサフュージョン処理を行ってもよい。

通信装置２０は、例えば、セルラー網やＷｉ－Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ３０は、車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。ＨＭＩ３０には、ステアリングホイールに設けられ、乗員のステアリングホイールの把持を促す所定の出力部や、ＨＵＤ（Head Up Display）が含まれていてもよい。

車両センサ４０は、車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、車両Ｍの向きを検出する方位センサ等の車両Ｍの制御に用いられる種々のセンサを含む。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、車両Ｍの位置を特定する。車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。地図上経路は、ＭＰＵ６０に出力される。ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１を含み、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。また、ＭＰＵ６０は、不図示のジャイロセンサの検知結果や、ＧＮＳＳ受信機５１により特定された車両Ｍの位置等に基づいて、車両Ｍの位置を認識する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。第２地図情報６２には、ゼブラゾーン（導流帯）の位置や範囲を示す情報が記憶されている。ゼブラゾーンは、車両Ｍの走行を誘導するための道路標示である。ゼブラゾーンは、例えば縞模様で表される標示である。

ドライバモニタカメラ７０は、例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。ドライバモニタカメラ７０は、車両Ｍの運転席に着座した乗員（以下、運転者）の頭部を正面から（顔面を撮像する向きで）撮像可能な位置および向きで、車両Ｍにおける任意の箇所に取り付けられる。例えば、ドライバモニタカメラ７０は、車両Ｍのインストルメントパネルの中央部に設けられたディスプレイ装置の上部に取り付けられる。

運転操作子８０は、例えば、ステアリングホイール８２の他、アクセルペダル、ブレーキペダル、シフトレバー、その他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、第１制御装置１００、第２制御装置３２０、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。ステアリングホイール８２には、ステアリング把持センサ８４が取り付けられている。ステアリング把持センサ８４は、静電容量センサなどにより実現され、運転者がステアリングホイール８２を把持している（力を加えられる状態で接していることをいう）か否かを検知可能な信号を第１制御装置１００または第２制御装置３２０に出力する。

マルチビューカメラユニット９０は、マルチビューカメラ９１Ａ－９１Ｄと、マルチビューカメラ制御部９２と、を備える。マルチビューカメラ９１Ａ－９１Ｄ（「カメラ」または「第１カメラ」の一例）は、例えば、それぞれ車両Ｍのフロント、リア、右側のサイドミラー、左側のサイドミラーに設けられる。フロントに設けられたマルチビューカメラ９１は車両Ｍの前方（または前方の風景）を撮像し、リアに設けられたマルチビューカメラ９１は車両Ｍの後方（または後方の風景）を撮像し、右側のサイドミラーに設けられたマルチビューカメラ９１は車両Ｍの右方向（右方向の風景）を撮像し、左側のサイドミラーに設けられたマルチビューカメラ９１は車両Ｍの左方向（左方向の風景）を撮像する。マルチビューカメラ９１は、例えば、車両Ｍから数センチ－数メートルまでの領域や、運転席に着座した運転者から視認しにくい領域、死角となる領域を撮像する。マルチビューカメラ９１Ａ－９１Ｄにより撮像された画像は、車室内の表示部に表示される。運転者は、マルチビューカメラ９１Ａ－９１Ｄにより撮像された画像を参照して、車両Ｍの周囲の状況を認識することができる。

マルチビューカメラ９１Ａ－９１Ｄは、車両Ｍの四隅に設けられてもよい。また、マルチビューカメラ９１は、４台に限らず、５台以上や、３台以下であってもよい。マルチビューカメラ９１Ａ－９１Ｄが撮像する画像（動画）の画像数は、カメラ１０（「第２カメラ」の一例）またはカメラ３１０（「第２カメラ」の一例）が撮像する画像の画素数よりも低い。以下、マルチビューカメラ９１Ａ－９１Ｄを区別しない場合は、マルチビューカメラ９１と表記する場合がある。

マルチビューカメラ制御部９２は、マルチビューカメラ９１の稼働状態を制御する。例えば、所定の条件が満たされた場合、マルチビューカメラ制御部９２は、マルチビューカメラ９１を稼働させ、所定の条件を満たさなくなった場合、マルチビューカメラ制御部９２は、マルチビューカメラ９１の稼働を停止させる。所定の条件とは、車両Ｍの操舵および加減速が第１制御装置１００により制御されていること（後述する自動運転が実行されていること）や、車両Ｍの速度が所定速度以下であり且つ運転者がマルチビューカメラ９１を稼働させる指示を行ったことなどである。指示とは、自動駐車制御装置９４の支援を利用して車両Ｍを駐車スペースに駐車させる指示や、マルチビューカメラ９１により撮像された画像を車室内の表示部に表示させる指示である。

マルチビューカメラ制御部９２は、マルチビューカメラ９１が撮像した画像を合成し、合成画像を生成する。合成画像は、マルチビューカメラ９１により撮像された画像と予め撮像された車両Ｍとが合成された画像であり、疑似的に車両Ｍを真上から見たように変換された画像である。合成画像の生成は、マルチビューカメラ制御部９２に代えて、他の装置で行われてもよい。

マルチビューカメラ制御部９２は、マルチビューカメラ９１により撮像された画像をメモリ装置９６に提供し、メモリ装置９６に画像を記憶させる。例えば、マルチビューカメラ制御部９２は、第１制御装置１００の指示に基づいて、メモリ装置９６に画像を記憶させる。

自動駐車制御装置９４は、車両Ｍの操舵を制御して所定の駐車スペースに自動で車両Ｍを駐車させる支援を行う。自動駐車制御装置９４は、マルチビューカメラ９１により撮像された画像を用いて車両Ｍの駐車を支援する。自動駐車制御装置９４が自動で車両Ｍを駐車させる場合に、マルチビューカメラ９１により撮像された画像は車室内の表示部に表示される。車両Ｍを制御して所定の駐車スペースに自動で車両Ｍを駐車させる。自動駐車制御装置９４は、例えば、マルチビューカメラ９１により取得された画像（例えば合成画像）や、不図示のソナーの検出結果を用いて、車両Ｍが所定の駐車エリア（例えば枠線内）に収まるように、車両Ｍが移動する軌道を生成して生成した軌道に沿って車両Ｍの操舵（または操舵および加減速）を制御する。自動駐車制御装置９４は、車両Ｍの駐車を支援する。

メモリ装置９６は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）や、フラッシュメモリ、ＨＤＤなどの装置（非一過性の記憶媒体を備える記憶装置）である。メモリ装置９６は、マルチビューカメラユニット９０により提供された画像を記憶領域に記憶させる。マルチビューカメラユニット９０により提供された画像は、「少なくも前記第２の運転モードで前記車両が制御されている場合に車外の様子が撮像された画像であり、前記画像は、状況記録用として記憶装置に記憶される」の一例である。この画像は、事後的に、画像が撮像されたときの状況を把握したり、検証したりするために用いられる画像（例えばドライブレコーダーにより撮像された画像と同等の画像）である。

第１制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０と、第１監視部１７０と、記憶装置１８０とを備える。第１制御部１２０と第２制御部１６０と第１監視部１７０とは、それぞれ、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め第１制御装置１００のＥＥＰＲＯＭや、フラッシュメモリ、ＨＤＤなどの記憶装置１８０（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで第１制御装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。

図２は、第１制御部１２０および第２制御部１６０の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、行動計画生成部１４０と、モード決定部１５０とを備える。第１制御部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示などがある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。

認識部１３０は、カメラ１０、およびＬＩＤＡＲ１４から第１認識装置１６を介して入力された情報に基づいて、車両Ｍの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、車両Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。

認識部１３０は、例えば、車両Ｍが走行している車線（走行車線）を認識する。例えば、認識部１３０は、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。認識部１３０は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界（道路境界）を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置５０から取得される車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。認識部１３０は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。

認識部１３０は、走行車線を認識する際に、走行車線に対する車両Ｍの位置や姿勢を認識する。認識部１３０は、例えば、車両Ｍの基準点の車線中央からの乖離、および車両Ｍの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する車両Ｍの相対位置および姿勢として認識してもよい。これに代えて、認識部１３０は、走行車線のいずれかの側端部（道路区画線または道路境界）に対する車両Ｍの基準点の位置などを、走行車線に対する車両Ｍの相対位置として認識してもよい。

行動計画生成部１４０は、原則的には推奨車線決定部６１により決定された推奨車線を走行し、更に、車両Ｍの周辺状況に対応できるように、車両Ｍが自動的に（運転者の操作に依らずに）将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。

行動計画生成部１４０は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベントなどがある。行動計画生成部１４０は、起動させたイベントに応じた目標軌道を生成する。

モード決定部１５０は、車両Ｍの運転モードを、運転者に課されるタスクが異なる複数の運転モードのいずれかに決定する。モード決定部１５０は、例えば、運転者状態判定部１５２と、モード変更処理部１５４と、異常判定部１５６とを備える。これらの個別の機能については後述する。

図３は、運転モードと車両Ｍの制御状態、およびタスクの対応関係の一例を示す図である。車両Ｍの運転モードには、例えば、モードＡからモードＥの５つのモードがある。制御状態すなわち車両Ｍの運転制御の自動化度合いは、モードＡが最も高く、次いでモードＢ、モードＣ、モードＤの順に低くなり、モードＥが最も低い。この逆に、運転者に課されるタスクは、モードＡが最も軽度であり、次いでモードＢ、モードＣ、モードＤの順に重度となり、モードＥが最も重度である。なお、モードＤおよびＥでは自動運転でない制御状態となるため、第１制御装置１００としては自動運転に係る制御を終了し、運転支援または手動運転に移行させるまでが責務である。以下、それぞれの運転モードの内容について例示する。

モードＡでは、自動運転の状態となり、運転者には前方監視（または車両Ｍの周辺の監視）、ステアリングホイール８２の把持（図ではステアリング把持）のいずれも課されない。但し、モードＡであっても運転者は、第１制御装置１００を中心としたシステムからの要求に応じて速やかに手動運転に移行できる体勢であることが要求される。ここで言う自動運転とは、操舵、加減速のいずれも運転者の操作に依らずに制御されることをいう。前方とは、フロントウインドシールドを介して視認される車両Ｍの進行方向の空間を意味する。モードＡは、例えば、高速道路などの自動車専用道路において、所定速度（例えば５０［ｋｍ／ｈ］程度）以下で車両Ｍが走行しており、追従対象の前走車両が存在するなどの条件が満たされる場合に実行可能な運転モードであり、ＴＪＰ（Traffic Jam Pilot）と称される場合もある。この条件が満たされなくなった場合、モード決定部１５０は、モードＢに車両Ｍの運転モードを変更する。

モードＢでは、運転支援の状態となり、運転者には車両Ｍの前方を監視するタスク（以下、前方監視）が課されるが（または車両Ｍの周辺の監視が課されるが）、ステアリングホイール８２を把持するタスクは課されない。モードＣでは、運転支援の状態となり、運転者には前方監視のタスクと、ステアリングホイール８２を把持するタスクが課される。モードＤは、車両Ｍの操舵と加減速のうち少なくとも一方に関して、ある程度の運転者による運転操作が必要な運転モードである。例えば、モードＤでは、ＡＣＣ（Adaptive Cruise Control）やＬＫＡＳ（Lane Keeping Assist System）といった運転支援が行われる。モードＥでは、操舵、加減速ともに運転者による運転操作が必要な手動運転の状態となる。モードＤ、モードＥともに、当然ながら運転者には車両Ｍの前方を監視するタスクが課される。なお、各モードにおいて、前方監視に代えて、周辺監視が課されてもよい。周辺とは、手動運転時に運転者が視認している自車両Ｍの周辺の空間を意味する。以下の説明では、「前方監視」が課されるものとして説明する。

第１制御装置１００（および運転支援装置（不図示））は、運転モードに応じた自動車線変更を実行する。自動車線変更には、システム要求による自動車線変更（１）と、運転者要求による自動車線変更（２）がある。自動車線変更（１）には、前走車両の速度が自車両の速度に比して基準以上に小さい場合に行われる、追い越しのための自動車線変更と、目的地に向けて進行するための自動車線変更（推奨車線が変更されたことによる自動車線変更）とがある。自動車線変更（２）は、速度や周辺車両との位置関係等に関する条件が満たされた場合において、運転者により方向指示器が操作された場合に、操作方向に向けて自車両Ｍを車線変更させるものである。

第１制御装置１００は、モードＡにおいて、自動車線変更（１）および（２）のいずれも実行しない。第１制御装置１００は、モードＢおよびＣにおいて、自動車線変更（１）および（２）のいずれも実行する。運転支援装置（不図示）は、モードＤにおいて、自動車線変更（１）は実行せず自動車線変更（２）を実行する。モードＥにおいて、自動車線変更（１）および（２）のいずれも実行されない。

モード決定部１５０は、決定した運転モード（以下、現運転モード）に係るタスクが運転者により実行されない場合に、よりタスクが重度な運転モードに車両Ｍの運転モードを変更する。

例えば、モードＡにおいて運転者が、システムからの要求に応じて手動運転に移行できない体勢である場合（例えば許容エリア外の脇見を継続している場合や、運転困難となる予兆が検出された場合）、モード決定部１５０は、ＨＭＩ３０や乗員のステアリングホイールの把持を促す所定の出力部を用いて運転者に手動運転への移行を促し、運転者が応じなければ車両Ｍを路肩に寄せて徐々に停止させ、自動運転を停止する、といった制御を行う。自動運転を停止した後は、車両ＭはモードＤまたはＥの状態になり、運転者の手動操作によって車両Ｍを発進させることが可能となる。以下、「自動運転を停止」に関して同様である。モードＢにおいて運転者が前方を監視していない場合、モード決定部１５０は、ＨＭＩ３０や所定の出力部を用いて運転者に前方監視を促し、運転者が応じなければ車両Ｍを路肩に寄せて徐々に停止させ、自動運転を停止する、といった制御を行う。モードＣにおいて運転者が前方を監視していない場合、或いはステアリングホイール８２を把持していない場合、モード決定部１５０は、ＨＭＩ３０や所定の出力部を用いて運転者に前方監視を、および／またはステアリングホイール８２を把持するように促し、運転者が応じなければ車両Ｍを路肩に寄せて徐々に停止させ、自動運転を停止する、といった制御を行う。

運転者状態判定部１５２は、上記のモード変更のために運転者の状態を監視し、運転者の状態がタスクに応じた状態であるか否かを判定する。例えば、運転者状態判定部１５２は、ドライバモニタカメラ７０が撮像した画像を解析して姿勢推定処理を行い、運転者が、システムからの要求に応じて手動運転に移行できない体勢であるか否かを判定する。運転者状態判定部１５２は、ドライバモニタカメラ７０が撮像した画像を解析して視線推定処理を行い、運転者が前方を監視しているか否かを判定する。

モード変更処理部１５４は、モード変更のための各種処理を行う。例えば、モード変更処理部１５４は、行動計画生成部１４０に路肩停止のための目標軌道を生成するように指示したり、運転支援装置（不図示）に作動指示をしたり、運転者に行動を促すためにＨＭＩ３０の制御をしたりする。

異常判定部１５６は、第１制御装置１００が車両Ｍを制御し、且つ車室内の表示部に表示させるために車両Ｍの周囲（または周辺の風景）を撮像する一以上のマルチビューカメラ９１（マルチビューカメラ９１Ａ－９１Ｄの全部または一部）またはマルチビューカメラ９１Ａ－９１Ｄにより撮像された画像に関して所定の条件を含む異常（例えばマルチビューカメラ９１Ａ－９１Ｄにより撮像された画像の処理に異常）が生じた場合、運転モードを第１運転モードに変更する。詳細については後述する。

図２の説明に戻る。第２制御部１６０は、行動計画生成部１４０によって生成された目標軌道を、予定の時刻通りに車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。

第２制御部１６０は、例えば、取得部１６２と、速度制御部１６４と、操舵制御部１６６とを備える。取得部１６２は、行動計画生成部１４０により生成された目標軌道（軌道点）の情報を取得し、メモリ（不図示）に記憶させる。速度制御部１６４は、メモリに記憶された目標軌道に付随する速度要素に基づいて、後述する駆動ＥＣＵ２５２を介して走行駆動力出力装置２００を制御し、制動ＥＣＵ（２６０または３６２）を介してブレーキ装置２１０を制御する。操舵制御部１６６は、メモリに記憶された目標軌道の曲がり具合に応じて、操舵ＥＣＵ（２５０または３５０）を介して、ステアリング装置２２０を制御する。速度制御部１６４および操舵制御部１６６の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１６６は、車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。なお、上記の速度制御部１６４は、駆動ＥＣＵ２５２または制動ＥＣＵに統合されてもよい。上記の操舵制御部１６６は、操舵ＥＣＵに統合されてもよい。第１監視部１７０の詳細については後述する。

図１の説明に戻る。走行駆動力出力装置２００は、車両Ｍが走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせである。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータとを備える。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、電動モータを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。

カメラ３１０は、例えば、例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。カメラ３１０は、車両Ｍの任意の箇所に取り付けられる。カメラ３１０は、例えば、周期的に繰り返し車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置３１２は、車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置３１２は、車両Ｍの任意の箇所に取り付けられる。レーダ装置３１２は、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

第２制御装置３２０は、例えば、第２認識部３３０と、車両制御部３４０と、第２監視部３４２と、記憶装置３６０とを備える。第２認識部３３０と、車両制御部３４０と、第２監視部３４２とは、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め第２制御装置３２０のＥＥＰＲＯＭや、フラッシュメモリ、ＨＤＤなどの記憶装置３６０（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで第２制御装置３２０のＨＤＤやフラッシュメモリにインストールされてもよい。

第２認識部３３０は、カメラ３１０、およびレーダ装置３１２のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。

車両制御部３４０は、第１制御部１２０および第２制御部１６０と同様の処理を実行して、車両Ｍの自動運転を実行する。ただし、第１制御部１２０および第２制御部１６０（第１制御装置１００）の処理性能は、車両制御部３４０（第２制御装置３２０）の処理性能よりも高い。第１制御部１２０および第２制御部１６０の処理性能の信頼性は、車両制御部３４０の処理性能の信頼性よりも高い。このため、第１制御部１２０および第２制御部１６０による自動運転は、車両制御部３４０による自動運転よりも滑らかである。第２監視部３４２の詳細については後述する。

［第１グループおよび第２グループ］
図４は、車両システム１を別の観点から示す図である。図４を参照して、第１グループおよび第２グループについて説明する。図１、図２で説明した機能構成については説明を省略する。

（第１グループ）
カメラ１０、ＬＩＤＡＲ１４、第１認識装置１６、ＭＰＵ６０、第１制御装置１００、操舵ＥＣＵ（Electronic Control Unit）２５０、駆動ＥＣＵ２５２、制動ＥＣＵ２６０、停止保持ＥＣＵ２６２、第１通知ＥＣＵ２６４、マルチビューカメラユニット９０、自動駐車制御装置９４、メモリ装置９６、およびＧＷ２８０は、例えば、第１グループに含まれる。第１グループに含まれる機能構成は、互いに通信可能である。

操舵ＥＣＵ２５０は、第１制御装置１００と連携してステアリング装置２２０を制御する。操舵ＥＣＵ２５０は、第２制御部１６０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。操舵ＥＣＵ２５０は、ステアリングホイールに対する運転者の操作に応じて操舵を制御する。操舵ＥＣＵ２５０は、操舵のための駆動力を出力する電動機や、電動機の回転量を検知するセンサ、操舵トルクを検知するトルクセンサから入力された情報を用いて操舵を制御したり、これらの情報を第２制御部１６０に提供したりする。

駆動ＥＣＵ２５２は、第１制御装置１００と連携して走行駆動力出力装置２００を制御する。駆動ＥＣＵ２５２は、運転操作子８０に設けられたセンサから入力される情報に従って、走行駆動力出力装置２００を制御する。駆動ＥＣＵ２５２は、例えば、アクセルペダルの操作量や、ブレーキペダルの操作量、車速を検知するセンサから入力された情報に基づいて、内燃機関または電動機を制御したり、自動変速機の変速段を切り替えたりする。

制動ＥＣＵ２６０は、第１制御装置１００と連携してブレーキ装置２１０を制御する。制動ＥＣＵ２６０は、第２制御部１６０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。制動ＥＣＵ２６０とブレーキ装置２１０とは、例えば、電動サーボブレーキ（ＥＳＢ）として機能する。制動ＥＣＵ２６０は、例えば、ブレーキ装置２１０による制動力と、電動機の回生制動による制動力との配分を制御する。

停止保持ＥＣＵ２６２は、自動変速機に設けられている電動パーキングロック装置を制御する。電動パーキングロック装置は、例えば、Ｐレンジ（パーキングレンジ）が選択された場合に自動変速機の内部機構をロックする。

第１通知ＥＣＵ２６４は、車内に情報を通知する車内出力部を制御する。車内出力部は、例えば、ステアリングホイールに設けられた出力部を含む。この出力部は、例えば、車両Ｍの乗員がステアリングホイールを把持する必要がある場合に点灯する。また、車内出力部は、シートベルトを振動させて、乗員にステアリングホイールの把持や、所定の動作を促す機構も含む。

ＧＷ２８０は、通信線ＣＬ－Ａと通信線ＣＬ－Ｂとを中継する。通信線ＣＬ－Ａには、例えば、カメラ１０、第１認識装置１６、第１制御装置１００、駆動ＥＣＵ２５２、制動ＥＣＵ２６０、停止保持ＥＣＵ２６２、第１通知ＥＣＵ２６４、外部通知ＥＣＵ２６６、マルチビューカメラユニット９０等が接続されている。通信線ＣＬ－Ｂには、例えば、カメラ３１０、レーダ装置３１２、第２制御装置３２０、操舵ＥＣＵ３５０、制動ＥＣＵ３６２、停止保持ＥＣＵ３６４、および第２通知ＥＣＵ３６６が接続されている。

（第２グループ）
ステアリング把持センサ８４、カメラ３１０、ＬＩＤＡＲ３１２、第２制御装置３２０、操舵ＥＣＵ３５０、制動ＥＣＵ３６２、停止保持ＥＣＵ３６４、およびステアリング把持センサ８４は、例えば、第２グループに含まれる。第２グループに含まれる機能構成は、互いに通信可能である。

操舵ＥＣＵ３５０は、第２制御装置３００と連携してステアリング装置２２０を制御する。操舵ＥＣＵ２５０は、操舵のための駆動力を出力する電動機や、電動機の回転量を検知するセンサ、操舵トルクを検知するトルクセンサから入力された情報を用いて操舵を制御する。

制動ＥＣＵ３６２は、第２制御装置３００と連携してブレーキ装置２１０を制御する。制動ＥＣＵ３６２は、車両制御部３４０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。制動ＥＣＵ３６２は、ＶＳＡ（Vehicle Stability Assist）を実現する。制動ＥＣＵ３６２は、ヨーレートセンサや、加速度センサの検知結果に基づいて、急ブレーキや低摩擦路においてブレーキをかけたときに車輪がロックして滑走が生じるのを抑制したり、発進時や停止時に車輪の空転を抑制したり、更に、旋回時に車両Ｍの姿勢を制御して横滑りが生じるのを抑制したりする。

停止保持ＥＣＵ３６４は、電動パーキングブレーキ（ＥＰＢ）を制御して車両Ｍの停止を維持させる。電動パーキングブレーキは後輪をロックする機構を有する。停止保持ＥＣＵ３６４は、電動パーキングブレーキを制御して後輪をロックしたり、ロックを解除したりする。

［第１監視部および第２監視部］
第１監視部１７０は、ＧＷ２８０を介して接続されている第２グループに含まれる機能構成（機能構成を有する装置）の一部または全部の状態を監視する。第１監視部１７０は、例えば、通信先の装置により送信された情報を取得し、取得した情報に基づいて通信先の装置に異常が存在するか否かを判定する。異常が存在するとは、例えば、第２制御装置３２０が意図する状態に通信先の装置を制御できない状態である。異常が存在するとは、例えば、装置の欠陥や、装置の機能の欠陥、機能の低下、装置との通信が基準の通信状態とは異なる状態であること等を含む。通信先の装置により送信された情報は、接続先の装置の自己診断の結果や接続先の装置から送信される所定のフラグである。例えば、第１監視部１７０は、接続先の装置から異常を示す自己診断結果や異常を示すフラグを含む情報が送信された場合、通信先の装置に異常が存在すると判定する。また、第１監視部１７０は、接続先の装置と通信できない状態や、通信が遅延している状態である場合、通信先の装置に異常があるとみなしてもよい。

第２監視部３４２は、ＧＷ２８０を介して接続されている第１グループに含まれる機能構成の一部または全部の状態を監視する。第２監視部３４２は、通信先の装置により送信された情報を取得し、取得した情報に基づいて通信先の装置に異常が存在するか否かを判定する。異常が存在するとは、例えば、第１制御装置１００が意図する状態に通信先の装置を制御できない状態である。異常が存在するとは、例えば、装置の欠陥や、装置の機能の欠陥、機能の低下、装置との通信が基準の通信状態とは異なる状態であること等を含む。通信先の装置が異常であるとは、例えば、第１監視部１７０の説明で説明した状態と同様の状態を含む。

第２制御装置３２０は、第１グループに含まれる機器や装置に異常が生じた場合に、第１制御装置１００に代わり、自動運転を実行する。例えば、第１グループに含まれる機器や装置のうち、操舵ＥＣＵ２５０、制動ＥＣＵ２６０、停止保持ＥＣＵ２６２、またはこれらの制御対象の機器や装置に異常が生じた場合、第２制御装置３２０が、操舵ＥＣＵ３５０、制動ＥＣＵ３６２、停止保持ＥＣＵ３６４、またはこれらの制御対象の機器や装置を制御して自動運転を実行する。この場合の自動運転は、例えば、ＦＯＦ（Fail Operation Function）モード（縮退制御モード）の自動運転である。ＦＯＦモードとは、車両システム１が、運転者に車両Ｍを手動で操作するように要求すると共に、所定時間（または所定距離）、車両Ｍが路外に逸脱せず、且つ周辺の車両に車両Ｍが過度に近づかないように制御するモードである。所定時間、手動による操作がされなかった場合、車両システム１は、車両Ｍを減速させて、そのまま車両Ｍを停止させたり、停車可能な位置に車両Ｍを停止させたりする。

［電源］
更に、車両システム１は、例えば、大容量バッテリ４００、第１電源部４１０、第１バッテリ４２０、第２電源部４３０、および第２バッテリ４４０を備える。

大容量バッテリ４００は、例えば、リチウムイオン電池などの充放電可能なバッテリである。駆動用の電動機は、大容量バッテリ４００により供給された電力により駆動する。大容量バッテリ４００には電動機よって生成された回生電力が充電される。

第１電源部４１０は、大容量バッテリ４００の出力電圧を降圧して、大容量バッテリ４００の電力を第１グループの各機能構成に供給する。第１バッテリ４２０は、例えば、１２Ｖの鉛バッテリである。第１バッテリ４２０の電力は、例えば、大容量バッテリ４００から第１グループの機能構成に電力が供給されていない場合、第１グループの機能構成に供給される。また、第１バッテリ４２０は、ナビゲーション装置５０や、通信装置２０、ドライバモニタカメラ７０、車両センサ４０に含まれる一部のセンサに電力を供給する。

第２電源部４３０は、大容量バッテリ４００の出力電圧を降圧して、大容量バッテリ４００の電力を第２グループの各機能構成に供給する。第２バッテリ４４０は、例えば、１２Ｖの鉛バッテリである。第２バッテリ４４０の電力は、例えば、大容量バッテリ４００から第２グループの機能構成に電力が供給されていない場合、第２グループの機能構成に供給される。また、第２バッテリ４４０は、ステアリング把持センサ８４や、車両センサ４０に含まれる一部のセンサに電力を供給する。

［マルチビューカメラユニットまたはメモリ装置に関する異常］
図５は、第１制御装置１００とマルチビューカメラユニット９０とメモリ装置９６との通信に関する接続状態について説明するための図である。第１制御装置１００とマルチビューカメラユニット９０とは通信線ＣＬ－Ａを介して接続されている。マルチビューカメラユニット９０とメモリ装置９６とは通信線ＣＬ－Ｃを介して接続されている。

通信線ＣＬ－Ａ（通信線ＣＬ－Ｂ）を用いて行われる通信の通信速度は、通信線ＣＬ－Ｃを用いて行われる通信の通信速度よりも速い。通信線ＣＬ－Ａ（通信線ＣＬ－Ｂ）が接続された装置間では、いわゆるＦ－ＣＡＮを用いた通信が行われる。通信線ＣＬ－Ｃが接続された装置間では、いわゆるＢ－ＣＡＮを用いた通信が行われる。

図５の例では、第１制御装置１００とマルチビューカメラユニット９０との間、またはマルチビューカメラユニット９０とメモリ装置９６との間に、一以上の他の装置が介在してもよい。メモリ装置９６は、マルチビューカメラユニット９０を介さずに第１制御装置１００と通信してもよい。

異常判定部１５６は、以下の判定条件を満たした場合に、マルチビューカメラ９１またはマルチビューカメラ９１により撮像された画像の処理に異常（所定の条件を含む異常）が生じたと判定する。以下、これらの詳細について説明する。

図６は、異常の判定条件と推定される異常とについて説明するための図である。
（１）異常判定部１５６が、マルチビューカメラユニット９０から映像データが出力できないことを示す情報を受信し、その状態（第１制御装置１００が画像を取得できない状態）が第１時間（例えば５［ｓ］）継続した場合、マルチビューカメラユニット９０に故障が発生していると推定する。マルチビューカメラユニット９０の異常とは、マルチビューカメラユニット９０の内部故障や、映像信号の欠陥などである。

（２）異常判定部１５６が、マルチビューカメラユニット９０またはメモリ装置９６から録画ができないことを示す情報を受信し、その状態（画像が録画されない状態）が第２時間（例えば１８［ｓ］）継続した場合、マルチビューカメラユニット９０、メモリ装置９６、または第１制御装置１００に故障が発生していると推定する。

（３）異常判定部１５６は、第１制御装置１００が映像データの録画の指示をマルチビューカメラ制御部９２およびメモリ装置９６に行ったにも関わらず、メモリ装置９６によって録画がされていない状態が第３時間（例えば１８［ｓ］）継続した場合、上記の（２）と同様の故障が発生していると推定する。例えば、第１制御装置１００は、所定の運転モード（例えばモードＡ）の運転を開始した場合、映像データの録画の指示をメモリ装置９６に行う。

図７は、図６の（１）、（２）、（３）の判定が開始される条件について説明するための図である。図７の（１）、（２）、（３）の判定は、以下の（ａ）－（ｄ）の条件を全て満たした場合に開始される。
（ａ）車両システム１が休止状態から起動状態に移行されたことである。例えばアクセサリ（ＡＣＣ電源）がオン状態に移行されたことや、イグニッションスイッチ（車両Ｍの駆動源）がオン状態に移行されたこと。
（ｂ）第１バッテリ４２０の電圧が第１電圧（１０［Ｖ］）以上であること。
（ｃ）マルチビューカメラユニット９０の映像を記録する設定が有効になっていること。例えば、第１制御装置１００は、所定の運転モード（例えばモードＡ）を開始する場合に、マルチビューカメラユニット９０に映像の録画の開始を指示する。これにより、映像を記憶する設定が有効にされる。なお、第１制御装置１００は、所定の運転モード（例えばモードＡ）の実行を終了する場合、マルチビューカメラユニット９０に映像の録画の終了を指示する。これにより、映像を記憶する設定が無効となる。
（ｄ）第１制御装置１００とマルチビューカメラ９１との間の通信が可能な状態であること。

［フローチャート（１）］
図８は、第１制御装置１００の異常判定部１５６により実行される処理の流れの一例を示すフローチャートである。本処理は、例えば、車両Ｍの電源がオン状態となった場合に開始される。

まず、異常判定部１５６が、イグニッションスイッチがオン状態であるか否かを判定する（ステップＳ１００）。ステップＳ１００においてアクセサリがオン状態（または車両システム１がオン状態）であるか否かが判定されてもよい。イグニッションスイッチがオン状態である場合、異常判定部１５６は、第１バッテリ４２０の電圧が第１電圧以上であるか否を判定する（ステップＳ１０２）。第１バッテリ４２０の電圧が第１電圧以上である場合、異常判定部１５６は、映像を記録する設定が有効であるか否かを判定する（ステップＳ１０４）。

映像を記録する設定が有効である場合、異常判定部１５６は、第１制御装置１００とマルチビューカメラユニット９０との通信が可能な状態であるか否を判定する（ステップＳ１０６）。第１制御装置１００とマルチビューカメラユニット９０との通信が可能な状態である場合、異常判定部１５６は、異常判定を開始する（ステップＳ１０８）。ステップＳ１００、ステップＳ１０２、ステップＳ１０４、またはステップＳ１０６の判定が否定的である場合、本フローチャートの１ルーチンが終了する。なお、上記のステップＳ１００－ステップＳ１０６の処理の順序は変更されてもよい。

上記の処理により、車両システム１は、無用な判定処理を行うことを抑制することができる。

［フローチャート（２）］
図９は、モード決定部１５０により実行される処理の流れの一例を示すフローチャートである。まず、異常判定部１５６が、異常判定を開始することを決定したか否かを判定する（ステップＳ２００）。異常判定を開始することを決定した場合、モード決定部１５０は、異常判定部１５６がマルチビューカメラユニット９０、メモリ装置９６、またはマルチビューカメラユニット９０と第１制御装置１００との通信に異常が生じたと判定したか否かを判定する（ステップＳ２０２）。図６の（１）－（３）のいずれかの判定結果が肯定的である場合、異常判定部１５６が、異常が生じたと判定する。

異常が生じた場合、モード変更処理部１５４は、運転モードがモードＡであるか否かを判定する（ステップＳ２０４）。運転モードがモードＡである場合、モード変更処理部１５４は、運転モードをモードＥに切り替える（ステップＳ２０６）。この場合、例えば、モード変更処理部１５４は、運転操作を行うことを車両Ｍの乗員に促し、所定時間以内に乗員が運転操作を行った場合、運転モードをモードＥに切り替える。所定時間以内に乗員が運転操作を行わなかった場合、第１制御装置１００は、より強く車両Ｍの乗員に運転操作を行うことを促したり、車両Ｍを減速させたり、所定の位置に車両Ｍを停車させたりする。

ステップＳ２０２またはステップＳ２０４の判定が否定的である場合、本フローチャートの１ルーチンが終了する。

上述した処理により、車両システム１は、異常が発生した場合に、車両Ｍをより適切に制御することができる。

上記の例では、運転モードがモードＡである場合に、異常が発生したときにモードＥに切り替えるものとして説明したが、これに代えて、モード変更処理部１５４は、運転モードが所定の運転モード（モードＢなど）である場合に、モードＥに切り替えてもよい。また、モード変更処理部１５４は、モードＥに切り替えることに代えて、他の運転モードに切り替えてもよい。他の運転モードは、ステップＳ２０４で判定処理の対象とされた運転モードよりも重度の運転モードである。

［取得された情報の管理］
図１０は、各装置により取得された情報の管理状態について説明するための図である。
（１）所定の運転モード（例えばモードＡ）の自動運転が開始されると、第１制御装置１００は、マルチビューカメラユニット９０に撮像の開始を指示し、メモリ装置９６に録画の開始を指示する。

（２）マルチビューカメラユニット９０は、指示に応じて撮像を開始して、メモリ装置９６は、指示に応じてマルチビューカメラユニット９０により撮像された動画を保存する。保存とは、上書きや消去がされないように記憶装置において情報が記憶されること（期間を問わずに情報が記憶されていること）である。後述する記録は、情報が一時的に保持されていること（所定時間、情報が保持されること）である。

（３）第１制御装置１００は、所定の運転モード（例えばモードＡ）の自動運転が開始されると、第１グループに含まれるセンサから得られた情報や、運転主体に関する情報（手動運転、運転モードの情報、どの制御装置が制御を行っているかを示す情報）を記録し、記録した情報を記憶装置１８０に記憶させる。そして、この情報は保存される。
（４）上記の（３）で記憶（保存）された情報は、第２制御装置３００に提供され、同じ情報が第２制御装置３００の記憶装置３６０に記憶される（データがミラーリングされ保存される）。例えば、第１グループに電力が供給されなかったり、第１制御装置１００の記憶装置１８０に情報が記憶されなかったりする状況が発生した場合でも、データがミラーリングされることで情報が確実に保存される。

（５）第２制御装置３００は、所定の条件を満たした場合、第２グループに含まれるセンサから得られた情報や、運転主体に関する情報（どの制御装置が制御を行っているかを示す情報）を記憶し、記憶した情報を記憶装置３６０に記憶させる。所定の条件は、例えば、第１制御装置１００が所定の運転モード（例えばモードＡ）の自動運転を開始したことや、第２制御装置３００が、所定の制御を実行したこと（例えば第１制御装置１００に代わって車両Ｍを制御したこと）である。上記の（５）で取得された情報は、記憶装置３６０に記憶され、保存される。

記録した情報の保存タイミングに関する保存タイミング情報がエアバッグ装置（ＳＲＳ；Supplemental Restraint System）などから出力される。保存タイミング情報は、エアバッグが展開されたことを示す情報や、車速または加速度の変化度合が基準値以上となったことである。

図１１は、記録した情報の保存タイミングに関する情報と、情報の保存タイミングとについて説明するための図である。以下、運転支援または自動運転が開始されたタイミングを「Ｔ１」、所定の運転モード（例えばモードＢまたはモードＡ）が開始されたタイミングを「Ｔ２」、運転者がステアリングを把持したタイミングを「Ｔ３」、保存タイミング情報が出力されたタイミングを「Ｔ４」と称する。

Ｔ１からＴ４までの間において各種情報は記録（所定時間保持）され、Ｔ４において各種情報は保存される。各種情報とは、例えば、車両Ｍが取得した物標データや、運転状態（操作子に対する操作）、車両Ｍの位置、日時、車両Ｍの走行状態（センサが取得した情報など種々の情報）である。各種情報は、例えば、上述した図１０の（３）で得られた情報である。

Ｔ１、Ｔ２、Ｔ３の各タイミングで運転主体（自動運転または手動運転を示す情報）、各タイミングにおける日時、各タイミングにおける場所の情報が保存される。この情報は、例えば、上述した図１０の（３）で得られた情報である。

Ｔ２からＴ４までの間において（Ｔ２からＴ４およびＴ４以降において）マルチビューカメラユニット９０により撮像された動画は記憶される。

上記のように、種々の情報が記憶、保存されるため、保存タイミング情報が出力された場合に、その保存タイミング情報が出力される前の車両や運転者、車両の周辺の情報が得られる。この情報は、保存タイミング情報が出力された原因などを確認する際に活用される。

上記のように、本来、記録されるべき動画が記録されない状態である場合、第１制御装置１００は、運転モードを第１の運転モードに変更する。第１制御装置１００は、車両の状態に応じて、車両をより適切に制御することができる。

以上説明した実施形態によれば、第１制御装置１００は、第２の運転モードで車両Ｍを制御しており、且つ少なくとも車室内の表示部に表示させるために車両Ｍの周囲を撮像する一以上のカメラまたは一以上のカメラにより撮像された画像の処理に異常が生じた場合に、運転モードを第１の運転モードに変更することにより、車両の状態に応じて、車両をより適切に制御することができる。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記プログラムを実行することにより、
車両の周辺状況を認識し、
車両の操舵および加減速を制御し、
前記車両の運転モードを、第１の運転モードと、第２の運転モードとを含む複数の運転モードのいずれかに決定し、前記第２の運転モードは運転者に課されるタスクが前記第１の運転モードに比して軽度であり、前記第２の運転モードで前記車両を制御しており、且つ前記車両の周囲を撮像する一以上のカメラまたは前記一以上のカメラにより撮像された画像に関して所定の条件を含む異常が生じた場合に、前記運転モードを前記第１の運転モードに変更する、
ように構成されている、車両制御装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１‥車両システム、１０‥カメラ、１６‥第１認識装置、２０‥通信装置、４０‥車両センサ、５０‥ナビゲーション装置、７０‥ドライバモニタカメラ、８０‥運転操作子、８２‥ステアリングホイール、８４‥ステアリング把持センサ、９０‥マルチビューカメラユニット、９１Ａ－９１Ｄ‥マルチビューカメラ、９４‥自動駐車制御装置、９６‥メモリ装置、１００‥第１制御装置、１２０‥第１制御部、１３０‥認識部、１４０‥行動計画生成部、１５０‥モード決定部、１５２‥運転者状態判定部、１５４‥モード変更処理部、１６０‥第２制御部、１６２‥取得部、１６４‥速度制御部、１６６‥操舵制御部、１７０‥第１監視部、２００‥走行駆動力出力装置、２１０‥ブレーキ装置、２２０‥ステアリング装置、２５０‥操舵ＥＣＵ、２５２‥駆動ＥＣＵ、２６０‥制動ＥＣＵ、２６２‥停止保持ＥＣＵ、２６４‥第１通知ＥＣＵ、２６６‥外部通知ＥＣＵ、２７０‥ＨＵＤ、３００‥第２制御装置、３１０‥カメラ、３１２‥レーダ装置、３２０‥第２制御装置、３３０‥第２認識部、３４０‥車両制御部、３４２‥第２監視部、３５０‥操舵ＥＣＵ、３５０‥操舵ＥＣＵ、３６２‥制動ＥＣＵ、３６４‥停止保持ＥＣＵ、３６６‥第２通知ＥＣＵ、４００‥大容量バッテリ、４１０‥第１電源部、４２０‥第１バッテリ、４３０‥第２電源部、４４０‥第２バッテリ

Claims (13)

1. 車両の運転者が視認する表示部に表示させる画像を撮像するための一以上の第１カメラにより撮像された画像を用いず、第２カメラにより撮像された画像を用いて前記車両の周辺状況を認識する認識部と、
   前記認識部の認識結果に基づいて、前記車両の操舵および加減速を制御する運転制御部と、
   前記車両の運転モードを、第１の運転モードと、第２の運転モードとを含む複数の運転モードのいずれかに決定し、
   前記第２の運転モードは運転者に課されるタスクが前記第１の運転モードに比して軽度であり、前記運転制御部が前記第２の運転モードで前記車両を制御しており、
   且つ前記車両の周囲を撮像する前記一以上の第１カメラまたは前記一以上の第１カメラにより撮像された画像に関して所定の条件を含む異常が生じた場合に、前記運転モードを前記第１の運転モードに変更するモード決定部と、を備え、
   前記第１カメラにより撮像された画像は、少なくも前記第２の運転モードで前記車両が制御されている場合に車外の様子が撮像された画像であり、前記第１カメラにより撮像された画像は、前記車両の周辺状況の記録用として記憶装置に記憶される、
   車両制御装置。
2. 車両の運転者が視認する表示部に表示させる画像を撮像するための一以上の第１カメラにより撮像された画像を用いず、第２カメラにより撮像された画像を用いて前記車両の周辺状況を認識する認識部と、
   前記認識部の認識結果に基づいて、前記車両の操舵および加減速を制御する運転制御部と、
   前記車両の運転モードを、第１の運転モードと、第２の運転モードとを含む複数の運転モードのいずれかに決定し、
   前記第２の運転モードは運転者に課されるタスクが前記第１の運転モードに比して軽度であり、前記運転制御部が前記第２の運転モードで前記車両を制御しており、
   且つ前記車両の周囲を撮像する前記一以上の第１カメラまたは前記一以上の第１カメラにより撮像された画像に関して所定の条件を含む異常が生じた場合に、前記運転モードを前記第１の運転モードに変更するモード決定部と、
   前記車両の操舵を制御して所定の駐車スペースに自動で前記車両を駐車させる支援を行う自動駐車制御部と、を備え、
   前記自動駐車制御部が前記自動で前記車両を駐車させる場合に、前記第１カメラにより撮像された画像は表示部に表示される、
   車両制御装置。
3. 前記第２の運転モードは、前記運転者に前記車両の周辺を監視するタスクおよびステアリングホイールを把持するタスクを課さないモードであり、
   前記第１の運転モードは、前記運転者の運転操作により前記車両が制御されるモードである、
   請求項１または２に記載の車両制御装置。
4. 前記第１カメラは、前記車両の前方を撮像するカメラ、前記車両の後方を撮像するカメラ、前記車両の右方向を撮像するカメラ、および前記車両の左方向を撮像するカメラを含む、
   請求項１から３のうちいずれか１項に記載の車両制御装置。
5. 前記異常は、
   前記運転制御部が前記第１カメラにより撮像された画像を取得できない状態が第１時間継続したこと
   前記第１カメラにより撮像された画像を録画する装置が前記第１カメラにより撮像された画像を録画できなくなった状態が第２時間継続したこと、または
   前記運転制御部が前記装置に録画の指示を行った場合に、前記装置が録画を行わない状態が第３時間継続したことである、
   請求項１から４のうちいずれか１項に記載の車両制御装置。
6. 前記第２時間または前記第３時間は、前記第１時間よりも長い、
   請求項５に記載の車両制御装置。
7. 前記モード決定部は、
   前記車両のシステムが休止状態から起動状態に移行した場合において、前記車両に搭載されたバッテリの電圧が第１電圧以上であり、且つ前記第１カメラにより撮像された画像を録画する設定が有効である場合に、前記一以上の第１カメラまたは前記一以上の第１カメラにより撮像された画像に関して所定の条件を含む前記異常が存在するか否を判定する、
   請求項１から６のうちいずれか１項に記載の車両制御装置。
8. 車両の運転者が視認する表示部に表示させる画像を撮像するための一以上の第１カメラであって前記車両の周囲を撮像する一以上の第１カメラと、
   前記車両の周辺を撮像する第２カメラと、
   前記第１カメラにより撮像された画像を用いずに、少なくとも前記第２カメラにより撮像された画像を用いて前記車両の周辺状況を認識する認識部と、
   前記認識部の認識結果に基づいて、前記車両の操舵および加減速を制御する運転制御部と、
   前記車両の運転モードを、第１の運転モードと、第２の運転モードとを含む複数の運転モードのいずれかに決定し、
   前記第２の運転モードは運転者に課されるタスクが前記第１の運転モードに比して軽度であり、前記運転制御部が前記第２の運転モードで前記車両を制御しており、
   且つ前記一以上の第１カメラまたは前記一以上の第１カメラにより撮像された画像に関して所定の条件を含む異常が生じた場合に、前記運転モードを前記第１の運転モードに変更するモード決定部と、を備え、
   前記第１カメラにより撮像された画像は、少なくも前記第２の運転モードで前記車両が制御されている場合に車外の様子が撮像された画像であり、前記第１カメラにより撮像された画像は、前記車両の周辺状況の記録用として記憶装置に記憶される、
   車両制御システム。
9. 車両の運転者が視認する表示部に表示させる画像を撮像するための一以上の第１カメラであって前記車両の周囲を撮像する一以上の第１カメラと、
   前記車両の周辺を撮像する第２カメラと、
   前記第１カメラにより撮像された画像を用いずに、少なくとも前記第２カメラにより撮像された画像を用いて前記車両の周辺状況を認識する認識部と、
   前記認識部の認識結果に基づいて、前記車両の操舵および加減速を制御する運転制御部と、
   前記車両の運転モードを、第１の運転モードと、第２の運転モードとを含む複数の運転モードのいずれかに決定し、
   前記第２の運転モードは運転者に課されるタスクが前記第１の運転モードに比して軽度であり、前記運転制御部が前記第２の運転モードで前記車両を制御しており、
   且つ前記一以上の第１カメラまたは前記一以上の第１カメラにより撮像された画像に関して所定の条件を含む異常が生じた場合に、前記運転モードを前記第１の運転モードに変更するモード決定部と、
   前記車両の操舵を制御して所定の駐車スペースに自動で前記車両を駐車させる支援を行う自動駐車制御部と、を備え、
   前記自動駐車制御部が前記自動で前記車両を駐車させる場合に、前記第１カメラにより撮像された画像は表示部に表示される、
   車両制御システム。
10. 車両に搭載されたコンピュータが、
    前記車両の運転者が視認する表示部に表示させる画像を撮像するための一以上の第１カメラにより撮像された画像を用いず、第２カメラにより撮像された画像を用いて前記車両の周辺状況を認識し、
    前記周辺状況に基づいて前記車両の操舵および加減速を制御し、
    前記車両の運転モードを、第１の運転モードと、第２の運転モードとを含む複数の運転モードのいずれかに決定し、前記第２の運転モードは運転者に課されるタスクが前記第１の運転モードに比して軽度であり、前記第２の運転モードで前記車両を制御しており、且つ前記車両の周囲を撮像する一以上の第１カメラまたは前記一以上の第１カメラにより撮像された画像に関して所定の条件を含む異常が生じた場合に、前記運転モードを前記第１の運転モードに変更し、
    前記第１カメラにより撮像された画像は、少なくも前記第２の運転モードで前記車両が制御されている場合に車外の様子が撮像された画像であり、前記第１カメラにより撮像された画像は、前記車両の周辺状況の記録用として記憶装置に記憶される、
    車両制御方法。
11. 車両に搭載されたコンピュータに、
    前記車両の運転者が視認する表示部に表示させる画像を撮像するための一以上の第１カメラにより撮像された画像を用いず、第２カメラにより撮像された画像を用いて前記車両の周辺状況を認識させる処理と、
    前記周辺状況に基づいて前記車両の操舵および加減速を制御させる処理と、
    前記車両の運転モードを、第１の運転モードと、第２の運転モードとを含む複数の運転モードのいずれかに決定させ、前記第２の運転モードは運転者に課されるタスクが前記第１の運転モードに比して軽度であり、前記第２の運転モードで前記車両を制御しており、且つ前記車両の周囲を撮像する一以上の第１カメラまたは前記一以上の第１カメラにより撮像された画像に関して所定の条件を含む異常が生じた場合に、前記運転モードを前記第１の運転モードに変更させる処理と、を実行させ、
    前記第１カメラにより撮像された画像は、少なくも前記第２の運転モードで前記車両が制御されている場合に車外の様子が撮像された画像であり、前記第１カメラにより撮像された画像は、前記車両の周辺状況の記録用として記憶装置に記憶される、
    プログラム。
12. 車両に搭載されたコンピュータが、
    前記車両の運転者が視認する表示部に表示させる画像を撮像するための一以上の第１カメラにより撮像された画像を用いず、第２カメラにより撮像された画像を用いて前記車両の周辺状況を認識し、
    前記周辺状況に基づいて前記車両の操舵および加減速を制御し、
    前記車両の運転モードを、第１の運転モードと、第２の運転モードとを含む複数の運転モードのいずれかに決定し、前記第２の運転モードは運転者に課されるタスクが前記第１の運転モードに比して軽度であり、前記第２の運転モードで前記車両を制御しており、且つ前記車両の周囲を撮像する一以上の第１カメラまたは前記一以上の第１カメラにより撮像された画像に関して所定の条件を含む異常が生じた場合に、前記運転モードを前記第１の運転モードに変更し、
    前記車両の操舵を制御して所定の駐車スペースに自動で前記車両を駐車させる支援を行い、
    前記自動で前記車両を駐車させる場合に、前記第１カメラにより撮像された画像は表示部に表示される、
    車両制御方法。
13. 車両に搭載されたコンピュータに、
    前記車両の運転者が視認する表示部に表示させる画像を撮像するための一以上の第１カメラにより撮像された画像を用いず、第２カメラにより撮像された画像を用いて前記車両の周辺状況を認識させる処理と、
    前記周辺状況に基づいて前記車両の操舵および加減速を制御させる処理と、
    前記車両の運転モードを、第１の運転モードと、第２の運転モードとを含む複数の運転モードのいずれかに決定させ、前記第２の運転モードは運転者に課されるタスクが前記第１の運転モードに比して軽度であり、前記第２の運転モードで前記車両を制御しており、且つ前記車両の周囲を撮像する一以上の第１カメラまたは前記一以上の第１カメラにより撮像された画像に関して所定の条件を含む異常が生じた場合に、前記運転モードを前記第１の運転モードに変更させる処理と、
    前記車両の操舵を制御して所定の駐車スペースに自動で前記車両を駐車させる支援を行う処理と、を実行させ、
    前記自動で前記車両を駐車させる場合に、前記第１カメラにより撮像された画像は表示部に表示される、
    プログラム。

Images