JP5420216B2

JP5420216B2 - 車両周囲監視装置

Info

Publication number: JP5420216B2
Application number: JP2008236882A
Authority: JP
Inventors: 健一大島; 重信三枝; 康博小西
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2008-09-16
Filing date: 2008-09-16
Publication date: 2014-02-19
Anticipated expiration: 2028-09-16
Also published as: US20100066518A1; ATE513711T1; US8319617B2; CN101676152A; CN101676152B; EP2163430A1; EP2163430B1; JP2010069943A

Description

本発明は、車両周囲監視装置に関する。

従来、例えば車両周辺の複数方向の撮像画像を表示装置に選択的に切り替え表示する際に、撮像方向を識別するための識別画像を重畳する車両周辺監視装置が知られている（例えば、特許文献１参照）。
特開２００４−９６３５９号公報

ところで、上記従来技術の一例に係る車両周辺監視装置においては、単に、表示画面に実際に表示されている撮像画像の撮像方向を識別するための識別画像を重畳するだけであって、運転者は選択的に切り替え表示可能な撮像方向を容易に把握することができないという問題が生じる。
本発明は上記事情に鑑みてなされたもので、表示装置に表示される画像に対応する車両の外界周辺領域の表示領域と選択可能な表示領域とを運転者に容易に把握させることが可能な車両周囲監視装置を提供することを目的とする。

上記課題を解決して係る目的を達成するために、本発明の第１態様に係る車両周囲監視装置は、自車両の外界周辺領域を撮像して画像を出力する複数の撮像装置（例えば、実施の形態での各カメラ１１ａ，…，１１ｄ）と、車室内に配置された表示装置（例えば、実施の形態での表示装置１９）と、前記複数の撮像装置から出力される複数の前記画像から前記自車両の外界周辺領域を画像として表示する複数の表示形態の画像を生成し、前記複数の表示形態の画像のうちから前記表示装置に表示される前記表示形態の画像を選択する選択手段（例えば、実施の形態での切替スイッチ１６）と、前記複数の撮像装置から出力される前記複数の前記画像から生成される前記複数の表示形態の画像を前記選択手段による選択に応じて切り替え可能に前記表示装置に表示すると共に、前記選択手段により選択可能な前記複数の表示形態の画像に対応する前記自車両の外界周辺領域の表示領域を示す画像指示表示（例えば、実施の形態での表示形態指示画像ＩＰと第１および第２補助表示形態指示画像ＩＰａ，ＩＰｂ）を前記表示装置に表示する表示制御手段（例えば、実施の形態での表示制御部４５）とを備え、前記表示制御手段は、予め設定された前記複数の表示形態の画像の中から、前記選択手段によって選択可能であって、前記自車両の速度とシフトポジションに基づいて切り替え可能に表示する前記複数の表示形態の画像を選択し、前記選択した前記複数の表示形態の画像に対応する前記画像指示表示を前記表示装置に表示する。

さらに、本発明の第２態様に係る車両周囲監視装置では、前記表示制御手段は、前記表示装置に表示されている前記複数の表示形態の画像に対応する前記画像指示表示を強調表示する。
さらに、本発明の第３態様に係る車両周囲監視装置では、前記表示制御手段は、前記自車両の車速が所定値以下であって、シフトポジションがリバース以外の時に、前記自車両の前方領域と前記自車両の周辺領域を俯瞰した画像を組み合わせた画像と、前記自車両の前方領域において左右に表示領域を拡張した画像と、前記自車両の左右の側方前方領域の画像を組み合わせた画像と、前記自車両の左の側方前方領域の画像と、を切り替え可能に表示する前記複数の表示形態の画像として選択し、前記選択した前記複数の表示形態の画像に対応する前記画像指示表示を前記表示装置に表示する。
さらに、本発明の第４態様に係る車両周囲監視装置では、前記表示制御手段は、シフトポジションがリバースの時に、前記自車両の左右のドアミラーに映る領域を仮想的に再現した画像と前記自車両の後方領域の画像を組み合わせた画像を前記表示装置に表示する。
さらに、本発明の第５態様に係る車両周囲監視装置では、前記表示制御手段は、シフトポジションがリバースの時に、前記自車両の左右のドアミラーに映る領域を仮想的に再現した画像を前記表示装置の上段に、前記自車両の後方領域の画像を前記表示装置の下段に、組み合わせて前記表示装置に配置して表示する。
さらに、本発明の第６態様に係る車両周囲監視装置では、前記表示制御手段は、前記画像指示表示において前記複数の表示形態の画像の切り替えに要する操作と切り替え可能な前記複数の表示形態の画像との組み合わせを示す。

本発明の車両周囲監視装置によれば、表示装置に表示される画像に対応する自車両の外界周辺領域の表示領域と、表示の切り替えにおいて選択可能な表示領域の画像とを、運転者に容易に把握させることができる。

以下、本発明の一実施形態に係る車両周囲監視装置について添付図面を参照しながら説明する。
本実施の形態による車両周囲監視装置１０は、車両に搭載され、例えば図１に示すように、車両の外界を撮像可能な外界カメラ１１と、近赤外線ＬＥＤ１２と、車両状態センサ１３と、ナビゲーション装置１４と、操作スイッチ１５と、切替スイッチ１６と、格納スイッチ１７と、ドアミラーアクチュエータ１８と、表示装置１９と、ＣＰＵなどを含む電子回路により構成された画像処理装置２０とを備えて構成されている。

外界カメラ１１は、例えば図２に示すように、車両の外界として、前方の周辺領域を撮像領域とする前方カメラ１１ａと、後方の周辺領域を撮像領域とする後方カメラ１１ｂと、左側方の周辺領域を撮像領域とする左側方カメラ１１ｃと、右側方の周辺領域を撮像領域とする右側方カメラ１１ｄとを備え、例えば可視光領域から近赤外線領域にて撮像可能とされ、各カメラ１１ａ，…，１１ｄの撮像により得られた画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して画像処理装置２０へ出力する。

なお、前方カメラ１１ａは、例えば車両のフロントグリルなどに設置され、後方カメラ１１ｂは、例えば車両のバックドアやテールゲートなどに設置され、左側方カメラ１１ｃおよび右側方カメラ１１ｄは、例えば車両の左右のドアミラーＭＬ，ＭＲの下端などに設置されている。

近赤外線ＬＥＤ１２は、例えば車両の助手席側のドアミラー（例えば、左のドアミラーＭＬ）に設置され、画像処理装置２０により点灯制御され、例えば夜間時などにおいて前照灯（図示略）の点灯に連動して、助手席側の所定領域（例えば、助手席側の外界カメラ１１の撮像領域、つまり左側方カメラ１１ｃの撮像領域である車両の左側方の周辺領域）を照射する。

車両状態センサ１３は、自車両の車両状態量として、例えば、駆動輪の回転速度（車輪速）を検出する車輪速センサ３１と、操舵角（例えば、運転者が入力した操舵角度の方向と大きさ）あるいは操舵角に応じた実舵角（転舵角）を検出する舵角センサ３２と、セレクトレバー（図示略）を介して運転者により選択される変速機構（図示略）の状態に応じたシフトポジションを検出するシフトポジションセンサ３３となどを備えて構成されている。

ナビゲーション装置１４は、車両の現在位置と予め記憶している地図データとによりマップマッチングの処理を実行すると共に、例えば操作者の入力操作などに応じて設定された目的地に対して経路探索や経路誘導などの処理を実行し、表示装置１９およびスピーカ（図示略）の動作を指示する制御指令を出力する。

操作スイッチ１５は、運転者の操作入力に応じた各種の指令信号、例えば表示装置１９の表示画面上での各種のメニュー項目の選択指示などを出力する。
切替スイッチ１６は、運転者の操作入力に応じた表示装置１９の表示画面上での各種の表示切替の指令信号を出力する。
格納スイッチ１７は、運転者の操作入力に応じて、車両の左右のドアミラーＭＬ，ＭＲの格納および展開、さらには、角度変更などをおこなうドアミラークチュエータ１８に各種の指令信号を出力する。

表示装置１９は、画像処理装置２０の制御により各種の表示をおこなう。例えば、表示装置１９の表示画面上には、外界カメラ１１から出力される各画像データに加えて、これらの画像データに自車両の位置および各種のガイド表示などを重畳して表示可能である。

画像処理装置２０は、例えばＬＥＤ制御部４１と、画像処理部４２と、記憶部４４と、表示制御部４５とを備えて構成されている。

ＬＥＤ制御部４１は、例えば夜間時などにおいて前照灯（図示略）の点灯に連動して、かつ、例えば表示装置１９の表示画面に後述するサイドビューＳＶの画像が表示される期間に連動して、近赤外線ＬＥＤ１２を点灯制御する。

画像処理部４２は、外界カメラ１１の各カメラ１１ａ，…，１１ｄから出力される画像データに基づき、例えば所定の変換処理などによって、予め設定された所定の視野表示に対応した変換画像を生成して出力する。

なお、所定の視野表示は、例えば、図３（Ａ）に示す車両の前方領域の表示（フロントビューＦＶ）と、図３（Ｂ）に示す車両の後方領域の表示（リアビューＲＶ）と、図３（Ｃ）に示す車両の左右の側方前方領域の表示（サイドビューＳＶ）と、図３（Ｄ）に示す車両の側方後方領域の表示であって、左右のドアミラーＭＬ，ＭＲに映る領域を仮想的に再現した表示（ミラービューＭＶ）と、図３（Ｅ）に示す車両の前方領域において左右に表示領域を拡張した表示（フロントブラインドビューＦＢＶ）と、図３（Ｆ）に示す車両の周辺領域を俯瞰した表示（グランドビューＧＶ）となどである。

例えばグランドビューＧＶの画像を生成する際には、画像処理部４２は、図４に示すように、各カメラ１１ａ，…，１１ｄの撮像領域の画像データ（例えば、図４に示す車両の後方領域の画像データＲＰ）を、車両の鉛直方向上方の所定視点位置ＢＰから見下ろした画像（例えば、図４に示す変換画像ＲＣＰ）となるように、画像の歪みなども補正しつつ視点変換をおこなう。そして、この変換処理により得られた各変換画像から、互いの境界位置が整合するようにして各変換画像毎に設定された所定の画角範囲の画像（例えば、前方抽出画像ＰＦ，後方抽出画像ＰＲ，左側方抽出画像ＰＳＬ，右側方抽出画像ＰＳＲ）を抽出する。そして、例えば図５（Ａ），（Ｂ）に示すように、これらの画像（各抽出画像ＰＦ，ＰＲ，ＰＳＬ，ＰＳＲ）を結合して結合画像を生成し、この結合画像をグランドビューＧＶの画像として出力する。なお、この結合画像においては、隣り合う抽出画像同士間の境界部に所定のマスク線ＭＬが設けられている。

なお、外界カメラ１１のうち左側方カメラ１１ｃおよび右側方カメラ１１ｄが、車両の左右のドアミラーＭＬ，ＭＲの下端に設置されている場合には、左右のドアミラーＭＬ，ＭＲの開閉（つまり、展開または格納）に応じて、左側方カメラ１１ｃおよび右側方カメラ１１ｄの撮像領域が変化する。このため、画像処理部４２は、左右のドアミラーＭＬ，ＭＲの開閉に応じて、視点変換の処理内容を変更すると共に各変換画像毎に設定された所定の画角範囲（つまり、各変換画像から各抽出画像ＰＦ，ＰＲ，ＰＳＬ，ＰＳＲを抽出するための抽出範囲）を変更する。さらに、結合画像を構成する各画像（つまり、各抽出画像ＰＦ，ＰＲ，ＰＳＬ，ＰＳＲ）同士間の境界位置を変更することで、左右のドアミラーＭＬ，ＭＲの開閉に関わらずに、同一の所定の周辺領域を表示するグランドビューＧＶの画像を生成する。

例えば図６（Ａ）〜（Ｄ）に示すように、開状態の左右のドアミラーＭＬ，ＭＲが、閉状態に移行する際に、ドアミラーＭＬ，ＭＲの端部が鉛直方向上方に持ち上がるようにして、ドアミラーＭＬ，ＭＲの水平方向に対する傾斜角度が変化すると、左右のドアミラーＭＬ，ＭＲの開状態において車両の左側方および右側方の周辺領域のみを撮像するように設定されていた各カメラ１１ｃ，１１ｄの撮像領域は、左右のドアミラーＭＬ，ＭＲの閉状態において車両本体の左側部および右側部を不必要に含んでしまうと共に車両の後方側にずれることになる。

これにより、左右のドアミラーＭＬ，ＭＲの開状態においてグランドビューＧＶの画像（例えば、図７（Ａ）に示す開状態でのグランドビューＧＶの画像）を生成する処理と同一の処理（つまり、同一の視点変換、および各抽出画像ＰＳＬ，ＰＳＲを抽出するための抽出範囲および結合画像を構成する各抽出画像ＰＦ，ＰＲ，ＰＳＬ，ＰＳＲ同士間の境界位置を同一とした処理）によって、左右のドアミラーＭＬ，ＭＲの閉状態でのグランドビューＧＶの画像（例えば、図７（Ｂ）に示す閉状態でのグランドビューＧＶの画像）を生成すると、所定視点位置ＢＰから見下ろした適切な画像が得られなくなると共に、車両の左側方および右側方の所定の周辺領域を表示することができなくなり、さらに、結合画像を構成する他の各抽出画像ＰＦ，ＰＲとの間の境界位置がずれてしまう。

このため、画像処理部４２は、先ず、左右のドアミラーＭＬ，ＭＲの開閉に応じて、視点変換の処理内容を変更すると共に、各変換画像毎に設定された所定の画角範囲（つまり、各変換画像から各抽出画像ＰＦ，ＰＲ，ＰＳＬ，ＰＳＲを抽出するための抽出範囲）を変更する。これにより、左右のドアミラーＭＬ，ＭＲの開閉に関わらずに、所定視点位置ＢＰから見下ろした適切な、かつ車両の左側方および右側方の同一の所定の周辺領域を表示する各抽出画像ＰＳＬ，ＰＳＲを抽出する。

さらに、左右のドアミラーＭＬ，ＭＲの閉状態において各カメラ１１ｃ，１１ｄの撮像領域が、左右のドアミラーＭＬ，ＭＲの開状態に比べて、車両の後方側にずれてしまうことで、撮像不可となる領域が生じることに対応して、例えば図５（Ａ）に示す左右のドアミラーＭＬ，ＭＲの開状態に比べて、例えば図５（Ｂ）に示す左右のドアミラーＭＬ，ＭＲの閉状態では、特に、前方抽出画像ＰＦと左側方抽出画像ＰＳＬおよび右側方抽出画像ＰＳＲとの間の境界位置を車両の後方側にずらすようにして、結合画像での各抽出画像ＰＦ，ＰＳＬ，ＰＳＲ同士間の境界位置を変更する。この境界位置の変更に対応して、各変換画像から各抽出画像ＰＦ，ＰＲ，ＰＳＬ，ＰＳＲを抽出するための抽出範囲が予め変更されることになる。

例えば図５（Ａ）に示す左右のドアミラーＭＬ，ＭＲの開状態においては、前方抽出画像ＰＦと左側方抽出画像ＰＳＬおよび右側方抽出画像ＰＳＲとの間の境界位置を示すマスク線ＭＬは、車両の左右方向に対して所定第１角度αだけ前方側に傾斜しているのに対して、例えば図５（Ｂ）に示す左右のドアミラーＭＬ，ＭＲの閉状態においては、前方抽出画像ＰＦと左側方抽出画像ＰＳＬおよび右側方抽出画像ＰＳＲとの間の境界位置を示すマスク線ＭＬは、車両の左右方向に対して所定第１角度αよりも小さな所定第２角度β（＜α）だけ前方側に傾斜している。これにより、左右のドアミラーＭＬ，ＭＲの開状態に比べて、閉状態では、前方抽出画像ＰＦに対する抽出領域が拡張され、左側方抽出画像ＰＳＬおよび右側方抽出画像ＰＳＲに対する抽出領域が縮小されている。

表示制御部４５は、ナビゲーション装置１４の各種動作に係るナビゲーション画面を表示装置１９の表示画面に表示する。
また、表示制御部４５は、画像処理部４２から出力される各変換画像、例えば図８（Ａ）に示すフロントビューＦＶと、図８（Ｂ）に示すリアビューＲＶと、図８（Ｃ），（Ｄ）に示す左右のサイドビューＳＶと、図８（Ｅ），（Ｆ）に示す左右のミラービューＭＶと、図８（Ｇ）に示すフロントブラインドビューＦＢＶと、図８（Ｈ）に示すグランドビューＧＶとの各画像を、予め設定された、あるいは、操作スイッチ１５または切替スイッチ１６から出力される指令信号に応じた、あるいは、車両状態センサ１３から出力される検出信号に応じた、所定の組み合わせで表示装置１９の表示画面に表示する。
さらに、表示制御部４５は、画像処理部４２から出力される各変換画像を表示装置１９の表示画面に表示する際に、記憶部４４に格納されている各種のメッセージや各種画像を取得して表示装置１９の表示画面に表示すると共に、運転者の運転を支援するための各種のガイド表示（例えば、図８（Ａ）〜（Ｆ），（Ｈ）に示す車両周辺の所定位置に係る目安ガイド線ＤＬ、および、図８（Ａ），（Ｈ）に示す車両の走行軌跡に係る予測ガイド線ＥＬなど）を各変換画像に重畳して表示する。

例えば、車両状態センサ１３の車輪速センサ３１から出力される検出信号に応じた車両の速度（車速）が所定のロー側判定閾値ＶｔｈＬ以下であって、シフトポジションセンサ３３から出力される検出信号においてシフトポジションが後退のリバース以外（例えば、前進のドライブなど）である場合には、表示制御部４５は、予め設定された複数の表示形態のうちから、例えば、図９（Ａ）に示すフロントビューＦＶおよびグランドビューＧＶの組み合わせと、図９（Ｂ）に示すフロントブラインドビューＦＢＶと、図９（Ｃ）に示す左右のサイドビューＳＶの組み合わせと、図９（Ｄ）に示す左のサイドビューＳＶのみとによる、４つの表示形態を選択し、これらの表示形態の何れか１つを、例えば切替スイッチ１６から出力される指令信号などに応じて切り替え可能に、表示装置１９の表示画面に表示する。

このとき、表示制御部４５は、画像処理部４２から出力される各変換画像に加えて、例えば、切り替え可能な表示形態を示す表示形態指示画像ＩＰと、表示中の変換画像に対応した外界カメラ１１の撮像領域を模式的に示す撮像領域指示画像ＣＰと、各種のメッセージ（例えば、「直接周囲を確認しながら運転してください」など）やメニュー表示やヘルプ表示などとを、記憶部４４から取得して、表示装置１９の表示画面に表示する。

例えば、表示形態指示画像ＩＰは、フロントビューＦＶおよびグランドビューＧＶの組み合わせを示す画像（Ｆ・Ｇ）と、フロントブラインドビューＦＢＶを示す画像（ＦＢ）と、左右のサイドビューＳＶの組み合わせ、あるいは左のサイドビューＳＶのみを示す画像（Ｓ）と、リアビューＲＶおよびグランドビューＧＶの組み合わせを示す画像（Ｒ・Ｇ）と、リアビューＲＶおよび左右のミラービューＭＶの組み合わせを示す画像（Ｒ・Ｍ）とであって、図９（Ａ）〜（Ｄ）に示すように、表示装置１９の表示画面に表示中の表示形態に対応する表示形態指示画像ＩＰは、他の切り替え可能な表示形態に対応する表示形態指示画像ＩＰに比べて、例えばコントラストの増大や大きさの増大や表示色の変更などによって、強調表示されている。

なお、表示制御部４５は、例えば図９（Ｃ），（Ｄ）に示すように、表示形態指示画像ＩＰとして、左右のサイドビューＳＶの組み合わせ、あるいは左のサイドビューＳＶのみを示す画像（Ｓ）を強調表示している場合には、さらに、切り替え可能な相互の表示形態（つまり、左右のサイドビューＳＶの組み合わせの表示形態、または、左のサイドビューＳＶのみの表示形態）を指示する第１および第２補助表示形態指示画像ＩＰａ，ＩＰｂを表示する。
この第１補助表示形態指示画像ＩＰａ（長押し：左）は、例えば操作スイッチ１５を長時間に亘って押下操作することによって、左右のサイドビューＳＶの組み合わせの表示形態から左のサイドビューＳＶのみの表示形態へと切り替え可能であることを示し、第２補助表示形態指示画像ＩＰｂ（長押し：左右）は、例えば操作スイッチ１５を長時間に亘って押下操作することによって、左のサイドビューＳＶのみの表示形態から左右のサイドビューＳＶの組み合わせの表示形態へと切り替え可能であることを示している。

なお、表示制御部４５は、フロントビューＦＶおよびグランドビューＧＶの組み合わせに対しては、例えば図９（Ａ）に示すように、フロントビューＦＶの画像と、グランドビューＧＶの画像とを、左右に並べて表示装置１９の表示画面に表示する。
また、リアビューＲＶおよびグランドビューＧＶの組み合わせに対しては、リアビューＲＶの画像と、グランドビューＧＶの画像とを、左右に並べて表示装置１９の表示画面に表示する。
また、左右のサイドビューＳＶの組み合わせに対しては、例えば図９（Ｃ）に示すように、左のサイドビューＳＶの画像と、右のサイドビューＳＶの画像とを、左右に並べて表示装置１９の表示画面に表示する。

また、例えばシフトポジションセンサ３３から出力される検出信号においてシフトポジションがリバースである場合に選択されるリアビューＲＶおよび左右のミラービューＭＶの組み合わせに対しては、例えば図１０（Ａ）に示すように、上段に左のミラービューＭＶの画像と右のミラービューＭＶの画像とを左右に並べ、下段にリアビューＲＶを配置して、表示装置１９の表示画面に表示する。この場合には、例えば図１０（Ｂ）に示すように上段にリアビューＲＶを配置して下段に左右のミラービューＭＶの画像を配置する場合に比べて、運転者が表示形態に違和感を感じてしまうことを防止し、視認性を向上させることができる。

なお、車両の前進時にフロントビューＦＶと組み合わされるグランドビューＧＶの画像と、車両の後退時にリアビューＲＶと組み合わされるグランドビューＧＶの画像とは、同一（つまり、グランドビューＧＶの画像を構成する各抽出画像ＰＦ，ＰＲ，ＰＳＬ，ＰＳＲの画角範囲や各抽出画像同士間の境界位置などが変化しない同一の表示形態）とされている。

表示制御部４５は、車両のイグニッションスイッチがオンとされた始動時において、外界カメラ１１および画像処理装置２０の起動に要する時間がナビゲーション装置１４の起動に要する時間に比べて相対的に短いことから、ナビゲーション装置１４の起動中には、例えば図１１（Ａ）に示すように、フロントビューＦＶあるいはリアビューＲＶと、グランドビューＧＶとの組み合わせの表示形態を選択して、表示装置１９の表示画面に自動的に表示する。そして、ナビゲーション装置１４の起動完了後には、例えば図１１（Ｂ）に示すように、所定のナビゲーション画面へと切り替える。これにより、ナビゲーション装置１４の起動中に、例えば図１１（Ｃ）に示すような所定の起動画面を自動的に表示装置１９の表示画面に表示する場合に比べて、運転者による表示画面の切り替え操作などを必要とせずに車両発進時の運転者による車両周辺の状況認識を適切に支援することができる。

また、表示制御部４５は、外界カメラ１１のうち左側方カメラ１１ｃおよび右側方カメラ１１ｄが車両の左右のドアミラーＭＬ，ＭＲの下端に設置されている場合には、左右のドアミラーＭＬ，ＭＲの閉状態において、左右のサイドビューＳＶおよび左右のミラービューＭＶの各画像の表示を停止し、各画像の表示領域を覆う所定のマスク画像ＭＰと共に、左右のドアミラーＭＬ，ＭＲが閉状態であって、左側方カメラ１１ｃおよび右側方カメラ１１ｄから出力される画像データに基づく表示が停止されていることを示す所定のメッセージ（例えば、「ドアミラー格納中非表示」など）を表示する。
例えば図１２（Ａ）に示すように、グランドビューＧＶおよびフロントビューＦＶおよびリアビューＲＶの各画像は、左右のドアミラーＭＬ，ＭＲの開閉に関わりなく表示装置１９の表示画面に表示される。これに対して、例えば図１２（Ｂ），（Ｃ）に示すように、左のサイドビューＳＶおよび右のサイドビューＳＶの各画像は、左右のドアミラーＭＬ，ＭＲの閉状態で表示が停止され、各画像の表示領域を覆う所定のマスク画像ＭＰが表示される。

なお、例えば図１２（Ａ）〜（Ｃ）に示すように、表示形態指示画像ＩＰとしてフロントブラインドビューＦＢＶを示す画像（ＦＢ）が表示されている場合であっても、左右のドアミラーＭＬ，ＭＲの閉状態においては、フロントブラインドビューＦＢＶの表示形態への切り替えは禁止されている。
また、左右のドアミラーＭＬ，ＭＲの閉状態においては、例えば図１２（Ｂ），（Ｃ）に示すように、左右のサイドビューＳＶの組み合わせの表示形態および左のサイドビューＳＶのみの表示形態を指示する第１および第２補助表示形態指示画像ＩＰａ，ＩＰｂの表示は停止される。
また、上述したように、左右のドアミラーＭＬ，ＭＲの閉状態において、グランドビューＧＶの画像では、視点変換の処理内容および各変換画像毎に設定された所定の画角範囲および各抽出画像ＰＦ，ＰＲ，ＰＳＬ，ＰＳＲ同士間の境界位置が変更されている。

また、表示制御部４５は、後述するように、画像処理部４２から出力される各変換画像の表示（マルチビュー画面の表示）と、ナビゲーション装置１４の各種動作に係るナビゲーション画面の表示とを、自動的に、あるいは、切替スイッチ１６から出力される指令信号に応じて切り替える。

特に、表示制御部４５は、切替スイッチ１６から出力される指令信号に応じて、ナビゲーション画面の表示を、マルチビュー画面の表示へと切り替える際には、車両状態センサ１３の車輪速センサ３１から出力される検出信号に応じた車速が所定のロー側判定閾値ＶｔｈＬ（例えば、１２ｋｍ／ｈなど）以下であるか否かを判定し、車速が所定のロー側判定閾値ＶｔｈＬよりも大きい場合には、車速が所定のロー側判定閾値ＶｔｈＬ以下となるまでの期間に亘って、例えば図１３（Ａ）〜（Ｄ）に示すような所定のセット画面を表示する。

車速が所定のロー側判定閾値ＶｔｈＬよりも大きい場合に表示されるセット画面は、車速が所定のロー側判定閾値ＶｔｈＬ以下となったときに表示されるマルチビュー画面と同一の画面レイアウトを有し、例えば車速が所定のロー側判定閾値ＶｔｈＬ以下でフロントビューＦＶおよびグランドビューＧＶの組み合わせの表示形態によるマルチビュー画面が表示される際には、このフロントビューＦＶおよびグランドビューＧＶの組み合わせの表示形態と同一の画面レイアウトのセット画面が表示される。
そして、セット画面では、各視野表示（つまり、フロントビューＦＶ、リアビューＲＶ、サイドビューＳＶ、ミラービューＭＶ、フロントブラインドビューＦＢＶ、グランドビューＧＶ）での各画像の表示領域を覆う所定のマスク画像ＭＰと、外界カメラ１１の各カメラ１１ａ，…，１１ｄから出力される画像データに基づく表示が停止されていることを示す所定のメッセージ（例えば、「非表示中」など）と、車速が所定のロー側判定閾値ＶｔｈＬ以下となった場合に外界カメラ１１の各カメラ１１ａ，…，１１ｄから出力される画像データに基づく表示がおこなわれること（つまり、マルチビュー画面が表示されること）を示す所定のメッセージ（例えば、「１２ｋｍ／ｈ以下で表示します」など）とが表示される。

なお、セット画面においては、例えば図１３（Ｂ），（Ｄ）に示すように、左右のサイドビューＳＶの組み合わせの表示形態および左のサイドビューＳＶのみの表示形態を指示する第１および第２補助表示形態指示画像ＩＰａ，ＩＰｂの表示は停止される。

なお、表示制御部４５は、マルチビュー画面でのグランドビューＧＶの画像、および、グランドビューＧＶを有する表示形態と同一の画面レイアウトのセット画面など、において表示される車両の画像（車両アイコン）ＶＰの表示状態（例えば、輝度や色など）を、前照灯（図示略）や近赤外線ＬＥＤ１２の点灯状態、あるいは、表示画面上の他の画像の明るさ、あるいは、マスク画像ＭＰの有無などに応じて、例えば図１４に示すような複数の異なる表示状態によって適宜に変更する。
例えば、マルチビュー画面でのグランドビューＧＶの画像において、前照灯（図示略）の点灯時には相対的に輝度が大きい車両アイコンＶＰを表示し、前照灯（図示略）の消灯時には相対的に輝度が小さい車両アイコンＶＰを表示する。また、例えばセット画面においては、最も輝度が小さい車両アイコンＶＰを表示する。

本実施の形態による車両周囲監視装置１０は上記構成を備えており、次に、この車両周囲監視装置１０の動作、特に、表示制御部４５による表示画面の切替動作について説明する。

先ず、例えば図１５に示すステップＳ０１においては、シフトポジションセンサ３３から出力される検出信号においてシフトポジションが後退のリバースであるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ０３に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０２に進み、このステップＳ０２においては、後述する非リバース時処理を実行し、リターンに進む。

また、ステップＳ０３においては、表示装置１９の表示画面にマルチビュー画面を表示する。ここで、例えばマルチビュー画面以外の画面（例えば、ナビゲーション画面など）から切り替えてマルチビュー画面を表示する場合には、前回に表示されたマルチビュー画面と同一のマルチビュー画面を表示する。つまり、前回のマルチビュー画面がフロントビューＦＶおよびグランドビューＧＶの組み合わせの表示形態であれば、同じ表示形態のマルチビュー画面が表示される。ただし、前回のマルチビュー画面の表示時と、今回とにおいて、シフトポジションが変化している場合には、今回のシフトポジションに応じた表示形態のマルチビュー画面が表示される。つまり、前回のマルチビュー画面がシフトポジションがリバースであることに対応してリアビューＲＶおよびグランドビューＧＶの組み合わせの表示形態であっても、今回のシフトポジションがリバース以外であれば、前回のマルチビュー画面とは異なる、予め設定された所定の初期設定に応じたフロントビューＦＶおよびグランドビューＧＶの組み合わせの表示形態のマルチビュー画面が表示される。

そして、ステップＳ０４においては、切替スイッチ１６がオンとされたか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ０６に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０５に進む。
そして、ステップＳ０５においては、マルチビュー画面での表示形態を、予め設定された所定の切り替え可能な複数の表示形態における所定順序（例えば、順次、リアビューＲＶおよびグランドビューＧＶの組み合わせの表示形態、リアビューＲＶおよび左右のミラービューＭＶの組み合わせの表示形態、リアビューＲＶおよびグランドビューＧＶの組み合わせの表示形態、…などの順序）に応じた表示形態へと切り替える。

そして、ステップＳ０６においては、格納スイッチ１７がオンとされたか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ０７に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０８に進む。
そして、ステップＳ０７においては、左右のドアミラーＭＬ，ＭＲの閉状態に対応するマルチビュー画面（格納時）を表示して、リターンに進む。
また、ステップＳ０８においては、左右のドアミラーＭＬ，ＭＲの開状態に対応するマルチビュー画面（非格納時）を表示して、リターンに進む。

以下に、上述したステップＳ０２の非リバース時処理について説明する。
先ず、例えば図１６に示すステップＳ１１においては、ナビゲーション画面の表示中であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ１６に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１２に進む。

そして、ステップＳ１２においては、車速が所定のロー側判定閾値ＶｔｈＬ（例えば、１２ｋｍ／ｈなど）以下であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ１４に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１３に進む。
そして、ステップＳ１３においては、ナビゲーション画面からマルチビュー画面へと表示の切り替えをおこない、リターンに進む。ここでは、前回に表示されたマルチビュー画面と同一のマルチビュー画面、あるいは、予め設定された所定の初期設定に応じたマルチビュー画面を表示する。

また、ステップＳ１４においては、切替スイッチ１６がオンとされたか否かを判定する。
この判定結果が「ＮＯ」の場合には、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１５に進む。
そして、ステップＳ１５においては、ナビゲーション画面からセット画面へと表示の切り替えをおこない、リターンに進む。

また、ステップＳ１６においては、マルチビュー画面の表示中であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ２４に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１７に進む。
そして、ステップＳ１７においては、車速が所定のハイ側判定閾値ＶｔｈＨ（例えば、１５ｋｍ／ｈなど）よりも大きいか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ１９に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１８に進む。

そして、ステップＳ１８においては、マルチビュー画面からナビゲーション画面へと表示の切り替えをおこない、リターンに進む。
また、ステップＳ１９においては、切替スイッチ１６がオンとされたか否かを判定する。
この判定結果が「ＮＯ」の場合には、リターンに進む
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２０に進む。
そして、ステップＳ２０においては、マルチビュー画面での表示形態を、予め設定された所定の切り替え可能な複数の表示形態における所定順序（例えば、順次、フロントビューＦＶおよびグランドビューＧＶの組み合わせの表示形態、フロントブラインドビューＦＢＶの表示形態、サイドビューＳＶの表示形態、フロントビューＦＶおよびグランドビューＧＶの組み合わせの表示形態、…などの順序）に応じた表示形態へと切り替える。

そして、ステップＳ２１においては、格納スイッチ１７がオンとされたか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ２２に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ２３に進む。
そして、ステップＳ２２においては、左右のドアミラーＭＬ，ＭＲの閉状態に対応するマルチビュー画面（格納時）を表示して、リターンに進む。
また、ステップＳ２３においては、左右のドアミラーＭＬ，ＭＲの開状態に対応するマルチビュー画面（非格納時）を表示して、リターンに進む。

また、ステップＳ２４においては、セット画面の表示中であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２５に進む。
そして、ステップＳ２５においては、車速が所定のロー側判定閾値ＶｔｈＬ（例えば、１２ｋｍ／ｈなど）以下であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ２７に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２６に進む。
そして、ステップＳ２６においては、ナビゲーション画面からマルチビュー画面へと表示の切り替えをおこない、リターンに進む。ここでは、前回に表示されたマルチビュー画面と同一のマルチビュー画面、あるいは、予め設定された所定の初期設定に応じたマルチビュー画面を表示する。

また、ステップＳ２７においては、切替スイッチ１６がオンとされたか否かを判定する。
この判定結果が「ＮＯ」の場合には、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２８に進む。
そして、ステップＳ２８においては、ナビゲーション画面からセット画面へと表示の切り替えをおこない、リターンに進む。

上述したように、本実施の形態による車両周囲監視装置１０によれば、表示形態指示画像ＩＰと第１および第２補助表示形態指示画像ＩＰａ，ＩＰｂとによって、表示装置１９に表示中の変換画像に対応した外界カメラ１１の撮像領域（つまり、自車両の外界周辺領域のうち変換画像によって表示される表示領域）と、表示の切り替えにおいて選択可能な変換画像とを、運転者に容易に把握させることができる。

また、マルチビュー画面でのグランドビューＧＶの画像、および、グランドビューＧＶを有する表示形態と同一の画面レイアウトのセット画面など、において表示される車両の画像（車両アイコン）ＶＰの表示状態（例えば、輝度や色など）を、前照灯（図示略）や近赤外線ＬＥＤ１２の点灯状態、あるいは、表示画面上の他の画像の明るさ、あるいは、マスク画像ＭＰの有無などに応じて、複数の異なる表示状態によって適宜に変更することから、運転者による表示画面の視認性を向上させることができる。

本発明の一実施形態に係る車両周囲監視装置の構成図である。本発明の一実施形態に係る車両周囲監視装置の外界カメラの配置を示す図である。本発明の一実施形態に係る車両周囲監視装置の視野表示に対応した所定の外界領域を示す図である。本発明の一実施形態に係る車両周囲監視装置の後方カメラの撮像により得られる画像データＲＰと、画像データＲＰに対する視点変換により得られる変換画像ＲＣＰとの一例を示す図である。本発明の一実施形態に係る車両周囲監視装置の左右のドアミラーＭＬ，ＭＲの開閉に応じたグランドビューＧＶの画像を示す図である。本発明の一実施形態に係る車両周囲監視装置の左右のドアミラーＭＬ，ＭＲの開閉状態を示す図である。図７（Ａ）は本発明の一実施形態に係る車両周囲監視装置の左右のドアミラーＭＬ，ＭＲの開状態でのグランドビューＧＶの画像であり、図７（Ｂ）は本発明の一実施形態の比較例に係る車両周囲監視装置の左右のドアミラーＭＬ，ＭＲの閉状態でのグランドビューＧＶの画像である。本発明の一実施形態に係る車両周囲監視装置の画像処理部から出力される各変換画像の例を示す図である。本発明の一実施形態に係る車両周囲監視装置の表示画面の例を示す図である。図１０（Ａ）は本発明の一実施形態に係る車両周囲監視装置の表示画面の例を示す図であり、図１０（Ｂ）は本発明の一実施形態の比較例に係る車両周囲監視装置の表示画面の例を示す図である。図１１（Ａ）は本発明の一実施形態に係る車両周囲監視装置の車両始動直後の表示画面の例を示す図であり、図１１（Ｂ）は本発明の一実施形態に係る車両周囲監視装置の車両始動から所定時間経過後の表示画面の例を示す図であり、図１１（Ｃ）は本発明の一実施形態の比較例に係る車両周囲監視装置の車両始動直後の表示画面の例を示す図である。本発明の一実施形態に係る車両周囲監視装置の左右のドアミラーＭＬ，ＭＲの閉状態での表示画面の例を示す図である。本発明の一実施形態に係る車両周囲監視装置の表示画面のセット画面の例を示す図である。本発明の一実施形態に係る車両周囲監視装置の表示画面の車両アイコンＶＰの表示状態の例を示す図である。本発明の一実施形態に係る車両周囲監視装置の動作を示すフローチャートである。図１５に示す非リバース時処理のフローチャートである。

符号の説明

１０車両周囲監視装置
１１外界カメラ
１１ａ前方カメラ（撮像装置）
１１ｂ後方カメラ（撮像装置）
１１ｃ左側方カメラ（撮像装置）
１１ｄ右側方カメラ（撮像装置）
１３車両状態センサ
１６切替スイッチ（選択手段）
１９表示装置
２０画像処理装置
４２画像処理部
４５表示制御部（表示制御手段）

Claims

自車両の外界周辺領域を撮像して画像を出力する複数の撮像装置と、
車室内に配置された表示装置と、
前記複数の撮像装置から出力される複数の前記画像から前記自車両の外界周辺領域を画像として表示する複数の表示形態の画像を生成し、前記複数の表示形態の画像のうちから前記表示装置に表示される前記表示形態の画像を選択する選択手段と、
前記複数の撮像装置から出力される前記複数の前記画像から生成される前記複数の表示形態の画像を前記選択手段による選択に応じて切り替え可能に前記表示装置に表示すると共に、前記選択手段により選択可能な前記複数の表示形態の画像に対応する前記自車両の外界周辺領域の表示領域を示す画像指示表示を前記表示装置に表示する表示制御手段とを備え、
前記表示制御手段は、予め設定された前記複数の表示形態の画像の中から、前記選択手段によって選択可能であって、前記自車両の速度とシフトポジションに基づいて切り替え可能に表示する前記複数の表示形態の画像を選択し、前記選択した前記複数の表示形態の画像に対応する前記画像指示表示を前記表示装置に表示することを特徴とする車両周囲監視装置。
前記表示制御手段は、前記表示装置に表示されている前記複数の表示形態の画像に対応する前記画像指示表示を強調表示することを特徴とする請求項１に記載の車両周囲監視装置。
前記表示制御手段は、前記自車両の車速が所定値以下であって、シフトポジションがリバース以外の時に、
前記自車両の前方領域と前記自車両の周辺領域を俯瞰した画像を組み合わせた画像と、
前記自車両の前方領域において左右に表示領域を拡張した画像と、
前記自車両の左右の側方前方領域の画像を組み合わせた画像と、
前記自車両の左の側方前方領域の画像と、
を切り替え可能に表示する前記複数の表示形態の画像として選択し、
前記選択した前記複数の表示形態の画像に対応する前記画像指示表示を前記表示装置に表示する、
ことを特徴とする請求項１または請求項２に記載の車両周囲監視装置。
前記表示制御手段は、シフトポジションがリバースの時に、
前記自車両の左右のドアミラーに映る領域を仮想的に再現した画像と前記自車両の後方領域の画像を組み合わせた画像を前記表示装置に表示する、
ことを特徴とする請求項１から請求項３の何れか１つに記載の車両周囲監視装置。
前記表示制御手段は、シフトポジションがリバースの時に、
前記自車両の左右のドアミラーに映る領域を仮想的に再現した画像を前記表示装置の上段に、
前記自車両の後方領域の画像を前記表示装置の下段に、
組み合わせて前記表示装置に配置して表示する、
ことを特徴とする請求項４に記載の車両周囲監視装置。
前記表示制御手段は、前記画像指示表示において前記複数の表示形態の画像の切り替えに要する操作と切り替え可能な前記複数の表示形態の画像との組み合わせを示す、
ことを特徴とする請求項１から請求項５の何れか１つに記載の車両周囲監視装置。