JP4467313B2 - 車両周辺撮像装置 - Google Patents

Description

本発明は、車両周辺撮像装置及びそれに関連する技術に関するものである。

従来、例えば図１９の如く、車両前部に前方に広がる領域を撮影するフロントカメラ１と、車両左側部に側方および前側方に広がる領域を撮影するサイドカメラ３とを設け、車室内に運転者が視認可能に配設された表示ディスプレイに、サイドカメラ３で撮像された側方撮像画像とフロントカメラ１で撮像された前方撮像画像とを切り替える技術（第１の従来技術）があった。この第１の従来技術では、各種センサを用いて検出したステアリングホイールの舵角および車速に基づいて、車両の向きの変化量を検出する。そして、最初に表示ディスプレイにサイドカメラ３による側方撮像画像の表示を開始しておき、車両の向きの変化量が所定値に達した場合に、表示ディスプレイに表示される撮像画像を、サイドカメラ３による側方撮像画像からフロントカメラ１による前方撮像画像へ切り替えるようになっている。

また、他の従来の例として、図２０の如く、車両の左側面前部に設置された左カメラと、車両の右側面前部に設置された右カメラとで撮像されたそれぞれの撮像画像を、画像処理により車室内のモニタの単一画面５に並べて表示させる技術（第２の従来技術）があった。

上記した第１の従来技術では、複数のカメラ１，３の撮像画像を同時に確認できない。したがって、例えば車庫入れ時など複雑なハンドル切り返し操作を要求される場合には、複数のカメラ１，３の撮像画像を同時に確認したい状況になるが、先行技術では複数のカメラ１，３の撮像画像を択一的に表示するためこれができず不便である。

また、上記の第２の従来技術では、複数カメラの撮像画像を同時に表示しているが、ハンドル操作に応じてモニタに表示される画像が変化しないため、運転者が本来注目すべき映像が直感的に視認しにくく不便である。

そこで、本発明の課題は、複数のカメラで撮像した画像を同時に確認でき、且つ注目すべき映像の認識が容易になる車両周辺撮像装置を提供することにある。

上記課題を解決すべく、請求項１に記載の発明は、車両の周辺の映像を撮像して当該車両内に設置された表示装置に表示する車両周辺撮像装置であって、前記車両の複数の視野範囲の撮像映像をそれぞれ撮像する複数のカメラと、前記車両内に設置された前記表示装置と、前記車両の走行に係る舵角を検出する舵角検出手段と、少なくとも、前記舵角検出手段で検出された前記舵角に基づいて、全ての前記カメラで撮像された撮像映像のうち複数の撮像映像を、単一画面に並べて表示可能なように前記表示装置の画面中に占める表示面積の割合を変化させて合成し、合成された撮像映像を前記表示装置に表示する制御部とを備えるものである。

さらに、請求項１に記載の発明は、前記制御部が、前記各撮像映像について任意の仮想視点位置から見た変換映像を生成する機能を有し、当該機能が、複数の撮像装置の撮像映像での車両の進行方向が同一方向になるよう、少なくとも一つの撮像映像が視点変換するものである。

請求項２に記載の発明は、請求項１記載の車両周辺撮像装置であって、前記制御部が、前記舵角検出手段で検出された前記舵角に基づいて判断された前記車両の進行方向の情報を、前記各撮像映像に重ねて前記表示装置に表示するものである。

請求項１に記載の発明は、舵角検出手段により車両の走行に係る舵角を検出しながら、車両の複数の視野範囲の撮像映像を複数のカメラでそれぞれ撮像し、舵角検出手段で検出された舵角に基づいて、全てのカメラで撮像された撮像映像のうち複数の撮像映像を、表示装置の画面中に占める表示面積の割合を変化させて合成し、合成された撮像映像を表示装置に表示するので、同一画面に表示された複数の撮像映像の中から注目すべき映像を認識しやすくするため、ハンドル操作の状態により表示割合を変化させることができる。したがって、複数の撮像映像を同時に表示しながらも、その都度、重要度の高い撮像映像の表示割合を高めて表示でき、視認性のよい車両周辺撮像装置を提供できる。

また、視点変換により各カメラ映像上での進行方向を一致させるので、同時表示された各映像がどこを撮像しているか認識しやすくなる。

請求項２に記載の発明は、舵角検出手段で検出された舵角に基づいて判断された車両の進行方向の情報を、各撮像映像に重ねて表示装置に表示するので、進行方向に存在する障害物を確認しやすくなる。

＜構成＞
図１は本発明の一の実施形態に係る車両周辺撮像装置が設置された車両１０を示す平面図、図２は車両周辺撮像装置を示すブロック図である。この車両周辺撮像装置は、図１の如く、車両１０の周辺を撮像するものであって、車両１０から見て異なる方向の周辺を撮像するために複数のカメラ１１，１２を備えており、図２の如く、複数のカメラ１１，１２で撮像された各撮像映像を合成してディスプレイに表示するのに際して、各撮像映像がディスプレイに占める割合を舵角に応じて図３〜図５に示すように変化させるものである。

具体的に、この車両周辺撮像装置は、車両１０の前部に設置されて前方に広がる領域を撮影するフロントカメラ（カメラＡ）１１と、車両１０の左側部に設置されて側方および前側方に広がる領域を撮影するサイドカメラ（カメラＢ）１２と、ドットマトリクス表示型の表示装置１３と、両カメラ１１，１２及び表示装置１３を制御する制御部１４と、車両１０の走行舵角を検出するためにハンドルの舵角を検出して制御部１４に伝達するハンドル舵角検出手段１５と、車両１０の前進や後退等のシフトレバーの操作位置を検出するシフト位置検出手段１６とを備えて構成される。

フロントカメラ１１は、図１の如く、フロントバンパーの左隅付近に設置され、例えばＣＣＤ等の撮像素子が使用された一般的な撮像デバイスが適用される。このフロントカメラ１１は、その撮像中心が左前側に向けて設置され、且つその視野範囲が、車両１０の前方から左側方にかけた範囲に設定される。かかる視野範囲は、図示しないレンズ等の光学系部品により設定される。

サイドカメラ１２は、左サイドミラー付近に設置され、例えばフロントカメラ１１と同様のＣＣＤ等の撮像素子が使用された一般的な撮像デバイスが適用される。このサイドカメラ１２は、その撮像中心が左側に向けて設置され、且つその視野範囲が、車両１０の斜め左前から斜め左後ろにかけた範囲に設定される。かかる視野範囲は、図示しないレンズ等の光学系部品により設定される。

表示装置１３（図２）は、有機ＥＬ表示装置やＴＦＴ型等の液晶表示装置（ＬＣＤ）などによって構成され、車両１０の車室内における前部パネル（例えば、センタクラスタパネル、ヒータコントロールパネル等）の例えば左右方向中央部等に嵌め込まれて設置される。この表示装置１３には、制御部１４との電気的な接続のための接続部１３ａが設けられている。

制御部１４（図２）は、両カメラ１１，１２で撮像された撮像映像を表示装置１３に表示するもので、特に、ハンドル舵角検出手段１５で検出されたハンドルの舵角に基づいて車両１０の走行舵角を判断し、その判断結果に応じて各カメラ１１，１２で撮像された撮像映像の表示装置１３中に占める表示面積の割合を、ハンドル舵角検出手段１５により検出されたハンドル舵角の値に対応して、図３〜図５に示すように変化させるものである。

具体的に、制御部１４は、図２の如く、画像処理部２１と、メモリ２３と、マイクロコンピュータチップ（以下、単に「マイコン」と略称する）２５と、操作部２７とが備えられている。

また、この制御部１４には、コネクタ等からなる複数の接続部３１ａ〜３１ｄが設けられている。例えば、接続部３１ａと接続部１３ａとを接続することにより表示装置１３と画像処理部２１とが電気的に接続され、接続部３１ｂが車内ＬＡＮ当の車内通信線３３に接続されることによりその車内通信線３３を通じてハンドル舵角検出手段１５とマイコン２５とが電気的に接続される。また、接続部３１ｃ，３１ｄを介して各カメラ１１，１２が画像処理部２１に電気的に接続される。

画像処理部２１は、表示装置１３の表示画像を制御するものであり、その具体的な機能としては、マイコン２５からの制御信号に基づいて、各カメラ１１，１２で撮像された各撮像映像の表示装置１３の画面に占める割合を、図３〜図５に示すように変化させる画像処理機能等がある。この図３〜図５に示した表示装置１３の画面については後述する。尚、メモリ２３は、画像処理部２１による画像処理等に用いられる。操作部２７は、図示しないエアコンや各種車載機器等を操作するための操作入力を受け付けるためのものであり、複数の操作スイッチを有し、表示装置１３の周辺部等に設置される。

尚、単一の表示装置１３に複数のカメラ１１，１２の撮像映像を合成して表示する場合に、同時表示された各映像がどこを撮像しているか認識しにくいと、その視認性を阻害してしまう。したがって、画像処理部２１は、同時表示された各映像がどこを撮像しているか認識しやすくするため、視点変換により各カメラ映像上での進行方向を一致させる機能を有している。具体的に、この画像処理部２１は、各カメラ１１，１２で撮像された撮像映像を任意の仮想視点位置から見た変換映像を生成する機能を備えており、複数のカメラ１１，１２の撮像映像での車両１０の進行方向が互いに同一方向になるよう、少なくとも一つの撮像映像が視点変換される。例えば、フロントカメラ１１とサイドカメラ１２のいずれか一方の撮像映像を基準として、他方の撮像映像の画面方向が例えば９０度回転しているような場合は、他方の撮像映像を一方の撮像映像の画面方向に対応するように９０度だけ逆回転させて表示装置１３に表示するようになっている。これにより、同時表示された各映像がどこを撮像しているか認識しやすくなる。

マイコン２５は、ＣＭＯＳまたはフラッシュＲＯＭ等を用いて構成された所定のソフトウェアプログラムに基づいて動作するようになっており、特に、ハンドル舵角検出手段１５からの信号に基づいて、車両１０の進行方向についての操舵角を判断し、その判断結果に基づいて、図３〜図５に示した表示装置１３の表示モードを選択し、その選択結果を画像処理部２１に制御信号として出力する。このマイコン２５の具体的な制御動作については後述する。

ハンドル舵角検出手段１５は、運転者が操作したハンドルの回転角を検出するものであり、例えば光学式エンコーダ等が使用される。かかるハンドル舵角検出手段１５での検出結果は、電気信号として車内通信線３３を通じて制御部１４のマイコン２５に入力される。

シフト位置検出手段１６は、運転者が操作したシフトレバーの操作位置を検出し、その検出結果を電気信号として車内通信線３３を通じて制御部１４のマイコン２５に入力するものである。このシフト位置検出手段１６としては、シフトレバーがドライバ状態やバック状態等のそれぞれの傾倒状態になったときに、機械な接触の有無によりスイッチがオンオフする接触式スイッチ等が使用される。

＜動作＞
上記構成の車両周辺撮像装置の動作について説明する。ここでは、図６のように、一台の車両４１の左右に他の車両４２，４３が駐車しており、この状況から車両４１が左後方（矢示方向Ｄ１）に後進した後、右方向（矢示方向Ｄ２）に前進して抜ける場合を考える。尚、車両４１はこの実施形態の車両周辺撮像装置を搭載しており、よって、フロントバンパーの左隅付近にフロントカメラ１１が設置され、且つ左サイドミラー付近にサイドカメラ１２が設置されているものとする。また、図６〜図８中の符号４４は車両４１〜４３の前方に位置する壁を示している。

まず車両４１の運転者は、エンジンキーを回して車両４１のエンジンをオンにするとともに、車両周辺撮像装置の電源をオンにする。そうすると、フロントカメラ１１とサイドカメラ１２で撮像された撮像映像が画像処理部２１に入力される。ここで、ハンドルの初期状態の回転角度が正面方向（直進状態）に対応したものである場合、ハンドル舵角検出手段１５によりその旨が検出され、これに基づいてマイコン２５は、フロントカメラ１１での撮像映像とサイドカメラ１２での撮像映像との表示装置１３中に占める表示面積の割合を１：１に設定し、図３の如く、表示装置１３の表示画面の右半分の領域４６ａにフロントカメラ（カメラＡ）１１での撮像映像を、同じく表示装置１３の表示画面の左半分の領域４７ａにサイドカメラ（カメラＢ）１２での撮像映像を並べて表示する旨の制御信号が、マイコン２５から画像処理部２１に入力される。この制御信号に基づいて、画像処理部２１は、図３の通りに表示装置１３の表示制御を行う。

次に、運転者は、シフトレバーを操作してこれをバック状態とする。このときのシフトレバーの操作位置（バック操作位置）は、シフト位置検出手段１６によって検出されて、車内通信線３３を通じてマイコン２５に入力される。

そして、運転者は、ハンドルを左に切りながら車両４１を後進させて、車両４１を矢示方向Ｄ１に移動させる。このときのハンドルの回転角は、ハンドル舵角検出手段１５によって検出されて、車内通信線３３を通じてマイコン２５に入力される。

マイコン２５においては、シフト位置検出手段１６から与えられた信号に基づいて、車両４１が後退する予定であるか、または実際に後退しているかのいずれかであることを判断する。そして、この判断結果と、ハンドル舵角検出手段１５から与えられた信号とに基づいて、図７に示すように、車両４１の走行舵角が左後方である旨を判断する。

この場合、運転者にとっては、車両４１の左側面と左側に駐車している車両４２との間隔を確認する必要があるため、サイドカメラ１２での撮像映像が重要であり、相対的にフロントカメラ１１での撮像映像の重要性は低い。したがって、マイコン２５は、図４に示すように、表示装置１３の表示画面の右側の比較的小さな領域４６ｂにフロントカメラ（カメラＡ）１１での撮像映像を表示し、同じく表示装置１３の表示画面の左側の比較的大きな領域４７ｂにサイドカメラ（カメラＢ）１２での撮像映像を表示するよう画像処理部２１に制御信号を出力する。そしてこの制御信号に従って、画像処理部２１が表示装置１３を表示制御し、表示装置１３の画面が図４に示すようなものとなる。

次に、図８に示すように、車両４１が車両４３の後端部を避けながら右方向（矢示方向Ｄ２）に抜ける際、運転者はハンドルを右に切り、シフトレバーを前進側に切り替える。このときのハンドルの回転角は、ハンドル舵角検出手段１５により検出されてマイコン２５に入力され、またシフトレバーの状態もマイコン２５に入力される。

この場合、運転者にとっては、車両４３の後端部との間隔を確認する必要があるため、フロントカメラ１１での撮像映像が重要であり、相対的にサイドカメラ１２での撮像映像の重要性は低い。したがって、マイコン２５は、図５に示すように、表示装置１３の表示画面の右側の比較的大きな領域４６ｃにフロントカメラ（カメラＡ）１１での撮像映像を表示し、同じく表示装置１３の表示画面の左側の比較的小さな領域４７ｃにサイドカメラ（カメラＢ）１２での撮像映像を表示するよう画像処理部２１に制御信号を出力する。そしてこの制御信号に従って、画像処理部２１が表示装置１３を表示制御し、表示装置１３の画面が図５に示すようなものとなる。

このように、車両４１の舵角を検出した結果に応じて、運転者にとって重要度の高い撮像映像が、相対的に重要度の低い撮像映像よりも広い領域に表示されるように、両カメラ１１，１２で撮像された両撮像映像の表示装置１３の画面に占める割合を変化するので、運転者にとって視認性がよく且つ直感的に理解しやすい撮像映像の表示を行うことが可能である。

ただし、例えば駐車スペースが狭い場合のように、何度かハンドルを切り返す作業が必要となる場合がある。この場合は、フロントカメラ（カメラＡ）１１の撮像映像とサイドカメラ（カメラＢ）１２の撮像映像とを同時に確認したい状況になることが多いと考えられる。しかしながら、この実施形態では、両方のカメラ１１，１２で撮像した撮像映像の両方を表示装置１３に表示しており、その表示領域の割合を変化させているだけなので、常に両カメラ１１，１２の撮像映像を表示できて便利である。

即ち、この実施形態では、車両１０（４１）の舵角に応じて複数のカメラ１１，１２の撮像映像が表示装置１３に表示される割合を変化させることで、複数のカメラ１１，１２の撮像映像を同時に確認できると共に、より注目すべき映像が瞬時に判断できるようになる。

尚、単一の表示装置１３に複数のカメラ１１，１２の撮像映像を合成して表示する場合に、同時表示された各映像がどこを撮像しているか認識しにくいと、その視認性を阻害してしまう。

しかしながら、この実施形態では、画像処理部２１が、各カメラ１１，１２で撮像された撮像映像を任意の仮想視点位置から見た変換映像を生成する機能を備えており、複数のカメラ１１，１２の撮像映像での車両１０の進行方向が互いに同一方向になるよう、少なくとも一つの撮像映像が視点変換される。例えば、フロントカメラ１１とサイドカメラ１２のいずれか一方の撮像映像を基準として、他方の撮像映像の画面方向が例えば９０度回転しているような場合は、他方の撮像映像を一方の撮像映像の画面方向に対応するように９０度だけ逆回転させて表示装置１３に表示する。これにより、同時表示された各映像がどこを撮像しているか認識しやすくなる。

尚、この実施形態の図３〜図５では、２つのカメラ１１，１２の撮像映像を左右に合成した例を示したが、上下に合成したり、あるいは図９及び図１０のように、割合の大きな撮像映像４７ｄ，４６ｅの上の隅部に割合の小さな撮像映像４６ｄ，４７ｅを重ね合わせるように合成してもよい。

また、マイコン２５において、ハンドルを左に切る角度が大きくなるほど、サイドカメラ１２（カメラＢ）の撮像映像の割合を多くするよう、領域の割合を変化させるようにしてもよい。さらにこの場合において、設定値以上の角度になったらサイドカメラ１２（カメラＢ）の撮像映像のみ表示するようにしてもよい。

さらに、車両１０の周辺を撮像するカメラとしては、フロントカメラ１１及びサイドカメラ１２といった２つのカメラに限らず、３台以上であってもよい。例えば、１台の車両１０に、図１に示したフロントカメラ（カメラＡ）１１とサイドカメラ（カメラＢ）１２に加え、図１１の如く、左後方を撮像するバックカメラ（カメラＣ）４８を設置し、これらで撮像された撮像映像５１〜５３を、図１２〜図１５に示すレイアウトのなかからひとつのレイアウトを適宜選択して合成表示し、さらに表示される各撮像映像が表示装置１３の画面に表示される割合を、車両１０の舵角に応じて変化させるようにしてもよい。この場合も、複数のカメラ１１，１２，４８で撮像された撮像映像５１〜５３の全てを表示装置１３に表示しながら、且つ重要度の高い撮像映像５１〜５３の表示割合を大きくして目立たせることが可能である点に変わりない。

さらにまた、表示装置１３に各カメラの撮像映像を表示する場合に、マイコン２５で判断された車両１０の舵角の方向を、図１６及び図１７のように矢印等の所定の図形または記号により撮像映像５１〜５３に重ねて表示してもよい。これにより、車両１０の進行方向に存在する障害物等の検出が容易になる。ここで、図１６は、図１３に示した表示装置１３の画面中に車両１０の進行方向を矢印Ｐ１〜Ｐ３で表示した例である。また、図１７は、各カメラの撮像映像５１〜５３を視点変換し、進行方向を一致させるよう表示した例である。この場合、各カメラの撮像映像５１〜５３の視野方向を、矢印Ｐ１〜Ｐ３の表示により直感的に認識することがさらに容易になる。

さらに、上記実施形態では、フロントカメラ１１及びサイドカメラ１２を車両１０の左側に設置していただけであったが、図１８に示すように、車両１０の前端の左右両側にフロントカメラ１１ａ，１１ｂを設置し、車両１０の側部の左右両側にサイドカメラ１２ａ，１２ｂを設置し、車両１０の後端の左右両側にバックカメラ４８ａ，４８ｂを設置するとともに、これらの６個のカメラ１１ａ，１１ｂ，１２ａ，１２ｂ，４８ａ，４８ｂで撮像された６個の全ての撮像映像を合成表示してもよい。この場合も、表示される各撮像映像の表示装置１３の画面に表示される割合を、車両１０の舵角に応じて変化させるようにする。この場合も、重要度の高い撮像映像の表示割合を大きくして目立たせることが可能である。

さらにまた、図１８に示した６個のカメラ１１ａ，１１ｂ，１２ａ，１２ｂ，４８ａ，４８ｂで撮像された６個の撮像映像のうち、車両１０の進行方向に応じて例えば３つまたは４つ等の複数の撮像映像を適宜選択し、この選択された複数の撮像映像を合成表示してもよい。この場合も、表示される各撮像映像の表示装置１３の画面に表示される割合を、車両１０の進行方向及び舵角に応じて変化させるようにする。この場合は、左前方＋右前方等、左側方＋右側方等、左側方＋左後方等、左後方＋右後方等、といった様々な組合せで表示を行いながら、しかも重要度の高い撮像映像の表示割合を大きくして目立たせることが可能である。

本発明の一の実施形態に係る車両周辺撮像装置が設置された車両を示す平面図である。 本発明の一の実施形態に係る車両周辺撮像装置を示すブロック図である。 本発明の一の実施形態に係る車両周辺撮像装置で撮像された撮像映像が表示装置の画面に表示された状態の一例を示す図である。 本発明の一の実施形態に係る車両周辺撮像装置で撮像された撮像映像が表示装置の画面に表示された状態の一例を示す図である。 本発明の一の実施形態に係る車両周辺撮像装置で撮像された撮像映像が表示装置の画面に表示された状態の一例を示す図である。 本発明の一の実施形態に係る車両周辺撮像装置を搭載した自動車の動作例を示す模式図である。 本発明の一の実施形態に係る車両周辺撮像装置を搭載した自動車の動作例を示す模式図である。 本発明の一の実施形態に係る車両周辺撮像装置を搭載した自動車の動作例を示す模式図である。 本発明の一の実施形態に係る車両周辺撮像装置で撮像された撮像映像が表示装置の画面に表示された状態の一例を示す図である。 本発明の一の実施形態に係る車両周辺撮像装置で撮像された撮像映像が表示装置の画面に表示された状態の一例を示す図である。 本発明の一の変形列に係る車両周辺撮像装置を搭載した車両を示す平面図である。 本発明の一の変形列に係る車両周辺撮像装置で撮像された撮像映像が表示装置の画面に表示された状態の一例を示す図である。 本発明の一の変形列に係る車両周辺撮像装置で撮像された撮像映像が表示装置の画面に表示された状態の一例を示す図である。 本発明の一の変形列に係る車両周辺撮像装置で撮像された撮像映像が表示装置の画面に表示された状態の一例を示す図である。 本発明の一の変形列に係る車両周辺撮像装置で撮像された撮像映像が表示装置の画面に表示された状態の一例を示す図である。 本発明の他の変形列に係る車両周辺撮像装置で撮像された撮像映像が表示装置の画面に表示された状態の一例を示す図である。 本発明のさらに他の変形列に係る車両周辺撮像装置で撮像された撮像映像が表示装置の画面に表示された状態の一例を示す図である。 本発明のさらに他の変形列に係る車両周辺撮像装置を搭載した車両を示す平面図である。 従来の一例の車両周辺撮像装置が設置された車両を示す正面図である。 従来の他の例の車両周辺撮像装置の表示画面を示す図である。

符号の説明

１０，４１ 車両
１１，１１ａ，１１ｂ フロントカメラ
１２，１２ａ，１２ｂ サイドカメラ
１３ 表示装置
１４ 制御部
１５ ハンドル舵角検出手段
１６ シフト位置検出手段
４８，４８ａ，４８ｂ バックカメラ

Claims (2)

1. 車両の周辺の映像を撮像して当該車両内に設置された表示装置に表示する車両周辺撮像装置であって、
   前記車両の複数の視野範囲の撮像映像をそれぞれ撮像する複数のカメラと、
   前記車両内に設置された前記表示装置と、
   前記車両の走行に係る舵角を検出する舵角検出手段と、
   少なくとも、前記舵角検出手段で検出された前記舵角に基づいて、全ての前記カメラで撮像された撮像映像のうち複数の撮像映像を、単一画面に並べて表示可能なように前記表示装置の画面中に占める表示面積の割合を変化させて合成し、合成された撮像映像を前記表示装置に表示する制御部と
   を備え、
   前記制御部が、前記各撮像映像について任意の仮想視点位置から見た変換映像を生成する機能を有し、当該機能が、複数の撮像装置の撮像映像での車両の進行方向が同一方向になるよう、少なくとも一つの撮像映像が視点変換する、車両周辺撮像装置。
2. 請求項１に記載の車両周辺撮像装置であって、
   前記制御部が、前記舵角検出手段で検出された前記舵角に基づいて判断された前記車両の進行方向の情報を、前記各撮像映像に重ねて前記表示装置に表示する、車両周辺撮像装置。

Images