JP2016013793A - 画像表示装置、画像表示方法 - Google Patents

Abstract

【課題】自車両を上方から見下ろした鳥瞰画像を表示することにより、運転者が自車両の周囲の状況を容易に把握可能とする。【解決手段】車載カメラによる撮影画像に基づいて、車両の周囲の状況を鳥瞰態様で表す鳥瞰画像を生成した後、車両の位置に車両画像を合成する。そして、車両のシフトポジションに応じて、鳥瞰画像の中から所定範囲の画像を切り出して表示画面に出力する。運転者が車両の周囲の状況を知りたい範囲はシフトポジションによって変わるから、こうすれば、小さい表示画面でも、運転者は周囲の状況を容易に把握できる。更に、撮影画像中で対象物が写った位置から、車両に対する対象物の位置を検出して、自車両の周辺に対象物が存在する画像を合成し、鳥瞰画像として用いても良い。こうすれば、歪みのない鳥瞰画像を表示することができるので、周囲の状況をより容易に把握可能となる。【選択図】図２

Description

本発明は、車両の周囲の状況を表す画像を、車両の上方から見下ろした態様で表示画面上に表示する技術に関する。

車両の前後（および左右）の搭載した車載カメラを用いて車両の周囲の画像を撮影し、得られた画像を車室内に設けた表示画面に表示することで、運転者が自車両の周囲の状況を確認できるようにした技術が知られている。
また、車載カメラで撮影した画像を、車両の上方から撮影したような画像に変換して表示画面上に表示することで、あたかも自車両を上方から見下ろしたような態様（鳥瞰態様）で表示する技術も開発されている（特許文献１）。車載カメラで撮影した画像を単に表示するのではなく、上方から見下ろした鳥瞰態様で表示してやれば、自車両の周囲に存在する障害物等までの距離や、自車両との位置関係を容易に把握できるようになると考えられてきた。

特開２０１２−０６６７２４号公報

しかし、実際には、車載カメラで撮影した画像を単に鳥瞰態様で表示しただけでは、運転者が自車両の周囲の状況を容易に把握することは、必ずしも容易ではないという問題があった。
これは、車室内に搭載可能な表示画面は小さいので、運転者が容易に認識できる大きさで障害物などを表示しようとすると、自車両の近くの領域しか表示することができず、表示画面だけでは自車両の周囲の状況を把握できるとは言い難いためである。かといって、自車両から離れた遠方の領域も表示しようとすると、障害物などが小さく表示されてしまうため、表示画面を見ても運転者が障害物などの存在に気付き難くなってしまう。

この発明は、従来技術が有する上述した課題に鑑みてなされたものであり、自車両を上方から見下ろした鳥瞰態様の画像を表示することにより、運転者が自車両の周囲の状況を容易に把握することが可能な技術の提供を目的とする。

上述した課題を解決するために、本発明の画像表示装置および画像表示方法は、車載カメラで撮影した撮影画像に基づいて、車両の周囲の状況を鳥瞰態様で表す鳥瞰画像を生成する。更に、鳥瞰画像中の車両の位置には車両画像を合成する。そして、車両のシフトポジションに応じて、鳥瞰画像の中から所定範囲の画像を切り出して表示画面に出力する。

運転者が車両の周囲の状況を知りたいと思う範囲はシフトポジションによって変化する。従って、シフトポジションに応じて鳥瞰画像の中から所定範囲の画像を切り出してやれば、表示画面が小さい場合でも、運転者は自車両の周囲の状況を容易に把握することが可能となる。

本実施例の画像表示装置１００を搭載した車両１についての説明図である。 画像表示装置１００の大まかな内部構成を示した説明図である。 本実施例の画像表示装置１００が実行する鳥瞰画像表示処理のフローチャートである。 車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒから得られた撮影画像を例示した説明図である。 対象物検出処理のフローチャートである。 撮影画像の収差を補正して得られた補正画像についての説明図である。 対象物検出処理で白線の座標値を記憶する様子を例示した説明図である。 対象物検出処理で歩行者の座標値を記憶する様子を例示した説明図である。 対象物検出処理で障害物の座標値を記憶する様子を例示した説明図である。 補正画像上での座標値を車両１を原点とした座標値に変換する方法についての説明図である。 本実施例の鳥瞰画像表示処理で生成された鳥瞰画像２７を例示した説明図である。 撮影画像を視点変換して生成した鳥瞰画像では歩行者や障害物が大きく歪む様子を例示した説明図である。 鳥瞰画像２７の中からシフトポジションに応じて所定範囲の画像を切り出す様子を示す説明図である。 シフトポジションをＮ（中立位置）からＲ（後退位置）に切り換えたことに伴って、表示画面１２に表示される鳥瞰画像２７の範囲が切り換わる様子を例示した説明図である。 シフトポジションをＮ（中立位置）からＤ（前進位置）に切り換えたことに伴って、表示画面１２に表示される鳥瞰画像２７範囲が切り換わる様子を例示した説明図である。

以下では、上述した本願発明の内容を明確にするために実施例について説明する。
Ａ．装置構成 ：
図１には、画像表示装置１００を搭載した車両１が示されている。図示されるように車両１は、車両１の前方に搭載されて前方の状況を撮影する車載カメラ１０Ｆと、車両１の後方に搭載されて後方の状況を撮影する車載カメラ１０Ｒと、車両１の左側面に搭載されて左側方の状況を撮影する車載カメラ１１Ｌと、車両１の右側面に搭載されて右側方の状況を撮影する車載カメラ１１Ｒとを備えている。これら車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒで得られた撮影画像の画像データは、画像表示装置１００に入力されて、後述する所定の処理が施されることによって、表示画面１２に画像が表示される。尚、本実施例では、ＣＰＵやＲＯＭ、ＲＡＭなどがバスを介してデータをやり取り可能に接続されたいわゆるマイクロコンピューターが、画像表示装置１００として用いられている。
また、車両１には、図示しない変速機のシフトポジションを検出するシフトポジションセンサー１４が設けられており、シフトポジションセンサー１４は画像表示装置１００に接続されている。従って、画像表示装置１００は、シフトポジションセンサー１４の出力に基づいて、変速機のシフトポジション（前進位置、中立位置、後退位置、駐車位置）を検出することができる。

図２には、本実施例の画像表示装置１００の大まかな内部構成が示されている。図示されるように本実施例の画像表示装置１００は、撮影画像取得部１０１と、鳥瞰画像生成部１０２と、車両画像合成部１０３と、シフトポジション検出部１０４と、画像出力部１０５とを備えている。
尚、これら５つの「部」は、画像表示装置１００が車両１の周囲の画像を表示画面１２に表示する機能に着目して、画像表示装置１００の内部を便宜的に分類した抽象的な概念であり、画像表示装置１００が物理的に５つの部分に区分されることを表すものではない。従って、これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。

撮影画像取得部１０１は、車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒに接続されており、これら車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒが車両１の周囲を撮影した撮影画像を一定周期（約３０Ｈｚ）で取得する。そして、取得した撮影画像を、鳥瞰画像生成部１０２に出力する。
鳥瞰画像生成部１０２は、撮影画像取得部１０１から受け取った撮影画像に基づいて、車両１を上方から見下ろした態様（鳥瞰態様）で車両１の周囲の状況を表示した鳥瞰画像を生成する。撮影画像から鳥瞰画像を生成する方法について後ほど詳しく説明するが、鳥瞰画像を生成する際には、画像中に写った歩行者や障害物などの対象物を抽出したり、検出した対象物の車両１に対する相対位置を検出したりする処理が行われる。従って、本実施例では、鳥瞰画像生成部１０２が本発明の「対象物抽出部」および「相対位置検出部」にも対応する。

車両画像合成部１０３は、鳥瞰画像生成部１０２によって生成された鳥瞰画像中で車両１が存在する位置に、車両１を表す画像（車両画像２４）を上書きすることによって、鳥瞰画像に車両画像２４を合成する。車両画像２４としては、車両１を上方から撮影した画像を用いても良いし、車両１を上方から見たアニメーション画像を用いても良く、更には、車両１を上方から見ていることが認識可能なシンボル図形の画像などを用いることができる。車両画像２４は、画像表示装置１００の図示しないメモリーに予め記憶されている。
こうして得られた鳥瞰画像は、そのまま表示画面１２に表示するには面積が大き過ぎるので、鳥瞰画像全体が表示画面１２に表示できる大きさまで縮小すると、表示が小さくなり過ぎてしまう。

そこで、シフトポジション検出部１０４は、シフトポジションセンサー１４からの信号に基づいて変速機のシフトポジション（前進位置、後退位置、中立あるいは駐車位置）を検出し、その結果を、画像出力部１０５に出力する。
すると、画像出力部１０５は、車両画像合成部１０３で車両画像が合成された鳥瞰画像の中から、シフトポジションに応じて定まる所定範囲の画像を切り出して、表示画面１２に出力する。
こうすれば、表示画面１２には十分な大きさで鳥瞰画像を表示することができるので、車両１の運転者は、車両１の周囲に存在する障害物や歩行者などの存在を容易に認識することが可能となる。

Ｂ．鳥瞰画像表示処理 ：
図３には、上述した画像表示装置１００が実行する鳥瞰画像表示処理のフローチャートが示されている。
鳥瞰画像表示処理では、先ず始めに、車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒから撮影画像を取得する（Ｓ１００）。すなわち、車両１の前方に搭載された車載カメラ１０Ｆからは、車両１から前方を撮影した画像（前方画像２０）を取得し、車両１の後方に搭載された車載カメラ１０Ｒからは、車両１から後方を撮影した画像（後方画像２３）を取得する。同様に、車両１の左側方に搭載された車載カメラ１１Ｌからは、車両１から左側方を撮影した画像（左側方画像２１）を取得し、車両１の右側方に搭載された車載カメラ１１Ｒからは、車両１から右側方を撮影した画像（右側方画像２２）を取得する。
図４には、４つの車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒから、前方画像２０、左側方画像２１、右側方画像２２、後方画像２３が得られた様子が例示されている。

続いて、これらの撮影画像に基づいて、車両１の周囲に存在する対象物を検出する処理（対象物検出処理）を開始する（Ｓ２００）。ここで対象物とは、歩行者や、自動車、二輪車などの移動体、あるいは、電信柱などのように車両１の走行の妨げとなる障害物など、検出する対象として予め定められた物体である。
図５には、対象物検出処理のフローチャートが示されている。図示されるように、対象物検出処理を開始すると、先ず始めに、車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒから得られた撮影画像に含まれる光学系の収差を補正することによって、補正画像を生成する（Ｓ２０１）。光学系の収差は、それぞれの車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒについて、計算あるいは実験的な方法によって予め求めておくことができる。画像表示装置１００の図示しないメモリーには、車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒのそれぞれについて収差のデータが予め記憶されており、この収差のデータに基づいて撮影画像を補正することにより、収差を含まない補正画像を得ることができる。
図６には、こうして収差を含まない前方補正画像２０ｍ、左側方補正画像２１ｍ、右側方補正画像２２ｍ、後方補正画像２３ｍが得られた様子が例示されている。

こうして補正画像が得られたら、それぞれの補正画像の中から白線および黄線を検出する（Ｓ２０２）。白線あるいは黄線は、画像中で輝度が急激に変化している部分（いわゆるエッジ）を検出し、エッジで囲まれている領域の中で白い部分、あるいは黄色の部分を抽出することによって検出することができる。
また、白線あるいは黄線が検出された場合には、前方補正画像２０ｍ、左側方補正画像２１ｍ、右側方補正画像２２ｍ、後方補正画像２３ｍの何れの補正画像から検出されたか、および補正画像上での座標値を、画像表示装置１００のメモリーに記憶しておく。

図７には、検出された白線の座標値が記憶されている様子が例示されている。図示した例では、白線を構成する輪郭を直線に分割し、直線の交点の座標値を記憶する。例えば、一番手前に写っている白線については、４本の直線が検出されているので、それら直線の４つの交点の座標値を記憶する。尚、図７では、図示が煩雑となることを避けるために、４つの交点の中の２つの交点ａ，ｂについて表示している。例えば、交点ａについては、座標値（Ｗａ，Ｄａ）を記憶し、交点ｂについては、座標値（Ｗｂ，Ｄｂ）を記憶する。
尚、図示した例での座標値の取り方は、左右方向の座標値は画像の中央位置を原点として、左方向に行くほど負の値が大きくなるように、右方向に行くほど正の値が大きくなるように取っている。更に、上下方向の座標値は、画像の上辺を原点として、下方向に行くほど正の値が大きくなるように取っている。

続いて、それぞれの補正画像の中から歩行者を検出する（Ｓ２０３）。画像中の歩行者は、歩行者の画像が備える特徴を記述したテンプレートを用いて、画像を探索することによって検出する。そして、画像中でテンプレートに合致する箇所が見つかったら、その箇所には歩行者が写っているものと判断する。画像中の歩行者は様々な大きさで写り得るから、それぞれの大きさに応じて様々な大きさのテンプレートを記憶しておき、それらのテンプレートを用いて画像を探索すれば、様々な大きさの歩行者を検出することができる。また、いずれのテンプレートで検出されたかによって、歩行者が写っている大きさに関する情報も得ることができる。
また、歩行者が検出された場合には、前方補正画像２０ｍ、左側方補正画像２１ｍ、右側方補正画像２２ｍ、後方補正画像２３ｍの何れの補正画像から検出されたか、補正画像上での座標値、および歩行者の大きさを画像表示装置１００のメモリーに記憶しておく。

図８には、検出された歩行者の座標値が記憶されている様子が例示されている。図示されているように、歩行者の座標値は、検出された歩行者の足元の座標値を記憶する。こうすると、歩行者の上下方向の座標値は、歩行者までの距離に対応する。そして、歩行者の身長は、１〜２メートルの範囲に収まると考えて良いから、画像中で歩行者が写る大きさも、歩行者までの距離に応じて定まる所定範囲の大きさに収まるはずである。このことから、検出した歩行者の大きさが、この所定範囲内になかった場合は、誤検出しているものと考えて良い。
例えば、図８（ａ）に示した例では、歩行者の足元を示す点ｃの上下方向についての座標値がＤｃであり、この位置に写る歩行者の大きさは、ある大きさの範囲に限られる。そこで、検出した歩行者の大きさＨｃがこの範囲内にあるか否かを判断し、この範囲内にあれば、歩行者を正しく認識したものと判断して、検出結果をメモリーに記憶する。逆に、範囲内に無ければ、誤検出したものと判断して、検出結果は記憶することなく破棄する。図８（ｂ）に示した例でも同様である。すなわち、検出した歩行者の大きさＨｄが、歩行者の足元の点ｄの座標値Ｄｄに対応した範囲内にあるか否かを判断する。その結果、範囲内にあった場合は、歩行者を正しく認識したものと判断して、検出結果をメモリーに記憶する。逆に、範囲内に無ければ、誤検出したものと判断して、検出結果は記憶することなく破棄する。

以上のようにして、補正画像中の歩行者を検出したら（Ｓ２０３）、次は、補正画像中に写った車両を検出する（Ｓ２０３）。画像中の車両も、車両の画像が備える特徴を記述したテンプレートを用いて、画像を探索することによって検出する。たとえば、自動車を検出するのであれば、自動車用のテンプレートを記憶しておき、自転車を検出するのであれば自転車用のテンプレートを、自動二輪を検出するのであれば自動二輪用のテンプレートを記憶しておく。また、これらのテンプレートについても、様々な大きさについて記憶しておく。そして、これらのテンプレートを用いて画像を探索することによって、画像中に写った自動車や、自転車、自動二輪などの車両を検出することができる。
また、車両が検出された場合も、前方補正画像２０ｍ、左側方補正画像２１ｍ、右側方補正画像２２ｍ、後方補正画像２３ｍの何れの補正画像から検出されたか、補正画像上での座標値、車両の種類（自動車、自転車、自動二輪など）および大きさを画像表示装置１００のメモリーに記憶しておく。
尚、車両についても、車両が地面に接している部分の座標値を記憶する。また、この時、車両の上下方向の座標値と、車両の大きさとが整合するか否かを確認して、整合していない場合は誤検出したものと判断して検出結果を破棄するようにしても良い。

続いて、補正画像中に写った障害物を検出する（Ｓ２０５）。障害物も、上述した歩行者や車両と同様に、障害物用のテンプレートを用いて検出する。但し、障害物には様々な形状を有するものがあり、それら全てを１種類のテンプレートで検出することはできない。そこで、例えば、電信柱や、三角コーン、ガードレールなど、幾つかの種類の障害物（所定の障害物）を想定しておき、それら障害物の種類毎にテンプレートを記憶しておく。そして、それらテンプレートを用いて画像を探索することにより、障害物を検出する。
その結果、障害物が検出された場合も、前方補正画像２０ｍ、左側方補正画像２１ｍ、右側方補正画像２２ｍ、後方補正画像２３ｍの何れの補正画像から検出されたか、補正画像上での座標値、障害物の種類および大きさを画像表示装置１００のメモリーに記憶しておく。
図９には、検出した障害物（三角コーン）の座標値を記憶する様子が例示されている。図示されているように、障害物の座標値も、障害物が地面に接している位置を示す点ｅの座標値（Ｗｅ，Ｄｅ）を記憶する。また、障害物についても、上下方向の座標値Ｄｅと、障害物の大きさとが整合するか否かを確認して、整合していない場合は誤検出したものと判断して検出結果を破棄するようにしても良い。

以上のようにして、白線などや、歩行者、車両、障害物を検出したら（Ｓ２０１〜Ｓ２０５）、今度は、これらに該当しない移動体（例えば、転がるボールや、動物などのように動く物体）を検出する（Ｓ２０６）。すなわち、ボールが転がってきた場合や、動物が飛び出してきた場合など、移動体が存在していると不測の事態が生じ易いので、車両１の周囲に移動体が存在する場合には、その存在を運転者が認識しておくことが望ましい。そこで、移動体については、歩行者や車両などに該当しない場合でも検出する。
移動体の検出には、前回に得られた画像と今回の画像とを比較して、画像中で移動している物体を検出する。また、このとき、車両１の移動情報（車速や、ハンドルの操舵角、前進中か後退中かを示す情報）を図示しない車両制御装置から取得して、撮影範囲が変化したことによる画像全体の移動を除去するようにしても良い。

こうして、検出した各種の対象物の座標値を、車両１を原点とする座標値（すなわち、車両１に対する相対位置）に変換して、メモリーに記憶されている座標値を、得られた座標値で更新する（Ｓ２０７）。
これは次のような処理である。例えば、前方補正画像２０ｍは車両１の前方の状況が写っているから、前方補正画像２０ｍ上の全ての座標値は、車両１の前方の何れかの位置に対応付けることができる。従って、このような対応関係を予め求めておけば、図１０（ａ）に示すように、前方補正画像２０ｍから検出された対象物の座標値を、図１０（ｂ）に示すように、車両１を原点とする座標値に変換することができる。

左側方補正画像２１ｍや、右側方補正画像２２ｍ、後方補正画像２３ｍについても同様に、それぞれの補正画像上の座標値は、車両１の左側方、右側方、後方の座標値に対応付けることができる。そこで、これらの対応関係を予め求めておくことによって、それぞれの補正画像から検出された対象物の座標値を、車両１を原点とする座標値に変換する。
こうして、全ての対象物の座標値を、車両１を原点とする座標値に変換してメモリーに記憶したら、図５に示した対象物検出処理を終了して、図３の鳥瞰画像表示処理に復帰する。

対象物検出処理から復帰すると、今度は、鳥瞰画像を生成する（Ｓ１０１）。ここで鳥瞰画像とは、車両１を上方から見下ろす態様（鳥瞰態様）で車両１の周囲を表示した画像である。上述した対象物検出処理では、車両１の周囲に存在する対象物と、その対象物の存在位置が、車両１を原点とする座標値によって求められている。このため、対象物が存在する位置に、対象物を表す図形の画像（対象物画像）を表示することで、容易に鳥瞰画像を生成することができる。尚、対象物画像の具体例については、後述する。

続いて、鳥瞰画像中の対象物のうち、特に、歩行者や、障害物、移動体についてはマーカー画像を重ねて表示する（Ｓ１０２）。マーカー画像とは、対象物を目立ち易くするために表示される画像であり、対象物を囲って表示される円形あるいは矩形の図形などとすることができる。
更に、鳥瞰画像中で自車両が存在する位置には、車両１を表す画像（車両画像）を上書きする形態で合成する（Ｓ１０３）

図１１には、このようにして生成された鳥瞰画像２７が例示されている。図４を用いて前述したように、車両１の前方画像２０および左側方画像２１に歩行者が写っており、後方画像２３に障害物が写っていることに対応して、図１１の鳥瞰画像２７では、車両１の前方および左側方に歩行者を表す対象物画像２５ａが表示されている。同様に車両１の後方には、障害物を表す対象物画像２５ｂが表示されている。
また、歩行者用の対象物画像２５ａ、および障害物用の対象物画像２５ｂのそれぞれには、歩行者用のマーカー画像２６ａ、および障害物用のマーカー画像２６ｂが重ねて表示されている。更に、鳥瞰画像２７中で自車両が存在する位置には、車両１を表す車両画像２４が上書きされて合成されている。加えて、車両画像２４の周囲には、白線の画像も表示されている。

このように、車両１に搭載された車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒで撮影した撮影画像から各種の対象物を検出して、その結果に基づいて鳥瞰画像を生成してやれば、運転者に提示する必要性の低い情報を表示しないようにすることができる。このため、図１１に例示したように、たいへんに分かり易い態様で、車両１の周囲の状況を運転者に提示することができる。また、歩行者や障害物など、特に運転者が注意を払うべき対象物にはマーカー画像を重ねて表示することで、運転者の注意を喚起することができる。加えて、車両１が存在する位置に車両画像２４を表示しておくことで、歩行者や障害物などの対象物と、車両１との位置関係を容易に把握することが可能となる。

また、撮影画像を視点変換することによって鳥瞰画像を生成する場合、対象物の画像が大きく歪んでしまうことがある。例えば、図４に例示したような前方画像２０、左側方画像２１、右側方画像２２、後方画像２３を視線変換して鳥瞰画像２８を生成すると、図１２に例示したように、歩行者や障害物が大きく歪んでしまい、運転者が直ちに認識できない場合がある。
これに対して、上述した本実施例のように、撮影画像に写った対象物の有無および対象物の位置についての情報を抽出して、その情報に基づいて鳥瞰画像を生成してやれば、図１１のように、たいへん分かり易い鳥瞰画像２７を生成することができる。

もっとも、こうして得られた鳥瞰画像２７は、車両１の周囲の広い範囲を表している。このことは、撮影画像に写った対象物の位置の情報に基づいて鳥瞰画像を生成することで、画像中の対象物が歪むことが無くなり、その結果、広い範囲を表示する鳥瞰画像２７が生成可能になったと言うことでもある。そして、このように広い範囲を表示する鳥瞰画像２７を、表示画面１２に表示しようとすると、鳥瞰画像２７を小さく縮小して表示しなければならなくなって、車両１の周囲の状況を運転者が確認しづらくなる。

そこで、本実施例の鳥瞰画像表示処理では、車両１のシフトポジションを取得する（図３のＳ１０４）。図２を用いて前述したようにシフトポジションは、車両１に搭載された図示しない変速機が、前進位置（Ｄ）、後退位置（Ｒ）、中立位置（Ｎ）、駐車位置（Ｐ）の何れに設定されているかを示している。そして、シフトポジションがこれらの何れであるかは、シフトポジションセンサー１４の出力から検出することができる。

シフトポジションを取得したら、今度は、鳥瞰画像２７の中からシフトポジションに応じた所定範囲の画像を切り出して、切り出した画像の画像データを表示画面１２に向かって出力する（Ｓ１０５）。
図１３には、シフトポジションに応じて、鳥瞰画像２７の中から所定範囲の画像を切り出す様子が例示されている。例えば、シフトポジションが前進位置（Ｄ）にある場合は、図１３（ａ）に示すように、車両１の後方よりも前方の方が広くなるように設定された所定領域の画像を切り出してやる。図１３では、鳥瞰画像２７中で斜線を付さずに表示された部分が、切り出される画像を表している。また、シフトポジションが後退位置（Ｒ）にある場合は、図１３（ｂ）に示すように、車両１の前方よりも後方の方が広くなるように設定された所定領域の画像を切り出してやる。更に、シフトポジションが中立位置（Ｎ）あるいは駐車位置（Ｐ）にある場合は、図１３（ｃ）に示すように、車両１の前方と後方とが同じ広さとなるように設定された所定領域の画像を切り出してやる。
そして、このようにして鳥瞰画像２７から切り出した画像の画像データを出力する（Ｓ１０５）。その結果、表示画面１２には、シフトポジションに応じて切り出された画像が表示される。

続いて、鳥瞰画像の表示を終了するか否かを判断する（図３のＳ１０６）。その結果、鳥瞰画像の表示を終了しないと判断した場合は（Ｓ１０６：ｎｏ）、鳥瞰画像表示処理の先頭に戻って、再び、車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒから撮影画像を取得した後（Ｓ１００）、続く上述した一連の処理を繰り返す。
これに対して、鳥瞰画像の表示を終了すると判断した場合は（Ｓ１０６：ｙｅｓ）、図３に示した本実施例の鳥瞰画像表示処理を終了する。

図１４および図１５には、上述した鳥瞰画像表示処理によって表示画面１２に表示される画像が例示されている。例えば、図１４（ａ）に示されるように、シフトポジションが中立位置（Ｎ）にある場合は、表示画面１２の中央付近に車両画像２４が表示されているので、運転者は前方および後方の状況を万遍なく把握することができる。
もちろん、表示画面１２はそれほど広い範囲は表示することができないが、シフトポジションが中立位置（Ｎ）にある場合は車両１が止まっているので、運転者は遠くの状況を知りたいと思う可能性は低く、車両１の近くの状況が把握できれば十分である。

その後、車両１を後退させようとしてシフトポジションを後退位置（Ｒ）に変更すると、図１４（ｂ）に示したように、車両１の前方よりも後方の方が、広い範囲が表示されるようになる。車両１の後退時には、運転者は後方については遠くの状況も知りたいと思う傾向が強いので、こうすることで、運転者にとって必要な情報を提示することが可能となる。図１４に示した例では、シフトポジションが中立位置（Ｎ）にあるときは表示されていなかった後方の障害物２５ｂが、シフトポジションを後退位置（Ｒ）に変更すると、表示画面１２上で確認可能となっている。
また、前述したように本実施例では、遠くの位置まで歪みのない鳥瞰画像２７を表示することができるので、車両１から遠くの状況を表示する場合でも、運転者が容易に認識可能な態様で鳥瞰画像２７を表示することが可能となる。
加えて、表示画面１２では、対象物が対象物画像２５ａ，２５ｂによって表示されるだけでなく、特に注意すべき対象物についてはマーカー画像が重ねて表示されるので、運転者が対象物を容易に認識することが可能となる。

また、シフトポジションが中立位置（Ｎ）から前進位置（Ｄ）に変更された場合は、表示画面１２の表示は、図１５（ａ）に示した状態から、図１５（ｂ）に示した状態に変更される。車両１の前進時には、運転者は前方については遠くの状況も知りたいと思う傾向が強いので、こうすることで、運転者にとって必要な情報を提示することが可能となる。
図１５に示した例では、シフトポジションが中立位置（Ｎ）にあるときは表示されていなかった前方の歩行者２５ａが、シフトポジションを前進位置（Ｄ）に変更すると、表示画面１２上で確認可能となっている。

以上、本実施例について説明したが、本発明は上記の実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

１…車両、 １０Ｆ，Ｒ…車載カメラ、 １１Ｌ，Ｒ…車載カメラ、
１２…表示画面、 １４…シフトポジションセンサー、 ２０…前方画像、
２１…左側方画像、 ２２…右側方画像、 ２３…後方画像、
２４…車両画像、 ２５ａ，ｂ…対象物画像、 ２６ａ，ｂ…マーカー画像、
２７…鳥瞰画像、 １００…画像表示装置、 １０１…撮影画像取得部、
１０２…鳥瞰画像生成部、 １０３…車両画像合成部、
１０４…シフトポジション検出部、 １０５…画像出力部。

Claims (6)

1. 車載カメラ（１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒ）と、該車載カメラによる撮影画像を表示する表示画面（１２）とを搭載した車両（１）に適用されて、該車両を上方から見下ろす鳥瞰態様で、該車両の周囲の状況を表す画像を前記表示画面に表示する画像表示装置（１００）であって、
   前記車載カメラから前記撮影画像を取得する撮影画像取得部（１０１）と、
   前記車両の周囲の状況を前記鳥瞰態様で表示する鳥瞰画像（２７）を、前記撮影画像に基づいて生成する鳥瞰画像生成部（１０２）と、
   前記鳥瞰画像中での前記車両の位置に、該車両を表す車両画像（２４）を合成する車両画像合成部（１０３）と、
   前記車両のシフトポジションを検出するシフトポジション検出部（１０４）と、
   前記車両画像が合成された前記鳥瞰画像の中から前記車両のシフトポジションに応じた所定範囲の画像を切り出して、前記表示画面に出力する画像出力部（１０５）と
   を備える画像表示装置。
2. 請求項１に記載の画像表示装置であって、
   前記画像出力部は、前記車両のシフトポジションが前進位置にある場合には、該車両の後方よりも該車両の前方の方が広くなるように設定された前記所定範囲の画像を切り出して、前記表示画面に出力する出力部である
   画像表示装置。
3. 請求項１または請求項２に記載の画像表示装置であって、
   前記画像出力部は、前記車両のシフトポジションが後退位置にある場合には、該車両の前方よりも該車両の後方の方が広くなるように設定された前記所定範囲の画像を切り出して、前記表示画面に出力する出力部である
   画像表示装置。
4. 請求項１ないし請求項３の何れか一項に記載の画像表示装置であって、
   前記鳥瞰画像生成部は、
   前記撮影画像に写った障害物または移動体を対象物として抽出する対象物抽出部（１０２、Ｓ２０２〜Ｓ２０５）と、
   前記撮影画像中で前記対象物が抽出された位置に基づいて、該対象物の前記車両に対する相対位置を検出する相対位置検出部（１０２、Ｓ２０７）と
   を備え、
   前記対象物を表す対象物画像（２５ａ，２５ｂ）を、前記鳥瞰画像中で該対象物の前記相対位置が示す位置に合成することによって、該対象物を含む該鳥瞰画像を生成する生成部である
   画像表示装置。
5. 請求項４に記載の画像表示装置であって、
   前記鳥瞰画像生成部は、前記対象物抽出部によって抽出された前記対象物が障害物または移動体であった場合には、前記鳥瞰画像中で該対象物が表示されている位置に所定のマーカー画像（２６ａ，２６ｂ）を合成することによって、該マーカー画像を含む該鳥瞰画像を生成する生成部である
   画像表示装置。
6. 車載カメラと、該車載カメラによる撮影画像を表示する表示画面とを搭載した車両に適用されて、該車両を上方から見下ろす鳥瞰態様で、該車両の周囲の状況を表す画像を前記表示画面に表示する画像表示方法であって、
   前記車載カメラから前記撮影画像を取得する工程（Ｓ１００）と、
   前記車両の周囲の状況を前記鳥瞰態様で表示する鳥瞰画像を、前記撮影画像に基づいて生成する工程（Ｓ１０１）と、
   前記鳥瞰画像中での前記車両の位置に、該車両を表す車両画像を合成する工程（Ｓ１０３）と、
   前記車両のシフトポジションを検出する工程（Ｓ１０４）と、
   前記車両画像が合成された前記鳥瞰画像の中から前記車両のシフトポジションに応じた所定範囲の画像を切り出して、前記表示画面に出力する工程（Ｓ１０５）と
   を備える画像表示方法。

Images