JP6003226B2

JP6003226B2 - 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム

Info

Publication number: JP6003226B2
Application number: JP2012117762A
Authority: JP
Inventors: 博彦柳川; 真和竹市; 丙辰王
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2012-05-23
Filing date: 2012-05-23
Publication date: 2016-10-05
Anticipated expiration: 2032-05-23
Also published as: EP2854098A4; CN104335241A; JP2013246493A; WO2013175684A1; EP2854098B1; EP2854098A1; US20150070394A1; CN104335241B

Description

本発明は、車両周囲画像表示制御装置および車両周囲画像表示制御プログラムに関するものである。

従来、車両に取り付けられたカメラで車両の周囲を繰り返し撮影し、撮影画像を車両の上方から見下ろす視点の画像に鳥瞰変換し、その鳥瞰変換後の鳥瞰画像を画像表示装置に表示させる技術が知られている。

このような技術において、最新の撮影画像の鳥瞰画像と過去の撮影画像の鳥瞰画像を合成した合成鳥瞰画像を画像表示装置に表示することで、車両の周囲の画像表示範囲を広げる技術（履歴合成技術という）が知られている（特許文献１参照）
例えば、カメラが車両の後方を撮影するリアカメラである場合、図５に示すように、車両の後方を除く周囲の鳥瞰画像を保存するための履歴領域９１と、車両の後方の鳥瞰画像を保存するためのリアルタイム領域９２とをメモリ上に設ける。そして、最新の撮影画像の鳥瞰画像をメモリ上のリアルタイム領域９２に上書きし、履歴領域９１およびリアルタイム領域９２の合成鳥瞰画像を画像表示装置に表示させ、車両情報（ステアリング角、車速等）を利用して車両の動きを計算し、計算した車両の動きと逆の動きをするよう、履歴領域９１およびリアルタイム領域９２において画像を移動させる。

このような処理を繰り返すことで、例えば車両が後退するときに画像表示装置に表示される画像は、図６Ａ〜図６Ｆの順に車両の後退が進むと共に、リアルタイム領域９２にあった画像が履歴領域９１に順次移動していく。したがって、履歴領域９１に含まれる鳥瞰画像の範囲が順次拡大していき、車両の周囲の表示範囲が拡大していく。

特開２００２−３７３３２７号公報特開２０１０−２３７９７６号公報

西本至孝、泉隆、「影抽出に基づく車両検出について」、電気学会ＩＴＳ研究会、ＩＴＳ−０６−１４、７〜１２頁、２００６年６月

しかし、上記のような技術では、図７Ａ〜図７Ｆに例示するように、カメラの撮影画像中に自車両の影がある場合は、自車両の移動と共にその影が履歴領域９１に移動し続ける。したがって、画像表示装置に表示される合成鳥瞰画像中において、影の画像が拡大してしまい、車両の周囲が見づらい合成鳥瞰画像となってしまう。

本発明は上記点に鑑み、最新の撮影画像の鳥瞰画像と過去の撮影画像の鳥瞰画像を合成した合成鳥瞰画像を画像表示装置に表示する履歴合成技術において、車両の移動と共に合成鳥瞰画像中において自車両の影が拡大してしまう可能性を低減することを目的とする。

上記目的を達成するための請求項１に記載の発明は、車両に搭載された車載カメラ（１）から前記車両の周囲の撮影画像を繰り返し取得する取得手段（１１０）と、前記取得手段（１１０）が繰り返し取得した撮影画像に鳥瞰変換を逐次施して鳥瞰画像を作成する鳥瞰変換手段（１１５）と、作成された最新の前記鳥瞰画像をメモリに保存する際、前記鳥瞰画像を前記車両の前後方向に分割したうちの、前記車両からより離れた方の所定の範囲の画像を、リアルＡ領域（５１ａ）に保存し、前記車両により近い方の所定の範囲の画像を、リアルＢ領域（５１ｂ）に保存する分割保存手段（１２０）と、前記リアルＢ領域（５１ｂ）の一部または全部を含む所定の領域に保存された鳥瞰画像内に影があるか否かを判定する影判定手段（１２５）と、前記車両から入力された車両挙動情報に基づいて、前記車両の動き量を算出する動き算出手段（１３５、１５５）と、前記影判定手段（１２５）によって影がないと判定された場合、前記車載カメラ（１）の撮影範囲外の鳥瞰画像を保存するための履歴Ｃ領域（５２）内の鳥瞰画像が前記車両の現在の周囲の配置を反映するよう、前記車両の前記動き量に基づいて、前記リアルＢ領域（５１ｂ）内に保存された鳥瞰画像を用いて前記履歴Ｃ領域（５２）内に鳥瞰画像を構成すると共に、前記リアルＢ領域（５１ｂ）と同じ範囲の鳥瞰画像を保存するための履歴Ｂ領域（５３）内の鳥瞰画像が前記車両の現在の周囲の配置を反映するよう、前記車両の前記動き量に基づいて、前記リアルＡ領域（５１ａ）内に保存された鳥瞰画像を用いて前記履歴Ｂ領域（５３）内に鳥瞰画像を構成する第１履歴画像構成手段（１４０）と、前記影判定手段（１２５）によって影があると判定された場合、前記車載カメラ（１）の撮影範囲外の鳥瞰画像を保存するための履歴Ｃ領域（５２）内の鳥瞰画像が前記車両の現在の周囲の配置を反映するよう、前記車両の前記動き量に基づいて、前記履歴Ｂ領域（５３）内に保存された鳥瞰画像を用いて前記履歴Ｃ領域（５２）内に鳥瞰画像を構成すると共に、前記履歴Ｂ領域（５３）内の鳥瞰画像が前記車両の現在の周囲の配置を反映するよう、前記車両の前記動き量に基づいて、前記リアルＡ領域（５１ａ）内に保存された鳥瞰画像を用いて前記履歴Ｂ領域（５３）内に鳥瞰画像を構成する第２履歴画像構成手段（１６０）と、前記リアルＡ領域（５１ａ）内の鳥瞰画像、前記履歴Ｃ領域（５２）内の鳥瞰画像、および、前記リアルＢ領域（５１ｂ）内または前記履歴Ｂ領域（５３）内の鳥瞰画像を、画像表示装置（３）に表示させる表示制御手段（１３０、１５０）と、を備えた車両周囲画像表示制御装置である。

このように、リアルＢ領域（５１ｂ）と同じ範囲の鳥瞰画像を保存するための履歴Ｂ領域（５３）を設け、この履歴Ｂ領域（５３）内の鳥瞰画像が車両の現在の周囲の配置を反映するよう、リアルＡ領域（５１ａ）内に保存された鳥瞰画像を用いて履歴Ｂ領域（５３）内に鳥瞰画像を構成する。

そして、リアルＢ領域（５１ｂ）の一部または全部を含む所定の領域に保存された鳥瞰画像内に影があるかないか判定し、車載カメラ（１）の撮影範囲外の鳥瞰画像を保存するための履歴Ｃ領域（５２）内の鳥瞰画像が車両の現在の周囲の配置を反映するよう、影がない場合は、リアルＢ領域（５１ｂ）内に保存された鳥瞰画像を用いて履歴Ｃ領域（５２）内に鳥瞰画像を構成し、影がある場合は、履歴Ｂ領域（５３）内に保存された鳥瞰画像を用いて履歴Ｃ領域（５２）内に鳥瞰画像を構成する。

このように、履歴合成（履歴Ｃ領域内の鳥瞰画像を構成することをいう）の元画像としてリアルＢ領域（５１ｂ）の鳥瞰画像を用いるか履歴Ｂ領域（５３）の鳥瞰画像を用いるかを、影の有無に応じて選択できるようにする。

これにより、影のある場合は、リアルＡ領域５１ａの鳥瞰画像（影のない可能性が高い画像）に基づいて構成された履歴Ｂ領域（５３）の鳥瞰画像を用いて履歴合成を行うので、履歴Ｃ領域（５２）内にて自車両の影が拡大してしまう可能性を低減することができる。

また、影のない場合は、リアルＢ領域（５１ｂ）の鳥瞰画像を用いて履歴合成を行うので、履歴Ｃ領域（５２）内の鳥瞰画像の撮影時期が比較的新しくなる。
また、請求項６に記載の発明は、車両に搭載された車載カメラ（１）から前記車両の周囲の撮影画像を繰り返し取得する取得装置（１１０）と、撮影画像に鳥瞰変換を逐次施して、鳥瞰画像を作成する鳥瞰変換装置（１１５）と、前記車両から入力された車両挙動情報に基づいて、前記車両の動き量を算出する動き算出装置（１３５、１５５）と、前記車両の周囲の所定のＢ範囲のＢ鳥瞰画像を記憶するリアルＢ領域と、前記Ｂ範囲よりも前記車両からより離れた所定のＡ範囲のＡ鳥瞰画像を記憶するリアルＡ領域と、前記リアルＡ領域が記憶していた前記Ａ鳥瞰画像を前記動き算出装置が算出した前記車両の動き量に基づいて前記車両との相対位置を移動させて履歴Ｂ鳥瞰画像として記憶する履歴Ｂ領域と、前記履歴Ｂ領域が記憶していた前記履歴Ｂ鳥瞰画像または前記リアルＢ領域が記憶していた前記Ｂ鳥瞰画像を、前記動き算出装置が算出した前記車両の動き量に基づいて前記車両との相対位置を移動させてＣ鳥瞰画像として記憶する履歴Ｃ領域と、を有するメモリと、前記鳥瞰画像を前記車両の前後方向に分割することで、前記Ａ鳥瞰画像と前記Ｂ鳥瞰画像を作成し、前記Ａ鳥瞰画像を前記リアルＡ領域（５１ａ）に保存し、前記Ｂ鳥瞰画像を前記リアルＢ領域（５１b）に保存する分割保存装置（１２０）と、前記リアルＢ領域（５１ｂ）の一部または全部に保存されたＢ鳥瞰画像に影があるか否かを判定する影判定装置（１２５）と、前記影判定装置（１２５）が、Ｂ鳥瞰画像に影がないと判定した場合、前記リアルＢ領域（５１ｂ）に保存されていたＢ鳥瞰画像を用いて前記履歴Ｃ領域（５２）内に前記Ｃ鳥瞰画像を構成する第１履歴画像構成装置（１４０）と、前記影判定装置（１２５）が、Ｂ鳥瞰画像に影があると判定した場合、前記履歴Ｂ領域（５３）内に保存されていた履歴Ｂ鳥瞰画像を用いて前記履歴Ｃ領域（５２）内に前記Ｃ鳥瞰画像を構成する第２履歴画像構成装置（１６０）と、前記リアルＡ領域（５１ａ）内の前記Ａ鳥瞰画像、前記履歴Ｃ領域（５２）内の前記Ｃ鳥瞰画像、および、前記リアルＢ領域（５１ｂ）内の前記Ｂ鳥瞰画像または前記履歴Ｂ領域（５３）内の前記履歴Ｂ鳥瞰画像を、画像表示装置（３）に表示させる表示制御装置（１３０、１５０）と、を備えた車両周囲画像表示制御装置である。

なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。

本発明の実施形態に係るメモリ中のリアルＡ領域５１ａ、リアルＢ領域５１ｂ、履歴Ｃ領域５２、履歴Ｂ領域５３を示す図である。制御装置が実行する処理のフローチャートである。影がある場合に車両の後退と共に変化する合成鳥瞰画像を示す図である。影がある場合に車両の後退と共に変化する合成鳥瞰画像を示す図である。影がある場合に車両の後退と共に変化する合成鳥瞰画像を示す図である。影がある場合に車両の後退と共に変化する合成鳥瞰画像を示す図である。影がある場合に車両の後退と共に変化する合成鳥瞰画像を示す図である。影がある場合に車両の後退と共に変化する合成鳥瞰画像を示す図である。従来のメモリ中の履歴領域９１とリアルタイム領域９２を示す図である。車両の後退と共に変化する合成鳥瞰画像を示す図である。車両の後退と共に変化する合成鳥瞰画像を示す図である。車両の後退と共に変化する合成鳥瞰画像を示す図である。車両の後退と共に変化する合成鳥瞰画像を示す図である。車両の後退と共に変化する合成鳥瞰画像を示す図である。車両の後退と共に変化する合成鳥瞰画像を示す図である。影がある場合に車両の後退と共に変化する合成鳥瞰画像を示す図である。影がある場合に車両の後退と共に変化する合成鳥瞰画像を示す図である。影がある場合に車両の後退と共に変化する合成鳥瞰画像を示す図である。影がある場合に車両の後退と共に変化する合成鳥瞰画像を示す図である。影がある場合に車両の後退と共に変化する合成鳥瞰画像を示す図である。影がある場合に車両の後退と共に変化する合成鳥瞰画像を示す図である。

以下、本発明の一実施形態について説明する。図１に、本実施形態に係る車両周囲画像表示システムの構成を示す。この車両周囲画像表示システムは、車両に搭載され、車載カメラ１、制御装置２（車両周囲画像表示制御装置の一例に相当する）、画像表示装置３を備えている。

車載カメラ１は、車両の後端付近に固定して搭載され、車両の周囲を、具体的には、車両の後方の所定範囲を繰り返し（例えば、１／３０秒周期で）撮影し、撮影の結果得た撮影画像のデータを制御装置２に逐次出力する。

制御装置２は、車載カメラ１から上記撮影画像が繰り返し入力されると共に、自車両からシフトレンジの情報、車速の情報、およびステアリング角（またはヨーレート）の情報が繰り返し入力されるようになっている。

そして制御装置２は、あらかじめ定められた処理を実行することで、鳥瞰変換部２１、画像合成部２２、車両運動計算部２３、影判断部２４として機能する。

鳥瞰変換部２１は、車載カメラ１から入力された撮影画像に対して周知の鳥瞰変換を施すことで、当該撮影画像を、自車両の上方から（真下にまたは斜め下に）見下ろす視点の鳥瞰画像に、変換する。

画像合成部２２は、後述するように、最新の撮影画像の鳥瞰画像と、過去の撮影画像の鳥瞰画像を合成し、合成の結果得た合成鳥瞰画像を画像表示装置３に出力する。

車両運動計算部２３は、自車両から入力されたシフトレンジの情報、車速の情報、およびステアリング角（またはヨーレート）の情報に基づいて、周知のＡｃｋｅｒｍａｎモデルに従った自車両の動き（移動量および姿勢変化量）を算出する。影判断部２４は、最新の撮影画像の鳥瞰画像中に影が存在するか否か判定する。

なお、このような構成の制御装置２としては、周知のマイクロコンピュータを用いてもよい。

画像表示装置３は、制御装置２から入力された合成鳥瞰画像を表示する装置であり、表示された合成鳥瞰画像を車内のドライバーが見ることができるような位置に配置される。

以下、このような構成の車両周囲画像表示システムの作動について説明する。制御装置２に搭載された書き込み可能なメモリ（例えばＲＡＭ）には、図２に示すように、リアルＡ領域５１ａ、リアルＢ領域５１ｂ、履歴Ｃ領域５２、および履歴Ｂ領域５３があらかじめ確保されている。

リアルＡ領域５１ａおよびリアルＢ領域５１ｂは、自車両の周囲のうち自車両の後方の鳥瞰画像を保存するための領域であり、後述するように、最新の撮影画像が鳥瞰変換された鳥瞰画像が保存されるようになっている。

また、リアルＡ領域５１ａは、車両の後方を車両の前後方向に２分割したうちの、車両からより離れた方の所定の範囲の鳥瞰画像を保存するための領域である。また、リアルＢ領域５１ｂは、同様に２分割したうちの、車両により近い方の所定の範囲の鳥瞰画像を保存するための領域である。

履歴Ｃ領域５２は、自車両の周囲のうち自車両の後方以外（すなわち、車載カメラ１の撮影範囲外）の鳥瞰画像を保存するための領域であり、後述するように、過去の撮影画像が鳥瞰変換された鳥瞰画像が保存されるようになっている。

履歴Ｂ領域５３は、車両の周囲のうち上記リアルＢ領域５１ｂと同じ範囲の鳥瞰画像を保存するための領域である。ただし、後述するように、リアルＢ領域５１ｂと異なり、最新の撮影画像ではなく、過去の撮影画像が鳥瞰変換された鳥瞰画像が保存されるようになっている。

制御装置２は、このようなリアルＡ領域５１ａ、リアルＢ領域５１ｂ、履歴Ｃ領域５２、履歴Ｂ領域５３を用いて、図３にフローチャートで示す処理を実行するようになっている。制御装置２は、この図３の処理を実行することで、上記鳥瞰変換部２１、画像合成部２２、車両運動計算部２３、影判断部２４として機能する。

この図３の処理について、１つの事例に沿って説明する。なお、この事例においては、車載カメラ１の撮影画像中に自車両の影以外の影は写らないものとする。

まず、制御装置２が図３の処理を開始する際は、リアルＡ領域５１ａ、リアルＢ領域５１ｂ、履歴Ｃ領域５２、履歴Ｂ領域５３のそれぞれの領域内は、鳥瞰画像のデータが全く含まれていない空の状態、換言すれば、空を示すデータのみが含まれている状態となっている。

制御装置２は、まずステップ１０５で、入力された最新のシフトレンジ情報に基づいて、自車両のシフト位置がリバース（後退位置）であるか否か判定し、リバースでなければ再度ステップ１０５の判定を実行する。

ドライバーが、駐車場の駐車マス（図４Ａ〜図４ＦのＰ２）に自車両を駐車させようとするとき、シフトレンジをＲ（リバース）に入れたとする。すると制御装置２は、ステップ１０５で、シフト位置がリバースであると判定し、ステップ１１０に進む。

ステップ１１０では、車載カメラ１から最新の撮影画像の入力を１枚受け付けて取得する。続いてステップ１１５では、直前のステップ１１０で取得した最新の撮影画像に対して周知の鳥瞰変換を施す。この鳥瞰変換によって、撮影画像は、自車両の情報から（真下にまたは斜め下に）見下ろす視点の鳥瞰画像に、変換される。

なお、この鳥瞰変換の際には、周知の通り、撮影画像中の物体は高さゼロの位置（すなわち、路面）に存在すると仮定されている。鳥瞰変換に用いられる変換式は、あらかじめ制御装置２のメモリ（例えばＲＯＭ）に記録されている。制御装置２は、このステップ１１５の処理を実行することで、鳥瞰変換部２１として機能する。

続いてステップ１２０では、直前のステップ１１５において作成した鳥瞰画像を、メモリ中のリアルＡ領域５１ａおよびリアルＢ領域５１ｂに保存する。

具体的には、当該鳥瞰画像を車両の前後方向に２分割したうちの、車両からより離れた方の所定の範囲の画像を、リアルＡ領域５１ａに保存し、当該鳥瞰画像を同様に２分割したうちの、車両により近い方の所定の範囲の画像を、リアルＢ領域５１ｂに保存する。

続いてステップ１２５では、直前のステップ１１５において作成した鳥瞰画像のうち、リアルＢ領域５１ｂ内に保存された鳥瞰画像中に、影が存在するか否か判定する。

当該鳥瞰画像中に影が存在するか否かは、周知の方法（例えば、特許文献２、非特許文献１に記載の方法）で判定すればよい。例えば特許文献２に記載の影検出技術を用いて判定可能である。

具体的には、リアルＢ領域５１ｂ内の鳥瞰画像の一部領域に対して、色相と輝度に基づいて領域分割を行い、分割された複数の領域のうち、色相の差が所定の閾値以下でありかつ輝度の差が所定値異常となっている２つの領域を抽出する。

そして、抽出した２つのうち輝度の高い方を非陰影領域とし、輝度の低い方を陰影領域とする。そして、色情報の空間（特許文献２の図１４（ｂ）を参照）における当該陰影領域から非陰影領域へのベクトルを、光源の色情報として特定する。

そして、リアルＢ領域５１ｂ内の鳥瞰画像の全領域について、色相と輝度に基づいて領域分割を行い、隣接する領域間の色相の差が光源の色相と所定の範囲内で一致する場合に、それら隣接する領域のうち、輝度の低い方を、影であると特定する。制御装置２は、このステップ１２５の処理を実行することで、影判断部２４として機能する。

本事例では、図３の処理を開始した時点で、図４Ａに示すように、自車両の後方（進行方向）の、リアルＢ領域５１ｂに対応する範囲内に自車両の影が存在するとする。この場合、ステップ１２５では影があると判定してステップ１４５に進む。

ステップ１４５では、履歴Ｂ領域５３中に鳥瞰画像のデータが所定量以上あるか否か判定する。例えば、履歴Ｂ領域５３のすべてを、鳥瞰画像のデータが満たしたときに、履歴Ｂ領域５３中に鳥瞰画像のデータが所定量以上あると判定し、それ以外の場合は、履歴Ｂ領域５３中に鳥瞰画像のデータが所定量未満であると判定してもよい。

本事例では、図３の処理が始まったばかりなので、履歴Ｂ領域５３中に鳥瞰画像のデータが全くないので、所定量未満であると判定してステップ１３０に進む。

ステップ１３０では、図２の左側に示すような配置で、リアルＡ領域５１ａ、リアルＢ領域５１ｂ、および履歴Ｃ領域５２の画像を繋ぎ合わせて合成し、合成後の合成鳥瞰画像を、制御装置２中の所定の出力用メモリに保存する。

なお、合成鳥瞰画像には、図２に示すように、自車両の形状を示す画像５４を重畳してもよい。その際、合成鳥瞰画像と車両形状画像５４とが重なる部分で合成鳥瞰画像と車両形状画像５４の両方が視認可能なように、車両形状画像５４を透過的に重畳するようになっていてもよい。

制御装置２は、このステップ１３０の処理を実行することで、画像合成部２２として機能する。この出力用メモリに保存された合成鳥瞰画像は、制御装置２から画像表示装置３に入力され、その結果、画像表示装置３は当該合成鳥瞰画像をドライバーに表示する。

続いてステップ１３５では、自車両から入力された各種車両挙動情報、すなわち、シフトレンジの情報、車速の情報、およびステアリング角（またはヨーレート）の最新の情報（過去の情報を追加で用いて）に基づいて、周知のＡｃｋｅｒｍａｎモデルに従った自車両の動き量（移動ベクトルおよび姿勢変化角度）を算出する。なお、ここでいう動き量とは、前回の撮影画像の取得タイミングから今回の撮影画像の取得タイミングまでの期間における車両の動き（すなわち、撮影画像の取得間隔における動き量）を示す動き量である。制御装置２は、このステップ１３５の処理を実行することで、車両運動計算部２３として機能する。

続いてステップ１４０では、直前のステップ１３５で算出した自車両の動き量に基づいて、自車両の周囲（路面に固定されていると仮定する）が相対的に自車両に対してどのように移動するかを表す相対移動量を算出する。

具体的には、直前のステップ１３５で算出した自車両の動き量と逆の動きを算出する。例えば、自車両の移動ベクトルが（α、β）で、姿勢変化角度がθであるとき、自車両に対する周囲の相対移動量としては、移動ベクトルが（−α、−β）で、姿勢変化角度が−θであるとする。

そして、リアルＡ領域５１ａ、リアルＢ領域５１ｂ、および履歴Ｃ領域５２ｃを図２の左側のような配置で繋ぎ合わせた結合領域内で、上記のようにして算出された周囲の相対移動量に従って、当該結合領域内の鳥瞰画像が車両の現在の周囲の配置を反映するよう、当該結合領域内に保存されたすべての鳥瞰画像を移動させる。

これにより、当該相対移動量に応じて、リアルＢ領域５１ｂと履歴Ｃ領域５２の境界で、リアルＢ領域５１ｂから履歴Ｃ領域５２に、または、履歴Ｃ領域５２からリアルＢ領域５１ｂに、鳥瞰画像の一部が移動する。本事例では、自車両が後退しているので、前者となる。また、リアルＢ領域５１ｂ中にある自車両の影の画像が、履歴Ｃ領域５２に移動する。

それと共にステップ１４０では、リアルＡ領域５１ａおよび履歴Ｂ領域５３を図２の右側のような配置で繋ぎ合わせた領域内（履歴Ｃ領域５２は繋ぎ合わせられていないことに注意）で、上記のようにして算出された周囲の相対移動量に従って、鳥瞰画像を移動させる。したがって、車両の後退と共に、図３の処理の開始当初は空だった履歴Ｃ領域５２内で鳥瞰画像が増加する。

これにより、当該相対移動量に応じて、リアルＡ領域５１ａと履歴Ｂ領域５３の境界で、リアルＡ領域５１ａから履歴Ｂ領域５３に、または、履歴Ｂ領域５３からリアルＡ領域５１ａに、鳥瞰画像の一部が移動する。本事例では、自車両が後退しているので、前者となる。したがって、車両の後退と共に、図３の処理の開始当初は空だった履歴Ｂ領域５３内で鳥瞰画像が増加する。

ステップ１４０の後、処理はステップ１０５に戻る。その後、車両が後退を続け、自車両の影が最新の撮影画像内（リアルＢ領域５１ｂに対応する位置内）にあり続けたとする。この場合、履歴Ｂ領域５３中の鳥瞰画像のデータが所定量に満たない間は、制御装置２は、ステップ１０５でシフト位置がリバースであると判定し、ステップ１２５で影があると判定し、ステップ１４５で履歴Ｂ領域５３内で鳥瞰画像のデータは所定量未満であると判定する。

したがって、制御装置２は、ステップ１０５、１１０、１１５、１２０、１２５、１４５、１３０、１３５、１４０をこの順で繰り返し実行する。各ステップの処理内容は既に説明したものと同様である。

その結果、図４Ａ、図４Ｂ、図４Ｃに示すように、車両の後退（直進後退でも曲がって後退でもよい）に合わせて、リアルＢ領域５１ｂ内の鳥瞰画像が次第に履歴Ｃ領域５２内に蓄積されていく。この間、すでに説明した通り、ステップ１３０において、リアルＡ領域５１ａ、リアルＢ領域５１ｂ、および履歴Ｃ領域５２内の鳥瞰画像を繋ぎ合わせた合成鳥瞰画像（および車両の画像５４）が、画像表示装置３に表示され続ける。

またこの間、リアルＢ領域５１ｂ中の鳥瞰画像には自車両の影が存在し続けるので、履歴Ｃ領域５２には影のある鳥瞰画像が直積され続ける。したがって、図４Ａ、図４Ｂ、図４Ｃのように、実際には存在しない影が履歴Ｃ領域５２内で画像として拡大していく。

また、上記のように制御装置２がステップ１０５、１１０、１１５、１２０、１２５、１４５、１３０、１３５、１４０をこの順に繰り返し実行することで、車両の後退（直進後退でも曲がって後退でもよい）に合わせて、リアルＡ領域５１ａ内の鳥瞰画像が次第に履歴Ｂ領域５３内に蓄積されていく。ただしこの間、履歴Ｂ領域５３は画像表示装置３における表示には用いられない。

リアルＡ領域５１ａは、リアルＢ領域５１ｂと比べて、車両の後端からより離れた後方位置（例えば、自車両後端よりも３メートル以上離れた後方）の鳥瞰画像を保存する。したがって、リアルＡ領域５１ａ中の鳥瞰画像に自車両の影が写っている可能性は比較的低い。本事例では、リアルＡ領域５１ａ中の鳥瞰画像に自車両の影が写っていないとする。したがって、リアルＡ領域５１ａから移動して履歴Ｂ領域５３に蓄積されていく鳥瞰画像にも、自車両の影が写っていない。

その後、自車両の影が最新の撮影画像内（リアルＢ領域５１ｂに対応する位置内）にあり続ける状態のまま、自車両が後退を続けた結果、履歴Ｂ領域５３中の鳥瞰画像のデータが所定量以上となったとする。

この場合、制御装置２は、ステップ１０５でシフト位置がリバースであると判定し、ステップ１２５で影があると判定し、ステップ１４５に進むが、ステップ１４５では、履歴Ｂ領域５３内で鳥瞰画像のデータが所定量以上であると判定するので、ステップ１５０に進む。

ステップ１５０では、図２の右側に示すような配置で、リアルＡ領域５１ａ、履歴Ｂ領域５３、および履歴Ｃ領域５２の画像を繋ぎ合わせて合成し、合成後の合成鳥瞰画像を、制御装置２中の所定の出力用メモリに保存する。

ステップ１５０の処理がステップ１３０と違うのは、リアルＢ領域５１ｂ（影がある）に代えて履歴Ｂ領域５３（影がない）を用いている点である。なお、合成鳥瞰画像には、ステップ１３０と同様に、自車両の形状を示す画像５４を重畳してもよい。

このように、リアルＢ領域５１ｂ（影がある）に代えて履歴Ｂ領域５３（影がない）を用いて表示することで、図４Ｄに示すように、自車両の後方において、鳥瞰画像中に今まであった影が消滅する。ただし、既に履歴Ｃ領域５２に移動した影については、引き続き表示される。

制御装置２は、このステップ１５０の処理を実行することで、画像合成部２２として機能する。この出力用メモリに保存された合成鳥瞰画像は、制御装置２から画像表示装置３に入力され、その結果、画像表示装置３は当該合成鳥瞰画像をドライバーに表示する。

続いてステップ１５５では、ステップ１３０と同じ方法で、周知のＡｃｋｅｒｍａｎモデルに従った自車両の動き量（移動ベクトルおよび姿勢変化角度）を算出する。制御装置２は、このステップ１５５の処理を実行することで、車両運動計算部２３として機能する。

続いてステップ１６０では、直前のステップ１５５で算出した自車両の動き量に基づいて、自車両の周囲（路面に固定されていると仮定する）が相対的に自車両に対してどのように移動するかを表す相対移動量を、ステップ１４０と同様の方法で算出する。

そして、リアルＡ領域５１ａ、履歴Ｂ領域５３、および履歴Ｃ領域５２ｃを図２の右側のような配置で繋ぎ合わせた結合領域内で、上記のようにして算出された周囲の相対移動量に従って、当該結合領域内の鳥瞰画像が車両の現在の周囲の配置を反映するよう、当該結合領域に保存されているすべての鳥瞰画像を移動させる。

これにより、当該相対移動量に応じて、履歴Ｂ領域５３と履歴Ｃ領域５２の境界で、履歴Ｂ領域５３から履歴Ｃ領域５２に、または、履歴Ｃ領域５２から履歴Ｂ領域５３に、鳥瞰画像の一部が移動する。本事例では、自車両が後退しているので、前者となる。このとき、リアルＢ領域５１ｂ中に自車両の影が無いので、履歴Ｃ領域５２にも自車両の影の画像が移動することはない。

ステップ１６０の後、処理はステップ１０５に戻る。その後、車両が後退を続け、自車両の影が最新の撮影画像内（リアルＢ領域５１ｂに対応する位置内）にあり続けたとする。この場合、制御装置２は、ステップ１０５でシフト位置がリバースであると判定し、ステップ１２５で影があると判定し、ステップ１４５で履歴Ｂ領域５３内で鳥瞰画像のデータは所定量以上であると判定する。

したがって、制御装置２は、ステップ１０５、１１０、１１５、１２０、１２５、１４５、１５０、１５５、１６０をこの順で繰り返し実行する。各ステップの処理内容は既に説明したものと同様である。

その結果、図４Ｄ、図４Ｅ、図４Ｆに示すように、車両の後退（直進後退でも曲がって後退でもよい）に合わせて、リアルＡ領域５１ａ内の鳥瞰画像が次第に履歴Ｂ領域５３内に蓄積されていくと共に、履歴Ｂ領域５３内の鳥瞰画像が次第に履歴Ｃ領域５２内に蓄積されていく。

この間、すでに説明した通り、ステップ１５０において、リアルＡ領域５１ａ、履歴Ｂ領域５３、および履歴Ｃ領域５２内の鳥瞰画像を繋ぎ合わせた合成鳥瞰画像（および車両の画像５４）が、画像表示装置３に表示され続ける。

またこの間、履歴Ｂ領域５３中の鳥瞰画像には自車両の影が存在しないので、履歴Ｃ領域５２には影のない鳥瞰画像が直積され続ける。したがって、図４Ｄ、図４Ｅ、図４Ｆのように、既に移動してしまった影は履歴Ｃ領域５２中に残って移動するものの、実際には存在しない影が履歴Ｃ領域５２内で画像として更に拡大していくのを防ぐことができる。

その後、車両の向きが変化する等の理由で、自車両の影がリアルＢ領域５１ｂ中の鳥瞰画像から消えたとする。この場合、制御装置２は、ステップ１２５で、直前のステップ１１５において作成した鳥瞰画像中に影が存在しないと判定し、ステップ１３０に進む。ただし、ステップ１３０、１３５、１４０の処理内容は、既に説明した通りである。ただし今回は、リアルＢ領域５１ｂ内の鳥瞰画像中に自車両の影が存在しないので、ステップ１４０では、リアルＢ領域５１ｂから履歴Ｃ領域５２に影の画像が移動しない。

その後、自車両の影がリアルＢ領域５１ｂ中の鳥瞰画像に入っていないまま車両が後退している間、制御装置２は、ステップ１２５で影が無いと判定するので、ステップ１０５、１１０、１２０、１２５、１３０、１３５、１４０の処理を繰り返す。この場合も、リアルＢ領域５１ｂ内の鳥瞰画像に影がないので、リアルＢ領域５１ｂから履歴Ｃ領域５２に影の画像が移動することがない。

このように、リアルＢ領域５１ｂ内の鳥瞰画像に影がない場合は、履歴Ｂ領域５３ではなくリアルＢ領域５１ｂ内の鳥瞰画像を表示に用いることで、最新の撮影画像を用いて表示する範囲が広がる。

なお、上記事例では、図３の処理が始まった時点で既に、自車両の影が撮影画像に入っていた。しかしながら、図３の処理が始まった時点では自車両の影が撮影画像に入っておらず、後に車両の向きが変化する等の理由で、自車両の影が撮影画像内に現れる事例も考えられる。

このような場合、自車両の影がリアルＢ領域５１ｂ中の鳥瞰画像に入っていないまま車両が後退している間、制御装置２は、ステップ１２５で影が無いと判定するので、ステップ１０５、１１０、１２０、１２５、１３０、１３５、１４０の処理を繰り返す。この場合、リアルＢ領域５１ｂ内の鳥瞰画像に影がないので、リアルＢ領域５１ｂから履歴Ｃ領域５２に影の画像が移動することがない。また、この場合、ステップ１４０で、車両の後退移動に伴ってリアルＡ領域５１ａから履歴Ｂ領域５３に鳥瞰画像が次第に蓄積されていく。

その後、履歴Ｂ領域５３に鳥瞰画像のデータが所定量以上蓄積され、さらにその後、車両の向きが変化する等の理由で、自車両の影がリアルＢ領域５１ｂ中の鳥瞰画像内に現れたとする。この場合、制御装置２は、ステップ１２５で影があると判定し、ステップ１４５で履歴Ｂ領域５３内に鳥瞰画像のデータが所定量以上であると判定してステップ１５０に進み、ステップ１５０、１５５、１６０の処理を、既に説明したのと同様に実行する。

ただし、本事例では、履歴Ｃ領域５２に全く影の画像が移動していないので、リアルＡ領域５１ａ、履歴Ｂ領域５３、履歴Ｃ領域５２内の鳥瞰画像を繋げた合成画像には影がまったくない。

そしてその後も、撮影画像中（具体的にはリアルＢ領域５１ｂに該当する範囲の撮影画像中）に影があったとしても、制御装置２は、その後、ステップ１０５、１１０、１１５、１２０、１２５、１４５、１５０、１５５、１６０をこの順で繰り返し実行することで、リアルＢ領域５１ｂ内の最新の撮影画像を用いず、履歴Ｂ領域５３内の撮影画像を用いるので、リアルＡ領域５１ａ、履歴Ｂ領域５３、履歴Ｃ領域５２内の鳥瞰画像を繋げた合成画像には影がまったくない。

なお、本実施形態では、ステップ１２５では、直前のステップ１１５で作成したリアルＢ領域５１ｂ内の鳥瞰画像に影が存在するか否かを判定している。しかし、その影が自車両の影であるか他の物体の影であるかについては判定していない。

したがって、一時例として、自車両の影は鳥瞰画像中に無いにもかかわらず、他の物体の影が最新のリアルＢ領域５１ｂ内の鳥瞰画像内にある場合でも、制御装置２は、自車両の影が最新のリアルＢ領域５１ｂ内の鳥瞰画像にある場合と同じ作動を行う。

すなわち、ステップ１２５で影があると判定し、履歴Ｂ領域５３に所定量以上の鳥瞰画像のデータが蓄積されていれば、リアルＢ領域５１ｂに代えて履歴Ｂ領域５３を用いることで、図２の右側の配置で組み合わせた合成鳥瞰画像の表示を行い、車両の移動に合わせて、この合成鳥瞰画像をリアルＡ領域５１ａ、履歴Ｂ領域５３、履歴Ｃ領域５２内で移動させる。

このようになっていても、表示する鳥瞰画像の一部がリアルＢ領域５１ｂ内の最新の鳥瞰画像から履歴Ｂ領域５３内の少し古い鳥瞰画像に置き換わるだけなので、大きな問題は発生しない。また、仮に影でないものを影であると誤って判定してしまった場合でも、同様に、大きな問題は発生しない。

以上説明した通り、本実施形態では、ステップ１５０〜１６０を実行することで、自車両の影が車載カメラ１で撮影されてしまったときにも、画像表示装置３で表示する合成鳥瞰画像の品質の低下を抑えることができる。

具体的には、履歴Ｂ領域５３を設け、この履歴Ｂ領域５３内の鳥瞰画像が車両の現在の周囲の配置を反映するよう、リアルＡ領域５１ａ内に保存された鳥瞰画像を用いて履歴Ｂ領域５３内に鳥瞰画像を構成する。

そして、リアルＢ領域５１ｂの一部または全部を含む所定の領域に保存された鳥瞰画像内に影があるかないか判定し、履歴Ｃ領域５２内の鳥瞰画像が車両の現在の周囲の配置を反映するよう、影がない場合は、リアルＢ領域５１ｂ内に保存された鳥瞰画像を用いて履歴Ｃ領域５２内に鳥瞰画像を構成し、影がある場合は、履歴Ｂ領域５３内に保存された鳥瞰画像を用いて履歴Ｃ領域５２内に鳥瞰画像を構成する。

このように、履歴合成（ここでは、履歴Ｃ領域５２内の鳥瞰画像を構成することをいう）の元画像としてリアルＢ領域５１ｂの鳥瞰画像を用いるか履歴Ｂ領域５３の鳥瞰画像を用いるかを、影の有無に応じて選択できるようにする。

これにより、影のある場合は、リアルＡ領域５１ａの鳥瞰画像（影のない可能性が高い画像）に基づいて構成された履歴Ｂ領域５３の鳥瞰画像を用いて履歴合成を行うので、履歴Ｃ領域５２内にて自車両の影が拡大してしまう可能性を低減することができる。

また、影のない場合は、リアルＢ領域５１ｂの鳥瞰画像を用いて履歴合成を行うので、履歴Ｃ領域５２内の鳥瞰画像の撮影時期が比較的新しくなる。

なお、本実施形態において、ステップ１２５で影があると判定した場合でも、ステップ１４５で履歴Ｂ領域５３中に所定量以上データがないと判定した場合は、ステップ１５０〜１６０で履歴Ｂ領域５３を表示および履歴Ｃ領域５２への鳥瞰画像移動に使用するのではなく、ステップ１３０〜１４０でリアルＢ領域５１ｂを表示および履歴Ｃ領域５２への鳥瞰画像移動に使用する。

このようにするのは、リアルＢ領域５１ｂの鳥瞰画像中に影があるからといっても、履歴Ｂ領域５３に充分な量の鳥瞰画像が蓄積されていない段階で履歴Ｂ領域５３を表示に使用してしまえば、画像表示装置３で表示する合成鳥瞰画像中に空白ができてしまい、更に、その空白が履歴Ｃ領域５２に移動してしまうからである。

なお、上記実施形態において、制御装置２が、ステップ１１０を実行することで取得手段の一例として機能し、ステップ１１５を実行することで鳥瞰変換手段の一例として機能し、ステップ１２０を実行することで分割保存手段の一例として機能し、ステップ１２５を実行することで影判定手段の一例として機能し、ステップ１３５、１５５を実行することで動き算出手段の一例として機能し、ステップ１３０、１５０を実行することで表示制御手段の一例として機能し、ステップ１３０を実行することで第１表示制御手段の一例として機能し、ステップ１４０を実行することで第１履歴画像構成手段の一例として機能し、ステップ１５０を実行することで第２表示制御手段の一例として機能し、ステップ１６０を実行することで第２履歴画像構成手段の一例として機能し、ステップ１４５を実行することでデータ量判定手段の一例として機能する。

（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。例えば、以下のような形態も許容される。

（１）ステップ１４５では、車両が所定距離以上後退移動したか否か（または所定時間以上後退移動したか否か）という判定に置き換えてもよい。これは、車両が十分な距離後退すれば、履歴Ｂ領域５３に充分な量だけ鳥瞰変換のデータが含まれるはずだという考えに基づいた作動である。

（２）上記実施形態のステップ１２５では、自車両の影から否かは判断せず、リアルＢ領域５１ｂ中に影があれば、それが自車両以外の物体のする影であっても、リアルＢ領域５１ｂ内にあれば影があると判定する。

しかし、必ずしもこのようになっておらずともよく、リアルＢ領域５１ｂ内に影があり、その影が自車両の影である場合に限り、影があると判定し、それ以外の場合には影がないと判定するようになっていてもよい。

（３）また、上記実施形態では、影があるか否かを判定する範囲として、リアルＢ領域５１ｂ全部の内部の鳥瞰画像のみを対象としていたが、リアルＡ領域５１ａの全部およびリアルＢ領域５１ｂの総和の領域内の鳥瞰画像のみを対象としてもよい。あるいは、リアルＡ領域５１ａの一部およびリアルＢ領域５１ｂの一部の総和の領域内の鳥瞰画像のみを対象としてもよい。あるいは、車載カメラ１の撮影画像全体を対象としてもよい。

つまり、リアルＢ領域５１ｂの一部を含む所定の領域に保存された鳥瞰画像において、影があるか否かを判定すればよい。なぜなら、そのようにしていれば、少なくともリアルＢ領域５１ｂの当該一部に影がある場合は、ステップ１５０〜１６０を実行することで影が表示される量を低減できるからである。また仮に、判定対象のうち、リアルＢ領域５１ｂに影がなく、他の部分に影があった場合もステップ１５０〜１６０を実行する場合があるが、その場合でも、表示される画像が最新でなくなるだけなので、大きな問題はない。

（４）上記各実施形態では、車載カメラ１は、車両の後方の所定範囲を繰り返し撮影するようになっていたが、車載カメラ１は、車両の前方の所定範囲を繰り返し撮影するようになっていてもよい。その場合、上記明細書では、車両の前後を入れ替えるように読み替える。

（５）また、上記実施形態では、ステップ１４０において、車両の動き量に基づいて、リアルＡ領域５１ａ、リアルＢ領域５１ｂ、および履歴Ｃ領域５２ｃを繋ぎ合わせた結合領域内で鳥瞰画像を移動させ、それと共に、履歴Ｂ領域５３およびリアルＡ領域５１ａを繋ぎ合わせた結合領域内で鳥瞰画像を移動させるようになっている。

このようにすると、履歴Ｃ領域５２内の各位置の鳥瞰画像は、その位置が車載カメラ１の撮影範囲から外れる直前（リアルＢ領域５１ｂから外れる直前）の鳥瞰画像となっている。しかしながら、必ずしもこのようになっておらずともよい。

例えば、履歴Ｃ領域５２内の各位置の鳥瞰画像は、その位置が車載カメラ１の撮影範囲から外れる直前よりも更に前の鳥瞰画像となっていてもよい。

つまり、ステップ１４０では、履歴Ｃ領域５２は、履歴Ｃ領域５２内の鳥瞰画像が車両の現在の周囲の配置を反映するよう、車両の動き量に基づいて、リアルＢ領域５１ｂ内に保存された鳥瞰画像を用いて構成されていれば充分である。

（６）また、上記実施形態では、ステップ１６０において、車両の動き量に基づいて、リアルＡ領域５１ａ、履歴Ｂ領域５３、および履歴Ｃ領域５２ｃを繋ぎ合わせた結合領域内で鳥瞰画像を移動させるようになっている。

このようにすると、履歴Ｃ領域５２内の各位置の鳥瞰画像は、その位置が履歴Ｂ領域５３から外れる直前の鳥瞰画像となっている。しかしながら、必ずしもこのようになっておらずともよい。

例えば、履歴Ｃ領域５２内の各位置の鳥瞰画像は、その位置が履歴Ｂ領域５３から外れる直前よりも更に前の鳥瞰画像となっていてもよい。

つまり、ステップ１６０では、履歴Ｃ領域５２は、履歴Ｃ領域５２内の鳥瞰画像が車両の現在の周囲の配置を反映するよう、車両の前記動き量に基づいて、履歴Ｂ領域５３内に保存された鳥瞰画像を用いて構成されていれば充分である。

（７）また、上記実施形態では、ステップ１４０において、車両の動き量に基づいて、リアルＡ領域５１ａおよび履歴Ｂ領域５３を繋ぎ合わせた結合領域内で鳥瞰画像を移動させるようになっている。

またステップ１６０において、車両の動き量に基づいて、リアルＡ領域５１ａ、履歴Ｂ領域５３、および履歴Ｃ領域５２ｃを繋ぎ合わせた結合領域内で鳥瞰画像を移動させるようになっている。

これらのようにすると、履歴Ｂ領域５３内の各位置の鳥瞰画像は、その位置がリアルＡ領域５１ａから外れる直前の鳥瞰画像となっている。しかしながら、必ずしもこのようになっておらずともよい。例えば、履歴Ｂ領域５３内の各位置の鳥瞰画像は、その位置がリアルＡ領域５１ａから外れる直前よりも更に前の鳥瞰画像となっていてもよい。

つまり、履歴Ｂ領域５３内の鳥瞰画像は、履歴Ｂ領域５３内の鳥瞰画像が車両の現在の周囲の配置を反映するよう、車両の動き量に基づいて、リアルＡ領域５１ａ内に保存された鳥瞰画像を用いて構成されていれば充分である。

（８）また、上記実施形態では、履歴Ｂ領域５３を設けることで、下記（ａ）、（ｂ）２つの効果を得ることができる。（ａ）履歴Ｂ領域５３を用いて表示するので、自車両の移動時に自車両の後方に影がつきまとう可能性が低減される。（ｂ）履歴Ｃ領域５２には履歴Ｂ領域５３から画像を移動させるので、自車両の影が履歴Ｃ領域５２において拡大してしまう可能性が低減される。

しかしながら、（ａ）の効果は必須ではない。すなわち、図３の処理において、ステップ１５０では、ステップ１３０と同様、リアルＡ領域５１ａ、リアルＢ領域５１ｂ、および履歴Ｃ領域５２内の鳥瞰画像の合成画像を出力用メモリに保存するようになっていてもよい。

１車載カメラ
２制御装置（車両周囲画像表示制御装置）
３画像表示装置
５１ａリアルＡ領域
５１ｂリアルＢ領域
５２履歴Ｃ領域
５３履歴Ｂ領域

Claims

車両に搭載された車載カメラ（１）から前記車両の周囲の撮影画像を繰り返し取得する取得手段（１１０）と、
前記取得手段（１１０）が繰り返し取得した撮影画像に鳥瞰変換を逐次施して鳥瞰画像を作成する鳥瞰変換手段（１１５）と、
作成された最新の前記鳥瞰画像をメモリに保存する際、前記鳥瞰画像を前記車両の前後方向に分割したうちの、前記車両からより離れた方の所定の範囲の画像を、リアルＡ領域（５１ａ）に保存し、前記車両により近い方の所定の範囲の画像を、リアルＢ領域（５１ｂ）に保存する分割保存手段（１２０）と、
前記リアルＢ領域（５１ｂ）の一部または全部を含む所定の領域に保存された鳥瞰画像内に影があるか否かを判定する影判定手段（１２５）と、
前記車両から入力された車両挙動情報に基づいて、前記車両の動き量を算出する動き算出手段（１３５、１５５）と、
前記影判定手段（１２５）によって影がないと判定された場合、前記車載カメラ（１）の撮影範囲外の鳥瞰画像を保存するための履歴Ｃ領域（５２）内の鳥瞰画像が前記車両の現在の周囲の配置を反映するよう、前記車両の前記動き量に基づいて、前記リアルＢ領域（５１ｂ）内に保存された鳥瞰画像を用いて前記履歴Ｃ領域（５２）内に鳥瞰画像を構成すると共に、前記リアルＢ領域（５１ｂ）と同じ範囲の鳥瞰画像を保存するための履歴Ｂ領域（５３）内の鳥瞰画像が前記車両の現在の周囲の配置を反映するよう、前記車両の前記動き量に基づいて、前記リアルＡ領域（５１ａ）内に保存された鳥瞰画像を用いて前記履歴Ｂ領域（５３）内に鳥瞰画像を構成する第１履歴画像構成手段（１４０）と、
前記影判定手段（１２５）によって影があると判定された場合、前記車載カメラ（１）の撮影範囲外の鳥瞰画像を保存するための履歴Ｃ領域（５２）内の鳥瞰画像が前記車両の現在の周囲の配置を反映するよう、前記車両の前記動き量に基づいて、前記履歴Ｂ領域（５３）内に保存された鳥瞰画像を用いて前記履歴Ｃ領域（５２）内に鳥瞰画像を構成すると共に、前記履歴Ｂ領域（５３）内の鳥瞰画像が前記車両の現在の周囲の配置を反映するよう、前記車両の前記動き量に基づいて、前記リアルＡ領域（５１ａ）内に保存された鳥瞰画像を用いて前記履歴Ｂ領域（５３）内に鳥瞰画像を構成する第２履歴画像構成手段（１６０）と、
前記リアルＡ領域（５１ａ）内の鳥瞰画像、前記履歴Ｃ領域（５２）内の鳥瞰画像、および、前記リアルＢ領域（５１ｂ）内または前記履歴Ｂ領域（５３）内の鳥瞰画像を、画像表示装置（３）に表示させる表示制御手段（１３０、１５０）と、を備えた車両周囲画像表示制御装置。
前記表示制御手段は、
前記影判定手段（１２５）によって影がないと判定されたことに基づいて、前記リアルＡ領域（５１ａ）内の鳥瞰画像、前記リアルＢ領域（５１ｂ）内の鳥瞰画像、および前記履歴Ｃ領域（５２）内の鳥瞰画像を、前記画像表示装置（３）に表示させる第１表示制御手段（１３０）と、
前記影判定手段（１２５）によって影があると判定されたことに基づいて、前記リアルＡ領域（５１ａ）内の鳥瞰画像、前記履歴Ｂ領域（５３）内の鳥瞰画像、および前記履歴Ｃ領域（５２）内の鳥瞰画像を、前記画像表示装置（３）に表示させる第２表示制御手段（１５０）と、を有することを特徴とする請求項１に記載の車両周囲画像表示制御装置。
前記履歴Ｂ領域（５３）中に鳥瞰画像のデータが所定量以上あるか否か判定するデータ量判定手段（１４５）を備え、
前記第１履歴画像構成手段（１４０）は、前記影判定手段（１２５）によって影がないと判定された場合、および、前記影判定手段（１２５）によって影があると判定され且つ前記データ量判定手段（１４５）によって所定量以上ないと判定された場合のそれぞれにおいて、前記履歴Ｃ領域（５２）内の鳥瞰画像が前記車両の現在の周囲の配置を反映するよう、前記車両の前記動き量に基づいて、前記リアルＢ領域（５１ｂ）内に保存された鳥瞰画像を用いて前記履歴Ｃ領域（５２）内に鳥瞰画像を構成すると共に、前記履歴Ｂ領域（５３）内の鳥瞰画像が前記車両の現在の周囲の配置を反映するよう、前記車両の前記動き量に基づいて、前記リアルＡ領域（５１ａ）内に保存された鳥瞰画像を用いて前記履歴Ｂ領域（５３）内に鳥瞰画像を構成し、
前記第２履歴画像構成手段（１６０）は、前記影判定手段（１２５）によって影があると判定され且つ前記データ量判定手段（１４５）によって所定量以上あると判定された場合、前記履歴Ｃ領域（５２）内の鳥瞰画像が前記車両の現在の周囲の配置を反映するよう、前記車両の前記動き量に基づいて、前記履歴Ｂ領域（５３）内に保存された鳥瞰画像を用いて前記履歴Ｃ領域（５２）内に鳥瞰画像を構成すると共に、前記履歴Ｂ領域（５３）内の鳥瞰画像が前記車両の現在の周囲の配置を反映するよう、前記車両の前記動き量に基づいて、前記リアルＡ領域（５１ａ）内に保存された鳥瞰画像を用いて前記履歴Ｂ領域（５３）内に鳥瞰画像を構成することを特徴とする請求項１または２に記載の車両周囲画像表示制御装置。
第１履歴画像構成手段（１４０）は、前記影判定手段（１２５）によって影がないと判定されたことに基づいて、前記車両の前記動き量に基づいて、前記リアルＡ領域（５１ａ）、前記リアルＢ領域（５１ｂ）、および前記履歴Ｃ領域（５２ｃ）を繋ぎ合わせた結合領域内で鳥瞰画像を移動させ、それと共に、前記リアルＢ領域（５１ｂ）と同じ範囲の鳥瞰画像を保存するための履歴Ｂ領域（５３）および前記リアルＡ領域（５１ａ）を繋ぎ合わせた結合領域内で鳥瞰画像を移動させ、
第１履歴画像構成手段（１６０）は、前記影判定手段（１２５）によって影があると判定されたことに基づいて、前記車両の前記動き量に基づいて、前記リアルＡ領域（５１ａ）、前記履歴Ｂ領域（５３）、および前記履歴Ｃ領域（５２ｃ）を繋ぎ合わせた結合領域内で鳥瞰画像を移動させる第２移動手段（１６０）と、を備えた請求項１ないし３のいずれか１つに車両周囲画像表示制御装置。
車両に搭載された車載カメラ（１）から前記車両の周囲の撮影画像を繰り返し取得する取得手段（１１０）と、
前記取得手段（１１０）が繰り返し取得した撮影画像に鳥瞰変換を逐次施して鳥瞰画像を作成する鳥瞰変換手段（１１５）と、
作成された最新の前記鳥瞰画像をメモリに保存する際、前記鳥瞰画像を前記車両の前後方向に分割したうちの、前記車両からより離れた方の所定の範囲の画像を、リアルＡ領域（５１ａ）に保存し、前記車両により近い方の所定の範囲の画像を、リアルＢ領域（５１ｂ）に保存する分割保存手段（１２０）と、
前記リアルＢ領域（５１ｂ）の一部または全部を含む所定の領域に保存された鳥瞰画像内に影があるか否かを判定する影判定手段（１２５）と、
前記車両から入力された車両挙動情報に基づいて、前記車両の動き量を算出する動き算出手段（１３５、１５５）と、
前記影判定手段（１２５）によって影がないと判定された場合、前記車載カメラ（１）の撮影範囲外の鳥瞰画像を保存するための履歴Ｃ領域（５２）内の鳥瞰画像が前記車両の現在の周囲の配置を反映するよう、前記車両の前記動き量に基づいて、前記リアルＢ領域（５１ｂ）内に保存された鳥瞰画像を用いて前記履歴Ｃ領域（５２）内に鳥瞰画像を構成すると共に、前記リアルＢ領域（５１ｂ）と同じ範囲の鳥瞰画像を保存するための履歴Ｂ領域（５３）内の鳥瞰画像が前記車両の現在の周囲の配置を反映するよう、前記車両の前記動き量に基づいて、前記リアルＡ領域（５１ａ）内に保存された鳥瞰画像を用いて前記履歴Ｂ領域（５３）内に鳥瞰画像を構成する第１履歴画像構成手段（１４０）と、
前記影判定手段（１２５）によって影があると判定された場合、前記車載カメラ（１）の撮影範囲外の鳥瞰画像を保存するための履歴Ｃ領域（５２）内の鳥瞰画像が前記車両の現在の周囲の配置を反映するよう、前記車両の前記動き量に基づいて、前記履歴Ｂ領域（５３）内に保存された鳥瞰画像を用いて前記履歴Ｃ領域（５２）内に鳥瞰画像を構成すると共に、前記履歴Ｂ領域（５３）内の鳥瞰画像が前記車両の現在の周囲の配置を反映するよう、前記車両の前記動き量に基づいて、前記リアルＡ領域（５１ａ）内に保存された鳥瞰画像を用いて前記履歴Ｂ領域（５３）内に鳥瞰画像を構成する第２履歴画像構成手段（１６０）と、
前記リアルＡ領域（５１ａ）内の鳥瞰画像、前記履歴Ｃ領域（５２）内の鳥瞰画像、および、前記リアルＢ領域（５１ｂ）内または前記履歴Ｂ領域（５３）内の鳥瞰画像を、画像表示装置（３）に表示させる表示制御手段（１３０、１５０）と、として、前記車両に搭載される制御装置（２）を機能させるプログラム。
車両に搭載された車載カメラ（１）から前記車両の周囲の撮影画像を繰り返し取得する取得装置（１１０）と、
撮影画像に鳥瞰変換を逐次施して、鳥瞰画像を作成する鳥瞰変換装置（１１５）と、
前記車両から入力された車両挙動情報に基づいて、前記車両の動き量を算出する動き算出装置（１３５、１５５）と、
前記車両の周囲の所定のＢ範囲のＢ鳥瞰画像を記憶するリアルＢ領域と、前記Ｂ範囲よりも前記車両からより離れた所定のＡ範囲のＡ鳥瞰画像を記憶するリアルＡ領域と、前記リアルＡ領域が記憶していた前記Ａ鳥瞰画像を前記動き算出装置が算出した前記車両の動き量に基づいて前記車両との相対位置を移動させて履歴Ｂ鳥瞰画像として記憶する履歴Ｂ領域と、前記履歴Ｂ領域が記憶していた前記履歴Ｂ鳥瞰画像または前記リアルＢ領域が記憶していた前記Ｂ鳥瞰画像を、前記動き算出装置が算出した前記車両の動き量に基づいて前記車両との相対位置を移動させてＣ鳥瞰画像として記憶する履歴Ｃ領域と、を有するメモリと、
前記鳥瞰画像を前記車両の前後方向に分割することで、前記Ａ鳥瞰画像と前記Ｂ鳥瞰画像を作成し、前記Ａ鳥瞰画像を前記リアルＡ領域（５１ａ）に保存し、前記Ｂ鳥瞰画像を前記リアルＢ領域（５１b）に保存する分割保存装置（１２０）と、
前記リアルＢ領域（５１ｂ）の一部または全部に保存されたＢ鳥瞰画像に影があるか否かを判定する影判定装置（１２５）と、
前記影判定装置（１２５）が、Ｂ鳥瞰画像に影がないと判定した場合、前記リアルＢ領域（５１ｂ）に保存されていたＢ鳥瞰画像を用いて前記履歴Ｃ領域（５２）内に前記Ｃ鳥瞰画像を構成する第１履歴画像構成装置（１４０）と、
前記影判定装置（１２５）が、Ｂ鳥瞰画像に影があると判定した場合、前記履歴Ｂ領域（５３）内に保存されていた履歴Ｂ鳥瞰画像を用いて前記履歴Ｃ領域（５２）内に前記Ｃ鳥瞰画像を構成する第２履歴画像構成装置（１６０）と、
前記リアルＡ領域（５１ａ）内の前記Ａ鳥瞰画像、前記履歴Ｃ領域（５２）内の前記Ｃ鳥瞰画像、および、前記リアルＢ領域（５１ｂ）内の前記Ｂ鳥瞰画像または前記履歴Ｂ領域（５３）内の前記履歴Ｂ鳥瞰画像を、画像表示装置（３）に表示させる表示制御装置（１３０、１５０）と、を備えた車両周囲画像表示制御装置。