JP6464846B2 - 車両周囲画像表示制御装置、および車両周囲画像表示制御プログラム - Google Patents

Description

本発明は、車両周囲の画像を表示部に表示する車両周囲画像表示制御装置、および、制御装置を、車両周囲画像表示制御装置として機能させる車両周囲画像表示制御プログラムに関する。

従来、車両に取り付けられたカメラで車両の周囲を繰り返し撮影し、撮影画像を車両の上方から見下ろす視点の画像に鳥瞰変換し、鳥瞰画像を表示部に表示する技術が知られている。

このような技術において、最新の撮影画像から得た鳥瞰画像と過去の撮影画像から得た鳥瞰画像を合成した合成鳥瞰画像を表示部に表示することで、車両の周囲の画像表示範囲を広げる技術が知られている（たとえば、特許文献１、２）
特許文献１では、撮影画像から得た鳥瞰画像をメモリの履歴領域に記憶する。そして、ステアリング角、車速などを取得して車両の動きを計算し、計算した車両の動きと逆の動きをするよう、履歴領域に記憶した鳥瞰画像を移動させる。そして、最新の撮影画像から得た鳥瞰画像と、履歴領域に記憶されている鳥瞰画像とを合成して合成鳥瞰画像を生成し、この合成鳥瞰画像を表示部に表示する。

履歴領域に記憶されている鳥瞰画像を車両の移動に対応させて移動させ、かつ、最新の撮像画像から得た鳥瞰画像を、履歴領域に記憶されている鳥瞰画像と重ね合わせる処理を繰り返す。これにより、車両の移動に伴い、履歴領域に記憶されている鳥瞰画像が車両周囲を囲うようになるので、車両周囲に合成鳥瞰画像がある部分が拡大する。

特開２０１３−２４６４９３号公報 特開２００２−３７３３２７号公報

以下では、履歴領域を備えるメモリを履歴メモリとする。この履歴メモリは、履歴領域以外に、カメラが撮影した画像を記憶する領域を備えていてもよい。

特許文献１には、撮影画像から得た鳥瞰画像を、全部、履歴メモリに記憶するのか、一部を履歴メモリに記憶するかは、記載されていない。仮に、撮影画像の全範囲を鳥瞰変換し、かつ、変換で得た鳥瞰画像を全部、履歴メモリに記憶するとすれば、記憶する画像サイズが大きいので記憶処理に時間がかかり、記憶領域のために必要となるメモリサイズも大きくなる。また、鳥瞰画像の周辺部分は画質も悪い。

さらに、バンパーやトレーラーフックが写っている部分を記憶してしまう可能性もある。バンパーやトレーラーフックが写っている部分を記憶してしまうと、履歴メモリに記憶されている鳥瞰画像を車両の移動に対応させて移動させた場合に、車両とは離れた場所に、バンパーやトレーラーフックが存在してしまう。

記憶する画像を小さくすれば、記憶処理に要する時間を短くできる。しかし、記憶する画像を小さくすると、ある時刻Ｔに履歴メモリに記憶した画像と、時刻Ｔ＋１のときに履歴メモリに記憶した画像との間に隙間が生じてしまう。その結果、履歴メモリに記憶されている履歴画像において合成鳥瞰画像の生成に用いるエリアに、画像がない部分が生じてしまう可能性が生じる。

本発明は、この事情に基づいて成されたものであり、その目的とするところは、履歴メモリに記憶されている履歴画像において合成鳥瞰画像の生成に用いるエリアに欠け生じることが抑制でき、かつ、画像を記憶する処理時間が短く、画像を記憶するためのメモリサイズを小さくできる車両周囲画像表示制御装置、車両周囲画像表示制御プログラムを提供することにある。

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、発明の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

上記目的を達成するための車両周囲画像表示制御装置に係る発明は、車両（２）に搭載されたカメラ（１０、２０）から車両の周囲を撮影した撮影画像を逐次取得する取得部（Ｓ１）と、取得部が取得した撮影画像を、逐次、鳥瞰変換して鳥瞰画像を生成する鳥瞰変換部（５１）と、鳥瞰変換部が逐次生成した鳥瞰画像から、車両が写っていないエリアにある履歴画像を逐次切り出して、履歴メモリ（４３）に記憶する記憶処理部（５２）と、履歴メモリに記憶した履歴画像を、車両の移動に応じて移動させる履歴移動部（５６）と、鳥瞰変換部が変換した最新の鳥瞰画像から現画像エリアを切り出した現画像部分（３４、３５）と、履歴メモリに記憶されている履歴画像から、現画像エリアよりも車両側のエリアである履歴エリア（８１）を切り出した履歴画像部分（３３）とを合成して、車両の周囲のうち、最新の鳥瞰画像に撮像されていないエリアを含んでいる鳥瞰画像である合成鳥瞰画像（３１）を生成する画像合成部（５７）と、画像合成部が生成した合成鳥瞰画像を表示部（３０）に出力する画像出力部（５８）と、を備えた車両周囲画像表示制御装置であって、記憶処理部が切り出す履歴画像は、最小矩形以上の大きさであって、最小矩形に基づいてエリアが定まる画像であり、最小矩形は、一対の辺が、車両の車幅方向に平行な矩形であって、最小矩形の車幅方向に平行な一対の辺のうち車両側の辺（６３ａ）は、一端が、車両が最小回転半径で右旋回することで移動する履歴エリアの移動軌跡の内周円上にあり、他端が、車両が最小回転半径で左旋回することで移動する履歴エリアの移動軌跡の内周円上にあり、最小矩形の車両前後方向長さは、前回、履歴画像を切り出した鳥瞰画像に対応する撮影画像が撮影されてから、今回、履歴画像を切り出す鳥瞰画像に対応する撮影画像が撮影されるまでに車両が移動したことにより生じる、履歴エリアの移動長さであることを特徴とする。

また、上記目的を達成するための車両周囲画像表示制御プログラムに係る発明は、コンピュータを、車両（２）に搭載されたカメラ（１０、２０）から車両の周囲を撮影した撮影画像を逐次取得する取得部（Ｓ１）と、取得部が取得した撮影画像を、逐次、鳥瞰変換して鳥瞰画像を生成する鳥瞰変換部（５１）と、鳥瞰変換部が逐次生成した鳥瞰画像から、車両が写っていないエリアにある履歴画像を逐次切り出して、履歴メモリ（４３）に記憶する記憶処理部（５２）と、履歴メモリに記憶した履歴画像を、車両の移動に応じて移動させる履歴移動部（５６）と、鳥瞰変換部が変換した最新の鳥瞰画像から現画像エリアを切り出した現画像部分（３４、３５）と、履歴メモリに記憶されている履歴画像から、現画像エリアよりも車両側のエリアである履歴エリア（８１）を切り出した履歴画像部分（３３）とを合成して、車両の周囲のうち、最新の鳥瞰画像に撮像されていないエリアを含んでいる鳥瞰画像である合成鳥瞰画像（３１）を生成する画像合成部（５７）と、画像合成部が生成した合成鳥瞰画像を表示部（３０）に出力する画像出力部（５８）として機能させる車両周囲画像表示制御プログラムであって、記憶処理部が切り出す履歴画像は、最小矩形以上の大きさであって、最小矩形に基づいてエリアが定まる画像であり、最小矩形は、一対の辺が、車両の車幅方向に平行な矩形であって、最小矩形の車幅方向に平行な一対の辺のうち車両側の辺（６３ａ）は、一端が、車両が最小回転半径で右旋回することで移動する履歴エリアの移動軌跡の内周円上にあり、他端が、車両が最小回転半径で左旋回することで移動する履歴エリアの移動軌跡の内周円上にあり、最小矩形の車両前後方向長さは、前回、履歴画像を切り出した鳥瞰画像に対応する撮影画像が撮影されてから、今回、履歴画像を切り出す鳥瞰画像に対応する撮影画像が撮影されるまでに車両が移動したことにより生じる、履歴エリアの移動長さであることを特徴とする。

これらの発明によれば、記憶処理部が切り出す履歴画像は、鳥瞰画像から、車両が写っていないエリアを切り出した画像である。したがって、履歴移動部が、車両の移動に応じて履歴画像を移動させても、車両とは離れた場所に、バンパーやトレーラーフックが存在してしまうことはない。

また、記憶処理部が切り出す履歴画像は、最小矩形に基づいてエリアが定まる画像である。最小矩形の車幅方向に平行な一対の辺のうち車両側の辺は、一端が、車両が最小回転半径で右旋回することで移動する履歴エリアの移動軌跡の内周円上にあり、他端は、車両が最小回転半径で左旋回することで移動する履歴エリアの移動軌跡の内周円上にある。

したがって、鳥瞰画像から最小矩形またはそれよりも大きいエリアを履歴画像として切り出せば、車両が左右に最も移動し、その移動に伴い履歴エリアが移動しても、履歴メモリに記憶される履歴画像は、履歴エリア内において、車両幅方向に履歴画像がない部分が生じることが抑制される。

また、最小矩形の車両前後方向長さは、前回、履歴画像を切り出した鳥瞰画像に対応する撮影画像が撮影されてから、今回、履歴画像を切り出す鳥瞰画像に対応する撮影画像が撮影されるまでに車両が移動したことにより生じる、履歴エリアの移動長さである。

したがって、鳥瞰画像から最小矩形またはそれよりも大きいエリアを履歴画像として切り出せば、車両が前後方向に移動しても、履歴メモリに記憶される履歴画像は、履歴エリア内において車両前後方向に履歴画像がない部分が生じることが抑制される。以上により、履歴メモリに記憶されている履歴画像は、履歴エリア内に画像がない部分が生じることが抑制される。

また、記憶処理部が切り出す履歴画像は、最小矩形に基づいてエリアが定まる画像であることから、撮影画像の全範囲を鳥瞰変換した鳥瞰画像よりも小さい画像である。したがって、履歴メモリが必要とするメモリサイズを小さくでき、かつ、履歴画像を記憶する処理時間も短くできる。

車両周囲画像表示システム１の全体構成を示す図である。 表示部３０に表示される合成鳥瞰画像３１を例示する図である。 制御装置５０が実行する処理を説明するフローチャートである。 図３のステップＳ３の処理を詳しく示すフローチャートである。 リアカメラ２０が撮影した後方撮影画像７０を説明する図である。 後方撮影画像７０を鳥瞰変換した後方現画像７２を説明する図である。 履歴画像として切り出す切り出しエリア６３の位置と大きさを説明する図である。

以下、本発明の実施形態を図面に基づいて説明する。

（全体構成）
図１に示す車両周囲画像表示システム１は、車両２に搭載されており、フロントカメラ１０、リアカメラ２０、表示部３０、画像メモリ４１、認識用メモリ４２、履歴メモリ４３、制御装置５０を備えている。

フロントカメラ１０は、車両２の前端部に固定されており、車両２の前端付近から車両２の前方へかけての所定範囲を所定周期で連続的に撮影する。以下、フロントカメラ１０が撮影した画像を、前方撮影画像とする。

リアカメラ２０は、車両２の後端部に固定されており、車両２の後端付近から車両２の後方へかけての所定範囲を所定周期で連続的に撮像する。以下、リアカメラ２０が撮影した画像を、後方撮影画像７０（図５参照）とする。これらフロントカメラ１０、リアカメラ２０には、たとえば、魚眼レンズを備えたカメラを用いる。フロントカメラ１０およびリアカメラ２０が車両２に対してどの範囲を撮影するかは、予め制御装置５０に記憶されている。

表示部３０には、図２に例示する合成鳥瞰画像３１と、車両２を表す車両図形３２が表示される。車両図形３２は、車両２を表している図形であり、予め所定のメモリに記憶されている。合成鳥瞰画像３１の中心に車両図形３２が表示されていることから分かるように、合成鳥瞰画像３１は、車両周囲の画像である。

画像メモリ４１、認識用メモリ４２、履歴メモリ４３は、いずれも、書き換え可能なメモリである。なお、これらは、物理的に異なる３つのメモリであってもよいし、１つのメモリのアドレスが区切られて画像メモリ４１、認識用メモリ４２、履歴メモリ４３とされていてもよい。

画像メモリ４１には、フロントカメラ１０が撮影した前方撮影画像の一部が鳥瞰変換された鳥瞰画像と、リアカメラ２０が撮影した後方撮影画像７０の一部が鳥瞰変換された鳥瞰画像とが記憶される。以下、画像メモリ４１に記憶されている鳥瞰画像を、履歴メモリ４３に記憶されている鳥瞰画像と区別するために、現画像という。また、現画像のうち、前方撮影画像を変換した画像を前方現画像、後方撮影画像７０を変換した画像を後方現画像７２（図６参照）という。

認識用メモリ４２には、画像メモリ４１に記憶された鳥瞰画像から、予め設定されている範囲が切り出された画像である認識用画像が記憶されている。履歴メモリ４３には、履歴画像が記憶されている。履歴画像は、認識用画像から切り出された、認識用画像の一部の画像と、すでに履歴メモリ４３に記憶されている履歴画像とが合成された画像である。すでに履歴メモリ４３に記憶されている履歴画像は、車両２の移動に伴い、逐次、車両２を中心とする相対座標が移動させられる。

制御装置５０は車両周囲画像表示制御装置に相当する。この制御装置５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータである。ＣＰＵは、ＲＡＭの一時記憶機能を利用しつつ、ＲＯＭなどの非遷移的実体的記録媒体に記憶されている車両周囲画像表示制御プログラムを実行する。これにより、制御装置５０は、鳥瞰変換部５１、記憶処理部５２、移動距離推定部５３、舵角推定部５４、車両移動量演算部５５、履歴移動部５６、画像合成部５７、画像出力部５８として機能する。これらの機能を実行すると、プログラムに対応する方法が実行される。

これらの機能は、図２に示すフローチャートを用いて説明する。なお、制御装置５０が実行する機能の一部または全部を、一つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。

（制御装置５０の機能）
図３は、制御装置５０が実行する処理を示すフローチャートである。制御装置５０は、図３に示す処理を、合成鳥瞰画像３１を表示部３０に表示することを指示する指示信号が入力された場合に、周期的に実行する。指示信号は、たとえば、ユーザのスイッチ操作により発生する。また、シフトポジションがリアポジションになったときにも発生する。

ステップＳ１、Ｓ２は、鳥瞰変換部５１が行う処理である。ステップＳ１は請求項の取得部に相当しており、フロントカメラ１０から前方撮影画像を取得する。また、リアカメラ２０から後方撮影画像７０を取得する。

ステップＳ２では、ステップＳ１で取得した前方撮影画像および後方撮影画像７０をそれぞれ鳥瞰変換し、鳥瞰変換して得られる前方現画像および後方現画像７２を画像メモリ４１に記憶する。なお、すでに画像メモリ４１に過去の前方現画像および後方現画像７２が記憶されている場合、過去の前方現画像および後方現画像７２は消去して、最新の前方現画像および後方現画像７２のみを画像メモリ４１に記憶する。

鳥瞰変換により、前方撮影画像および後方撮影画像７０は、車両２の上方にある視点から見下ろした画像に変換される。鳥瞰変換に用いる変換式は、制御装置５０のＲＯＭなどのメモリに記憶されている。この変換式は、たとえば、特許文献２に記載されている周知の式である。

前方撮影画像および後方撮影画像７０のうち、鳥瞰変換する範囲は、後述する認識画像切り出しエリア６２を含むように予め定められた範囲であり、前方撮影画像および後方撮影画像７０の一部の範囲である。認識画像切り出しエリア６２は、前方撮影画像および後方撮影画像７０において、切り出す範囲が予め定まっているため、鳥瞰変換する範囲も予め設定できる。

図５は、後方撮影画像７０を例示する図であり、図６は、図５の画像がこのステップＳ２で鳥瞰変換された後方現画像７２を概念的に示している。後方撮影画像７０は、車両２に近いほど大きく写る画像であるため、一対の駐車枠線６１は、図５において下側となる車両２側ほど、画像上での互いの距離が離れている。これに対して、図６に示すように、鳥瞰画像である後方現画像７２では、一対の駐車枠線６１は互いに平行になっている。

ステップＳ３では、履歴移動演算を行う。この履歴移動演算は、履歴メモリ４３に記憶されている履歴画像の相対座標を移動させる演算である。履歴移動演算は、詳しくは、図４に示す。

図４において、ステップＳ３１では、車両信号を取得する。車両信号は、具体的には、車速信号、舵角信号である。これらの信号は、車内ＬＡＮなどを介して取得する。車速信号は車速センサから取得し、舵角信号は舵角センサから取得する。なお、舵角信号に代えて、ヨーレート信号を取得してもよい。

ステップＳ３２は移動距離推定部５３が行う処理である。このステップＳ３２では、ステップＳ３１で取得した車速信号が表す車速と、前回、ステップＳ３２を実行してからの経過時間とから、前回、ステップＳ３２を実行してから、今回、ステップＳ３２を実行するまでに車両２が移動した移動距離を算出する。

ステップＳ３３は舵角推定部５４が行う処理である。このステップＳ３３では、ステップＳ３１で取得した舵角信号に基づいて、現在の車両２の操舵角を推定する。

ステップＳ３４、Ｓ３５は車両移動量演算部５５が行う処理である。ステップＳ３４では、シフトポジション信号をシフトポジションセンサから取得する。ステップＳ３５では、ステップＳ３２、Ｓ３３で推定した移動距離、操舵角、ステップＳ３４で取得したシフトポジション信号から、前回、ステップＳ３５を実行してから、今回、ステップＳ３５を実行するまでに車両２が移動した車両移動量を算出する。この移動量は、前回の車両２の位置に対する移動方向も含んでおり、前回の車両２の位置に対する相対座標が定まる値である。

ステップＳ３６は履歴移動部５６が行う処理である。このステップＳ３６では、車両２の移動方向とは逆方向に、ステップＳ３５で演算した車両移動量だけ、履歴メモリ４３に記憶されている履歴画像の相対座標を移動させる。

説明を図３に戻す。ステップＳ４は記憶処理部５２が行う処理であり、画像メモリ４１に記憶されている現画像から認識用画像を切り出して、認識用メモリ４２に記憶する。現画像として、前述したように、前方現画像と後方現画像７２が記憶されているので、それぞれの現画像から認識用画像を切り出す。

認識用画像は、履歴画像を含む大きさであり、現画像から切り出すエリア（以下、認識画像切り出しエリア）６２は予め設定されている。図６には、認識画像切り出しエリア６２を例示している。認識用画像は、認識処理部３が利用する。

認識処理部３は、認識用画像に対して白線認識処理などの画像認識処理を行う。この白線認識処理により、たとえば、駐車枠線６１が認識される。認識された駐車枠線６１は、さらに、自動駐車制御などに利用される。

ステップＳ５も記憶処理部５２が行う処理である。このステップＳ５では、認識用メモリ４２に記憶されている認識用画像から履歴画像を切り出して、履歴メモリ４３に記憶する。認識用画像は、前方現画像と後方現画像７２からそれぞれ切り出されて認識用メモリ４２に記憶されている。ステップＳ５では、前方現画像から切り出された認識用画像、および、後方現画像７２から切り出された認識用画像、それぞれから履歴画像を切り出す。

図３の処理は繰り返し実行しており、２回目以降の図３の実行時には、履歴メモリ４３に、過去に取得した履歴画像がすでに記憶されており、かつ、過去に取得した履歴画像はステップＳ３の履歴移動演算で、車両２の移動分だけ相対座標が移動させられている。このステップＳ５で新たに履歴メモリ４３に記憶する履歴画像は、すでに履歴メモリ４３に記憶されている履歴画像と重ね合わせる。これらを重ねあわせた履歴画像を、以下、合成履歴画像という。合成履歴画像を作成する際、新たに記憶する履歴画像と、すでに記憶されている履歴画像とが同じ相対座標にある場合には、新たに記憶する履歴画像を上書きする。

図６には、履歴画像として切り出す履歴画像切り出しエリア（以下、単に切り出しエリア）６３を示している。また、図６には、車両範囲６４も示している。車両範囲６４は、後方現画像７２に対する車両２の範囲を説明するための図形である。

図６において、切り出しエリア６３と車両範囲６４とが重なっていないことから分かるように、切り出しエリア６３は、バンパーやトレーラーフックなど車両２の一部が写っていないエリアである。

また、切り出しエリア６３は矩形であり、長辺が車両２の幅方向に平行、短辺が車両２の前後方向に平行である。切り出しエリア６３は、車両２の走行により、履歴画像の相対座標が逐次移動し、かつ、新たな履歴画像が履歴メモリ４３に記憶された場合に、合成履歴画像に欠けがないように大きさが設定されている。切り出しエリア６３の詳しい説明は後述する。

ステップＳ６〜Ｓ８は画像合成部５７が行う処理である。ステップＳ６では、車両平面サイズを取得する。車両平面サイズは、車長と車幅からなり、所定のメモリに予め記憶されている。ステップＳ７では、履歴メモリ４３に記憶されている合成履歴画像から、出力画像が使用する履歴画像部分３３（図２参照）を取得する。履歴画像部分３３は、表示部３０に表示される合成鳥瞰画像３１において、前方現画像部分３４と後方現画像部分３５とに挟まれた部分である。この履歴画像部分３３は、現画像には撮影されていない範囲であることから、履歴画像を使用するのである。

ステップＳ８では、画像メモリ４１に記憶された前方現画像から前方現画像エリアを切り出して図２に示す前方現画像部分３４とし、かつ、画像メモリ４１に後方現画像エリアを切り出して図２に示す後方現画像部分３５とする。前方現画像エリアおよび後方現画像エリアは、範囲が予め設定されている。また、このステップＳ８では、これら前方現画像部分３４および後方現画像部分３５と、ステップＳ７で取得した履歴画像部分３３とを結合させて、合成鳥瞰画像３１を生成する。ステップＳ９は画像出力部５８が行う処理であり、ステップＳ８で生成した合成鳥瞰画像３１を、出力画像として表示部３０に出力する。

（切り出しエリア６３の説明）
すでに説明したように、切り出しエリア６３は、合成履歴画像を生成するために切り出すエリアであり、合成履歴画像は履歴画像部分３３を切り出すための画像である。合成履歴画像のうち履歴画像部分３３となる部分は、車両２の移動に伴い移動する。したがって、切り出しエリア６３は、車両２の動きによらず、合成履歴画像において履歴画像部分３３に欠けが生じないように、位置および大きさが設定される。

図７は、この切り出しエリア６３の位置と大きさを説明する図である。図７において、旋回軸線８０は、車両２の後輪の車軸を通っており、車両２が最小回転半径で旋回した場合に旋回中心を通る線である。履歴エリア８１は、合成履歴画像から履歴画像部分３３として切り出すエリアである。この履歴エリア８１は車両２を基準として位置と大きさが定まる矩形である。

右内周円弧８２は、車両２が最小回転半径で右旋回することで履歴エリア８１が移動したときの軌跡の内側端であり、左内周円弧８３は、車両２が最小回転半径で左旋回することで履歴エリア８１が移動したときの軌跡の内側端である。

矩形形状である切り出しエリア６３において、車幅方向に平行な一対の辺のうち車両側の辺である車両側辺６３ａと車両２の前端との距離Ｌは、リアカメラ２０の撮影範囲により定まる。この車両側辺６３ａが右内周円弧８２、左内周円弧８３と交わっていないと、車両２が最小回転半径で移動したことに伴い履歴エリア８１が移動したときに、履歴エリア８１は、左右の端に合成履歴画像がない部分が生じる可能性がある。換言すれば、車両側辺６３ａが右内周円弧８２、左内周円弧８３と交わっていれば、車両２が最小回転半径で移動し、それに伴い履歴エリア８１が移動しても、履歴エリア８１の左右方向に合成履歴画像がない部分は生じない。

したがって、切り出しエリア６３の車両側辺６３ａは、車両２の前端からの距離がＬであり、車両２の幅方向に平行であって、一端が右内周円弧８２の上にあり、他端が左内周円弧８３の上にあるように設定する。

また、切り出しエリア６３において、車両前後方向に平行な車両前後方向辺６３ｂの長さは、車速（ｍ／ｓ）と、履歴画像の記憶周期（ｓ）とに基づいて定まる。すなわち、車速と記憶周期の積により得られる長さを車両前後方向辺６３ｂの長さとする。

なお、フロントカメラ１０、リアカメラ２０が前方撮影画像、後方撮影画像７０を撮影するごとに履歴画像を履歴メモリ４３に記憶する。したがって、車速×記憶周期は、前回、履歴画像を切り出した鳥瞰画像に対応する撮影画像が撮影されてから、今回、履歴画像を切り出した鳥瞰画像に対応する撮影画像が撮影されるまでに車両２が移動したことにより生じる履歴エリア８１の移動長さを意味する。

このようにして定まる矩形は、請求項の最小矩形に相当する。切り出しエリア６３は、この最小矩形で囲まれる範囲としてもよいが、誤差等を考慮して、最小矩形を含み、その最小矩形よりも大きいエリアとしてもよい。

図７の説明は、後方現画像７２から履歴画像を切り出す切り出しエリア６３についての説明であるが、前方現画像から履歴画像を切り出す切り出しエリアも、同じ考え方で設定する。

（実施形態の効果）
以上、説明した本実施形態では、記憶処理部５２（Ｓ４、Ｓ５）が切り出す履歴画像は、鳥瞰画像から、車両２が写っていないエリアを切り出した画像である。したがって、履歴移動部５６（Ｓ３６）が、車両２の移動に応じて履歴画像を移動させても、車両２とは離れた場所に、バンパーやトレーラーフックが存在してしまうことはない。

また、記憶処理部５２（Ｓ４、Ｓ５）が認識用メモリ４２に記憶された画像から切り出して履歴メモリ４３に記憶する履歴画像は、最小矩形に基づいて定まる切り出しエリア６３を切り出した画像である。

図７を用いて説明したように、切り出しエリア６３が最小矩形と同じである場合、切り出しエリア６３の車両側辺６３ａは、一端が、車両２が最小回転半径で右旋回することで移動する履歴エリア８１の移動軌跡の内周円上にある。また、車両側辺６３ａの他端は、車両２が最小回転半径で左旋回することで移動する履歴エリア８１の移動軌跡の内周円上にある。切り出しエリア６３は最小矩形と同じあるいは最小矩形を含み、その最小矩形よりも大きいエリアである。

したがって、鳥瞰画像から切り出しエリア６３を履歴画像として切り出すことにより、車両２が左右に最も移動し、その移動に伴い履歴エリア８１が移動しても、履歴メモリ４３に記憶される合成履歴画像は、履歴エリア８１内において、車両幅方向に画像がない部分が生じることが抑制される。

また、切り出しエリア６３が最小矩形と同じである場合、切り出しエリア６３の車両前後方向辺６３ｂの長さは、車速と履歴画像の記憶周期の積により得られる長さである。そいて、前述したように、切り出しエリア６３は、最小矩形と同じか、最小矩形を含み、最小矩形よりも大きいエリアである。

したがって、鳥瞰画像から切り出しエリア６３を履歴画像として切り出せば、車両２が前後方向に移動しても、履歴メモリ４３に記憶される合成履歴画像は、履歴エリア８１内において車両前後方向に画像がない部分が生じることが抑制される。

以上により、履歴メモリ４３に記憶されている合成履歴画像は、履歴エリア８１内において、車両左右方向にも、また、車両前後方向にも、画像がない部分が生じることが抑制される。

また、記憶処理部５２が認識用メモリ４２から切り出す履歴画像は、最小矩形に基づいてエリアが定まる画像であることから、撮影画像の全範囲を鳥瞰変換した鳥瞰画像よりも小さい画像である。したがって、履歴メモリ４３のメモリサイズを小さくでき、履歴画像を記憶する処理時間も短くできる。

また、記憶処理部５２は、画像メモリ４１に記憶されている現画像から、まず、認識用画像を切り出して認識用メモリ４２に記憶し（Ｓ４）、その認識用メモリ４２に記憶した認識用画像から履歴画像を切り出して履歴メモリ４３に記憶している（Ｓ５）。このようにすることで、現画像から切り出した画像を、認識用と合成鳥瞰画像表示用に用いることができる。

また、鳥瞰変換部５１（Ｓ２）が鳥瞰変換する範囲は、認識画像切り出しエリア６２を含むように定められており、前方撮影画像および後方撮影画像７０の一部の範囲である。したがって、前方撮影画像および後方撮影画像７０の全範囲を鳥瞰変換するよりも、処理速度が向上し、かつ、画像メモリ４１が必要とする記憶領域も小さくできる。

以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の変形例も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。

＜変形例１＞
たとえば、前述の実施形態では、画像メモリ４１に記憶された現画像から、認識用画像を切り出して認識用メモリ４２に記憶し、その認識用メモリ４２から履歴画像を切り出していた。すなわち、現画像から切り出した画像を、認識用メモリ４２を介して履歴メモリ４３に記憶していた。しかし、現画像から履歴画像を切り出して履歴メモリ４３に記憶してもよい。

＜変形例２＞
前述の実施形態では、フロントカメラ１０、リアカメラ２０を備えていたが、いずれか一方のカメラのみを備えていてもよい。

＜変形例３＞
前述の実施形態では、画像メモリ４１に現画像が記憶されており、画像メモリ４１から、認識用画像が切り出されていた。しかし、画像メモリ４１を備えず、鳥瞰変換部５１が鳥瞰変換した画像から認識用画像おより履歴画像を切り出して、直接、認識用メモリ４２および履歴メモリ４３に記憶してもよい。

＜変形例４＞
前述の実施形態の車両２は、認識用メモリ４２、認識処理部３を備えていたが、画像認識処理を行う必要がない場合、これら認識用メモリ４２、認識処理部３が車両２に備えられていなくてもよい。

＜変形例５＞
画像メモリ４１あるいは認識用メモリ４２を、履歴メモリ４３として兼用して用いてもよい。すなわち、画像メモリ４１あるいは認識用メモリ４２の一部を履歴メモリ４３として用いてもよい。

＜変形例６＞
前述の実施形態では、認識用メモリ４２に記憶されている認識用画像から履歴画像を切り出して、履歴メモリ４３に記憶していた。しかし、認識用画像が履歴画像よりも小さい場合には、実施形態とは反対に、まず、履歴メモリ４３に履歴画像を記憶し、履歴メモリ４３から認識用画像を切り出して認識用メモリ４２に記憶してもよい。

このように履歴メモリ４３から認識用画像を切り出すことで、認識用画像よりも大きい履歴画像をそのまま認識用画像として用いる場合に比較して、認識用画像を小さくできるので、認識処理の時間を短くできる。

なお、実施形態のように、認識用メモリ４２から履歴画像を切り出す場合には、履歴画像よりも大きい認識用画像をそのまま履歴画像として用いる場合に比較して、履歴画像を小さくできるので、合成履歴画像を生成するための処理時間を短くできる。

１：車両周囲画像表示システム ２：車両 ３：認識処理部 １０：フロントカメラ ２０：リアカメラ ３０：表示部 ３１：合成鳥瞰画像 ３２：車両図形 ３３：履歴画像部分 ３４：前方現画像部分 ３５：後方現画像部分 ４１：画像メモリ ４２：認識用メモリ ４３：履歴メモリ ５０：制御装置 ５１：鳥瞰変換部 ５２：記憶処理部 ５３：移動距離推定部 ５４：舵角推定部 ５５：車両移動量演算部 ５６：履歴移動部 ５７：画像合成部 ５８：画像出力部 ６１：駐車枠線 ６２：認識画像切り出しエリア ６３：切り出しエリア ６３ａ：車両側辺 ６３ｂ：車両前後方向辺 ６４：車両範囲 ７０：後方撮影画像 ７２：後方現画像 ８０：旋回軸線 ８１：履歴エリア ８２：右内周円弧 ８３：左内周円弧

Claims (4)

1. 車両（２）に搭載されたカメラ（１０、２０）から前記車両の周囲を撮影した撮影画像を逐次取得する取得部（Ｓ１）と、
   前記取得部が取得した前記撮影画像を、逐次、鳥瞰変換して鳥瞰画像を生成する鳥瞰変換部（５１）と、
   前記鳥瞰変換部が逐次生成した前記鳥瞰画像から、前記車両が写っていないエリアにある履歴画像を逐次切り出して、履歴メモリ（４３）に記憶する記憶処理部（５２）と、
   前記履歴メモリに記憶した前記履歴画像を、前記車両の移動に応じて移動させる履歴移動部（５６）と、
   前記鳥瞰変換部が変換した最新の前記鳥瞰画像から現画像エリアを切り出した現画像部分（３４、３５）と、前記履歴メモリに記憶されている前記履歴画像から、前記現画像エリアよりも前記車両側のエリアである履歴エリア（８１）を切り出した履歴画像部分（３３）とを合成して、前記車両の周囲のうち、最新の前記鳥瞰画像に撮像されていないエリアを含んでいる前記鳥瞰画像である合成鳥瞰画像（３１）を生成する画像合成部（５７）と、
   前記画像合成部が生成した前記合成鳥瞰画像を表示部（３０）に出力する画像出力部（５８）と、を備えた車両周囲画像表示制御装置であって、
   前記記憶処理部が切り出す前記履歴画像は、最小矩形以上の大きさであって、前記最小矩形に基づいてエリアが定まる画像であり、
   前記最小矩形は、
   一対の辺が、前記車両の車幅方向に平行な矩形であって、
   前記最小矩形の車幅方向に平行な一対の辺のうち前記車両側の辺（６３ａ）は、一端が、前記車両が最小回転半径で右旋回することで移動する前記履歴エリアの移動軌跡の内周円上にあり、他端が、前記車両が最小回転半径で左旋回することで移動する前記履歴エリアの移動軌跡の内周円上にあり、
   前記最小矩形の車両前後方向長さは、前回、前記履歴画像を切り出した前記鳥瞰画像に対応する前記撮影画像が撮影されてから、今回、前記履歴画像を切り出す前記鳥瞰画像に対応する前記撮影画像が撮影されるまでに前記車両が移動したことにより生じる、前記履歴エリアの移動長さである、ことを特徴とする車両周囲画像表示制御装置。
2. 請求項１において、
   前記記憶処理部は、前記鳥瞰画像から、前記履歴画像を含んでいる認識用画像を切り出して、画像認識処理を行うために前記鳥瞰画像を記憶する認識用メモリ（４２）に記憶し、前記認識用メモリから、前記履歴画像を切り出して前記履歴メモリに記憶することを特徴とする車両周囲画像表示制御装置。
3. 請求項２において、
   前記鳥瞰変換部は、前記撮影画像のうち、前記履歴画像に基づいて定まるエリアを鳥瞰変換することを特徴とする車両周囲画像表示制御装置。
4. コンピュータを、
   車両（２）に搭載されたカメラ（１０、２０）から前記車両の周囲を撮影した撮影画像を逐次取得する取得部（Ｓ１）と、
   前記取得部が取得した前記撮影画像を、逐次、鳥瞰変換して鳥瞰画像を生成する鳥瞰変換部（５１）と、
   前記鳥瞰変換部が逐次生成した前記鳥瞰画像から、前記車両が写っていないエリアにある履歴画像を逐次切り出して、履歴メモリ（４３）に記憶する記憶処理部（５２）と、
   前記履歴メモリに記憶した前記履歴画像を、前記車両の移動に応じて移動させる履歴移動部（５６）と、
   前記鳥瞰変換部が変換した最新の前記鳥瞰画像から現画像エリアを切り出した現画像部分（３４、３５）と、前記履歴メモリに記憶されている前記履歴画像から、前記現画像エリアよりも前記車両側のエリアである履歴エリア（８１）を切り出した履歴画像部分（３３）とを合成して、前記車両の周囲のうち、最新の前記鳥瞰画像に撮像されていないエリアを含んでいる前記鳥瞰画像である合成鳥瞰画像（３１）を生成する画像合成部（５７）と、
   前記画像合成部が生成した前記合成鳥瞰画像を表示部（３０）に出力する画像出力部（５８）として機能させる車両周囲画像表示制御プログラムであって、
   前記記憶処理部が切り出す前記履歴画像は、最小矩形以上の大きさであって、前記最小矩形に基づいてエリアが定まる画像であり、
   前記最小矩形は、
   一対の辺が、前記車両の車幅方向に平行な矩形であって、
   前記最小矩形の車幅方向に平行な一対の辺のうち前記車両側の辺（６３ａ）は、一端が、前記車両が最小回転半径で右旋回することで移動する前記履歴エリアの移動軌跡の内周円上にあり、他端が、前記車両が最小回転半径で左旋回することで移動する前記履歴エリアの移動軌跡の内周円上にあり、
   前記最小矩形の車両前後方向長さは、前回、前記履歴画像を切り出した前記鳥瞰画像に対応する前記撮影画像が撮影されてから、今回、前記履歴画像を切り出す前記鳥瞰画像に対応する前記撮影画像が撮影されるまでに前記車両が移動したことにより生じる、前記履歴エリアの移動長さである、ことを特徴とする車両周囲画像表示制御プログラム。

Images