JP6781010B2 - 画像表示装置及び画像処理方法 - Google Patents

Description

本発明は、画像表示装置及び画像処理方法に関する。

従来、車両を後退させて駐車スペースに駐車する際に運転操作を支援する機能として、車両後方を俯瞰した状態を示す俯瞰画像を表示するものがある。なお、本発明と関連する技術としては、例えば、特許文献１〜３がある。

特開２００９−６０４９９号公報 特開２０１０−１４３４００号公報 特開２００８−３３７８１号公報

車両を後進させて駐車する場合に、車両後方の俯瞰画像を表示させると、車両と周囲の物体との位置関係が把握し易いため、周囲に障害物が存在する場合や、周囲の物体の直ぐ近くに車両を寄せる場合に便利である。

これに対して、通常のカメラ画像は、自車両の位置や向きによってカメラ画像内に写る物体が大きく変化することになるため、位置関係が把握しにくいという欠点があるものの、カメラ画像内には駐車スペースだけでなく、その周囲も写り込むことになるため、駐車スペースの近くで子供が遊んでいる場合や、駐車スペースに近づく歩行者が存在する場合など、周囲の状況を容易に把握できるという利点があった。

このため、先ず通常のカメラ画像を表示し、周囲の状況を確認しながら駐車スペースに近づき、駐車スペース内では、運転者（ユーザ）が俯瞰画像に表示を切り替えて、周囲の物体との位置関係を確認しながら駐車するといった操作が行われていた。ここで路面が駐車スペースに向かって急な上り勾配となっている場合、駐車操作中にアクセルをオフにすると車両が不意に路面を下ってしまい駐車スペースから離れてしまうことがある。

この場合、再度駐車スペースに近づくには、周囲の状況を改めて確認する必要があるため、運転者が俯瞰画像から通常のカメラ画像に表示を切り替えることになり、手間がかかるという問題点があった。

そこで本発明は、俯瞰画像及び俯瞰画像を選択的に表示させる際のユーザの手間を軽減させる技術の提供を課題とする。

本発明の画像表示装置は、上述した課題を解決するため、
自車両の後方を撮影する撮影装置から後方画像を取得する画像取得部と、
前記後方画像を変換して前記自車両の後方を俯瞰する俯瞰画像を生成する俯瞰画像生成部と、
前記自車両の移動を検出する移動検出部と、
前記後方画像又は前記俯瞰画像を選択的に表示装置に表示させる選択部と、
前記表示装置に表示させる画像として俯瞰画像が選択されているときに、前記自車両の
前方への移動が検出された場合に、前記俯瞰画像に代えて前記後方画像を表示させる表示制御部と、
を備える。

本発明によれば、俯瞰画像及び俯瞰画像を選択的に表示させる際のユーザの手間を軽減させる技術を提供することができる。

図１は、実施形態１に係る画像表示システムの構成を示すブロック図である。 図２は、カメラの配置と、カメラが撮影する方向を示す図である。 図３は、俯瞰画像を生成する処理の説明図である。 図４は、画像表示装置のハードウェア構成の一例を示す図である。 図５は、実施形態１の表示制御部による処理の説明図である。 図６は、後方画像及び俯瞰画像の表示例を示す図である。 図７は、実施形態２に係る画像表示システムの構成を示す図である。 図８は、実施形態２の表示制御部による処理の説明図である。 図９は、実施形態２の後方画像及び俯瞰画像の表示例を示す図である。

以下、図面を参照して本発明の実施形態について説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。
＜実施形態１＞
＜システムの構成＞
まず、本実施形態の画像表示システム１０の構成について説明する。図１は、実施形態１に係る画像表示システム１０の構成を示すブロック図である。画像表示システム１０は、カメラ１や、画像表示装置２、表示装置３、操作部４を備えている。この画像表示システム１０は、自動車などの車両に搭載され、当該車両の後方の画像を表示することで、後進時の運転支援を行う機能を有している。画像表示システム１０は、例えば、車両に搭載したオーディオ・ビジュアル・ナビゲーション一体型の電子機器（以下、ＡＶＮ機とも称す）であってもよい。また、画像表示システム１０は、車両後方の画像に、例えば駐車支援としてのガイド線を重畳して表示する等の機能を有していてもよい。以下では、画像表示システム１０が搭載される車両を「自車両」という。

カメラ１は、光軸の俯角が所定角度（例えば、３０°）に設定されて取り付けられ、光軸の方向は水平方向に対してやや下方を向き、自車両の後方の車両近傍から比較的遠方にわたる広い領域を撮影して撮影画像（後方画像とも称す）を得る撮影装置である。この後方画像は、後述する、略真上を仮想視点とし、その撮影方向が水平方向に対して略鉛直方向となる俯瞰画像とは対照的である。

カメラ１は、レンズと撮像素子とを備えており、電子的に後方画像を取得する。カメラ１は、所定の周期（例えば、１／３０秒周期）で後方画像を取得し、各後方画像を動画像の１つのフレームとする映像信号を画像表示装置２へ入力する。

図２は、カメラ１の配置と、カメラ１が撮影する方向を示す図である。図２に示すように、カメラ１は、自車両の後端の背面ドア９２に設けられ、その光軸１５は自車両の前後方向に沿って後方に向けられ、水平又は水平よりも下側へ向けて設けられる。即ち、カメラ１は、自車両の後方の様子を撮影するバックカメラであり、例えば、後進して駐車する際に、駐車枠と当該駐車枠の周囲の画像を取得するように設置される。また、このカメラ
１のレンズには魚眼レンズが採用されており、例えば、１８０〜１５０度の画角θを有している。なお、カメラ１のレンズは魚眼レンズに限らず、所要の領域を撮影できる画角（例えば１５０〜１００度の広角レンズ）を有するものであればよい。

図１に戻り、画像表示装置２は、カメラ１で取得した後方画像に基づいて俯瞰画像を生成し、後方画像と俯瞰画像を切り替えて表示装置３に表示させる。この画像表示装置２は、画像取得部２１、俯瞰画像生成部２２、移動検出部２３、選択部２４、表示制御部２５、シフトポジション取得部２６を備えている。

画像取得部２１は、カメラ１で撮影した撮影画像をカメラ１から取得する。なお、本例ではカメラ１で撮影した撮影画像をそのまま後方画像として用いたが、これに限らず、魚眼レンズや広角レンズで撮影した際に直線状の被写体が湾曲して撮影された場合に、これを直線状に戻すように歪み補正を行う処理や、駐車誘導線の合成、トリミング、コントラストの変更など、所定の画像処理を撮影画像に行って後方画像を生成してもよい。

俯瞰画像生成部２２は、画像取得部２１が取得した撮影画像から俯瞰画像を生成する機能を有している。例えば、俯瞰画像生成部２２は、画像取得部２１が取得した撮影画像の視点位置を自車両上方に変換し、再描画することで俯瞰画像を生成するようになっている。俯瞰画像生成部２２によって生成された俯瞰画像は、メモリ２０２に記憶される。図３は、俯瞰画像を生成する処理の説明図である。図３（Ａ）に示されるように、カメラ１は、車両の後部に設けられ、光軸１５が車両後方に向けられている。また、視点位置１Ａは、俯瞰画像を生成する場合の仮想の視点位置であり、視点位置１Ａにカメラを設置し、このカメラの光軸１５Ａを垂直に下へ向けたと仮定して、このカメラによって撮影される画像のように俯瞰画像を生成する。例えば、視点位置１Ａの直下に図３（Ｂ）に示す正方形のパターン３１を配置した場合、視点位置１Ａのカメラでは図３（Ｂ）と同様の画像が撮影されるのに対し、車両後部のカメラ１では、図３（Ｃ）に示すように、カメラ１から遠い辺ａ１〜ａ４が近い辺ｄ１〜ｄ４より短く変形したパターン３１ａが撮影される。このため図３（Ｄ）に示すようにカメラ１で撮影したパターン３１ａの各点ａ１〜ａ４がパターン３１の対応する各点Ａ１〜Ａ４の位置となるように座標を変換し、更にパターン３１ａの各点ｂ１〜ｂ４、ｃ１〜ｃ４がパターン３１の対応する各点Ｂ１〜Ｂ４，Ｃ１〜Ｃ４の位置となるように、それぞれ座標を変換することで、カメラ１で撮影したパターン３１ａから視点位置１Ａのカメラで撮影したような正方形のパターン３１を生成できる。即ち、カメラ１で撮影した後方画像のうち、前記パターン３１ａの位置に撮影された画像の座標を図３（Ｄ）と同様に変換することで、視点位置１Ａのカメラで撮影したような俯瞰画像を生成できる。

移動検出部２３は、カメラ１で撮影した撮影画像を用いて自車両の移動ベクトルを検出する機能を有している。例えば、移動検出部２３は、時間的に前後する撮影画像において、同一の被写体を表示している部分を抽出し、各表示位置の関係に基づいて移動ベクトル、即ち自車両の移動方向と移動量を導出する。なお、移動検出部２３は、撮影画像に限らず、撮影画像から生成された後方画像や俯瞰画像を用いて自車両の移動ベクトルを検出してもよい。

同一の被写体を表示している画素を抽出する方法としては、例えば、テンプレートマッチング手法を用いることができる。テンプレートマッチング手法とは、画像の中から、予め指定したテンプレート画像と似ている位置を探す手法である。本実施形態で用いる場合には、例えば、前フレームの撮影画像の一部分の画像をテンプレートとして、後フレームの撮影画像と比較するといった処理を画像全体に渡って実行すればよい。このようなテンプレートマッチング手法としては、例えば、ＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）等の手法を用いることができる。

テンプレートマッチング手法以外にも特徴点方式を用いることもできる。特徴点方式とは、いわゆる、オプティカルフローを用いた方式である。つまり、互いに異なる時点に取得された複数の撮影画像のそれぞれから特徴点を抽出し、複数の俯瞰画像間での特徴点の動きを示すオプティカルフローを導出する。特徴点とは、画像から際立って検出できる点であり、例えば、物体のコーナー（エッジの交点）などの点である。そして、特徴点方式では、直近の俯瞰画像から抽出した特徴点と、過去の俯瞰画像から抽出した特徴点とを対応づけ、この対応付けられた各特徴点の位置に基づいて移動ベクトルを導出する。

また、撮影画像には、路面を撮影した部分と、自動車等の立体物を表示した部分との双方が含まれていることが多い。路面は、平面であり移動物ではないため、路面の移動ベクトルは、全て略同じ方向及び略同じ大きさの移動ベクトルになる。一方、立体物の移動ベクトルは、その立体物の移動方向や高さなどに応じて、方向及び大きさの異なる移動ベクトルとなる。

このため、立体物の移動ベクトルは、自車両の移動量を正確に反映したものではなく、路面の移動ベクトルが自車両の移動量を正確に反映したものとなる。したがって、移動検出部２３が導出した移動ベクトルには、種々の方向及び大きさの移動ベクトルが含まれていることになるが、自車両の移動量を正確に導出するためには、その中から例えば路面の移動ベクトルを抽出することが望ましい。

一般的には、車両周辺を撮影した画像には、路面を表示する部分が最も多く含まれているため、通常は、路面に関する移動ベクトルが最も多い。そこで、本実施形態では、全ての移動ベクトルについて大きさに関するヒストグラムを生成し、数が最も多い部分の移動ベクトルを、路面の移動ベクトルとして抽出する。

そして、移動検出部２３は、撮影画像の上部、即ち図３（Ａ）において遠くの路面が撮影される部分の特徴点が、撮影画像の下部、即ち図３（Ａ）において近くの路面が撮影される部分へ移動するベクトルが検出された場合、自車両の移動ベクトルが後方に向かうベクトルであること、即ち自車両が後進したことを検出する。反対に撮影画像の下部に撮影された特徴点が、撮影画像の上部へ移動した場合、自車両が前進したことを検出する。

なお、移動検出部２３は、撮影画像を用いて自車両の移動ベクトルを検出したが、これに限らず、例えばＡＶＮ機に備えられた加速度センサ等によって自車両の移動方向を検出しても良い。

選択部２４は、操作部４の選択操作や表示制御部２５の制御に応じて、画像取得部２１から出力される後方画像又は俯瞰画像生成部２２から出力される俯瞰画像を選択的に表示装置３へ送り、表示させる。選択部２４は、画像取得部２１及び俯瞰画像生成部２２との接続を機械的又は電気的に切り替えて表示装置３へ送る画像を選択する電子回路（ハードウェア）であってもよいし、画像取得部２１から出力された後方画像又は俯瞰画像生成部２２から出力された俯瞰画像を選択手にメモリ２０２から読み出して表示装置３へ送る処理をプログラム（ソフトウェア）に従って実行する処理部であってもよい。

表示制御部２５は、表示装置３に表示させる画像として俯瞰画像が選択されているときに、移動検出部２３によって自車両の前方への移動が検出された場合に、俯瞰画像に代えて後方画像を表示させるように選択部２４を制御する。このとき、表示制御部２５は、自車両の前方への移動が僅かでも検出された場合には、俯瞰画像に代えて後方画像を表示させるように選択部２４を制御してもよいが、本例では、自車両の前方への移動量が閾値を超えた場合に、後方画像を表示させるように制御する。即ち、表示制御部２５は、改めて
周囲の状況を確認した方がよい場合に、後方画像を表示させる。また、表示制御部２５は、自車両の移動量が、所定時間以上にわたって閾値以下となった場合、例えば所定時間以上停車していた場合にも、俯瞰画像に代えて後方画像を表示させる。

シフトポジション取得部２６は、ＥＣＵ（不図示）等から自車両のシフトポジションを示す信号を取得する。シフトポジションは、シフトレバー（シフトノブ、シフター、セレクトレバー、チェンジレバー等とも称す）の位置、即ちシフトレバーによって操作されるトランスミッションの状態を示す。

表示装置３は、自車両の車室内におけるユーザ（主にドライバ）が視認可能な位置に配置され、各種の情報をユーザに表示する。表示装置３は、目的地までのルートを案内するナビゲーション機能や音楽を再生するオーディオ機能を備えたＡＶＮ機の表示装置であっても良い。

操作部４は、ユーザ（主にドライバ）が操作可能な位置に配置され、少なくとも表示装置３に俯瞰画像を表示させることを選択する操作（選択操作）を示す信号を画像表示装置２へ入力する。また、操作部４は、表示装置３と重畳されたタッチパネルや、ステアリングやシフトレバー、インパネ、センタコンソール等に配置されたスイッチやタッチパッドであっても良い。

図４は、画像表示装置２のハードウェア構成の一例を示す図である。画像表示装置２は、図４に例示のように、接続バス２１０によって相互に接続されたＣＰＵ（Central Processing Unit）２０１、メモリ２０２、入出力ＩＦ２０３を有する。ＣＰＵ２０１は、画
像表示装置２全体の制御を行う中央処理演算装置である。ＣＰＵ２０１はプロセッサとも呼ばれる。ただし、ＣＰＵ２０１は、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のＣＰＵ２０１がマルチコア構成であってもよい。

メモリ２０２は、主記憶装置と補助記憶装置とを含む。主記憶装置は、ＣＰＵ２０１の作業領域，プログラムやデータの記憶領域，通信データのバッファ領域として使用される。主記憶装置は、例えば、Random Access Memory（ＲＡＭ），或いはＲＡＭとRead Only Memory（ＲＯＭ）との組み合わせで形成される。主記憶装置は、ＣＰＵ２０１がプログラムやデータをキャッシュしたり、作業領域を展開したりする記憶媒体である。主記憶装置は、例えば、フラッシュメモリ、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。補助記憶部は、ＣＰＵ２０１により実行されるプログラムや、動作の設定情報などを記憶する記憶媒体である。補助記憶装置は、例えば、ＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、ＥＰＲＯＭ（Erasable Programmable ROM）、フ
ラッシュメモリ、ＵＳＢメモリ、メモリカード等である。

入出力ＩＦ２０３は、画像表示装置２に接続するセンサや操作部４、通信モジュール、ＥＣＵ等の機器との間でデータの入出力を行うインターフェースである。画像表示システム１０においては、ユーザによる選択操作が操作部４から入出力ＩＦ２０３を介して、画像表示装置２に入力される。また、なお、上記の構成要素はそれぞれ複数に設けられてもよいし、一部の構成要素を設けないようにしてもよい。また、上記の構成要素は、ＡＶＮ機の構成要素に含まれるとしてもよい。

画像表示装置２では、ＣＰＵ２０１がプログラムを実行することにより、図１に示す画像取得部２１、俯瞰画像生成部２２、移動検出部２３、選択部２４、表示制御部２５、シフトポジション取得部２６の各処理部として機能する。但し、上記各処理部の少なくとも一部の処理がＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific I
ntegrated Circuit）等によって提供されてもよい。また、上記各処理部の少なくとも一
部が、ＦＰＧＡ（Field-Programmable Gate Array）等の専用ＬＳＩ（large scale integration）、その他のデジタル回路であってもよい。また、上記各処理部の少なくとも一部にアナログ回路を含む構成としてもよい。

＜表示制御方法＞
次に、画像表示装置２が実行する表示制御方法について説明する。図５は、画像表示装置２の表示制御部２５による処理の説明図である。なお、画像取得部２１による撮影画像の取得や後方画像の出力、俯瞰画像生成部２２による俯瞰画像の生成、移動検出部２３による自車両の移動ベクトルを検出する処理は、図５の処理と並行して行われる。

画像表示システム１０は、開始指示の入力があった場合や、自車両のＡＣＣ電源がオンとなった場合に、周期的に図５の処理を実行させる。

先ず、表示制御部２５は、自車両のシフトポジションを示す信号が後進（リバース）か否かを判定する（ステップＳ１０）。ステップＳ１０にて、後進と判定した場合（ステップＳ１０，Ｙｅｓ）、表示制御部２５は、操作部４によって俯瞰画像の表示が選択されたか否かを判定する（ステップＳ２０）。なお、初期状態では、俯瞰画像の表示が選択されていないものとする。

ステップＳ２０において、俯瞰画像の表示が選択されていないと判定した場合（ステップＳ２０，Ｎｏ）、表示制御部２５は、後方画像を選択するように選択部２４を制御することで（ステップＳ３０）、表示装置３に後方画像を表示させる。図６（Ａ）は後方画像の表示例であり、駐車枠の側辺７１及び後辺（エンドライン）７２が表示され、その後方、即ち後方画像の上部に駐車スペースを仕切る柵７３が撮影されている。また、後方画像の下部には、自車両のバンパー４１が表示されている。

一方、ステップＳ２０において、俯瞰画像の表示が選択されたと判定した場合（ステップＳ２０，Ｙｅｓ）、表示制御部２５は、俯瞰画像を選択するように選択部２４を制御することで（ステップＳ４０）、表示装置３に俯瞰画像を表示させる。図６（Ｂ）は俯瞰画像の表示例であり、自車両の後方を俯瞰した画像となっており、駐車枠７１，７２や柵７３と自車両との位置関係が分かり易く表示される。

また、表示制御部２５は、自車両が所定値以上前進したか否かを判定し（ステップＳ５０）、閾値以上前進したと判定した場合（ステップＳ５０，Ｙｅｓ）、表示制御部２５は、後方画像を選択するように選択部２４を制御することで（ステップＳ３０）、俯瞰画像に代えて後方画像を表示装置３に表示させる。図６（Ｃ）は、前進した為、後方画像の表示に切り替えた場合の表示例を示している。図６（Ｃ）に示すように、後方画像は俯瞰画像よりも広い範囲を表示できるので、周囲の状況を確認し易い。

ステップＳ５０において、閾値以上前進していないと判定した場合（ステップＳ５０，Ｎｏ）、表示制御部２５は、自車両の移動量が、所定時間以上にわたって閾値以下となったか否か、即ち所定時間以上停車したか否かを判定する（ステップＳ６０）。ここで所定時間以上停車したと判定した場合（ステップＳ６０，Ｙｅｓ）、表示制御部２５は、後方画像を選択するように選択部２４を制御することで（ステップＳ３０）、俯瞰画像に代えて後方画像を表示装置３に表示させる。

ステップＳ６０において、所定時間以上停車していないと判定した場合や（ステップＳ６０，Ｎｏ）、ステップＳ３０で後方画像を選択するように選択部２４を制御した後は、図５の処理を終了する。即ち、選択部２４で選択した後方画像又は俯瞰画像を表示装置３
に表示させた状態とし、図５の処理を周期的に繰り返す。

そして、ステップＳ１０において、表示制御部２５は、シフトポジションが後進でないと判定した場合（ステップＳ１０，Ｎｏ）、表示制御部２５は、選択部２４に後方画像及び俯瞰画像以外の画像、例えばナビゲーションの画像等の出力を選択するように選択部２４を制御し、自車両後方の画像（後方画像及び俯瞰画像）の表示を終了させる（ステップＳ７０）。なお、ステップＳ７０により、俯瞰画像の表示が選択されていない状態となるので、次にシフトポジションが後進となった場合には（ステップＳ２０，Ｙｅｓ）、ステップＳ３０で後方画像が選択される。

なお、本実施形態では、ステップＳ６０において、自車両が所定時間以上停車したと判定した場合には、俯瞰画像を後方画像へ切り替えるように制御したが、これに限らず、ステップＳ６０を省略してもよい。即ち、後進時に所定時間以上停車しても俯瞰画像を後方画像へ切り替えない構成としてもよい。

また、本実施形態では、ステップＳ１０において、シフトポジションが後進の場合に、自車両後方の画像（後方画像又は俯瞰画像）の表示を行う構成としたが、シフトポジションの判定に代えて、ユーザが操作部４の操作して自車両後方の画像の表示を選択した場合に（ステップＳ１０，Ｙｅｓ）、ステップＳ２０〜Ｓ６０の処理を行い、自車両後方の画像の表示を選択していない場合に（ステップＳ１０，Ｎｏ）に、ステップＳ７０の処理を行う構成としてもよい。これにより、シフトポジション取得部を省略でき、画像表示システム１０内で処理を完結できるため、画像表示システム１０の簡素化を図ることができる。

＜実施形態の作用効果＞
以上のように、本実施形態によれば、表示装置３に表示させる画像として俯瞰画像が選択されているときに、自車両の前方への移動が検出された場合に、俯瞰画像に代えて後方画像を表示させる。これにより、自車両を後進させて駐車等を行っている際、不意に自車両が前進して改めて周囲の状況を確認する必要が生じた場合、ユーザが手動で後方画像に切り替えなくても表示装置３の表示が俯瞰画像から後方画像に切り替わるので、ユーザによる操作の手間を軽減できる。

また、本実施形態の画像表示装置２は、自車両のシフトポジションを示す信号を取得するシフトポジション取得部２６を備えており、表示装置３に表示させる画像として俯瞰画像が選択され、シフトポジションを示す信号が後進を示し、自車両の前方への移動が検出された場合に、表示制御部２５が、俯瞰画像に代えて後方画像を表示させる。

これにより、シフトポジションに応じて自車両後方の画像（後方画像又は俯瞰画像）を表示させ、このうち俯瞰画像が選択され、前記自車両の前方への移動が検出された場合に、俯瞰画像に代えて後方画像を表示させることができ、更にユーザの手間を軽減できる。

本実施形態の画像表示装置２は、移動検出部２３が、後方画像として撮影された像の移動方向に基づいて自車両の移動方向を求める。

これにより、車両の移動を検出するセンサを特別に設けなくても車両の移動方向が求められるので、画像表示装置２の簡素化を図ることができる。

本実施形態の画像表示装置２は、自車両の前方への移動が、所定距離以上の移動であった場合に、表示制御部２５が、俯瞰画像に代えて後方画像を表示させる。

これにより、自車両が僅かに前進しただけならば後方画像への切り替えを行わず、自車両が前進したことにより、周囲の確認が必要になった場合に、適切に後方画像への切り替えを行うことができる。

ここで、ドライバは、通常、車両と駐車枠７１，７２（図６）との距離が比較的遠い場合には、自車両後方の比較的遠方を撮影している後方画像の表示を見ながら大まかな駐車操作を行う。これは、比較的遠方に駐車枠７１，７２が存在する為である。一方で、その距離が比較的短い場合には、俯瞰画像の表示を見ながら例えば駐車枠７１，７２のエンドライン７２と僅かに映り込む車両のバンパー４１とを目安にして幅寄せする微調整を行う。これは、俯瞰画像の仮想視点が真上であり両者の位置関係が把握しやすい為である。

しかしながら、僅かに前進したような場合には、依然として微調整の駐車操作を行いたい場合である為、前述したように、後方画像への表示切替を行わずに俯瞰画像の表示を維持させ、所定距離以上大きく前進した場合には自動的に後方画像への表示切替を行うこととしている。つまり、状況に応じた画像表示によりドライバの駐車支援を適切に行うことができる。

本実施形態の画像表示装置２は、自車両の移動量が、所定時間以上にわたって閾値以下となった場合に、表示制御部２５が、俯瞰画像に代えて後方画像を表示させる。

これにより、自車両が所定時間以上停車して周囲の確認が必要になった場合に、ユーザの手間をかけずに後方画像への切り替えを行うことができる。

＜実施形態２＞
本実施形態２は、前述の実施形態１の構成に加え、自車両の後方において警戒対象を検出した場合に俯瞰画像から後方画像切り替える構成を備えている。このため、前述の実施形態１と同一の要素は、同符号を付す等して再度の説明を省略する。

図７は、実施形態２の画像表示システム１００の構成を示す図である。図７において、画像表示システム１００は、カメラ１や、画像表示装置２０、表示装置３、操作部４を備えている。この画像表示装置２０は、画像取得部２１、俯瞰画像生成部２２、移動検出部２３、選択部２４、表示制御部２５０、シフトポジション取得部２６に加え、警戒対象検出部２７及び合成部２８を備えている。

警戒対象検出部２７は、自車両の後方において移動する物体を警戒対象として検出する。本例の警戒対象検出部２７は、撮影画像に基づいて警戒対象を検出する。例えば、警戒対象検出部２７は、前述の移動検出部２３と同様に、時間的に前後する撮影画像において、同一の被写体を表示している部分を抽出し、各表示位置の関係に基づいて移動ベクトルを求め、路面と異なる移動ベクトルを有する物体を警戒対象と検出する。

また、警戒対象検出部２７は、路面と異なる移動ベクトルを有する物体を全て警戒対象とするのではなく、路面と異なる移動ベクトルを有する物体のうち、自車両に向かう移動ベクトルを有する物体を警戒対象として検出してもよい。更に、路面と異なる移動ベクトルを有する物体のうち、移動速度が閾値以上の物体や、自車両との距離が所定値以内の物体を警戒対象として検出してもよい。

合成部２８は、後方画像のうち、警戒対象として抽出した物体の部分に、警戒対象であることを示す印を合成する。警戒対象であることを示す印は、例えば当該物体を囲む線や網掛け、図形、色又は輝度の変更等である。また、合成部２８は、後方画像や俯瞰画像に駐車誘導線を合成するものであっても良い。

図８は、本実施形態２に係る画像表示装置２の表示制御部２５０による処理の説明図である。なお、画像取得部２１による撮影画像の取得や後方画像の出力、俯瞰画像生成部２２による俯瞰画像の生成、移動検出部２３による自車両の移動ベクトルを検出する処理、警戒対象検出部２７による警戒対象を検出する処理、合成部２８による合成の処理は、図７の処理と並行して行われる。

図８において、ステップＳ１０〜Ｓ６０の処理は、図５と同じである。ステップＳ６０において、所定時間以上停車していないと判定した場合（ステップＳ６０，Ｎｏ）、表示制御部２５０は、警戒対象が検出されたか否かを判定する（ステップＳ６５）。

ここで警戒対象が検出されたと判定した場合（ステップＳ６５，Ｙｅｓ）、表示制御部２５０は、後方画像を選択するように選択部２４を制御することで（ステップＳ３０）、俯瞰画像に代えて後方画像を表示装置３に表示させる。

図９（Ａ）は後方画像の表示例、図９（Ｂ）は俯瞰画像の表示例であり、図９（Ｃ）は、警戒対象が検出されて、後方画像に切り替えられた場合の表示例である。図９（Ｃ）の後方画像には、警戒対象であることを示す印７４が合成されて、警戒対象として検出された物体が示される。

そして、ステップＳ６５において、警戒対象が検出されていないと判定した場合や（ステップＳ６６，Ｎｏ）、ステップＳ３０で後方画像を選択するように選択部２４を制御した後は、図８の処理を終了する。

また、ステップＳ１０において、表示制御部２５は、シフトポジションが後進でないと判定した場合のステップＳ７０についても前述の図５と同じである。

このように本実施形態２の画像表示装置２０は、自車両の後方において移動する物体を警戒対象として検出する警戒対象検出部２７を更に備え、警戒対象が検出された場合に、表示制御部２５０が、俯瞰画像に代えて後方画像を表示させる。

これにより、画像表示装置２０は、警戒対象が現れて、周囲の状況を確認する必要が生じた場合でも、ユーザが手動で後方画像に切り替える必要がなく、ユーザによる操作の手間を軽減できる。また、ユーザが俯瞰画像を見ていて警戒対象の存在に気付いていない場合でも、俯瞰画像を後方画像に切り替えることで、警戒対象が現れたことをユーザに知らせることができる。

また、本実施形態２の画像表示装置２０は、車両後方において前記物体が、前記自車両に向かって移動している場合に警戒対象として検出する。

これにより、車両後方の物体が自車両から遠ざかる場合には、周囲の確認が不要のため、後方画像への切り替えを行わず、車両後方の物体が自車両に向かって移動し、周囲の確認が必要になった場合に、適切に後方画像への切り替えを行うことができる。

１ カメラ
２，２０ 画像表示装置
３ 表示装置
４ 操作部
１０，１００ 画像表示システム
２１ 画像取得部
２２ 俯瞰画像生成部
２３ 移動検出部
２４ 選択部
２５，２５０ 表示制御部
２６ シフトポジション取得部
２７ 警戒対象検出部
２８ 合成部
１００ 画像表示システム

Claims (8)

1. 自車両の後方を撮影する撮影装置から後方画像を取得する画像取得部と、
   前記後方画像を変換して前記自車両の後方を俯瞰する俯瞰画像を生成する俯瞰画像生成部と、
   前記自車両の移動を検出する移動検出部と、
   前記後方画像又は前記俯瞰画像を選択的に表示装置に表示させる選択部と、
   前記表示装置に表示させる画像として前記俯瞰画像が選択されているときに、前記自車両の前方への移動が検出された場合に、前記俯瞰画像に代えて前記後方画像を表示させる表示制御部と、
   を備える画像表示装置。
2. 前記自車両のシフトポジションを示す信号を取得するシフトポジション取得部を更に備え、
   前記表示装置に表示させる画像として前記俯瞰画像が選択され、前記シフトポジションを示す信号が後進を示し、前記自車両の前方への移動が検出された場合に、前記表示制御部が、前記俯瞰画像に代えて前記後方画像を表示させる請求項１に記載の画像表示装置。
3. 前記移動検出部が、前記後方画像として撮影された像の移動方向に基づいて前記自車両の移動方向を求める請求項１又は２に記載の画像表示装置。
4. 前記自車両の前方への移動が、所定距離以上の移動であった場合に、前記表示制御部が、前記俯瞰画像に代えて前記後方画像を表示させる請求項１〜３の何れか１項に記載の画像表示装置。
5. 前記自車両の移動量が、所定時間以上にわたって閾値以下となった場合に、前記表示制御部が、前記俯瞰画像に代えて前記後方画像を表示させる請求項１〜４の何れか１項に記載の画像表示装置。
6. 前記自車両の後方において移動する物体を警戒対象として検出する警戒対象検出部を更に備え、
   前記警戒対象が検出された場合に、前記表示制御部が、前記俯瞰画像に代えて前記後方画像を表示させる請求項１〜５の何れか１項に記載の画像表示装置。
7. 前記車両後方において前記物体が、前記自車両に向かって移動している場合に前記警戒対象として検出する請求項６に記載の画像表示装置。
8. 自車両の後方を撮影する撮影装置から後方画像を取得するステップと、
   前記後方画像を変換して前記自車両の後方を俯瞰する俯瞰画像を生成するステップと、
   前記自車両の移動を検出するステップと、
   前記後方画像又は前記俯瞰画像を選択的に表示装置に表示させるステップと、
   前記表示装置に表示させる画像として前記俯瞰画像が選択されているときに、前記自車両の前方への移動が検出された場合に、前記俯瞰画像に代えて前記後方画像を表示させるステップと、
   をコンピュータが実行する画像処理方法。

Images