本実施例は、本発明を、車両1に設置された複数のカメラで撮影した車両周囲の画像を、運転者に見やすい形態で表示することが可能な、車両用周囲監視装置2に適用したものである。
図1は、本発明の実施形態に係る車両用周囲監視装置2の構成を示すブロック図である。本実施例に係る車両用周囲監視装置2は、図1に示す通り、図示しない車両1に設置され、運転者による車両用周囲監視装置2の起動操作を検出する起動操作検出手段10と、車両用周囲監視装置2の動作終了操作を検出する終了操作検出手段15と、車両周囲の画像を撮影する複数のカメラから構成された撮影手段20と、撮影手段20を構成する複数のカメラのうち、隣り合うカメラの撮影領域の重複部に、鉛直に立ち上がり、その上端もしくは下端を支端として開閉可能な、表裏2面を有する平面状の仮想スクリーンを設置する仮想スクリーン設置手段30と、仮想スクリーン設置手段30で設置した仮想スクリーンに対して、隣り合う撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が、前記仮想スクリーンの表裏2面のうち最初に交差する面の交差する画素に、前記隣り合う撮影手段で撮影された画像の濃淡値を格納して仮想スクリーン投影画像を生成する仮想スクリーン投影画像生成手段40と、撮影された車両周囲の画像を、路面に投影して路面投影画像を生成する路面投影画像生成手段50と、仮想スクリーン投影画像生成手段40で生成された仮想スクリーン投影画像を、第1の視点位置から第1の視線方向を向いて観測した画像に座標変換する第1視点変換手段60と、路面投影画像生成手段50で生成された路面投影画像を、第2の視点位置から第2の視線方向を向いて観測した画像に座標変換する第2視点変換手段70と、第1視点変換手段60によって視点変換された仮想スクリーン投影画像と第2視点変換手段70によって視点変換された路面投影画像とを1枚の画像に合成する画像合成手段80と、前記画像合成手段80に対して、仮想スクリーン設置手段30によって設置された仮想スクリーンの表裏2面を開いて表示する(以後、展開と呼ぶ)際の展開角度θを指示する仮想スクリーン展開角度指示手段90と、前記画像合成手段80に対して、前記仮想スクリーンの表裏2面の開閉を指示するスクリーン押下検出手段100と、画像合成手段80で合成した画像を表示する画像表示手段110とから構成される。
ここで、起動操作検出手段10は、詳しくは、車両用周囲監視装置2の起動を指示する起動スイッチ11と、車両のシフトポジションを検出するシフトポジション検出手段12と、車両1のイグニッションスイッチの状態を判断するイグニッションスイッチ状態判断手段13とからなる。
終了操作検出手段15は、詳しくは、車両用周囲監視装置2の動作終了を指示する終了スイッチ16と、車両1の車速を検出する車速検出手段18とからなる。
撮影手段20は、詳しくは、図2のように車両の周囲に設置され、隣り合う撮影領域が互いに重複するように配置された第1カメラ22、第2カメラ24、第3カメラ26、第4カメラ28とからなる。
仮想スクリーン投影画像生成手段40は、詳しくは、仮想スクリーン投影画像を生成するために、第1カメラ22から第4カメラ28の各設置位置と仮想スクリーンの各設置位置とに基づいて、予め作成された座標変換用データテーブルが格納された第1座標変換データ格納部44と、第1座標変換データ格納部44に格納された座標変換用データテーブルに基づいて、仮想スクリーン投影画像を生成する仮想スクリーン投影画像生成部42とからなる。
路面投影画像生成手段50は、詳しくは、路面投影画像を生成するために、第1カメラ22から第4カメラ28の各設置位置に基づいて、予め作成された座標変換用データテーブルが格納された第2座標変換データ格納部56と、第2座標変換データ格納部56に格納された座標変換用データテーブルに基づいて、各カメラで撮影した画像から路面投影画像を生成する路面投影画像生成部52と、生成された複数の路面投影画像を1枚の画像に合成する路面投影画像合成部54とからなる。
第1視点変換手段60は、詳しくは、シフトポジション検出手段12によって検出されたシフトポジションや、運転者の起動スイッチ11の操作に基づいて、仮想スクリーン投影画像を視点変換する際の第1の視点位置と第1の視線方向を設定する第1視点位置・第1視線方向設定部66と、第1視点位置・第1視線方向設定部66で設定された第1の視点位置から第1の視線方向に向けて、仮想スクリーン投影画像の視点変換を行うための座標変換用データテーブルが格納された第3座標変換データ格納部64と、第3座標変換データ格納部64に格納された座標変換用データテーブルに基づいて、仮想スクリーン投影画像を視点変換する第1視点変換部62とからなる。
第2視点変換手段70は、詳しくは、シフトポジション検出手段12によって検出されたシフトポジションや、運転者の起動スイッチ11の操作に基づいて、路面投影画像を視点変換する際の第2の視点位置と第2の視線方向を設定する第2視点位置・第2視線方向設定部76と、第2視点位置・第2視線方向設定部76で設定された第2の視点位置から第2の視線方向に向けて、路面投影画像の視点変換を行うための座標変換用データテーブルが格納された第4座標変換データ格納部74と、第4座標変換データ格納部74に格納された座標変換用データテーブルに基づいて、路面投影画像を視点変換する第2視点変換部72とからなる。
画像合成手段80は、詳しくは、第1視点変換手段60によって視点変換された仮想スクリーン投影画像と第2視点変換手段70によって視点変換された路面投影画像とを1枚の画像に合成する際、画像が重複する部分の透過率を設定する透過率設定部84と、透過率設定部84で設定された透過率にて、第1視点変換手段60によって視点変換された仮想スクリーン投影画像を前面に、第2視点変換手段70によって視点変換された路面投影画像を背面にして合成する画像合成部82とからなる。
スクリーン押下検出手段100は、詳しくは、表示用モニタ114のスクリーン面に設置されたタッチパネルによって構成され、運転者によって押下された座標位置を検出するスクリーン押下座標検出部102と、スクリーン押下座標検出部102によって、スクリーンが押下されたことが検出されたとき、その押下の継続時間を計測するスクリーン押下時間計測部104とからなる。
画像表示手段110は、詳しくは、画像合成手段80で合成された画像を、ディジタル信号からアナログ信号に変換するエンコーダ112と、車内に設置され、エンコーダ112によってアナログ信号に変換された画像を表示する、液晶モニタ等の表示用モニタ114とからなる。
次に、本実施例に係る車両用周囲監視装置2の作用について、図5のフローチャートに基づいて説明する。本実施例に係る車両用周囲監視装置2は、車両の駐車時や狭い場所での切り返し時に利用され、車両周囲の画像を運転者に呈示して運転動作を補助するものである。
図2(a)に示すように、第1カメラ22は車両1のフロントバンパに、第2カメラ24は車両1の左ドアミラーに、第3カメラ26は車両1のリアバンパにそれぞれ設置されており、図2(a)には図示しないが、第4カメラ28は車両1の右ドアミラーに設置されている。
また、各カメラは、図2(b)に示す通り、それらの撮影範囲と路面とが、各交線150、152、154、156で交わる範囲を撮影するように設置されている。
なお、隣り合うカメラは、図2(b)に示す通り、各々の撮影範囲が互いに重複し、第1カメラ22と第2カメラ24とは第1重複領域E1をなし、第2カメラ24と第3カメラ26とは第2重複領域E2をなし、第3カメラ26と第4カメラ28とは第3重複領域E3をなし、第4カメラ28と第1カメラ22とは第4重複領域E4をなすように設置されている。
まず、車両1の左前方直近に歩行者300が起立している状況にて、車両1が、駐車のために前方に向かって前進している場面について、本実施例の車両用周囲監視装置2の動作を説明する。
イグニッションスイッチ状態判断手段13によって、車両1のイグニッションがONになっていることが確認されると(図5のS1)、車両用周囲監視装置2の状態を表す変数γに0が与えられる(図5のS2)。運転者は、車両周囲の画像を監視したいとき、車内に設置された起動スイッチ11を操作する。起動スイッチ11が操作されると(図5のS3がYesのとき)、車両用周囲監視装置2の状態を表す変数γに1が与えられる(図5のS5)。
第1カメラ22から第4カメラ28で撮影された画像は、それぞれ、図1に図示しない、各カメラの後段に接続されたデコーダによって、コンポジット信号からコンポーネント信号に変換され、さらに、コンポーネント信号のうち輝度信号は、図1に図示しないA/D変換器を通してディジタル画像に変換される(図5のS7)。第1カメラ22から第4カメラ28で撮影され、ディジタル化された画像を、各々I1(x、y)、I2(x、y)、I3(x、y)、I4(x、y)とする。
次に、仮想スクリーン設置手段30によって、隣り合って設置されたカメラの撮影範囲の重複領域E1、E2、E3、E4の中に、それぞれ、各重複領域E1、E2、E3、E4の面積を2等分するように、車両から遠近方向に延びた、表裏2面を有し、路面に垂直な平面状の仮想スクリーン200、210、220、230が設置される。
さらに、仮想スクリーン投影画像生成手段40によって、第1重複領域E1に設置した第1仮想スクリーン200の第1カメラ22側の面に画像I1(x、y)を投影し、第1仮想スクリーン200の第2カメラ24側の面に画像I2(x、y)を投影する。同様にして、第2重複領域E2に設置した第2仮想スクリーン210の第2カメラ24側の面に画像I2(x、y)を投影し、第2仮想スクリーン210の第3カメラ26側の面に画像I3(x、y)を投影する。さらに、第3重複領域E3に設置した第3仮想スクリーン220の第3カメラ26側の面にI3(x、y)を投影し、第3仮想スクリーン220の第4カメラ28側の面に画像I4(x、y)を投影する。また、第4重複領域E4に設置した第4仮想スクリーン230の第4カメラ28側の面にI4(x、y)を投影し、第4仮想スクリーン230の第1カメラ22側の面に画像I1(x、y)を投影する(図5のS8)。
ここで、図3と図4に基づいて、第1仮想スクリーン200を例にとり、仮想スクリーン投影画像の生成方法を説明する。
図3(a)は、車両1の左前方直近に歩行者300が起立している様子を示す斜視図である。また、図3(b)は、図3(a)を車両1の真上から見た図である。図3(b)に示すように、第1カメラ22は∠XPX’の範囲を撮影するものとし、第2カメラ24は∠YQY’の範囲を撮影するものとする。また、車両1は水平な路面上にあり、カメラ22、24は水平方向に向いて設置されているものとする。ここで、∠XOYを2等分する位置に、路面に垂直な平面状の第1仮想スクリーン200を設置する。歩行者300は、第1仮想スクリーンと重なる位置に起立しているものとする。
仮想スクリーン投影画像生成手段40は、図4(a)、(b)に示すように、第1カメラ22で撮影した画像I1(x、y)の濃淡値を、第1仮想スクリーン200の第1カメラ22側の面に投影し、さらに、図4(c)、(d)に示すように、第2カメラ24で撮影した画像I2(x、y)の濃淡値を、第1仮想スクリーン200の第2カメラ24側の面に投影する。
仮想スクリーンへの投影は、カメラで実際に撮影された像が、仮想スクリーン上に元々存在した物体の像であると仮定して、撮影された画像の濃淡値を、仮想スクリーン上の対応する位置に格納することによって行われる。
この投影は、具体的には次のようにして実行される。図4(b)において、第1カメラ22で撮影した画像I1(x、y)に写った歩行者300の像を構成する、左右両端の画素Q1、Q2に着目する。画素Q1に格納された濃淡値をI1(x1、y1)とし、画素Q2に格納された濃淡値をI1(x2、y2)とすると、画素Q1は、第1カメラ22の主点位置Pから、画素Q1に向かって延ばした半直線が、第1仮想スクリーン200の第1カメラ22側の面と交差する点T1に投影され、点T1に、濃淡値I1(x1、y1)が格納される。
同様にして、画素Q2は、第1カメラ22の主点位置Pから、画素Q2に向かって延ばした半直線が、第1仮想スクリーン200の第1カメラ22側の面と交差する点T2に投影され、点T2に、濃淡値I1(x2、y2)が格納される。
画像I1(x、y)の全ての画素に対して、同様の処理を行い、第1仮想スクリーン200の第1カメラ22側の面には、図4(a)に示す歩行者300の投影像310aが生成される。
第2カメラ24で撮影した画像I2(x、y)に対しても、同様の処理を行い、その結果を第1仮想スクリーン200の第2カメラ24側の面に格納することにより、図4(d)に示すように、歩行者300の像を構成する左右両端の画素Q3、Q4は、それぞれ、第1仮想スクリーン200の第2カメラ24側の面の点T3、T4に投影される。同様の処理を、画像I2(x、y)の全ての画素に対して行うことによって、第1仮想スクリーン200の第2カメラ24側の面には、図4(c)に示す歩行者300の投影像310bが生成される。
なお、仮想スクリーンへの投影処理は、仮想スクリーン投影画像生成部42で行われるが、第1仮想スクリーン200と交差する点を、画像I1(x、y)、画像I2(x、y)の画素毎に算出するのは計算負荷が大きいため、第1カメラ22と第2カメラ24の配置に基づいて、第1仮想スクリーン投影画像の各面の任意の画素に投影される、画像I1(x、y)、および画像I2(x、y)の座標値を、予め計算で求めておき、その計算結果に基づいて座標変換テーブルを予め作成して、第1座標変換データ格納部44に格納しておく。
仮想スクリーン投影画像生成部42は、第1座標変換データ格納部44に格納された座標変換テーブルに基づいて、座標の置き換えを行うことによって、少ない計算付加で、投影処理を行うことができる。
同様の投影処理は、図2の第2重複領域E2に設置した第2仮想スクリーン210、第3重複領域E3に設置した第3仮想スクリーン220、第4重複領域E4に設置した第4仮想スクリーン230に対しても実行される。これにより、各仮想スクリーンに対して表裏2枚ずつ、合計8枚の仮想スクリーン投影画像が生成される。
次に、路面投影画像生成部52により、画像I1(x、y)、画像I2(x、y)、画像I3(x、y)、画像I4(x、y)は、各々路面に投影され、さらに、車両真上から見下ろした合成路面投影画像に変換される(図5のS9)。
先述した仮想スクリーン投影画像が、カメラで撮影した画像には仮想スクリーン上に存在する物体の像が写っていると仮定して生成した画像であったのに対し、路面投影画像は、カメラで撮影した画像には路面上に存在する物体の像が写っていると仮定して生成した画像である。
路面投影画像の生成は、路面投影画像生成部52で行われる。具体的には、画像I1(x、y)の場合、第1カメラ22の主点位置Pから、第1カメラ22で撮影した画像I1(x、y)の各画素に向かって延ばした半直線が、路面と交差する点を求め、求めた点に、画像I1(x、y)の対応する画素の濃淡値を格納することによって行われる。画像I2(x、y)、I3(x、y)、I4(x、y)についても同様である。
ここで、画像I1(x、y)からI4(x、y)に対して、その画素毎に、路面と交差する点の座標を算出するのは計算負荷が大きいため、第1カメラ22と第2カメラ24の配置に基づいて、路面上の任意の点に投影される、画像I1(x、y)と画像I2(x、y)の座標値を、予め計算で求めておき、その計算結果に基づいて座標変換テーブルを作成して、第2座標変換データ格納部56に格納しておく。
路面投影画像生成部52では、第2座標変換データ格納部56に格納された座標変換テーブルに基づいて座標の置き換えを行うことによって、少ない計算付加で、投影処理を行うことができる。
ここで、図3のレイアウトにおいて、第1カメラ22で撮影した画像I1(x、y)と、第2カメラ24で撮影した画像I2(x、y)を路面投影画像に変換する様子を図6に示す。
図6(a)に示す通り、第1カメラ22で撮影した画像I1(x、y)に写っている歩行者300は、路面投影画像上で、第1カメラ22の主点位置Pと歩行者300とを結ぶ方向に沿って、第1カメラ22から遠ざかるように倒れ込み、図6(a)に描く領域Z1のように路面に投影される。
また、図6(b)に示す通り、第2カメラ24で撮影した画像I2(x、y)に写っている歩行者300は、路面投影画像上で、第2カメラ24の主点位置Qと歩行者300とを結ぶ方向に沿って、第2カメラ24から遠ざかるように倒れ込み、図6(b)に描く領域Z2のように路面に投影される。
次に、路面投影画像合成部54にて、画像I1(x、y)、画像I2(x、y)、画像I3(x、y)、画像I4(x、y)から、各々生成された路面投影画像が、1枚の画像に合成される。
図6(c)を用いて、画像I1(x、y)の路面投影画像と画像I2(x、y)の路面投影画像を合成する方法を説明する。
画像I1(x、y)の路面投影画像と画像I2(x、y)の路面投影画像は、第1カメラ22の撮影範囲と第2カメラ24の撮影範囲の重複領域を2等分する、線分AOを境界線として合成される。すなわち、図6(a)、(b)に表示された路面投影画像のうち、線分AOを跨いで投影された領域は、合成画像には反映されない。このようにして路面投影画像を合成することによって、第1カメラ22の路面投影画像と第2カメラ24の路面投影画像は、図6(c)に示す領域Z3のようになり、歩行者300が路面と接する足元部分のみが残る。
同様にして、他のカメラで撮影した画像も、路面投影画像に変換され、図7のような合成路面投影画像400が生成される。
なお、車両1、およびその直近部分(図7のZ4)は、カメラの撮影視野の外にあるため、例えば濃淡値を最小値や最大値に置き換えるなどして特異な値を格納し、情報が欠落していることを表現する。
また、車両1が存在する領域には、車両1を模したアイコンZ5を貼り付けることによって、車両1と周囲との位置関係がより明確に表現できるようになる。
次に、図5のS8で生成された4枚の仮想スクリーン投影画像は、第1視点変換手段60によって、第1視点位置から第1視線方向を向いて観測した画像に変換される。
ここで、第1視点位置と第1視線方向は、起動操作検出手段10によって検出された情報(起動スイッチ11の操作やシフトポジション検出手段12の検出結果)に基づいて、第1視点位置・第1視線方向設定部66により決定される。
すなわち、車両用周囲監視装置2の状態を表す変数γに1が与えられている場合(図5のS10がYesのとき)、第1視点位置が車両1の後方上空に設定され、そこから車両1の前方側を見下ろす第1視線方向が設定される(図5のS11)。
第3座標変換データ格納部64には、4枚の仮想スクリーン投影画像を、設定した第1視点位置から、第1視線方向を向いて観測したように視点変換するための座標変換テーブルが、予め作成されて格納されており、その座標変換テーブルに基づいて、第1視点変換部62にて視点変換が行われる(図5のS13)。
さらに、図5のS9で生成された合成路面投影画像400は、第2視点変換手段70によって、第2視点位置・第2視線方向設定部76で設定された、第2視点位置から、第2視線方向を向いて観測した画像に変換される。
具体的には、第4座標変換データ格納部74には、合成路面投影画像400を、第2視点位置から、第2視線方向を向いて観測したように視点変換するための座標変換テーブルが予め作成されて格納されており、その座標変換テーブルに基づいて、第2視点変換部72にて視点変換が行われる(図5のS14)。
本実施例においては、第2視点位置を車両1の真上に置き、第2視線方向を真下向きに設定することによって、車両1を真上から見下ろしたように視点変換された合成路面投影画像400が生成されるものとする。
本実施例においては、合成路面投影画像を車両1の真上から見下ろすように視点変換した画像を生成するようにしたため、仮想スクリーン投影画像を、同じ第2視点位置から第2視線方向で観測した画像に座標変換して合成すると、仮想スクリーン投影画像が見えなくなってしまうため、第1視点位置と第1視線方向は、第2視点位置と第2視線方向とは異なる位置に設定にされる。
なお、第1視点位置・第1視線方向設定部66で設定される第1視点位置および第1視線方向と、第2視点位置・第2視線方向設定部76で設定される第2視点位置および第2視線方向とは同じものに設定しても構わない。
次に、第1視点変換部62で生成された4枚の仮想スクリーン投影画像(第1仮想スクリーン投影画像205、第2仮想スクリーン投影画像215、第3仮想スクリーン投影画像225、第4仮想スクリーン投影画像235)と、第2視点変換部72で生成された合成路面投影画像400とを、仮想スクリーン投影画像(205、215、225、235)を前面に、合成路面投影画像400を背面にして、画像合成手段80にて1枚の画像に合成する(図5のS15)。
この画像合成は、透過率設定部84で決められた透過率に基づいて、画像合成部82によって行われる。
すなわち、第1視点変換部62で生成された第1仮想スクリーン投影画像205の表面をK1(x、y)、第1仮想スクリーン投影画像205の裏面をK2(x、y)、第2視点変換部72で生成された合成路面投影画像400をL(x、y)、画像合成手段80にて合成された画像をM(x、y)とすると、K1(x、y)、K2(x、y)、L(x、y)が重複した点(x、y)には、式1によって算出された濃淡値が格納される。
M(x、y)=αK1(x、y)+βK2(x、y)+(1-α-β)L(x、y) (式1)
ここで、α、βは透過率パラメータであり、いずれも0から1の間の値をとり、0≦α+β≦1である。α、βの値は予め設定され、透過率設定部84に格納される。
本実施例の場合、α=1、β=0に設定されているものとする。これは、仮想スクリーン投影画像(205、215、225、235)と合成路面投影画像400が重なったとき、背面にくる仮想スクリーン投影画像と合成路面投影画像400を、ともに不可視とする設定である。ここで、α、βの値は、上記設定に限定されるものではなく、設計パラメータとして、最終的に生成される合成画像の用途や見やすさに基づいて、適宜設定される。
なお、K1(x、y)、K2(x、y)、L(x、y)に重複がないときは、それらの画像に格納された濃淡値が、そのままM(x、y)に格納されるものとする。さらに、K1(x、y)、K2(x、y)は、それらを裏面から観測しても、同じ濃淡値が視認されるものとする。
また、説明は省略するが、第2仮想スクリーン投影画像215、第3仮想スクリーン投影画像225、第4仮想スクリーン投影画像235についても、第1仮想スクリーン投影画像205と同様にして、合成画像M(x、y)が生成される。
こうして得られた合成画像M(x、y)の例を図8(a)に示す。図8(a)に示すように、第1仮想スクリーン投影画像にのみ、歩行者300の像310bが写っている。
ここで、M(x、y)の中で、黒く塗り潰された領域は、車両1のごく近傍にあたる撮影手段20の撮影視野を外れた領域と、仮想スクリーン投影画像、および合成路面投影画像以外の領域である。
また、車両1の存在位置には、図8(a)に示すように、上向きの第1車両アイコンZ5を重畳表示して、前後の位置関係をより明確に表現するようにしてもよい。
なお、こうして得られた図8(a)の合成画像は、図1に図示しないD/A変換器にてコンポーネント信号に再構成され、さらにエンコーダ112によってコンポジット信号に変換されて、表示用モニタ114に表示される(図5のS16)。運転者は、表示用モニタ114に表示された合成画像M(x、y)を確認しながら、駐車動作を継続する。
また、このとき、車速検出手段18により、車速は常に検出されており、車速が所定値を上回ったとき(図5のS21がYesのとき)は、表示用モニタに気をとられないよう、合成画像を非表示にして(図5のS25)、イグニッションスイッチがONであることを確認して(図5のS26がNoのとき)、図5のS2に戻る。
さらに、終了スイッチ16が操作されたとき(図5のS19がYesのとき)も、合成画像を非表示にして(図5のS21)、イグニッションスイッチがONであることを確認して(図5のS22がNoのとき)、図5のS2に戻る。
以上、車両1が前進している場合の動作について説明したが、車両1が後退している場合には、車両後方が見やすくなるよう、図8(b)のように、車両後方を上部に配置した画像が表示される。その場合の作用の流れは、上述した車両前進時とほぼ同様であるため、相違点のみ簡単に説明する。
シフトポジション検出手段12にてシフトポジションが後退位置にあることが検出される(図5のS4がYesのとき)と、システムの状態を表す変数γに2が格納され(図5のS6)、第1視点位置・第1視線方向設定部66にて、第1視点位置は車両1の前方上空に設定され、そこから車両1の後方側を見下ろす第1視線方向が設定される(図5のS12)。
車両前進時と同様にして生成された仮想スクリーン投影画像と合成路面投影画像400とは、画像合成部82で合成され、図8(b)に示すように、車両後方を上部に配置した画像として表示用モニタ114に表示される(図5のS16)。このとき、車両1の存在位置には、下向きの第2車両アイコンZ6を重畳表示して、前後の位置関係をより明確に表現するようにしてもよい。
この時、車速検出手段18にて、車速は常にモニタされており、車速が所定値を上回ったとき(図5のS21がYesのとき)は、表示用モニタに気をとられないよう、合成画像を非表示にして(図5のS25)、イグニッションスイッチがONであることを確認して(図5のS26がNoのとき)、図5のS2に戻る。
また、シフトポジション検出手段12にて、シフトポジションは常に検出されており、シフトポジションが後退位置以外であることが検出されたとき(図5のS24がYesのとき)も、合成画像を非表示にして(図5のS25)、イグニッションスイッチがONであることを確認して(図5のS26がNoのとき)、図5のS2に戻る。
ここで、車両1の4隅の障害物の状況を詳しく監視したいとき、運転者は、表示用モニタ114に写った合成画像M(x、y)の中で、仮想スクリーン投影画像が写っている位置を指でタッチする。スクリーン押下座標検出部102では、表示用モニタ114が押下されたことを検知し、押下された座標(x、y)を算出する。
押下された座標(x、y)は、画像合成部82によって、仮想スクリーン投影画像の領域であるか否かが判定され、図9(a)に示すように、第1仮想スクリーン投影画像205の領域が押下されたと判定されると(図5のS17がYesのとき)、画像合成部82は、仮想スクリーン展開角度指示手段90によって、予め設定された展開角度θにて、同じく仮想スクリーン展開角度指示手段90によって予め設定された、仮想スクリーンの上端もしくは下端のうち1端(本実施例の場合は上端)を支端として、図9(b)に示すように、仮想スクリーン投影画像の表裏面が、展開角度θだけ開いて表示される(図5のS18)。
その結果、合成画像M(x、y)の中には、仮想スクリーン表裏面への投影画像がともに表示され、これによって、隣り合う撮影手段20の境界付近にある障害物の情報が明確に表示され、駐車動作の際の視覚補助を果たすことができる。
ここで、展開された仮想スクリーン投影画像を、再び指で押下すると(図5のS19がYesのとき)、展開されたスクリーン投影画像は閉じて、再び、図9(a)の表示形態に戻る(図5のS20)。
以上説明した、仮想スクリーン投影画像が押下されたことを検出して、仮想スクリーン投影画像を展開表示する機能は、図5のフローチャートでは、一連の処理の中に埋め込んで記載したが、実際には、割り込み処理が可能な構成にて実装される。
ここで、展開角度θは、0から180度の範囲で設定することが可能であり、例えばθ=180度に設定すると、図9(c)に示すように、仮想スクリーン投影画像が、路面投影画像と同じ平面上に展開されて表示される。
なお、本実施例の別の形態として、スクリーン押下検出手段100の中に、表示用モニタ114の画面を押下し続ける時間を計測するスクリーン押下時間計測部104を設け、スクリーンの押下継続時間を測定し、押下継続時間に連動して、設定された展開角度θに達するまで、仮想スクリーンを連続的に展開するように構成することも可能である。
さらに、仮想スクリーンが展開角度θで展開されているとき、仮想スクリーンの位置を押下し続けると、スクリーン押下時間計測部104によって、押下継続時間が計測され、押下継続時間に連動して、仮想スクリーンが連続的に閉じて、最終的にθ=0になるように構成することも可能である。
このような構成によると、仮想スクリーンを長く押し続けることによって、仮想スクリーンが展開されて、仮想スクリーンの表裏2面が可視化されることにより、死角情報をより詳細に得ることができる。あるいは、仮想スクリーンを長く押し続けることによって、仮想スクリーンが連続的に閉じて、死角情報を簡素化することができる。
すなわち、欲しい死角情報の詳細度に応じた表示形態を、画面を押下するという簡単な操作で得ることができる。
また、本実施例では、仮想スクリーンの上端を支端にして展開表示を行う構成を説明したが、これは、仮想スクリーンの下端を支端にして展開表示を行うことも可能である。仮想スクリーンの下端を支端にして展開表示を行った例を図10に示す。仮想スクリーン投影画像は、仮想スクリーンの裏面からも可視化可能に構成しているため、図10に示すように、投影された面の裏側からも可視化することができる。
このように、仮想スクリーンの下端を支端にして展開表示する構成を採ることによって、図9(b)や図9(c)において、歩行者300の投影像310aと310bの位置が、仮想スクリーンの表裏面でずれて表示されたのに対し、図10に示すように、歩行者300の投影像310aと310bの足元の位置が一致して表示されるため、よりわかりやすい画像を表示することができる。
仮想スクリーンの上端を支端にするか、下端を支端にするかは、表示の用途に応じて、予め、仮想スクリーン展開角度指示手段90に記憶させておけばよい。もちろん、専用の操作スイッチや、表示画面上にタッチ操作可能なスイッチを設定し、それらのスイッチ操作によって、支端の位置を随時変更することも可能である。
このように構成された本第1実施形態に係る車両用周囲監視装置2によれば、隣り合うカメラの撮影範囲の境界部分に存在する立体物であっても、前記境界部分に仮想スクリーンを設置し、当該仮想スクリーンへの投影画像を生成してこの投影画像を表示することにより、死角を生じることなく、前記立体物を的確に表示することができる。従って、車両周囲の状況を運転者に的確に伝達することができ、これによって駐車操作や切り返し操作等の車両誘導を円滑に行うことができるようになる。
なお、車両前進時には、図8(a)において、第1仮想スクリーン投影画像205と第4仮想スクリーン投影画像235と合成路面投影画像400のみを合成して表示するようにしてもよいし、車両後退時には、図8(b)において、第2仮想スクリーン投影画像215と第3仮想スクリーン投影画像225と合成路面投影画像400のみを合成して表示するようにしてもよい。
これにより、車両の進行方向の情報のみをより強調して表現することができるため、モニタに表示される画像の瞬読性を、より一層向上させることができる。なお、このとき、非表示になる仮想スクリーン投影画像の表示領域には、無地の仮想スクリーン投影画像を表示してもよいし、何も表示しない状態にしてもよい。
また、上述した、表示用モニタ114に写った合成画像M(x、y)の中で、仮想スクリーン投影画像が写っている位置を指でタッチしたとき、タッチされた仮想スクリーン投影画像のみを展開表示してもよいし、全ての仮想スクリーン投影画像を展開表示してもよい。
なお、画像合成部82は、仮想スクリーン投影画像を展開表示する際に、展開された仮想スクリーン投影画像と合成路面投影画像400とが重ならないよう、図9(b)、(c)に示すように、仮想スクリーン投影画像の下端が、合成路面投影画像400と接する状態を保ったまま、合成路面投影画像400の描画位置をずらしながら画像を合成する。
さらに、画像合成部82は、図10に示すように、仮想スクリーンの下端を支端にして展開したときは、仮想スクリーンの上端から合成路面投影画像400に下ろした垂線の足が、合成路面投影画像400の縁に位置するように、合成路面投影画像400の描画位置をずらしながら、画像を合成する。
本実施例は、本発明を、車両に設置された複数のカメラで撮影した車両周囲の状況を、運転者に見やすい形態で表示することが可能な、車両用周囲監視装置3に適用したものである。特に、本実施例は、車両周囲に障害物検出手段を備え、この障害物検出手段の出力に基づいて、車両周囲の画像を、よりわかりやすい形態に変換して、車内に設置されたモニタに表示するものである。
図11は、本発明の実施形態に係る車両用周囲監視装置3の構成を示すブロック図である。
本発明に係る車両用周囲監視装置3は、図11に示す通り、図示しない車両1に設置され、運転者による車両用周囲監視装置3の起動操作を検出する起動操作検出手段10と、車両用周囲監視装置3の動作終了操作を検出する終了操作検出手段15と、車両周囲の画像を撮影する複数のカメラから構成された撮影手段20と、撮影手段20を構成する複数のカメラのうち、隣り合うカメラの撮影領域の重複部に、鉛直に立ち上がり、その上端もしくは下端を支端として開閉可能な、表裏2面を有する平面状の仮想スクリーンを設置する仮想スクリーン設置手段30と、仮想スクリーン設置手段30で設置した仮想スクリーンに対して、隣り合う撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が、前記仮想スクリーンの表裏2面のうち最初に交差する面の交差する画素に、前記隣り合う撮影手段で撮影された画像の濃淡値を格納して仮想スクリーン投影画像を生成する仮想スクリーン投影画像生成手段40と、撮影された車両周囲の画像を、路面に投影して路面投影画像を生成する路面投影画像生成手段50と、仮想スクリーン投影画像生成手段40で生成された仮想スクリーン投影画像を、第1の視点位置から第1の視線方向を向いて観測した画像に座標変換する第1視点変換手段60と、路面投影画像生成手段50で生成された路面投影画像を、第2の視点位置から第2の視線方向を向いて観測した画像に座標変換する第2視点変換手段70と、第1視点変換手段60によって視点変換された仮想スクリーン投影画像と第2視点変換手段70によって視点変換された路面投影画像とを1枚の画像に合成する画像合成手段80と、前記画像合成手段80に対して、仮想スクリーン設置手段30によって設置された仮想スクリーンの表裏2面を開いて表示する(以後、展開と呼ぶ)際の展開角度θを指示する仮想スクリーン展開角度指示手段90と、前記画像合成手段80に対して、前記仮想スクリーンの表裏2面の開閉を指示するスクリーン押下検出手段100と、画像合成手段80で合成した画像を表示する画像表示手段110と、車両1の周囲の障害物の有無を検出し、その障害物までの距離を算出する障害物検出手段120とから構成される。
ここで、起動操作検出手段10は、詳しくは、車両用周囲監視装置3の起動を指示する起動スイッチ11と、車両のシフトポジションを検出するシフトポジション検出手段12と、車両1のイグニッションスイッチの状態を判断するイグニッションスイッチ状態判断手段13とからなる。
終了操作検出手段15は、詳しくは、車両用周囲監視装置3の動作終了を指示する終了スイッチ16と、車両1の車速を検出する車速検出手段18とからなる。
撮影手段20は、詳しくは、図12のように車両の周囲に設置され、隣り合う撮影領域が互いに重複するように配置された第1カメラ22、第2カメラ24、第3カメラ26、第4カメラ28とからなる。
仮想スクリーン投影画像生成手段40は、詳しくは、仮想スクリーン投影画像を生成するために、第1カメラ22から第4カメラ28の各設置位置と仮想スクリーンの各設置位置とに基づいて、予め作成された座標変換用データテーブルが格納された第1座標変換データ格納部44と、第1座標変換データ格納部44に格納された座標変換用データテーブルに基づいて、仮想スクリーン投影画像を生成する仮想スクリーン投影画像生成部42とからなる。
路面投影画像生成手段50は、詳しくは、路面投影画像を生成するために、第1カメラ22から第4カメラ28の各設置位置に基づいて、予め作成された座標変換用データテーブルが格納された第2座標変換データ格納部56と、第2座標変換データ格納部56に格納された座標変換用データテーブルに基づいて、各カメラで撮影した画像から路面投影画像を生成する路面投影画像生成部52と、生成された複数の路面投影画像を1枚の画像に合成する路面投影画像合成部54とからなる。
第1視点変換手段60は、詳しくは、シフトポジション検出手段12によって検出されたシフトポジションや、運転者の起動スイッチ11の操作に基づいて、仮想スクリーン投影画像を視点変換する際の第1の視点位置と第1の視線方向を設定する第1視点位置・第1視線方向設定部66と、第1視点位置・第1視線方向設定部66で設定された第1の視点位置から第1の視線方向に向けて、仮想スクリーン投影画像の視点変換を行うための座標変換用データテーブルが格納された第3座標変換データ格納部64と、第3座標変換データ格納部64に格納された座標変換用データテーブルに基づいて、仮想スクリーン投影画像を視点変換する第1視点変換部62とからなる。
第2視点変換手段70は、詳しくは、シフトポジション検出手段12によって検出されたシフトポジションや、運転者の起動スイッチ11の操作に基づいて、路面投影画像を視点変換する際の第2の視点位置と第2の視線方向を設定する第2視点位置・第2視線方向設定部76と、第2視点位置・第2視線方向設定部76で設定された第2の視点位置から第2の視線方向に向けて、路面投影画像の視点変換を行うための座標変換用データテーブルが格納された第4座標変換データ格納部74と、第4座標変換データ格納部74に格納された座標変換用データテーブルに基づいて、路面投影画像を視点変換する第2視点変換部72とからなる。
画像合成手段80は、詳しくは、第1視点変換手段60によって視点変換された仮想スクリーン投影画像と第2視点変換手段70によって視点変換された路面投影画像とを1枚の画像に合成する際、画像が重複する部分の透過率を設定する透過率設定部84と、透過率設定部84で設定された透過率にて、第1視点変換手段60によって視点変換された仮想スクリーン投影画像を前面に、第2視点変換手段70によって視点変換された路面投影画像を背面にして合成する画像合成部82とからなる。
画像表示手段110は、詳しくは、画像合成手段80で合成された画像を、ディジタル信号からアナログ信号に変換するエンコーダ112と、車内に設置され、エンコーダ112によってアナログ信号に変換された画像を表示する、液晶モニタ等の表示用モニタ114とからなる。
さらに、障害物検出手段120は、詳しくは、図12のように車両1の周囲に設置され、第1カメラ22の撮影範囲と第2カメラ24の撮影範囲の重複範囲である第1重複領域E1を含む第1測距範囲R1の障害物の有無とその障害物までの距離を算出する第1測距部122と、第2カメラ24の撮影範囲と第3カメラ26の撮影範囲の重複範囲である第2重複領域E2を含む第2測距範囲R2の障害物の有無とその障害物までの距離を算出する第2測距部124と、第3カメラ26の撮影範囲と第4カメラ28の撮影範囲の重複範囲である第3重複領域E3を含む第3測距範囲R3の障害物の有無とその障害物までの距離を算出する第3測距部126と、第4カメラ28の撮影範囲と第1カメラ22の撮影範囲の重複範囲である第4重複領域E4を含む第4測距範囲R4の障害物の有無とその障害物までの距離を算出する第4測距部128と、計測された障害物までの距離値に基づいて、画像合成時の透過率を設定する距離値判定部129とからなる。
次に、本実施例に係る車両用周囲監視装置3の作用について、図13のフローチャートに基づいて説明する。
本発明に係る車両用周囲監視装置3は、車両の駐車時や狭い場所での切り返し時等に利用され、車両周辺の画像を運転者に呈示して運転動作を補助するものである。
図12(a)に示すように、第1カメラ22は車両1のフロントバンパに、第2カメラ24は車両1の左ドアミラーに、第3カメラ26は車両1のリアバンパにそれぞれ設置されており、図12(a)には図示しないが、第4カメラ28は車両1の右ドアミラーに設置されている。
また、図12(b)に示すように、第1測距部122はフロントバンパ左角に、第2測距部124はリアバンパ左角に、第3測距部126はリアバンパ右角に、第4測距部128はフロントバンパ右角にそれぞれ設置されている。これらの測距部は、具体的には超音波センサや光学式測距センサで構成されるが、測距機能さえ有していれば、その構成は問わない。
各カメラは、図12(b)に示す通り、それらの撮影範囲と路面とが、各交線150、152、154、156で交わる範囲を撮影するように設置されている。
また、隣り合うカメラ22と24、24と26、26と28、および28と22は、図12(b)に示す通り、それぞれの撮影範囲が互いに重複し、第1重複領域E1、第2重複領域E2、第3重複領域E3、第4重複領域E4を有するように設置されている。
そして、第1測距部122は、第1重複領域E1を含む領域を第1測距範囲R1とし、第2測距部124は、第2重複領域E2を含む領域を第2測距範囲R2とし、第3測距部126は、第3重複領域E3を含む領域を第3測距範囲R3とし、第4測距部128は、第4重複領域E4を含む領域を第4測距範囲R4とするように配置されている。
まず、車両1が、駐車のために前方に向かって前進している場面において、車両1の左前方直近に、歩行者300が起立している状況にて、本実施例の車両用周囲監視装置3の動作を説明する。
イグニッションスイッチ状態判断手段13によって、車両1のイグニッションがONになっていることが確認されると(図13のS1がYesのとき)、車両用周囲監視装置3の状態を表す変数γに0が与えられる(図13のS2)。
運転者は、車両周囲の画像を監視したいとき、車内に設置された起動スイッチ11を操作する。起動スイッチ11が操作されると(図13のS3がYesのとき)、車両用周囲監視装置3の状態を表す変数γに1が与えられる(図13のS5)。
第1カメラ22から第4カメラ28で撮影された画像は、それぞれ、第1実施例と同様に処理されて、ディジタル画像に変換される(図13のS7)。第1カメラ22から第4カメラ28で撮影され、ディジタル化された画像を、各々I1(x、y)、I2(x、y)、I3(x、y)、I4(x、y)とする。
画像入力と同時に、第1測距部122から第4測距部128にて車両周囲の測距が行われ、各々の測距部から、車両1の周囲に存在する障害物までの距離に対応した値が出力される。
ここで、本実施例が動作している環境が、図3(a)の通りであるとする。すなわち、車両1の左前方の第1測距範囲R1の中に歩行者300が起立しており、その起立位置と車両1との距離D1は、駐車操作を行う際に注意喚起が必要な距離のしきい値Dthを下回っているものとする。
4つの測距部(122、124、126、128)からは、路面から高さを有する物体(障害物)までの距離が近いほど小さい値が出力される。本実施例の場合、第1測距部122から、最も小さな値が出力され、第2測距部124、第3測距部126、第4測距部126の測距範囲には障害物が存在しないため、第2測距部124、第3測距部126、第4測距部128からは、非常に大きな値が出力される。
次に、4つの測距部(122、124、126、128)から出力された値は、距離値判定部129に送られ、所定値以下の値を出力する側距部の有無とその位置が特定される。本例の場合、第1測距部122から、所定値以下の値が出力されていることが特定される(図13のS8がYesのとき)。
すると、仮想スクリーン設置手段30によって、第1測距範囲R1が含まれる第1重複領域E1の内部に、第1重複領域E1の面積を2等分するように、車両から遠近方向に延びた、路面に垂直な平面状の第1仮想スクリーン200が設置される。
さらに、仮想スクリーン投影画像生成手段40によって、第1仮想スクリーン200の両面に、画像I1(x、y)と画像I2(x、y)の情報が投影されて、第1仮想スクリーン投影画像205が生成される(図13のS9)。仮想スクリーン投影画像の生成方法は、第1実施例で説明した通りであるため、ここでは説明を割愛する。
仮想スクリーン投影画像は、仮想スクリーン投影画像生成部42で生成されるが、その際、仮想スクリーン投影画像生成部42において、第1座標変換データ格納部44に格納された座標変換テーブルに基づいて、座標の置き換え操作を行うことによって仮想スクリーン投影画像が生成されるのは、第1実施例と同様である。
次に、路面投影画像生成部52により、画像I1(x、y)と画像I2(x、y)、画像I3(x、y)、画像I4(x、y)は、各々路面に投影され、さらに、車両真上から見下ろした画像に変換される(図13のS10)。
路面投影画像の生成方法は、第1実施例で説明した通りであるため、ここでは説明を割愛する。
本実施例が動作している環境が、図3(a)である場合、4台のカメラで撮影された4枚の画像の路面投影画像は、図7のように合成される。
ここで、車両1自身、およびその直近部分(図7のZ4)は、カメラの撮影視野の外にあるため、例えば濃淡値を最小値や最大値に置き換えるなどして特異な値を格納し、情報が欠落していることを表現する。
また、車両1が存在する領域には、車両1を模したアイコン(図7のZ5)を貼り付けることによって、車両1と周囲との位置関係がより明確に表現できるようになる。
次に、図13のS9で生成された第1仮想スクリーン投影画像205は、第1視点変換手段60によって、第1視点位置から第1視線方向を向いて観測した画像に変換される。
ここで、第1視点位置と第1視線方向は、起動操作検出手段10によって検出された情報(起動スイッチ11の操作やシフトポジション検出手段12の検出結果)に基づいて、第1視点位置・第1視線方向設定部66により決定される。
すなわち、車両用周囲監視装置3の状態を表す変数γに1が与えられている場合(図13のS11がYesのとき)、第1視点位置が車両1の後方上空に設定され、そこから車両1の前方側を見下ろす第1の視線方向が設定される(図13のS12)。
第3座標変換データ格納部64には、4枚の仮想スクリーン投影画像を、設定した第1視点位置から、第1視線方向を向いて観測したように視点変換するための座標変換テーブルが、予め作成されて格納されており、その座標変換テーブルに基づいて、第1視点変換部62にて視点変換が行われる(図13のS14)。
さらに、図13のS10で生成された合成路面投影画像は、第2視点変換手段70によって、第2視点位置・第2視線方向設定部76で設定された、第2視点位置から、第2視線方向を向いて観測した画像に変換される(図13のS15)。
具体的には、第4座標変換データ格納部74に、合成路面投影画像400を、第2視点位置から、第2視線方向を向いて観測したように視点変換するための座標変換テーブルが予め作成されて格納されており、その座標変換テーブルに基づいて、第2視点変換部72にて視点変換が行われる。
なお、第1視点位置・第1視線方向設定部66で設定される第1視点位置および第1視線方向と、第2視点位置・第2視線方向設定部76で設定される第2視点位置および第2視線方向とは、表示させる画像の用途に応じて適宜設定され、第1視点位置および第1視線方向と、第2視点位置および第2視線方向とは同じものに設定してもよいし、第1視点位置および第1視線方向と、第2視点位置および第2視線方向とを異なるものに設定してもよい。
本実施例では、第1視点位置および第1視線方向と、第2視点位置および第2視線方向とが同じ位置および同じ方向に設定されるものとする。すなわち、車両1が前進しているときは、第1および第2視点位置は車両1の後方上空に設定され、そこから車両1の前方側を見下ろす第1および第2視線方向が設定されるものとし、車両1が後退しているときは、第1および第2視点位置は車両1の前方上空に設定され、そこから車両1の後方側を見下ろす第1および第2視線方向が設定されるものとする。
次に、画像合成手段80において、第1視点変換部62で生成された第1仮想スクリーン投影画像205と、第2視点変換部72で生成された合成路面投影画像400とが、第1仮想スクリーン投影画像205が前面に、合成路面投影画像400が背面にくるように合成される(図13のS16)。
この画像合成は、透過率設定部84で決められた透過率に基づいて、画像合成部82によって行われる。具体的には、第1実施例にて説明した通り、先述した式1によって行われる。
本実施例の場合、式1において、α=1、β=0に設定されて合成されるものとする。これは、仮想スクリーン投影画像と合成路面投影画像400が重なったとき、背面にくる仮想スクリーン投影画像と合成路面投影画像400を、ともに不可視とする設定である。なお、α、βの値は、設計パラメータとして、最終的に生成される合成画像の用途や見やすさに基づいて、適宜設定される。
また、仮想スクリーン投影画像は、それらを裏面から観測しても、同じ濃淡値が視認されるものとする。
こうして得られた合成画像の例を図14(a)に示す。図14(a)に示すように、歩行者300の仮想スクリーン投影像310bが写った、第1仮想スクリーン投影画像205のみが、合成路面投影画像400と合成されて表示される。
ここで、合成画像の中で、黒く塗り潰された領域は、車両1のごく近傍にあたる撮影手段20の撮影視野を外れた領域と、第1仮想スクリーン投影画像205、および合成路面投影画像400以外の領域である。
また、車両1の存在位置には、図14(a)に示すように、後ろ向きの第1車両アイコンZ7を重畳表示して、前後の位置関係をより明確に表現するようにしてもよい。
なお、こうして得られた図14(a)の合成画像は、図11に図示しないD/A変換器にてコンポーネント信号に再構成され、さらにエンコーダ112によってコンポジット信号に変換されて、表示用モニタ114に表示される(図13のS17)。運転者は、表示用モニタ114に表示された合成画像を確認しながら、駐車動作を継続する。
また、このとき、車速検出手段18により、車速は常に検出されており、車速が所定値を上回ったとき(図13のS18がYesのとき)は、表示用モニタに気をとられないよう、合成画像を非表示にして(図13のS22)、イグニッションスイッチがONであることを確認して(図13のS23がNoのとき)、図13のS2に戻る。
さらに、終了スイッチ16が操作されたとき(図13のS20がYesのとき)も、合成画像を非表示にして(図13のS22)、イグニッションスイッチがONであることを確認して(図13のS23がNoのとき)、図5のS2に戻る。
以上、車両1が前進している場合の動作について説明したが、車両1が後退している場合には、図14(b)に示すような、車両後方の画像が表示される。その場合の作用の流れは、上述した車両前進時とほぼ同様であるため、相違点のみ簡単に説明する。
シフトポジション検出手段12にてシフトポジションが後退位置にあることが検出される(図13のS4がYesのとき)と、システムの状態を表す変数γに2が格納され(図13のS6)、第1視点位置・第1視線方向設定部66にて、第1視点位置は車両1の前方上空に設定され、そこから車両1の後方側を見下ろす第1視線方向が設定される(図13のS13)。
車両前進時と同様にして生成された仮想スクリーン投影画像と合成路面投影画像400とは、画像合成部82で合成され、図14(b)に示すように、車両後方を上部に配置した画像として表示用モニタ114に表示される(図13のS17)。このとき、車両1の存在位置には、前向きの第1車両アイコンZ8を重畳表示して、前後の位置関係をより明確に表現するようにしてもよい。
この時、車速検出手段18にて、車速は常にモニタされており、車速が所定値を上回ったとき(図13のS18がYesのとき)は、表示用モニタに気をとられないよう、合成画像を非表示にして(図13のS22)、イグニッションスイッチがONであることを確認して(図13のS23がNoのとき)、図13のS2に戻る。
また、シフトポジション検出手段12にて、シフトポジションは常に検出されており、シフトポジションが後退位置以外であることが検出されたとき(図13のS21がYesのとき)も、合成画像を非表示にして(図13のS22)、イグニッションスイッチがONであることを確認して(図13のS23がNoのとき)、図5のS2に戻る。
このように構成された第2実施形態に係る車両用周囲監視装置3によれば、障害物が検出された領域内にのみ仮想スクリーンを設置し、その仮想スクリーンに対して仮想スクリーン投影画像を生成して表示する構成にしたため、従来の監視装置では死角になる画像の繋ぎ目の位置に障害物が存在したときのみ、仮想スクリーン投影画像が表示され、これにより、障害物存在時の視認性をより一層向上させることができる。
なお、上記実施例では、障害物までの距離が所定値以下のとき、その障害物が検出された領域に対応する場所に仮想スクリーンを設置し、透過率設定部84において透過率パラメータαを1、βを0に設定することにより、その仮想スクリーンに投影して生成した仮想スクリーン投影画像と重複する合成路面投影画像400を不可視とする設定にして合成画像を生成したが、その形式に囚われることはない。
すなわち、第1測距部122の出力をD1、第2測距部124の出力をD2、第3測距部126の出力をD3、第4測距部128の出力をD4としたとき、透過率設定部84において、各Di(i=1、2、3、4)が第1の距離しきい値Dmaxよりも大きい時は、透過率パラメータαを0、βを0に設定して、仮想スクリーン投影画像を不可視とし、また、Diが、Dmaxよりも小さい第2の距離しきい値Dminよりも小さい時は、透過率パラメータαを1、βを0に設定して、合成路面投影画像400を不可視とし、さらに、Dmin<Di<Dmaxの時は、距離に対応した値Diが小さいほど透過率パラメータα、βを、α+βが1を越えないできるだけ大きな値に設定し、これによって、障害物までの距離が近づくほど、仮想スクリーン投影画像をはっきりと表示させるようにしてもよい。このようにして設定される透過率パラメータαの例を図15に示す。なお、図15では省略しているが、実際は、仮想スクリーンの裏面に投影された情報の透過率βも併せて設定される。
透過率を図15のように設定することによって、障害物までの距離が小さくなるほど、仮想スクリーン投影画像の表示がはっきり見えるようになるため、障害物への接近を、運転者により明確に伝達することができるようになる。
また、距離値判定部129にて、各測距部122、124、126、128の各々から出力される障害物までの距離に対応した値D1、D2、D3、D4の時間変化を算出し、各Di(i=1、2、3、4)が時間の経過とともに小さく(近く)なっているときは、車両1と障害物とが近づいているものと判断してα、βの値を(α+βが1を越えない範囲で)大きくして、仮想スクリーン投影画像の背面に合成される合成路面投影画像を見えにくくし、障害物に近づいていることを明確に伝達できるようにしてもよい。
また、逆に、各Di(i=1、2、3、4)が時間の経過とともに大きく(遠く)なっているときは、車両1と障害物とが遠ざかっているものと判断してα、βの値を(α、βがともに0を下回らない範囲で)小さくして、仮想スクリーン投影画像の背面に合成される合成路面投影画像を見えやすくし、障害物から遠ざかっていることを明確に伝達できる表示形態を採るようにしてもよい。
さらに、上記実施例では、隣り合うカメラの撮影範囲の重複領域の面積を略2等分する位置に、車両から遠近方向に延びる、路面に垂直な平面状の仮想スクリーンを設置したが、その形式に囚われることはない。すなわち、各測距部(122、124、126、128)に、測距範囲を水平方向(車両の周囲方向)にスキャンして水平方向の角度毎に距離情報を測定できる機能を持たせ、障害物情報が得られた方向に向かって延びる、鉛直に立ち上がった平面状の仮想スクリーンを設置し、この仮想スクリーン上に仮想スクリーン投影画像を生成してこれを表示する構成としてもよい。
この方法によれば、障害物が存在する方向に仮想スクリーンが設置されるため、仮想スクリーン投影画像の中の障害物の像は、その障害物を撮影する隣り合った2台のカメラから仮想スクリーンの同じ位置に投影され、したがって、仮想スクリーン投影画像上で、障害物を表す像の濃淡値は大きい値となり、それによって障害物がより一層明確に表示され、画像の視認性が向上するという効果が得られる。