JP5412979B2

JP5412979B2 - 周辺表示装置

Info

Publication number: JP5412979B2
Application number: JP2009145971A
Authority: JP
Inventors: 伸一堀田
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2009-06-19
Filing date: 2009-06-19
Publication date: 2014-02-12
Anticipated expiration: 2029-06-19
Also published as: JP2011004201A

Description

本発明は周辺表示装置に関し、特に、自走可能な移動体の周辺状況を俯瞰的に表示する周辺表示装置に関する。

複数の撮像手段によって車両周辺の２次元画像を個々に撮像し、それぞれの画像を視点変換して路面を投影面とする複数の俯瞰画像を作成し、当該複数の俯瞰画像を車両周辺に並べるように合成することで、自車両周辺の俯瞰画像を得る種々の技術が開示されている。

例えば、特許文献１には、映像選択部を備え、表示している合成俯瞰画像の特定の領域を選択すると、その領域を映しているカメラの画像に切り替わる構成が開示されている。

特開２００６−３２１４１９号公報

上述した特許文献１に開示された技術は、俯瞰画像の特定の領域を選択すると、その領域を映しているカメラで実際に映した映像に切り替わるだけのものであり、単純に言えば、映像選択部は、合成された俯瞰画像を得るための各カメラからの直接の映像を選択するものに過ぎず、各カメラからの直接の映像は部分的な映像であり、俯瞰的なものではないので、利用者にとっては状況がつかみにくく、必ずしも満足のできるものではない。

本発明は上記のような問題点を解消するためになされたもので、自動車などの自走可能な移動体周辺の俯瞰画像の表示において、任意の視点位置から見た俯瞰画像を簡便に取得できる周辺表示装置を提供することを目的とする。

本発明に係る周辺表示装置の第１の態様は、自走可能な移動体における周辺の画像データを取得する複数のカメラと、前記画像データに基づいて第１の３次元画像データを算出する３次元化計算部と、前記第１の３次元画像データの座標系を、前記移動体を基準とする移動体座標系に変換して第２の３次元画像データとする座標変換部と、前記第２の３次元画像データと、前記移動体の３次元モデルのデータとを統合した統合データを生成する統合部と、前記移動体座標系において前記移動体の外側に仮想的に配置された仮想カメラで前記統合データを観測した俯瞰画像データを生成する画像生成部と、前記仮想カメラの視点位置を変更する視点位置変更部と、視点位置を変更された前記仮想カメラの姿勢を決定する仮想カメラ姿勢決定部とを備え、前記仮想カメラ姿勢決定部は、前記仮想カメラの視点位置変更時には、変更された前記視点位置と前記仮想カメラが注視すべき注視点とを結ぶベクトルとして設定される仮想カメラ視線方向ベクトルと、前記移動体座標系の何れかの軸方向と関連付けられた仮想カメラ上方向ベクトルとを用いて、前記仮想カメラが前記仮想カメラ視線方向ベクトルの方向を向くと共に前記俯瞰画像データの上方向が前記仮想カメラ上方向ベクトルの方向と合うように前記仮想カメラの姿勢を決定し、前記統合部は、前記仮想カメラの姿勢および変更された前記視点位置に基づいて前記統合データを生成する。

本発明に係る周辺表示装置の第２の態様は、前記複数のカメラが、複数のステレオカメラである。

本発明に係る周辺表示装置の第３の態様は、前記注視点の位置が、前記移動体の前記３次元モデル上に予め設定された注視点位置情報によって規定される。

本発明に係る周辺表示装置の第４の態様は、前記注視点の位置を規定する注視点位置情報を変更する注視点位置情報変更部を備える。

本発明に係る周辺表示装置の第５の態様は、前記移動体の運転状況に関する運転状況データを前記注視点位置情報変更部に出力する運転状況把握部をさらに備え、前記注視点位置情報は、前記運転状況データに基づいて変更される。

本発明に係る周辺表示装置の第６の態様は、前記運転状況データが、前記移動体の前進および後退を含む運転状態のデータを有し、前記注視点位置情報は、前記運転状態のデータに基づいて変更される。

本発明に係る周辺表示装置の第７の態様は、前記運転状況データが、前記移動体の直進および右左折を制御する操舵角情報を有し、前記注視点位置情報は、前記操舵角情報に基づいて連続的に変更される。

本発明に係る周辺表示装置の第８の態様は、前記複数のカメラにより得られた画像データに基づいて、路面上の障害物の有無を判定するとともに、前記障害物までの相対位置の情報を障害物データとして前記注視点位置情報変更部に出力する障害物判定部をさらに備え、前記注視点位置情報は、前記障害物データに基づいて変更される。

本発明に係る周辺表示装置の第９の態様は、前記注視点位置情報変更部が、前記障害物データに基づいて、前記障害物の位置を包含する領域を計算し、該領域の中心位置に最も近い注視点が選ばれるように前記注視点位置情報を変更する。

本発明に係る周辺表示装置の第１０の態様は、前記複数のカメラにより得られた画像データに基づいて、前記移動体周囲の環境状況を把握して、環境状況データとして前記注視点位置情報変更部に出力する環境状況把握部をさらに備え、前記注視点位置情報は、前記環境状況データに基づいて変更される。

本発明に係る周辺表示装置の第１１の態様は、前記環境状況データが、前記画像データの明度に基づいて得られた、夜間および昼間の何れであるかのデータを有し、前記注視点位置情報は、夜間の場合と昼間の場合とで変更される。

本発明に係る周辺表示装置の第１２の態様は、前記視点位置変更部が、前記移動体の前記３次元モデルを中心とした半球を仮想的に設定し、前記半球上での緯度および経度を指定することで前記仮想カメラの前記視点位置を変更する。

本発明に係る周辺表示装置の第１３の態様は、前記視点位置変更部が、前記移動体の前記３次元モデルから前記仮想カメラが遠ざかる方向、および近づく方向に前記視点位置を変更する。

本発明に係る周辺表示装置の第１の態様によれば、仮想カメラの視点位置について任意に変更することができ、移動体周辺の俯瞰画像の表示において、任意の視点位置から見た俯瞰画像を簡便に取得できる。

本発明に係る周辺表示装置の第２の態様によれば、移動体周辺の画像データを複数のステレオカメラを用いて取得することで、３次元データの取得が可能となる。

本発明に係る周辺表示装置の第３の態様によれば、仮想カメラの注視点の位置が、移動体の３次元モデル上に予め設定された注視点位置情報によって規定されるので、視点位置を任意に変えた場合でも、注視点の位置は固定されているので、仮想カメラの姿勢を求めることが容易である。

本発明に係る周辺表示装置の第４の態様によれば、仮想カメラの注視点の位置を規定する注視点位置情報を変更する注視点位置情報変更部を備えるので、仮想カメラの注視点を移動体の運転状況に応じて変更することが可能であり、使用者にとって見やすい俯瞰画像を提供することができる。

本発明に係る周辺表示装置の第５の態様によれば、注視点位置情報が、運転状況データに基づいて変更されるので、移動体の運転状況に合った俯瞰画像を提供することができる。

本発明に係る周辺表示装置の第６の態様によれば、注視点位置情報が移動体の前進および後退を含む運転状態のデータに基づいて変更されるので、移動体が前進する場合と後退する場合のそれぞれで見やすい俯瞰画像を提供することができる。

本発明に係る周辺表示装置の第７の態様によれば、注視点位置情報が移動体の操舵角情報に基づいて連続的に変更されるので、移動体が右左折するような場合に、移動体の進行に合わせて変化する俯瞰画像を提供することができる。

本発明に係る周辺表示装置の第８の態様によれば、注視点位置情報が障害物データに基づいて変更されるので、障害物を含んだ俯瞰画像を提供することができる。

本発明に係る周辺表示装置の第９の態様によれば、障害物近傍の俯瞰画像を提供することができる。

本発明に係る周辺表示装置の第１０の態様によれば、注視点位置情報が環境状況データに基づいて変更されるので、移動体の環境状況に合った俯瞰画像を提供することができる。

本発明に係る周辺表示装置の第１１の態様によれば、注視点位置情報が、夜間の場合と昼間の場合とで変更されるので、移動体を夜間に運転する場合および昼間に運転する場合のそれぞれに適した俯瞰画像を提供することができる。

本発明に係る周辺表示装置の第１２および第１３の態様によれば、視点位置変更部での仮想カメラの視点位置の変更における実際的な方法を提供できる。

ステレオカメラの配置例を示す図である。本発明に係る周辺表示装置の実施の形態の構成を示すブロック図である。仮想カメラの視点位置を設定するためのモデルを説明する図である。仮想カメラの視点位置を設定するための他のモデルを説明する図である。仮想カメラ視線方向ベクトルの決定方法を模式的に示す図である。仮想カメラ上方向ベクトルの設定方法を説明する図である。仮想カメラの注視点位置の変更動作を説明する図である。仮想カメラからの俯瞰画像を示す図である。仮想カメラからの俯瞰画像を示す図である。仮想カメラからの俯瞰画像を示す図である。注視点位置の一例を示す図である。仮想カメラからの俯瞰画像を示す図である。注視点位置の一例を示す図である。仮想カメラからの俯瞰画像を示す図である。注視点位置の一例を示す図である。注視点位置の一例を示す図である。注視点位置の一例を示す図である。注視点位置の一例を示す図である。仮想カメラからの俯瞰画像を示す図である。注視点位置の一例を示す図である。仮想カメラからの俯瞰画像を示す図である。ステレオカメラの他の配置例を示す図である。

＜実施の形態＞
＜装置構成＞
図１は、本発明に係る周辺表示装置を搭載した車両ＶＣにおけるステレオカメラの配置例を示す図である。

図１において、車両ＶＣには、前方、左右および後方の画像を取得する４台のステレオカメラが搭載されている。すなわち、前方の画像を取得するステレオカメラＳＣ１、前方に対して右側の画像を取得するステレオカメラＳＣ２、後方の画像を取得するステレオカメラＳＣ３および前方に対して左側の画像を取得するステレオカメラＳＣ４を備えている。

このようなシステムを用いることで、自車両の周辺の画像データを取得し、それを視点を変えて自車両の上方から見た俯瞰図に変更することが可能となるが、以下の説明では、ステレオカメラＳＣ１およびＳＣ４で取得した画像を使用する場合を例に採って説明する。

なお、各カメラの実際の配置位置は車種によって異なるが、例えば、ステレオカメラＳＣ１はルームミラーの位置に配置され、ステレオカメラＳＣ２およびＳＣ４は、それぞれ、右および左のサイドミラーの位置に配置され、ステレオカメラＳＣ３は、リヤバンパーの位置などに配置される。なお、上記配置は一例であり、ステレオカメラの配置はこれに限定されるものではない。

図２は、本発明に係る周辺表示装置１００の構成を示すブロック図である。図２に示すように周辺表示装置１００は、ステレオカメラＳＣ１〜ＳＣ４と、ステレオカメラＳＣ１〜ＳＣ４で得られた画像データの画像処理を行う表示画像生成部８０と、表示画像生成部１００から出力される処理済みの画像データを表示する車内モニター等の画像表示部９０と、俯瞰画像の視点位置を変更する視点位置変更手段７０とを主たる構成として備えている。

表示画像生成部８０は、ステレオカメラＳＣ１〜ＳＣ４でそれぞれ得られた２次元画像データに基づいて、３次元画像データを算出する３次元化計算部１１、２１、３１および４１と、３次元化計算部１１、２１、３１および４１のそれぞれで計算された３次元画像データ（第１の３次元画像データ）に、自動車座標系（移動体座標系）内でのステレオカメラの位置を表現する３次元変換行列を適用することで、ステレオカメラ座標系で表現された３次元画像データを自動車座標系で表現された３次元画像データ（第２の３次元画像データ）に変換する座標変換部１２、２２、３２および４２と、座標変換部１２、２２、３２および４２から出力された自動車座標系で表現された３次元画像データと、記憶部７に格納された自車両の３次元モデルのデータとを統合して、自車両を自動車座標系の原点とし、その周辺に自動車座標系で表現された各３次元画像データを並べるように統合して測定空間の３次元画像データ（統合データ）を生成する統合部５と、統合部５で生成された３次元画像データを、仮想位置に配置したカメラ（仮想カメラ）で観測した俯瞰画像データに生成する画像生成部６とを備えている。

また、視点位置変更手段７０からの仮想カメラの視点位置の情報に従って、仮想カメラの姿勢を決定する仮想カメラ姿勢決定部８と、仮想カメラ姿勢決定部８で決定された仮想カメラの姿勢および視点位置の情報を受け、統合部５で統合すべき統合データについての仮想カメラの情報、例えば視点位置や姿勢の情報を格納する記憶部５１と、周辺表示装置１００の外部に設けられた自車両の運転状況データを出力する運転状況データ出力手段２００からの運転状況データを受け、自車両の運転状況を把握して、自車両の運転状態（前進／後退／停止）、速度、操舵角情報（直進／右折／左折）などの運転状況データを出力する運転状況把握部３と、自車両周辺の環境状況の把握を行い、環境状況データを出力する環境状況把握部４と、ステレオカメラＳＣ１〜ＳＣ４により得られた画像データに基づいて、路面上の障害物の有無を判定して障害物データを出力する障害物判定部９と、運転状況把握部３、環境状況把握部４および障害物判定部９の出力、記憶部７に格納された注視点位置情報を受け、仮想カメラの注視点位置情報を変更する注視点位置情報変更部１０を備えている。

ここで、障害物判定部９は、各ステレオカメラで得られた画像データに対応する、自動車座標系で表現された３次元画像データを統合部５から受け、当該３次元画像データから路面を検出し、路面に対して所定値以上の高さを有する物体を検出した場合は障害物と判定した旨を出力するとともに、自車両に対する障害物との相対位置情報を出力する。

環境状況把握部４は、各ステレオカメラで得られた画像データに対応する、自動車座標系で表現された３次元画像データを統合部５から受け、その明度値から夜間あるいは昼間であるかの情報や、画像から天候（晴天、雨、霧）についての情報を環境状況データとして出力する。

＜動作＞
＜基本動作＞
次に、上述した構成を有する周辺表示装置１００の基本動作について説明する。

ステレオカメラＳＣ１〜ＳＣ４は、何れも２台のカメラで異なる視点から同時に撮影を行い、３次元化計算部１１、２１、３１および４１のそれぞれでは、三角測量の原理に基づいて、対応するステレオカメラで得られた２つの画像の特徴点を相互に対応付けし（対応点探索）、その結果得られた対応点の組のそれぞれについての視差、焦点距離、基線長などのパラメータから、各対応点の組についての３次元位置を求めることで３次元画像データを算出する。

３次元化計算部１１、２１、３１および４１から出力される３次元画像データは、ステレオカメラ座標系で表現されているので、自動車座標系で表現された３次元画像データに変換するために座標変換部１２、２２、３２および４２において座標変換を行う。

この座標変換は、３次元化計算部１１、２１、３１および４１から出力される３次元画像データに対して、それぞれ所定の３次元変換行列Ｍａｔ１、Ｍａｔ２、Ｍａｔ３およびＭａｔ４を適用することで実行される。

ここで、３次元変換行列Ｍａｔ１〜Ｍａｔ４は、図２に示されるように、それぞれ座標変換部１２、２２、３２および４２に対応付けられた記憶部１４、２４、３４および４４に格納されている。

座標変換部１２、２２、３２および４２から出力される自動車座標系で表現された３次元画像データは統合部５に与えられて、記憶部７に格納された自車両の３次元モデルのデータと統合される。このとき、記憶部５１に格納された仮想カメラ情報に含まれる仮想カメラの視点位置および姿勢の情報に基づいて統合が実行される。

画像生成部６では、統合部５から出力される３次元の統合データを受けて俯瞰画像データを生成して画像表示部９０に与える。

＜視点位置の変更動作＞
次に、本発明に係る周辺表示装置１００における仮想カメラの視点位置の変更動作について説明する。

周辺表示装置１００では、運転者等が車内モニターの操作キーや操作画面上でのカーソル操作等により、視点位置変更手段７０にアクセスすることで、車内モニターに表示される俯瞰画像の仮想カメラの視点位置を任意に変更することができる。

図３には、仮想カメラの視点位置を設定するための１つのモデルを示す。図３に示すように、自車両ＶＣの３次元モデルを中心とした半球ＨＳを仮想的に設定し、この半球ＨＳの表面上に仮想カメラＣＸがあるように設定する。なお、図３には自動車座標系のＸ、Ｙ、Ｚ方向を示しており、車両の底面（あるいは天井面）に対して垂直な方向をＺ軸方向とし、Ｚ軸方向に対してそれぞれ直角をなす方向をＸ軸方向、Ｙ軸方向としている。

車内モニターには、半球ＨＳ、自車両ＶＣおよび仮想カメラＣＸが表示されており、運転者等が、例えば上下左右のカーソルキーで仮想カメラＣＸを動かすことで、仮想カメラＣＸの半球ＨＳ表面上での緯度（例えば自動車座標系Ｚ軸周りの角度）および経度（例えば自動車座標系Ｚ軸に対する角度）を変更する。なお、この場合のＺ軸は、自車両ＶＣの中心点ＰＣを原点としたＺ軸方向の軸である。

これにより、仮想カメラＣＸの視点位置を半球ＨＳの表面上の任意の位置に設定することができる。なお、仮想カメラＣＸは、モニター上では半球ＨＳの表面上のどこにでも移動させることはできても、ステレオカメラＳＣ１〜ＳＣ４（図１）の配置位置や画角との関係から、俯瞰画像を表示できない場合もあるが、その場合は、モニター上にその旨を表示するなどの処理を実行すれば良い。

また、図４には仮想カメラの視点位置を設定するための他のモデルを示す。上下左右のカーソルキーの他にズームイン／ズームアウトキーを準備しておき、ズームインキーを押すと、仮想カメラＣＸが自車両ＶＣに近づく方向に移動し、ズームアウトキーを押すと、仮想カメラＣＸが自車両ＶＣから遠ざかる方向に移動する。

図４では、仮想カメラＣＸが注視している点（注視点）は、自車両ＶＣの中心点ＰＣであり、中心点ＰＣを原点とするＺ軸に沿った方向に仮想カメラＶＣが移動する例を示しているが、これに限定されるものではない。

また、図３に示したモデルと併用することも可能であり、仮想カメラＣＸが、ズームイン、ズームアウトするごとに半球ＨＳの半径が、小さくなったり、大きくなったりするように構成すれば、ズームインした状態で半球ＨＳの表面上の任意の位置に仮想カメラＣＸを移動させることも、ズームアウトした状態で半球ＨＳの表面上の任意の位置に仮想カメラＣＸを移動させることも可能となる。

このように、周辺表示装置１００においては、仮想カメラの視点位置について使用者が任意に変更できるので、自車両周辺の俯瞰画像の表示において、任意の視点位置から見た俯瞰画像を簡便に所得できる。

＜姿勢の決定＞
視点位置変更手段７０から、仮想カメラの視点位置の情報を受けた仮想カメラ姿勢決定部８では仮想カメラの姿勢を決定する。

仮想カメラの姿勢の決定には、仮想カメラ視線方向ベクトルと、仮想カメラの方向の基準となる仮想カメラ上方向ベクトルを決める必要がある。

仮想カメラ視線方向ベクトルは、仮想カメラの視点位置と、仮想カメラの注視点とを結ぶベクトルとして設定される。

図５には、仮想カメラ視線方向ベクトルの決定方法を模式的に示しており、仮想カメラの注視点が自車両ＶＣの３次元モデルの中心点ＰＣであるとした場合について、中心点ＰＣを原点とするＺ軸上に存在する仮想カメラＣＸ１と、Ｚ軸に対して所定角度をなす軸上に存在する仮想カメラＣＸ２とを示している。

仮想カメラＣＸ１およびＣＸ２において、それぞれ中心点ＰＣ（すなわち注視点）に向かう方向が仮想カメラ視線方向ベクトルの向きである。

次に、仮想カメラ上方向ベクトルの設定方法について説明する。図６に示されるように、仮想カメラ上方向ベクトルＶ１は、仮想カメラ視線方向ベクトルＶ２と、自動車座標系Ｚ軸方向ベクトルＶＺとを含む平面上にあり、かつ仮想カメラ視線方向ベクトルＶ２と直交し、かつ自動車座標系Ｚ軸方向ベクトルＶＺと鋭角をなすベクトルとして設定される。

この方法を採る場合、仮想カメラＣＸ２を例に採れば、仮想カメラ上方向ベクトルは図５においてベクトルＶ２１で表され、ベクトルＶ２１は車両の前部から遠ざかる方向を向くことになる。

また、仮想カメラ上方向ベクトルは、図６に示した自動車座標系Ｚ軸方向ベクトルＶＺを、自動車座標系Ｘ軸方向ベクトルで置き換えることで設定しても良い。

この方法を採る場合、仮想カメラＣＸ２を例に採れば、仮想カメラ上方向ベクトルは図５においてベクトルＶ２２で表される。この場合、Ｘ軸方向は車両の前部方向に相当しており、ベクトルＶ２２は車両の前部方向を向くことになる。

また、仮想カメラの視線方向が自動車座標系Ｚ軸方向ベクトルと平行に近い場合は、自動車座標系Ｘ軸方向ベクトルで仮想カメラ上方向ベクトルを近似することで設定しても良い。

この方法を採る場合、仮想カメラＣＸ１を例に採れば、仮想カメラ上方向ベクトルは図５においてベクトルＶ１１で表される。この場合、Ｘ軸方向は車両の前部方向に相当しており、ベクトルＶ１１はＸ軸方向に平行で、車両の前部を向くこととなる。

また、仮想カメラの視線方向が自動車座標系Ｘ軸方向ベクトルと平行に近い場合は、自動車座標系Ｚ軸方向ベクトルで仮想カメラ上方向ベクトルを近似することで設定しても良い。

上述した方法により、仮想カメラ視線方向ベクトルおよび仮想カメラ上方向ベクトルを決定した仮想カメラ姿勢決定部８は、両ベクトルに基づいて仮想カメラの姿勢を決定する。

すなわち、図５における仮想カメラＣＸ１を例に採れば、仮想カメラ視線方向ベクトルはＺ軸に沿ったベクトルで表され、仮想カメラ上方向ベクトルはベクトルＶ１１で表されている。このような場合は仮想カメラＣＸ１は自車両ＶＣを真下に見下ろす姿勢にあるものと決定する。

仮想カメラ姿勢決定部８で決定された仮想カメラの姿勢や位置の情報は記憶部５１に仮想カメラ情報として格納され、統合部５で統合データを生成する場合に読み出されることとなる。

なお、注視点の位置情報は、先に説明したように、例えば自車両ＶＣの３次元モデルの中心点ＰＣを注視点とした場合は、その位置座標となるが、これ以外にも複数の場所の位置座標を注視点位置情報として記憶部７に格納しておき、仮想カメラ姿勢決定部８での仮想カメラの姿勢を決定する処理において、必要に応じて読み出す構成となっている。図２においては、記憶部７から一旦、注視点位置情報変更部１０に与えられ、注視点位置情報変更部１０から仮想カメラ姿勢決定部８に与えられる構成となっているが、この理由は、次に説明する注視点位置の変更動作と関係している。

＜注視点位置の変更動作＞
周辺表示装置１００は、仮想カメラの視点位置について使用者が任意に変更できるとともに、自車両の動きに伴って仮想カメラの注視点位置が自動的に変更される機能を有している。以下、図７〜図２１を用いて、仮想カメラの注視点位置の変更動作について説明する。

＜注視点位置情報＞
仮想カメラの注視点の位置情報は、仮想カメラが自車両ＶＣの３次元モデルのどの部分を注視すべきかという情報であり、当該３次元モデルの特定の点の座標値で表される。

例えば、図７においては、３つの仮想カメラＣ１、Ｃ２およびＣ３を想定しており、それぞれのカメラの注視点をＶＰ１、ＶＰ２およびＶＰ３として表している。

すなわち、注視点ＶＰ１は、自車両ＶＣの中心点に相当し、仮想カメラＣ１は自車両ＶＣの真上に存在し、自車両ＶＣを真下に見下ろす姿勢にある。

この仮想カメラＣ１によって得られる俯瞰画像は、自車両ＶＣを真上から見た画像となる。この画像を図８に示す。

また、注視点ＶＰ２は、自車両ＶＣの運転席周辺の座標点に相当し、仮想カメラＣ２は自車両ＶＣの前部方向斜め上に存在し、自車両ＶＣの前部を斜め上から見る姿勢にある。

この仮想カメラＣ２によって得られる俯瞰画像は、自車両ＶＣの前部を斜め上から見た画像となる。この画像を図９に示す。

また、注視点ＶＰ３は、自車両ＶＣの後部の座標点に相当し、仮想カメラＣ３は自車両ＶＣの後部方向斜め上に存在し、自車両ＶＣの後部を斜め上から見る姿勢にある。

この仮想カメラＣ３によって得られる俯瞰画像は、自車両ＶＣの後部を斜め上から見た画像となる。この画像を図１０に示す。

なお、上述した仮想カメラＣ１〜Ｃ３の視点位置および姿勢の情報は、先に説明したように記憶部５１に仮想カメラ情報として格納されており、統合部５での統合処理の必要に応じて読み出す構成となっている。

周辺表示装置１００では、自車両の動きに伴って仮想カメラの注視点位置が自動的に変更されることも特徴の１つであり、その場合には記憶部７に格納されている注視点位置情報では対応できず、注視点位置情報変更部１０で変更された注視点位置情報が必要となる。

＜注視点位置情報の変更例１＞
以下、自車両の動きに伴って仮想カメラの注視点位置が自動的に変更される動作を説明しつつ、注視点位置情報の変更について説明する。

図１１は自車両ＶＣが前進中の場合の注視点位置の一例を示す図であり、自車両ＶＣの３次元モデルの車両前部に設定されている注視点位置情報を用いて、車両前部寄りの表示画像を生成する。図１１においては車両前部に設定された３つの注視点のうち、中央部の注視点ＶＰ１の注視点位置情報を用いる例を示している。

図１２は、注視点ＶＰ１の注視点位置情報を用いて生成した表示画像を示しており、画像表示部９０（図２）の表示画面ＤＰに自車両ＶＣの３次元モデルの車両前部寄りの俯瞰画像が示されている。

図１３は自車両ＶＣが後退中の場合の注視点位置の一例を示す図であり、自車両ＶＣの３次元モデルの車両後部に設定されている注視点位置情報を用いて、車両後部寄りの表示画像を生成する。図１３においては車両前部に設定された３つの注視点のうち、中央部の注視点ＶＰ３の注視点位置情報を用いる例を示している。

図１４は、注視点ＶＰ３の注視点位置情報を用いて生成した表示画像を示しており、画像表示部９０（図２）の表示画面ＤＰに自車両ＶＣの３次元モデルの車両後部寄りの俯瞰画像が示されている。

このように、周辺表示装置１００では、自車両の前進、後退の動きに合わせて注視点が自動的に変更され、画像表示部９０において変更された注視点に合わせた俯瞰画像が表示される。

このような自車両の運転状況は、図２を用いて説明したように、周辺表示装置１００外部の運転状況データ出力手段２００からの運転状況データを運転状況把握部３が受けて、前進／後退／停止などの状況を把握し、把握した運転状況の情報を注視点位置情報変更部１０に与えることで、運転状況に合わせて適宜、注視点位置情報を変更する構成となっている。

注視点位置情報変更部１０は、運転状況に合わせて最適な注視点位置情報を算出するようなソフトウエアによって注視点位置情報を変更する構成としても良いし、予め準備した、種々の運転状況と注視点位置情報とを対応付けたテーブルを参照して注視点位置情報を変更する構成としても良い。

注視点位置情報変更部１０で変更された注視点位置情報は、仮想カメラ姿勢決定部８に与えられ、先に説明したように、仮想カメラの姿勢の決定に使用される。

＜注視点位置情報の変更例２＞
また、自車両の運転状況を、操舵角情報（直進／右折／左折）を用いて把握することも可能であり、その場合は、図１５〜図１７に示すような注視点位置の変更が可能となる。

図１５は自車両ＶＣが前進中の場合の注視点位置を示す図であり、この場合は、自車両ＶＣの３次元モデルの車両前部に設定された３つの注視点のうち、中央部の注視点ＶＰ１の注視点位置情報を使用する例を示している。

これに対し、図１６は自車両ＶＣが左折を開始した直後の注視点位置を示す図であり、操舵角が小さい（ハンドルをあまり切っていない）状況である。この場合は、自車両ＶＣの３次元モデルの車両前部に設定された中央部の注視点ＶＰ１と左寄りの注視点ＶＰ２と間に新たな注視点ＶＰが設定されている。この注視点ＶＰの注視点位置情報は、注視点位置情報変更部１０で、両サイドの注視点ＶＰ１およびＶＰ２のそれぞれの注視点位置情報間を補完する計算によって得ることができる。

図１７は自車両ＶＣが左折の終期の注視点位置を示す図であり、操舵角が大きい（ハンドルを大きく切った）状況である。この場合は、自車両ＶＣの３次元モデルの車両前部に設定された左寄りの注視点ＶＰ２の注視点位置情報を使用する例を示している。

このように周辺表示装置１００では、自車両の運転状況に合わせて連続的に注視点位置を変更することが可能であるが、他の例としては、自車両の速度が遅い場合は自車両ＶＣの３次元モデルの車両中央部に設定された注視点の注視点位置情報を使用し、速度が増すにつれて車両前部寄りの注視点の注視点位置情報を使用する例が挙げられる。

＜注視点位置情報の変更例３＞
周辺表示装置１００では、以上説明したような、自車両の動きに伴って仮想カメラの注視点位置が自動的に変更される機能に加えて、障害物を検知した場合にも仮想カメラの注視点位置が自動的に変更される機能を有している。以下、この機能について説明する。

図１８は自車両ＶＣが後退中に、車両の後方に障害物ＯＢを検出した場合の注視点位置の一例を示す図であり、自車両ＶＣの３次元モデルの車両後部に設定されている３つの注視点のうち、左寄りの注視点ＶＰ４の注視点位置情報を使用する例を示している。

図１８に示すように、自車両ＶＣの左後方には障害物ＯＢが存在しており、これを障害物判定部９が、各ステレオカメラで得られた画像データに基づいて路面に対して所定値以上の高さを有する物体として検出すると、障害物ＯＢが存在する旨と、自車両ＶＣに対する障害物ＯＢとの相対位置情報を注視点位置情報変更部１０に出力する。注視点位置情報変更部１０では、障害物ＯＢとの相対位置情報に基づいて注視点位置情報を変更する。

このような場合、注視点位置情報変更部１０は、障害物ＯＢの位置を包含する領域を計算し、この領域の中心位置に最も近い注視点が選ばれるように注視点位置情報を変更する。

図１８の例では、障害物ＯＢを囲む破線領域が、計算によって得られた障害物ＯＢを包含する領域であり、その中央部にある×印が当該領域の中心位置となる。この結果、注視点ＶＰ４が選ばれるように注視点位置情報が変更される。

図１９は、注視点ＶＰ４の注視点位置情報を用いて生成した表示画像を示しており、画像表示部９０（図２）の表示画面ＤＰに、自車両ＶＣの３次元モデルの車両左後部近傍の俯瞰画像が示されている。

このような俯瞰画像を見た運転者は、障害物ＯＢを避けるように後退進路を変えたり、停止するなどの操作を行うことができる。

図２０は自車両ＶＣが後退での車庫入れ中に、車庫の壁ＷＬを検出した場合の注視点位置の一例を示す図であり、自車両ＶＣの３次元モデルの車両後部に設定されている３つの注視点のうち、中央部の注視点ＶＰ３の注視点位置情報を使用する例を示している。

図２０に示すように、自車両ＶＣの後部を囲むように壁ＷＬが存在しており、これを障害物判定部９が検出し、壁ＷＬが存在する旨と、自車両ＶＣに対する壁ＷＬとの相対位置情報を注視点位置情報変更部１０に出力する。注視点位置情報変更部１０では、壁ＷＬとの相対位置情報に基づいて注視点位置情報を変更する。

このような場合、注視点位置情報変更部１０は、壁ＷＬの位置を包含する領域を計算し、この領域の中心位置に最も近い注視点が選ばれるように注視点位置情報を変更する。

図２０の例では、壁ＷＬを囲む破線領域が、計算によって得られた壁ＷＬを包含する領域であり、その中央部にある×印が当該領域の中心位置となる。この結果、注視点ＶＰ３が選ばれるように注視点位置情報が変更される。

図２１は、注視点ＶＰ３の注視点位置情報を用いて生成した表示画像を示しており、画像表示部９０（図２）の表示画面ＤＰに、自車両ＶＣの３次元モデルの車両後部近傍の俯瞰画像が示されている。

このような俯瞰画像を見た運転者は、壁ＷＬに接触しないように後退動作を行うことができる。

＜注視点位置情報の変更例４＞
また、周辺表示装置１００では、以上説明したような、障害物を検知した場合に仮想カメラの注視点位置が自動的に変更される機能の他に、環境状況把握部４によって把握された自車両周辺の状況に基づいて仮想カメラの注視点位置が自動的に変更される機能も有している。以下、この機能について説明する。

先に説明したように、環境状況把握部４（図２）は、夜間であるか昼間であるかの判定や、天候（晴天、雨、霧）の状況についてのパラメータを注視点位置情報変更部１０に与える構成となっている。

注視点位置情報変更部１０では、環境状況把握部４から例えば夜間であるという情報を受けた場合、自車両の進行方向でライトが照らしている方向に注視点が設定されるように注視点位置情報を変更する。これにより、視覚的に意味のある画像を優先して表示することができる。

また、注視点位置情報変更部１０が、環境状況把握部４から例えば雨が降っている、あるいは霧の中であるなどの情報を受けた場合、３次元モデルの車両進行方向の最先端の注視点が選ばれるように注視点位置情報を変更する。これにより、進行方向の画像をできるだけ広い範囲で表示することができる。

＜変形例１＞
図１においては、車両ＶＣの４方向に１台ずつステレオカメラを配置した例を示したが、図２２に示されるように、車両ＶＣの４方向に２台ずつステレオカメラを配置する構成としても良い。

すなわち、図２２に示すように、車両ＶＣの、前方の左右の画像を取得するステレオカメラＳＣ１およびＳＣ２が配置され、前方に対して右側の前方寄りおよび後方寄りの画像を取得するステレオカメラＳＣ３およびＳＣ４が配置され、後方の左右の画像を取得するステレオカメラＳＣ５およびＳＣ６が配置され、前方に対して左側の後方寄りおよび前方寄りの画像を取得するステレオカメラＳＣ７およびＳＣ８が配置されている。

このようなシステムを用いることで、より、死角の少ない周辺の画像データを取得することが可能となる。

＜変形例２＞
以上の説明においては、ステレオカメラＳＣ１〜ＳＣ４（あるいはステレオカメラＳＣ１〜ＳＣ８）を用いることで、３次元情報を含んだ２次元画像データを得ることができ、当該２次元画像データに基づいて、３次元化計算部１１、２１、３１および４１で３次元画像データを算出する構成を示したが、単眼カメラによって得られた２次元画像データからも３次元画像データを得ることは可能である。

すなわち、単眼カメラによって得られた２次元画像データに射影変換処理を行うことで、ある視点から撮影した画像を、異なる視点から見た画像に変換することが可能であり、かかる機能を３次元化計算部１１、２１、３１および４１に持たせることで、３次元情報を有さない２次元画像データから３次元画像データを得ることができる。

また、ステレオカメラの代わりに、例えば赤外線を利用したＴＯＦ（飛行時間計測）方式の３次元距離測定カメラを用いることで、対象エリアの画像と距離情報を得ることができ、そのデータに基づいて、３次元化計算部１１、２１、３１および４１で３次元画像データを算出することが可能である。

ＴＯＦ方式の３次元距離測定カメラは、ＣＭＯＳセンサあるいはＣＣＤセンサを構成する複数の画素の１つ１つが所定の空間内の物体までの距離をする構成となっている。

３運転状況把握部
４状況把握部
５統合部
８仮想カメラ姿勢決定部
９障害物判定部
１０注視点位置情報変更部
７０視点位置変更部
ＳＣ１〜ＳＣ４ステレオカメラ

Claims

自走可能な移動体における周辺の画像データを取得する複数のカメラと、
前記画像データに基づいて第１の３次元画像データを算出する３次元化計算部と、
前記第１の３次元画像データの座標系を、前記移動体を基準とする移動体座標系に変換して第２の３次元画像データとする座標変換部と、
前記第２の３次元画像データと、前記移動体の３次元モデルのデータとを統合した統合データを生成する統合部と、
前記移動体座標系において前記移動体の外側に仮想的に配置された仮想カメラで前記統合データを観測した俯瞰画像データを生成する画像生成部と、
前記仮想カメラの視点位置を変更する視点位置変更部と、
視点位置を変更された前記仮想カメラの姿勢を決定する仮想カメラ姿勢決定部と、を備え、
前記仮想カメラ姿勢決定部は、
前記仮想カメラの視点位置変更時には、変更された前記視点位置と前記仮想カメラが注視すべき注視点とを結ぶベクトルとして設定される仮想カメラ視線方向ベクトルと、前記移動体座標系の何れかの軸方向と関連付けられた仮想カメラ上方向ベクトルとを用いて、前記仮想カメラが前記仮想カメラ視線方向ベクトルの方向を向くと共に前記俯瞰画像データの上方向が前記仮想カメラ上方向ベクトルの方向と合うように前記仮想カメラの姿勢を決定し、
前記統合部は、
前記仮想カメラの姿勢および変更された前記視点位置に基づいて前記統合データを生成する、周辺表示装置。
前記複数のカメラは、複数のステレオカメラである、請求項１記載の周辺表示装置。
前記注視点の位置は、
前記移動体の前記３次元モデル上に予め設定された注視点位置情報によって規定される、請求項１記載の周辺表示装置。
前記注視点の位置を規定する注視点位置情報を変更する注視点位置情報変更部を備える請求項１記載の周辺表示装置。
前記移動体の運転状況に関する運転状況データを前記注視点位置情報変更部に出力する運転状況把握部をさらに備え、
前記注視点位置情報は、
前記運転状況データに基づいて変更される、請求項４記載の周辺表示装置。
前記運転状況データは、
前記移動体の前進および後退を含む運転状態のデータを有し、
前記注視点位置情報は、
前記運転状態のデータに基づいて変更される、請求項５記載の周辺表示装置。
前記運転状況データは、
前記移動体の直進および右左折を制御する操舵角情報を有し、
前記注視点位置情報は、
前記操舵角情報に基づいて連続的に変更される、請求項５記載の周辺表示装置。
前記複数のカメラにより得られた画像データに基づいて、路面上の障害物の有無を判定するとともに、前記障害物までの相対位置の情報を障害物データとして前記注視点位置情報変更部に出力する障害物判定部をさらに備え、
前記注視点位置情報は、前記障害物データに基づいて変更される、請求項４記載の周辺表示装置。
前記注視点位置情報変更部は、
前記障害物データに基づいて、前記障害物の位置を包含する領域を計算し、該領域の中心位置に最も近い注視点が選ばれるように前記注視点位置情報を変更する、請求項８記載の周辺表示装置。
前記複数のカメラにより得られた画像データに基づいて、前記移動体周囲の環境状況を把握して、環境状況データとして前記注視点位置情報変更部に出力する環境状況把握部をさらに備え、
前記注視点位置情報は、前記環境状況データに基づいて変更される、請求項４記載の周辺表示装置。
前記環境状況データは、
前記画像データの明度に基づいて得られた、夜間および昼間の何れであるかのデータを有し、
前記注視点位置情報は、夜間の場合と昼間の場合とで変更される、請求項１０記載の周辺表示装置。
前記視点位置変更部は、
前記移動体の前記３次元モデルを中心とした半球を仮想的に設定し、前記半球上での緯度および経度を指定することで前記仮想カメラの前記視点位置を変更する、請求項１記載の周辺表示装置。
前記視点位置変更部は、
前記移動体の前記３次元モデルから前記仮想カメラが遠ざかる方向、および近づく方向に前記視点位置を変更する、請求項１記載の周辺表示装置。