JP5013773B2 - 車載画像処理装置及びその視点変換情報生成方法 - Google Patents

Description

本発明は、実画像を撮像する撮像部から入力される画像を、所定の仮想視点から見た仮想画像に変換する車載画像処理装置及びその視点変換情報生成方法に関する。

車両の運転者などのユーザの利便性を向上させることを目的として、車両の周囲を撮影する複数のカメラの撮像画像を用いて、車両の上方の仮想視点から見た合成画像を生成する画像処理装置がある（例えば、特許文献１参照）。

この特許文献１に記載された画像処理装置では、出力画素の位置座標と入力画像の画素位置との対応を示す変換アドレス（マッピングテーブル）に従って、２つの異なるカメラから入力される画像を合成したり、画素位置を変更したりして出力画像を生成することで、異なる複数のカメラからの入力画像を滑らかに合成したり、仮想視点からの映像へと変換したりすることをリアルタイムに実現するものである。しかし、リアルタイムに画像合成を行うには、画像合成に使用するマッピングテーブルが予め記録されていることが必要である。

このマッピングテーブルの作成手順を説明する。マッピングテーブルを作成するためには、仮想視点（仮想カメラの設置位置）から見た合成画像の各画素に対応する各カメラ画像の画素の座標を決める必要がある。この対応を決める手順は、仮想視点からの合成画像の各画素に対応する世界座標上での点の位置を求める段階と、求めた世界座標上での点の位置の実カメラ上で対応する画素の座標を求める段階の２段階に分けられる。

尚、最終的にマッピングテーブルに記録される関係は、仮想視点の合成画像の各画素と各カメラ画像（実画像）の画素との関係だけであり、マッピングテーブルを作成する手順は、上記の世界座標上の点を経由する方式に限定されるものではないが、この世界座標上の点を経由するマッピングテーブルは、合成画像の実世界での座標である世界座標系での意味付けが明確になるため、周囲の状況を実際の距離、位置関係と対応付けやすい合成画像を生成する点で優れている。

仮想カメラの画素位置［ｍｉ］＝（ｘｉ，ｙｉ）と仮想カメラのカメラ座標［Ｐｉ］＝（Ｘｉ，Ｙｉ，Ｚｉ）とは、次の関係にある。
ｘｉ＝Ｘｉ／Ｚｉ（ただし、Ｚｉは０でない）
ｙｉ＝Ｙｉ／Ｚｉ（ただし、Ｚｉは０でない）

仮想カメラのカメラ座標［Ｐｉ］から、世界座標［Ｐｗ］へは、３次元の回転［Ｒｉ］、及び、並進［Ｔｉ］によって次のように変換される。
［Ｐｗ］＝［Ｒｉ］［Ｐｉ］＋［Ｔｉ］

同様に、世界座標［Ｐｗ］から実カメラのカメラ座標［Ｐｒ］へは、３次元の回転［Ｒｒ］、及び、並進［Ｔｒ］によって次のように変換される。
［Ｐｒ］＝［Ｒｒ］［Ｐｗ］＋［Ｔｒ］

この仮想カメラのカメラ座標系から世界座標系への変換、ならびに、世界座標系から実カメラのカメラ座標系への変換を模式的に図１２に示す。即ち、仮想カメラのカメラ座標系Ｃで表される画像Ｍと、実カメラのカメラ座標系Ｃ’で表される画像Ｍ’とは、画像世界座標系Ｏを介して対応付けられる。

また、実カメラのカメラ座標［Ｐｒ］＝（Ｖｘｅ，Ｖｙｅ，Ｖｚｅ）から、実カメラの投影面上の２次元座標［Ｍｒ］＝（ｘｒ，ｙｒ）へは、透視投影変換により焦点距離ｆｖを用いて次のように変換される。
ｘｒ＝（ｆｖ／Ｖｚｅ）・Ｖｘｅ
ｙｒ＝（ｆｖ／Ｖｚｅ）・Ｖｙｅ

これを、画素の単位に変換し、実カメラに即したレンズ歪みを考慮して位置を補正した位置が、実カメラでの画素の位置となる。レンズ歪みの補正には、レンズ中心からの距離と補正量との関係を記録したテーブルを利用したり、数学的な歪みモデルにより近似するなどの方式がある。

このとき、世界座標系に存在する物体の３次元形状が未知であるため、仮想カメラの画素位置［ｍｉ］から仮想カメラのカメラ座標［Ｐｉ］への変換の際、［Ｐｉ］の倍率λ（λは０以外の実数）が不定となる。つまり、図１２において、直線ｌ上の点、例えば、点Ｋ、点Ｑは全て同じ画素位置Ｘ（ｘｉ，ｙｉ）に投影される。このため、仮想視点から見える対象物の形状に適当な投影モデルを仮定することにより、直線ｌ上の一点を決定する。つまり、投影モデルと直線ｌとの交点を求め世界座標上の点とする。

尚、投影モデルとしては、例えば、世界座標系のＺｗ＝０の平面などが考えられる。このように適当な投影モデルを設定することで、上記の手順により仮想視点の合成画像上の各画素［Ｐｉ］と、実カメラ画像上の画素［Ｐｒ］との対応関係が計算可能となる。

これらの対応関係の算出には、投影モデル上の点の座標計算や、カメラ座標と世界座標との変換、さらに、カメラ数が多い場合は、投影モデル上の座標がどのカメラに映っているかの計算等、膨大な量の演算が必要となる。

そこで、実カメラの撮像画像を仮想視点から見た画像に変換するマッピングテーブルを、少ない演算量で簡単に作成可能とした画像合成変換装置がある（例えば、特許文献２参照）。

この画像合成変換装置は、予め計算された仮想カメラの画素位置に対応する投影モデル上の三次元位置を記録する三次元座標記録手段を有する。これにより、３次元位置を求めるために必要な膨大な量の演算をマッピングテーブル作成時に実施する必要がなくなり、透視投影変換と歪み補正演算のみを実施するだけで済むものである。

国際公開第００／６４１７５号パンフレット 特開２００３−２５６８７４号公報

しかしながら、上記の画像合成変換装置にあっては、仮想画像上の画素と投影モデル上の点とが予め対応付けられた三次元座標記録手段が用いられるため、仮想画像は、投影モデルの定められた領域に固定されることになる。一方で、実カメラが撮像可能な投影モデル上の範囲は、その取り付け位置や角度によって異なる。

例えば、仮想画像に、ある車種では実カメラで撮像可能な範囲の半分程度しか用いない場合もあれば、異なる車種では実カメラで撮像不可能な範囲が含まれてしまう場合も生じ得る。したがって、実カメラの撮像範囲に適合した適切な仮想画像を得るためには、仮想画像上の画素と投影モデル上の点とを対応付けた三次元座標記録手段を、車種毎に準備する必要があるといった事情がある。

本発明は、上記の事情に鑑みてなされたものであって、車種に応じた適切な仮想画像を簡易に得ることが可能な車載画像処理装置及びその視点変換情報生成方法を提供することを目的とする。

本発明は、第１に、実画像を撮像する撮像部から入力される画像を、所定の仮想視点から見た仮想画像に変換する車載画像処理装置であって、所定の投影モデル上における複数の点の位置情報を記憶する投影モデル記憶部と、前記仮想画像の対象として指定された前記投影モデル上の領域において、前記仮想画像上の画素に対応する点である仮想画像対応点の位置情報を、前記投影モデル記憶部を参照して取得する位置情報取得部と、前記仮想画像対応点に対応する前記実画像上の画素を求め、前記仮想画像上の画素と前記実画像上の画素との対応を示す視点変換情報を取得する視点変換情報取得部とを備える車載画像処理装置が提供されるものである。

この構成により、投影モデル記憶部により記憶された投影モデル上の複数の点の位置情報に基づいて、仮想画像の対象となる投影モデル上の領域を指定して視点変換情報を生成するので、車種に応じた適切な仮想画像を簡易に得ることができる。

本発明は、第２に、上記第１に記載の車載画像処理装置であって、前記位置情報取得部は、前記投影モデル記憶部に記憶されている前記指定された投影モデル上の領域における点の数が前記仮想画像上の画素数と一致しない場合は、前記投影モデル記憶部に記憶されている点を用いて間引き補間し、前記仮想画像対応点の位置情報を求める車載画像処理装置が提供されるものである。

この構成により、仮想画像の対象となる投影モデル上の領域に応じて柔軟に視点変換情報を生成することができる。

本発明は、第３に、上記第１又は第２に記載の車載画像処理装置であって、前記投影モデル記憶部は、車両の状態に応じて予測される走行軌跡を示す軌跡データを、前記投影モデル上における複数の点の位置情報に対応付けて記憶し、前記位置情報取得部は、前記仮想画像対応点の位置情報に前記軌跡データを対応付け、前記視点変換情報取得部は、前記仮想画像上の画素に前記軌跡データを対応付けて前記視点変換情報を生成する車載画像処理装置が提供されるものである。

この構成により、視点変換情報に軌跡データが対応付けられているので、予測走行軌跡を仮想画像に重畳して表示するための演算量を抑制することができる。

本発明は、第４に、実画像を撮像する撮像部から入力される画像を、所定の仮想視点から見た前記仮想画像に変換する車載画像処理装置の視点変換情報生成方法であって、前記仮想画像の対象として指定された所定の投影モデル上の領域において、前記仮想画像上の画素に対応する点である仮想画像対応点の位置情報を、前記投影モデル上における複数の点の位置情報を記憶する投影モデル記憶部を参照して取得するステップと、前記仮想画像対応点に対応する前記実画像上の画素を求め、前記仮想画像上の画素と前記実画像上の画素との対応を示す視点変換情報を取得するステップとを有する視点変換情報生成方法が提供されるものである。

この方法により、投影モデル記憶部により記憶された投影モデル上の複数の点の位置情報に基づいて、仮想画像の対象となる投影モデル上の領域を指定して視点変換情報を生成するので、車種に応じた適切な仮想画像を簡易に得ることができる。

本発明は、第５に、コンピュータに、上記第４に記載された視点変換情報生成方法の各手順を実行する視点変換情報生成プログラムが提供されるものである。

このプログラムにより、投影モデル記憶部により記憶された投影モデル上の複数の点の位置情報に基づいて、仮想画像の対象となる投影モデル上の領域を指定して視点変換情報を生成するので、車種に応じた適切な仮想画像を簡易に得ることができる。

本発明によれば、車種に応じた適切な仮想画像を簡易に得ることが可能な車載画像処理装置及びその視点変換情報生成方法を提供することができる。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る車載画像処理装置の主要な構成を示すブロック図である。図１に示すように、本実施形態の車載画像処理装置は、撮像部１０と、出力範囲指定部２０と、演算部３０と、マッピングテーブル参照部４０と、画像合成部５０と、画像出力部６０とを備え、撮像部１０から入力される画像を所定の仮想視点から見た仮想画像に変換して、出力画像として出力するものである。

撮像部１０は、実画像を撮影するカメラ１１と、カメラ１１で撮像した映像を記録するフレームメモリ１３とを備える。撮像部１０が備えるカメラは１台または複数台であってもよく、この実施形態の撮像部１０はカメラ１１及びフレームメモリ１３の他に、カメラ１２とフレームメモリ１４を備える。

出力範囲指定部２０は、出力画像の対象となる投影モデル上の領域を、出力範囲として指定する。

演算部３０は、位置情報取得部及び視点変換情報取得部の一例として機能するものであり、出力範囲指定部２０にて指定された出力範囲の出力画像の生成に必要とする入力画像の画素位置を算出する。そして、演算部３０は、その算出した結果を、出力画像上の画素と実画像上の画素との対応を示す視点変換情報の一例であるマッピングテーブルとして、マッピングテーブル参照部４０へ記録する。なお、演算部３０は、視点変換情報生成プログラムによって動作するプロセッサを主体に構成される。

マッピングテーブル参照部４０は、所定の投影モデル上における複数の点の位置情報を記憶する投影モデル記憶部４１と、マッピングテーブルを記憶するマッピングテーブル記憶部４２とを備える。

画像合成部５０は、マッピングテーブル参照部４０を参照して出力画像の画素に対応する入力画像を撮像部１０から読み出して、出力画像の画素を生成する。また、画像出力部６０は、画像合成部５０で生成された画素から出力画像を生成して出力する。

次に、上述した画像合成換装置の動作を説明する。最初に、マッピングテーブル作成の手順を説明する。図２は本発明の第１の実施形態に係る車載画像処理装置の変換テーブル作成方法の手順を説明するフローチャートである。

まず、出力範囲指定部２０は、投影モデル記憶部４１に記憶されている投影モデル上の領域を、出力範囲として指定する（ステップＳ１）。図３及び図４は本発明の第１の実施形態に係る車載画像処理装置の出力範囲の指定方法を説明する概念図である。図３（Ａ）は、カメラ２ａが取り付けられた車両１ａを示し、図３（Ｂ）は、カメラ２ｂが取り付けられ、車両１ａとは車種が異なる車両１ｂを示す。ここで、図３及び図４では、カメラ２ａ，２ｂにて撮像した画像を変換する仮想視点として、車両１ａ，１ｂそれぞれの前方上方から路面を見下ろす仮想カメラ３ａ，３ｂを例にとって説明する。

カメラ２ａ，２ｂは、それぞれ車種の異なる車両１ａ，１ｂに取り付けられることから、取り付け位置や取り付け角度が異なるので、図３（Ａ）及び図３（Ｂ）中の破線にて示すように、撮像する範囲が異なる。すなわち、図３（Ａ）に示すように、カメラ２ａは位置Ｏから位置Ａまでの範囲を撮像するものであるのに対して、カメラ２ｂは位置Ｏから位置Ｂまでの範囲を撮像するものである。

したがって、仮想カメラ３ａは位置Ｏから位置Ａまで撮像する範囲を指定することが可能であり、仮想カメラ３ｂは位置Ｏから位置Ｂまで撮像する範囲を指定することが可能である。

そこで、本実施形態では、出力範囲指定部２０が、実カメラが撮像可能な範囲に応じて出力範囲を指定することにより、車種に応じた適切な仮想画像を簡易に得ることができる。すなわち、出力範囲指定部２０は、図４に示すように、投影モデル記憶部４１に記憶されている領域４から、仮想カメラ３ａの撮像範囲として範囲４ａを、仮想カメラ３ｂの撮像範囲として範囲４ｂを切り出して指定する。

なお、上述した出力範囲の指定方法の一例としては、操作者が、車種やカメラ取り付け位置毎にシミュレーションにより出力範囲を求め、出力範囲指定部２０にパラメータ（投影モデル上の座標の範囲等）を入力することにより、出力範囲指定部２０が出力範囲を指定する。また、操作者が出力範囲を求める代わりに、出力範囲指定部２０が、車種の情報等に基づいて投影モデル上の座標の範囲等を演算し、その演算結果に応じて出力範囲を指定してもよい。

次に、演算部３０は、出力範囲指定部２０により指定された出力範囲から、座標の範囲と、出力画像の画素数に応じて定まるサンプル間隔とを求め、投影モデル記憶部４１から、出力画像の画素位置に対応する投影モデルの点の座標を取得する（ステップＳ２）。

なお、演算部３０は、投影モデル記憶部４１に記憶されている出力範囲として指定された投影モデル上の領域における点の数が、出力画像上の画素と一致しない場合には、投影モデル記憶部４１に記憶されている点の位置情報を用いて間引き補間等で補間し、出力画像の画素位置に対応する点の位置情報（座標）を求める。

例えば、図４に示す例において、範囲４ｂにおいて、投影モデル記憶部４１が、線分Ｘ−Ｘにおける点が図４に示す丸印で示す４個の点が記憶されており、対応する出力画像の画素が７個の場合は、出力画像の画素位置に対応する投影モデル上の点である図４に示すＸ印の座標を求める。これにより、出力範囲に応じて柔軟にマッピングテーブルを生成することができる。

このようにして演算部３０により求められた出力画像上の画素位置と、投影モデル上の位置情報との対応は、マッピングテーブル記憶部４２の第一の記憶手段に記録される。

演算部３０は、更に、投影モデル上の対応点に対する実カメラの画素位置を取得し（ステップＳ３）、出力画像の画素位置と入力画像の画素位置とを対応付け（ステップＳ４）、マッピングテーブル記憶部４２の第二の記憶手段に、マッピングテーブルとして記憶する。

図５は本発明の第１の実施形態に係る車載画像処理装置にて用いられる投影モデルによる視点変換を説明する概念図であり、投影モデルとして平面Ａ、平面Ｂの２つの平面を設定されている例を示す図である。図５の場合、投影モデル記憶部４１には、平面Ａ及び平面Ｂの２つの平面における３次元位置の座標が記憶されている。

例えば、出力画像の画素Ｒ１の位置（ｕ１，ｖ１）に対応する３次元位置（投影モデル上の位置情報）として、平面Ａ上の点Ｒ１Ａの座標（ｘ１ａ，ｙ１ａ，ｚ１ａ）がステップＳ２にて取得され、マッピングテーブル記憶部４２の第一の記憶手段に記憶されている。また、出力画像の画素Ｒ２の位置（ｕ２，ｖ２）に対応する３次元位置として、平面Ｂ上の点Ｒ２Ｂの座標（ｘ２ｂ，ｙ２ｂ，ｚ２ｂ）がステップＳ２にて取得され、マッピングテーブル記憶部４２の第一の記憶手段に記憶されている。

ここで、仮想カメラと実カメラとの位置関係が予め一定の精度で予測可能な場合、投影モデル上の対応点がいずれのカメラに対応点を持つかを計算することが可能である。例えば、監視カメラや車載カメラ等は、監視対象等を撮像できる位置としてその設置場所が限られてしまうのが普通であるため、仮想カメラと実カメラとの位置関係は予測可能であり、予測した実カメラの位置データを、カメラパラメータとして演算部３０に入力し、マッピングテーブル記憶部４２の第一の記憶手段の記録データを用いてマッピングテーブルを作成することができる。

演算部３０は、３次元座標記録手段３２を参照して得られる仮想カメラの画素位置に対応する３次元座標と、別途入力される実カメラのカメラパラメータとを基に、仮想カメラの画素位置に対応する実カメラ上の画素位置を算出する。図５の場合、前述したように、マッピングテーブル記憶部４２の第一の記憶手段には、例えば、出力画像の画素Ｒ１の位置（ｕ１，ｖ１）に対応する３次元位置として、平面Ａの点Ｒ１Ａの座標（ｘ１ａ，ｙ１ａ，ｚ１ａ）が、出力画像の画素Ｒ２の位置（ｕ２，ｖ２）に対応する３次元位置として、平面Ｂ上の点Ｒ２Ｂの座標（ｘ２ｂ，ｙ２ｂ，ｚ２ｂ）が記録されている。

透視変換によりこれらの点が実カメラ上に投影される点を計算すると、点Ｒ１Ａは点Ｉ１（Ｕ１，Ｖ１）に、点Ｒ２Ｂは点Ｉ２（Ｕ２，Ｖ２）にそれぞれ投影される。演算部３０は、この結果から、マッピングテーブルを作成し、マッピングテーブル記録部４２の第二の記憶手段へ格納する。

また、仮想カメラ上の画素に対応する投影モデル上の対応点に対する実カメラの画素位置は、周知の校正手段によって容易に計測することができるため、この計測データを取り込めば、仮想カメラと実カメラとの位置関係を設定することができる。

図６は本発明の第１の実施形態に係る車載画像処理装置にて用いられるマッピングテーブルを説明する概念図である。

マッピングテーブル記憶部４２は、演算部３０で計算された仮想カメラ上の画素と実カメラ上の画素との対応関係を示すマッピングテーブルを記憶するものである。マッピングテーブル記憶部４２の第一の記憶手段には、まず、ステップＳ２において求められた仮想カメラの画素座標位置（ｕ，ｖ）と投影モデル上の座標（ｘ，ｙ，ｚ）との関係が記録される。

そして、演算部３０は、ステップＳ３にて、投影モデル上の座標と実カメラの画素座標位置（Ｕ，Ｖ）との関係をこの記憶情報に基づき算出し、ステップＳ４にて、仮想カメラの画素座標位置（ｕ，ｖ）と実カメラの画素座標位置（Ｕ，Ｖ）との関係を作成してこれをマッピングテーブルとして記憶する。このマッピングテーブルには、必要に応じて、実カメラの識別子（図６中に「Ｃ１」として例示）と、複数のカメラが対応する場合の各カメラの必要度とが記録される。このようにして、マッピングテーブルが作成される。

次に、上述したようにして演算部３０がマッピングテーブルを作成し、マッピングテーブル記憶部４２に記録した後の動作を説明する。

撮像部１０では、カメラ１１とカメラ１２とにより撮像した画像をそれぞれフレームメモリ１３、１４へ記録する。マッピングテーブル参照部４０は、マッピングテーブル記憶部４２に記憶されているマッピングテーブルを参照して、画像合成部５０が生成する出力画像の画素位置を、その画素に対応する入力画像の画素位置へと変換する。出力画像の１つの画素位置が、入力画像の複数の画素位置に対応する場合は、それらの画素の必要度もマッピングテーブルから読み出す。

画像合成部５０では、マッピングテーブル参照部４０を参照し、生成する出力画像の画素に対応する入力画像の画素を撮像部１０から読み出す。出力画像の画素が１つの入力画像の画素のみに対応する場合は、入力画素の値を画像出力部６０へと出力する。また、対応する画素が存在しない場合は、予め定めた値を画像出力部６０へと出力する。

出力画像の１つの画素位置が、入力画像の複数の画素位置に対応する場合は、入力画像の画素位置と同時に参照した各画素の必要度に応じて、それらの画素値を合成する。単純には、必要度の逆比に応じて加算し、出力画像の画素値とする。画像出力部６０は、画像合成部５０で生成された出力画像の画素から出力画像を生成し、出力する。

このような本発明の第１の実施形態によれば、投影モデル記憶部により記憶された投影モデル上の複数の点の位置情報に基づいて、仮想画像の対象となる投影モデル上の領域を指定して視点変換情報を生成するので、車種に応じた適切な仮想画像を簡易に得ることができる。

（第２の実施形態）
図７は本発明の第２の実施形態に係る車載画像処理装置の主要な構成を示すブロック図である。図７において、第１の実施形態で説明した図１と重複する部分については同一の符号を付す。

図７に示すように、本実施形態の車載画像処理装置は、撮像部１０と、出力範囲指定部２０と、演算部３０と、マッピングテーブル参照部１４０と、画像合成部１５０と、画像出力部６０とを備える。

マッピングテーブル参照部１４０は、投影モデル記憶部１４１とマッピングテーブル記憶部１４２とを有する。

投影モデル記憶部１４１は、車両の状態に応じて予測される走行軌跡を示す軌跡データを、投影モデル上における点の位置情報に対応付けて記憶する。投影モデル記憶部１４１に記憶されるデータの例について、図８及び図９を参照して説明する。

図８は、本発明の第２の実施形態に係る車載画像処理装置にて用いられる軌跡情報を含むテーブルの第１例を示す概念図である。図８に示す例では、投影モデル上の点の座標に、車両の状態に応じて予測される走行軌跡を示す軌跡データが対応付けられている。この例では、軌跡データに含まれる車両の状態を示す要素として、車幅及び車両のハンドルの操舵角が示されている。図８に示された例では、点ｐ２（ｘ２，ｙ２，ｚ２）が、車両の車幅が１６０ｃｍの車で操舵角が３０度の場合に、車両の走行が予測される位置であることを示す。

図９は、本発明の第２の実施形態に係る車載画像処理装置にて用いられる軌跡情報を含むテーブルの第２例を示す概念図である。図９に示す例では、車幅及び操舵角の要素を有する軌跡データに、投影モデル上の点の座標が対応付けられている。

演算部３０は、出力範囲指定部２０にて指定された出力範囲に基づいて出力画像の画素位置と投影モデル上の点の座標とを対応付ける際に、投影モデル記憶部１４１に記憶されている投影モデル上の点の座標に軌跡データが対応付けられている場合、出力画像の画素位置に軌跡データを対応付け、マッピングテーブル記憶部１４２に記録する。更に、演算部３０は、軌跡データが対応付けられた出力画素の画素位置を、入力画像の画素位置を対応付けてマッピングテーブルとしてマッピングテーブル記憶部１４２に記録する。

図１０は、本発明の第２の実施形態に係る車載画像処理装置にて用いられるマッピングテーブルを説明する概念図である。図１０に示すように、仮想カメラの画素位置（ｕ，ｖ）には、入力画像の画素位置（Ｕ，Ｖ）のほか、カメラの識別子Ｃに加え、車幅Ｗ及び舵角Ａの軌跡データが付加されている。これにより、車幅及び舵角に応じて、その出力画素の画素位置が、予測走行軌跡上であるかを判定することができる。

このようにして、本実施形態の車載画像処理装置は、軌跡データを対応付けたマッピングテーブルを作成し、マッピングテーブル記憶部１４２に記憶するものである。車幅や回転半径が同じであれば、異なる車種であっても、投影モデル上を走行する軌跡は同じである。例えば、同じモデルであっても車種や型式が異なる場合、回転半径が同じであることが多い。このような場合は、共通のデータを用いて、軌跡データをマッピングテーブルに埋め込むことができる。

次に、上述したようにして演算部３０がマッピングテーブルを作成し、マッピングテーブル記憶部１４２に記録した後の動作を説明する。

撮像部１０では、カメラ１１とカメラ１２とにより撮像した画像をそれぞれフレームメモリ１３、１４へ記録する。マッピングテーブル参照部１４０は、マッピングテーブル記憶部１４２に記憶されているマッピングテーブルを参照して、画像合成部１５０が生成する出力画像の画素位置を、その画素に対応する入力画像の画素位置へと変換する。出力画像の１つの画素位置が、入力画像の複数の画素位置に対応する場合は、それらの画素の必要度もマッピングテーブルから読み出す。

画像合成部１５０では、マッピングテーブル参照部１４０を参照し、生成する出力画像の画素に対応する入力画像の画素を撮像部１０から読み出す。出力画像の画素が１つの入力画像の画素のみに対応する場合は、入力画素の値を画像出力部６０へと出力する。また、対応する画素が存在しない場合は、予め定めた値を画像出力部６０へと出力する。

出力画像の１つの画素位置が、入力画像の複数の画素位置に対応する場合は、入力画像の画素位置と同時に参照した各画素の必要度に応じて、それらの画素値を合成する。単純には、必要度の逆比に応じて加算し、出力画像の画素値とする。

さらに、画像合成部１５０は、車両に設置された舵角センサ１７１を含むセンサ群１７０から出力される、車両の状態を示す信号に基づいて、現在の車両の状態に合致する軌跡データが対応付けられている出力画素に予測走行軌跡を重畳する。

図１１は、本発明の第２の実施形態に係る車載画像処理装置の出力画像の一例を示す説明図である。図１１に示すように、画像合成部１５０は、舵角センサ１７１からの信号に基づいて、軌跡データが対応付けられた出力画素の画素位置Ｐ１Ｌ，Ｐ２Ｌ，Ｐ３Ｌ及び出力画像の画素位置Ｐ１Ｒ，Ｐ２Ｒ，Ｐ３Ｒを抽出し、これら予測走行軌跡ＬＬ，ＬＲとして結び、出力画像ＶＩに重畳する。そして、画像出力部６０は、画像合成部１５０で生成された、出力画像の画素及び予測走行軌跡から出力画像を生成し、出力する。

このような本発明の第２の実施形態によれば、マッピングテーブルに軌跡データが対応付けられていることから、センサからの出力に応じてその都度予測走行軌跡を演算して求める必要がないので、予測走行軌跡を仮想画像に重畳して表示するための演算量を抑制することができる。

なお、本発明の第２の実施形態では、１つのマッピングテーブル内に入力画素位置と車幅と航角データを持たせている。これを、入力画素のみを持つマッピングデータ１と、航角を表示する位置を持つマッピングデータ２とに分けても良い。また、データの形式は一例であり、これと異なっても良い。

本発明の車載画像処理装置及びその視点変換情報生成方法は、車種に応じた適切な仮想画像を簡易に得ることが可能な効果を有し、車載カメラシステム等に有用である。

本発明の第１の実施形態に係る車載画像処理装置の主要な構成を示すブロック図 本発明の第１の実施形態に係る車載画像処理装置の変換テーブル作成方法の手順を説明するフローチャート 本発明の第１の実施形態に係る車載画像処理装置の出力範囲の指定方法を説明する概念図 本発明の第１の実施形態に係る車載画像処理装置の出力範囲の指定方法を説明する概念図 本発明の第１の実施形態に係る車載画像処理装置にて用いられる投影モデルによる視点変換を説明する概念図 本発明の第１の実施形態に係る車載画像処理装置にて用いられるマッピングテーブルを説明する概念図 本発明の第２の実施形態に係る車載画像処理装置の主要な構成を示すブロック図 本発明の第２の実施形態に係る車載画像処理装置にて用いられる軌跡情報を含むテーブルの第１例を示す概念図 本発明の第２の実施形態に係る車載画像処理装置にて用いられる軌跡情報を含むテーブルの第２例を示す概念図 本発明の第２の実施形態に係る車載画像処理装置にて用いられるマッピングテーブルを説明する概念図 本発明の第２の実施形態に係る車載画像処理装置の出力画像の一例を示す説明図 仮想カメラ及び実カメラのカメラ座標並びに世界座標の関係を示す説明図

符号の説明

１ａ，１ｂ 車両
２ａ，２ｂ，１１，１２ カメラ
３ａ，３ｂ 仮想カメラ
４，４ａ，４ｂ 投影モデル上の領域
１０ 撮像部
１３，１４ フレームメモリ
２０ 出力範囲指定部
３０ 演算部
４０，１４０ マッピングテーブル参照部
４１，１４１ 投影モデル記憶部
４２，１４２ マッピングテーブル記憶部
５０，１５０ 画像合成部
６０ 画像出力部
１７０ センサ群
１７１ 舵角センサ

Claims (5)

1. 実画像を撮像する撮像部から入力される画像を、所定の仮想視点から見た仮想画像に変換する車載画像処理装置であって、
   所定の投影モデル上における複数の点の位置情報を記憶する投影モデル記憶部と、
   前記仮想画像の対象として指定された前記投影モデル上の領域において、前記仮想画像上の画素に対応する点である仮想画像対応点の位置情報を、前記投影モデル記憶部を参照して取得する位置情報取得部と、
   前記仮想画像対応点に対応する前記実画像上の画素を求め、前記仮想画像上の画素と前記実画像上の画素との対応を示す視点変換情報を取得する視点変換情報取得部と
   を備える車載画像処理装置。
2. 請求項１に記載の車載画像処理装置であって、
   前記位置情報取得部は、前記投影モデル記憶部に記憶されている前記指定された投影モデル上の領域における点の数が前記仮想画像上の画素数と一致しない場合は、前記投影モデル記憶部に記憶されている点を用いて間引き補間し、前記仮想画像対応点の位置情報を求める車載画像処理装置。
3. 請求項１又は２に記載の車載画像処理装置であって、
   前記投影モデル記憶部は、車両の状態に応じて予測される走行軌跡を示す軌跡データを、前記投影モデル上における複数の点の位置情報に対応付けて記憶し、
   前記位置情報取得部は、前記仮想画像対応点の位置情報に前記軌跡データを対応付け、
   前記視点変換情報取得部は、前記仮想画像上の画素に前記軌跡データを対応付けて前記視点変換情報を生成する車載画像処理装置。
4. 実画像を撮像する撮像部から入力される画像を、所定の仮想視点から見た前記仮想画像に変換する車載画像処理装置の視点変換情報生成方法であって、
   前記仮想画像の対象として指定された所定の投影モデル上の領域において、前記仮想画像上の画素に対応する点である仮想画像対応点の位置情報を、前記投影モデル上における複数の点の位置情報を記憶する投影モデル記憶部を参照して取得するステップと、
   前記仮想画像対応点に対応する前記実画像上の画素を求め、前記仮想画像上の画素と前記実画像上の画素との対応を示す視点変換情報を取得するステップと
   を有する視点変換情報生成方法。
5. コンピュータに、請求項４に記載された視点変換情報生成方法の各手順を実行する視点変換情報生成プログラム。

Images