JP6526605B2

JP6526605B2 - 仮想カメラ画像生成装置

Info

Publication number: JP6526605B2
Application number: JP2016146612A
Authority: JP
Inventors: 貴幸守澤
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2016-07-26
Filing date: 2016-07-26
Publication date: 2019-06-05
Anticipated expiration: 2036-07-26
Also published as: JP2018018212A

Description

本発明は、複数のカメラにより立体物を同時撮像した画像のそれぞれから抽出した当該立体物の物体像に基づいて、利用者などにより任意に設定された仮想視点から当該立体物を撮像したときの画像を生成する装置に関する。

近年、所定の立体物（例えば人物）を複数のカメラで様々な視点から撮像した画像に基づいて、利用者などにより任意に設定された仮想視点（以下、仮想カメラ）から当該立体物を撮像したときの仮想的な画像（以下、仮想カメラ画像）を生成する技術が、様々な分野において利用されている。

例えば、下記特許文献１では、複数のカメラから同時撮像された画像から抽出した所定の立体物の物体像に基づいて当該立体物の三次元形状をボクセルの集合としてモデリングし、当該ボクセルを投影することで仮想カメラ画像を生成する方法が記載されている。当該従来技術では立体物の三次元形状のモデリングに視体積交差法を用いている。すなわち、各カメラについて物体像を逆投影して得られる錐体（視体積）を求め、複数のカメラでの視体積の積集合を生成し、これを立体物の三次元形状とする。

特開２０００−３０６１１７号公報

従来の視体積交差法を用いた仮想カメラ画像の生成方法では、ボクセルサイズの縮小により画像の解像度が上がる。ここで、視体積交差法における計算量はボクセル数に比例する。ボクセル数は基本的にボクセルサイズの逆数の３乗に比例して増加し、また、計算対象とする空間又は立体物の体積に比例して増加する。つまり、解像度を上げるためにボクセルを小さくすると、ボクセル数の急激な増大に対応して計算量が増加する。そのため、広い空間における仮想カメラ画像の生成では、画像生成処理を行う計算機の性能限界により、十分な画像解像度を実現することが実質上困難となる場合があるという問題があった。一方で、計算量を抑えるためにボクセルサイズを大きくすると、仮想カメラ画像に表示される物体像の分解能が低下してしまう。

本発明は上記問題を解決するためになされたものであり、計算機の性能限界の制約を受けにくくし、広い空間においても十分な解像度の仮想カメラ画像を得ることが容易な仮想カメラ画像生成装置を提供することを目的とする。

（１）本発明に係る仮想カメラ画像生成装置は、複数の実カメラにより互いに異なる視点で立体物を同時撮像した実画像のそれぞれから当該立体物の物体像を抽出し、当該物体像に基づいて当該立体物を仮想カメラにより撮像した仮想カメラ画像を生成する画像生成装置であって、前記実カメラのカメラパラメータを表す実カメラ情報と、前記仮想カメラのカメラパラメータを表す仮想カメラ情報とを記憶した記憶部と、前記仮想カメラ情報を用いて、前記仮想カメラ画像の各画素に対応する仮想投影線を求める投影線生成手段と、前記仮想投影線上に注目点を設定し、前記実カメラ情報を用いて当該注目点の前記各実画像における投影位置を求め、複数の前記実画像にて前記投影位置が前記物体像内である前記注目点を物体対応点として検出する物体対応点検出手段と、前記物体対応点が検出された前記仮想投影線に対応する前記画素により前記仮想カメラ画像における前記立体物の像を生成する物体像生成手段と、を有する。

（２）上記（１）の仮想カメラ画像生成装置において、前記物体対応点検出手段は、前記各仮想投影線上に、前記立体物の想定サイズよりも小さい基準距離間隔ごとに前記注目点を設定する構成とすることができる。

（３）上記（１），（２）の仮想カメラ画像生成装置において、前記物体対応点検出手段は、前記仮想投影線上にて、基準距離間隔ごとに前記注目点を設定して前記物体対応点を探索し基準位置に定める基準位置探索処理と、前記基準位置から前記仮想カメラに向けて、前記基準距離間隔よりも小さい間隔で前記注目点を順次設定し前記物体対応点ではなくなる前記注目点を探索して、当該仮想投影線上での前記立体物の表面位置を推定する表面位置探索処理と、を行い、前記物体像生成手段は、前記仮想投影線上での前記表面位置に基づいて、当該仮想投影線に対応する前記画素の画素値を定める構成とすることができる。

（４）上記（３）の仮想カメラ画像生成装置において、前記物体対応点検出手段は、さらに、前記仮想投影線上にて前記基準位置から前記表面位置とは反対の方向へ、前記基準距離間隔よりも小さい間隔で前記注目点を順次設定し前記物体対応点ではなくなる前記注目点を探索して、当該仮想投影線上での前記立体物の裏面位置を推定する裏面位置探索処理を行い、前記物体像生成手段は、前記仮想投影線上での前記表面位置及び前記裏面位置から推定される視線方向の物体サイズに応じて、当該仮想投影線に対応する前記画素の画素値を定める構成とすることができる。

（５）上記（２）〜（４）の仮想カメラ画像生成装置において、前記物体対応点検出手段は、前記仮想投影線のうち他の前記仮想投影線にて検出された前記物体対応点のまわりの所定の近傍空間内に含まれる部分では、前記基準距離間隔よりも小さい間隔で前記注目点を設定する構成とすることができる。

（６）上記（１）〜（５）の仮想カメラ画像生成装置において、前記記憶部は、前記立体物が存在し得る三次元の空間範囲を記憶し、前記物体対応点検出手段は、前記空間範囲内のみにて前記注目点を設定する構成とすることができる。

本発明によれば、広い空間においても十分な解像度の仮想カメラ画像を得ることが容易となる。

本発明の実施形態に係る画像監視システムの概略のブロック図である。本発明の実施形態に係る画像生成装置における投影線生成手段の処理を説明する模式図である。本発明の実施形態に係る画像生成装置における注目物体像の復元処理の概略のフロー図である。判定領域情報をバウンディングボックスで表現している場合の判定区間の例を示す模式図である。本発明の実施形態に係る画像生成装置における物体対応点検出手段による表面位置探索処理を説明する模式図である。

以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。

図１は画像監視システム１の概略のブロック図である。画像監視システム１は、監視対象の物件に設置される複数の監視カメラが撮像した画像（以下、実画像）を集約表示して、監視従事者による画像の目視確認を支援するための仕組みである。画像監視システム１は、撮像装置２、入力装置３、画像生成装置４及び出力装置５を有する。このうち、画像生成装置４が本発明に係る仮想カメラ画像生成装置の主要部をなす。

監視対象となる物件は例えば建物の内外に設定される監視エリアであり、屋外監視の監視エリアの例として、建物の外周の敷地、庭・アプローチなどが挙げられる。また屋内監視について、マンション、オフィスビル、ホテルなどのエントランスホールやロビーなどの例が挙げられる。

撮像装置２は監視エリアに設置される監視カメラであり、本発明における実カメラとして機能する。撮像装置２は監視対象とする注目物体（例えば人物）を互いに異なる視点から撮影できるように複数台設置される。撮像装置２は、画像生成装置４と接続され、撮像した画像を画像生成装置４へ出力する。

入力装置３は、画像監視システム１の動作を制御するために、監視従事者が操作するマウスやキーボードなどである。入力装置３は画像生成装置４に接続され、入力装置３から各種情報が画像生成装置４に入力される。

画像生成装置４は、ＣＰＵ(Central Processing Unit)、ＧＰＵ（Graphics Processing Unit）や各種メモリなどで構成される計算機であり、撮像装置２から入力された実画像を用いて任意視点での注目物体の像（以下、注目物体像）を復元する。画像生成装置４は、記憶部４１、注目物体像抽出部４２、注目物体像復元部４３及び画像出力部４４を有する。

記憶部４１は、画像生成装置４を制御するためのコンピュータプログラムおよび各種情報を記憶する。記憶部４１に記憶されている各種情報は、入力装置３及び注目物体像抽出部４２により更新され、注目物体像復元部４３より参照される。各種情報には、抽出物体像４１１、仮想カメラ情報４１２、判定領域情報４１３及び実カメラ情報４１４が含まれる。

抽出物体像４１１は、実画像から抽出した注目物体像であり、注目物体像抽出部４２により更新される。

仮想カメラ情報４１２は、三次元空間に仮想的に配置されるカメラである仮想カメラの視野を定義するカメラパラメータであり、画像生成装置４が注目物体像を復元する際のカメラモデルを定義する。すなわち、画像生成装置４は仮想カメラにより撮影された画像として注目物体像を復元する。具体的には仮想カメラ情報４１２は視野変換、投影変換及び生成する画像のサイズに関する情報が含まれる。視野変換に関する情報は、仮想カメラの位置（レンズの中心座標、又は視点）及び姿勢（レンズ光軸の方向、又は視線方向）を含み、監視従事者による入力装置３の操作によって随時更新できる。投影変換に関する情報はレンズの投影特性をモデル化するためのパラメータ群、例えば焦点距離、歪収差係数などを含み、画像のサイズに関する情報は画像を構成する画素数などを含み、本実施形態では投影変換及び画像のサイズに関する情報は予め与えられた所定値とする。

判定領域情報４１３は、監視対象とする三次元空間における注目点が物体に対応する点か否かを判定する処理にて当該注目点を設定する空間範囲を定める情報である。当該空間範囲は、後述する注目物体像の復元判定処理が行われる領域であり、本実施形態では判定領域情報４１３には所定の値が予め与えられる。ここで、注目点は判定対象となる点である。

なお、判定領域情報４１３を表現する手法として、例えば、監視対象とする三次元空間において注目物体が存在し得る領域を包含する直方体（バウンディングボックス）で表現する手法が考えられる。

実カメラ情報４１４は、各撮像装置２の視野を定義するカメラパラメータであり、各撮像装置２の位置及び姿勢、並びに撮像装置２に搭載されているレンズの投影特性をモデル化するためのパラメータ群が含まれる。実カメラ情報４１４には、各撮像装置２について計測などにより予め得た値が用いられる。

注目物体像抽出部４２、注目物体像復元部４３及び画像出力部４４は画像生成装置４を構成する計算機のプロセッサが記憶部４１からプログラムを読み出して実行することで実現される。

注目物体像抽出部４２は撮像装置２から実画像を取得し、当該実画像から注目物体像を抽出して、記憶部４１に記憶されている抽出物体像４１１を更新する。

なお、実画像から注目物体像を抽出する方法は従来多数提案されており、注目物体が移動物体であれば、移動物体が存在しない時に撮像された背景画像との差分を取る背景差分の手法などがある。

注目物体像復元部４３は、記憶部４１に記憶されている各種情報を参照して、任意視点による注目物体像を復元する。注目物体像復元部４３は、投影線生成手段４３１、物体対応点検出手段４３２及び物体像生成手段４３３で構成される。

投影線生成手段４３１は、仮想カメラ情報４１２に基づいて、仮想カメラ画像を構成する各画素に対応する仮想投影線を求める。なお、仮想カメラ画像は仮想カメラにより撮影された画像として画像生成装置４により生成される画像である。図２は投影線生成手段４３１の処理を説明する模式図であり、仮想カメラの仮想視点２１、仮想カメラ画像２２及び仮想投影線２３の幾何学的な関係を示す斜視図である。仮想投影線２３は仮想カメラ画像２２の画素２２ｐごとに生成され、仮想視点２１から当該画素２２ｐを通り無限遠に伸びる半直線である。

物体対応点検出手段４３２は仮想投影線上に注目点を設定し、実カメラ情報４１４に基づいて当該注目点の各実画像における投影位置を求め、全ての実画像にて投影位置が当該実画像から抽出された抽出物体像４１１内である注目点を三次元空間において注目物体内に位置する点であると判定し物体対応点として検出する。

物体対応点検出手段４３２は、注目点を判定領域情報４１３で指定される空間範囲内のみにて設定する。

物体像生成手段４３３は、物体対応点が検出された仮想投影線に対応する画素により仮想カメラ画像における立体物の像を生成し、これにより注目物体像が復元される。物体像生成手段４３３は注目物体像を構成する全画素について画素値を同じに定めることもできるし、画素ごとに異なる画素値を定めることもできる。例えば、物体像生成手段４３３は復元された注目物体像にテクスチャマッピングを施してもよい。例えば、テクスチャマッピング処理は、後述する方法で仮想投影線上での立体物の表面位置を求め、立体物の当該表面位置を実画像に投影し、その投影位置の画素値を復元注目物体像の画素値とする。また、物体像生成手段４３３は当該表面位置に基づいて、当該仮想投影線に対応する画素の画素値を定めると共に、当該画素値に対し、当該仮想投影線の方向における立体物のサイズに応じて調整を加えることもできる。例えば、仮想視点からの表面位置の距離に応じて画素の色相を変え、また、視線方向の物体サイズが大きいほど彩度を大きく定めることができる。

画像出力部４４は、仮想視点から見た監視エリアの背景画像に注目物体像復元部４３で生成された物体像を合成した画像を生成する。背景画像は仮想カメラ情報４１２に基づいて別途作成し記憶部４１に予め記憶させたものを読み出し利用するように構成することができる。

出力装置５は、画像生成装置４が生成する画像を表示するディスプレイやプロジェクタなどである。具体的には、出力装置５は画像出力部４４で生成された画像を表示する。

次に画像監視システム１の動作について説明する。

図３は注目物体像の復元処理の概略のフロー図である。なお、図３に示すフローの開始から終了までが１フレーム分の画像を生成するために必要な手続きに該当する。なお、実画像より注目物体像を抽出して記憶部４１に抽出物体像４１１を記憶する処理は、撮像装置２より新しい実画像を入力される度に逐次実行され、記憶部４１に記憶されている仮想カメラ情報４１２は、監視従事者が操作する入力装置３によって随時更新される。また、注目物体像復元部４３により図３に示す注目物体像の復元処理が終了すると、続いて画像出力部４４が注目物体像の復元結果をもとに仮想カメラ画像を生成する処理が実行される。

注目物体像復元部４３は、ステップＳ２からステップＳ６までの処理を、仮想カメラ画像を構成する各画素について繰り返す。仮想カメラ画像のサイズ（画素数）については、記憶部４１に記憶されている仮想カメラ情報４１２を参照する。

注目物体像復元部４３は投影線生成手段４３１として機能し、仮想視点を始点としステップＳ１で処理対象に選択された画素を通る仮想投影線を、当該画素の座標と仮想カメラ情報４１２とに基づいて計算する（ステップＳ２）。

注目物体像復元部４３は、仮想投影線を求めると、物体対応点検出手段４３２として機能し、記憶部４１に記憶されている判定領域情報４１３をもとに判定区間を計算する（ステップＳ３）。判定区間は仮想投影線にて注目点を設定する区間であり、判定領域情報４１３で定義される空間範囲内に存在する仮想投影線の部分である。図４は、判定領域情報４１３をバウンディングボックスで表現している場合の判定区間の例を示す模式図であり、判定区間は、仮想視点２１から伸びる仮想投影線２３がバウンディングボックス２５の境界面と交差する２点Ｐｎ，Ｐｆを両端とする区間となる。

物体対応点検出手段４３２は、判定区間にて順次、注目点を設定し、実画像の注目物体像から推定される注目物体の三次元空間での存在領域と各注目点の座標（以下、注目点座標）との包含関係を求めることにより、注目物体と仮想投影線との交差判定を行う（ステップＳ４〜Ｓ６）。

判定区間における注目点の設定の仕方には様々な方法が考えられる。例えば、図４の例では、注目点を初期値座標を点Ｐｎとし、仮想投影線２３に沿って点Ｐｆの方向へ予め定めた基準距離間隔ずつ順次、移動した座標に設定することができる。

ここで、物体対応点検出手段４３２は仮想投影線上に設定したいずれかの注目点が三次元空間における注目物体の存在領域内に含まれる場合に、当該仮想投影線が注目物体と交差すると判定する。よって、注目物体に交差する仮想投影線を検出し損ねることを避けるために、基準距離間隔を注目物体の奥行きより小さな値に設定することが好適である。具体的には、物体対応点検出手段４３２は各仮想投影線上に、注目物体の予め想定した奥行である想定サイズよりも小さい基準距離間隔ごとに注目点を設定する。

物体対応点検出手段４３２は注目点座標を更新すると（ステップＳ４）、当該注目点がステップＳ３で求めた判定区間内に存在するか否かを調べる（ステップＳ５）。注目点が判定区間内に存在する場合（Ｓ５にて「ＹＥＳ」の場合）、物体対応点検出手段４３２は注目物体が注目点座標を含むか否かの判定を行う（ステップＳ６）。一方、注目点が判定区間内に存在しない場合は（Ｓ５にて「ＮＯ」の場合）、処理対象となっている画素についての処理を終えてステップＳ１に戻り次の画素の処理に移る。

ステップＳ６にて、ステップＳ４で設定した注目点座標が注目物体内に位置すると判定した場合（Ｓ６にて「ＹＥＳ」の場合）、物体対応点検出手段４３２は例えば、処理対象となっている画素にフラグを立てた上でステップＳ１に処理を進め次の画素の処理に移る。一方、注目点座標が注目物体内にないと判定した場合（Ｓ６にて「ＮＯ」の場合）、物体対応点検出手段４３２はステップＳ４に処理を進めて注目点座標を更新する。

注目物体が注目点座標を含むか否かを判定する処理では、物体対応点検出手段４３２は実カメラ情報４１４を用いて、各撮像装置２の画像面に注目点を投影し、その投影座標が当該撮像装置２による注目物体像内に含まれるかを判定する。そして、全ての撮像装置２について、投影座標が注目物体像内にある場合に、三次元空間における注目物体の存在する領域内に注目点が存在すると判定し、当該注目点を物体対応点と判定する。すなわち、物体対応点を有する仮想投影線２３は注目物体と交差していることになる。

なお、仮想カメラ画像の注目物体像に実画像をテクスチャマッピングする場合などにおいて、注目物体と仮想視点との間の距離を精度良く求める必要が生じる。そのために物体対応点検出手段４３２は、仮想投影線上での注目物体の表面位置と見做せる物体対応点を求める機能を備えることができる。

当該機能は基準距離間隔を小さくすることでも実現できるが、物体対応点検出手段４３２はより少ない計算量で表面位置を推定する表面位置探索処理を行う。具体的には、物体対応点検出手段４３２は基準位置探索処理として、仮想投影線上にて、基準距離間隔ごとに注目点を設定して物体対応点を探索し、当該物体対応点を基準位置に定める処理を行い、しかる後、表面位置探索処理を行う。表面位置探索処理では、基準位置から仮想カメラに向けて、基準距離間隔よりも小さい間隔で注目点を順次設定し、物体対応点ではなくなる注目点を探索して、当該仮想投影線上での注目物体の表面位置を推定する。例えば、表面位置探索処理でのｎ番目の注目点が物体対応点と判定され、ｎ＋１番目の注目点が物体対応点ではないと判定された場合、表面位置はそれら注目点の間にあることになる。そこで、物体対応点検出手段４３２は例えば、近似的に、ｎ番目の注目点の座標を表面位置とすることができる。

図５は当該表面位置探索処理を説明する模式図である。基準位置探索処理では、判定区間の手前側の端点Ｐｎから仮想視点２１とは逆の方向（矢印２６が示す方向）へ、注目物体のサイズに応じて設定される基準距離間隔αで注目点座標（“●”印）を移動、更新して注目物体２７が注目点座標を含むか判定する。そして、注目物体２７に含まれると最初に判定された注目点Ｐａを求め、これを基準位置とする。次に、表面位置探索処理では、基準位置Ｐａから仮想視点２１へ向かう方向（矢印２８が示す方向）へ、基準距離間隔αより小さな間隔βで注目点座標（“○”印）を移動、更新して注目物体２７が注目点座標を含むか判定する。そして、注目物体に含まれない最初の注目点Ｐｃが現れるまで注目点を更新する。当該注目点Ｐｃが得られると、注目物体の表面位置は注目点Ｐｃとその直前の注目点Ｐｂとの間に存在することが分かるので、注目点の更新を中止する。

この処理により、比較的大きい間隔αで探索される基準位置Ｐａよりも表面に近い点Ｐｂが得られ、仮想視点と注目物体との間の距離をより厳密に求めることができる。この処理では、点Ｐｎから小さい間隔βで順次、注目点を設定して表面位置を探索する方法よりも、設定する注目点の数が少なくなり易く、計算量の抑制を図ることができる。

また、物体対応点検出手段４３２は、仮想投影線上での注目物体の裏面位置を推定する裏面位置探索処理を行ってもよい。当該裏面位置探索処理では、上述した基準位置探索処理で求めた仮想投影線上の基準位置から表面位置とは反対の方向へ、基準距離間隔αよりも小さい間隔β’で注目点を順次設定し、物体対応点ではなくなる注目点を探索して、当該仮想投影線上での注目物体の裏面位置を推定する。なお、β’はβと同じ値、異なる値のいずれに設定することもできる。

物体対応点検出手段４３２で算出した仮想投影線上での表面位置や裏面位置は、当該仮想投影線に対応する画素の画素値を定める処理にて利用することができる。例えば、表面位置又は裏面位置に応じて注目物体像にシェーディングを施し、立体感を付与することができる。

また、例えば、物体像生成手段４３３は、仮想投影線上の表面位置を用いたテクスチャマッピングとして、例えば、当該表面位置に対応する注目物体表面を撮影可能な視点を有した撮像装置２に当該表面位置の点を投影し、その投影位置の実画像の画素値を当該仮想投影線に対応する画素値とする処理を行うことができる。

また、物体対応点検出手段４３２にて表面位置と裏面位置との両方を算出し、物体像生成手段４３３は、仮想投影線上での表面位置及び裏面位置から推定される視線方向の物体サイズ（物体の厚さ）に応じて、当該仮想投影線に対応する画素の画素値を定める処理を行うこともできる。例えば、或る仮想投影線での物体の厚さが注目物体の想定サイズ以下であるならば、当該仮想投影線に捉えられている物体は注目物体ではないとして仮想カメラ画像に表示しないようにする。これにより、例えば、人を注目物体とする場合に、空間に漂う虫や木の葉、飾りなどといったノイズ成分を取り除いて、必要とする人物像からなる仮想カメラ画像を生成することができる。

さらに物体対応点検出手段４３２の別の機能として、仮想投影線のうち他の仮想投影線にて検出された物体対応点のまわりの所定の近傍空間内に含まれる部分にて、基準距離間隔αよりも小さい間隔γで注目点を設定する近傍空間探索処理を備えることもできる。例えば、物体対応点検出手段４３２は、仮想カメラ画像の或る画素に対応する仮想投影線にて物体対応点を検出すると、当該物体対応点の周囲に所定の近傍空間を設定する。近傍空間は例えば、仮想視点における視野において当該画素の近傍８画素の仮想投影線を含む範囲を有し、かつ仮想投影線のうち、仮想視点からの距離が［Ｒ−δ１，Ｒ＋δ２］なる範囲である部分を含むように設定することができる。ここで、Ｒは検出された物体対応点の仮想視点からの距離である。またδ１，δ２はγより大きく設定される値であり、δ１＝δ２であってもよい。γは仮想投影線に沿った方向とそれに直交する方向とで別々に設定することができ、仮想投影線に沿った方向に関してはγを一定の距離で定義し、直交する方向に関してはγを隣接する仮想投影線間の角度で定義することができる。

一般的に、物体対応点が検出された周囲の空間には、注目物体を構成する他の物体対応点が存在する可能性が高い。そこで、上述の近傍空間探索処理では、近傍空間にて基準距離間隔αより小さい距離間隔γで注目点を設定して物体対応点を探索することにより、注目物体を構成する部分のうちサイズの小さい部分であっても物体対応点を求めることが可能となり、仮想カメラ画像における精密な物体像を得ることができる。

なお、近傍空間探索処理で新たに検出された物体対応点に基づいて新たな近傍空間を設定して、さらに近傍空間探索処理を行ってもよい。その際、新たな探索は、それまでの処理で探索された空間を除く部分で行う。

基準位置探索処理は、図５を用いて説明した点Ｐｎから点Ｐｆの方へ順次、注目点を設定する処理とは逆に、点Ｐｆから点Ｐｎの方へ向けて順次、注目点を設定してもよい。また、注目点の設定は一方向に一定間隔で順番にシフトさせる方法に限られない。例えば、最初に判定区間を二分する位置に注目点Ｐ１を設定し、次に判定区間にＰ１による分割で生成された２つの区間それぞれを二分する位置に注目点Ｐ２，Ｐ３を設定し、以降、この手順を繰り返して順次、区間を二分する注目点を設定してもよい。なお、この処理は、注目点の間隔が注目物体のサイズ以下になった段階で終了することができる。

仮想カメラ画像の解像度は画素数と共に上がる。すなわち仮想カメラの画角内に設定される仮想投影線の本数に応じて解像度が定まり、画角が同じである場合、仮想投影線の密度が大きいほど解像度が高くなる。本発明では、画素値は仮想投影線ごとの処理で算出されるので、当該処理は仮想投影線の密度に応じた計算量となる。一方、ボクセルでモデリングした立体物を投影して仮想カメラ画像を生成する場合に仮想投影線の密度に応じた解像度を得ようとすると、仮想投影線に直交する方向に関するボクセルの密度は基本的に仮想投影線の密度よりも高く設定する必要がある。この点で、本発明の仮想カメラ画像の生成処理はボクセルを用いた手法よりも計算量が減り得る。

また、仮想投影線に沿った方向に関しては、ボクセルでモデリングした立体物を投影して仮想カメラ画像を生成する場合には、基本的に全てのボクセルについて仮想カメラ画像における投影位置を算出する処理を行う。一方、本発明では仮想投影線上に離散的に注目点を設定し物体対応点を探索する処理を行う。各仮想投影線についての当該処理は基本的に、いずれかの注目点にて物体対応点であることが検出された段階で終了することができるので、概してボクセルを用いた手法よりも計算量が減ることが期待できる。

なお、上述の実施形態では、注目点を設定する空間範囲として、三次元空間において注目物体が存在し得る領域を、実際に注目物体が三次元空間のどこに位置しているかには関係なく予め設定し、判定領域情報４１３として記憶部４１に格納している。一方、注目点を設定する空間範囲を抽出物体像４１１に基づいて定めることもできる。例えば、複数の撮像装置２の抽出物体像４１１から、三次元空間における注目物体が存在するとおぼしい領域を推定し、物体対応点検出手段４３２はその処理を当該領域内に限定して行う。これにより物体対応点の探索処理の計算量の一層の削減が図れる。

また、上述の実施形態では、物体対応点検出手段４３２にて、全ての撮像装置２の画像面（実画像）に注目点を投影し、投影位置が全ての実画像における注目物体像内に含まれている否かを判定することにより、当該注目点が物体対応点であるか否かを判定しているが、これに限定されるものではない。すなわち、投影位置が、「全て」ではなく「複数（少なくとも２つ以上）」の実画像における注目物体像内に含まれている注目点を物体対応点であると判定してもよい。一般的に、実画像の注目物体像内に投影位置が含まれている撮像装置２の数が多いほど、当該投影位置に対応する注目点が物体対応点である可能性が高い。そのため、このような他の実施形態の場合、「全て」を判定条件とした実施形態の場合よりも、一般的に仮想カメラ場像における注目物体像の復元精度が低下する。したがって、このような他の実施形態においては、物体像生成手段４３３にてテクスチャマッピング処理を行う際に、実画像の注目物体像内に投影位置が含まれている撮像装置２の数が多い注目点に対応する仮想投影線であるほどその画素の画素値を不透明にし、逆に数が少ない注目点に対応する仮想投影線であるほどその画素の画素値を高い透明度にするのがよい。また、上記判定条件として撮像装置２の数を少なくするほど、仮想カメラの位置設定に制限を加えてもよい。例えば、上記判定条件として撮像装置２の数を２つとした場合、仮想カメラの設置位置は当該２つの撮像装置２の設置位置間を結ぶ直線上にしか設定できないよう制限を加えてもよい。

１画像監視システム、２撮像装置、３入力装置、４画像生成装置、５出力装置、４１記憶部、４２注目物体像抽出部、４３注目物体像復元部、４４画像出力部、４１１抽出物体像、４１２仮想カメラ情報、４１３判定領域情報、４１４実カメラ情報、４３１投影線生成手段、４３２物体対応点検出手段、４３３物体像生成手段。

Claims

複数の実カメラにより互いに異なる視点で立体物を同時撮像した実画像のそれぞれから当該立体物の物体像を抽出し、当該物体像に基づいて当該立体物を仮想カメラにより撮像した仮想カメラ画像を生成する画像生成装置であって、
前記実カメラのカメラパラメータを表す実カメラ情報と、前記仮想カメラのカメラパラメータを表す仮想カメラ情報とを記憶した記憶部と、
前記仮想カメラ情報を用いて、前記仮想カメラ画像の各画素に対応する仮想投影線を求める投影線生成手段と、
前記仮想投影線上に注目点を設定し、前記実カメラ情報を用いて当該注目点の前記各実画像における投影位置を求め、複数の前記実画像にて前記投影位置が前記物体像内である前記注目点を物体対応点として検出する物体対応点検出手段と、
前記物体対応点が検出された前記仮想投影線に対応する前記画素により前記仮想カメラ画像における前記立体物の像を生成する物体像生成手段と、を有し、
前記物体対応点検出手段は、
前記仮想投影線上にて、基準距離間隔ごとに前記注目点を設定して前記物体対応点となる注目点を探索して、当該仮想投影線上での前記立体物の表面位置を推定する表面位置探索処理と、
前記仮想投影線上にて前記表面位置から前記仮想カメラとは反対の方向へ前記注目点を順次設定し前記物体対応点ではなくなる前記注目点を探索して、当該仮想投影線上での前記立体物の裏面位置を推定する裏面位置探索処理と、を行い、
前記物体像生成手段は、前記仮想投影線上での前記表面位置及び前記裏面位置から推定される視線方向の物体サイズに応じて、当該仮想投影線に対応する前記画素の画素値を定めること、
を特徴とする仮想カメラ画像生成装置。
前記物体対応点検出手段は、前記各仮想投影線上に、前記立体物の想定サイズよりも小さい基準距離間隔ごとに前記注目点を設定することを特徴とする請求項１に記載の仮想カメラ画像生成装置。
前記物体対応点検出手段は、前記仮想投影線のうち他の前記仮想投影線にて検出された前記物体対応点のまわりの所定の近傍空間内に含まれる部分では、前記基準距離間隔よりも小さい間隔で前記注目点を設定すること、を特徴とする請求項１又は請求項２に記載の仮想カメラ画像生成装置。
前記記憶部は、前記立体物が存在し得る三次元の空間範囲を記憶し、
前記物体対応点検出手段は、前記空間範囲内のみにて前記注目点を設定すること、を特徴とする請求項１から請求項３のいずれか１つに記載の仮想カメラ画像生成装置。