JP3728160B2

JP3728160B2 - 奥行き画像計測装置及び方法、並びに複合現実感提示システム

Info

Publication number: JP3728160B2
Application number: JP34669999A
Authority: JP
Inventors: 清秀佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-12-06
Filing date: 1999-12-06
Publication date: 2005-12-21
Anticipated expiration: 2019-12-06
Also published as: US7295697B1; JP2001169308A

Description

【０００１】
【発明の属する技術分野】
本発明は所定位置から取得した実空間画像から、画像取得位置からその画像に含まれる物体との距離情報（奥行き情報）を取得する奥行き情報計測技術に関し、特に計測処理速度と処理精度の両面に優れた奥行き情報計測技術に関する。
【０００２】
【従来の技術】
近年、現実空間と仮想空間の継ぎ目のない結合を目的とした複合現実感（Mixed Reality、ＭＲ）に関する研究が盛んになっている。ＭＲは従来、現実空間と切り離された状況でのみ体験可能であったバーチャルリアリティ（ＶＲ）の世界と現実空間との共存を目的とし、ＶＲを増強する技術として注目されている。
【０００３】
複合現実感を実現する装置として代表的なものは、ヘッドマウントディスプレイ（ＨＭＤ）である。すなわち、現実空間（又はそのビデオ画像）と仮想空間画像をＨＭＤに合成して表示することにより、複合現実感を実現するものである。また、ＨＭＤを用いたＭＲの方式としては、半透過型（シースルー型）のヘッドマウントディスプレイ（ＨＭＤ）にコンピュータグラフィックス（ＣＧ）等で作成した仮想空間画像を表示することで、体験者自身の目で直接視認した現実空間とディスプレイ上の仮想空間画像が体験者の目で合成されて複合現実空間が体感される光学シースルー方式と、ＨＭＤ等に装着したビデオカメラで撮影した画像データにＣＧ等の画像を合成した複合現実空間画像を生成した後、その画像をＨＭＤに表示することにより体験者が複合現実空間を体感するビデオシースルー方式がある。
【０００４】
ＭＲの用途としては、患者の体内の様子を透過しているように医師に提示する医療補助や、工場において製品の組み立て手順を実物に重ねて表示する作業補助、現実空間に仮想空間画像で生成された仮想の敵やボール等を表示し、射撃やスポーツなどを行なうゲーム、現実空間の部屋に仮想の家具を配置するリビングシミュレーションなど、今までのＶＲとは質的に全く異なった新たな分野が期待されている。
【０００５】
このような複合現実空間を実現するためには、現実空間の物体の位置関係を把握しておく必要がある。すなわち、仮想空間画像で示される物体（仮想物体）を表示する場合には、現実空間に存在する物体に隠れる部分は表示しないようにする必要があるし、仮想物体を移動させる場合であれば、現実空間の物体と重なる位置には移動できないようにする必要がある。また、ゲームなどで現実空間の物体と仮想物体との当たり判定を行なう場合にも、現実物体の位置情報が必要になる。
【０００６】
現実空間の物***置情報を取得する方法として、レーザー光を走査してその戻り光受信までの時間により距離情報（奥行き情報）を求めるレーザレンジファインダを用いる方法や、複数のビデオカメラにより現実空間を撮影し、その画像データから、撮影位置から物体までの距離を求める多眼ステレオ法などがある。また、奥行き情報の利用に当たっては、距離に応じて輝度を変化させたり、色を割り当てるなどの方法で画像化した奥行き画像の形で用いることが多い。
【０００７】
【発明が解決しようとする課題】
複合現実感提示システムにおいては、ユーザの視点位置において現実空間と仮想空間とを違和感無く整合させて提示（表示）する必要がある。ユーザの視点位置は常に移動するため、奥行き情報及び視点位置情報の検出及びこれらの情報に基づく描画を実時間に近い速度で行なう必要がある。特にゲームなどのアプリケーションにおいてはユーザの視点位置は高速にかつ大きく移動するため、奥行き情報の取得（奥行き画像の生成）にも更に高速性が要求される。
【０００８】
しかしながら、従来の奥行き情報計測装置においては、演算が高速であれば得られる奥行き情報の精度は低く、高精度の情報を得ようとすると演算が複雑になり処理時間が長くなるという問題を有していた。
【０００９】
本発明はこのような従来技術の問題点に鑑みなされたものであり、高速な演算時間で高精度な奥行き情報の取得が可能な奥行き情報計測装置及び方法、並びに複合現実感提示システムを提供することを目的とする。
【００１８】
また、本発明の別の要旨は、基準画像と、この基準画像とステレオ画像対を形成する少なくとも１つの周辺画像とから、基準画像の取得位置における奥行き情報を計測する奥行き情報計測装置であって、基準画像と周辺画像から、第１の奥行き情報を計測する第１の奥行き情報計測手段と、前記基準画像の特性に応じて、基準画像と周辺画像から、第１の奥行き情報計測手段と異なる方法により、第２の奥行き情報を計測する第２の奥行き情報計測手段と、基準画像もしくは周辺画像の所定領域毎に、第１の奥行き情報と第２の奥行き情報のいずれか一方を選択する選択手段と、第１の奥行き情報と第２の奥行き情報を、選択信号に応じて合成して基準画像の取得位置における奥行き情報として出力する合成手段とを有し、第１の奥行き情報計測手段が、第２の奥行き情報計測手段よりも処理速度が速く、第２の奥行き情報が、第１の奥行き情報よりも高精度であることを特徴とする奥行き情報計測装置に存する。
【００１９】
また、本発明の別の要旨は、基準画像と、この基準画像とステレオ画像対を形成する少なくとも１つの周辺画像とから、基準画像の取得位置における奥行き情報を計測する奥行き情報計測方法であって、基準画像と周辺画像から、第１の奥行き情報を計測する第１の奥行き情報計測ステップと、基準画像と周辺画像から、第１の奥行き情報計測手段と異なる方法により、第２の奥行き情報を計測する第２の奥行き情報計測ステップと、前記基準画像の特性に応じて、基準画像もしくは周辺画像の所定領域毎に、第１の奥行き情報と第２の奥行き情報のいずれか一方を選択する選択ステップと、第１の奥行き情報と第２の奥行き情報を、選択信号に応じて合成して基準画像の取得位置における奥行き情報として出力する合成ステップとを有し、第１の奥行き情報計測ステップが、第２の奥行き情報計測ステップでの計測処理よりも処理速度が速い方法により第１の奥行き情報を計測し、第２の奥行き情報が、第１の奥行き情報よりも高精度であることを特徴とする奥行き情報計測方法に存する。
【００２０】
また、本発明の別の要旨は、コンピュータ装置に本発明の奥行き情報計測方法を実現させるためのプログラムを格納したコンピュータ装置読み取り可能な記録媒体に存する。
【００２１】
【発明の実施の形態】
以下、本発明をその好適な実施形態に基づき更に詳細に説明する。
（第１の実施形態）
図１は、本発明の実施形態に係る奥行き情報計測装置の構成例を示すブロック図である。本実施形態において、奥行き情報は奥行き画像であり、多眼ステレオ法を用いる場合の構成例を示す。
【００２２】
図において、奥行き情報計測装置は、基準カメラ１１及び周辺カメラ１２からなるステレオカメラと、動き検出部２０と、高速ステレオ処理部３０と、高精度ステレオ処理部４０及び画像合成部５０とからなる。基準カメラ１１で撮影された基準画像は，動き検出部２０，高速ステレオ処理部３０及び高精細ステレオ処理部４０にそれぞれ入力される．一方，周辺カメラ１２で撮影された周辺画像は，高速ステレオ処理部３０及び高精細ステレオ処理部４０に入力される．ここで、図を簡単にするためにステレオカメラは２台のカメラで構成されているように示しているが、後述する高速ステレオ処理部３０及び高精度ステレオ処理部４０における処理精度を向上させるため、実際には３台以上のカメラを用いることが好ましい。特に、５台、９台、１３台・・・のように、１台の基準カメラを中央に配置した正方形領域に、複数台の周辺カメラを規則的に配置した所謂カメラマトリックスを用いることが好ましい。３台目以降のカメラについても、周辺カメラ１２と同様に、高速ステレオ処理部３０及び高精度ステレオ処理部４０にそれぞれ入力されるように構成すればよい。
【００２３】
高速ステレオ処理部３０と高精度ステレオ処理部４０は、それぞれ単独でステレオカメラで撮影した画像データから奥行き情報を計測し奥行き画像を生成する機能を有するが、高速ステレオ処理部３０は高精度ステレオ処理部４０と比較して精度が低いが高速に奥行き画像を生成する。逆に、高精度ステレオ処理部４０は高速ステレオ処理部３０よりも精度の高い奥行き画像を生成可能であるが、生成に必要とする時間が長い。
【００２４】
ここで、上述の実時間処理に近い高速処理を実現するためには、少なくとも高速ステレオ処理部３０はビデオフレームレート（３０フレーム／秒又は６０フレーム／秒）における１フレームの処理時間以下の時間で奥行き画像を出力可能であることが好ましい。すなわち、高速ステレオ処理部３０は１画面分の画像データを処理して奥行き画像を生成する処理が３３ミリ秒もしくは１７ミリ秒以内で可能な能力を有することが好ましい。このような高速ステレオ処理部３０は、例えば金出武雄、木村茂：「ビデオレート・ステレオマシン」、日本ロボット学会誌解説、vol.13, No.3, pp. 322-326, 1995や、後述する高精度ステレオ処理の例を開示するK. Satoh and Y. Ohta, "Occlusion detectable stereo using a camera matrix", Proc. 2nd Asian Conf. on Computer Vision, pp II-331-335, 1995等の論文に開示に基づき構成することができる。
【００２５】
このような高速ステレオ処理部３０における具体的な処理としては、（１）対応候補点の相違度（又は類似度）演算、（２）類似度による視差推定、（３）推定された視差の画像化という流れになる。以下、各処理について説明する。
【００２６】
例えば、図２に示されたように、互いに光軸が平行で、全レンズ中心を通る平面と光軸が直交するように等間隔で配置されたＮ台（本図ではＮ＝９）のカメラマトリクスによって撮影された、中心画像（基準画像）Ｉ^０，０とＮ−１枚の周辺画像Ｉ^ｋ，ｌ（図２では−１≦ｋ，ｌ≦１）によって構成されるＮ−１組のステレオ画像対から、中心画像Ｉ^０，０上の画素Ｉ^０，０（ｘ，ｙ）における視差推定は次の手順で行なうことができる。
【００２７】
（１）相違度の算出
まず画素Ｉ^０，０（ｘ，ｙ）と、視差をｄと仮定したときの各種右辺画像上の対応点Ｉ^ｋ，ｌ（ｘ−ｋｄ，ｙ−ｌｄ）との相違度ｅ^ｋ，ｌ（ｘ，ｙ，ｄ）を求める。相違度は、２画素間（または、各画素を中心とした小ブロック間）のＲＧＢ空間におけるユークリッド距離を用いる。
【００２８】
（２）推定視差の算出
各ステレオ画像対で得られた相違度ｅ^ｋ，ｌ（ｘ，ｙ，ｄ）の総和
【００２９】
【数１】

を視差ｄのペナルティ値として定義し、これを最小とするｄをＩ^０，０（ｘ，ｙ）における推定視差ｄ’とする。
【００３０】
（３）推定された視差の画像化
各画素に対して求めた推定視差ｄ’の値を、対応する画素の画素値として与えることで、視差画像、即ち奥行き画像を生成する。
一方、高精度ステレオ処理部４０は、高速ステレオ処理部３０よりも処理速度は遅くても、得られる奥行き画像の精度が高くなくてはならない。具体的には高速ステレオ処理部３０では考慮していない条件、例えば隠れの影響を考慮して奥行き画像生成を行なうことにより、高速度ステレオ処理部３０で生成する奥行き画像よりも高精度な奥行き画像を生成することができる。
【００３１】
最も単純な隠れの検出方法は、対となるステレオ画像の一方には存在するが、一方には存在しない部分を探索することである。また、ステレオ画像を取得するためのカメラの台数を増加させることによって隠れ検出の精度を向上させることが可能である。このような多眼ステレオ法において、隠れの影響を考慮した奥行き画像を生成する方法としては、例えば上述のK. Satoh and Y. Ohta, "Occlusion detectable stereo using a camera matrix", Proc. 2nd Asian Conf. on Computer Vision, pp II-331-335, 1995等の論文に開示されている。
【００３２】
具体的には、高速ステレオ法における隠れの影響を以下のような原理に基づいて補正した推定視差を算出する。
隠れは、カメラマトリクスの中心に位置するカメラで撮影した中心画像上では観測できる点が、その点よりも手前に位置する物体によって隠され、他のカメラで撮影した１つ以上の画像（周辺画像）上では観測できないという現象である。
【００３３】
ステレオ画像対において対応する画素間の実際の視差ｄに対して、隠れが発生している部分においては、前述した高速ステレオ処理における対応点Ｉ^ｋ，ｌ（ｘ−ｋｄ，ｙ−ｌｄ）は隠れの原因となる物体の像であり、相違度ｅ^ｋ，ｌ（ｘ，ｙ，ｄ）は小さくならない。この結果、式（１）に示した視差ｄのペナルティ値ｅ（ｘ，ｙ，ｄ）も大きくなり、ペナルティ値を最小にする値として実際の視差ｄとは異なる値が選ばれる可能性が高い。
【００３４】
異なる値の選択を回避するには、隠れが発生している周辺画像を用いずに式（１）の計算を行なえばよい。しかしながら、相違度が大きい場合に、それが視差ｄが正しくないことを意味するのか、隠れによるものかを判別することは困難である。
【００３５】
周辺画像を撮影するカメラのレンズ中心と、撮影される空間の対象点とを結ぶ直線上に他の物体が存在する場合、このカメラで撮影した周辺画像には隠れが含まれることになる。従って、隠れを含んだ周辺画像の組み合わせは、隠れの原因となる物体の輪郭をカメラマトリクスの格子点で標本化したものと考えることができる。
【００３６】
隠れの原因となる物体の輪郭が局所的には直線であると仮定すれば、隠れを有する周辺画像の組み合わせを８通りに限定し、偽の視差と隠れが発生している正しい視差を以下のようにして区別することが可能となる。
【００３７】
隠れを含んだ周辺画像の組み合わせを表現したタイプ０〜８のマスク（隠れマスク）Ｍ０〜Ｍ８を図３のように用意する。黒い部分が隠れを有する周辺画像とし、その値を０、白い部分が隠れのない画像とし、その値を１とそれぞれ表す。また、Ｍ０は全ての画像において隠れがない場合である。
【００３８】
前述のように、隠れが含まれる周辺画像は用いないとすると、隠れマスクＭｔで表されるような状態が生じていると仮定したときの視差ｄに対するペナルティを
【００３９】
【数２】

と再定義する。
【００４０】
ここで、ｎ_ｔは各マスクＭｔの周辺画像における１の数である。ｗ_ｔは隠れが含まれない場合にｔ＝０が選択されやすくなるような重みで、ｗ０＝１、それ以外のときは１よりもわずかに大きな値に設定する。このとき、ｅ_ｔ（ｘ，ｙ，ｄ）は実際の視差ｄを仮定し、実際に隠れが含まれる周辺画像の組み合わせに対応する隠れマスクを用いて評価した場合に最小となる。
【００４１】
そして、高速ステレオ処理において記載したペナルティｅの評価式（１）を、
【数３】

と再定義し、これを最小とする視差ｄを隠れを考慮したＩ^０，０（ｘ，ｙ）における推定視差ｄ’とする。そして、この推定視差ｄ’を画像化することにより、隠れを考慮した奥行き画像（視差画像）が生成される。
【００４２】
高精度ステレオ処理部４０が１つの奥行き画像を生成するのに許される時間は、奥行き画像の用途及び高速ステレオ処理部３０で得られる奥行き画像精度、処理時間等の条件に応じて適宜決定する。逆に、これらの条件を満たす範囲内で最も精度良く奥行き画像を生成することの可能な処理を高精度ステレオ処理部４０で行なうように決定することもできる。
【００４３】
本実施形態の奥行き情報計測装置は、高速ステレオ処理部３０で生成した奥行き画像データと、高精度ステレオ処理部４０で生成した奥行き画像データを、画像データの特性に応じて切り替えて合成し、１画面分の奥行き画像を生成することを特徴とする。
【００４４】
本実施形態においては、動き検出部２０において基準カメラ１１が取得した基準画像の動きを検出し、画像合成部５０は動き検出部２０の検出結果を基に、動きのある部分には高速ステレオ処理部３０の出力する奥行き画像データを、動きの無い部分については高精度ステレオ処理部４０の生成する奥行き画像データを選択して合成を行ない、１画面分の奥行き画像を生成する。
【００４５】
すなわち、画像データ中、現実空間中の静止物体など、距離情報の変化の周期が高精度ステレオ処理部４０で１画面分の奥行き画像生成に必要な時間（単位処理時間）に対して十分長い部分については高精度ステレオ処理部４０の生成する奥行き画像データを、移動物体など距離情報の変化の周期が高精度ステレオ処理部４０の単位処理時間よりも短い部分については高速ステレオ処理部３０の生成する奥行き画像データを選択することにより、精度と処理速度をバランスよく両立した奥行き画像を得ることができる。
【００４６】
この場合、高精度ステレオ処理部４０の生成した奥行き画像データは、高速ステレオ処理部３０で生成した複数の奥行き画像データに対して共通に使用されることになる。しかし、上述したように高精度ステレオ処理部４０の生成した奥行き画像を用いるのは、静止部分のような距離情報の変化が十分長い周期の部分であるから、実使用上の問題が生じる可能性は非常に小さい。
【００４７】
動き検出部２０としては、ＭＰＥＧエンコーダ等、動画の圧縮符号化を行なう回路を用いて実現することができる。動き検出部２０の出力する動き情報としては、最低限動きのあった領域が認識できればよいが、動きの量、方向等の情報を含んでいても良い。
【００４８】
画像合成部５０は、動き検出部２０からの動き情報によって高速ステレオ処理部３０の出力か高精度ステレオ処理部４０の出力かを１データ毎、即ち画像データの１画素毎に選択するセレクタである。選択の判断基準は動きが検出されたかされなかったかという最も単純な場合から、所定の移動量以下であれば高精度ステレオ処理部４０の出力、所定の以上量を超える場合には高速ステレオ処理部３０の出力としても良い。
【００４９】
図４は、動作開始時における各部出力のタイミングを示した図である。ステレオカメラのフレームレートの逆数（すなわち、１フレーム分の画像取得時間）をｔとし、ｔ０〜ｔ６はｔ間隔であるとする。説明を簡単にするため、高速ステレオ処理部３０が１画面分の処理を行なうのに必要な時間がｔ、高精度ステレオ処理部４０の処理時間が３ｔ、画像合成部５０が高速ステレオ処理部３０の出力と高精度ステレオ処理部４０の出力とを合成して出力するのに時間ｔ必要であるとする。また、図示しないが、動き検出部２０はｔに対して十分短い時間で動き情報を検出し、画像合成部５０に供給可能であるものとする。
【００５０】
まず、時刻ｔ０において、ステレオカメラが画像Ｉ０を取得する。この画像Ｉ０は動き検出部２０、高速ステレオ処理部３０及び高精度ステレオ処理部４０に入力され、処理が開始される。
【００５１】
高速ステレオ処理部３０の処理はｔ時間後の時刻ｔ１に終了し、画像データＩ０に対応する奥行き画像Ｓ０が画像合成部５０へ出力される。この時点では高精度ステレオ処理部４０の処理は終了していないため、画像合成部５０は高速ステレオ処理部３０の出力Ｓ０をそのまま出力し、時刻ｔ２に出力を完了する。
【００５２】
そして、時刻ｔ１で取得した画像データＩ１に対する高速ステレオ処理部３０の出力Ｓ１が画像合成部５０に供給される。時刻ｔ２においても高精度ステレオ処理部４０の処理は終了していないため、画像合成部５０は再び高速ステレオ処理部３０の出力Ｓ１をそのまま出力する。
【００５３】
時刻ｔ３になると、高精度ステレオ処理部４０の処理が終了し、取得画像データＩ０に対応する高精度の奥行き画像Ｈ０が出力される。一方、同時刻ｔ３において、高速ステレオ処理部３０では時刻ｔ２で取得した画像データＩ２に対応する奥行き画像Ｓ２が出力される。
【００５４】
画像合成部５０は、動き検出部２０が時刻ｔ３及びｔ２における画像データＩ３及びＩ２に基づいて求めた動き情報に基づき、動きが所定値以下の部分については高精度ステレオ処理部４０の出力した奥行き画像Ｈ０を、それ以外の部分については高速ステレオ処理部３０の出力した奥行き画像Ｓ２を選択して出力する。
【００５５】
時刻ｔ４〜ｔ６においては、高精度ステレオ処理部４０の出力Ｈ０と、高速ステレオ処理部３０の出力Ｓ２〜Ｓ４とを用いて、画像合成部５０が最終的な奥行き画像を出力する。時刻ｔ６で高精度ステレオ処理部４０の次の出力である奥行き画像Ｈ３が得られるので、図示しない時刻ｔ７〜ｔ９においてはこの奥行き画像Ｈ３と高速ステレオ処理部３０の出力する奥行き画像Ｓ５〜Ｓ７を用いて最終的な奥行き画像Ｈ３＋Ｓ５、Ｈ３＋Ｓ６及びＨ３＋Ｓ７が得られる。以後同様に処理を行なう。
【００５６】
また、本実施形態において、動き情報を高速ステレオ処理部３０に供給し、動きがほぼ無く、高精度ステレオ処理部４０の出力を利用できると思われる領域については高速ステレオ処理部３０の処理を省くことも可能である。ただし、この場合には、動き検出部２０の処理速度が高速ステレオ処理部３０の処理速度に比べて十分早くないと大きな効果は期待できない。
【００５７】
（第２の実施形態）
第１の実施形態においては、動き検出部２０による動き情報によって高速ステレオ処理部３０の出力と高精度ステレオ処理部４０の出力を選択するように構成した場合について説明したが、動き情報以外にも選択条件を用いることができることはいうまでもない。
【００５８】
本実施形態は、高速ステレオ処理部３０の出力と高精度ステレオ処理部４０の出力を選択する条件として、奥行き情報の信頼度を用いることを特徴とする。
【００５９】
図５は、本実施形態に係る奥行き情報計測装置の構成例を示す図である。図１に示した第１の実施形態に係る装置の構成とは、動き検出部２０が無く、動き情報の代わりに高速ステレオ処理部３０’から出力される奥行き情報の信頼度を用いる点のみが異なる。本実施形態において，I^0,0(x,y)における推定視差S(x,y)の信頼度とは、例えば，その導出の際のペナルティ値e(x,y,S(x,y))（あるいは定数からのペナルティ値の差分値）によって定義される．高速ステレオ処理部３０’は，奥行き画像Ｓ以外に，各画素毎に推定視差の信頼度を画素値として保存した信頼度画像を出力する。
【００６０】
そして、高速ステレオ処理部３０’において所定の領域毎に奥行き画像データの信頼度を算出し、信頼度の低い領域については高精度ステレオ処理部４０の出力を、信頼度の高い領域については高速ステレオ処理部３０’の出力を画像合成部５０’で選択する。
【００６１】
（第３の実施形態）
図６は、本発明の第３の実施形態に係る奥行き情報計測装置の構成を示すブロック図である。本実施形態は、高速ステレオ処理部３０’の出力と高精度ステレオ処理部４０の出力を選択する条件として、動き情報と奥行き情報の信頼度の両方を用いることを特徴とする。
【００６２】
具体的な選択条件としては、例えば信頼度が所定の値より低いか、動きが処理量よりも少ない領域については高精度ステレオ処理部４０の出力を、それ以外の領域は高速ステレオ処理部３０’の出力を画像合成部５０’’で選択して出力するように構成すればよい。
【００６３】
（第４の実施形態）
第２の実施形態においては、高速ステレオ処理部３０’と高精細ステレオ処理部４０は共に画像中の全領域に対して奥行き情報の計測処理を行なっていたが、図７に示すように、高速ステレオ処理部３０’の出力する信頼度を奥行き情報合成の手がかりとして用いる場合には、この信頼度情報を高精細ステレオ処理部４０’に別途入力することで、画像合成部５０’において高精細ステレオ処理部４０’の出力した奥行き情報が選択される領域のみに奥行き情報計測処理を行なうような構成にすることも可能である。これにより、高精細ステレオ処理部４０’の処理量を軽減できる。同様に、一般に画像合成部５０に入力される奥行き情報選択の指標となる情報を高速ステレオ処理部３０あるいは／又は高精細ステレオ処理部４０に入力することで、画像合成部５０で選択される領域のみに奥行き情報計測処理を限定することが可能である。
【００６４】
（第５の実施形態）
第１〜第４の実施形態においては、高速ステレオ処理部と高精細ステレオ処理部がそれぞれ全ての処理を独立して行なう構成であったが、両者に共通する処理については別の手段を用いて一括して行なってもよい。
【００６５】
例えば、第１の実施形態において（１）の相違度の算出は高速ステレオ処理部３０と高精細ステレオ処理部４０の両者で全く同一の処理であるので、図８に示すように、相違度の算出を行なう相違度算出部１５を別途設け、相違度算出部１５の演算結果を各ステレオ処理部３５、４５に転送する構成とすることができる。
【００６６】
このような構成の場合、各ステレオ処理部３５及び４５は、第１の実施形態において相違度算出に引き続く処理（（２）の視差算出）以降の処理を行なう構成とすることが可能である。
【００６７】
もちろん、各ステレオ処理部３０及び４０の構成は第１の実施形態と同じ、全ての処理が行える構成にして、（２）の視差算出以降の実施のみ行なうようにしてもよい。また、第２、第３の実施形態のように、奥行き画像データの信頼度や動き情報の組み合わせによる条件で画像合成部５０の選択を制御しても良いことは言うまでもない。
【００６８】
【他の実施の形態】
上述の実施形態においては、奥行き情報として奥行き画像の１種である視差画像を生成する場合についてのみ説明したが、推定視差から算出した距離を画像化した距離画像を生成しても良いし、また推定視差の計測のみ、あるいは推定視差から算出した距離のみを計測し、画像化は他の装置を用いて行なうことも可能である。
【００６９】
また、上述の実施形態においては、ステレオ画像対を生成するステレオカメラを奥行き情報計測装置の構成として記載したが、このようなステレオカメラは本発明による奥行き情報計測装置に必須ではなく、外部から供給されるステレオ画像データを用いて、奥行き情報を計測する構成であっても本発明の効果は十分達成される。
【００７０】
また、上述の実施形態においては、高速ステレオ処理部３０と高精度ステレオ処理部４０における奥行き画像生成方法として上述のK. Satoh and Y. Ohta, "Occlusion detectable stereo using a camera matrix", Proc. 2nd Asian Conf. on Computer Vision, pp II-331-335, 1995に開示されている方法を示したが、例えばK. Satoh and Y. Ohta, “Occlusion Detectable Stereo ---Systematic Comparison of Detection Algorithms---,” Proc. International Conference on Pattern Recognition, pp280-286, 1996に開示されているような、各ステレオ画像対の評価値e^k,l(x,y,d)をソートし小さいほうから数組の和をペナルティ値とする方法等、他の方法を用いてもよい。
【００７１】
また、上記の実施形態においては、ステレオカメラとして、図２に示されたように、互いに光軸が平行で、全レンズ中心を通る平面と光軸が直交するように等間隔で配置されたＮ台のカメラマトリクスを用いているが、カメラ配置は必ずしもこの関係を保つ必要はなく、ステレオ画像対が得られれば、任意の台数、任意の配置を用いることができる。
【００７２】
加えて、高精細ステレオ処理部４０の奥行き画像生成方法として、隠れ以外の要因を考慮したいずれの高精細ステレオ法を用いても良い。
【００７３】
例えば、前述の高速ステレオ処理部３０の奥行き画像生成方法では、入力画像上のテクスチャ性の低い領域（模様のない領域）については正確な奥行き情報を計測することが困難である。したがって、ステレオ画像対に含まれるテクスチャ性の低い領域の検出部を付加し、検出された領域についてはテクスチャ性の低い領域でも正確に奥行き情報を計測することのできる他の高精度ステレオ処理部の出力を選択するように構成すればよい。
【００７４】
このようなテクスチャ性の低い領域に適したステレオ処理方法としては、例えば大田友一、金出武雄“走査線間の整合性を考慮した２段の動的計画法によるステレオ対応探索”、情報処理、No.26, Vol.11, pp1356-1368, 1985に開示されている手法を用いることができる。
【００７５】
そして、基準画像の空間的な濃淡分布の度合いに応じて、テクスチャ性の高い領域については高精度ステレオ処理部４０の出力を、テクスチャ性の低い領域については高速ステレオ処理部３０の出力を画像合成部５０で選択するように構成すれば、さらに精度の高い測定結果（奥行き情報）が得られる。
【００７６】
また、３種類以上のステレオ処理部を設け、さらにきめ細かい選択条件によって最適なステレオ処理部の出力を選択するように構成することも可能である。
【００７７】
たとえば、上述の実施形態にテクスチャ性の低い領域に適した別の高精度ステレオ処理部と、基準画像の空間的濃度分布の測定処理部を組み合わせ、濃度変化が十分ある領域の高精度な奥行き情報としては通常の高精度ステレオ処理部の出力を、濃度変化の少ない領域の高精度な奥行き情報としては別の高精度ステレオ処理部の出力を用いる構成などが考えられる。
【００７８】
さらに、上述の実施形態においては、各ステレオ処理部が１画面全体の処理を必ず行なう構成となっていたが、各ステレオ処理部が処理する画像中の領域を予め制限しておくこともできる。
【００７９】
さらに、本発明の奥行き情報計測装置で得られた奥行き情報は、複合現実感提示装置以外にも、例えばロボットの制御や車両の自動運転制御など、実時間での奥行き計測を必要とするいずれの用途にも用いることができることはもちろんである。
【００８０】
【発明の効果】
以上説明したように、本発明によれば、高速に奥行き情報を計測可能な高速処理部と、高速処理部よりも演算時間は長いが精度の高い結果が得られる高精度処理部とを用い、取得した画像の状態、例えば動きの大きさによって適切な出力結果を選択して合成出力することにより、処理速度と精度とがバランス良く両立した奥行き情報を得ることが可能であるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る奥行き情報計測装置の構成例を示すブロック図である
【図２】ステレオカメラの構成例を示す斜視図である。
【図３】隠れマスクの例を示す図である。
【図４】図１の構成における各部の出力タイミングを説明する図である。
【図５】本発明の第２の実施形態に係る奥行き情報計測装置の構成例を示すブロック図である。
【図６】本発明の第３の実施形態に係る奥行き情報計測装置の構成例を示すブロック図である。
【図７】本発明の第４の実施形態に係る奥行き情報計測装置の構成例を示すブロック図である。
【図８】本発明の第５の実施形態に係る奥行き情報計測装置の構成例を示すブロック図である。

Claims

基準画像と、この基準画像とステレオ画像対を形成する少なくとも１つの周辺画像とから、前記基準画像の取得位置における奥行き情報を計測する奥行き情報計測装置であって、
前記基準画像と前記周辺画像から、第１の奥行き情報を計測する第１の奥行き情報計測手段と、
前記基準画像と前記周辺画像から、前記第１の奥行き情報計測手段と異なる方法により、第２の奥行き情報を計測する第２の奥行き情報計測手段と、
前記基準画像の特性に応じて、前記基準画像もしくは前記周辺画像の所定領域毎に、前記第１の奥行き情報と前記第２の奥行き情報のいずれか一方を選択する選択手段と、
前記第１の奥行き情報と前記第２の奥行き情報を、前記選択信号に応じて合成して前記基準画像の取得位置における奥行き情報として出力する合成手段とを有し、
前記第１の奥行き情報計測手段が、前記第２の奥行き情報計測手段よりも処理速度が速く、前記第２の奥行き情報が、前記第１の奥行き情報よりも高精度であることを特徴とする奥行き情報計測装置。
前記選択手段が前記基準画像及び／又は前記周辺画像から得られる条件に応じて前記選択を行なうことを特徴とする請求項１記載の奥行き情報計測装置。
前記選択手段が、前記基準画像及び／又は前記周辺画像から、前記所定領域毎の動きを検出する動き検出手段を有し、
検出した前記動きが所定量以上の前記所定領域については前記第１の奥行き情報を、それ以外の領域については前記第２の奥行き情報を選択することを特徴とする請求項１又は請求項２に記載の奥行き情報計測装置。
基準画像と、この基準画像とステレオ画像対を形成する少なくとも１つの周辺画像とから、前記基準画像の取得位置における奥行き情報を計測する奥行き情報計測装置であって、
前記基準画像と前記周辺画像から、第１の奥行き情報を計測する第１の奥行き情報計測手段と、
前記基準画像と前記周辺画像から、前記第１の奥行き情報計測手段と異なる方法により、第２の奥行き情報を計測する第２の奥行き情報計測手段と、
前記基準画像の特性に応じて、前記基準画像もしくは前記周辺画像の所定領域毎に、前記第１の奥行き情報と前記第２の奥行き情報のいずれか一方を選択する選択手段と、
前記第１の奥行き情報と前記第２の奥行き情報を、前記選択信号に応じて合成して前記基準画像の取得位置における奥行き情報として出力する合成手段とを有し、
前記第１の奥行き情報計測手段が、前記第２の奥行き情報計測手段よりも処理速度が速く、前記第２の奥行き情報が、前記第１の奥行き情報よりも高精度であるとともに、
前記第１の奥行き情報計測手段が、前記第１の奥行き情報の信頼度を検出する信頼度検出手段を有し、
前記選択手段が、検出した前記信頼度が所定量以上の前記所定領域については前記第１の奥行き情報を、それ以外の領域については前記第２の奥行き情報を選択することを特徴とする奥行き情報計測装置。
前記第１の奥行き情報、第２の奥行き情報及び前記合成手段の出力する奥行き情報が、視差情報、視差画像、距離情報、距離画像のいずれかであることを特徴とする請求項１乃至請求項４のいずれか１項に記載の奥行き情報計測装置。
基準画像と、この基準画像とステレオ画像対を形成する少なくとも１つの周辺画像とから、前記基準画像の取得位置における奥行き情報を計測する奥行き情報計測方法であって、
前記基準画像と前記周辺画像から、第１の奥行き情報を計測する第１の奥行き情報計測ステップと、
前記基準画像と前記周辺画像から、前記第１の奥行き情報計測手段と異なる方法により、第２の奥行き情報を計測する第２の奥行き情報計測ステップと、
前記基準画像もしくは前記周辺画像の所定領域毎に、前記第１の奥行き情報と前記第２の奥行き情報のいずれか一方を選択する選択ステップと、
前記基準画像の特性に応じて、前記第１の奥行き情報と前記第２の奥行き情報を、前記選択信号に応じて合成して前記基準画像の取得位置における奥行き情報として出力する合成ステップとを有し、
前記第１の奥行き情報計測ステップが、前記第２の奥行き情報計測ステップでの計測処理よりも処理速度が速い方法により前記第１の奥行き情報を計測し、前記第２の奥行き情報が、前記第１の奥行き情報よりも高精度であることを特徴とする奥行き情報計測方法。
コンピュータ装置に請求項６記載の奥行き情報計測方法を実現させるためのプログラムを格納したコンピュータ装置読み取り可能な記録媒体。