JP5574852B2 - 情報処理装置、情報処理方法、システム及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、システム及びプログラムに関する。

近年、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ；ＭＲ）技術の研究が盛んである。ＭＲ技術は、現実空間とコンピュータによって作られる仮想空間を繋ぎ目なく融合する技術である。ＭＲ技術は、組み立て作業時に作業手順や配線の様子を重畳表示する組み立て支援、患者の体表面に体内の様子を重畳表示する手術支援等、様々な分野への応用が期待されている。
仮想物体が現実空間に実在するように利用者が感じるためには、仮想物体と現実空間との間の幾何学的な整合性が重要である。複合現実感における幾何学的な整合性には、現実空間の座標系と仮想空間の座標系とを一致させるための整合性と、現実物体と仮想物体との前後関係を正しく表現するための整合性とがある。前者の整合性を扱う問題は、複合現実感における位置合わせ問題とも呼ばれ、種々の研究報告が行われている。また後者の整合性を扱う問題は「オクルージョン問題」とも呼ばれ、特にカメラで撮影した画像に仮想物体を重畳させるビデオシースルー型のＭＲシステムでも重要な課題となる。本明細書では、後者のオクルージョン問題を扱う。

現実物体と仮想物体との前後関係、即ち遮蔽（オクルージョン）を正しく表現するためには、遮蔽される現実物体又は仮想物体の３次元位置情報を求める必要がある。即ち、情報処理装置は、現実物体の３次元位置情報と仮想物体の３次元位置情報とを比較し、現実物体が手前になる場合は、撮影した画像を手前に表示する。また、情報処理装置は、仮想物体が手前にある場合は、仮想物体を手前に表示するという処理をすればよい。この処理において、仮想物体は既知の３次元モデルがあるため、情報処理装置は、視点に対する３次元位置を算出可能である。しかし、現実物体を撮影しただけでは、現実物体の視点に対する３次元位置は未知であるため、情報処理装置は、現実物体の３次元位置を求めることが必要となる。

以下では、現実物体の３次元位置を計測する技術について述べる。一般的な３次元位置計測技術では、ステレオカメラで撮影した画像の注目点に対して、エピポーラ拘束と画素パッチの輝度情報とに基づいてマッチングを行う。まず、情報処理装置は、ステレオカメラの一方の画像における注目点に対して、他方の画像におけるエピポーラ線上の点を対応点候補とする。次に、情報処理装置は、対応点候補として残った各点の周辺の画素パッチに対して、注目点周辺の画素パッチとのパターンマッチングを行うことにより、精度よく対応点を求めることができる（非特許文献１、非特許文献２）。

田村，"コンピュータ画像処理"，オーム社，２００２． 佐藤，"コンピュータビジョン−視覚の幾何学−"，コロナ社，１９９９．

一般的な３次元位置計測技術であるステレオマッチングの従来技術では、画素値の相関に基づくパターンマッチングによる対応付けの計算量の多さから、リアルタイム処理ができない場面があった。

本発明はこのような問題点に鑑みなされたもので、被写体の３次元位置を高速、かつ、安定的に算出することを目的とする。

そこで、本発明は、複数の視点から被写体を撮像する撮像装置で撮像された前記被写体の各画像から、予め設定された色情報を含んだ領域を少なくとも１つ抽出する領域抽出手段と、前記各画像上に設定された走査線と、前記領域抽出手段で抽出された各画像の領域の境界線と、の交点の近傍の領域に基づいて、前記交点における色の変化を表す特徴を取得する特徴取得手段と、前記取得された前記交点の特徴に基づいて、前記各画像間で対応する走査線上で、前記各画像間の対応点を取得する対応点取得手段と、前記対応点取得手段で取得された前記対応点の視点に対する３次元位置を導出する３次元位置導出手段と、を有する。

本発明によれば、被写体の３次元位置を高速、かつ、安定的に算出することができる。

撮像装置の位置及び３次元位置計測装置のハードウェア構成の一例を示す図である。 ３次元位置計測装置の機能構成等の一例を示す図である。 実施形態１の画像処理部の機能構成の一例を示す図である。 対応付け処理部の機能構成の一例を示す図である。 画像処理部の処理の一例を示すフローチャートである。 ノイズを含んだ領域分割結果の２値画像の一例を示す図である。 分割領域の２値画像に走査線を重ねて表示した一例を示す図である。 対応付け処理部の処理の一例を示すフローチャートである。 走査線上の交点の特徴量の求め方を説明する図である。 交点近傍の特徴量を求め、分割領域に表示した一例を示す図である。 分割領域の境界線と走査線との交点から、走査線Ｊを取り出した一例を示す図である。 走査線上で対応点を求める処理の一例を説明するための図である。 ステレオ計測の一例を図である。 実施形態３の画像処理部の機能構成の一例を示す図である。 前フレームで描画された仮想物体が存在する領域に応じて走査線の間隔を変える処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
本実施形態では、光軸の方向を平行に揃え、また、視点の高さを揃えた２台の撮像装置で撮影した画像に基づいて、撮像装置に対する被写体の一例である現実物体の３次元位置を計測する３次元位置計測装置を例に３次元位置算出方法等を説明する。
図１は、撮像装置の位置及び３次元位置計測装置２００のハードウェア構成の一例を示す図である。図１に示した３次元位置計測装置２００のハードウェア構成はパーソナルコンピュータ（コンピュータ）の構成と同等である。なお、３次元位置計測装置２００は、情報処理装置の一例である。３次元位置計測装置２００には、画像取り込み器５０２、記憶媒体５０３が接続されている。画像取り込み器５０２は、撮像装置１００及び１１０で撮影（撮像）された画像をコンピュータ内に取り込むものであり、画像取得部１０００に対応する。画像取り込み器５０２は、例えばビデオキャプチャボード等である。画像取り込み器５０２は、カメラ（撮像装置）で撮影された画像をコンピュータ内に取り込むものであれば何でもよい。ＣＰＵ５０１は、記憶媒体５０３又はＲＯＭ５０４又はＲＡＭ５０５、不図示の外部記憶装置等に保存されているプログラムを実行する。ＣＰＵ５０１がプログラムを実行することにより、画像処理部２０００、対応付け処理部３０００、３次元位置算出部４０００の各機能が実現される。夫々の処理部は、記憶媒体５０３に情報を保存、若しくは情報の読み出しを行う。

図２は、３次元位置計測装置２００の機能構成等の一例を示す図である。
図２に示すように、３次元位置計測装置２００は、画像取得部１０００、画像処理部２０００、対応付け処理部３０００、３次元位置算出部４０００を含む。３次元位置計測装置２００は、撮像装置１００及び撮像装置１１０によって撮影された画像に基づいて現実物体の３次元位置を計測（算出）し、３次元位置情報を出力する。
まず、撮像装置１００及び撮像装置１１０は、例えばビデオカメラ等であり、現実物体１５０が存在するシーンを同時に撮影する。本実施形態では、撮像装置１００の焦点距離やレンズ歪み係数等のカメラ内部パラメーターは予め公知の方法で求めておき、既知であるとする。また、撮像装置１００及び撮像装置１１０は、光軸の方向を平行に揃えると共に視点の高さを揃え固定するため、撮像装置間の相対位置姿勢のカメラ外部パラメーターは既知であるとする。
画像取得部１０００は、撮像装置１００及び撮像装置１１０によって撮影された画像をコンピュータ内に取り込む。画像取得部１０００は、例えば、ＰＣに設置されたビデオキャプチャカード等である。また、本実施形態では、画像取得部１０００が、取得した画像に対してレンズ歪み補正を行うことで、画像の歪みはないものとして扱う。

次に、画像処理部２０００について説明する。図３は、実施形態１の画像処理部２０００の機能構成の一例を示す図である。図３に示すように、画像処理部２０００は、領域分割部２０１０、領域区別設定部２０２０、走査線設定部２０３０、交点検出部２０４０、交点情報保持部２０５０を含む。
領域分割部２０１０は、画像取得部１０００によって取得された画像から、色情報に基づいて領域分割を行う。より具体的に説明すると、領域分割部２０１０は、予め設定された現実物体１５０の色情報に含まれる領域とそれ以外の領域とに分割する。
領域区別設定部２０２０は、分割された領域にラベル付けを行うことで領域を区別する。より具体的に説明すると、領域区別設定部２０２０は、領域の面積の大きい順にラベルを付け、閾値以下の面積の領域はノイズとして除去する。領域区別設定部２０２０は、ノイズ除去を行い、残った領域の画像とラベル情報とを交点検出部２０４０へ出力する。
走査線設定部２０３０は、撮像装置１００と撮像装置１１０とによって撮影された各画像に対応する走査線の走査線情報を設定し、走査線情報を交点検出部２０４０へ出力する。
交点検出部２０４０は、領域区別設定部２０２０でラベル付けされた分割領域と走査線設定部２０３０で設定された走査線情報とを入力として、分割領域の境界線と走査線との交点を検出する。ここで、交点の検出とは、２次元画像上での画像座標を求めることである。交点検出部２０４０は、検出した交点の画像座標と、前記交点の近傍の分割領域のラベルと、を交点情報保持部２０５０へ出力する。ここで、交点の近傍の分割領域とは、前記交点より所定の範囲内の分割領域である。
交点情報保持部２０５０は、交点検出部２０４０から入力された交点の画像座標と、分割領域のラベルと、を交点情報として保持する。そして、交点情報保持部２０５０は、交点情報（又は交点の画像座標）と、ラベル付けされた分割領域の画像とを、対応付け処理部３０００に出力する。

次に、対応付け処理部３０００について説明する。図４は、対応付け処理部３０００の機能構成の一例を示す図である。図４に示すように、対応付け処理部３０００は、交点特徴量算出部３０１０、交点特徴量リスト作成部３０２０、一致度算出部３０３０、第一の対応点判定部３０４０、領域対応付け部３０５０、第二の対応点判定部３０６０を含む。また、対応付け処理部３０００は、交点特徴量リスト分割部３０７０、第三の対応点判定部３０８０を含む。
交点特徴量算出部３０１０は、画像処理部２０００から、交点の画像座標と、ラベル付けされた分割領域の画像と、を入力する。交点特徴量算出部３０１０は、分割領域の画像から、交点近傍における走査線上の特徴量をラベルに基づいて求め、交点特徴量リスト作成部３０２０へ出力する。
交点特徴量リスト作成部３０２０は、交点特徴量算出部３０１０から分割領域の特徴量を入力し、走査線上に交点の特徴量を並べた交点特徴量リストを作成する。交点特徴量リスト作成部３０２０は、作成した交点特徴量リストを一致度算出部３０３０へ出力する。
一致度算出部３０３０は、撮像装置１００で撮影された画像における交点特徴量リストと、第二の撮像装置１１０で撮影した画像における交点特徴量リストと、の比較を行い、一致度Ｐを算出する。一致度算出部３０３０は、算出した一致度Ｐを第一の対応点判定部３０４０へ出力する。
第一の対応点判定部３０４０は、一致度算出部３０３０から交点特徴量リストの一致度Ｐを入力し、交点特徴量リストの一致度に基づいて対応点の判定を行う。第一の対応点判定部３０４０は、対応点の画像座標の組を対応点情報として領域対応付け部３０５０へ出力する。

領域対応付け部３０５０は、第一の対応点判定部３０４０から対応点情報を入力する。領域対応付け部３０５０は、対応点が存在する分割領域の境界線を対応付け、分割領域のラベルを境界線の対応情報として第二の対応点判定部３０６０へ出力する。
第二の対応点判定部３０６０は、領域対応付け部３０５０から分割領域の境界線の対応情報を入力する。第二の対応点判定部３０６０は、領域対応付け部３０５０で更新された境界線と走査線との交点を、新たな対応点として判定し、対応点情報を交点特徴量リスト分割部３０７０へ出力する。
交点特徴量リスト分割部３０７０は、第二の対応点判定部３０６０から対応点情報を入力し、対応点に基づいて交点特徴量リストを分割する。交点特徴量リスト分割部３０７０は、分割した交点特徴量リストを第三の対応点判定部３０８０へ出力する。
第三の対応点判定部３０８０は、交点特徴量リスト分割部３０７０から分割した交点特徴量リストを入力する。第三の対応点判定部３０８０は、分割した交点特徴量リストの一致度に基づいて、対応点の判定を行い、対応点情報を３次元位置算出部４０００に出力する。
３次元位置算出部４０００は、対応付け処理部３０００から対応点情報を入力し、分割領域の撮像装置に対する３次元位置を算出する。３次元位置算出部４０００は、算出した３次元位置情報を出力する。

ここで、画像処理部２０００の処理の詳細について述べる。図５は、画像処理部２０００の処理の一例を示すフローチャートである。
ステップＳ２０１１では、領域分割部２０１０は、予め登録された、被写体となる物体の色情報（物体色情報）を入力する。
ステップＳ２０１２では、領域分割部２０１０は、撮像装置１００、及び撮像装置１１０によって撮影した画像の各画素の色情報と、物体色情報と、を比較する。
ステップＳ２０１３では、領域分割部２０１０は、各画素の色情報が物体色情報に含まれるならば１、それ以外なら０とする。
ステップＳ２０１４では、領域分割部２０１０は、色情報の比較結果に基づいて２値画像を生成する。ここでは、入力した物体色情報に含まれるならば白、それ以外の領域を黒とする。
ステップＳ２０１５では、領域区別設定部２０２０は、２値画像のラベリングを行う。
ステップＳ２０１６では、領域区別設定部２０２０は、ラベリング後の画像から、設定した閾値よりも面積の小さい領域をノイズとして除去する。
上記の方法では、物体領域を検出するために色情報によって領域分割している。そのため、影になる部分や、同系色の領域がある場合には、ステップＳ２０１６で行うノイズ処理では、誤検出やノイズを全て取り除くことができない。図６は、ノイズを含んだ領域分割結果の２値画像の一例を示す図である。
領域分割で用いられる色情報は、多次元色空間における座標値として記述することができる。例えば、ＲＧＢ、ＹＩＱ、ＹＣｂＣｒ、ＹＵＶ、ＨＳＶ、Ｌｕｖ、Ｌａｂ等様々な種類がある。３次元位置計測装置２００は、対象とする被写体の色彩特性に合わせて、領域分割で用いられる色情報を選択可能に構成してもよい。また、領域を分割する方法は上記に限るものではなく、領域分割部２０１０は、色情報を用いる何れの公知の方法で行ってもよい。

ステップＳ２０１７では、走査線設定部２０３０は、走査線情報を設定する。図７は、分割領域の２値画像に走査線３００を重ねて表示した一例を示す図である。走査線情報とは、傾きや切片等の走査線の式、及び走査線の間隔である。本実施形態では、撮像装置１００と撮像装置１１０とは、光軸の方向を平行に揃えると共に視点の高さを揃えて固定されていることを前提としており、かつ、画像の歪みはないものとして扱う。そのため、走査線設定部２０３０は、画像面の縦軸をｙ軸、横軸をｘ軸とすると、ｘ軸方向の線分をｙ軸方向に均等間隔で並べた走査線を設定する。なお、走査線設定部２０３０は、走査線情報を設定することで走査線を設定するが、以下では説明の簡略化のため、単に走査線を設定するという。撮像装置１００で検出された現実物体の画像座標は、撮像装置１１０で撮影された画像の走査線上で検出されるという性質を持つ。一方で、撮像装置１１０で検出された現実物体の画像座標は、撮像装置１００で撮影された画像の走査線上で検出される。
ステップＳ２０１８では、交点検出部２０４０は、分割領域の境界線と走査線との交点を検出し、画像座標を求める。
ステップＳ２０１９では、交点情報保持部２０５０は、交点の画像座標と、分割領域の２値画像のラベルと、をセットにして保持し、対応付け処理部３０００へ出力する。

次に、対応付け処理部３０００の処理の詳細について述べる。図８は、対応付け処理部３０００の処理の一例を示すフローチャートである。
ステップＳ３０１１では、交点特徴量算出部３０１０は、交点の画像座標と分割領域の２値画像とを入力する。
ステップＳ３０１２では、交点特徴量算出部３０１０は、分割領域の２値画像から、走査線上における交点近傍の特徴量を求める。交点特徴量算出部３０１０は、入力した色情報内の領域として検出されている部分が１、それ以外の未検出部分が０として、図９に示すように、走査線上を探索して、交点上で分割領域のラベルが０から１に変化する場合には正の符号を与える。図９は、走査線上の交点の特徴量の求め方を説明する図である。一方、交点特徴量算出部３０１０は、１から０に変化する場合には負の符号を与える。即ち、正の符号の場合、走査線上で分割領域の左側であることを意味し、負の符号の場合は、走査線上で分割領域の右側であることを意味する。本実施形態では、この符号を特徴量とする。図１０は、交点近傍の特徴量を求め、分割領域に表示した一例を示す図である。ここで、図１０において、○は正の符号を表し、△は負の符号を表す。
ステップＳ３０１３では、交点特徴量リスト作成部３０２０は、ステップＳ３０１２で求められた特徴量を走査線上で並べ、走査線ごとに特徴量リストを作成する。
ステップＳ３０１４では、一致度算出部３０３０は、撮像装置１００及び撮像装置１１０で撮影した夫々の画像での特徴量リストの一致度Ｐを算出する。特徴量リストの特徴量を左側から順にスキャンし、特徴量の総数をそれぞれＳ₁₀₀、Ｓ₁₁₀とし、一致した特徴量の総数をＣとすると、一致度算出部３０３０は、一致度Ｐを、次のように求める。
Ｐ＝Ｃ／Ｓ₁₁₀（Ｓ₁₀₀＜＝Ｓ₁₁₀のとき）
Ｐ＝Ｃ／Ｓ₁₀₀（Ｓ₁₁₀＜Ｓ₁₀₀）
一致度の算出方法は、求めた特徴量に基づいて算出するものであれば、これに限るものではない。

ステップＳ３０１５では、第一の対応点判定部３０４０は、一致度Ｐが、閾値Ｔ以上であれば、対応点であると判定する。
ステップＳ３０１６では、領域対応付け部３０５０は、対応点であると判定された交点が存在する分割領域を物体領域とし、その境界ラベルを、撮像装置１００及び撮像装置１１０で撮影した夫々の画像で対応付ける。
ステップＳ３０１７では、第二の対応点判定部３０６０は、ステップＳ３０１６で対応付けられた物体領域の境界線と走査線との交点で、かつ、まだ対応点と判定されていない交点を対応点として判定する。
ステップＳ３０１８では、交点特徴量リスト分割部３０７０は、走査線上の交点近傍の特徴量をリスト化した交点特徴量リストを、ステップＳ３０１７で対応付けた対応点の位置で分割する。図１１は、分割領域の境界線と走査線との交点から、走査線Ｊを取り出した一例を示す図である。ここで、図中のＣ１、Ｃ２、及びＣ１'、Ｃ２'はステップＳ３０１７で対応付けられた対応点である。交点特徴量リスト分割部３０７０は、走査線Ｊ上の交点近傍の特徴量をリスト化した交点特徴量リストを、対応点Ｃ１及びＣ２の位置で分割する。これにより撮像装置１００で撮影した画像においてＪ１、Ｊ２、Ｊ３、撮像装置１００で撮影した画像においてＪ１'、Ｊ２'、Ｊ３'のように夫々３つに分割することができる。

ステップＳ３０１８では、交点特徴量リスト分割部３０７０は、分割した交点特徴量リストの夫々の一致度を算出する。例えば、交点特徴量リスト分割部３０７０は、図１１におけるＪ１とＪ１'、Ｊ２とＪ２'、Ｊ３とＪ３'、の一致度を、一致度算出部３０３０と同様の処理を行うことで算出する。
ステップＳ３０１９では、第三の対応点判定部３０８０は、ステップＳ３０１８で算出された一致度に基づいて、まだ対応点であると判定されていない交点を新たな対応点として判定する。図１２は、走査線上で対応点を求める処理の一例を説明するための図である。図１２では、Ｊ１とＪ１'の部分の交点が一致するため、例えば、第三の対応点判定部３０８０は、対応点として判定する。
ステップＳ３０２０では、第三の対応点判定部３０８０は、撮像装置１００で撮影された画像における対応点Ｃ_n（ｎ＝１，２，，，Ｎ）と、撮像装置１１０で撮影された画像における対応点Ｃ'_n（ｎ＝１，２，，，Ｎ）と、の画像座標の組を３次元位置算出部４０００へ出力する。ここでＮは、対応点の組の総数である。

次に３次元位置算出部４０００の処理の詳細について説明する。
対応付け処理部３０００から得た対応点に基づいて３次元位置を計測する。図１３は、ステレオ計測の一例を図である。本実施形態では、図１３に示すように、２台の撮像装置は光軸の方向を平行に揃えると共に視点の高さを揃えて固定されている。そのため、３次元位置算出部４０００は、平行ステレオ、又はベースラインステレオと呼ばれる公知技術を用いて３次元位置を算出する。
３次元位置算出部４０００は、図１３に示すように座標系をとり、現実物体の点Ｐ（Ｘ，Ｙ，Ｚ）がそれぞれ左右の画像上の（ｘ_l，ｙ_l）、（ｘ_r，ｙ_r）に像を結べば、次式によって３次元位置（Ｘ、Ｙ、Ｚ）を求めることができる。
Ｘ＝ｂ（ｘ_l＋ｘ_r）／２ｄ ・・・式１
Ｙ＝ｂｙ／ｄ ・・・式２
Ｚ＝ｂｆ／ｄ ・・・式３
但し、ｆは、撮像装置の焦点距離である。ｂは、撮像装置間の距離（基線長）である。ｄは、視差と呼ばれｄ＝ｘ_l−ｘ_rである。
３次元位置算出部４０００は、算出した現実物体の３次元位置値を出力する。

上記で説明したように、本実施形態に係る３次元位置計測装置２００は、画像から検出した物体領域にノイズが含まれる場合や、物体領域が凹形状になるために対応点候補が複数となる場合であっても、現実物体の３次元位置を計測することができる。また、本実施形態に係る３次元位置計測装置２００によれば、物体領域の境界線上の点の３次元位置を、画素パッチのパターンマッチングを行うことなく計測するため、高速に処理することができる。更に、本実施形態に係る３次元位置計測装置２００によれば、例えば、３段階の対応点判定部と、領域対応付け部と、によって、対応点を精度よく、かつ、安定して検出することができる。したがって、３次元位置計測を高精度、かつ、高速に行うことができる。
本実施形態に係る３次元位置計測装置２００をヘッドマンテッドディスプレイ又はハンドヘルドディスプレイに装着し、ＭＲ技術に応用する。すると、このＭＲ技術では、現実物体の３次元位置情報と、仮想物体の３次元位置情報と、を比較して、画像又は仮想物体を手前に描画することができる。
ここで、ヘッドマウンテッドディスプレイとは、頭部に装着するディスプレイのことであり、ハンドヘルドディスプレイとは、手持ちのディスプレイである。これらは、複合現実感を体験する際に一般的によく利用される。ヘッドマウンテッドディスプレイやハンドヘルドディスプレイに撮像装置を装着する場合には、ディスプレイの光軸と、撮像装置の光軸と、を一致させることが望ましい。このようにして、手等の物体領域の奥行きを計測することで複合現実感における、現実物体と仮想物体の前後関係を正しく表現することができ、ユーザーは正しく知覚することができる。
以上のように、本実施形態に係る３次元位置計測装置２００は、ＭＲ技術おける幾何的整合性を向上させ、違和感の少ないＭＲ体験をユーザーに提供することができる。なお、本実施形態では、現実物体として人間の手の３次元位置を計測（算出）する例を用いて処理を説明したが、このことに限定されるものではない。

＜実施形態２＞
実施形態１では、撮像装置１００と撮像装置１１０とは、光軸の方向を平行に揃えると共に視点の高さを揃えて固定されていることを前提として説明した。しかしながら、撮像装置１００と撮像装置１１０とが同じ物体を撮影できれば、撮像装置の配置はこれに限るものではない。
光軸の方向を平行に揃えると共に視点の高さを揃えて固定していない場合（水平に揃え固定していない場合）、走査線は、平行ステレオのように画像のｘ軸に平行となる線分にならない。そこで、本実施形態では、３次元位置計測装置２００は、一般的にエピポーラ線と呼ばれる線を走査線として設定する。

ここで簡単にエピポーラ線について説明する。例えば、２台の撮影装置の視点をそれぞれＣ，Ｃ'とし、３次元空間中のある点をＰとする。すると、３次元位置計測装置２００は、このＣ，Ｃ'，Ｐの３点で空間中に１つの平面Σを定義することができる。この平面をエピポーラ平面と呼び、エピポーラ平面と画像面とが交差してできる線分をエピポーラ線と呼ぶ。エピポーラ線は、エピポーラ方程式より求めることができる。
エピポーラ方程式について説明する。撮像装置の位置を３×１ベクトルＴ＝（Ｔ_x，Ｔ_y，Ｔ_z）、回転を３×３行列Ｒで表す。いま行列Ｅを次式のように置く。

ここで、［Ｔ］_xは、次式のように表す。

２台の撮像装置で撮影された画像上の対応点を同次座標でそれぞれｘ＝［ｘ，ｙ，１］^T、ｘ'＝［ｘ'，ｙ'，１］^Tと表すと、エピポーラ方程式は、次式のように表せる。

したがって、２つの画像上で対応する点ｘと点ｘ'との関係を表す式となり、エピポーラ線を求めることができる。
このようにエピポーラ線は、２台の撮像装置間の相対位置姿勢を求めることができれば簡単に求めることができる。また、２台の撮像装置間の相対位置姿勢は、カメラキャリブレーションの公知技術により求めることができる。カメラキャリブレーションについての詳細な説明は省略する。

次に、光軸の方向と視点の高さを揃えていない２台の撮像装置を用いた３次元位置算出方法について述べる。
焦点距離や主点位置等の内部パラメーターは既知であり、また撮像装置の相対位置姿勢の外部パラメーターも既知であるとする。撮像装置の内部パラメーターと外部パラメーターとを合成した行列Ｐを次式のように表すことができる。

撮像装置１００で撮影された画像から検出された対応点の座標をＣ_n＝［ｕ_n，ｖ_n］とする。求める３次元空間の点の位置をＸ＝［Ｘ_n，Ｙ_n，Ｚ_n］と表すと、次式のように表せる。

λは、式８の第３行目より決まる実数である。式６を展開してＸ、Ｙ、Ｚに関してまとめると、次式のように表せる。

本実施形態では、撮像装置の内部パラメーターと外部パラメーターとは、既知であるのでＰは既知のパラメーターである。１つの撮像装置で撮影された画像から２つの拘束式が得られる。撮像装置１１０の撮像装置のパラメーターをＰ'とし、撮影された画像から検出された対応点の座標をＣ'_n＝［ｕ_n'，ｖ_n'］とすると、次のように４つの拘束式が得られる。

式１０は、未知数３に対して４つの拘束式が得られる。式１０を次式のようにおくと、

Ｘの最小二乗階は、次式のように求めることができる。

これを、全ての対応点に対して計算することで、３次元位置算出部４０００は、物体領域の境界線上の点である対応点の３次元座標を計測することができる。したがって、撮像装置１００を基準にして求めた物体領域の３次元座標のＺ座標を、求めるべき３次元位置値として出力する。
このように、撮像装置１００と撮像装置１１０の光軸との方向を揃えず、視点の高さも揃えて固定しなくとも、現実物体の３次元位置を計測することができる。

＜実施形態３＞
実施形態１では、走査線設定部２０３０は、画像のｙ軸方向に均等に走査線を設定していた。しかし、走査線上に物体領域が存在すればこれに限らない。
走査線の位置の設定を制御する手段について図１４を用いて説明する。図１４は、実施形態３の画像処理部２０００の機能構成の一例を示す図である。図１４に示すように、走査線位置制御部２０３５は、領域区別設定部２０２０からラベル付けられた分割領域の２値画像を入力し、走査線設定部２０３０が設定する走査線の位置を変更する。
例えば、走査線位置制御部２０３５の制御に基づき走査線設定部２０３０が、前フレームで描画された仮想物体が存在する画像領域とその周辺領域とに対して走査線を設定すれば、処理コストを軽減することができる。また、走査線位置制御部２０３５の制御に基づき走査線設定部２０３０が、前フレームで描画された仮想物体が存在する領域だけに対して、走査線の間隔の密度を上げれば、より精度の高い３次元位置計測を行うことができる。

図１５は、前フレームで描画された仮想物体が存在する領域に応じて走査線の間隔を変える処理の一例を示すフローチャートである。
ステップＳ２０２１では、走査線設定部２０３０は、均等間隔で走査線を設定する。
ステップＳ２０２２では、走査線位置制御部２０３５は、走査線上に仮想物体領域が存在するか否かで判定フラグを設定する。走査線位置制御部２０３５は、走査線上に仮想物体領域が存在すれば、その走査線は利用しないため判定フラグを０にする。走査線位置制御部２０３５は、走査線上に仮想物体領域が存在していれば、その走査線の判定フラグを１にする。
ステップＳ２０２３では、走査線位置制御部２０３５は、走査線の判定フラグが１の走査線が２つ連続で存在すれば、その走査線間の間に指定した数だけ走査線を追加し、走査線の判定フラグを１にする。
ステップＳ２０２４では、走査線設定部２０３０は、判定フラグが１の線を走査線として設定する。
以上のようにして、物体が存在しない領域の走査線は利用せず、更に、物体が存在する領域だけ走査線の密度を上げるように走査線位置を制御することで、より密に、即ち精度よく３次元位置を計測することができる。

＜変形例＞
実施形態１至乃３では、画像処理部２０００によって、予め登録しておいた物体色情報に基づいて領域分割を行い、２値画像を生成した。しかしながら、登録する色情報は、複数であってもよい。
このとき、領域分割部２０１０では、登録された複数の色情報ごとに領域を分割し、多値画像を生成すればよい。
領域区別設定部２０２０では、色情報ごとに識別子Ｌ_i（ｉ＝１、２、、、Ｃ）を設定し、分割した領域に割り当てる。ここで、Ｃは、登録した色情報の総数であり、即ち、識別子の総数である。
また、実施形態１至乃３では、対応付け処理部３０００で、走査線上を探索して、交点上で分割領域の識別子が０から１に変化する場合には正の符号を与え、１から０に変化する場合には負の符号を与えていた。しかし、複数の色情報に基づいて領域分割を行った場合には、交点特徴量算出部３０１０は、走査線上の交点近傍における識別子変化する際の、識別子Ｌｉの組を特徴量として求める。
交点特徴量リスト作成部３０２０は、特徴量として求めた識別子Ｌｉの組を、走査線上で並べ、リストを作成する。
一致度算出部３０３０は、走査線上の特徴量である識別子の組を走査し、一致するか否かに基づいて、一致度Ｐを求める。
以上のように処理することで、複数の色情報を有する物体領域上の点を対応付けることができ、３次元位置を計測することができる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

上述した各実施形態によれば、画像から検出した物体領域にノイズが含まれる場合や、物体領域が凹形状のために対応点候補が複数となる場合であっても、物体の３次元位置を計測することができる。また物体領域の境界線上の点の３次元位置を、輝度情報に基づく画素パッチのパターンマッチングを行うことなく計測するため、高速に処理できる。
また上述した各実施形態によれば、画像から色情報により領域分割を行い、分割した領域に基づいて求めた特徴量によって、走査線と領域の交点を各画像間で対応付ける。そのため、似たような輝度勾配を持つ複数の対応点候補が存在する場合であっても、直接的に輝度勾配を用いて対応付ける従来例と比べて、誤対応を低減することができる。
これにより、高速、かつ、安定的に、現実物体の３次元位置を計測（算出）することができる。
更に、計測した現実物体の３次元位置情報と仮想物体の３次元位置情報を比較して、画像又は仮想物体を手前に描画することができる。即ち、現実物体と仮想物体の前後関係を正しく表現することができ、ＭＲ技術おける幾何的整合性を向上させ、違和感の少ないＭＲ体験をユーザーに提供することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

２００ ３次元位置計測装置

Claims (20)

1. 複数の視点から被写体を撮像する撮像装置で撮像された前記被写体の各画像から、予め設定された色情報を含んだ領域を少なくとも１つ抽出する領域抽出手段と、
   前記各画像上に設定された走査線と、前記領域抽出手段で抽出された各画像の領域の境界線と、の交点の近傍の領域に基づいて、前記交点における色の変化を表す特徴を取得する特徴取得手段と、
   前記取得された前記交点の特徴に基づいて、前記各画像間で対応する走査線上で、前記各画像間の対応点を取得する対応点取得手段と、
   前記対応点取得手段で取得された前記対応点の視点に対する３次元位置を導出する３次元位置導出手段と、
   を有する情報処理装置。
2. 前記対応点取得手段は、前記各画像間で対応する走査線上における交点の特徴を比較することにより、前記各画像において前記対応点を取得する請求項１に記載の情報処理装置。
3. 前記走査線を分割する分割手段を更に有し、
   前記対応点取得手段は、前記分割された走査線ごとに、前記各画像間の対応点を取得する請求項１又は２に記載の情報処理装置。
4. 前記対応点取得手段は、前記各画像間で対応する走査線ごとに、前記取得された特徴を比較し、前記比較された結果が所定の条件を満たす走査線上の交点を対応点として取得し、
   前記分割手段は、前記対応点取得手段によって取得された対応点で前記所定の条件を満たさなかった走査線を分割し、
   前記対応点取得手段は、前記分割された走査線ごとに、前記分割された走査線上の交点の特徴に基づいて、前記各画像間の対応点を取得する請求項３に記載の情報処理装置。
5. 前記対応点取得手段によって取得された対応点に基づいて、前記抽出された領域を前記各画像間で対応付ける領域対応付け手段を更に有し、
   前記分割手段は、前記領域対応付け手段で対応付けられた領域に基づいて、前記走査線を分割し、
   前記対応点取得手段は、前記分割された走査線ごとに、前記分割された走査線上の交点の特徴に基づいて、前記各画像間の対応点を取得する請求項３に記載の情報処理装置。
6. 前記特徴は、前記抽出された予め設定された色情報を含んだ領域と、前記領域以外の領域との境界を表す請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記各画像上に走査線を設定する走査線設定手段を更に有する請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記撮像装置は、ヘッドマンテッドディスプレイ又はハンドヘルドディスプレイに装着された２台の撮像装置である請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記撮像装置は、光軸の方向を平行に揃えると共に視点の高さを揃えた２台の撮像装置であって、
   前記走査線設定手段は、前記２台の撮像装置で撮像された前記被写体の各画像に、前記２台の撮像装置を結ぶ線分に対して平行に配した複数の線分である走査線を設定する請求項７に記載の情報処理装置。
10. 前記走査線は、エピポーラ線である請求項１乃至８の何れか１項に記載の情報処理装置。
11. 前記領域抽出手段で抽出された各画像の領域に応じて、前記走査線設定手段で設定される走査線の位置を制御する走査線位置制御手段を更に有する請求項７又は９に記載の情報処理装置。
12. 前記対応点取得手段は、前記特徴取得手段で取得された前記交点の特徴の一致度を算出し、算出した一致度に基づいて前記各画像間の対応点を求める請求項１乃至１１の何れか１項に記載の情報処理装置。
13. 前記導出された物体の３次元位置を使って、前記各画像と、仮想画像と、を合成する合成手段を更に有する請求項１乃至１２の何れか１項に記載の情報処理装置。
14. 複数の視点から被写体を含んだ現実空間を撮像する撮像手段と、
    前記撮像された各画像から、予め設定された色情報を含む領域を少なくとも１つ抽出する領域抽出手段と、
    前記各画像上に設定された走査線と、前記領域抽出手段で抽出された各画像の領域の境界線と、の交点の近傍の領域に基づいて、前記交点における色の変化を表す特徴を取得する特徴取得手段と、
    前記取得された前記交点の特徴に基づいて、前記各画像間で対応する走査線上で、前記各画像間の対応点を取得する対応点取得手段と、
    前記対応点取得手段で取得された前記対応点の視点に対する３次元位置を導出する３次元位置導出手段と、
    前記撮像手段により撮像された現実空間の画像を取得し、前記現実空間の画像と、仮想空間の画像と、を合成する合成手段と、
    を有する情報処理装置。
15. 表示装置と、前記表示装置に表示される合成画像を生成する情報処理装置と、を含むシステムであって、
    前記表示装置は、
    複数の視点から被写体を含んだ現実空間を撮像する撮像手段と、
    前記撮像された各画像を、前記情報処理装置に出力する第１の出力手段と、
    前記情報処理装置から、前記撮像された現実空間の画像と、仮想空間の画像と、が合成された合成画像を取得し、前記取得した合成画像を表示する表示手段と、
    を有し、
    前記情報処理装置は、
    前記撮像された各画像から、予め設定された色情報を含んだ領域を少なくとも１つ抽出する領域抽出手段と、
    前記各画像上に設定された走査線と、前記領域抽出手段で抽出された各画像の領域の境界線と、の交点の近傍の領域に基づいて、前記交点における色の変化を表す特徴を取得する特徴取得手段と、
    前記取得された前記交点の特徴に基づいて、前記各画像間で対応する走査線上で、前記各画像間の対応点を取得する対応点取得手段と、
    前記対応点取得手段で取得された前記対応点の視点に対する３次元位置を導出する３次元位置導出手段と、
    前記表示装置から、前記撮像手段により撮像された現実空間の画像を取得し、前記現実空間の画像と、前記仮想空間の画像と、を合成し、前記表示装置へ出力する第２の出力手段と、
    を有するシステム。
16. 情報処理装置が実行する情報処理方法であって、
    複数の視点から被写体を撮像する撮像装置で撮像された前記被写体の各画像から、予め設定された色情報を含んだ領域を少なくとも１つ抽出する領域抽出ステップと、
    前記各画像上に設定された走査線と、前記領域抽出ステップで抽出された各画像の領域の境界線と、の交点の近傍の領域に基づいて、前記交点における色の変化を表す特徴を取得する特徴取得ステップと、
    前記取得された前記交点の特徴に基づいて、前記各画像間で対応する走査線上で、前記各画像間の対応点を取得する対応点取得ステップと、
    前記対応点取得ステップで取得された前記対応点の視点に対する３次元位置を導出する３次元位置導出ステップと、
    を含む情報処理方法。
17. 情報処理装置が実行する情報処理方法であって、
    複数の視点から被写体を含んだ現実空間を撮像する撮像ステップと、
    前記撮像された各画像から、予め設定された色情報を含む領域を少なくとも１つ抽出する領域抽出ステップと、
    前記各画像上に設定された走査線と、前記領域抽出ステップで抽出された各画像の領域の境界線と、の交点の近傍の領域に基づいて、前記交点における色の変化を表す特徴を取得する特徴取得ステップと、
    前記取得された前記交点の特徴に基づいて、前記各画像間で対応する走査線上で、前記各画像間の対応点を取得する対応点取得ステップと、
    前記対応点取得ステップで取得された前記対応点の視点に対する３次元位置を導出する３次元位置導出ステップと、
    前記撮像ステップにより撮像された現実空間の画像を取得し、前記現実空間の画像と、仮想空間の画像と、を合成する合成ステップと、
    を含む情報処理方法。
18. 表示装置と、前記表示装置に表示される合成画像を生成する情報処理装置と、を含むシステムが実行する情報処理方法であって、
    前記表示装置が、複数の視点から被写体を含んだ現実空間を撮像する撮像ステップと、
    前記表示装置が、前記撮像された各画像を、前記情報処理装置に出力する第１の出力ステップと、
    前記情報処理装置が、前記撮像された各画像から、予め設定された色情報を含んだ領域を少なくとも１つ抽出する領域抽出ステップと、
    前記情報処理装置が、前記各画像上に設定された走査線と、前記領域抽出ステップで抽出された各画像の領域の境界線と、の交点の近傍の領域に基づいて、前記交点における色の変化を表す特徴を取得する特徴取得ステップと、
    前記情報処理装置が、前記取得された前記交点の特徴に基づいて、前記各画像間で対応する走査線上で、前記各画像間の対応点を取得する対応点取得ステップと、
    前記情報処理装置が、前記対応点取得ステップで取得された前記対応点の視点に対する３次元位置を導出する３次元位置導出ステップと、
    前記情報処理装置が、前記表示装置から、前記撮像ステップにより撮像された現実空間の画像を取得し、前記現実空間の画像と、仮想空間の画像と、を合成し、前記表示装置へ出力する第２の出力ステップと、
    前記表示装置が、前記情報処理装置から、前記撮像された現実空間の画像と、前記仮想空間の画像と、が合成された合成画像を取得し、前記取得した合成画像を表示する表示ステップと、
    を含む情報処理方法。
19. コンピュータに、
    複数の視点から被写体を撮像する撮像装置で撮像された前記被写体の各画像から、予め設定された色情報を含んだ領域を少なくとも１つ抽出する領域抽出ステップと、
    前記各画像上に設定された走査線と、前記領域抽出ステップで抽出された各画像の領域の境界線と、の交点の近傍の領域に基づいて、前記交点における色の変化を表す特徴を取得する特徴取得ステップと、
    前記取得された前記交点の特徴に基づいて、前記各画像間で対応する走査線上で、前記各画像間の対応点を取得する対応点取得ステップと、
    前記対応点取得ステップで取得された前記対応点の視点に対する３次元位置を導出する３次元位置導出ステップと、
    を実行させるためのプログラム。
20. コンピュータに、
    複数の視点から被写体を含んだ現実空間を撮像する撮像ステップと、
    前記撮像された各画像から、予め設定された色情報を含む領域を少なくとも１つ抽出する領域抽出ステップと、
    前記各画像上に設定された走査線と、前記領域抽出ステップで抽出された各画像の領域の境界線と、の交点の近傍の領域に基づいて、前記交点における色の変化を表す特徴を取得する特徴取得ステップと、
    前記取得された前記交点の特徴に基づいて、前記各画像間で対応する走査線上で、前記各画像間の対応点を取得する対応点取得ステップと、
    前記対応点取得ステップで取得された前記対応点の視点に対する３次元位置を導出する３次元位置導出ステップと、
    前記撮像ステップにより撮像された現実空間の画像を取得し、前記現実空間の画像と、仮想空間の画像と、を合成する合成ステップと、
    を実行させるためのプログラム。

Images