JP2016024728A - 情報処理装置、情報処理装置の制御方法およびプログラム - Google Patents

Abstract

【課題】処理速度の低下を抑制し、計測対象物体に制約を設けることなく、３次元形状の入力の手間を軽減する。【解決手段】情報処理装置であって、第１の物体および第２の物体を撮像した撮像画像を取得する取得部と、撮像画像に基づいて第１の物体の形状を推定する第１の推定部と、第１の物体の形状に基づいて第１の物体が第２の物体と接触する接触面の形状を推定する第２の推定部と、接触面の形状に基づいて第２の物体の形状の画像を生成する生成部と、撮像画像と第２の物体の形状の画像とを合成する合成部とを備える。【選択図】 図１

Description

本発明は、情報処理装置、情報処理装置の制御方法およびプログラムに関し、特に、現実物体の３次元形状を入力する技術に関する。

現実物体の３次元形状をリアルタイムで逐次的に入力する様々な方法が提案されている。近年では、デプス計測可能なデプスセンサにより、デプスセンサの位置姿勢を計測しながらデプス値を空間上にマッピングすることで３次元形状を入力する方法が提案されている。

非特許文献１では、デプスセンサで計測された計測値とカラーカメラで得られる画像情報に基づいて、リアルタイムに現実環境に配置された机や壁などの形状を取り込む方法が提案されている。また、デプスセンサを利用する以外にも、カメラで撮影した現実物体の映像（複数画像）から３次元形状を計測する方法も提案されている。

非特許文献２では、カメラで撮影した映像に映り込む物体の画像特徴点を過去のフレームにおける画像の画像特徴点と対応付け、さらに各画像におけるカメラの位置姿勢を推定することで、現実物体の３次元形状を生成する方法が提案されている。さらに、磁気センサなどの現実空間における位置姿勢が計測可能なセンサにより、現実物体の複数点をポインティングすることで、現実物体の３次元形状を入力する方法が提案されている。

特許文献１では、ペン型で磁気センサが内蔵されたスタイラスを利用して、現実物体の３次元位置をポインティングすることで、３次元形状を入力する方法が提案されている。特許文献１では、３次元形状を入力する操作者が、形状を入力したい物体に対して、直接ポインティングし、入力することで直観的な操作で３次元形状を入力させることが可能となっている。

上記の３次元形状の入力方法では、３次元形状を計測する工程でカメラ位置姿勢を推定し、逐次的に３次元形状データを出力することができるため、カメラで入力された実写映像に３次元形状をポリゴンや頂点情報などを合成して操作者に提示できる。すなわち、計測された形状がどの程度の精度を持っているのかなどを逐次的に確認することが可能となり、再計測するかどうかの判断を補助することができる。

また、３次元形状データを現実物体映像と重ねることにより、拡張現実感(Augmented Reality)や複合現実感(Mixed Reality)において、現実物体とＣＧモデルとの衝突表現やＣＧモデルの現実物体への隠れ（オクルージョン）表現が可能となり、現実感の向上に繋がる。

特開２００４−６２７５８号公報

Richard A. Newcombe, Shahram Izadi, Otmar Hilliges, David Molyneaux, David Kim, Andrew J. Davison, Pushmeet Kohli, Jamie Shotton, Steve Hodges, and Andrew Fitzgibbon, KinectFusion: Real-Time Dense Surface Mapping and Tracking, in IEEE ISMAR, IEEE, October 2011 Pan, Q., Reitmayr, G., Drummond, T.: ProFORMA: Probabilistic Feature-based On-line Rapid Model Acquisition. in Proc. of the 20th British Machine Vision Conference (2009) Kenichi Hayashi, Hirokazu Kato, Shogo Nishida，Occlusion Detection of Real Objects using Contour Based Stereo Matching, in 15th International Conference on Artificial Reality and Telexistence 2005, Proc. of ICAT 2005 pp.180-186, University of Canterbury, Christchurch, New Zealand, Dec. 2005

しかしながら、非特許文献１の技術では、デプスセンサで得られる３次元形状のモデルが他の手法と比較して高精細になるため、オクルージョン表現に用いるポリゴン数が膨大で描画更新の処理速度が低下する場合がある。

また、非特許文献２の技術では、入力する現実物体の表面に画像特徴点となる模様が必要となり、模様の少ない壁やテーブルなどは３次元形状を入力する対象としては適していない。すなわち、入力可能な現実物体に制約があった。

さらに、特許文献１の技術では、簡易的な形状に関しては、数点の位置情報を逐次的に操作者が入力することで簡便に現実物体の３次元形状を入力することができる。しかし、平面位置を指定するためには３点以上のポインティングが必要であり、複数の平面から構成される現実物体の３次元形状を入力するためには手間を要する。さらに、曲面を含む現実物体の３次元形状を入力する場合は、入力すべき頂点数がさらに増えるため、操作者の手間が増大する。

本発明は、上記の課題に鑑みてなされたものであり、処理速度の低下を抑制し、計測対象物体に制約を設けることなく、３次元形状の入力の手間を軽減する情報処理装置を提供することを目的とする。

上記の目的を達成する本発明に係る情報処理装置は、以下の構成を備える。即ち、
第１の物体および第２の物体を撮像した撮像画像を取得する取得手段と、
前記撮像画像に基づいて前記第１の物体の形状を推定する第１の推定手段と、
前記第１の物体の形状に基づいて前記第１の物体が前記第２の物体と接触する接触面の形状を推定する第２の推定手段と、
前記接触面の形状に基づいて前記第２の物体の形状の画像を生成する生成手段と、
前記撮像画像と前記第２の物体の形状の画像とを合成する合成手段と
を備える。

本発明によれば、リアルタイムで逐次的に現実物体の３次元形状を入力する方法において、更新等の処理速度の低下を抑制し、計測対象物体に制約を設けることなく、３次元形状の入力の手間を軽減することができる。

本発明の一実施形態における、情報処理装置の機能構成を示すブロック図である。 本発明の一実施形態における、情報処理装置のハードウェア構成を示すブロック図である。 本発明の一実施形態における、情報処理装置の処理手順を示すフローチャートである。 本発明の一実施形態における、情報処理装置の接触面の推定処理の手順を示すフローチャートである。 本発明の一実施形態における、情報処理装置の３次元形状の記録処理の手順を示すフローチャートである。 本発明の一実施形態における、ステレオ画像に対して背景差分で手の領域を抽出する場合の模式図である。 本発明の一実施形態における、手の輪郭線上の３次元位置を求めるときの算出方法を説明する模式図である。 本発明の一実施形態における、計測対象物体の３次元形状を入力する過程の説明と表示される合成画像の例を示す模式図である。

以下、添付の図面を参照して、本発明の実施の形態について詳述する。本実施形態では、現実物体の３次元形状を入力する方法として、操作者の手の輪郭線の３次元形状をステレオカメラによって推定し、その３次元形状に基づいて手が接触している現実物体の３次元形状を計測して操作者に提示する方法を説明する。

＜１．情報処理装置の構成＞
まず、図１を参照して、本発明の一実施形態に係る情報処理装置２００の機能構成を説明する。図１に示すように、情報処理装置２００は、画像取得部１０００と、画像記憶部１０１０と、形状推定部１０２０と、接触面形状推定部１０３０と、形状記憶部１０４０と、画像生成部１０５０と、画像合成部１０６０とを備えている。

画像取得部１０００は、撮像装置１００および撮像装置１１０により撮像されたステレオ画像を取得する。撮像装置１００および撮像装置１１０の映像はステレオ計測用の処理画像として用いるため、撮像装置１００および撮像装置１１０は互いに位置関係が固定されているものとする。撮像された映像には、操作者の手１５０および計測対象物体１６０が映り込んでいるものとする。

ただし、本発明は、ステレオ画像を取得することに限定されるものではなく、計測対象物体と接触する物体の形状を取得できる方法であれば単眼の画像を用いてもよい。例えば、手の３次元形状が既知で過去に蓄積された教師画像と、画像から抽出された手・指の形状とをマッチングして形状を推定する方法であれば、単眼の画像を用いることが可能である。

画像記憶部１０１０は、画像取得部１０００により取得された映像を取得して一時的に記憶する。画像取得部１０００から画像記憶部１０１０へ、例えば１／３０秒で画像データが送信される。ただし、形状推定部１０２０〜画像生成部１０５０までの各処理部での処理で利用した画像を画像合成部１０６０に入力する必要がある。画像生成部１０５０により生成された３次元形状の画像と画像記憶部１０１０の画像とが同期された状態で、画像合成部１０６０によりこれらの画像を合成するためである。そのため、画像記憶部１０１０は、画像の同期を実現するために、画像合成部１０６０の処理が終了した時点で、画像取得部１０００から新しい画像を取得する。

形状推定部１０２０は、画像記憶部１０１０に記憶されているステレオ画像を取得し、手１５０の形状を表わす輪郭線上のサンプリング点における３次元位置、すなわち、手の輪郭線の３次元形状を算出する。手１５０の輪郭線の３次元形状の算出方法については後述する。

接触面形状推定部１０３０は、形状推定部１０２０から出力された手１５０の輪郭線の３次元形状と、操作者のキーボード２０７からの入力とを取得して、計測対象物体１６０と手１５０とが接触している接触面を推定する。接触面の推定方法については後述する。

形状記憶部１０４０は、接触面形状推定部１０３０から出力された接触面と、過去に接触面から作成された計測対象物体１６０の３次元形状とを接合し、更新された計測対象物体の３次元形状を生成して記憶する。

画像生成部１０５０は、形状記憶部１０４０に記憶された計測対象物体１６０の３次元形状を取得し、当該取得した情報に基づいて撮像装置１００および撮像装置１１０の視点位置姿勢における３次元形状の画像を生成する。

画像合成部１０６０は、画像記憶部１０１０に記憶されている撮像装置１００と撮像装置１１０の夫々の画像に対して、画像生成部１０５０により生成された計測対象物体１６０の３次元形状の夫々の画像を合成する。生成された合成画像は、ディスプレイ２０８に出力されて、操作者に視覚的に提示される。

図２は、本実施形態に係る情報処理装置２００のハードウェア構成の一例を示すブロック図である。２０１はＣＰＵ、２０２は画像取り込み器、２０３は記憶媒体、２０４はＲＯＭ、２０５はＲＡＭ、２０６はマウス、２０７はキーボード、２０８はディスプレイである。

図２に示したハードウェア構成は例えば通常のパーソナルコンピュータの構成と同等である。画像取り込み器２０２には、撮像装置１００および撮像装置１１０が接続されている。画像取り込み器２０２は撮像装置１００及び１１０で撮影された画像をコンピュータ内に取り込むものであり、画像取得部１０００に対応する。画像取り込み器２０２は例えばビデオキャプチャボードである。撮像装置１００および撮像装置１１０で撮像された画像をコンピュータ内に取り込むものであれば何でもよい。ＣＰＵ２０１は、記憶媒体２０３、ＲＯＭ２０４またはＲＡＭ２０５、あるいは不図示の外部記憶装置等に保存されているプログラムを読み出して実行する。それにより、画像記憶部１０１０、形状推定部１０２０、接触面形状推定部１０３０、画像生成部１０５０、画像合成部１０６０として機能する。また夫々の処理部は、記憶媒体２０３に情報を保存し、あるいは記憶媒体２０３から情報を読み出す。この場合、記憶媒体２０３から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体２０３から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに含まれるＣＰＵ２０１などが実際の処理の一部または全部を行い、その処理によって本実施形態の機能が実現される場合も含まれることは言うまでもない。

＜２．情報処理装置の処理フロー＞
次に、図３のフローチャートを参照して、本実施形態に係る情報処理装置２００が実施する処理の手順を説明する。

ステップＳ３０１０において、画像取得部１０００は、撮像装置１００および撮像装置１１０から画像（ステレオ画像）を取得する。ステップＳ３０２０において、画像記憶部１０１０は、画像取得部１０００により取得された画像を一時的にメモリに記録する。

ステップＳ３０３０において、形状推定部１０２０は、ステレオ画像に映り込んだ手１５０の領域を抽出し、輪郭線を求めて輪郭線の３次元形状を取得する。輪郭線の３次元形状を取得するためには、例えば、非特許文献３で提示されている手法を用いればよい。以下、輪郭線の３次元形状を取得する処理の詳細を説明する。

（１）図６に示される手１５０が撮像されたステレオ画像５０１、５０２の夫々の画像について、手１５０の領域１５０Ａ、１５０Ｂを背景差分で分離する。

（２）背景差分で抽出された手１５０の輪郭線１５０Ａ、１５０Ｂをトレースし、ラベル付けを実施する。

（３）左右のステレオ画像５０１、５０２の夫々の画像で、輪郭線が囲む領域の重心位置を算出し、一方の画像の重心位置に対応する、他方の画像上のエピポーラ線上に重心位置が近い輪郭線を決定する。

（４）片方の画像の輪郭線においてサンプリング点を決定し、他方の画像の対応付けられた輪郭線とエピポーラ線との交点を決定して対応付けを行う。

（５）事前に校正した撮像装置１００および撮像装置１１０のカメラパラメータと、各画像５０１、５０２で対応付けられたサンプリング点の画像座標値６１０、６２０（図７参照）から三角測量の原理を利用して、サンプリング点の３次元位置６３０を求める。カメラパラメータは、焦点距離、主点位置、レンズ歪み係数、左右カメラの相対位置姿勢等を含むパラメータである。

（６）すべてのサンプリング点に対して（５）の処理を実行し、輪郭線上におけるサンプリング点の３次元位置を求め、輪郭線の３次元形状６３５として出力する。

例えば、図８（ａ）に示す計測対象物体１６０に対して、手１５０を接触させたときにキーボード２０７で接触面形状の推定を指示すると、図８（ｂ）の輪郭線の３次元形状６３５に示すような３次元点群が出力される。

ただし、（１）の背景差分による抽出処理では手１５０以外のノイズ形状も出力される可能性があるため、３次元形状６３５として出力する頂点は、（２）でラベル付けされた輪郭線のうち、最も輪郭線が長い物体の３次元頂点のみを出力するものとする。

ただし、本発明は、形状推定部１０２０が非特許文献３の手法を利用することに限定されるものではなく、計測対象物体１６０と接触する現実物体の３次元形状を求められる方法であれば適用可能である。例えば、計測対象物体１６０に柔軟性のある布を接触させ、布の表面のテクスチャを利用して３次元形状を求めてもよい。

ステップＳ３０４０において、接触面形状推定部１０３０は、形状推定部１０２０により推定された輪郭線の３次元形状から、手１５０が計測対象物体１６０と接触している面の３次元形状を推定する。接触面の３次元形状の算出については、図４のフローチャートを参照して後述する。

ステップＳ３０５０において、形状記憶部１０４０は、接触面形状推定部１０３０から取得した接触面の３次元形状に基づいて、形状記憶部１０４０に記憶されている３次元形状の情報を更新する。ステップＳ３０６０において、画像生成部１０５０は、形状記憶部１０４０に記憶されている計測対象物体の３次元形状を取得し、ワイヤフレームでレンダリングする。

ただし、本発明は、画像生成部１０５０が計測対象物体の３次元形状をワイヤフレームでレンダリングすることに限定されるものではなく、操作者が３次元形状を実写映像と合成したときの一致度を確認できる表示方法であれば適用可能である。例えば、ワイヤフレーム表示に加えて内部を半透明の色で塗りつぶしてもよい。また、ＣＧモデルと現実物体の合成表示時のＣＧモデルのオクルージョン表現の状態を確認する場合は、３次元形状を透明度１００％のポリゴンでレンダリングすればよい。すなわち、現実物体の画像上に透明なポリゴンが描画されるため、現実物体の３次元形状の奥に配置されたＣＧモデルは、透明ポリゴンにより隠れて表示されなくなり、オクルージョン表現が可能となる。

ステップＳ３０７０において、画像合成部１０６０は、画像記憶部１０１０に記憶されているステレオ画像と、画像生成部１０５０により生成された現実物体の３次元形状の画像とを合成した合成画像を生成する。

ステップＳ３０８０において、画像合成部１０６０は、合成画像をディスプレイ２０８へ出力して提示させる提示制御部として機能する。以上で図３のフローチャートの各処理が終了する。

＜３．接触面推定処理の詳細＞
次に、図４のフローチャートを参照して、ステップＳ３０４０の接触面推定処理の詳細について説明する。ステップＳ４０００において、接触面形状推定部１０３０は、操作者からキーボード２０７を介して入力を受け付ける。操作者は、手１５０が計測対象物体１６０に接触していることを認識したうえでキーボード入力し、情報処理装置２００に３次元形状の記録を指示する。また、過去のフレームで取得した３次元形状が形状記憶部１０４０に記憶されている場合は、ディスプレイ２０８に表示されている計測対象物体１６０と３次元形状との合成画像を観察しながら、取得位置を調整しつつ記録する指示を出すことができる。操作者がキーボード２０７を介して接触面の記録の指示を行った場合は、ステップＳ４０１０に処理を移す。現在のフレーム（取得されたステレオ画像）では接触面を記録しない場合は、処理を終了する。

なお、本発明は、接触面の形状を記録するタイミングを操作者がキーボードを利用して入力することに限定されるものではなく、操作者の記録のタイミングを指示できるインタフェースであれば適用可能である。例えば、マウスのクリックや、撮像画像に映る操作者のもう片方の手のジェスチャを認識して接触面形状推定部１０３０に指示を行うようにしてもよい。

ステップＳ４０１０において、接触面形状推定部１０３０は、形状推定部１０２０により推定された輪郭線の３次元形状を取得する。ステップＳ４０２０において、接触面形状推定部１０３０は、ステップＳ４０１０で取得された輪郭線の３次元形状に近接する近接平面を推定する。輪郭線の３次元形状に近接する平面は、３次元形状を構成している複数の３次元頂点位置と平面が最小になるような平面のパラメータを最小二乗近似式で求めればよい。ここで、平面のパラメータとは、平面の方程式ａｘ＋ｂｙ＋ｃｚ＝１のａ，ｂ，ｃの法線ベクトルを指す。

ただし、本発明は、近接する平面を推定する方法として、最小二乗近似の方法を用いることに限定されるものではなく、輪郭線の３次元形状に近い平面を算出できる方法であれば適用可能である。

ステップＳ４０３０において、接触面形状推定部１０３０は、手１５０の輪郭線の３次元形状に外接する直方体を求め、ステップＳ４０２０で推定された近接平面との交線を導出して手１５０の平面領域を決定する。まず、輪郭線の３次元形状に外接する直方体は、３次元形状を構成する複数の３次元頂点位置が取り得るＸ座標値、Ｙ座標値、Ｚ座標値の最大値と最小値を用いて直方体の頂点位置を求めればよい。また、直方体と近接平面との交線は、直方体を構成する６平面の式を算出し、６平面と近接平面との交線を求めて、直方体の表面に乗る線分を抽出すればよい。さらに、求めた複数の線分の交点を近接する平面領域の頂点として一時的に記録する。

ただし、本発明は、平面領域を設定するために、外接する直方体を求めて直方体と近接平面の交線から平面領域を求めることに限定されるものではなく、手１５０の輪郭線の３次元形状に近い平面領域を算出できる方法であれば適用可能である。

ステップＳ４０４０において、接触面形状推定部１０３０は、ステップＳ４０３０決定された近接平面領域に対して輪郭線の３次元頂点位置を制御点としてベジエパッチを生成し、曲面を定義する。ベジエパッチは、ベジエ曲線を二つのパラメータ(u,v)で表現した曲面の表現方法の一つである。ベジエパッチで定義する曲面は、手１５０の輪郭線の複数の３次元頂点位置に近接する曲面（以後、近接曲面と呼ぶ）となっている。

なお、本発明は、ベジエパッチを用いて曲面を求めることに限定されるものではなく、手１５０の輪郭線の近接曲面を生成可能な手法であれば適用可能である。例えばＢスプライン曲面によって曲面を定義してもよい。

ステップＳ４０５０において、接触面形状推定部１０３０は、手１５０の輪郭線付近に生成した近接曲面を、接触していると想定される面方向に平行移動する。これにより、手１５０の厚みの影響で、ステレオ画像計測される輪郭線と接触する面とに生じる誤差を低減することができる。接触していると想定される面方向は、例えば、ステップＳ４０４０で求めた直方体のうち面積が最大となる２面の法線うち、撮像装置１００および撮像装置１１０の視軸方向と相対角度が小さい法線を接触面の方向ベクトルとして選択する。すなわち、手１５０を広げて計測対象物体１６０と接触させていることを想定し、ステレオ画像には映らない手のひら側にオフセット移動させることを想定する。例えば、手１５０の厚みを考慮してオフセット移動量は１ｃｍとし、前述した接触面の方向ベクトルに沿って近接曲面を平行移動させることで接触面と近接平面とを近づける。ただし、本発明は、オフセット移動量を１ｃｍにすることに限定されるものではなく、接触させる物体と接触面との差が減少するオフセット量であれば適用可能である。さらに平行移動だけではなく、回転による姿勢の変更を加えてもよい。

ステップＳ４０６０において、接触面形状推定部１０３０は、ベジエパッチで表現されている近接曲面の(u,v)パラメータに定数を入力し、近接平面上の３次元位置を算出することで、ポリゴン化を行う。入力する(u,v)のパラメータは、例えば、uとvをそれぞれ、０から１の間を０．２間隔で指定し、各方向に５等分指定すればよい。このように、近接平面をポリゴン化するときに、高精細な情報にならないように制御することで、非特許文献1の方法を利用した場合のような処理速度の低下を防ぐことができる。近接曲面のポリゴン頂点が生成できたら、形状記憶部１０４０に近接曲面を「接触面の形状情報」として出力し、処理を終了する。なお、本発明は、uとvをそれぞれから１の間を０．２間隔で指定することに限定されるものではない。実行する装置の処理性能に応じて間隔を調整してもよい。以上で図４のフローチャートの各処理が終了する。

＜４．３次元形状の記録処理の詳細＞
さらに、図５のフローチャートを参照して、ステップＳ３０５０の３次元形状の記録処理の詳細を説明する。ステップＳ５０００において、形状記憶部１０４０は、接触面形状推定部１０３０から出力された接触面の形状情報が形状記憶部１０４０に入力されたか否かを判定する。入力された場合はステップＳ５０１０に処理を移す。入力されていなかった場合は処理を終了する。

ステップＳ５０１０において、形状記憶部１０４０は、接触面形状推定部１０３０から入力された接触面の形状情報を読み込む。ステップＳ５０２０において、形状記憶部１０４０は、過去のフレームで算出された計測対象物体１６０の３次元形状の３次元頂点位置と、接触面の３次元頂点位置との各々の距離を算出する。算出した各々の頂点の距離リストから、例えば上位５点の対応点同士を一時的に記憶する。

ステップＳ５０３０において、形状記憶部１０４０は、ステップＳ５０２０で求めた上位５点の対応点同士を直線で接続する。なお、本発明は上位５点の対応点を直線で結ぶことに限定されるものではなく、操作者が制御可能にしてもよい。ステップＳ５０４０において、形状記憶部１０４０は、接続した形状を、更新した３次元形状として記録する。以上で図５のフローチャートの各処理が終了する。

以上の処理により、計測対象物体１６０の３次元形状は、入力された接触面の情報を追加していくことにより、より広範囲になっていく。例えば、図８（ａ）に示すような計測対象物体１６０に、図８（ｂ）のように操作者が手１５０を接触させ、操作者がキーボード２０７を介して入力指示を行うことで、３次元形状７００が生成される。さらに、図８（ｃ）のように時間経過後の別のフレームで、操作者が別の場所で計測対象物体１６０に手１５０を接触させ、操作者がキーボード２０７を介して入力指示を行うことにより、３次元形状７１０が既存の３次元形状７００と接触面同士が接合され、新たな３次元形状として保存される。

このようにして保存された３次元形状は、画像生成部１０５０、画像合成部１０６０の処理を経て、ディスプレイ２０８に合成画像として提示される。操作者は、現在の計測対象物体１６０の３次元形状が、計測対象物体１６０の実画像に合成されて表示されるため、どの領域を埋めれば、より計測対象物体１６０に近づけられるかを判断できる。

また、計測対象物体１６０に対して、操作者が自身の手１５０を接触させることで計測できるため、計測対象物体１６０の表面に模様がなくても形状を入力することができる。さらに、複雑な形状に対して膨大な頂点数を入力する必要がなく、手１５０を計測対象物体１６０上で滑らせながら入力指示をしていくだけで、概略的な形状を入力することができるため手間が少ない。

（変形例１：曲面ではなく平面を接触面とする）
上述の実施形態では、ステップＳ４０４０において接触面形状推定部１０３０が曲面を推定して近接曲面を生成し、接触面の３次元形状として出力した。しかし、本発明は、接触面として曲面を生成することに限定されるものではなく、平面を用いてもよい。

平面を用いる場合、接触面形状推定部１０３０の処理手順を示す図４のフローチャートにおけるステップＳ４０４０とステップＳ４０６０の処理が異なる部分である。それ以外の構成や処理については、上述の実施形態と同一の処理を行えばよい。

具体的には、変形例１の接触面形状推定部１０３０の処理は、図４で示すフローチャートのステップＳ４０４０とステップＳ４０６０の処理を除外して、ステップＳ４０３０で取得された近接平面領域をそのまま接触面の形状として出力すればよい。

（変形例２：接触面は１つの形状として接合せず、独立の接触面として記録する）
上述の実施形態では、ステップＳ５０３０において、形状記憶部１０４０が、入力された接触面と既存の３次元形状との近接点を探索し、接合する処理を実施していた。

ただし、本発明は、追加で入力される接触面の３次元形状を１つの連続した３次元形状として、接合しながら追加することに限定されるものではない。複数の平面または曲面から３次元形状を構成してもよい。

複数の接触面の形状を３次元形状として記録するためには、上述の実施形態の形状記憶部１０４０の処理手順を示す図５のフローチャートにおけるステップＳ５０２０およびステップＳ５０３０の処理を除外して、入力された接触面の３次元形状を接合せずに３次元形状として追加すればよい。その他の構成や処理は、上述の実施形態と同様である。

（変形例３：両手を使って接触面を記録する）
上述の実施形態では、操作者が片方の手１５０を撮像装置１００および撮像装置１１０が撮像することで接触面を算出する方法を例示した。ただし、本発明は、片方の手だけを観察して接触面を推定することに限定されるものではなく、両手の情報を利用して接触面を推定してもよい。

広い平面を持つ現実物体を計測対象物体１６０として入力したい場合は、両手の情報を利用して接触面を推定することにより、ステップＳ４０２０において接触面形状推定部１０３０が実施する近接平面の推定処理の精度を向上させられる可能性がある。また、同時に２つの接触面を推定することできるため、操作者が入力する手間が軽減される。

具体的には、上述の実施形態の処理のうち、形状推定部１０２０の手の輪郭線の３次元形状６３５を算出する処理において、複数の物体の輪郭線を出力できるようにすればよい。例えば、上述の実施形態では、ステップＳ３０３０の処理で線が最も長い輪郭線を選択して出力していたが、線が二番目に長い輪郭線についても出力すればよい。すなわち、画像上に映りこむ２つの手は、他のノイズ物体の輪郭線よりも大きく映り込んでいるという前提を用いて両手を抽出する。ステップＳ３０３０以外の構成と処理については、上述の実施形態と同様である。

以上説明したように、本発明によれば、リアルタイムで逐次的に現実物体の３次元形状を入力する方法において、更新等の処理速度の低下を抑制し、計測対象物体に制約を設けることなく、３次元形状の入力の手間を軽減することができる。

また、本発明によれば、実写画像と３次元形状の画像との合成画像を、ディスプレイで操作者に提示しながら３次元形状を入力させることができるため、操作者は、現状の３次元形状と計測対象物体の部位との一致度をリアルタイムに確認できる。すなわち、操作者はどの部位を優先的に入力すればよいかを判断できるため、比較的少ない工数で計測対象物体の３次元形状を入力完了させることができる。

さらに、本発明によれば、比較的少ない工数で対象とする現実物体の３次元形状入力が可能となるため、設置準備に時間が取れない状況での複合現実感（以下、ＭＲと略す）のアプリケーションでも、現実感の向上を実現できる。すなわち、ＭＲアプリケーションにおける現実物体とＣＧモデルとの衝突表現や、ＣＧモデルの現実物体への隠れ（オクルージョン）表現に用いる３次元形状の事前準備が短縮されるため、適用シーンを広げることが可能になる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２００：情報処理装置、１０００：画像取得部、１０１０：画像記憶部、１０２０：形状推定部、１０３０：接触面形状推定部、１０４０：形状記憶部、１０５０：画像生成部、１０６０：画像合成部

Claims (13)

1. 第１の物体および第２の物体を撮像した撮像画像を取得する取得手段と、
   前記撮像画像に基づいて前記第１の物体の形状を推定する第１の推定手段と、
   前記第１の物体の形状に基づいて前記第１の物体が前記第２の物体と接触する接触面の形状を推定する第２の推定手段と、
   前記接触面の形状に基づいて前記第２の物体の形状の画像を生成する生成手段と、
   前記撮像画像と前記第２の物体の形状の画像とを合成する合成手段と
   を備えることを特徴とする情報処理装置。
2. 操作者の指示を受け付ける入力手段をさらに備え、
   前記第２の推定手段は、前記入力手段により受け付けられた前記操作者の指示に基づいて、前記接触面の形状を推定することを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の推定手段は、前記第１の物体の輪郭線の３次元形状を推定することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記第２の推定手段は、前記第１の物体の輪郭線の３次元形状に近接する面を導出して当該面を平行移動することで前記接触面の形状を推定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記生成手段は、前記第２の推定手段により推定された１又は複数の接触面の形状に基づいて、前記第２の物体の３次元形状の画像を生成することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記生成手段は、前記第２の推定手段により推定された複数の接触面同士を接合して前記第２の物体の３次元形状の画像を生成することを特徴とする請求項５に記載の情報処理装置。
7. 前記第１の物体は操作者の手であることを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記接触面は曲面であることを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記接触面は平面であることを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
10. 前記撮像画像はステレオ画像であることを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
11. 前記合成手段により合成された前記撮像画像と前記第２の物体の形状の画像とをディスプレイに提示させる提示制御手段をさらに備えることを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
12. 情報処理装置の制御方法であって、
    取得手段が、第１の物体および第２の物体を撮像した撮像画像を取得する工程と、
    第１の推定手段が、前記撮像画像に基づいて前記第１の物体の形状を推定する工程と、
    第２の推定手段が、前記第１の物体の形状に基づいて前記第１の物体が前記第２の物体と接触する接触面の形状を推定する工程と、
    生成手段が、前記接触面の形状に基づいて前記第２の物体の形状の画像を生成する工程と、
    合成手段が、前記撮像画像と前記第２の物体の形状の画像とを合成する工程と
    を有することを特徴とする情報処理装置の制御方法。
13. 請求項１２に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。