JP2011149952A - モデル入力装置およびモデル生成システム - Google Patents

Abstract

【課題】高精度に対象物の動立体モデル（三次元動画像データ）を取得することができるモデル入力装置およびモデル生成システムを提供する。
【解決手段】モデル入力装置は、対象物の色彩データを取得する撮影部１０ｃと、可視光以外の波長を有する光を前記対象物へ照射する照射部１０ａと、前記対象物で反射された前記光を受光する受光部１０ｂと、内部に前記撮影部と前記照射部と前記受光部とを備えるユニット１０と、前記撮影部で得られた前記色彩データと前記受光部で得られた反射光に関する情報とをコンピュータへ出力可能なインターフェースと、を備える。
【選択図】図１

Description

本発明はモデル入力装置およびモデル生成システム、特に動く対象物についての複数枚の画像データから対象物の動き立体モデル（三次元モデル）を生成する三次元モデリング技術に関する。

従来より、動きデータを獲得する方法として、モーションキャプチャシステムが実用化されており、映画製作などに応用されている。これは、主に人の動きデータを獲得することを目的とし、人の関節にマーカあるいはセンサをつけ、人の動きに応じてその位置を検出することで、人の骨格の動きデータを得るものである。

より具体的には、モーションキャプチャシステムは２種類に分けられ、磁気センサを用いるもの、および光学的手法によるものが存在する。磁気センサを用いるものは、関節に磁気センサを取り付け、空間内の磁場に基づいて各センサは自身の位置を得る。人間の動きにしたがって、各センサの位置が変わり、これが関節の動きデータとして獲得されるものである。但し、この手法では、各センサにケーブルを接続する必要があり、これが人の動きを不自由にするという問題がある。また、磁場を乱す環境では正確に動きデータが得られないと言う問題もある。

一方、光学式では、たとえばＬＥＤを関節にマーカとして取り付ける。これを複数のカメラにて観測し、三角測量原理で各ＬＥＤの位置を検出する。但し、この手法では、データ入力空間を暗めにしなければならず、また、リアルタイムでの動きデータ獲得は難しいと言う問題がある。

さらに、磁気式あるいは光学式のいずれの方法においても、動きデータのみ獲得するものであり、動いている物体（人）自体の三次元形状データを得るものではない。
特開平１１−２１９４２２号公報 特開２００１−０８２９４０号公報 特開平１１−１７５６９２号公報

これに対し、ＣＭＵ（カーネギーメロン大学）では、複数カメラを配置した空間内で人が動作し、ステレオ法によって対象物体（人）の動き付き三次元データを得る方法を発表している。

しかしながら、この方法でも、動き付き三次元データは得られるものの、
（１）受動的ステレオ法に基づいているため、対象物に十分なテクスチャ情報がない場合、きわめて精度の悪い形状データとなる
（２）三次元データの羅列を得ているため、獲得データ量はきわめて多大となるという問題を有しており、実際の応用分野に適切なデータを提供しているとは言えない。

本発明は、上記従来技術の有する課題に鑑みなされたものであり、その目的は、対象物体の表面色彩に影響されることなく、高精度に対象物の動立体モデル（三次元動画像データ）を取得することができるモデル入力装置およびモデル生成システムを提供することにある。

上記目的を達成するために、本発明のモデル入力装置は、対象物の色彩データを取得する撮影部（例えば、カラーカメラ１０ｃ）と、可視光以外の波長を有する光を前記対象物へ照射する照射部（例えば、プロジェクタ１０ａ）と、前記対象物で反射された前記光を受光する受光部（例えば、近赤外カメラアレイ１０ｂ）と、内部に前記撮影部と前記照射部と前記受光部とを備えるユニット（例えば、入力ユニット１０）と、前記撮影部で得られた前記色彩データと前記受光部で得られた反射光に関する情報とをコンピュータへ出力可能なインターフェース（例えば、インターフェースＩ／Ｆ）と、を備えることを特徴とする。

本装置において、前記撮影部と前記照射部とは可及的に離して前記ユニットに配置されることが好適である。

本装置において、前記反射光に関する情報に基づいて、三次元形状データと動きデータを取得することもできる。

本装置において、前記受光部は、可視光以外の波長を有する光を受光可能な素子が複数個配列されることが好適である。

また、本発明のモデル生成システムは、対象物の色彩データを取得する撮影部（例えば、カラーカメラ１０ｃ）と、可視光以外の波長を有する光を前記対象物へ照射する照射部（例えば、プロジェクタ１０ａ）と、前記対象物で反射された前記光を受光する受光部（例えば、近赤外カメラアレイ１０ｂ）と、内部に前記撮影部と前記照射部と前記受光部とを備えるユニット（例えば、入力ユニット１０）と、前記撮影部で得られた前記色彩データと前記受光部で得られた反射光に関する情報とをコンピュータへ出力可能なインターフェース（例えば、インターフェースＩ／Ｆ）と、を備えるモデル入力装置と、前記インターフェースを介して前記モデル入力装置と接続され、三次元形状データが登録された三次元形状データベースを有し、前記反射光に関する情報に基づく動きデータと前記三次元形状データベースに登録された前記三次元形状データとを合成するモデル合成装置（例えば、コンピュータ１８）と、を備えることを特徴とする。

本システムにおいて、前記モデル合成装置は、前記撮影部で取得された前記色彩データを記憶する画像メモリをさらに有することもできる。

本システムにおいて、前記モデル合成装置は、前記反射光に関する情報に基づく三次元形状データと前記反射光に関する情報と同時刻に取得された色彩データとを合成することが好適である。

本システムにおいて、前記モデル合成装置と接続され、前記モデル合成装置にて合成された動立体モデルを出力する出力装置（例えば、出力装置２０）をさらに備えることもできる。

ここで、前記三次元形状データであるボクセルデータは連続した時間にわたって取得され、前記骨格データを生成する手段は、ある時刻に取得された前記ボクセルデータの細線化処理を少なくとも複数時刻にわたって実行することにより前記骨格データを生成することが好適である。

また、前記剛体グループに区分する手段は、前記骨格データの動きの方向及び大きさが略同一である骨格要素を同一剛体グループに属するとして区分することができる。また、前記剛体グループに区分する手段は、前記骨格データの動きの方向及び大きさを前記細線化処理後の一部の連続したボクセル座標の１次関数として記述し、この１次関数記述との誤差が一定値以下となる連続したボクセルを同一剛体グループに属するとして区分することもできる。

また、本装置において、さらに、前記骨格データ及び剛体グループ毎の運動パラメータを前記三次元形状データ及び色彩データとは別に記憶する手段とを有することが好適である。

ここで、前記骨格データ及び剛体グループ毎の運動パラメータと、異なる対象物について得られた前記三次元形状データ及び色彩データとを合成する手段とを有することもできる。

以上説明したように、本発明によれば、対象物体の表面色彩に影響されることなく、高精度に対象物の動立体モデル（三次元動画像データ）を取得することができる。

実施形態の構成図である。 図１におけるコンピュータの構成図である。 ステレオ法の原理説明図（その１）である。 ステレオ法の原理説明図（その２）である。 ステレオ法の原理説明図（その３）である。 三次元データの計算処理を示す説明図である。 細線化処理説明図である。

以下、図面に基づき本発明の実施形態について説明する。

＜第１実施形態＞
まず、本実施形態の基本概念について説明する。対象物体の表面色彩に左右されず精度良く三次元動画データを入力するためには、受動的手法ではなく、能動的手法が有効である。すなわち、何らかのパタン光を対象物に照射し、これを観測することで対象物の形状を得る方法である。ここで使用されるパタンとして、スリット光などの構造化光やランダム光などが代表的である。

いま、全周囲の動きつき三次元データを獲得することを前提にした場合、一方向だけでなく、複数の方向から同時にパタンを照射する必要がある。ここで、スリット光などの構造化光はパタンそのものに意味があるため、これを複数方向から同時に同じ対象物に照射すると互いのパタン光が干渉しあい、その結果、誤った形状データをえることになる。

一方、ランダム光の場合、パタンそのものには意味をもたない。したがって、複数方向からの同時照射を行っても問題ない。ただし、入力カメラは複数必要であり、これらでステレオ法を適用すればよい。

加えて、対象物体に対し全方向からの色彩（テクスチャ）データを獲得するためには、複数方向からカラーカメラにて対象物を撮影する必要がある。また、このテクスチャデータ獲得は、上記の三次元データ入力と同時に行わなければならないが、上記のパタン光はカラーカメラで撮影される画像には写るべきではない。なぜなら、このパタン光は本来の対象物の持つ色彩以外の不要な情報を与えるためである。

以上のことから、下記のものから構成される入力ユニットを用いることが好適となる。

（ａ）可視光以外、例えば近赤外線によるランダムパタン照射プロジェクタ
（ｂ）近赤外カメラアレイ
（ｃ）カラーカメラ
そして、このユニットを対象物に対して複数配置することにより、対象物全周囲の動きつき三次元データ入力が可能となる。

図１には、本実施形態の動立体モデル生成装置の構成が示されている。図１（Ａ）は動立体モデル作成装置の入力ユニットであり、図１（Ｂ）は動立体モデル生成装置の全体構成図である。

入力ユニット１０は、近赤外線によるランダムパタンを照射するプロジェクタ１０ａ、プロジェクタ１０ａから照射され対象物で反射されたランダムパタンを受光する近赤外カメラアレイ１０ｂ及び対象物の色彩テクスチャを取得するためのカラーカメラ１０ｃから構成される。

そして、このような入力ユニットを複数、例えば図１（Ｂ）に示されるように入力ユニット１０、１２、１４、１６と４つ、対象物（例えば人）の周囲に配置し、それぞれのユニット内の近赤外カメラアレイ１０ｂで得られた近赤外画像及びカラーカメラ１０ｃで得られたカラー画像を処理用コンピュータ１８に供給する。なお、各ユニット内の近赤外カメラアレイ１０ｂ及びカラーカメラ１０ｃの相対的位置関係は既知で固定であり、また、各ユニット間の相対的位置関係も予め正確に算出しておく。さらに、配置された全ユニット間にて近赤外カメラアレイ１０ｂは相互に同期することが望ましく、カラーカメラ１０ｃも同期することが望ましい。

図２には、図１におけるコンピュータ１８の構成ブロック図が示されている。入出力インターフェースＩ／Ｆ、ＣＰＵ、ＲＯＭ、画像メモリ、三次元形状データベース及び骨格データベースを有して構成される。

近赤外カメラ及びカラーカメラで得られた画像データはインターフェースＩ／Ｆからコンピュータ１８に取り込まれ、画像メモリに記憶される。

ＣＰＵは、画像メモリに記憶された画像データから後述する処理を実行して三次元形状データ及び色彩データを取得し、三次元形状データベースに登録する。本実施形態では、動きのある三次元物体をモデリングするため、三次元形状データベースには時間的に連続した三次元形状データが記憶される。ある時刻における三次元形状データをフレームと言うことができる。また、ＣＰＵは三次元形状データベースに記憶された三次元形状データ及び色彩データから骨格データ及びその動きデータを分離抽出し、骨格データベースに登録する。

ＲＯＭは、後述するモデリング処理を実行するための処理プログラムを格納し、ＣＰＵはこのＲＯＭに記憶されたプログラムを読み出し順次実行することで動きのある三次元物体をモデリングする。なお、この実施例ではプログラムをＲＯＭに格納しているが、この他ハードディスク、ＣＤ−ＲＯＭなど他の記憶媒体に格納されていてもよい。

以上の装置によってある時刻に入力された対象物の画像データの処理の流れを示すと以下の通りである。

（１）部分奥行きデータの獲得
（２）全三次元データの計算
（３）テクスチャ付き三次元データの獲得
これらの処理について順次説明する。

＜部分奥行きデータの獲得＞
部分奥行きデータの獲得とは、各ユニットにおいて獲得される部分的三次元データを獲得することである。ここでは、対象物に対し、近赤外線プロジェクタ１０ａからランダムパタンが照射されている。この画像を近赤外線カメラアレイ１０ｂにて撮影したものが入力画像になる。良く知られたマルチベースラインステレオなどの方法により、対象物のうち、全カメラの共通視野部分についてはカメラアレイ１０ｂからの距離データ（奥行きデータ）を求めることができる。

マルチベースラインステレオの原理は以下のとおりである。今、図３に示されるように対象物１００の周囲に３つのカメラＡ、Ｂ、Ｃを配置し、それぞれのカメラで得られた画像が画像１０２（カメラＡの画像）、画像１０４（カメラＢの画像）、画像１０６（カメラＣの画像）であるとする。カメラＡの画像１０２における点ａの対応点として、カメラＢの画像１０４における対応点候補は図４に示されるようにｂ１、ｂ２、ｂ３のように複数存在する。これらの対応点候補それぞれに応じて奥行きがｚ１、ｚ２、ｚ３と計算される。この段階ではどれが正しい奥行き候補かは特定できない。しかしながら、３つ以上のカメラを用いた場合、これらの複数候補から絞込みを行うことができる。たとえば、図５のようにカメラＣが存在した場合、ＣにおいてもカメラＡの画像１０２の点ａに対応する対応点候補が複数存在し、それぞれの奥行きが存在する。しかし、これらの候補のうち、正しい対応点候補については奥行き値が一致するはずである。すなわち、複数カメラを用いて対応点候補を得た後、これらのなかで奥行きが一致するもの（図中Ｑ）を最終的に真の対応点とし、その点の奥行き値を最終的な奥行きデータとする。但し、これらの奥行きデータは、この時点では各ユニットから見た部分的な情報に過ぎない。次に、これらを統合する必要がある。

＜全三次元データの計算＞
入力ユニットが図１（Ｂ）に示されるように４つの入力ユニット１０、１２、１４、１６から構成されている場合、４つのユニットの視野に共通な空間が存在する。そして、対象物はこの共通空間に存在すると仮定することができる。さもなければ、対象物の少なくとも一部分についてデータが獲得できなくなるからである。そして、この共通空間をボクセル空間、すなわち微小な立方体の集合で表現する。

上述した部分奥行きデータの獲得処理により、各ユニット毎に部分奥行きデータが算出される。各ユニットからの奥行きデータをＤｚ、ボクセル空間の各ボクセルとユニット間の距離をＤｖとすると、これらの部分奥行きデータは以下の処理により統合される。

（１）図６に示されるように、各ユニットについて、かつ、全ボクセルについてＤｖ＞Ｄｚであれば、そのボクセルに１点を加える。つまり、全ボクセルのうち、奥行きデータ以遠にあるボクセルについて１点を加える。４つのユニットについて行うことで、各ボクセルは０〜４のいずれかの値をとることになる。ちなみに、０は奥行きデータより手前に位置するボクセルであり、物体の外に対応するボクセルである。

（２）４点を獲得したボクセルのみを抽出し、これらを対象物に対応したボクセルとみなす。

なお、入力ユニットをｎ個用いた場合には、ステップ（２）にてｎ点を獲得したボクセルを抽出すればよい。また、ｎが大きい場合、ステップ（２）にて（ｎ−１）点、さらにより一般的には（ｎ−ｍ）点（ｎ＞ｍ）を獲得したボクセルを抽出してもよい。

以上の処理により対象物に相当するボクセルを抽出し、ボクセル空間で表現されたデータをポリゴン表現に変換する。

＜テクスチャつき三次元データの獲得＞
各ポリゴンに対し、割り当てる色彩データ（テクスチャデータ）を、同じ時刻にカラーカメラ１０ｃによって撮影した画像を参照して獲得する。

以上の３つの処理をすべての時刻に関して行うことで、精度の良い三次元動画像データを求めることができる。

そして、算出された三次元動画像データは三次元形状データベースに登録され、必要に応じてＣＰＵがこれを読み出し、出力装置２０に出力することができる。

＜第２実施形態＞
上述した第１実施形態では、三次元画像データの羅列を求めていた。しかし、この羅列から、さらに動きデータと形状データを分離することにより、三次元動画像データをきわめて少ないデータ量で表現可能となる、また、動きデータのみを取り出し別の形状データに適用可能になる、等の利点が発生する。

そこで、本実施形態では、動きデータと形状データを分離する方法について説明する。なお、装置の構成は図１及び図２と同様であり、すべての画像は１／３０秒毎に同期して撮影され、これら同時刻に撮影された画像を同一時刻フレームと呼ぶことにする。同時刻フレームの情報を使って、各フレームでの三次元データ（形状＋色彩）を求めることになる。

処理の流れは以下の通りである。

（１）各フレームでの骨格データ生成
（２）フレーム間での骨格データ比較
（３）最終骨格データ生成
以下、これらの処理について順次説明する。

＜各フレーム間での骨格データ生成＞
第１実施形態で述べたように、各フレームでの三次元形状データについては、一旦ボクセルデータとして表現される。ここで、画像処理分野で良く知られた細線化処理を行う。細線化処理については、例えば、「コンピュータ画像処理入門」（田村秀行著、日本工業技術センタ編）に記載されている。細線化とは、与えられた図形から線幅を狭めて幅１の中心線を抽出する操作であり、「画像中の境界点の中から消去可能要素でありかつ線の端点ではない画素をすべて消去する」アルゴリズムを基本とする。この基本アルゴリズムを画像全体の画素に施す１回の操作とし、これを消去される画素がなくなるまで反復することで実行することができる。

なお、一般に細線化処理はピクセル空間で表現された二次元画像を対象に行われるが、これを三次元画像すなわちボクセル空間に拡張することは容易である。この細線化処理の結果が、対象物、例えば人間の骨格に相当する。

図７には、細線化処理された対象物（人）が模式的に示されている。図７（Ａ）はボクセルデータを二次元的に表現したものであり、図７（Ｂ）はこのボクセルデータを細線化処理したものである。図７（Ｂ）の実線は、単位ボクセルが連結したものである。

＜フレーム間での骨格データ比較＞
ここでは、細線化処理の結果得られた点列の位置を、連続したフレーム間で比較し、点列の動きを求める。

具体的には、以下の処理となる。

（１）点列の特徴点（端点、分岐点）を求める。

（２）隣接フレームで近傍の特徴点の対応づけを行う。

（３）特徴点間の点列について、対応づけを行う。

ここでは、対象物の動きは連続しており、また、その動きは撮影時間間隔に対し十分緩やかであると仮定している。したがって、隣接フレーム間において、上記特徴点は十分に近傍に存在するという前提となっている。（１）での点列の特徴点は、前フレームにおける各特徴点の近傍について、次フレームでの対応点を探索すれば良い。これが（２）の処理になる。そして、特徴点の間に挟まれた点列について、それぞれ対応づけをする。

ここで、特徴点間の距離は、本来同じであるが、画像処理誤差などから必ずしも実際には一致しない。このため、ほぼ平均的に割り当てるなどの方法を用いることが好適である。

＜最終骨格データ生成＞
ここでは、すべての点のフレーム間対応関係に基づき、それぞれのフレーム間での移動ベクトルを計算する。そして、点のグルーピングを行う。具体的には隣接点において移動ベクトルが同じ方向であり、かつ大きさがほぼ等しいものについては同じグループであるとする。そして、さらに同じグループのものは剛体運動となるという制約を満たすかどうかの判定を行う。これは、例えば、腕を曲げるという動きをした場合において、下腕と上腕とで各々の骨格に属する点列は同じ剛体運動を行うが、別骨格のものは異なる剛体運動をすることに相当する。したがって、グループピングとは、点列を複数の剛体グループに分離すると表現することもできる。最後に、これらグループ分けされた点列について、剛体運動パラメータ（並進と回転）を決定する。

以上のようにして、自動的に骨格とその動きデータを抽出することができる。

そして、抽出された骨格と動きデータは図２における骨格データベースに登録される。得られた骨格データと動きデータは、ＣＧなどで生成された類似骨格を持つ別のデータに適用し、同様の動きをつけることができるため、極めて有用となる。

また、骨格データベースに登録されている骨格と動きデータを読み出し、分離された形状データを他の対象物についての形状データに置き換えて合成することで、コンピュータ上で任意の形状を有する対象物に同じような動きをさせることも可能となる。すなわち、骨格と動きデータをΦ、形状データをΨとした場合、元の動立体モデルはΦ＋Ψであるが、Ψの代わりに予め三次元形状データベースに登録されている他の対象物についての三次元形状データΩを用いてΦ＋Ωを生成することで、Ωの形状にΦの動きをさせることができる。

以上では、自動的に骨格データを求める方法について述べたが、あるフレームにおいて、手動で骨格を割り当て、以後、これを基本に骨格の動きを追跡して動きデータを得ても良い。

１０、１２、１４、１６ 入力ユニット、１８ コンピュータ、２０ 出力装置。

Claims (8)

1. 対象物の色彩データを取得する撮影部と、
   可視光以外の波長を有する光を前記対象物へ照射する照射部と、
   前記対象物で反射された前記光を受光する受光部と、
   内部に前記撮影部と前記照射部と前記受光部とを備えるユニットと、
   前記撮影部で得られた前記色彩データと前記受光部で得られた反射光に関する情報とをコンピュータへ出力可能なインターフェースと、
   を備えることを特徴とするモデル入力装置。
2. 請求項１記載のモデル生成装置において、
   前記撮影部と前記照射部とは可及的に離して前記ユニットに配置されることを特徴とするモデル入力装置。
3. 請求項１記載のモデル生成装置において、
   前記反射光に関する情報に基づいて、三次元形状データと動きデータを取得することを特徴とするモデル入力装置。
4. 請求項１記載のモデル生成装置において、
   前記受光部は、可視光以外の波長を有する光を受光可能な素子が複数個配列されることを特徴とするモデル入力装置。
5. 対象物の色彩データを取得する撮影部と、可視光以外の波長を有する光を前記対象物へ照射する照射部と、前記対象物で反射された前記光を受光する受光部と、内部に前記撮影部と前記照射部と前記受光部とを備えるユニットと、前記撮影部で得られた前記色彩データと前記受光部で得られた反射光に関する情報とをコンピュータへ出力可能なインターフェースと、を備えるモデル入力装置と、
   前記インターフェースを介して前記モデル入力装置と接続され、三次元形状データが登録された三次元形状データベースを有し、前記反射光に関する情報に基づく動きデータと前記三次元形状データベースに登録された前記三次元形状データとを合成するモデル合成装置と、
   を備えることを特徴とするモデル生成システム。
6. 請求項５記載のモデル生成システムにおいて、
   前記モデル合成装置は、前記撮影部で取得された前記色彩データを記憶する画像メモリをさらに有することを特徴とするモデル生成システム。
7. 請求項５記載のモデル生成システムにおいて、
   前記モデル合成装置は、前記反射光に関する情報に基づく三次元形状データと前記反射光に関する情報と同時刻に取得された色彩データとを合成することを特徴とするモデル生成システム。
8. 請求項５記載のモデル生成システムにおいて、 前記モデル合成装置と接続され、前記モデル合成装置にて合成された動立体モデルを出力する出力装置をさらに備えることを特徴とするモデル生成システム。