JP2009515493A - カメラ動きの決定 - Google Patents

Abstract

立体視的、マルチアパーチャ又は類似のカメラシステムから取得される二次元画像データと三次元点群データの組合せを使用する三次元イメージキャプチャシステムにおけるカメラの動きが決定される。より詳しくは、三次元点群のソースイメージ内の二次元点間で確立された点対応を使用して、２つの三次元点群データ間の厳密な変換は、より能率的にパラメータ化され得る。

Description

本発明はカメラ動きの決定、より詳しくは、三次元イメージングシステムのカメラの動き決定に関する。

（関連技術の記載）
三次元イメージキャプチャは、コンピュータ利用設計システム、デジタルアニメーションシステム、医療イメージングシステム、グラフィックデザイン、及びアートワークシステムなどの広範囲のモデリングシステムのデータ取得技法として長期にわたり有望視されてきた。

三次元データをキャプチャする１つの一般的な技法は移動カメラからの逐次的なイメージを使用して集積された三次元の点群を再構築するもので、イメージに応じてカメラの動きを決定し補完するという課題が生じる。これらの逐次イメージをカメラの動きで復元する一般的なアプローチは、二次元イメージ間の確立された位置の相関関係の因子分解を使用する。しかし、この技術では多くの逐次イメージを通じて点の位置関係を維持しなければならないので計算上の負荷が大きい。これにより、実際のイメージング環境において、特定の点が遮られるか、又は完全にイメージング平面の外側になるという問題をさらに生じる。

三次元データをキャプチャする別の一般的な技法は、立体視又はマルチアパーチャデバイスからの二次元イメージの対応点を三角法によって、三次元点群を直接キャプチャできるカメラハードウェアを使用する。これらの三次元カメラでは、逐次的な三次元点群の三次元位置合せを使用してカメラの動きを決定できる。しかし、反復最近傍点（「ＩＣＰ」）法のような典型的な位置合せ技法は、平面領域のような位置合せ困難な表面についてはうまく機能しない。更に、反復解は、一般に、しばしば大きなデータセットについて複数の逐次計算が必要なため、リアルタイムのイメージングアプリケーションにあまり適していない。

リアルタイム、三次元イメージキャプチャのようなアプリケーションでの使用に適した、強力で効率的なカメラ動き決定の技法が依然として必要である。

カメラの動きは、三次元イメージキャプチャシステムにおいて、立体視、マルチアパーチャ、又は類似的なカメラシステムから得られる二次元イメージデータ及び三次元点群データの組合せを使用して決定される。より詳しくは、２つの三次元点群データ間の厳密な変換は、三次元点群のためのソースイメージにおける二次元ピクセル間の点対応を使用して、より効率的にパラメータ化することができる。

１つの態様において、本明細書において開示される方法は、被写体（subject）の複数の第１二次元ビュー(two-dimensional view)を含む第１イメージセット(image set)を第１位置から受け取るステップと、被写体の複数の第２二次元ビューを含む第２イメージセットを第２位置から受け取るステップと、第１イメージセットから第１の点群を導出するステップと、複数の第１二次元ビューの１つの、多数のピクセルと複数の第２二次元ビューの１つの、多数のピクセル間で多数の対応ピクセルを同定するステップと、第２イメージセットの多数の対応ピクセル(corresponding pixel)から第２の点群(point cloud)を導出するステップと、第１の点群と第２の点群を使用して第１位置から第２位置への動き(motion)を決定するステップとを含む。

動きの決定には、第１の点群から第２の点群への厳密な変換を決定することが含まれてよい。第１の点群は、第１のイメージ集合の多数のピクセルからステレオマッチングを利用して導出可能である。動きは、位置又は方位のうち少なくとも一方の変化を含んでよい。第１位置は、第１イメージセットからの点のサブセットを含んでよい。この方法は、第１イメージセット中のピクセルの疎なメッシュから点のサブセットを導出するステップを更に含んでよい。第２の点群は、第２イメージセットからの点のサブセットを含んでよい。被写体は第１イメージセットの画像平面より実質的に大きくてよく、この方法は、被写体のために集積された点群が構築される、複数の連続的な三次元イメージのための方法におけるステップの繰り返しを更に含んでよい。複数の連続的な動きの１つが連続的な図の点群データから直接決定できない場合、この方法は、１つ以上の次に続く点群に対する１つ以上の次に続く動きの逆変換を通して複数の連続的な動きの１つを復元することを更に含んでよい。この方法は、第２イメージセット内に１つ以上の追加的対応点を有する第１イメージセットから１つ以上の追加点を第１の点群に補充するステップを含んでよい。この方法は、第１イメージセット内に１つ以上の追加的対応点を有する第２イメージセットから１つ以上の追加点を第２の点群に補充するステップを含んでよい。第１イメージセットと第２イメージセットは、マルチアパーチャカメラから取得してよい。

１つ以上の対応するピクセルの識別は、マルチアパーチャカメラの中心開口からの二次元ビュー間の対応ピクセルを同定することを含んでよい。第１イメージセットと第２イメージセットは、互いに固定された関係にある複数のカメラを含む、カメラシステムから取得してよい。

被写体は、人体の一部を含んでよい。人体の一部は、鼻又は耳を含んでよい。被写体は、１本以上の歯を含んでよい。被写体は、１つ以上の歯のモデルを含んでよい。被写体は、デジタルアニメーションプロセスに使用されるオブジェクトの物理モデルを含んでよい。

別の態様において、本明細書において開示されるコンピュータプログラム製品は、コンピュータでの実行時に、第１位置からの被写体の第１の複数の二次元ビューを含む第１イメージセットを受け取るステップと、第２位置からの被写体の複数の第２二次元ビューを含む第２イメージセットを受け取るステップと、第１イメージセットから第１の点群を導出するステップと、複数の第１二次元ビューの１つの多数のピクセルと、複数の第２二次元ビューの１つの多数のピクセルとの間で、多くの対応ピクセルを同定するステップと、第２イメージセットの対応ピクセルの数から第２の点群を導出するステップと、第１の点群と第２の点群を使用して第１位置から第２位置への動きを決定するステップとを実行する。

動きの決定には、第１の点群から第２の点群への厳密な変換を決定するステップが含まれてよい。第１の点群は、ステレオマッチングを使用して第１イメージセットの多数のピクセルから導出してよい。この動きは、位置又は方位のうちの少なくとも一方の変化を含んでよい。第１の点は、第１イメージセットの点の部分サブセットを含んでよい。コンピュータプログラムは、第１イメージセット内のピクセルの疎なメッシュから点のサブセットを導出するためのプログラムを更に含んでよい。第２の点群は、第２イメージセットの点のサブセットを含んでよい。被写体は第１イメージセットの画像平面より実質的に大きくてよく、コンピュータプログラムは複数の連続的な三次元イメージについて、被写体の集積された点群を構築する反復プログラムを更に含んでよい。複数の連続する動きの１つが、連続的なビューの点群データから直接決定できない場合、コンピュータプログラムは、次の１つ以上の連続的な点群に対応する次の１つ以上の連続的な移動の逆変換を通じて複数の連続的な移動の１つを復元するコードを更に含んでよい。コンピュータプログラムは、第２イメージセットの１つ以上の追加的な対応点を有する第１イメージセットから１つ以上の追加的な点を第１の点群に補充するコードを更に含んでよい。コンピュータプログラムは、第１イメージセットの１つ以上の追加的な対応点を有する第２イメージセットから１つ以上の追加的な点を第２の点群に補充するコードを更に含んでよい。第１イメージセット及び第２イメージセットは、マルチアパーチャカメラから取得されてよい。

１つ以上の対応ピクセルを確認するステップは、マルチアパーチャカメラの中心開口からの二次元ビュー間の対応ピクセルを同定するステップを含んでよい。第１イメージセット及び第２イメージセットは、互いに固定された関係にある複数のカメラを含むカメラシステムから取得されてよい。

被写体は、人体の一部を含んでよい。人体の一部は、鼻又は耳を含んでよい。被写体は、１本以上の歯を含んでよい。被写体は、１つ以上の歯のモデルを含んでよい。被写体は、デジタルアニメーションプロセスに使用するオブジェクトの物理モデルを含んでよい。

別の態様においては、本明細書において開示されるシステムは、カメラ及びプロセッサを含んでよい。カメラは、被写体の第１位置から複数の第１二次元ビューを含む第１イメージセットと、被写体の第２位置からの複数の第２二次元ビューを含む第２イメージセットとをキャプチャするように構成されてよい。プロセッサは、カメラと通信関係において連結されてよく、第１イメージセットから第１の点群を導出し、複数の第１二次元ビューの多数のピクセルと複数の第２二次元ビューの多数のピクセル間の多数の対応ピクセルを同定し、第２イメージセットの対応ピクセルの数から第２の点群を導出するように構成され、第１の点群と第２の点群を用いて第１の点から第２の点への動きを決定するように更に構成される。

動きの決定ステップは、第１の点群から第２の点群への厳密な変換を決定するステップを含んでよい。第１の点群は、ステレオマッチングを使用して第１イメージセットの多数のピクセルから導出されてよい。動き、位置又は方位のうちの少なくとも一方の変化を含んでよい。第１の点は、第１イメージセットの点のサブセットを含んでよい。プロセッサは、第１イメージセット内のピクセルの疎なメッシュから、点のサブセットを導出するように構成されてよい。第２の点群は、第２イメージセットからの点のサブセットを含んでよい。被写体は第１イメージセットの画像平面より実質的に大きくてよく、プロセッサは複数の追加的な点群を導出して、そこから複数の連続的な動きを決定するように構成されてよく、それによって、被写体の集積された点群が構築される。複数の連続的な動きの１つが連続的な図の点群データから直接決定できない場合、プロセッサは１つ以上の次に続く点群に対応する１つ以上の次に続く動きの逆変換を通して複数の連続的な動きの１つを復元することを更に含んでよい。プロセッサは、第２イメージセットの１つ以上の追加的な対応点を有する第１イメージセットから１つ以上の追加的な点を第１の点群に補充するように構成されてよい。プロセッサは、第１イメージセットの１つ以上の追加的な対応点を有する第２イメージセットから１つ以上の追加的な点を第２の点群に補充するように構成されてよい。

カメラは、マルチアパーチャカメラであってよい。１つ以上の対応ピクセルを確認するステップは、マルチアパーチャカメラの中心開口からの二次元ビュー間の対応ピクセルを識別するステップを含んでよい。カメラは、互いに固定された関係にある複数のカメラを含んでよい。

被写体は、人体の一部を含んでよい。人体の一部は、鼻又は耳を含んでよい。被写体は、１つ以上の歯を含んでよい。被写体は、１つ以上の歯のモデルを含んでよい。被写体は、デジタルアニメーションプロセスに使用するオブジェクトの物理モデルを含んでよい。

別の態様においては、本明細書において開示される方法は、第１位置からの点群の第２位置からの点群への厳密な変換を使用して、第１位置から第２位置への、カメラの動きを決定するステップを含んでおり、第２位置からの点群は、第１位置と第２位置からの二次元イメージデータの対応を使用して選択される点を含む。

別の態様においては、本明細書において開示されるシステムは、第１位置からの被写体の複数の第１二次元ビューを含む第１イメージセットを受け取るための第１の受け取り手段と、第２位置からの被写体の複数の第２二次元ビューを含む第１イメージセットを受け取るための第２の受け取り手段と、第１イメージセットから第１の点群を導出するための導出ステップと、複数の第１二次元ビューの１つの多数のピクセルと複数の第２二次元ビューの１つの多数のピクセルとの間に多数の対応ピクセルを同定するための手段と、第２イメージセットの対応ピクセル数から第２の点群を導出するための第２の導出手段と、第１の点群及び第２の点群を使用して、第１位置から第２位置への動きを決定する動き決定手段とを含む。

本発明の他の特徴、その本質及びさまざまな利点は、添付の図面及び特定の好ましい実施例に関する以下の詳細な説明から明らかである。

立体又はマルチアパーチャカメラシステムからの１連のイメージに対するカメラ動きの決定法を使用して集積された三次元の点群を再構築する技法を以下に説明する。しかし、本明細書において開示される発明の概念はこの種の応用に限定されず、二次元及び三次元イメージデータが再構築に使用される、可視光線又はそれ以外のためのいかなるイメージングシステムにおいても有用に使用されることは理解されるだろう。従って、本技術は、例えば、マルチカメラ動画システム、立体顕微鏡、又は、三次元データが二次元イメージから導出されるような他のいかなるイメージングシステムによっても使用されてよい。同様に、以下の説明はイメージングの被写体に関して移動するカメラに絞られているが、本明細書において記載されている技法は、１つ以上の移動物体の逐次的なイメージをキャプチャする静止カメラに等しく適用できる。この種の用途において、解析の問題は、静止カメラによる物体の運動の決定と言った方がより正確であるが、この種の用途は同一ではないとしても概念的には類似している。さらに、より一般的には、カメラ及び被写体は、カメラと被写体間の相対運動の決定問題及び本明細書において記載されている技法の適用性を変えることなく、ある外部参照座標系に相対的に移動してよい。このようなバリエーション及び別の実施形態は、当該技術分野の当業者にとって明らかなように、本開示の範囲内であることを意図している。

以下の説明では、用語「イメージ」は、一般に、画像平面内で被写体の二次元ビューを形成しているピクセルの二次元のセットを指す。「点群」という用語は、一般に、多数の二次元図から再構築された被写体の三次元象を形成する三次元点集合を意味する。三次元イメージキャプチャシステムにおいて、多くのこの種の点群は、移動カメラにキャプチャされたイメージから構築された集積点群に位置合せして結合されてもよい。従って、他の意味が特に示されるか又は文脈から明白な場合でなければ、ピクセルは一般に二次元のデータ、点は一般に三次元データを意味することが理解されよう。

図１は、イメージキャプチャシステムを示す。一般に、システム１００は、画像平面１０６内で被写体１０４のイメージをキャプチャして、コンピュータ１０８にイメージを送る、カメラ１０２を含んでよい。

カメラ１０２は、三次元点群が復元されるようなイメージキャプチャに適した任意のカメラ又はカメラシステムであってよい。例えば、カメラ１０２は、例えばその全体を参照として本明細書に引用したハートら（Hart et al.）の米国特許公開番号２００４０１５５９７５に開示されているように、マルチアパーチャシステムを使用してよい。ハートは１つのマルチアパーチャシステムを開示しているが、多数の二次元イメージから三次元点群を再構築する任意の適切なマルチアパーチャシステムも同様に使用してよいことは言うまでもない。１つのマルチアパーチャ実施形態において、カメラ１０２は、レンズの中心光軸に沿って配置される中心開口を含む複数の開口及び任意の付随するイメージングハードウェアを含んでよい。カメラ１０２は、あるいは、その代わりに、オブジェクトのわずかに異なる多数の透視図から二次元イメージを得るために多くのカメラが互いに固定された関係において維持されるような立体又は別のマルチカメラ構成を含むこともできる。カメラ１０２は、マルチアパーチャ又はマルチカメライメージから三次元点群を導出するための、適切な処理を含んでよいか、又は、二次元イメージは後述するプロセッサ１０８のような外部プロセッサに転送されてもよい。

図１に示されないが、多数の補助照明システムがイメージキャプチャの間、有用に使用されてよいことはいうまでもない。例えば、１つ以上のスポットライトで被写体１０４を照らして環境照明を強化して、イメージ取得を速くして焦点深度を改善してよい。カメラ１０２はまた、あるいは、その代わりに、イメージ取得の間に被写体１０４の照明を補充するためにストローブ、フラッシュ又は他の光源を含んでもよい。

被写体１０４は、任意のオブジェクト、オブジェクトのコレクション、オブジェクトの一部、又は他の被写体であってよい。例えば、歯科のイメージングアプリケーションでは、被写体１０４は、歯、歯のカドラント、又は仮想的な歯科印象が必要であれば歯の完全な集合を含んでよい。逆に言えば、被写体１０４は、以前にキャプチャされた完全な仮想歯印象内での適合性を検査される、キャップ、冠、又は歯の他の任意の部分のような歯科補てつ物を含んでよい。被写体１０４は、１歯、複数歯、軟部組織もしくはこれらの何らかの組合せに関する石こう型、ワックスアップ、歯科印象又は陰印象のような歯科のモデルを含んでよい。特定の例において、三次元点のキャプチャを改善するためにテクスチャリング剤を被写体１０４の表面に印加してよい。他の実施形態において、被写体１０４は、補聴器、眼鏡、ゴーグル、等の注文採寸のために要求される人間の頭部又はその１部分の三次元モデルであってよい。他の実施形態において、被写体１０４は、三次元デジタルアニメーションプロセスに用いられるミニチュア、物理的なモデルのようなデジタルアニメーションに用いられるオブジェクトの物理モデルであってよい。上記の実施例から、本明細書において記載されている技術を使用しているシステムは、比較的近距離、高解像度の三次元イメージ取得の広範なアプリケーション用に適切に適合されてよいことが明らかである。しかし、カメラ１０２は、マルチアパーチャ又はマルチカメラシステムに基づく様々な他の三次元イメージングアプリケーションのために適切に適合されてよく、この種のバリエーションは全てこの開示の範囲内になることを当業者は認めるであろう。

画像平面１０６は、カメラ１０２の二次元視野を含んでよい。画像平面１０６は、長方形として例示されているが、例えば、カメラ１０２が提供する、正方形、円又は他の任意の幾何図形が形成されてよいことは言うまでもない。一般に、カメラ１０２は、カメラ１０２の物理構造及び周辺光のような環境条件で決定される、画像獲得のための焦点深度を画像平面１０６内で有する。

コンピュータ１０８は、例えば、パーソナルコンピュータ又は他の処理装置であってよい。１実施形態において、コンピュータ１０８は、デュアル２．８ＧＨｚのＯｐｔｅｒｏｎ中央処理装置、２ギガバイトのランダムアクセスメモリ、ＴＹＡＮ Ｔｈｕｎｄｅｒ Ｋ８ＷＥマザーボード及び２５０ギガバイト、１０，０００ｒｐｍのハードディスクを有するパーソナルコンピュータを含む。このシステムは、本明細書において記載されている技法を使用して、１イメージセットについてリアルタイムで、約１，５００点をキャプチャし、１００万点以上の集積点群を保存するように作動されてよい。より一般的にいえば、コンピュータ１０８の処理能力は、被写体１０４の大きさ、イメージ取得の速度及び必要な三次元点の空間的分解能によって異なってよい。コンピュータ１０８は、カメラシステム１００を有するユーザーとの対話処理のためのキーボード、モニタ及びマウスのような周辺機器を含んでよい。

コンピュータ１０８とカメラ１０２間の通信は、例えば有線接続又は例えばＩＥＥＥ ８０２．１１（別名無線イーサネット（登録商標））、ブルートゥース、又は例えば、無線、赤外線又は他の無線通信メディアを使用した他の任意の適切な無線標準を含む任意の適切な通信リンクを使用してよい。医療イメージ又は他の繊細なアプリケーションにおいて、カメラ１０２からコンピュータ１０８への無線イメージ送信は、安全性が確保されてよい。コンピュータ１０８は、イメージ取得命令に加えて、焦点又はズームのような従来のカメラ制御を含む制御信号をカメラ１０２に対して生成してよい。

図２は、移動カメラからキャプチャされた１連のイメージを例示する。例えば、上記のカメラ１０２のいずれかを含んでよいシーケンス２００において、カメラ２０２は例えば、上記の被写体１０４のいずれかの、被写体２０４のイメージを多数の異なる位置２０６ａ〜２０６ｅからキャプチャしてよい。５つのカメラ位置が図２のシーケンス２００に示されているが、本明細書に記載されている原理に沿って、より多いか又はより少ないカメラ位置が使われてよいことはいうまでもない。各位置２０６で、カメラ２０２は二次元イメージのイメージセット
をキャプチャし、このイメージセットから点群
が算出されてよい。一般に、シーケンス２００でキャプチャされた三次元点群は、後述する技法を使用して、集積点群に結合されてよい。特定の実施形態において、被写体が移動する一方でカメラが固定されたままであることを理解すべきである。そのような場合、カメラ２０２の動きより、むしろ被写体の動きが決定される。

図３Ａ及び図３Ｂはカメラの動きを決定するプロセスのフローチャートを示す。プロセス３００は、上で一般に記載されているカメラシステムを用いてよい。

プロセス３００は、初期位置３０４のカメラから最初のイメージセット（ＩＳ₁）を受け取ることによって３０２を始めてよい。本明細書において用語として使われる、位置は、カメラの三次元座標並びに回転配向を含む。もちろん、カメラがシーケンスにおいて最初のイメージセットをキャプチャする「位置」は、いわば任意なので、任意の好都合な値を、例えば、後に取得された被写体が撮像される第２位置又は別の基準点に相対的に割り当ててもよいし、最初の位置は全ての軸について回転が０の原点であってよい。

ステップ３０６に示すように、カメラは次に、第２位置からの第２イメージセット（ＩＳ₂）を受け取ってよい。カメラは、任意の自動、半自動又は手動の手順を使用して第１位置から第２位置まで移動されてよい。例えば、カメラは、携帯型の撮像装置で、イメージセットのキャプチャ時に被写体の上及び／又は周囲を手で移動してよい。イメージキャプチャは、例えば、規則的な間隔、不規則な間隔（例えば前のイメージセットの処理終了後）、又は、手動による起動間隔また他の何らかの起動メカニズムで開始されてよい。

ステップ３０８に示すように、第１の点群（ＰＣ₁）は、第１イメージセット（ＩＳ₁）から算出され得る。イメージセットから三次元点の値を算出するために多くの技法が使用されてよい。例えば、立体視的マッチング技術には、ピクセル輝度の相互情報量又は相関のような画像類似性の確率論的測度が含まれる。他のタイプの適切な導出法には、例えば、空間及び／又は時間的勾配を使用するオプティカルフローを含む。上記のように、ステレオカメラ構成では、イメージセットは、通常２つのイメージを含む。しかし、３又は４開口のカメラ又は類似のカメラシステムのようなマルチアパーチャカメラ構成を使用するイメージセットには３つ以上のイメージが含まれ得る。第１の点群は、イメージセットから復元され得る点の全て又は大部分でさえ含む必要がないことを理解すべきである。点群は、例えば、イメージセットの（元のイメージの画素密度に関して）疎なメッシュから算出され得る。この手順は、特にリアルタイムイメージングアプリケーションの高速化処理に好適であり得る。疎なメッシュは、イメージセットのピクセルの任意のサブセットから得られてよい。規則的な正方格子は、例えば、特にイメージの二次標本抽出を使用する階層的手法に適している。しかし、点群の導出のためにイメージセット内で規則的又は不規則な間隔のピクセルを選択するために、三角形、四角形などの他のメッシュを使用してよい。

ステップ３１０に示すように、第１イメージセット（ＩＳ₁）のピクセルと第２イメージセット（ＩＳ₂）のピクセル間で対応付けが確立される。計算の複雑性を軽減するために、セルのサブセットについて、より詳しくは上記のピクセルのサブセット又はメッシュについて対応付けが都合よく確立される。対応関係は、例えば、相関に基づく画像マッチングを使用して確立されてよい。オプティカルフローのような、他の技法も公知であり、特に連続的な画像間の相対移動が小さい所で適切に使用されてよい。カメラの光軸上に中心を有する開口を含むマルチアパーチャカメラを使用する、１実施形態において、各イメージセットからの軸上のイメージが、対応付けに使用されてよい。

ソースデータが適切に密な所では、例えば上記のメッシュを使って選択された点に関する対応関係は高い信頼性があると考えられる。しかし、対応付けが決まらないか、もしくはそのような点の精度又は値が疑われる他の定量的、定性的、又は規則ベースの理由が存在するような点は、第１の点群（ＰＣ₁）から取り除かれてよいことは言うまでもない。より一般的には、二次元ピクセルデータの処理又はそこから得られる三次元の点の選択による、点群の生成に対する多くのバリエーション及び修正は、この開示の範囲内においてなされ得る。

ステップ３１２に示すように、第２の点群（ＰＣ₂）は、通常、ステップ３０８に関する上記の技術を使用して、第２イメージセット（ＩＳ₂）のピクセルから導出され得る。第２の点群は、第１の点群内に対応ピクセルを有する第２イメージセットからのピクセルのサブセット、すなわち第１の点群内に対応点があるピクセルのサブセットのみに対して導出されることに注意する。この技法により、連続的な三次元点群のための一般のフレーム間データ点について実行される逐次的な位置合せ又は変換プロセスが有利に実行できるようになる。他の実施形態において、完全点群（すなわち、対応ピクセルを持たない追加点を含む点群）は第２位置のカメラデータから導出され得るか、又は、別の言い方をすると、第２の点群は上記の対応付けステップに独立に導出されてよい。これは、例えば、第１及び第２イメージセット間の対応付けに関係なく第２イメージセットの全てのピクセルが復元されることを含み、これにより、例えば第１と第２の点群が平行して生成できるようになる。このような実施形態では、続く処理のために使用する第２の点群（ＰＣ₂）は、上記のピクセル対応関係に基づく完全点群から選択され得る。

ステップ３１６に示すように、第１のカメラ位置から第２のカメラ位置への移動が決定され得る。本明細書に記載されている他のステップと同様に、多くの技法が使用されてよい。１実施形態において、三次元回転マトリクス（Ｒ）及び三次元変換ベクトル（ｔ）を含む厳密な変換は、次の方程式によって特徴づけられるように、フィッティング残差を最小化することによって第１及び第２の点群のＮ個の対応点について計算され得る。

あるいは、各対応点の信頼度が得られる場合、厳密な変換のために加重式の使用が可能になって、各点ｉは加重係数（ｗ_i）によって個別に重み付けされる。

式３又は式４の式は、例えば、（本明細書に参照として全体が組込まれている、Ｋ．Ｓ．アルン、Ｔ．Ｓ．ホワン及びＳ．Ｄ．ボルスタイン著、２つの三次元点集合の最小二乗法フィッティング、ＩＥＥＥ論文集、パターン解析及び人工知能、１９８７年９巻５号６９８〜７００頁（K. S. Arun, T. S. Huang and S. D. Blostein, Least-squares fitting of two 3-D point sets, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 9, Issue 5, pp. 698-700, 1987）に記載の）特異値分解、又は（本明細書に参照として全体が組込まれている、バーソルド Ｋ．Ｐ．ホーン、ヒュー Ｍ．ヒルデン及びシャリア ナガダリプル著、正規直交マトリックスを使用した絶対定位の閉形式解 米国光学会誌：１１２７〜１１３５、１９８８（Berthold K. P. Horn, Hugh M. Hilden, and Shahriar Negahdaripour, Closed-form solution of absolute orientation using orthonormal matrices. Journal of the Optical Society of America, 5（7）: 1127-1135, 1988）に記載の）、固有値−固有ベクトル分解を使用した閉形式解をもつ。より一般的には、厳密な変換は、２つの点群の点群データの最小二乗フィット又は強化最小二乗（robust least mean square）フィットのような誤差関数の最小化に基づいてよい。第１の位置から第２の位置へのカメラ動きは、この変換の逆変換である。上記の厳密な変換を導出するには一般に複数の点、より詳しくは、少なくとも３つの同一直線上にない点が必要であるのはいうまでもない。重要な利点として、この方法では、両方の点群に存在することがわかっている点を使用した厳密な変換の計算ができるようになる。

ステップ３１８に示すように、例えば、ＰＣ₃、ＰＣ₄、．．．のために追加的なイメージセットがキャプチャされるかどうかの判定がなされ得る。この判定は、例えば、「取得終了」ボタン等を選択するなど、上記のコンピュータに対するユーザー入力によって制御されるか、又は例えば、記憶容量の制限、予め設定された記録時間もしくは他の任意の適切な基準に従って自動的に制御されてよい。追加的なイメージセットを得る必要がなくなったら、プロセス３００は３２０を終了してよい。

追加的なイメージセットを取得する場合、一般に上述されているように、プロセス３００は、次のイメージセットが次の位置から受け取られ得る、ステップ３２２へ進んでよい。再び、一般に上述されているが、ステップ３２４に示すように、現在のイメージセットと以前のイメージセットとの間でピクセルの対応関係が確立されてよい。再び、一般に上述されているが、ステップ３２６に示すように、点群は、ステップ３２４で確立された対応関係を使用して次のイメージセットに対して導出されてよい。再び、上述されているように、ステップ３２８に示すように、連続的な位置間の動きは、連続的な位置からの点群データを使用して決定されてよい。

ステップ３３０に示すように、例えば追加的な点群のために追加的なイメージセットがキャプチャされるべきかどうかの判定がなされてよい。この判定は、例えば、「取得終了」ボタンの選択などのような上記のコンピュータに対するユーザー入力によって、例えば「端取得」ボタン等を選択するステップによって制御され得るか、又は、記憶容量制限、予め設定された記録時間もしくは他の任意の適切な基準に従って自動的に制御されてよい。追加的なイメージセットが取得される場合、プロセス３００は次の連続的なイメージセットがキャプチャされ得るステップ３２２に戻ってよいというように続けられる。従って、コンピュータとカメラの処理能力及び記憶領域の制限のもとで、このプロセスは、任意の数の連続的なイメージセットについて反復されてよい。

追加的なイメージセットを得る必要がない場合、プロセス３００は３３２を終了させてよい。全てのイメージシーケンス及び／又はカメラパスは、コンピュータ又はネットワーク接続ストレージ、外部大容量記憶装置のような他の適切な記憶装置に格納されてよい。更に、集積点群は、逐次的なイメージセット対を連結することによって形成されてよく、集積された点群は、さまざまなカメラ位置からのデータに関するカメラパス、イメージセット、又は点群データへの追加又は入替えとして保存されてよい。

上記ステップは隣接したイメージセットのピクセルの間の対応関係の判定にオプティカルフロー技法を用いるというように変化してよいこと、及び第２イメージセットを得る前に第１の点群を導出するというようにステップの順序が変わっていいことはいうまでもない。加えて、特定のステップが追加又は省略され、もしくは、複数のステップが結合されてよい。また、上記のように、特定の実施形態では、カメラは定位置にとどまってよく、画像平面内で動く１つ以上の被写体のためだけに動きの判定がなされてよい。別の実施形態において、第１の点群及び第２の点群は、何らかのフレーム間処理の前に第１及び第２イメージセットから導出されてよい。

別の実施形態において、第１の点群及び第２の点群は、何らかのフレーム間処理の前に第１及び第２のイメージセットから導出されてよい。例えば、点群が導出される二次元のピクセルデータの分析とともに上記のメッシュを使用して決定される対応点のサブセットについて、位置合せ又は変換計算のステップを続けて実施することによって重要な処理の利点が更に実現され得る。従って、１実施形態において、本明細書において開示される方法は、第１イメージセットから第１の点群を導出するステップ、第２イメージセットから第２の点群を導出するステップ、及び第１及び第２イメージセットからの二次元データを使用して第１の点群と第２の点群との間に多数の対応点を同定するステップを含んでよい。厳密な変換を計算して、そこからカメラの動きを導出するか、点群相互に関して位置合せを行うような後続の処理を対応する点について実行してよい。さまざまな実施形態において、点群を対応点だけを含むように明示的に切り取るか、後続の処理ステップを点群内の同定された点のサブセットについて実行してもよい。従って、多数の点群内の対応点の処理は多くの方法で機械的に実施され得ることはいうまでもない。

別の実施形態において、二次元イメージデータのピクセル間の対応は、いずれのカメラ位置におけるいかなる点群データの生成の前においても決定されてよい。

当該技術分野において当業者によって認識され、この説明に続く請求項と一貫性を有する全てのこの種のバリエーションは、この開示の範囲内になることが意図されている。

上記のプロセスは本明細書において記載される三次元画像処理技法のために適切なハードウェア、ソフトウェア、又はこれらの任意の組合せにおいて実現され得ることはいうまでもない。このプロセスは、１つ以上のマイクロプロセッサ、マイクロコントローラ、埋め込みマイクロコントローラ、プログラム可能なデジタル信号処理装置又は他のプログラマブルデバイスで内蔵及び／又は外部メモリを使って実現され得る。このプロセスはまた、あるいは、その代わりに、特定用途向けＩＣ、プログラム可能なゲートアレイ、プログラマブルアレイロジック、又は電子信号を処理するように構成され得る他の任意のデバイスも含み得る。このプロセスは、上記の装置の１つ、並びにプロセッサ、プロセッサアーキテクチャ又は異なるハードウェアとソフトウェアの組合せの異種組合せ上で格納、コンパイル又は解釈され、実行される、Ｃのような構造化プログラム言語、Ｃ＋＋のようなオブジェクト指向プログラム言語、又は（アセンブリー言語、ハードウェア記述言語、及びデータベースプログラム言語並びに技術を含む）他の任意のハイレベル又はローレベルのプログラム言語を使用して作られるコンピュータ実行可能プログラムとして実現されることが更に認められる。同時に、処理は多くの方法で、カメラ及び／又はコンピュータにわたって分散されるか、機能の全てを専用の独立型画像キャプチャ装置に集積されてよい。この種の置換及び組合せの全ては、本開示の範囲内になることが意図されている。

上記の方法は、障害回復機構（failure recovery mechanism）及び前進後退変換（forward-reverse transformation）技法のような追加的な技術又は処理ステップで補充されてよい。

図４は、障害回復機構を例示する。多数のカメラ位置からの点群を表す一連の連続的なイメージ４０２、４０４、４０６において、各点群は、前方変換Ｔ₁、Ｔ₂によってその隣接した逐次的な点群に関連付けされてよい。時折前方変換では、対応する点群のためのカメラの動きを正確に復元できないことがある。従って、図４の実施例で、第２の変換Ｔ₂は、第２の連続的なイメージ４０４から第３の連続的なイメージ４０６へのカメラの動きを復元できないことがある。このような場合、カメラの第１位置からカメラの第３位置への厳密な第３の変換Ｔ₃が得られれば隣接したフレーム間のカメラ動きは復元され得る。そのような場合、第１の前方変換は、第１の前方変換Ｔ₁と第３の変換Ｔ₃の逆数の内積として算出され得る。

このエラー回復方法のより一般的な応用において、落とされたイメージにわたる厳密な変換が計算できる場合、フレームは、例えば、演算速度を上げるためにカメラの動き又は点群データの損失なしに落とされることができる。従って、１実施形態において、フレームを任意の適切な速度で落とすことによって、処理速度は、改善され、残りのフレーム全体でのカメラの動きの復元ができるようになった。

図５は、拡張位置合せ技法を例示する。この技法において、点群ＰＣ₁及びＰＣ₂は、イメージセットからの追加的な対応点による位置合せの後、補充されてよい。すなわち、一旦厳密な変換が点群５０２、５０４の対応点（図５の「ｘ」で示す）間で特性を決定されれば、追加的な対応点（図５の「ｏ」で示す）は比較的小量の追加計算によって復元され得る。図５に示すように、第１の点群と第２の点群間の対応点ｘは位置との間に変換５０６、Ｔ、ｒを通じて関係があってよい。逆変換５１０による位置合せの確認に加えて、追加的な対応点ｏは、逆演算によって復元されて点群の補充に使われてよい。

本発明は特定の好ましい実施形態に関連して開示されているが、他の実施形態は当該技術分野における当業者によって認識され、この種の全てのバリエーション、修正及び置換はこの開示の範囲内であることを意図している。従って、本発明は法的に許容可能な最も幅広い意味において解釈されるべき、以下の請求項を参照して理解されるべきである。

本発明及びそれに続く特定の実施形態の詳細な説明は、以下の図を参照することによって理解されるだろう。

イメージキャプチャシステム。 可動カメラからキャプチャされた一連のイメージ。 カメラの動きを決定するプロセスのフローチャート。 カメラの動きを決定するプロセスのフローチャート。 障害回復機構を例示する。 拡張位置合せ技術を例示する。

Claims (53)

1. 被写体に関する第１位置からの複数の第１二次元ビューを含む第１イメージセットを受け取るステップと、
   被写体に関する第２位置からの複数の第２二次元ビューを含む第２イメージセットを受け取るステップと、
   第１イメージセットから第１の点群を導出するステップと、
   複数の第１二次元ビューの多数のピクセルと複数の第２二次元ビューの多数のピクセルとの間の多数の対応ピクセルを同定するステップと、
   第２イメージセットの多数の対応ピクセルから第２の点群を導出するステップと、
   前記第１の点群と前記第２の点群を使用して、前記第１位置から前記第２位置への動きを決定するステップと、を含むことを特徴とする方法。
2. 前記被写体が固定され、前記第１位置と前記第２位置とが移動カメラの異なる位置であることを特徴とする、請求項１に記載の方法。
3. カメラは固定され前記被写体は移動し、前記第１位置と前記第２位置とが前記被写体の異なる位置であることを特徴とする、請求項１に記載の方法。
4. 動きを決定するステップが前記第１の点群から前記第２の点群への厳密な変換を決定するステップを含むことを特徴とする、請求項１に記載の方法。
5. 動きを決定するステップが前記点群の１つ以上の点の信頼性に応じた重み付けを含むことを特徴とする、請求項４に記載の方法。
6. 前記第１の点群が、ステレオマッチングを使用して前記第１イメージセットの多数のピクセルから導出されることを特徴とする、請求項１に記載の方法。
7. 前記動きが、位置又は方位のうちの少なくとも一方の変化を含むことを特徴とする、請求項１に記載の方法。
8. 前記第１の点群が前記第１イメージセットの点のサブセットを含むことを特徴とする、請求項１に記載の方法。
9. 前記第１イメージセット内のピクセルの疎なメッシュから点の前記サブセットを導出するステップを更に含むことを特徴とする、請求項８に記載の方法。
10. 前記第２の点群が前記第２イメージセットの点のサブセットを含むことを特徴とする、請求項１に記載の方法。
11. 前記被写体が前記第１イメージセットの画像平面より実質的に大きく、前記方法は、複数の連続的な三次元イメージに関する請求項１のステップが反復され、前記被写体の集積点群が構築されるステップを更に含むことを特徴とする、請求項１に記載の方法。
12. 前記複数の連続的な動きの１つが連続的な図の点群データから直接決定できない場合、前記方法が、１つ以上の次の連続的な点群による１つ以上の次の連続的な動きの逆変換を通して複数の連続的な動きの１つを復元するステップを更に含むことを特徴とする、請求項１１に記載の方法。
13. 前記第２イメージセット内の１つ以上の追加的な対応点を有する前記第１イメージセットから１つ以上の追加的な点を前記第１の点群に補充するステップを更に含むことを特徴とする請求項１に記載の方法。
14. 前記第１イメージセット内の１つ以上の追加的な対応点を有する前記第２イメージセットから１つ以上の追加的な点を前記第２の点群に補充するステップを更に含むことを特徴とする請求項１に記載の方法。
15. 前記第１イメージセット及び前記第２イメージセットがマルチアパーチャカメラから得られることを特徴とする、請求項１に記載の方法。
16. １つ以上の対応ピクセルを同定するステップがマルチアパーチャカメラの中心開口からの二次元ビュー間で対応ピクセルを同定するステップを更に含むことを特徴とする請求項１５に記載の方法。
17. 前記第１イメージセットと前記第２イメージセットが互いに固定された関係にある複数のカメラを含むカメラシステムから得られることを特徴とする、請求項１に記載の方法。
18. 前記被写体が、鼻、耳、１本以上の歯、又は人体の一部のうち１つ以上を含むことを特徴とする、請求項１に記載の方法。
19. 前記被写体が歯のモデルを含むことを特徴とする請求項１に記載の方法。
20. 前記歯のモデルが石こう型、ワックスアップ、歯科印象材及び歯科陰印象材のうち１つ以上を含むことを特徴とする、請求項１９に記載の方法。
21. 前記被写体がデジタルアニメーションプロセスで使用するオブジェクトの物理モデルを含むことを特徴とする、請求項１に記載の方法。
22. コンピュータコードを含むコンピュータ読み取り可能な記録媒体に実現されたコンピュータプログラム製品であって、コンピュータでの実行時に前記コンピュータコードが、
    第１位置から得られる被写体の複数の第１二次元ビューを含む第１イメージセットを受け取るステップと、
    第２位置から得られる被写体の複数の第２二次元ビューを含む第２イメージセットを受け取るステップと、
    前記第１イメージセットから第１の点群を導出するステップと、
    前記複数の第１二次元ビューの１つの、多数のピクセルと複数の第２二次元ビューの多数のピクセルとの間で多くの対応ピクセルを同定するステップと、
    前記第２イメージセットの前記多数の対応ピクセルから第２の点群を導出するステップと、
    前記第１の点群と前記第２の点群を使用して前記第１位置から前記第２位置への動きを決定するステップと、を実行させるコンピュータプログラム製品。
23. 前記被写体が固定され、前記第１位置と前記第２位置とが移動カメラの異なる位置であることを特徴とする請求項２２に記載のコンピュータプログラム製品。
24. カメラは固定され、前記被写体は移動し、前記第１位置と前記第２位置とが、前記被写体の異なる位置であることを特徴とする、請求項２２に記載のコンピュータプログラム製品。
25. 動きの決定ステップが前記第１の点群から前記第２の点群への厳密な変換を決定するステップを含むことを特徴とする、請求項２２に記載のコンピュータプログラム製品。
26. 動きを決定するステップが信頼性に従って、前記点群の１つ以上の点に重みを付けるステップを含む、請求項２５に記載のコンピュータプログラム製品。
27. 前記第１の点群が前記第１イメージセットの多数のピクセルからステレオマッチングを使用して導出されることを特徴とする、請求項２２に記載のコンピュータプログラム製品。
28. 前記動きが、位置又は方位のうちの少なくとも一方の変化を含むことを特徴とする、請求項２２に記載のコンピュータプログラム製品。
29. 前記第１の点群が前記第１イメージセットからの点のサブセットを含むことを特徴とする、請求項２２に記載のコンピュータプログラム製品。
30. 前記被写体が前記第１のイメージの画像平面より実質的に大きい請求項２２に記載のコンピュータプログラム製品であって、前記コンピュータプログラム製品が複数の連続的な三次元イメージについて請求項２２に記載のステップを反復するプログラムを含み、それによって前記被写体の集積点群が構築されることを特徴とする、請求項２２に記載のコンピュータプログラム製品。
31. 前記第１イメージセットと前記第２イメージセットがマルチアパーチャカメラから得られることを特徴とする、請求項２２に記載のコンピュータプログラム製品。
32. 前記第１イメージセット及び前記第２イメージセットが互いに固定された関係にある複数のカメラを含むカメラシステムから得られることを特徴とする、請求項２２に記載のコンピュータプログラム製品。
33. 前記被写体が人体の一部を含むことを特徴とする、請求項２２に記載のコンピュータプログラム製品。
34. 前記人体の一部が鼻、耳、歯、又は複数の歯のうちの１つ以上を含むことを特徴とする、請求項３３に記載のコンピュータプログラム製品。
35. 前記被写体が歯のモデルを含むことを特徴とする、請求項２２に記載のコンピュータプログラム製品。
36. 被写体の第１位置からの複数の第１二次元ビューを含む第１イメージセットと、被写体の第２位置からの複数の第２二次元ビューを含む第２イメージセットとをキャプチャするように構成されたカメラと、
    前記カメラと通信関係において連結されたプロセッサであって、前記プロセッサは前記第１イメージセットから第１の点群を導出するように構成され、複数の第１二次元ビューの多数のピクセルと複数の第２二次元ビューの多数のピクセル間の多数の対応ピクセルを同定し、前記第２イメージセットの前記多数の対応ピクセルから第２の点群を導出し、更に前記第１の点群と前記第２の点群を用いて前記第１の点から前記第２の点への動きを決定するように更に構成されるプロセッサを含むことを特徴とするシステム。
37. 前記被写体が固定され、前記第１位置と前記第２位置が複数のカメラの異なる位置であることを特徴とする、請求項３６に記載のシステム。
38. 前記カメラが固定され、被写体が移動し、前記第１位置と前記第２位置が前記被写体の異なる位置であることを特徴とする、請求項３６に記載のシステム。
39. 前記プロセッサが前記第１の点群から前記第２の点群への厳密な変換を使用して、動きを決定するように構成されることを特徴とする、請求項３６に記載のシステム。
40. 前記プロセッサが前記点群の１つ以上の点への重み付けを使用して動きを決定するように構成されることを特徴とする、請求項３９に記載のコンピュータプログラム製品。
41. 前記第１の点群がステレオマッチングを使用して第１イメージセットから導出されることを特徴とする、請求項３６に記載のシステム。
42. 前記動きが、位置又は方位のうちの少なくとも１つの変化を含むことを特徴とする、請求項３６に記載のシステム。
43. 前記第１の点群が前記第１イメージセットから得られる点のサブセットを含むことを特徴とする、請求項３６に記載のシステム。
44. 前記被写体が前記第１イメージセットの画像平面より実質的に大きく、前記カメラは追加的な複数の連続的なイメージセットをキャプチャし、前記プロセッサは複数の追加的な点群を導出して、そこから複数の連続的な動きを決定するように構成され、それによって、集積された点群が前記被写体に対して構築されることを特徴とする、請求項３６に記載のシステム。
45. 前記複数の連続的な動きの１つが連続的なイメージセットの点群データから直接決定できない場合、前記プロセッサは、１つ以上の次の連続的な点群による１つ以上の次の連続的な動きの逆変換を通して前記複数の連続的な動きの１つを復元するステップを更に含むことを特徴とする、請求項４４に記載のシステム。
46. 前記プロセッサが、前記第２イメージセット内に１つ以上の追加的な対応点を有する前記第１イメージセットから得られる１つ以上の追加的な対応点を前記第１の点群に補充するように更に構成されることを特徴とする、請求項３６に記載のシステム。
47. 前記プロセッサが、前記第１イメージセット内に１つ以上の追加的な対応点を有する前記第２イメージセットから得られる１つ以上の追加的な対応点を前記第２の点群に補充するように更に構成されることを特徴とする、請求項３６に記載のシステム。
48. 前記カメラがマルチアパーチャカメラを含むことを特徴とする、請求項３６に記載のシステム。
49. 前記プロセッサが前記マルチアパーチャカメラの中心開口から得られる二次元ビューの間で対応するピクセルを同定するように構成されることを特徴とする、請求項４８に記載のシステム。
50. 前記カメラが互いに固定された関係の複数のカメラを含むことを特徴とする、請求項３６に記載のシステム。
51. 前記被写体が人体の一部、鼻、耳、１本以上の歯のうちの１つ以上、又はデジタルアニメーションプロセスのために使用されるオブジェクトの物理モデルを含むことを特徴とする、請求項３６に記載のシステム。
52. 第１位置から生成された点群の第２位置から生成された点群への厳密な変換を使用して、前記第１位置から前記第２位置へのカメラの動きを決定するステップを含み、前記第２位置から得られる前記点群は、前記第１位置と前記第２位置から得られる二次元イメージデータの対応を使用して選択される点を含むことを特徴とする方法。
53. 第１位置から得られる被写体の複数の第１二次元ビューを含む第１イメージセットを受け取る第１の受け取り手段と、
    第２位置から得られる被写体の複数の第２二次元ビューを含む第２イメージセットを受け取る第２の受け取り手段と、
    前記第１イメージセットから第１の点群を導出する導出手段と、
    複数の第１二次元ビューの１つの、多数のピクセルと複数の第２二次元ビューの多数のピクセルとの間で多くの対応ピクセルを同定する第１の識別手段と、
    前記第２イメージセットの前記多数の対応ピクセルから第２の点群を導出する第２の導出手段と、
    前記第１の点群と前記第２の点群を使用して前記第１位置から前記第２位置への動きを決定する動き決定手段とを含むことを特徴とするシステム。