JP2009515493A - カメラ動きの決定 - Google Patents
カメラ動きの決定 Download PDFInfo
- Publication number
- JP2009515493A JP2009515493A JP2008540342A JP2008540342A JP2009515493A JP 2009515493 A JP2009515493 A JP 2009515493A JP 2008540342 A JP2008540342 A JP 2008540342A JP 2008540342 A JP2008540342 A JP 2008540342A JP 2009515493 A JP2009515493 A JP 2009515493A
- Authority
- JP
- Japan
- Prior art keywords
- image set
- point cloud
- subject
- camera
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
立体視的、マルチアパーチャ又は類似のカメラシステムから取得される二次元画像データと三次元点群データの組合せを使用する三次元イメージキャプチャシステムにおけるカメラの動きが決定される。より詳しくは、三次元点群のソースイメージ内の二次元点間で確立された点対応を使用して、2つの三次元点群データ間の厳密な変換は、より能率的にパラメータ化され得る。
Description
本発明はカメラ動きの決定、より詳しくは、三次元イメージングシステムのカメラの動き決定に関する。
(関連技術の記載)
三次元イメージキャプチャは、コンピュータ利用設計システム、デジタルアニメーションシステム、医療イメージングシステム、グラフィックデザイン、及びアートワークシステムなどの広範囲のモデリングシステムのデータ取得技法として長期にわたり有望視されてきた。
三次元イメージキャプチャは、コンピュータ利用設計システム、デジタルアニメーションシステム、医療イメージングシステム、グラフィックデザイン、及びアートワークシステムなどの広範囲のモデリングシステムのデータ取得技法として長期にわたり有望視されてきた。
三次元データをキャプチャする1つの一般的な技法は移動カメラからの逐次的なイメージを使用して集積された三次元の点群を再構築するもので、イメージに応じてカメラの動きを決定し補完するという課題が生じる。これらの逐次イメージをカメラの動きで復元する一般的なアプローチは、二次元イメージ間の確立された位置の相関関係の因子分解を使用する。しかし、この技術では多くの逐次イメージを通じて点の位置関係を維持しなければならないので計算上の負荷が大きい。これにより、実際のイメージング環境において、特定の点が遮られるか、又は完全にイメージング平面の外側になるという問題をさらに生じる。
三次元データをキャプチャする別の一般的な技法は、立体視又はマルチアパーチャデバイスからの二次元イメージの対応点を三角法によって、三次元点群を直接キャプチャできるカメラハードウェアを使用する。これらの三次元カメラでは、逐次的な三次元点群の三次元位置合せを使用してカメラの動きを決定できる。しかし、反復最近傍点(「ICP」)法のような典型的な位置合せ技法は、平面領域のような位置合せ困難な表面についてはうまく機能しない。更に、反復解は、一般に、しばしば大きなデータセットについて複数の逐次計算が必要なため、リアルタイムのイメージングアプリケーションにあまり適していない。
リアルタイム、三次元イメージキャプチャのようなアプリケーションでの使用に適した、強力で効率的なカメラ動き決定の技法が依然として必要である。
カメラの動きは、三次元イメージキャプチャシステムにおいて、立体視、マルチアパーチャ、又は類似的なカメラシステムから得られる二次元イメージデータ及び三次元点群データの組合せを使用して決定される。より詳しくは、2つの三次元点群データ間の厳密な変換は、三次元点群のためのソースイメージにおける二次元ピクセル間の点対応を使用して、より効率的にパラメータ化することができる。
1つの態様において、本明細書において開示される方法は、被写体(subject)の複数の第1二次元ビュー(two-dimensional view)を含む第1イメージセット(image set)を第1位置から受け取るステップと、被写体の複数の第2二次元ビューを含む第2イメージセットを第2位置から受け取るステップと、第1イメージセットから第1の点群を導出するステップと、複数の第1二次元ビューの1つの、多数のピクセルと複数の第2二次元ビューの1つの、多数のピクセル間で多数の対応ピクセルを同定するステップと、第2イメージセットの多数の対応ピクセル(corresponding pixel)から第2の点群(point cloud)を導出するステップと、第1の点群と第2の点群を使用して第1位置から第2位置への動き(motion)を決定するステップとを含む。
動きの決定には、第1の点群から第2の点群への厳密な変換を決定することが含まれてよい。第1の点群は、第1のイメージ集合の多数のピクセルからステレオマッチングを利用して導出可能である。動きは、位置又は方位のうち少なくとも一方の変化を含んでよい。第1位置は、第1イメージセットからの点のサブセットを含んでよい。この方法は、第1イメージセット中のピクセルの疎なメッシュから点のサブセットを導出するステップを更に含んでよい。第2の点群は、第2イメージセットからの点のサブセットを含んでよい。被写体は第1イメージセットの画像平面より実質的に大きくてよく、この方法は、被写体のために集積された点群が構築される、複数の連続的な三次元イメージのための方法におけるステップの繰り返しを更に含んでよい。複数の連続的な動きの1つが連続的な図の点群データから直接決定できない場合、この方法は、1つ以上の次に続く点群に対する1つ以上の次に続く動きの逆変換を通して複数の連続的な動きの1つを復元することを更に含んでよい。この方法は、第2イメージセット内に1つ以上の追加的対応点を有する第1イメージセットから1つ以上の追加点を第1の点群に補充するステップを含んでよい。この方法は、第1イメージセット内に1つ以上の追加的対応点を有する第2イメージセットから1つ以上の追加点を第2の点群に補充するステップを含んでよい。第1イメージセットと第2イメージセットは、マルチアパーチャカメラから取得してよい。
1つ以上の対応するピクセルの識別は、マルチアパーチャカメラの中心開口からの二次元ビュー間の対応ピクセルを同定することを含んでよい。第1イメージセットと第2イメージセットは、互いに固定された関係にある複数のカメラを含む、カメラシステムから取得してよい。
被写体は、人体の一部を含んでよい。人体の一部は、鼻又は耳を含んでよい。被写体は、1本以上の歯を含んでよい。被写体は、1つ以上の歯のモデルを含んでよい。被写体は、デジタルアニメーションプロセスに使用されるオブジェクトの物理モデルを含んでよい。
別の態様において、本明細書において開示されるコンピュータプログラム製品は、コンピュータでの実行時に、第1位置からの被写体の第1の複数の二次元ビューを含む第1イメージセットを受け取るステップと、第2位置からの被写体の複数の第2二次元ビューを含む第2イメージセットを受け取るステップと、第1イメージセットから第1の点群を導出するステップと、複数の第1二次元ビューの1つの多数のピクセルと、複数の第2二次元ビューの1つの多数のピクセルとの間で、多くの対応ピクセルを同定するステップと、第2イメージセットの対応ピクセルの数から第2の点群を導出するステップと、第1の点群と第2の点群を使用して第1位置から第2位置への動きを決定するステップとを実行する。
動きの決定には、第1の点群から第2の点群への厳密な変換を決定するステップが含まれてよい。第1の点群は、ステレオマッチングを使用して第1イメージセットの多数のピクセルから導出してよい。この動きは、位置又は方位のうちの少なくとも一方の変化を含んでよい。第1の点は、第1イメージセットの点の部分サブセットを含んでよい。コンピュータプログラムは、第1イメージセット内のピクセルの疎なメッシュから点のサブセットを導出するためのプログラムを更に含んでよい。第2の点群は、第2イメージセットの点のサブセットを含んでよい。被写体は第1イメージセットの画像平面より実質的に大きくてよく、コンピュータプログラムは複数の連続的な三次元イメージについて、被写体の集積された点群を構築する反復プログラムを更に含んでよい。複数の連続する動きの1つが、連続的なビューの点群データから直接決定できない場合、コンピュータプログラムは、次の1つ以上の連続的な点群に対応する次の1つ以上の連続的な移動の逆変換を通じて複数の連続的な移動の1つを復元するコードを更に含んでよい。コンピュータプログラムは、第2イメージセットの1つ以上の追加的な対応点を有する第1イメージセットから1つ以上の追加的な点を第1の点群に補充するコードを更に含んでよい。コンピュータプログラムは、第1イメージセットの1つ以上の追加的な対応点を有する第2イメージセットから1つ以上の追加的な点を第2の点群に補充するコードを更に含んでよい。第1イメージセット及び第2イメージセットは、マルチアパーチャカメラから取得されてよい。
1つ以上の対応ピクセルを確認するステップは、マルチアパーチャカメラの中心開口からの二次元ビュー間の対応ピクセルを同定するステップを含んでよい。第1イメージセット及び第2イメージセットは、互いに固定された関係にある複数のカメラを含むカメラシステムから取得されてよい。
被写体は、人体の一部を含んでよい。人体の一部は、鼻又は耳を含んでよい。被写体は、1本以上の歯を含んでよい。被写体は、1つ以上の歯のモデルを含んでよい。被写体は、デジタルアニメーションプロセスに使用するオブジェクトの物理モデルを含んでよい。
別の態様においては、本明細書において開示されるシステムは、カメラ及びプロセッサを含んでよい。カメラは、被写体の第1位置から複数の第1二次元ビューを含む第1イメージセットと、被写体の第2位置からの複数の第2二次元ビューを含む第2イメージセットとをキャプチャするように構成されてよい。プロセッサは、カメラと通信関係において連結されてよく、第1イメージセットから第1の点群を導出し、複数の第1二次元ビューの多数のピクセルと複数の第2二次元ビューの多数のピクセル間の多数の対応ピクセルを同定し、第2イメージセットの対応ピクセルの数から第2の点群を導出するように構成され、第1の点群と第2の点群を用いて第1の点から第2の点への動きを決定するように更に構成される。
動きの決定ステップは、第1の点群から第2の点群への厳密な変換を決定するステップを含んでよい。第1の点群は、ステレオマッチングを使用して第1イメージセットの多数のピクセルから導出されてよい。動き、位置又は方位のうちの少なくとも一方の変化を含んでよい。第1の点は、第1イメージセットの点のサブセットを含んでよい。プロセッサは、第1イメージセット内のピクセルの疎なメッシュから、点のサブセットを導出するように構成されてよい。第2の点群は、第2イメージセットからの点のサブセットを含んでよい。被写体は第1イメージセットの画像平面より実質的に大きくてよく、プロセッサは複数の追加的な点群を導出して、そこから複数の連続的な動きを決定するように構成されてよく、それによって、被写体の集積された点群が構築される。複数の連続的な動きの1つが連続的な図の点群データから直接決定できない場合、プロセッサは1つ以上の次に続く点群に対応する1つ以上の次に続く動きの逆変換を通して複数の連続的な動きの1つを復元することを更に含んでよい。プロセッサは、第2イメージセットの1つ以上の追加的な対応点を有する第1イメージセットから1つ以上の追加的な点を第1の点群に補充するように構成されてよい。プロセッサは、第1イメージセットの1つ以上の追加的な対応点を有する第2イメージセットから1つ以上の追加的な点を第2の点群に補充するように構成されてよい。
カメラは、マルチアパーチャカメラであってよい。1つ以上の対応ピクセルを確認するステップは、マルチアパーチャカメラの中心開口からの二次元ビュー間の対応ピクセルを識別するステップを含んでよい。カメラは、互いに固定された関係にある複数のカメラを含んでよい。
被写体は、人体の一部を含んでよい。人体の一部は、鼻又は耳を含んでよい。被写体は、1つ以上の歯を含んでよい。被写体は、1つ以上の歯のモデルを含んでよい。被写体は、デジタルアニメーションプロセスに使用するオブジェクトの物理モデルを含んでよい。
別の態様においては、本明細書において開示される方法は、第1位置からの点群の第2位置からの点群への厳密な変換を使用して、第1位置から第2位置への、カメラの動きを決定するステップを含んでおり、第2位置からの点群は、第1位置と第2位置からの二次元イメージデータの対応を使用して選択される点を含む。
別の態様においては、本明細書において開示されるシステムは、第1位置からの被写体の複数の第1二次元ビューを含む第1イメージセットを受け取るための第1の受け取り手段と、第2位置からの被写体の複数の第2二次元ビューを含む第1イメージセットを受け取るための第2の受け取り手段と、第1イメージセットから第1の点群を導出するための導出ステップと、複数の第1二次元ビューの1つの多数のピクセルと複数の第2二次元ビューの1つの多数のピクセルとの間に多数の対応ピクセルを同定するための手段と、第2イメージセットの対応ピクセル数から第2の点群を導出するための第2の導出手段と、第1の点群及び第2の点群を使用して、第1位置から第2位置への動きを決定する動き決定手段とを含む。
本発明の他の特徴、その本質及びさまざまな利点は、添付の図面及び特定の好ましい実施例に関する以下の詳細な説明から明らかである。
立体又はマルチアパーチャカメラシステムからの1連のイメージに対するカメラ動きの決定法を使用して集積された三次元の点群を再構築する技法を以下に説明する。しかし、本明細書において開示される発明の概念はこの種の応用に限定されず、二次元及び三次元イメージデータが再構築に使用される、可視光線又はそれ以外のためのいかなるイメージングシステムにおいても有用に使用されることは理解されるだろう。従って、本技術は、例えば、マルチカメラ動画システム、立体顕微鏡、又は、三次元データが二次元イメージから導出されるような他のいかなるイメージングシステムによっても使用されてよい。同様に、以下の説明はイメージングの被写体に関して移動するカメラに絞られているが、本明細書において記載されている技法は、1つ以上の移動物体の逐次的なイメージをキャプチャする静止カメラに等しく適用できる。この種の用途において、解析の問題は、静止カメラによる物体の運動の決定と言った方がより正確であるが、この種の用途は同一ではないとしても概念的には類似している。さらに、より一般的には、カメラ及び被写体は、カメラと被写体間の相対運動の決定問題及び本明細書において記載されている技法の適用性を変えることなく、ある外部参照座標系に相対的に移動してよい。このようなバリエーション及び別の実施形態は、当該技術分野の当業者にとって明らかなように、本開示の範囲内であることを意図している。
以下の説明では、用語「イメージ」は、一般に、画像平面内で被写体の二次元ビューを形成しているピクセルの二次元のセットを指す。「点群」という用語は、一般に、多数の二次元図から再構築された被写体の三次元象を形成する三次元点集合を意味する。三次元イメージキャプチャシステムにおいて、多くのこの種の点群は、移動カメラにキャプチャされたイメージから構築された集積点群に位置合せして結合されてもよい。従って、他の意味が特に示されるか又は文脈から明白な場合でなければ、ピクセルは一般に二次元のデータ、点は一般に三次元データを意味することが理解されよう。
図1は、イメージキャプチャシステムを示す。一般に、システム100は、画像平面106内で被写体104のイメージをキャプチャして、コンピュータ108にイメージを送る、カメラ102を含んでよい。
カメラ102は、三次元点群が復元されるようなイメージキャプチャに適した任意のカメラ又はカメラシステムであってよい。例えば、カメラ102は、例えばその全体を参照として本明細書に引用したハートら(Hart et al.)の米国特許公開番号20040155975に開示されているように、マルチアパーチャシステムを使用してよい。ハートは1つのマルチアパーチャシステムを開示しているが、多数の二次元イメージから三次元点群を再構築する任意の適切なマルチアパーチャシステムも同様に使用してよいことは言うまでもない。1つのマルチアパーチャ実施形態において、カメラ102は、レンズの中心光軸に沿って配置される中心開口を含む複数の開口及び任意の付随するイメージングハードウェアを含んでよい。カメラ102は、あるいは、その代わりに、オブジェクトのわずかに異なる多数の透視図から二次元イメージを得るために多くのカメラが互いに固定された関係において維持されるような立体又は別のマルチカメラ構成を含むこともできる。カメラ102は、マルチアパーチャ又はマルチカメライメージから三次元点群を導出するための、適切な処理を含んでよいか、又は、二次元イメージは後述するプロセッサ108のような外部プロセッサに転送されてもよい。
図1に示されないが、多数の補助照明システムがイメージキャプチャの間、有用に使用されてよいことはいうまでもない。例えば、1つ以上のスポットライトで被写体104を照らして環境照明を強化して、イメージ取得を速くして焦点深度を改善してよい。カメラ102はまた、あるいは、その代わりに、イメージ取得の間に被写体104の照明を補充するためにストローブ、フラッシュ又は他の光源を含んでもよい。
被写体104は、任意のオブジェクト、オブジェクトのコレクション、オブジェクトの一部、又は他の被写体であってよい。例えば、歯科のイメージングアプリケーションでは、被写体104は、歯、歯のカドラント、又は仮想的な歯科印象が必要であれば歯の完全な集合を含んでよい。逆に言えば、被写体104は、以前にキャプチャされた完全な仮想歯印象内での適合性を検査される、キャップ、冠、又は歯の他の任意の部分のような歯科補てつ物を含んでよい。被写体104は、1歯、複数歯、軟部組織もしくはこれらの何らかの組合せに関する石こう型、ワックスアップ、歯科印象又は陰印象のような歯科のモデルを含んでよい。特定の例において、三次元点のキャプチャを改善するためにテクスチャリング剤を被写体104の表面に印加してよい。他の実施形態において、被写体104は、補聴器、眼鏡、ゴーグル、等の注文採寸のために要求される人間の頭部又はその1部分の三次元モデルであってよい。他の実施形態において、被写体104は、三次元デジタルアニメーションプロセスに用いられるミニチュア、物理的なモデルのようなデジタルアニメーションに用いられるオブジェクトの物理モデルであってよい。上記の実施例から、本明細書において記載されている技術を使用しているシステムは、比較的近距離、高解像度の三次元イメージ取得の広範なアプリケーション用に適切に適合されてよいことが明らかである。しかし、カメラ102は、マルチアパーチャ又はマルチカメラシステムに基づく様々な他の三次元イメージングアプリケーションのために適切に適合されてよく、この種のバリエーションは全てこの開示の範囲内になることを当業者は認めるであろう。
画像平面106は、カメラ102の二次元視野を含んでよい。画像平面106は、長方形として例示されているが、例えば、カメラ102が提供する、正方形、円又は他の任意の幾何図形が形成されてよいことは言うまでもない。一般に、カメラ102は、カメラ102の物理構造及び周辺光のような環境条件で決定される、画像獲得のための焦点深度を画像平面106内で有する。
コンピュータ108は、例えば、パーソナルコンピュータ又は他の処理装置であってよい。1実施形態において、コンピュータ108は、デュアル2.8GHzのOpteron中央処理装置、2ギガバイトのランダムアクセスメモリ、TYAN Thunder K8WEマザーボード及び250ギガバイト、10,000rpmのハードディスクを有するパーソナルコンピュータを含む。このシステムは、本明細書において記載されている技法を使用して、1イメージセットについてリアルタイムで、約1,500点をキャプチャし、100万点以上の集積点群を保存するように作動されてよい。より一般的にいえば、コンピュータ108の処理能力は、被写体104の大きさ、イメージ取得の速度及び必要な三次元点の空間的分解能によって異なってよい。コンピュータ108は、カメラシステム100を有するユーザーとの対話処理のためのキーボード、モニタ及びマウスのような周辺機器を含んでよい。
コンピュータ108とカメラ102間の通信は、例えば有線接続又は例えばIEEE 802.11(別名無線イーサネット(登録商標))、ブルートゥース、又は例えば、無線、赤外線又は他の無線通信メディアを使用した他の任意の適切な無線標準を含む任意の適切な通信リンクを使用してよい。医療イメージ又は他の繊細なアプリケーションにおいて、カメラ102からコンピュータ108への無線イメージ送信は、安全性が確保されてよい。コンピュータ108は、イメージ取得命令に加えて、焦点又はズームのような従来のカメラ制御を含む制御信号をカメラ102に対して生成してよい。
図2は、移動カメラからキャプチャされた1連のイメージを例示する。例えば、上記のカメラ102のいずれかを含んでよいシーケンス200において、カメラ202は例えば、上記の被写体104のいずれかの、被写体204のイメージを多数の異なる位置206a〜206eからキャプチャしてよい。5つのカメラ位置が図2のシーケンス200に示されているが、本明細書に記載されている原理に沿って、より多いか又はより少ないカメラ位置が使われてよいことはいうまでもない。各位置206で、カメラ202は二次元イメージのイメージセット
をキャプチャし、このイメージセットから点群
が算出されてよい。一般に、シーケンス200でキャプチャされた三次元点群は、後述する技法を使用して、集積点群に結合されてよい。特定の実施形態において、被写体が移動する一方でカメラが固定されたままであることを理解すべきである。そのような場合、カメラ202の動きより、むしろ被写体の動きが決定される。
図3A及び図3Bはカメラの動きを決定するプロセスのフローチャートを示す。プロセス300は、上で一般に記載されているカメラシステムを用いてよい。
プロセス300は、初期位置304のカメラから最初のイメージセット(IS1)を受け取ることによって302を始めてよい。本明細書において用語として使われる、位置は、カメラの三次元座標並びに回転配向を含む。もちろん、カメラがシーケンスにおいて最初のイメージセットをキャプチャする「位置」は、いわば任意なので、任意の好都合な値を、例えば、後に取得された被写体が撮像される第2位置又は別の基準点に相対的に割り当ててもよいし、最初の位置は全ての軸について回転が0の原点であってよい。
ステップ306に示すように、カメラは次に、第2位置からの第2イメージセット(IS2)を受け取ってよい。カメラは、任意の自動、半自動又は手動の手順を使用して第1位置から第2位置まで移動されてよい。例えば、カメラは、携帯型の撮像装置で、イメージセットのキャプチャ時に被写体の上及び/又は周囲を手で移動してよい。イメージキャプチャは、例えば、規則的な間隔、不規則な間隔(例えば前のイメージセットの処理終了後)、又は、手動による起動間隔また他の何らかの起動メカニズムで開始されてよい。
ステップ308に示すように、第1の点群(PC1)は、第1イメージセット(IS1)から算出され得る。イメージセットから三次元点の値を算出するために多くの技法が使用されてよい。例えば、立体視的マッチング技術には、ピクセル輝度の相互情報量又は相関のような画像類似性の確率論的測度が含まれる。他のタイプの適切な導出法には、例えば、空間及び/又は時間的勾配を使用するオプティカルフローを含む。上記のように、ステレオカメラ構成では、イメージセットは、通常2つのイメージを含む。しかし、3又は4開口のカメラ又は類似のカメラシステムのようなマルチアパーチャカメラ構成を使用するイメージセットには3つ以上のイメージが含まれ得る。第1の点群は、イメージセットから復元され得る点の全て又は大部分でさえ含む必要がないことを理解すべきである。点群は、例えば、イメージセットの(元のイメージの画素密度に関して)疎なメッシュから算出され得る。この手順は、特にリアルタイムイメージングアプリケーションの高速化処理に好適であり得る。疎なメッシュは、イメージセットのピクセルの任意のサブセットから得られてよい。規則的な正方格子は、例えば、特にイメージの二次標本抽出を使用する階層的手法に適している。しかし、点群の導出のためにイメージセット内で規則的又は不規則な間隔のピクセルを選択するために、三角形、四角形などの他のメッシュを使用してよい。
ステップ310に示すように、第1イメージセット(IS1)のピクセルと第2イメージセット(IS2)のピクセル間で対応付けが確立される。計算の複雑性を軽減するために、セルのサブセットについて、より詳しくは上記のピクセルのサブセット又はメッシュについて対応付けが都合よく確立される。対応関係は、例えば、相関に基づく画像マッチングを使用して確立されてよい。オプティカルフローのような、他の技法も公知であり、特に連続的な画像間の相対移動が小さい所で適切に使用されてよい。カメラの光軸上に中心を有する開口を含むマルチアパーチャカメラを使用する、1実施形態において、各イメージセットからの軸上のイメージが、対応付けに使用されてよい。
ソースデータが適切に密な所では、例えば上記のメッシュを使って選択された点に関する対応関係は高い信頼性があると考えられる。しかし、対応付けが決まらないか、もしくはそのような点の精度又は値が疑われる他の定量的、定性的、又は規則ベースの理由が存在するような点は、第1の点群(PC1)から取り除かれてよいことは言うまでもない。より一般的には、二次元ピクセルデータの処理又はそこから得られる三次元の点の選択による、点群の生成に対する多くのバリエーション及び修正は、この開示の範囲内においてなされ得る。
ステップ312に示すように、第2の点群(PC2)は、通常、ステップ308に関する上記の技術を使用して、第2イメージセット(IS2)のピクセルから導出され得る。第2の点群は、第1の点群内に対応ピクセルを有する第2イメージセットからのピクセルのサブセット、すなわち第1の点群内に対応点があるピクセルのサブセットのみに対して導出されることに注意する。この技法により、連続的な三次元点群のための一般のフレーム間データ点について実行される逐次的な位置合せ又は変換プロセスが有利に実行できるようになる。他の実施形態において、完全点群(すなわち、対応ピクセルを持たない追加点を含む点群)は第2位置のカメラデータから導出され得るか、又は、別の言い方をすると、第2の点群は上記の対応付けステップに独立に導出されてよい。これは、例えば、第1及び第2イメージセット間の対応付けに関係なく第2イメージセットの全てのピクセルが復元されることを含み、これにより、例えば第1と第2の点群が平行して生成できるようになる。このような実施形態では、続く処理のために使用する第2の点群(PC2)は、上記のピクセル対応関係に基づく完全点群から選択され得る。
ステップ316に示すように、第1のカメラ位置から第2のカメラ位置への移動が決定され得る。本明細書に記載されている他のステップと同様に、多くの技法が使用されてよい。1実施形態において、三次元回転マトリクス(R)及び三次元変換ベクトル(t)を含む厳密な変換は、次の方程式によって特徴づけられるように、フィッティング残差を最小化することによって第1及び第2の点群のN個の対応点について計算され得る。
あるいは、各対応点の信頼度が得られる場合、厳密な変換のために加重式の使用が可能になって、各点iは加重係数(wi)によって個別に重み付けされる。
式3又は式4の式は、例えば、(本明細書に参照として全体が組込まれている、K.S.アルン、T.S.ホワン及びS.D.ボルスタイン著、2つの三次元点集合の最小二乗法フィッティング、IEEE論文集、パターン解析及び人工知能、1987年9巻5号698〜700頁(K. S. Arun, T. S. Huang and S. D. Blostein, Least-squares fitting of two 3-D point sets, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 9, Issue 5, pp. 698-700, 1987)に記載の)特異値分解、又は(本明細書に参照として全体が組込まれている、バーソルド K.P.ホーン、ヒュー M.ヒルデン及びシャリア ナガダリプル著、正規直交マトリックスを使用した絶対定位の閉形式解 米国光学会誌:1127〜1135、1988(Berthold K. P. Horn, Hugh M. Hilden, and Shahriar Negahdaripour, Closed-form solution of absolute orientation using orthonormal matrices. Journal of the Optical Society of America, 5(7): 1127-1135, 1988)に記載の)、固有値−固有ベクトル分解を使用した閉形式解をもつ。より一般的には、厳密な変換は、2つの点群の点群データの最小二乗フィット又は強化最小二乗(robust least mean square)フィットのような誤差関数の最小化に基づいてよい。第1の位置から第2の位置へのカメラ動きは、この変換の逆変換である。上記の厳密な変換を導出するには一般に複数の点、より詳しくは、少なくとも3つの同一直線上にない点が必要であるのはいうまでもない。重要な利点として、この方法では、両方の点群に存在することがわかっている点を使用した厳密な変換の計算ができるようになる。
ステップ318に示すように、例えば、PC3、PC4、...のために追加的なイメージセットがキャプチャされるかどうかの判定がなされ得る。この判定は、例えば、「取得終了」ボタン等を選択するなど、上記のコンピュータに対するユーザー入力によって制御されるか、又は例えば、記憶容量の制限、予め設定された記録時間もしくは他の任意の適切な基準に従って自動的に制御されてよい。追加的なイメージセットを得る必要がなくなったら、プロセス300は320を終了してよい。
追加的なイメージセットを取得する場合、一般に上述されているように、プロセス300は、次のイメージセットが次の位置から受け取られ得る、ステップ322へ進んでよい。再び、一般に上述されているが、ステップ324に示すように、現在のイメージセットと以前のイメージセットとの間でピクセルの対応関係が確立されてよい。再び、一般に上述されているが、ステップ326に示すように、点群は、ステップ324で確立された対応関係を使用して次のイメージセットに対して導出されてよい。再び、上述されているように、ステップ328に示すように、連続的な位置間の動きは、連続的な位置からの点群データを使用して決定されてよい。
ステップ330に示すように、例えば追加的な点群のために追加的なイメージセットがキャプチャされるべきかどうかの判定がなされてよい。この判定は、例えば、「取得終了」ボタンの選択などのような上記のコンピュータに対するユーザー入力によって、例えば「端取得」ボタン等を選択するステップによって制御され得るか、又は、記憶容量制限、予め設定された記録時間もしくは他の任意の適切な基準に従って自動的に制御されてよい。追加的なイメージセットが取得される場合、プロセス300は次の連続的なイメージセットがキャプチャされ得るステップ322に戻ってよいというように続けられる。従って、コンピュータとカメラの処理能力及び記憶領域の制限のもとで、このプロセスは、任意の数の連続的なイメージセットについて反復されてよい。
追加的なイメージセットを得る必要がない場合、プロセス300は332を終了させてよい。全てのイメージシーケンス及び/又はカメラパスは、コンピュータ又はネットワーク接続ストレージ、外部大容量記憶装置のような他の適切な記憶装置に格納されてよい。更に、集積点群は、逐次的なイメージセット対を連結することによって形成されてよく、集積された点群は、さまざまなカメラ位置からのデータに関するカメラパス、イメージセット、又は点群データへの追加又は入替えとして保存されてよい。
上記ステップは隣接したイメージセットのピクセルの間の対応関係の判定にオプティカルフロー技法を用いるというように変化してよいこと、及び第2イメージセットを得る前に第1の点群を導出するというようにステップの順序が変わっていいことはいうまでもない。加えて、特定のステップが追加又は省略され、もしくは、複数のステップが結合されてよい。また、上記のように、特定の実施形態では、カメラは定位置にとどまってよく、画像平面内で動く1つ以上の被写体のためだけに動きの判定がなされてよい。別の実施形態において、第1の点群及び第2の点群は、何らかのフレーム間処理の前に第1及び第2イメージセットから導出されてよい。
別の実施形態において、第1の点群及び第2の点群は、何らかのフレーム間処理の前に第1及び第2のイメージセットから導出されてよい。例えば、点群が導出される二次元のピクセルデータの分析とともに上記のメッシュを使用して決定される対応点のサブセットについて、位置合せ又は変換計算のステップを続けて実施することによって重要な処理の利点が更に実現され得る。従って、1実施形態において、本明細書において開示される方法は、第1イメージセットから第1の点群を導出するステップ、第2イメージセットから第2の点群を導出するステップ、及び第1及び第2イメージセットからの二次元データを使用して第1の点群と第2の点群との間に多数の対応点を同定するステップを含んでよい。厳密な変換を計算して、そこからカメラの動きを導出するか、点群相互に関して位置合せを行うような後続の処理を対応する点について実行してよい。さまざまな実施形態において、点群を対応点だけを含むように明示的に切り取るか、後続の処理ステップを点群内の同定された点のサブセットについて実行してもよい。従って、多数の点群内の対応点の処理は多くの方法で機械的に実施され得ることはいうまでもない。
別の実施形態において、二次元イメージデータのピクセル間の対応は、いずれのカメラ位置におけるいかなる点群データの生成の前においても決定されてよい。
当該技術分野において当業者によって認識され、この説明に続く請求項と一貫性を有する全てのこの種のバリエーションは、この開示の範囲内になることが意図されている。
上記のプロセスは本明細書において記載される三次元画像処理技法のために適切なハードウェア、ソフトウェア、又はこれらの任意の組合せにおいて実現され得ることはいうまでもない。このプロセスは、1つ以上のマイクロプロセッサ、マイクロコントローラ、埋め込みマイクロコントローラ、プログラム可能なデジタル信号処理装置又は他のプログラマブルデバイスで内蔵及び/又は外部メモリを使って実現され得る。このプロセスはまた、あるいは、その代わりに、特定用途向けIC、プログラム可能なゲートアレイ、プログラマブルアレイロジック、又は電子信号を処理するように構成され得る他の任意のデバイスも含み得る。このプロセスは、上記の装置の1つ、並びにプロセッサ、プロセッサアーキテクチャ又は異なるハードウェアとソフトウェアの組合せの異種組合せ上で格納、コンパイル又は解釈され、実行される、Cのような構造化プログラム言語、C++のようなオブジェクト指向プログラム言語、又は(アセンブリー言語、ハードウェア記述言語、及びデータベースプログラム言語並びに技術を含む)他の任意のハイレベル又はローレベルのプログラム言語を使用して作られるコンピュータ実行可能プログラムとして実現されることが更に認められる。同時に、処理は多くの方法で、カメラ及び/又はコンピュータにわたって分散されるか、機能の全てを専用の独立型画像キャプチャ装置に集積されてよい。この種の置換及び組合せの全ては、本開示の範囲内になることが意図されている。
上記の方法は、障害回復機構(failure recovery mechanism)及び前進後退変換(forward-reverse transformation)技法のような追加的な技術又は処理ステップで補充されてよい。
図4は、障害回復機構を例示する。多数のカメラ位置からの点群を表す一連の連続的なイメージ402、404、406において、各点群は、前方変換T1、T2によってその隣接した逐次的な点群に関連付けされてよい。時折前方変換では、対応する点群のためのカメラの動きを正確に復元できないことがある。従って、図4の実施例で、第2の変換T2は、第2の連続的なイメージ404から第3の連続的なイメージ406へのカメラの動きを復元できないことがある。このような場合、カメラの第1位置からカメラの第3位置への厳密な第3の変換T3が得られれば隣接したフレーム間のカメラ動きは復元され得る。そのような場合、第1の前方変換は、第1の前方変換T1と第3の変換T3の逆数の内積として算出され得る。
このエラー回復方法のより一般的な応用において、落とされたイメージにわたる厳密な変換が計算できる場合、フレームは、例えば、演算速度を上げるためにカメラの動き又は点群データの損失なしに落とされることができる。従って、1実施形態において、フレームを任意の適切な速度で落とすことによって、処理速度は、改善され、残りのフレーム全体でのカメラの動きの復元ができるようになった。
図5は、拡張位置合せ技法を例示する。この技法において、点群PC1及びPC2は、イメージセットからの追加的な対応点による位置合せの後、補充されてよい。すなわち、一旦厳密な変換が点群502、504の対応点(図5の「x」で示す)間で特性を決定されれば、追加的な対応点(図5の「o」で示す)は比較的小量の追加計算によって復元され得る。図5に示すように、第1の点群と第2の点群間の対応点xは位置との間に変換506、T、rを通じて関係があってよい。逆変換510による位置合せの確認に加えて、追加的な対応点oは、逆演算によって復元されて点群の補充に使われてよい。
本発明は特定の好ましい実施形態に関連して開示されているが、他の実施形態は当該技術分野における当業者によって認識され、この種の全てのバリエーション、修正及び置換はこの開示の範囲内であることを意図している。従って、本発明は法的に許容可能な最も幅広い意味において解釈されるべき、以下の請求項を参照して理解されるべきである。
本発明及びそれに続く特定の実施形態の詳細な説明は、以下の図を参照することによって理解されるだろう。
Claims (53)
- 被写体に関する第1位置からの複数の第1二次元ビューを含む第1イメージセットを受け取るステップと、
被写体に関する第2位置からの複数の第2二次元ビューを含む第2イメージセットを受け取るステップと、
第1イメージセットから第1の点群を導出するステップと、
複数の第1二次元ビューの多数のピクセルと複数の第2二次元ビューの多数のピクセルとの間の多数の対応ピクセルを同定するステップと、
第2イメージセットの多数の対応ピクセルから第2の点群を導出するステップと、
前記第1の点群と前記第2の点群を使用して、前記第1位置から前記第2位置への動きを決定するステップと、を含むことを特徴とする方法。 - 前記被写体が固定され、前記第1位置と前記第2位置とが移動カメラの異なる位置であることを特徴とする、請求項1に記載の方法。
- カメラは固定され前記被写体は移動し、前記第1位置と前記第2位置とが前記被写体の異なる位置であることを特徴とする、請求項1に記載の方法。
- 動きを決定するステップが前記第1の点群から前記第2の点群への厳密な変換を決定するステップを含むことを特徴とする、請求項1に記載の方法。
- 動きを決定するステップが前記点群の1つ以上の点の信頼性に応じた重み付けを含むことを特徴とする、請求項4に記載の方法。
- 前記第1の点群が、ステレオマッチングを使用して前記第1イメージセットの多数のピクセルから導出されることを特徴とする、請求項1に記載の方法。
- 前記動きが、位置又は方位のうちの少なくとも一方の変化を含むことを特徴とする、請求項1に記載の方法。
- 前記第1の点群が前記第1イメージセットの点のサブセットを含むことを特徴とする、請求項1に記載の方法。
- 前記第1イメージセット内のピクセルの疎なメッシュから点の前記サブセットを導出するステップを更に含むことを特徴とする、請求項8に記載の方法。
- 前記第2の点群が前記第2イメージセットの点のサブセットを含むことを特徴とする、請求項1に記載の方法。
- 前記被写体が前記第1イメージセットの画像平面より実質的に大きく、前記方法は、複数の連続的な三次元イメージに関する請求項1のステップが反復され、前記被写体の集積点群が構築されるステップを更に含むことを特徴とする、請求項1に記載の方法。
- 前記複数の連続的な動きの1つが連続的な図の点群データから直接決定できない場合、前記方法が、1つ以上の次の連続的な点群による1つ以上の次の連続的な動きの逆変換を通して複数の連続的な動きの1つを復元するステップを更に含むことを特徴とする、請求項11に記載の方法。
- 前記第2イメージセット内の1つ以上の追加的な対応点を有する前記第1イメージセットから1つ以上の追加的な点を前記第1の点群に補充するステップを更に含むことを特徴とする請求項1に記載の方法。
- 前記第1イメージセット内の1つ以上の追加的な対応点を有する前記第2イメージセットから1つ以上の追加的な点を前記第2の点群に補充するステップを更に含むことを特徴とする請求項1に記載の方法。
- 前記第1イメージセット及び前記第2イメージセットがマルチアパーチャカメラから得られることを特徴とする、請求項1に記載の方法。
- 1つ以上の対応ピクセルを同定するステップがマルチアパーチャカメラの中心開口からの二次元ビュー間で対応ピクセルを同定するステップを更に含むことを特徴とする請求項15に記載の方法。
- 前記第1イメージセットと前記第2イメージセットが互いに固定された関係にある複数のカメラを含むカメラシステムから得られることを特徴とする、請求項1に記載の方法。
- 前記被写体が、鼻、耳、1本以上の歯、又は人体の一部のうち1つ以上を含むことを特徴とする、請求項1に記載の方法。
- 前記被写体が歯のモデルを含むことを特徴とする請求項1に記載の方法。
- 前記歯のモデルが石こう型、ワックスアップ、歯科印象材及び歯科陰印象材のうち1つ以上を含むことを特徴とする、請求項19に記載の方法。
- 前記被写体がデジタルアニメーションプロセスで使用するオブジェクトの物理モデルを含むことを特徴とする、請求項1に記載の方法。
- コンピュータコードを含むコンピュータ読み取り可能な記録媒体に実現されたコンピュータプログラム製品であって、コンピュータでの実行時に前記コンピュータコードが、
第1位置から得られる被写体の複数の第1二次元ビューを含む第1イメージセットを受け取るステップと、
第2位置から得られる被写体の複数の第2二次元ビューを含む第2イメージセットを受け取るステップと、
前記第1イメージセットから第1の点群を導出するステップと、
前記複数の第1二次元ビューの1つの、多数のピクセルと複数の第2二次元ビューの多数のピクセルとの間で多くの対応ピクセルを同定するステップと、
前記第2イメージセットの前記多数の対応ピクセルから第2の点群を導出するステップと、
前記第1の点群と前記第2の点群を使用して前記第1位置から前記第2位置への動きを決定するステップと、を実行させるコンピュータプログラム製品。 - 前記被写体が固定され、前記第1位置と前記第2位置とが移動カメラの異なる位置であることを特徴とする請求項22に記載のコンピュータプログラム製品。
- カメラは固定され、前記被写体は移動し、前記第1位置と前記第2位置とが、前記被写体の異なる位置であることを特徴とする、請求項22に記載のコンピュータプログラム製品。
- 動きの決定ステップが前記第1の点群から前記第2の点群への厳密な変換を決定するステップを含むことを特徴とする、請求項22に記載のコンピュータプログラム製品。
- 動きを決定するステップが信頼性に従って、前記点群の1つ以上の点に重みを付けるステップを含む、請求項25に記載のコンピュータプログラム製品。
- 前記第1の点群が前記第1イメージセットの多数のピクセルからステレオマッチングを使用して導出されることを特徴とする、請求項22に記載のコンピュータプログラム製品。
- 前記動きが、位置又は方位のうちの少なくとも一方の変化を含むことを特徴とする、請求項22に記載のコンピュータプログラム製品。
- 前記第1の点群が前記第1イメージセットからの点のサブセットを含むことを特徴とする、請求項22に記載のコンピュータプログラム製品。
- 前記被写体が前記第1のイメージの画像平面より実質的に大きい請求項22に記載のコンピュータプログラム製品であって、前記コンピュータプログラム製品が複数の連続的な三次元イメージについて請求項22に記載のステップを反復するプログラムを含み、それによって前記被写体の集積点群が構築されることを特徴とする、請求項22に記載のコンピュータプログラム製品。
- 前記第1イメージセットと前記第2イメージセットがマルチアパーチャカメラから得られることを特徴とする、請求項22に記載のコンピュータプログラム製品。
- 前記第1イメージセット及び前記第2イメージセットが互いに固定された関係にある複数のカメラを含むカメラシステムから得られることを特徴とする、請求項22に記載のコンピュータプログラム製品。
- 前記被写体が人体の一部を含むことを特徴とする、請求項22に記載のコンピュータプログラム製品。
- 前記人体の一部が鼻、耳、歯、又は複数の歯のうちの1つ以上を含むことを特徴とする、請求項33に記載のコンピュータプログラム製品。
- 前記被写体が歯のモデルを含むことを特徴とする、請求項22に記載のコンピュータプログラム製品。
- 被写体の第1位置からの複数の第1二次元ビューを含む第1イメージセットと、被写体の第2位置からの複数の第2二次元ビューを含む第2イメージセットとをキャプチャするように構成されたカメラと、
前記カメラと通信関係において連結されたプロセッサであって、前記プロセッサは前記第1イメージセットから第1の点群を導出するように構成され、複数の第1二次元ビューの多数のピクセルと複数の第2二次元ビューの多数のピクセル間の多数の対応ピクセルを同定し、前記第2イメージセットの前記多数の対応ピクセルから第2の点群を導出し、更に前記第1の点群と前記第2の点群を用いて前記第1の点から前記第2の点への動きを決定するように更に構成されるプロセッサを含むことを特徴とするシステム。 - 前記被写体が固定され、前記第1位置と前記第2位置が複数のカメラの異なる位置であることを特徴とする、請求項36に記載のシステム。
- 前記カメラが固定され、被写体が移動し、前記第1位置と前記第2位置が前記被写体の異なる位置であることを特徴とする、請求項36に記載のシステム。
- 前記プロセッサが前記第1の点群から前記第2の点群への厳密な変換を使用して、動きを決定するように構成されることを特徴とする、請求項36に記載のシステム。
- 前記プロセッサが前記点群の1つ以上の点への重み付けを使用して動きを決定するように構成されることを特徴とする、請求項39に記載のコンピュータプログラム製品。
- 前記第1の点群がステレオマッチングを使用して第1イメージセットから導出されることを特徴とする、請求項36に記載のシステム。
- 前記動きが、位置又は方位のうちの少なくとも1つの変化を含むことを特徴とする、請求項36に記載のシステム。
- 前記第1の点群が前記第1イメージセットから得られる点のサブセットを含むことを特徴とする、請求項36に記載のシステム。
- 前記被写体が前記第1イメージセットの画像平面より実質的に大きく、前記カメラは追加的な複数の連続的なイメージセットをキャプチャし、前記プロセッサは複数の追加的な点群を導出して、そこから複数の連続的な動きを決定するように構成され、それによって、集積された点群が前記被写体に対して構築されることを特徴とする、請求項36に記載のシステム。
- 前記複数の連続的な動きの1つが連続的なイメージセットの点群データから直接決定できない場合、前記プロセッサは、1つ以上の次の連続的な点群による1つ以上の次の連続的な動きの逆変換を通して前記複数の連続的な動きの1つを復元するステップを更に含むことを特徴とする、請求項44に記載のシステム。
- 前記プロセッサが、前記第2イメージセット内に1つ以上の追加的な対応点を有する前記第1イメージセットから得られる1つ以上の追加的な対応点を前記第1の点群に補充するように更に構成されることを特徴とする、請求項36に記載のシステム。
- 前記プロセッサが、前記第1イメージセット内に1つ以上の追加的な対応点を有する前記第2イメージセットから得られる1つ以上の追加的な対応点を前記第2の点群に補充するように更に構成されることを特徴とする、請求項36に記載のシステム。
- 前記カメラがマルチアパーチャカメラを含むことを特徴とする、請求項36に記載のシステム。
- 前記プロセッサが前記マルチアパーチャカメラの中心開口から得られる二次元ビューの間で対応するピクセルを同定するように構成されることを特徴とする、請求項48に記載のシステム。
- 前記カメラが互いに固定された関係の複数のカメラを含むことを特徴とする、請求項36に記載のシステム。
- 前記被写体が人体の一部、鼻、耳、1本以上の歯のうちの1つ以上、又はデジタルアニメーションプロセスのために使用されるオブジェクトの物理モデルを含むことを特徴とする、請求項36に記載のシステム。
- 第1位置から生成された点群の第2位置から生成された点群への厳密な変換を使用して、前記第1位置から前記第2位置へのカメラの動きを決定するステップを含み、前記第2位置から得られる前記点群は、前記第1位置と前記第2位置から得られる二次元イメージデータの対応を使用して選択される点を含むことを特徴とする方法。
- 第1位置から得られる被写体の複数の第1二次元ビューを含む第1イメージセットを受け取る第1の受け取り手段と、
第2位置から得られる被写体の複数の第2二次元ビューを含む第2イメージセットを受け取る第2の受け取り手段と、
前記第1イメージセットから第1の点群を導出する導出手段と、
複数の第1二次元ビューの1つの、多数のピクセルと複数の第2二次元ビューの多数のピクセルとの間で多くの対応ピクセルを同定する第1の識別手段と、
前記第2イメージセットの前記多数の対応ピクセルから第2の点群を導出する第2の導出手段と、
前記第1の点群と前記第2の点群を使用して前記第1位置から前記第2位置への動きを決定する動き決定手段とを含むことを特徴とするシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/270,135 US7605817B2 (en) | 2005-11-09 | 2005-11-09 | Determining camera motion |
PCT/US2006/060724 WO2007056768A2 (en) | 2005-11-09 | 2006-11-09 | Determining camera motion |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009515493A true JP2009515493A (ja) | 2009-04-09 |
Family
ID=38003283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008540342A Withdrawn JP2009515493A (ja) | 2005-11-09 | 2006-11-09 | カメラ動きの決定 |
Country Status (5)
Country | Link |
---|---|
US (2) | US7605817B2 (ja) |
EP (2) | EP3489897A1 (ja) |
JP (1) | JP2009515493A (ja) |
ES (1) | ES2713857T3 (ja) |
WO (1) | WO2007056768A2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010143400A1 (ja) * | 2009-06-10 | 2010-12-16 | 三菱電機株式会社 | 画像照合装置及びこれを用いた患者位置決め装置 |
Families Citing this family (158)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8872906B2 (en) | 2005-01-05 | 2014-10-28 | Avantis Medical Systems, Inc. | Endoscope assembly with a polarizing filter |
US20060149129A1 (en) * | 2005-01-05 | 2006-07-06 | Watts H D | Catheter with multiple visual elements |
US8182422B2 (en) | 2005-12-13 | 2012-05-22 | Avantis Medical Systems, Inc. | Endoscope having detachable imaging device and method of using |
US8797392B2 (en) | 2005-01-05 | 2014-08-05 | Avantis Medical Sytems, Inc. | Endoscope assembly with a polarizing filter |
US8235887B2 (en) | 2006-01-23 | 2012-08-07 | Avantis Medical Systems, Inc. | Endoscope assembly with retroscope |
US8289381B2 (en) | 2005-01-05 | 2012-10-16 | Avantis Medical Systems, Inc. | Endoscope with an imaging catheter assembly and method of configuring an endoscope |
US7605817B2 (en) * | 2005-11-09 | 2009-10-20 | 3M Innovative Properties Company | Determining camera motion |
US7912257B2 (en) * | 2006-01-20 | 2011-03-22 | 3M Innovative Properties Company | Real time display of acquired 3D dental data |
US7698014B2 (en) | 2006-01-20 | 2010-04-13 | 3M Innovative Properties Company | Local enforcement of accuracy in fabricated models |
US8287446B2 (en) | 2006-04-18 | 2012-10-16 | Avantis Medical Systems, Inc. | Vibratory device, endoscope having such a device, method for configuring an endoscope, and method of reducing looping of an endoscope |
WO2007136859A2 (en) | 2006-05-19 | 2007-11-29 | Avantis Medical Systems, Inc. | Device and method for reducing effects of video artifacts |
US8531457B2 (en) * | 2006-11-29 | 2013-09-10 | Technion Research And Development Foundation Ltd. | Apparatus and method for finding visible points in a cloud point |
PE20080048A1 (es) * | 2006-12-20 | 2008-02-25 | Scanalyse Pty Ltd | Sistema para la medicion del desplazamiento de una superficie relativa a una base de referencia |
US8089635B2 (en) | 2007-01-22 | 2012-01-03 | California Institute Of Technology | Method and system for fast three-dimensional imaging using defocusing and feature recognition |
CA2676224A1 (en) * | 2007-01-22 | 2008-07-31 | California Institute Of Technology | Method and apparatus for quantitative 3-d imaging |
US8064666B2 (en) * | 2007-04-10 | 2011-11-22 | Avantis Medical Systems, Inc. | Method and device for examining or imaging an interior surface of a cavity |
WO2008133960A1 (en) | 2007-04-23 | 2008-11-06 | California Institute Of Technology | An aperture system with spatially-biased aperture shapes for 3-d defocusing-based imaging |
CN100580370C (zh) * | 2007-05-30 | 2010-01-13 | 北京航空航天大学 | 基于双面靶标的流动式三维视觉测量拼接方法 |
EP2171689B1 (en) | 2007-06-29 | 2020-06-03 | Midmark Corporation | Synchronized views of video data and three-dimensional model data |
EP3527167A1 (en) * | 2007-06-29 | 2019-08-21 | 3M Innovative Properties Co. | Video-assisted margin marking for dental models |
WO2009073439A1 (en) * | 2007-11-28 | 2009-06-11 | 3M Innovative Properties Company | Smc crown shells |
WO2009070469A1 (en) * | 2007-11-28 | 2009-06-04 | 3M Innovative Properties Company | Fabrication of dental articles using digitally-controlled reductive and digitally-controlled additive processes |
US20100285429A1 (en) * | 2007-11-28 | 2010-11-11 | Naimul Karim | Compound smc dental mill blanks |
US20100268363A1 (en) * | 2007-11-28 | 2010-10-21 | Naimul Karim | Digitally-machined smc dental articles |
EP2222244A1 (en) * | 2007-11-28 | 2010-09-01 | 3M Innovative Properties Company | Digitally-painted dental articles |
WO2009089128A1 (en) * | 2008-01-04 | 2009-07-16 | 3M Innovative Properties Company | Hierarchical processing using image deformation |
TW200937109A (en) * | 2008-02-22 | 2009-09-01 | Asia Optical Co Inc | Image pickup methods and image pickup systems |
US8737721B2 (en) | 2008-05-07 | 2014-05-27 | Microsoft Corporation | Procedural authoring |
US8204299B2 (en) * | 2008-06-12 | 2012-06-19 | Microsoft Corporation | 3D content aggregation built into devices |
EP2428932A1 (en) | 2008-08-27 | 2012-03-14 | California Institute of Technology | Method and device for high-resolution three-dimensional imaging which obtains camera pose using defocusing |
US8731313B2 (en) * | 2009-03-23 | 2014-05-20 | Level Set Systems, Inc. | Method and apparatus for accurate compression and decompression of three-dimensional point cloud data |
US8340400B2 (en) * | 2009-05-06 | 2012-12-25 | Honeywell International Inc. | Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features |
CN102802520B (zh) | 2009-06-17 | 2015-04-01 | 3形状股份有限公司 | 聚焦扫描设备 |
US8773507B2 (en) | 2009-08-11 | 2014-07-08 | California Institute Of Technology | Defocusing feature matching system to measure camera pose with interchangeable lens cameras |
WO2011031538A2 (en) * | 2009-08-27 | 2011-03-17 | California Institute Of Technology | Accurate 3d object reconstruction using a handheld device with a projected light pattern |
WO2011034780A1 (en) | 2009-09-15 | 2011-03-24 | 3M Innovative Properties Company | Dental implant abutments and methods of use |
WO2011034781A2 (en) | 2009-09-15 | 2011-03-24 | 3M Innovative Properties Company | Method of making dental implant model and articles |
US9013559B2 (en) * | 2010-02-02 | 2015-04-21 | Konica Minolta Holdings, Inc. | System, method and program for capturing images from a virtual viewpoint |
US8199977B2 (en) * | 2010-05-07 | 2012-06-12 | Honeywell International Inc. | System and method for extraction of features from a 3-D point cloud |
US8973269B2 (en) | 2010-06-17 | 2015-03-10 | 3M Innovative Properties Company | Methods of making biomimetic dental appliances |
EP2582319B1 (en) | 2010-06-17 | 2020-03-18 | 3M Innovative Properties Company | Methods of making multi-chromatic dental appliances |
WO2011162965A1 (en) | 2010-06-24 | 2011-12-29 | 3M Innovative Properties Company | Aqueous composition suitable for intra-oral scanning methods |
CN102959942B (zh) * | 2010-06-28 | 2016-04-20 | 富士胶片株式会社 | 立体观看用图像拍摄装置及其控制方法 |
US8660365B2 (en) | 2010-07-29 | 2014-02-25 | Honeywell International Inc. | Systems and methods for processing extracted plane features |
JP6007178B2 (ja) * | 2010-09-03 | 2016-10-12 | カリフォルニア インスティテュート オブ テクノロジー | 3次元撮像システム |
WO2012061549A2 (en) * | 2010-11-03 | 2012-05-10 | 3Dmedia Corporation | Methods, systems, and computer program products for creating three-dimensional video sequences |
US20120150573A1 (en) * | 2010-12-13 | 2012-06-14 | Omar Soubra | Real-time site monitoring design |
WO2012087999A1 (en) | 2010-12-22 | 2012-06-28 | 3M Innovative Properties Company | Methods of making multilayer anatomical all-ceramic dental appliances |
WO2012087997A1 (en) | 2010-12-22 | 2012-06-28 | 3M Innovative Properties Company | Fireable dental blank assembly |
EP2678830B1 (en) | 2011-02-22 | 2020-04-08 | Midmark Corporation | Hybrid stitching for 3d reconstruction |
CN103391747B (zh) | 2011-02-22 | 2016-02-24 | 3M创新有限公司 | 3d数据采集中的空间雕刻 |
US8718748B2 (en) | 2011-03-29 | 2014-05-06 | Kaliber Imaging Inc. | System and methods for monitoring and assessing mobility |
US8521418B2 (en) | 2011-09-26 | 2013-08-27 | Honeywell International Inc. | Generic surface feature extraction from a set of range data |
US20130141433A1 (en) * | 2011-12-02 | 2013-06-06 | Per Astrand | Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images |
EP2672461A1 (de) * | 2012-06-05 | 2013-12-11 | a.tron3d GmbH | Verfahren zum Fortsetzen von Aufnahmen zum Erfassen von dreidimensionalen Geometrien von Objekten |
US8754887B2 (en) * | 2012-07-20 | 2014-06-17 | Google Inc. | Determining three-dimensional (3D) object data models based on object movement |
US20140162779A1 (en) * | 2012-11-20 | 2014-06-12 | Morinoske Co., Ltd. | Curvate Motion Sensing and Control System |
US9153067B2 (en) | 2013-01-21 | 2015-10-06 | Honeywell International Inc. | Systems and methods for 3D data based navigation using descriptor vectors |
US9542773B2 (en) * | 2013-05-23 | 2017-01-10 | Google Inc. | Systems and methods for generating three-dimensional models using sensed position data |
CH709003B1 (de) * | 2013-12-18 | 2017-06-15 | Kaba Ag | Distanzbestimmung aus Bildern mit Referenzobjekt. |
US10010387B2 (en) | 2014-02-07 | 2018-07-03 | 3Shape A/S | Detecting tooth shade |
US9591286B2 (en) | 2014-05-14 | 2017-03-07 | 3M Innovative Properties Company | 3D image capture apparatus with depth of field extension |
US9626462B2 (en) | 2014-07-01 | 2017-04-18 | 3M Innovative Properties Company | Detecting tooth wear using intra-oral 3D scans |
US20160012646A1 (en) * | 2014-07-10 | 2016-01-14 | Perfetch, Llc | Systems and methods for constructing a three dimensional (3d) color representation of an object |
JP6442193B2 (ja) * | 2014-08-26 | 2018-12-19 | 株式会社トプコン | 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム |
US10192003B2 (en) | 2014-09-08 | 2019-01-29 | 3M Innovative Properties Company | Method of aligning intra-oral digital 3D models |
US9600892B2 (en) * | 2014-11-06 | 2017-03-21 | Symbol Technologies, Llc | Non-parametric method of and system for estimating dimensions of objects of arbitrary shape |
US9396554B2 (en) | 2014-12-05 | 2016-07-19 | Symbol Technologies, Llc | Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code |
EP3232984B1 (en) | 2014-12-09 | 2020-07-01 | 3M Innovative Properties Company | Dental restoration molding techniques |
US20160191901A1 (en) | 2014-12-24 | 2016-06-30 | 3M Innovative Properties Company | 3d image capture apparatus with cover window fiducials for calibration |
US9737257B2 (en) | 2015-01-30 | 2017-08-22 | 3M Innovative Properties Company | Estimating and predicting tooth wear using intra-oral 3D scans |
US9646410B2 (en) * | 2015-06-30 | 2017-05-09 | Microsoft Technology Licensing, Llc | Mixed three dimensional scene reconstruction from plural surface models |
US10163247B2 (en) | 2015-07-14 | 2018-12-25 | Microsoft Technology Licensing, Llc | Context-adaptive allocation of render model resources |
US9665978B2 (en) | 2015-07-20 | 2017-05-30 | Microsoft Technology Licensing, Llc | Consistent tessellation via topology-aware surface tracking |
US10032271B2 (en) | 2015-12-10 | 2018-07-24 | 3M Innovative Properties Company | Method for automatic tooth type recognition from 3D scans |
US11123165B2 (en) | 2015-12-17 | 2021-09-21 | 3M Innovative Properties Company | Dental restoration molds |
AU2016370731B2 (en) | 2015-12-17 | 2019-05-09 | Solventum Intellectual Properties Company | One-piece dental restoration molds |
US11406264B2 (en) | 2016-01-25 | 2022-08-09 | California Institute Of Technology | Non-invasive measurement of intraocular pressure |
US10352689B2 (en) | 2016-01-28 | 2019-07-16 | Symbol Technologies, Llc | Methods and systems for high precision locationing with depth values |
US10145955B2 (en) | 2016-02-04 | 2018-12-04 | Symbol Technologies, Llc | Methods and systems for processing point-cloud data with a line scanner |
US10410430B2 (en) | 2016-02-12 | 2019-09-10 | 3M Innovative Properties Company | Synchronization and animation of views showing digital 3D models of teeth |
USD795270S1 (en) | 2016-02-12 | 2017-08-22 | 3M Innovative Properties Company | Display screen or portion thereof with graphical user interface |
US10721451B2 (en) | 2016-03-23 | 2020-07-21 | Symbol Technologies, Llc | Arrangement for, and method of, loading freight into a shipping container |
US9805240B1 (en) | 2016-04-18 | 2017-10-31 | Symbol Technologies, Llc | Barcode scanning and dimensioning |
US20190216690A1 (en) | 2016-05-27 | 2019-07-18 | 3M Innovative Properties Company | Coating compositions having particles with differing refractive indices for use in intraoral scanning methods |
EP3463257A1 (en) | 2016-05-27 | 2019-04-10 | 3M Innovative Properties Company | Coating compositions having hydrophilic and hydrophobic particles for use in intraoral scanning methods |
US10304190B2 (en) | 2016-06-29 | 2019-05-28 | 3M Innovative Properties Company | Virtual model of articulation from intra-oral scans |
ES2894474T3 (es) | 2016-07-26 | 2022-02-14 | 3M Innovative Properties Co | Moldes de restauración dental |
US11547530B2 (en) | 2016-07-26 | 2023-01-10 | 3M Innovative Properties Company | Dental restoration molds |
US10776661B2 (en) | 2016-08-19 | 2020-09-15 | Symbol Technologies, Llc | Methods, systems and apparatus for segmenting and dimensioning objects |
US20180098828A1 (en) | 2016-10-07 | 2018-04-12 | 3M Innovative Properties Company | Ceramic dental restorations made by additive manufacturing |
US11042161B2 (en) | 2016-11-16 | 2021-06-22 | Symbol Technologies, Llc | Navigation control method and apparatus in a mobile automation system |
US10451405B2 (en) | 2016-11-22 | 2019-10-22 | Symbol Technologies, Llc | Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue |
US10354411B2 (en) | 2016-12-20 | 2019-07-16 | Symbol Technologies, Llc | Methods, systems and apparatus for segmenting objects |
US10565787B1 (en) * | 2017-01-27 | 2020-02-18 | NHIAE Group, LLC | Systems and methods for enhanced 3D modeling of a complex object |
US10949798B2 (en) | 2017-05-01 | 2021-03-16 | Symbol Technologies, Llc | Multimodal localization and mapping for a mobile automation apparatus |
US10726273B2 (en) | 2017-05-01 | 2020-07-28 | Symbol Technologies, Llc | Method and apparatus for shelf feature and object placement detection from shelf images |
US11093896B2 (en) | 2017-05-01 | 2021-08-17 | Symbol Technologies, Llc | Product status detection system |
WO2018204308A1 (en) | 2017-05-01 | 2018-11-08 | Symbol Technologies, Llc | Method and apparatus for object status detection |
US11449059B2 (en) | 2017-05-01 | 2022-09-20 | Symbol Technologies, Llc | Obstacle detection for a mobile automation apparatus |
US11367092B2 (en) | 2017-05-01 | 2022-06-21 | Symbol Technologies, Llc | Method and apparatus for extracting and processing price text from an image set |
US10591918B2 (en) | 2017-05-01 | 2020-03-17 | Symbol Technologies, Llc | Fixed segmented lattice planning for a mobile automation apparatus |
US10663590B2 (en) | 2017-05-01 | 2020-05-26 | Symbol Technologies, Llc | Device and method for merging lidar data |
WO2018201423A1 (en) | 2017-05-05 | 2018-11-08 | Symbol Technologies, Llc | Method and apparatus for detecting and interpreting price label text |
WO2018205164A1 (en) * | 2017-05-10 | 2018-11-15 | Shanghaitech University | Method and system for three-dimensional model reconstruction |
US10492892B2 (en) | 2017-05-17 | 2019-12-03 | 3M Innovative Properties Company | Automatic alignment and orientation of digital 3D dental arch pairs |
US10327693B2 (en) | 2017-07-07 | 2019-06-25 | 3M Innovative Properties Company | Tools for tracking the gum line and displaying periodontal measurements using intra-oral 3D scans |
US10282913B2 (en) * | 2017-07-24 | 2019-05-07 | Visom Technology, Inc. | Markerless augmented reality (AR) system |
US10535160B2 (en) | 2017-07-24 | 2020-01-14 | Visom Technology, Inc. | Markerless augmented reality (AR) system |
US10521914B2 (en) | 2017-09-07 | 2019-12-31 | Symbol Technologies, Llc | Multi-sensor object recognition system and method |
US10572763B2 (en) | 2017-09-07 | 2020-02-25 | Symbol Technologies, Llc | Method and apparatus for support surface edge detection |
JP7427582B2 (ja) | 2017-09-19 | 2024-02-05 | スリーエム イノベイティブ プロパティズ カンパニー | 歯科修復用モールド |
EP3460388A1 (en) * | 2017-09-26 | 2019-03-27 | Hexagon Metrology (Israel) Ltd. | Global positioning of a sensor with respect to different tiles for a global three-dimensional surface reconstruction |
US20200229900A1 (en) | 2017-10-06 | 2020-07-23 | 3M Innovative Properties Company | Automated process for intermediate orthodontic digital setup generation |
GB201717011D0 (en) * | 2017-10-17 | 2017-11-29 | Nokia Technologies Oy | An apparatus a method and a computer program for volumetric video |
TWI634515B (zh) * | 2018-01-25 | 2018-09-01 | 廣達電腦股份有限公司 | 三維影像處理之裝置及方法 |
US20210137640A1 (en) | 2018-02-07 | 2021-05-13 | 3M Innovative Properties Company | Standard orthodontic appliances with semi-custom bases |
US11327504B2 (en) | 2018-04-05 | 2022-05-10 | Symbol Technologies, Llc | Method, system and apparatus for mobile automation apparatus localization |
US10740911B2 (en) | 2018-04-05 | 2020-08-11 | Symbol Technologies, Llc | Method, system and apparatus for correcting translucency artifacts in data representing a support structure |
US10823572B2 (en) | 2018-04-05 | 2020-11-03 | Symbol Technologies, Llc | Method, system and apparatus for generating navigational data |
US10809078B2 (en) | 2018-04-05 | 2020-10-20 | Symbol Technologies, Llc | Method, system and apparatus for dynamic path generation |
US10832436B2 (en) | 2018-04-05 | 2020-11-10 | Symbol Technologies, Llc | Method, system and apparatus for recovering label positions |
US20210259808A1 (en) | 2018-07-31 | 2021-08-26 | 3M Innovative Properties Company | Method for automated generation of orthodontic treatment final setups |
CN109190484A (zh) | 2018-08-06 | 2019-01-11 | 北京旷视科技有限公司 | 图像处理方法、装置和图像处理设备 |
US11506483B2 (en) | 2018-10-05 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for support structure depth determination |
US11010920B2 (en) | 2018-10-05 | 2021-05-18 | Zebra Technologies Corporation | Method, system and apparatus for object detection in point clouds |
US11379788B1 (en) * | 2018-10-09 | 2022-07-05 | Fida, Llc | Multilayered method and apparatus to facilitate the accurate calculation of freight density, area, and classification and provide recommendations to optimize shipping efficiency |
US11090811B2 (en) | 2018-11-13 | 2021-08-17 | Zebra Technologies Corporation | Method and apparatus for labeling of support structures |
US11003188B2 (en) | 2018-11-13 | 2021-05-11 | Zebra Technologies Corporation | Method, system and apparatus for obstacle handling in navigational path generation |
US11079240B2 (en) | 2018-12-07 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for adaptive particle filter localization |
US11416000B2 (en) | 2018-12-07 | 2022-08-16 | Zebra Technologies Corporation | Method and apparatus for navigational ray tracing |
US11100303B2 (en) | 2018-12-10 | 2021-08-24 | Zebra Technologies Corporation | Method, system and apparatus for auxiliary label detection and association |
US11015938B2 (en) | 2018-12-12 | 2021-05-25 | Zebra Technologies Corporation | Method, system and apparatus for navigational assistance |
US10731970B2 (en) | 2018-12-13 | 2020-08-04 | Zebra Technologies Corporation | Method, system and apparatus for support structure detection |
JP6650996B1 (ja) | 2018-12-17 | 2020-02-19 | 株式会社モリタ製作所 | 識別装置、スキャナシステム、識別方法、および識別用プログラム |
CA3028708A1 (en) | 2018-12-28 | 2020-06-28 | Zih Corp. | Method, system and apparatus for dynamic loop closure in mapping trajectories |
US10346998B1 (en) * | 2019-02-25 | 2019-07-09 | Nurulize, Inc. | Method of merging point clouds that identifies and retains preferred points |
US10849723B1 (en) | 2019-05-07 | 2020-12-01 | Sdc U.S. Smilepay Spv | Scanning device |
US11151743B2 (en) | 2019-06-03 | 2021-10-19 | Zebra Technologies Corporation | Method, system and apparatus for end of aisle detection |
US11200677B2 (en) | 2019-06-03 | 2021-12-14 | Zebra Technologies Corporation | Method, system and apparatus for shelf edge detection |
US11080566B2 (en) | 2019-06-03 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for gap detection in support structures with peg regions |
US11402846B2 (en) | 2019-06-03 | 2022-08-02 | Zebra Technologies Corporation | Method, system and apparatus for mitigating data capture light leakage |
US11662739B2 (en) | 2019-06-03 | 2023-05-30 | Zebra Technologies Corporation | Method, system and apparatus for adaptive ceiling-based localization |
US11960286B2 (en) | 2019-06-03 | 2024-04-16 | Zebra Technologies Corporation | Method, system and apparatus for dynamic task sequencing |
US11341663B2 (en) | 2019-06-03 | 2022-05-24 | Zebra Technologies Corporation | Method, system and apparatus for detecting support structure obstructions |
US10841483B1 (en) * | 2019-07-11 | 2020-11-17 | Denso International America, Inc. | System and method for calibrating at least one camera and a light detection and ranging sensor |
JP2022543195A (ja) * | 2019-07-18 | 2022-10-11 | スリーエム イノベイティブ プロパティズ カンパニー | 歯科矯正及び歯科治療計画における仮想咬合 |
JP2022552538A (ja) | 2019-10-16 | 2022-12-16 | スリーエム イノベイティブ プロパティズ カンパニー | 仮想歯列に対する力ベクトルを決定するためのシステム及び方法 |
US11507103B2 (en) | 2019-12-04 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for localization-based historical obstacle handling |
US11107238B2 (en) | 2019-12-13 | 2021-08-31 | Zebra Technologies Corporation | Method, system and apparatus for detecting item facings |
US11822333B2 (en) | 2020-03-30 | 2023-11-21 | Zebra Technologies Corporation | Method, system and apparatus for data capture illumination control |
US11450024B2 (en) | 2020-07-17 | 2022-09-20 | Zebra Technologies Corporation | Mixed depth object detection |
US11593915B2 (en) | 2020-10-21 | 2023-02-28 | Zebra Technologies Corporation | Parallax-tolerant panoramic image generation |
US11392891B2 (en) | 2020-11-03 | 2022-07-19 | Zebra Technologies Corporation | Item placement detection and optimization in material handling systems |
US11847832B2 (en) | 2020-11-11 | 2023-12-19 | Zebra Technologies Corporation | Object classification for autonomous navigation systems |
US11954882B2 (en) | 2021-06-17 | 2024-04-09 | Zebra Technologies Corporation | Feature-based georegistration for mobile computing devices |
US11665329B2 (en) * | 2021-10-28 | 2023-05-30 | Inuitive Ltd. | Optical passive stereo assembly |
US20230289984A1 (en) * | 2022-03-10 | 2023-09-14 | Siemens Healthcare Gmbh | Automatic mr-us prostate image fusion through semi-supervised constrained learning |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6201541B1 (en) | 1997-12-11 | 2001-03-13 | Cognitens, Ltd. | System and method for “Stitching” a plurality of reconstructions of three-dimensional surface features of object(s) in a scene defined relative to respective coordinate systems to relate them to a common coordinate system |
US7027642B2 (en) * | 2000-04-28 | 2006-04-11 | Orametrix, Inc. | Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects |
JP2002024807A (ja) | 2000-07-07 | 2002-01-25 | National Institute Of Advanced Industrial & Technology | 物体運動追跡手法及び記録媒体 |
US6834119B2 (en) | 2001-04-03 | 2004-12-21 | Stmicroelectronics, Inc. | Methods and apparatus for matching multiple images |
US6639594B2 (en) * | 2001-06-03 | 2003-10-28 | Microsoft Corporation | View-dependent image synthesis |
RU2216781C2 (ru) * | 2001-06-29 | 2003-11-20 | Самсунг Электроникс Ко., Лтд | Основанные на изображениях способ представления и визуализации трехмерного объекта и способ представления и визуализации анимированного объекта |
US7019748B2 (en) * | 2001-08-15 | 2006-03-28 | Mitsubishi Electric Research Laboratories, Inc. | Simulating motion of static objects in scenes |
US6816629B2 (en) * | 2001-09-07 | 2004-11-09 | Realty Mapping Llc | Method and system for 3-D content creation |
US20040155975A1 (en) | 2002-09-17 | 2004-08-12 | Hart Douglas P. | 3-D imaging system |
US7605817B2 (en) | 2005-11-09 | 2009-10-20 | 3M Innovative Properties Company | Determining camera motion |
-
2005
- 2005-11-09 US US11/270,135 patent/US7605817B2/en active Active
-
2006
- 2006-11-09 JP JP2008540342A patent/JP2009515493A/ja not_active Withdrawn
- 2006-11-09 ES ES06827924T patent/ES2713857T3/es active Active
- 2006-11-09 EP EP18211644.2A patent/EP3489897A1/en not_active Withdrawn
- 2006-11-09 WO PCT/US2006/060724 patent/WO2007056768A2/en active Application Filing
- 2006-11-09 EP EP06827924.9A patent/EP1952354B1/en not_active Not-in-force
-
2009
- 2009-09-28 US US12/568,124 patent/US7956862B2/en active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010143400A1 (ja) * | 2009-06-10 | 2010-12-16 | 三菱電機株式会社 | 画像照合装置及びこれを用いた患者位置決め装置 |
JP4821940B2 (ja) * | 2009-06-10 | 2011-11-24 | 三菱電機株式会社 | 画像照合装置及びこれを用いた患者位置決め装置 |
US8787647B2 (en) | 2009-06-10 | 2014-07-22 | Mitsubishi Electric Corporation | Image matching device and patient positioning device using the same |
Also Published As
Publication number | Publication date |
---|---|
WO2007056768A3 (en) | 2008-04-03 |
ES2713857T3 (es) | 2019-05-24 |
EP3489897A1 (en) | 2019-05-29 |
US7605817B2 (en) | 2009-10-20 |
US7956862B2 (en) | 2011-06-07 |
US20100013909A1 (en) | 2010-01-21 |
WO2007056768A2 (en) | 2007-05-18 |
EP1952354B1 (en) | 2018-12-26 |
US20070103460A1 (en) | 2007-05-10 |
EP1952354A2 (en) | 2008-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009515493A (ja) | カメラ動きの決定 | |
US9418474B2 (en) | Three-dimensional model refinement | |
US8780119B2 (en) | Reconstruction render farm used in motion capture | |
EP1974325B1 (en) | Three-dimensional scan recovery | |
JP7227969B2 (ja) | 三次元再構成方法および三次元再構成装置 | |
JP2016537901A (ja) | ライトフィールド処理方法 | |
CN111080776B (zh) | 人体动作三维数据采集和复现的处理方法及*** | |
JP7170224B2 (ja) | 三次元生成方法および三次元生成装置 | |
US20200057778A1 (en) | Depth image pose search with a bootstrapped-created database | |
JP4761670B2 (ja) | 動立体モデル生成装置及び方法 | |
CN110544278B (zh) | 刚体运动捕捉方法及装置、agv位姿捕捉*** | |
JP2007025863A (ja) | 撮影システム、撮影方法及び画像処理プログラム | |
JP2002032741A (ja) | 3次元画像生成システムおよび3次元画像生成方法、並びにプログラム提供媒体 | |
CN111316323A (zh) | 一种三维轨迹数据的异常值处理方法及装置 | |
CN111344741A (zh) | 一种三维轨迹数据的数据缺失处理方法及装置 | |
JP2001245323A (ja) | 3次元入力方法および装置 | |
Bériault | Multi-camera system design, calibration and three-dimensional reconstruction for markerless motion capture | |
Zhang et al. | Multi-view imaging: capturing and rendering interactive environments | |
WO2022102015A1 (ja) | 画像情報取得装置、画像情報取得方法及びコンピュータープログラム | |
Kawauchi et al. | Quantized reality: automatic fine-grained spherical images acquisition for space re-construction | |
TW202143176A (zh) | 基於光標籤的場景重建系統 | |
TWM600974U (zh) | 基於光標籤的場景重建系統 | |
JP2022094788A5 (ja) | ||
Ballan | Acquiring shape and motion of interacting people from videos | |
JPS63113781A (ja) | 情報抽出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091020 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091020 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20110530 |