JP2013539147A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2013539147A5 JP2013539147A5 JP2013533001A JP2013533001A JP2013539147A5 JP 2013539147 A5 JP2013539147 A5 JP 2013539147A5 JP 2013533001 A JP2013533001 A JP 2013533001A JP 2013533001 A JP2013533001 A JP 2013533001A JP 2013539147 A5 JP2013539147 A5 JP 2013539147A5
- Authority
- JP
- Japan
- Prior art keywords
- model
- camera
- image
- error
- modeler
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Description
本発明のこれらと他の物体、特徴、および利点は、図面とあわせて考慮された本発明の以下の詳細な記載の考察から明らかとなるであろう。さらに、例証的な3Dモデリングシステムは、本発明の実施形態に従って、補助的な物体サイズ決定システムと協働してもよい。
1つの実施形態では、住宅の第1と第2の画像は、システム(100)によって受け取られ、オペレータ(113)に表示される。オペレータ(113)は、3次元モデルジェネレーター(950)に提供される点集合(制御点)を生成するために、画像と相互に作用する(interact)。モデルジェネレーター(950)は、物体の3次元モデル(951)を提供する。3次元モデル(951)は、レンダリングエンジン(995)によって、2D表示装置(103)上に表示するためにディスプレイインターフェース(993)を介してレンダリングされる。オペレータ(113)は、表示された物体と相互に作用するために、測定アプリケーション(992)を使用して、表示装置(103)に表示された物体の寸法を測定する。モデルの測定は、第1と第2の画像のスケールに関する情報に基づいた現実世界の測定に変換される。したがって、現実世界の物体の測定は、現場を訪れる必要なくなされる。本発明の実施形態は、物体の少なくとも2つの写真の画像に基づいて、構造の3次元モデルを生成することができる。図21も同様のシステム構成要素を示している。
(図2)
図2は、本発明の実施形態に応じた物体の3次元モデルに基づいて現実世界の物体を測定する方法(200)を例証および記載している。
図2は、本発明の実施形態に応じた物体の3次元モデルに基づいて現実世界の物体を測定する方法(200)を例証および記載している。
第1と第2の画像内の対応点を示すために、オペレータは、第1の画像(107)と第2の画像(108)の各々で物体の対応する部分上に表示された証拠(indicia)を置く。例えば、証拠は、第1の画像(107)内の物体(102)の点Aの上に置かれ、次に、第2の画像(108)内の物体(102)の対応部分Aの上に置かれる。各点で、オペレータは、例えば、右または左のマウスをクリックするか、あるいは、他の選択機構を操作することによって、点の選択を示す。トラックボール、キーボード、ライトペン、タッチスクリーン、ジョイスティックなどの他のデバイスは、本発明の実施形態で使用するのに適している。したがって、オペレータは、図5に説明されるような制御点の対(503)のリスト(500)を作るために、第1と第2の画像と相互に作用する(例えば、リスト(500)は第1の画像の制御点(505)と第2の画像の制御点(507)を含んでもよい)。
(図6および図7)
図7は、接地面を定義する点(703)のリスト(700)を説明する。本発明のいくつかの実施形態では、生成された3Dモデルは、接地平行線を参照することにより改良される。図7は、図5で説明された制御点の例証的なリストからの制御点(703)の例証的なリスト(700)を示し、図7における制御点(703)は、本発明の実施形態によって接地平行線を含む。
図7は、接地面を定義する点(703)のリスト(700)を説明する。本発明のいくつかの実施形態では、生成された3Dモデルは、接地平行線を参照することにより改良される。図7は、図5で説明された制御点の例証的なリストからの制御点(703)の例証的なリスト(700)を示し、図7における制御点(703)は、本発明の実施形態によって接地平行線を含む。
図6は、物体に関連した直角を定義する点(603)のリスト(600)を説明する。接地面のように、直角は、3次元モデルを改良するために本発明のいくつかの実施形態で使用されることもある。
本発明の様々な実施形態にかかるシステムにおいて、図1乃至7に関して説明されたように、オペレータは、表示装置(103)に表示された第1と第2の画像から、第1と第2の画像点集合を選択する。第1のカメラ行列(カメラ1)は、第1の画像から点集合を受け取る。第2のカメラ行列(カメラ2)は第2の画像から点集合を受け取る。モデル生成は、カメラ1およびカメラ2の行列に初期パラメータを提供することによって始まる。
カメラパラメータモデリングユニット(815)は、関係をモデル化するように構成され、制約は、選択された第1と第2の画像の属性に少なくとも部分的に基づいた第1と第2パラメータ集合を含むパラメータ間の関係を記述する。
本発明のカメラパラメータモデルは、カメラパラメータの無効な、または、ありそうもない部分的な組み合わせの選択を防ぐために、第1と第2のカメラ上の位置の制約に関する十分な情報を具現化する。したがって、3次元モデルを生成する計算時間は、例えば、不可能な、さもなければ無効なまたはありそうにないカメラ位置のパラメータ値が検査パラメータに含まれる場合の計算時間よりも短い。
オイラー角は、基準(カメラ)フレームを、参照した(3次元モデル)フレームに移動させる、3つの合成回転(composed rotation)を表す。
したがって、任意の配向は、3つの基本的な回転(1つの軸のまわりの回転)を組み合わせることによって表すことができ、任意の回転行列は、3つの基本的な回転行列の積として分解され得る。
点の対における各々の点に関して、モデルユニットは、該点を含む画像をキャプチャした対応する仮想カメラを介して、視線(または光線)を投影する。第1の画像エピポールを通り抜ける線と、第2の画像エピポールを通り抜ける線は、理想的な条件下で、例えば、カメラモデルが画像をキャプチャするために用いられる実際のカメラを正確に表すとき、ノイズがないとき、および、点の対の特定が第1と第2の写真の間で正確でかつ一貫していたときに、交差する。
3Dモデルジェネレーターユニット(950)は、本発明の1つの実施形態において、三角測量技術を使用して、第1と第2のカメラモデルによって投影された光線の交点を測定する。一般に、三角測量は、点に対する距離を適切に測定するよりもむしろ、固定された基線のいずれか一方の端部にある既知の点から、点に対する角度を測定することによって、点の位置を測定するプロセスである。該点は、その後、1つの既知の辺と2つの既知の角度を備えた三角形の第3の点として固定され得る。点に対する座標と距離は、その点と2つの他の既知の基準点によって形成された三角形の角度と辺の測定を前提として、三角形の1つの辺の長さを計算することによって見出される。誤差のない文脈において、交差座標は、3次元モデル空間における点の3次元位置を含む。
本発明のいくつかの実施形態によれば、3次元モデル(951)は、現実世界の構造の3次元表示を含み、該表示は、座標系、例えば、デカルト座標系に対して参照された幾何学的なデータを含む。本発明のいくつかの実施形態では、3次元モデルは、グラフィックデータファイルを含む。3次元表示は、計算と測定を行う目的のために、処理装置(図示せず)のメモリに保存される。
3次元モデルは、3Dレンダリングプロセスによって、2次元画像として視覚的に表示され得る。ひとたび、本発明のシステムが3次元モデルを生成すると、レンダリングエンジン(995)は、ディスプレイインターフェース(993)によって表示装置(103)上で該モデルの2D画像をレンダリングする。従来のレンダリング技術は、本発明の実施形態で使用するのに適している。レンダリングに加えて、3次元モデルは、さもなければ、グラフィックまたはノングラフィックなコンピューターシミュレーションおよび計算に役立つ。レンダリングされた2D画像は、後で見るために保存されてもよい。しかしながら、本明細書に記載の本発明の実施形態は、オペレータ(113)が制御点対を示す際に、表示装置(103)上にほぼリアルタイムで2D画像を表示することができる。
オペレータ(113)は、システム(100)へのダウンロードのために少なくとも2つの画像を選択する。本発明の1つの実施形態では、第1の選択された画像は、住宅の平面図である。第2の選択された画像は、住宅の斜視図である。オペレータ(113)は表示装置(103)に両方の画像を表示する。マウスまたは他の適切な入力装置を使用して、オペレータ(103)は、第1と第2の画像上の点の集合を選択する。第1の画像中で選択されたすべての点について、対応する点は、第2の画像中で選択される。上に記述されたように、システム(100)によって、オペレータ(109)は、2次元の表示装置(103)に表示された2次元の(2−D)画像と相互作用して操作することができる。図1の簡略化された例では、少なくとも1つの2D画像、例えば、第1の写真画像(107)は、処理装置によって画像(10)のソースから得られる。本発明の他の実施形態では、2D画像の適切なソースは、処理装置に保存され、表示装置(103)上で表示するために、オペレータ(113)によって選択可能である。本発明は、使用される画像ソースの数およびタイプに関して限定されない。もっと正確に言えば、様々な画像ソース(10)は、表示装置(103)上での獲得と表示のために、2D画像を含むのに適している。
例えば、上に記載された例証的な実施形態において、本発明は、構造の画像に基づいて、住居構造の寸法を遠隔測定するために展開される。それらの実施形態では、マイクロソフト(商標)によって維持されているような商用の地理的な画像データベースが、2D画像の適切なソースである。本発明の実施形態のなかには、2D画像の1つ以上のソースに依存するものもある。例えば、第1の画像(107)は、第1の画像ソースから選択され、第2の画像(108)は第2の無関係な画像ソースから選択される。消費者用撮像デバイス、例えば、使い捨てカメラ、ビデオカメラなどによって撮られる画像は、本発明の実施形態で使用するのに適している。同様に、衛星、地理的な調査撮像機器、および、現実世界の物体の商用2D画像を提供する様々な他の撮像機器によって得られる専門的な画像は、本発明の様々な実施形態で使用するのに適している。
1つの代替的な実施形態によれば、第1と第2の画像は、処理装置につながれた局所的なスキャナーを使用してスキャンされる。各々のスキャンされた画像のスキャンデータは、処理装置に提供される。スキャンされた画像は、表示装置(103)上でオペレータ(113)に表示される。別の代替的な実施形態では、画像キャプチャ機器は、現実世界の住宅がある場所に置かれる。その場合、画像キャプチャ機器は、インターネットを通じて処理装置に画像を供給する。画像はリアルタイムで提供されてもよく、または、近い将来に提供されるために保存されてもよい。画像の別のソースは、データネットワークを介して処理装置に接続された、画像アーカイブおよび通信システムである。画像を生成するおよび送ることができる実に様々な方法および装置が、本発明の様々な実施形態を用いて使用するのに適している。
(モデルの改良)
実施において、エピポーラ幾何学は、実際の写真では不完全に具現化される。第1と第2の画像からの制御点の2D座標は、任意の精度では測定することができない。レンズの歪みまたは所望の点検出誤差による幾何学的なノイズのような様々な種類のノイズは、制御点座標の不正確さにつながる。加えて、第1と第2のカメラの幾何学的形状は完全には知られていない。結果として、第1と第2のカメラ行列によって対応する制御点からの3次元モデルジェネレーターによって投影された線は、三角形になると、必ずしも3D空間で交差するわけではない。その場合、3D座標の予測は、3次元モデルジェネレーター(950)によって投影された線の相対的な線位置の予測に基づいてなされる。本発明の1つの実施形態では、予測された3D点は、第2の制御点投影に対する第1の制御点投影の最も近い近位の関係を表す3次元モデル空間の点を特定することによって測定される。
実施において、エピポーラ幾何学は、実際の写真では不完全に具現化される。第1と第2の画像からの制御点の2D座標は、任意の精度では測定することができない。レンズの歪みまたは所望の点検出誤差による幾何学的なノイズのような様々な種類のノイズは、制御点座標の不正確さにつながる。加えて、第1と第2のカメラの幾何学的形状は完全には知られていない。結果として、第1と第2のカメラ行列によって対応する制御点からの3次元モデルジェネレーターによって投影された線は、三角形になると、必ずしも3D空間で交差するわけではない。その場合、3D座標の予測は、3次元モデルジェネレーター(950)によって投影された線の相対的な線位置の予測に基づいてなされる。本発明の1つの実施形態では、予測された3D点は、第2の制御点投影に対する第1の制御点投影の最も近い近位の関係を表す3次元モデル空間の点を特定することによって測定される。
(図8)
図8は、本発明の実施形態に応じて、物体の少なくとも2つの2D画像に基づいて物体の3Dモデルを生成する方法(800)の工程を説明するフローチャートである。
図8は、本発明の実施形態に応じて、物体の少なくとも2つの2D画像に基づいて物体の3Dモデルを生成する方法(800)の工程を説明するフローチャートである。
工程(805)で、オペレータによって選択された制御点が受け取られる。例えば、オペレータは、住宅を含む第1の画像から住宅のA部分を選択する。オペレータは、同じ住宅を含む第2の画像から、同じ住宅の同じA部分を選択する。第1と第2の画像中で描かれた、オペレータが選択した住宅の部分の表示座標が処理装置に提供される。工程(807)で、初期のカメラパラメータは、例えば、オペレータから受け取られる。工程(809)で、残りのカメラパラメータは、カメラパラメータモデルに少なくとも部分的に基づいて計算される。残りの工程(例えば、工程811、工程813、工程815、工程817、工程819、工程821、工程823、および、工程825)は、上の記載で記載され、図8の操作ブロックで指示されるように行われる。
(図9)
図9は、本発明の実施形態に応じて生成された3次元モデルにおける誤差を最小化するための、工程(903)、工程(905)、工程(907)、工程(909)、工程(911)、工程(913)、および、工程(915)を含む方法(900)を例証し記載している。
図9は、本発明の実施形態に応じて生成された3次元モデルにおける誤差を最小化するための、工程(903)、工程(905)、工程(907)、工程(909)、工程(911)、工程(913)、および、工程(915)を含む方法(900)を例証し記載している。
(図10)
本発明の1つの実施形態を示す図(1000)では、第1と第2のカメラの各々は、3次元モデル空間(1012)に位置付けられるカメラベアリングプラットフォーム上に取り付けられたカメラとして、モデル化される。プラットフォームは、順に、「カメラジンバル」につながれる。不可能なカメラ位置は、こうして「ジンバルロック」位置として具現化される。ジンバルロックは、3つのジンバルの2つの軸が並列な構造に入れられ、システムを2次元空間の回転に「ロック」すると生じる、3次元空間での1自由度の喪失である。
本発明の1つの実施形態を示す図(1000)では、第1と第2のカメラの各々は、3次元モデル空間(1012)に位置付けられるカメラベアリングプラットフォーム上に取り付けられたカメラとして、モデル化される。プラットフォームは、順に、「カメラジンバル」につながれる。不可能なカメラ位置は、こうして「ジンバルロック」位置として具現化される。ジンバルロックは、3つのジンバルの2つの軸が並列な構造に入れられ、システムを2次元空間の回転に「ロック」すると生じる、3次元空間での1自由度の喪失である。
図10のモデルは、本発明の実施形態に応じて、モデル空間に2D画像の制御点を投影するために、最適な第1と第2のカメラ行列を迅速に測定するための1つの有利な構成および方法を表す。該モデルによると、第1と第2のカメラ行列のための初期パラメータは、対応する仮想カメラ(1015と1016)の開口部が球体(1005)の中心の方に向けられるように配置されると仮定する。さらに、1つのカメラ(1016)は、座標軸(1009)の座標x0、y1、z0で、球体(1001)に対して位置付けられるように、すなわち、球体の中心に向かって直接下方に向けられた開口部を含む球体の上半球の上部に配されるように、モデル化される。
加えて、可能な位置の範囲は、球体の表面(1014)上の位置と、さらに球体の上部の半球に制約される。さらに、カメラ(1015)のx軸位置は、x=0で留まるように設定される。従って、上記の制約に従うカメラ(1015)によって仮定された位置は、z=1とz=−1の間のz軸の上にあり、y軸に対するカメラ(1015)の位置はz軸位置によって決定される。カメラ(1015)および(1016)の各々は、それぞれの光学軸の回りを自由に回転する。
(図12)パラメータ方法
図12は、カメラ1(C1)のピッチ、ヨウ、ロール(pitch yaw and roll)を、図10で説明されたパラメータモデルによって与えられるC1初期パラメータに基づいて測定するための、工程(1203)、工程(1205)、工程(1207)、工程(1209)、工程(1211)、工程(1213)、および、工程(1215)を含む方法(1200)を例証し記載する。
図12は、カメラ1(C1)のピッチ、ヨウ、ロール(pitch yaw and roll)を、図10で説明されたパラメータモデルによって与えられるC1初期パラメータに基づいて測定するための、工程(1203)、工程(1205)、工程(1207)、工程(1209)、工程(1211)、工程(1213)、および、工程(1215)を含む方法(1200)を例証し記載する。
(図11)−パラメータ方法
同様に、図11は、カメラ2(C2)のピッチ、ヨウ、ロール(pitch yaw and roll)を、図10で説明されたパラメータモデルによって与えられるC2初期パラメータに基づいて測定するための、工程(1103)、工程(1105)、工程(1107)、工程(1109)、工程(1111)、工程(1113)、および、工程(1115)を含む方法(1100)を例証し記載する。
同様に、図11は、カメラ2(C2)のピッチ、ヨウ、ロール(pitch yaw and roll)を、図10で説明されたパラメータモデルによって与えられるC2初期パラメータに基づいて測定するための、工程(1103)、工程(1105)、工程(1107)、工程(1109)、工程(1111)、工程(1113)、および、工程(1115)を含む方法(1100)を例証し記載する。
(図14)−シミュレーション方法−最低誤差出力の使用
図14は、3次元モデルを生成し、その一方で、生成された3次元モデルにおける誤差を最小化するための、工程(1403)、工程(1405)、工程(1407)、工程(1409)、工程(1411)、工程(1413)、工程(1415)、工程(1417)、工程(1419)、工程(1421)、測定工程(1423)、および、工程(1425)を含む方法(1400)の工程を例証して記載するフローチャートである。
図14は、3次元モデルを生成し、その一方で、生成された3次元モデルにおける誤差を最小化するための、工程(1403)、工程(1405)、工程(1407)、工程(1409)、工程(1411)、工程(1413)、工程(1415)、工程(1417)、工程(1419)、工程(1421)、測定工程(1423)、および、工程(1425)を含む方法(1400)の工程を例証して記載するフローチャートである。
(図15)−カメラパラメータとシミュレーション方法
図15は、本発明の実施形態によって、3Dモデルを生成するための、工程(1503)、工程(1505)、工程(1507)、工程(1509)、工程(1511)、工程(1513)、工程(1515)、工程(1517)、工程(1519)、工程(1521)、測定工程(1523)、工程(1525)、工程(1527)、工程(1529)、測定工程(1531)、および、工程(1533)を含む方法(1500)の工程を例証し記載するフローチャートである。
図15は、本発明の実施形態によって、3Dモデルを生成するための、工程(1503)、工程(1505)、工程(1507)、工程(1509)、工程(1511)、工程(1513)、工程(1515)、工程(1517)、工程(1519)、工程(1521)、測定工程(1523)、工程(1525)、工程(1527)、工程(1529)、測定工程(1531)、および、工程(1533)を含む方法(1500)の工程を例証し記載するフローチャートである。
(図16)
図16は、本発明の実施形態に応じて第1と第2の画像から点集合(1602)の3次元モデルベースの投影を提供する例証的な3次元モデルジェネレーター(1650)を説明する概念図(1600)である。図16は、第1と第2の画像中の2D点に相当する3次元モデル(1607)の3D点を、(1604、1605、および、1606)(または、1604’、1605’、および、1606’)において、描いている。3Dモデルは、縁(1613)と平面(1612)を含んでもよい。3次元モデルジェネレーター(1650)は、各制御点対に、対応する3D点を提供するために、制御点対に作用する。第1と第2の画像それぞれの第1と第2の画像点について(同じ3次元の点に対応する)、画像点と3次元点と光学的中心は同一平面上にある。
図16は、本発明の実施形態に応じて第1と第2の画像から点集合(1602)の3次元モデルベースの投影を提供する例証的な3次元モデルジェネレーター(1650)を説明する概念図(1600)である。図16は、第1と第2の画像中の2D点に相当する3次元モデル(1607)の3D点を、(1604、1605、および、1606)(または、1604’、1605’、および、1606’)において、描いている。3Dモデルは、縁(1613)と平面(1612)を含んでもよい。3次元モデルジェネレーター(1650)は、各制御点対に、対応する3D点を提供するために、制御点対に作用する。第1と第2の画像それぞれの第1と第2の画像点について(同じ3次元の点に対応する)、画像点と3次元点と光学的中心は同一平面上にある。
本発明は、上記の逆変換を使用する。言いかえれば、本発明は、画像をキャプチャしたデバイスのファインダー越しに見えるように、2D空間の物体の画像上の点をマッピングする。これを達成するために、本発明は、3次元モデル空間(1660)上に点の対を投影することによって、3Dの現実世界の物体をモデル形態で再構成するために、カメラ1行列(1631)とカメラ2行列(1632)を提供する。
カメラ行列(1631)および(1632)は、カメラパラメータによって定義される。カメラパラメータは「内部パラメータ」および「外部パラメータ」を含んでもよい。外部パラメータは、カメラの外部定位、例えば、空間と視野方向における位置を定義する。内部パラメータは、撮像プロセスの幾何学的パラメータを定義する。これは主にレンズの焦点距離であるが、レンズ歪みの記述を含んでもよい。
これに応じて、第1のカメラモデル(または行列)は、第1の画像をキャプチャしたカメラの仮想の記述を含む。第2のカメラモデル(または行列)は、第2の画像をキャプチャしたカメラの仮想の記述を含む。本発明のいくつかの実施形態では、カメラ行列(1631および1632)は、カメラ後方交会法(camera resectioning)技術を使用して構築される。カメラ後方交会法は、所定の写真またはビデオを製作したカメラの真のパラメータを見つけるプロセスである。カメラパラメータは、カメラ行列(1631)および(1632)を含む、3×4の行列で表される。
(プロジェクター)
第1と第2のカメラ行列(1732、1731)は、第1と第2の画像からの各々の2D制御点から、カメラモデルに従って構成された仮想カメラを通って、3Dモデル(1761)(例えば、側面1734、1733を有するモデル)が後に提供される3D画像空間(1700)へと光線を投影する。
第1と第2のカメラ行列(1732、1731)は、第1と第2の画像からの各々の2D制御点から、カメラモデルに従って構成された仮想カメラを通って、3Dモデル(1761)(例えば、側面1734、1733を有するモデル)が後に提供される3D画像空間(1700)へと光線を投影する。
第1と第2のカメラ行列によって投影される2D点の所定の集合(1711)は、3Dモデルへの理想的な投影における同じ点に対応することも知られている。この知識によって、本発明の原則に従ったカメラパラメータ予測は、手動で予測された初期値を提供する工程、収束について判定する工程、および、収束判定の結果に基づいてカメラ行列を調節する工程を含む。
(図18)−画像登録方法
図18は、本発明の実施形態に従って、互いに対して第1と第2の画像を登録するための、工程(1804)、工程(1806)、工程(1808)、工程(1810)、工程(1812)、工程(1814)、工程(1816)、工程(1818)、工程(1820)、工程(1822)、工程(1824)、測定工程(1826)、工程(1828)、および、工程(1830)を含む方法(1800)の工程を例証して記載している。図19は、本発明に係る第1と第2の画像、カメラモデラー、および、モデルジェネレーター間の関係を例証する概念図(1900)である。
図18は、本発明の実施形態に従って、互いに対して第1と第2の画像を登録するための、工程(1804)、工程(1806)、工程(1808)、工程(1810)、工程(1812)、工程(1814)、工程(1816)、工程(1818)、工程(1820)、工程(1822)、工程(1824)、測定工程(1826)、工程(1828)、および、工程(1830)を含む方法(1800)の工程を例証して記載している。図19は、本発明に係る第1と第2の画像、カメラモデラー、および、モデルジェネレーター間の関係を例証する概念図(1900)である。
(図20)3次元モデル生成の方法
図20は、本発明の実施形態による、バンドル調整のための、工程(2002)、工程(2004)、工程(2006)、工程(2008)、工程(2010)、工程(2012)、工程(2009)、工程(2011)、工程(2014)、工程(2016)、工程(2018)、工程(2020)、測定工程(2022)、工程(2024)、工程(2026)、工程(2028)、および、工程(2030)を含む方法(2000)の工程を例証し記載している。
図20は、本発明の実施形態による、バンドル調整のための、工程(2002)、工程(2004)、工程(2006)、工程(2008)、工程(2010)、工程(2012)、工程(2009)、工程(2011)、工程(2014)、工程(2016)、工程(2018)、工程(2020)、測定工程(2022)、工程(2024)、工程(2026)、工程(2028)、および、工程(2030)を含む方法(2000)の工程を例証し記載している。
(図21)モデルジェネレーター
図21は、本発明の実施形態による、3次元モデルジェネレーターのブロック図(2100)であり、2D画像ソース(2130)、3Dモデルジェネレーター(2120)(物体モデリングユニット2140、3Dモデル2145、誤差予測ユニット2150、および、カメラモデリングユニット2155を含む)、ディスプレイ(2170)(3D画像2175、第1の2D画像2180、および、第2の2D画像2185を含む)、並びに、ユーザーインターフェースデバイス(2160)を示している。
図21は、本発明の実施形態による、3次元モデルジェネレーターのブロック図(2100)であり、2D画像ソース(2130)、3Dモデルジェネレーター(2120)(物体モデリングユニット2140、3Dモデル2145、誤差予測ユニット2150、および、カメラモデリングユニット2155を含む)、ディスプレイ(2170)(3D画像2175、第1の2D画像2180、および、第2の2D画像2185を含む)、並びに、ユーザーインターフェースデバイス(2160)を示している。
(図22)モデル生成方法の概要
図22は、本発明の実施形態による、バンドル調節のための、工程(2202)、工程(2204)、工程(2206)、測定工程(2208)、工程(2210)、および、工程(2220)を含む方法(2200)の工程を例証し記載するフローチャートである。
図22は、本発明の実施形態による、バンドル調節のための、工程(2202)、工程(2204)、工程(2206)、測定工程(2208)、工程(2210)、および、工程(2220)を含む方法(2200)の工程を例証し記載するフローチャートである。
(図23)モデルジェネレーターの実施形態
図23は、本発明の実施形態による、カメラモデリングユニットのブロック図(2300)であり、ユーザー入出力(2302)、カメラモデリングユニット(2304)(パラメータモデリングユニット2306、第1のカメラ解像度(camera definition)2308、および、第2のカメラ解像度2310を備えたカメラ行列ユニット2312を含む)、誤差ユニット(2318)(誤差2314とパラメータセット2316を含む)、3D物体モデリングユニット(2320)、および、3Dモデル(2322)を示している。
図23は、本発明の実施形態による、カメラモデリングユニットのブロック図(2300)であり、ユーザー入出力(2302)、カメラモデリングユニット(2304)(パラメータモデリングユニット2306、第1のカメラ解像度(camera definition)2308、および、第2のカメラ解像度2310を備えたカメラ行列ユニット2312を含む)、誤差ユニット(2318)(誤差2314とパラメータセット2316を含む)、3D物体モデリングユニット(2320)、および、3Dモデル(2322)を示している。
システムを含む部品は、別々のユニットとして実行可能であり、代替的に、様々な組み合わせで一体化される。該部品は、ハードウェアとソフトウェアの様々な組み合わせで、実行可能である。
Claims (10)
- 現実世界の物体の3Dモデルを生成するためのシステムであって、
前記システムは、
カメラモデラーと、
物体モデラーを含み、
前記カメラモデラーは、
カメラパラメータを受け取る第1入力部
第1の物体の第1と第2の画像それぞれの点に対応する第1と第2の点集合を受け取る第2の入力部を含み、
カメラモデラーは、受け取ったカメラパラメータに従って、第1と第2の点集合を投影したものを3D空間に提供し、
前記物体モデラーは、
投影したものを受け取る入力部、
投影したものに基づいて第1の物体の3Dモデルを提供する第1の出力部、および、
投影誤差を予測する第2の出力部を含み、
前記システムは、投影誤差の予測に従って、少なくとも1つのカメラパラメータを調節し、
前記カメラモデラーは、少なくとも1つの調節されたカメラモデルパラメータに基づいて、第1と第2の点集合を投影し、それによって、物体モデラーが第1の物体の誤差を修正した3Dモデルを提供することを可能にする、システム。 - 誤差を修正した3Dモデルを受け取るための入力部を含むレンダリングユニットをさらに含み、前記レンダリングユニットは、誤差を修正した3Dモデルに基づいて、第1の物体の2D表示を提供する、請求項1に記載のシステム。
- 誤差を修正した3Dモデルの2D表示を受け取るための入力部を含む、第1の物体の2D表示を表示する2D表示装置と、
オペレータが、第1の物体の寸法を測定するために、前記第1の物体の2D表示に相互作用することを可能にする、表示装置につなげられたオペレータ制御装置をさらに含む、請求項2に記載のシステム。 - 現実世界の物体の第1と第2の2D画像を表示するように構成された表示装置と、
オペレータが、第1と第2の点集合を定義するために、表示された2D画像と相互作用することを可能にする、表示装置につながれたオペレータ入力装置をさらに含む、請求項1に記載のシステム。 - 表示装置は、第2の物体の1つの画像をさらに表示するように構成され、オペレータ入力装置は、オペレータが、誤差を修正した3Dモデルに基づいて、表示された第1の画像、表示された第2の画像、および、表示されたレンダリングされた画像の1つの中に、第2の物体の画像を位置付けることを可能にするように構成される、請求項4に記載のシステム。
- 第1の物体の3Dモデルを生成するための方法であって、
前記方法は、
第1と第2の初期カメラパラメータで、カメラモデラーを初期化する工程、
前記第1の物体の第1と第2の画像の中に現れる前記第1の物体の点に対応する第1と第2の2D点集合を、カメラモデラーによって受け取る工程、
カメラモデラーによって、第1と第2の2D点集合を3Dモデル空間に投影する工程、
投影したものに基づいて前記第1の物体の3Dモデルを含むように、3D座標を決定する工程、
投影された第1と第2の2D点集合に関連した誤差を測定する工程、
第1と第2の2D点集合が、修正されたカメラパラメータに従って再投影されるように、誤差に従って第1と第2の初期のカメラパラメータの少なくとも1つのパラメータを調節する工程、および、
再投影した第1と第2の2D点集合に基づいて前記第1の物体の3Dモデルを含むように、3D座標を決定する工程を含む、方法。 - 投影する工程、3D座標を決定する工程、誤差を測定する工程、および、カメラパラメータを調節する工程は、測定された誤差があらかじめ決められた誤差以下となるまで、繰り返される、請求項6に記載の方法。
- 繰り返される工程と、誤差を測定する工程は、あらかじめ決められた誤差に収束する時間を最適化するために、少なくとも1つのパラメータを展開させることによって行われる、請求項7に記載の方法。
- 表示装置上で表示するために、誤差を修正した3Dモデルをレンダリングする工程をさらに含む、請求項6に記載の方法。
- 第3の画像中に現れる第2の物体を表す第3の点集合を受け取る工程、
3Dモデル空間中の第3の点集合に作用することによって、第1の物体のスケールと配向に一致するように、表された第2の画像スケールと前記配向を調節する工程、
第1の物体によって第2の物体を表示する工程をさらに含む、請求項6に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US39106910P | 2010-10-07 | 2010-10-07 | |
US61/391,069 | 2010-10-07 | ||
PCT/US2011/055489 WO2012048304A1 (en) | 2010-10-07 | 2011-10-07 | Rapid 3d modeling |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016131909A Division JP2017010562A (ja) | 2010-10-07 | 2016-07-01 | 迅速な3dモデリング |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013539147A JP2013539147A (ja) | 2013-10-17 |
JP2013539147A5 true JP2013539147A5 (ja) | 2014-11-27 |
JP6057298B2 JP6057298B2 (ja) | 2017-01-11 |
Family
ID=45928149
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013533001A Expired - Fee Related JP6057298B2 (ja) | 2010-10-07 | 2011-10-07 | 迅速な3dモデリング |
JP2016131909A Ceased JP2017010562A (ja) | 2010-10-07 | 2016-07-01 | 迅速な3dモデリング |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016131909A Ceased JP2017010562A (ja) | 2010-10-07 | 2016-07-01 | 迅速な3dモデリング |
Country Status (12)
Country | Link |
---|---|
US (1) | US20140015924A1 (ja) |
EP (1) | EP2636022A4 (ja) |
JP (2) | JP6057298B2 (ja) |
KR (1) | KR20130138247A (ja) |
CN (1) | CN103180883A (ja) |
AU (1) | AU2011312140C1 (ja) |
BR (1) | BR112013008350A2 (ja) |
CA (1) | CA2813742A1 (ja) |
MX (1) | MX2013003853A (ja) |
SG (1) | SG189284A1 (ja) |
WO (1) | WO2012048304A1 (ja) |
ZA (1) | ZA201302469B (ja) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
MX2010003682A (es) | 2007-10-04 | 2013-01-17 | Sungevity | Metodos y sistemas para aprovisionamiento de sistemas de energía. |
US9310403B2 (en) | 2011-06-10 | 2016-04-12 | Alliance For Sustainable Energy, Llc | Building energy analysis tool |
DE112013003338B4 (de) * | 2012-07-02 | 2017-09-07 | Panasonic Intellectual Property Management Co., Ltd. | Größenmessvorrichtung und Größenmessverfahren |
US9171108B2 (en) * | 2012-08-31 | 2015-10-27 | Fujitsu Limited | Solar panel deployment configuration and management |
US9141880B2 (en) * | 2012-10-05 | 2015-09-22 | Eagle View Technologies, Inc. | Systems and methods for relating images to each other by determining transforms without using image acquisition metadata |
EP2811463B1 (en) | 2013-06-04 | 2018-11-21 | Dassault Systèmes | Designing a 3d modeled object with 2d views |
WO2015031593A1 (en) | 2013-08-29 | 2015-03-05 | Sungevity, Inc. | Improving designing and installation quoting for solar energy systems |
US9595125B2 (en) * | 2013-08-30 | 2017-03-14 | Qualcomm Incorporated | Expanding a digital representation of a physical plane |
EP2874118B1 (en) * | 2013-11-18 | 2017-08-02 | Dassault Systèmes | Computing camera parameters |
KR102127978B1 (ko) * | 2014-01-10 | 2020-06-29 | 삼성전자주식회사 | 구조도 생성 방법 및 장치 |
US20150234943A1 (en) * | 2014-02-14 | 2015-08-20 | Solarcity Corporation | Shade calculation for solar installation |
CN106575447A (zh) * | 2014-06-06 | 2017-04-19 | 塔塔咨询服务公司 | 构建3d结构 |
CN106462988B (zh) * | 2014-06-16 | 2019-08-20 | 美国西门子医疗解决公司 | 多视角断层摄影重构 |
US20160094866A1 (en) * | 2014-09-29 | 2016-03-31 | Amazon Technologies, Inc. | User interaction analysis module |
EP3032495B1 (en) | 2014-12-10 | 2019-11-13 | Dassault Systèmes | Texturing a 3d modeled object |
CN108139876B (zh) * | 2015-03-04 | 2022-02-25 | 杭州凌感科技有限公司 | 用于沉浸式和交互式多媒体生成的***和方法 |
EP3316589B1 (en) * | 2015-06-25 | 2024-02-28 | Panasonic Intellectual Property Management Co., Ltd. | Video synchronization device and video synchronization method |
AU2016315938B2 (en) * | 2015-08-31 | 2022-02-24 | Cape Analytics, Inc. | Systems and methods for analyzing remote sensing imagery |
KR101729164B1 (ko) * | 2015-09-03 | 2017-04-24 | 주식회사 쓰리디지뷰아시아 | 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법 |
KR101729165B1 (ko) | 2015-09-03 | 2017-04-21 | 주식회사 쓰리디지뷰아시아 | 타임 슬라이스 영상용 오차교정 유닛 |
EP3188033B1 (en) | 2015-12-31 | 2024-02-14 | Dassault Systèmes | Reconstructing a 3d modeled object |
EP3293705B1 (en) | 2016-09-12 | 2022-11-16 | Dassault Systèmes | 3d reconstruction of a real object from a depth map |
AU2019212616A1 (en) * | 2018-01-25 | 2020-08-06 | Geomni, Inc. | Systems and methods for rapid alignment of digital imagery datasets to models of structures |
CN108470151A (zh) * | 2018-02-14 | 2018-08-31 | 天目爱视(北京)科技有限公司 | 一种生物特征模型合成方法及装置 |
CA3037583A1 (en) | 2018-03-23 | 2019-09-23 | Geomni, Inc. | Systems and methods for lean ortho correction for computer models of structures |
DE102018113047A1 (de) * | 2018-05-31 | 2019-12-05 | apoQlar GmbH | Verfahren zur Ansteuerung eines Displays, Computerprogramm und Augmented Reality-, Virtual Reality- oder Mixed Reality-Anzeigeeinrichtung |
US11210864B2 (en) * | 2018-06-01 | 2021-12-28 | Immersal Oy | Solution for generating virtual reality representation |
CN109151437B (zh) * | 2018-08-31 | 2020-09-01 | 盎锐(上海)信息科技有限公司 | 基于3d摄像机的全身建模装置及方法 |
CN109348208B (zh) * | 2018-08-31 | 2020-09-29 | 盎锐(上海)信息科技有限公司 | 基于3d摄像机的感知编码获取装置及方法 |
KR102118937B1 (ko) | 2018-12-05 | 2020-06-04 | 주식회사 스탠스 | 3d 데이터서비스장치, 3d 데이터서비스장치의 구동방법 및 컴퓨터 판독가능 기록매체 |
KR102089719B1 (ko) * | 2019-10-15 | 2020-03-16 | 차호권 | 기계 설비 공사 공정을 위한 제어 방법 및 장치 |
US11455074B2 (en) * | 2020-04-17 | 2022-09-27 | Occipital, Inc. | System and user interface for viewing and interacting with three-dimensional scenes |
WO2022082007A1 (en) | 2020-10-15 | 2022-04-21 | Cape Analytics, Inc. | Method and system for automated debris detection |
WO2023283231A1 (en) | 2021-07-06 | 2023-01-12 | Cape Analytics, Inc. | System and method for property condition analysis |
US11676298B1 (en) | 2021-12-16 | 2023-06-13 | Cape Analytics, Inc. | System and method for change analysis |
US11861843B2 (en) | 2022-01-19 | 2024-01-02 | Cape Analytics, Inc. | System and method for object analysis |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3438937B2 (ja) * | 1994-03-25 | 2003-08-18 | オリンパス光学工業株式会社 | 画像処理装置 |
IL113496A (en) * | 1995-04-25 | 1999-09-22 | Cognitens Ltd | Apparatus and method for recreating and manipulating a 3d object based on a 2d projection thereof |
US6858826B2 (en) * | 1996-10-25 | 2005-02-22 | Waveworx Inc. | Method and apparatus for scanning three-dimensional objects |
EP0901105A1 (en) * | 1997-08-05 | 1999-03-10 | Canon Kabushiki Kaisha | Image processing apparatus |
JPH11183172A (ja) * | 1997-12-25 | 1999-07-09 | Mitsubishi Heavy Ind Ltd | 写真測量支援システム |
JP2002520969A (ja) * | 1998-07-20 | 2002-07-09 | ジオメトリックス インコーポレイテッド | 動き画像からの自動化された3次元シーン走査方法 |
JP3476710B2 (ja) * | 1999-06-10 | 2003-12-10 | 株式会社国際電気通信基礎技術研究所 | ユークリッド的な3次元情報の復元方法、および3次元情報復元装置 |
JP2002157576A (ja) * | 2000-11-22 | 2002-05-31 | Nec Corp | ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体 |
JP4195382B2 (ja) * | 2001-10-22 | 2008-12-10 | ユニバーシティ オブ サウザーン カリフォルニア | 線の自動較正によって拡張可能な追跡システム |
US7583275B2 (en) * | 2002-10-15 | 2009-09-01 | University Of Southern California | Modeling and video projection for augmented virtual environments |
JP4100195B2 (ja) * | 2003-02-26 | 2008-06-11 | ソニー株式会社 | 3次元オブジェクトの表示処理装置、表示処理方法、およびコンピュータプログラム |
US20050140670A1 (en) * | 2003-11-20 | 2005-06-30 | Hong Wu | Photogrammetric reconstruction of free-form objects with curvilinear structures |
US8160400B2 (en) * | 2005-11-17 | 2012-04-17 | Microsoft Corporation | Navigating images using image based geometric alignment and object based controls |
US7950849B2 (en) * | 2005-11-29 | 2011-05-31 | General Electric Company | Method and device for geometry analysis and calibration of volumetric imaging systems |
US8078436B2 (en) * | 2007-04-17 | 2011-12-13 | Eagle View Technologies, Inc. | Aerial roof estimation systems and methods |
JP5538667B2 (ja) * | 2007-04-26 | 2014-07-02 | キヤノン株式会社 | 位置姿勢計測装置及びその制御方法 |
MX2010003682A (es) * | 2007-10-04 | 2013-01-17 | Sungevity | Metodos y sistemas para aprovisionamiento de sistemas de energía. |
US8417061B2 (en) * | 2008-02-01 | 2013-04-09 | Sungevity Inc. | Methods and systems for provisioning energy systems |
JP5018721B2 (ja) * | 2008-09-30 | 2012-09-05 | カシオ計算機株式会社 | 立体模型の作製装置 |
US8633926B2 (en) * | 2010-01-18 | 2014-01-21 | Disney Enterprises, Inc. | Mesoscopic geometry modulation |
-
2011
- 2011-10-07 MX MX2013003853A patent/MX2013003853A/es active IP Right Grant
- 2011-10-07 US US13/878,106 patent/US20140015924A1/en not_active Abandoned
- 2011-10-07 SG SG2013025572A patent/SG189284A1/en unknown
- 2011-10-07 JP JP2013533001A patent/JP6057298B2/ja not_active Expired - Fee Related
- 2011-10-07 WO PCT/US2011/055489 patent/WO2012048304A1/en active Application Filing
- 2011-10-07 CA CA2813742A patent/CA2813742A1/en not_active Abandoned
- 2011-10-07 KR KR1020137011059A patent/KR20130138247A/ko not_active Application Discontinuation
- 2011-10-07 AU AU2011312140A patent/AU2011312140C1/en not_active Ceased
- 2011-10-07 EP EP11831734.6A patent/EP2636022A4/en not_active Withdrawn
- 2011-10-07 CN CN2011800488081A patent/CN103180883A/zh active Pending
- 2011-10-07 BR BR112013008350A patent/BR112013008350A2/pt not_active IP Right Cessation
-
2013
- 2013-04-05 ZA ZA2013/02469A patent/ZA201302469B/en unknown
-
2016
- 2016-07-01 JP JP2016131909A patent/JP2017010562A/ja not_active Ceased
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013539147A5 (ja) | ||
JP6057298B2 (ja) | 迅速な3dモデリング | |
US10825198B2 (en) | 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images | |
US11455746B2 (en) | System and methods for extrinsic calibration of cameras and diffractive optical elements | |
US20200111250A1 (en) | Method for reconstructing three-dimensional space scene based on photographing | |
US9972120B2 (en) | Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces | |
EP2111530B1 (en) | Automatic stereo measurement of a point of interest in a scene | |
CA2887763C (en) | Systems and methods for relating images to each other by determining transforms without using image acquisition metadata | |
US20090153669A1 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
JP5070435B1 (ja) | 3次元相対座標計測装置およびその方法 | |
JP2004062758A (ja) | 情報処理装置および方法 | |
Schneider et al. | Bundle adjustment and system calibration with points at infinity for omnidirectional camera systems | |
JP2011102728A (ja) | 光学系パラメータ校正装置、光学系パラメータ校正方法、プログラム、及び記録媒体 | |
JP2009253715A (ja) | カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体 | |
JP4149732B2 (ja) | ステレオマッチング方法、3次元計測方法及び3次元計測装置並びにステレオマッチング方法のプログラム及び3次元計測のプログラム | |
WO2022044197A1 (ja) | 形状モデリング装置及び形状モデリング方法 | |
JP2005063012A (ja) | 全方位カメラ運動と3次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体 | |
Nikolov et al. | Performance Characterization of Absolute Scale Computation for 3D Structure from Motion Reconstruction | |
JP2020187626A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2006300656A (ja) | 画像計測方法、装置、プログラム及び記録媒体 | |
JP2004325072A (ja) | 写真測量方法および写真測量プログラム | |
CN115601438A (zh) | 外参标定方法、装置以及自主移动设备 | |
JP2004294138A (ja) | 光線方向測定装置および測定方法 | |
Heikkinen | The circular imaging block in close-range photogrammetry | |
JP2003177019A (ja) | 自由撮影によるカメラの姿勢算出方法 |