JP2012530323A - 3次元シーンの区分的平面再構成 - Google Patents
3次元シーンの区分的平面再構成 Download PDFInfo
- Publication number
- JP2012530323A JP2012530323A JP2012516183A JP2012516183A JP2012530323A JP 2012530323 A JP2012530323 A JP 2012530323A JP 2012516183 A JP2012516183 A JP 2012516183A JP 2012516183 A JP2012516183 A JP 2012516183A JP 2012530323 A JP2012530323 A JP 2012530323A
- Authority
- JP
- Japan
- Prior art keywords
- plane
- dimensional
- image
- scene
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20072—Graph-based image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/12—Shadow map, environment map
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一群の2次元画像から3次元シーンを再構成するための方法、システム、及びコンピューター可読媒体が提供される。コンピューター化された再構成システムが、一群の2次元画像に対しコンピュータービジョンアルゴリズムを実行し、2次元画像内に示された環境の視覚特性をモデリングするのに用いられる候補平面を特定する。コンピュータービジョンアルゴリズムは、2次元画像の特徴間の関係及び類似度を表すエネルギー関数を最小化して、2次元画像のピクセルを3次元シーンの平面に割り当てることができる。3次元シーンはナビゲート可能であり、複数の2次元画像間の視点遷移を示す。
Description
本発明は、3次元シーンの区分的平面再構成に関する。
[0001]従来から、コンピューターのレンダリングエンジンは、整列されていない一群の2次元画像からカメラキャリブレーション(較正)及びシーンのスパース構造を回復する、自動特徴マッチング又は自動特徴抽出を提供するように構成することができる。従来のレンダリングエンジンは、カメラキャリブレーション、スパースシーン構造、及び2次元画像を用いて、3次元空間における各ピクセルのロケーションをトライアンギュレート(triangulate:三角測量)することができる。ピクセルはトライアンギュレートされたロケーションにレンダリングされ、3次元シーンを形成する。
[0002]しかしながら、生成される3次元シーンの品質及び細部は多くの場合に種々の難点を被る。例えば、従来のレンダリングエンジンは、2次元画像において捕捉されたテクスチャのない表面又は非ランバート平面を穴としてレンダリングする場合がある。これらの穴は、近傍ピクセルの深度を補間することによってカバーされる。しかし、従来のレンダリングエンジンの補間は、3次元シーンにおいて、直線を有する平坦な表面をでこぼこの表面として誤って再現する場合がある。従来のレンダリングエンジンはまた、非ランバート表面の信頼性のないマッチング、遮蔽等に起因して、3次元シーン内に誤ってジャギーをもたらす場合もある。
[0003]従来のレンダリングエンジンの品質及び細部は、建築のシーン、都会のシーン、又は多数の平面を有する人工物を有するシーンの3次元シーンを生成するときに大幅に劣化する。さらに、スパースな一群の2次元画像からの3次元シーンの再構成は、写実的な形でナビゲート可能でない。なぜなら、従来のレンダリングエンジンによって実行される従来のコンピュータービジョンアルゴリズムの前提は、人工表面を含むシーンの場合に上手く機能するように設計されていないためである。
[0004]当該技術分野におけるこれらの問題及び他の問題を克服する本発明の実施の形態は、1つには、一群の2次元画像からナビゲート可能で写実的なシーンを生成するための、コンピューター化された再構成システム、コンピューター可読媒体、及びコンピューターにより実施される方法に関する。コンピューター化された再構成システムは、一群の2次元画像から捕捉されたシーンの密な区分的平面再構成を回復する。
[0005]コンピューター化された再構成システムは、3次元平面候補の離散したセットを特定する。コンピューター化された再構成システムは、シーンのスパースな点群(point cloud)及び一群の2次元画像において捕捉された複数のビューから再構成されたスパースな3次元線分に基づいて3次元平面候補の離散したセットを生成する。そして、グラフカットに基づくエネルギー最小化技法を用いたマルチラベルマルコフ確率場(MRF)最適化問題を解くことによって、各画像について区分的平面深度マップが回復される。コンピューター化された再構成システムは、元の2次元画像を回復された平面深度マップに投影して、3次元シーンのレンダリングを生成する。
[0006]本概要は、詳細な説明において以下で更に説明される概念の抜粋を簡略化された形で紹介するために提供される。本概要は、特許請求される主題の主要な特徴又は本質的な特徴を特定するように意図されるものでもなければ、特許請求される主題の範囲を画定するのに役立つものとして分離して用いるように意図されるものでもない。
[0026]本発明は、特許を受けるための主題を、法定の要件を満たすように具体的に説明する。しかしながら、この説明自体が本発明の範囲を限定するように意図されるものではない。そうではなく、本発明者らは、特許請求される主題は、他の特許又は未来の技術と併せて、本文書において説明されているステップと異なるステップ又は類似したステップの組み合わせを含むように、他の形で実施することもできることを熟慮している。さらに、用語「ステップ」及び「ブロック」は、本明細書において、用いられる方法の様々な要素を意味するのに用いることができるが、これらの用語は、個々のステップの順序が明示的に説明されない限り、及びその場合を除いて、本明細書において開示される種々のステップ間のいかなる特定の順序も意味するものとして解釈されるべきではない。また、参照により本明細書にその全体が援用される添付の図面を参照して、実施形態を以下で詳細に説明する。
[0027]本発明の実施形態は、一群の2次元画像からナビゲート可能な3次元シーンを生成するコンピューター化された再構成システムを提供する。2次元画像は、コンピューター化された再構成システムによって、マッチする特徴、カメラキャリブレーション、及び地理的情報又は空間情報を抽出するように処理される。そして、コンピューター化された再構成システムは、2次元画像から消失方向を自動的に検出する。コンピューター化された再構成システムによって、マッチする特徴、カメラキャリブレーション、空間情報、及び消失方向を用いて、3次元シーンの平面候補のセットを生成する。コンピューター化された再構成システムによって、平面候補のセットの確からしい向きが求められ、マルコフ確率場が生成される。そして、コンピューター化された再構成システムによって、マルコフ確率場に対応する最小化関数を用いて、2次元画像からのピクセルを候補平面のセットに割り当てることによって2次元画像から3次元シーンを生成する。
[0028]当業者であれば理解するように、コンピューター化された再構成システムは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせを含むことができる。ハードウェアは、プロセッサ及びメモリを含むことができ、該プロセッサ及びメモリは、該メモリ内に格納された命令を実行するように構成される。1つの実施形態では、メモリには、コンピューターにより実施される方法のコンピューター使用可能命令を有するコンピュータープログラム製品を格納するコンピューター可読媒体が含まれる。コンピューター可読媒体には、揮発性媒体及び不揮発性媒体の双方、取り外し可能媒体及び取り外し不可能媒体、並びにデータベース、スイッチ、及び種々の他のネットワークデバイスによって読み取り可能な媒体が含まれる。ネットワークスイッチ、ルーター、及び関連構成要素は、それらと通信する手段と同様に本質的に従来のものであり、限定ではないが例として、コンピューター可読媒体には、コンピューターストレージ媒体及び通信媒体が含まれる。コンピューターストレージ媒体又は機械可読媒体は、情報を格納するための任意の方法又は技術で実装された媒体を含む。格納される情報の例には、コンピューター使用可能命令、データ構造、プログラムモジュール、及び他のデータ表現が含まれる。コンピューターストレージ媒体には、限定ではないが、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、電気的に消去可能なプログラム可能読み出し専用メモリ(EEPROM)、フラッシュメモリ又は他のメモリ技術、コンパクトディスク読み出し専用メモリ(CD−ROM)、デジタル多用途ディスク(DVD)、ホログラフィック媒体又は他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、及び他の磁気ストレージデバイスが含まれる。これらのメモリ技術は、データを瞬間的に、一時的に、又は永続的に格納することができる。
[0029]図1は、本発明の一実施形態による一例示の動作環境100を示すネットワーク図である。図1に示す動作環境100は単なる例示であり、範囲又は機能に関して一切制限を示唆するように意図されるものではない。本発明の実施形態は多数の他の構成を用いて動作可能である。図1を参照すると、動作環境100は、ネットワーク113を通じて互いに通信する、コンピューター化された再構成サーバー110、2次元画像120、3次元シーン130、ラップトップ140、マルチメディア捕捉デバイス150及び160、ファイルサーバー170、パーソナルコンピューター180、人工衛星190、及並びに移動デバイス195を含む。
[0030]コンピューター化された再構成サーバー110は、ナビゲート可能な3次元シーン130を生成するように構成される。コンピューター化された再構成サーバー110は、平面生成器111、最適化エンジン112、再構成エンジン113、及びマルチメディアインデックス114を備える。コンピューター化された再構成システムは、計算デバイス(例えば、ラップトップ140、マルチメディア捕捉デバイス150及び160、ファイルサーバー170、パーソナルコンピューター180、人工衛星190、並びに移動デバイス195)から、3次元シーン130を生成することの要求を受信することができる。要求は、コンピューター化された再構成サーバー110に送信される一群の2次元画像120を含むことができる。コンピューター化された再構成サーバーはマルチメディアインデックス114内に一群の2次元画像120を格納する。
[0031]平面生成器111は、カメラからの候補平面及び2次元画像120に含まれるシーン情報を特定するように構成される。そして、平面生成器111は、各候補平面について確からしい向きを求め、類似した確からしい向きを共有する候補平面をクラスタリングする。いくつかの実施形態では、平面生成器111は、3次元シーン130の境界を表す基面及び背面を作成する。
[0032]平面生成器111は、2次元画像120から大域シーン情報を抽出する。大域シーン情報は、2次元画像120内で捕捉されたシーンの複数のビューからの、3次元点及び3次元座標、消失方向、3次元線分、並びに3次元点、3次元線、及び消失方向の一致の基準を含むことができる。1つの実施形態では、平面生成器111は、改良型のランダムサンプルコンセンサス(RANSAC)アルゴリズムを実行し、大域シーン情報を用いて候補平面を検出する。
[0033]平面生成器111は2次元画像120からの3次元点及び3次元座標、並びにシーンを捕捉したカメラによって提供される任意の関連メタデータを抽出することができる。カメラによって提供されるメタデータには、ロケーション情報、距離情報、及び任意の他のカメラキャリブレーション情報を含めることができる。このため、平面生成器111は、メタデータ及び2次元画像120を用いて、2次元画像内の各ピクセルについて空間3次元点を生成することができる。いくつかの実施形態では、平面生成器111は、ピクセルを類似度に基づいてスーパーピクセルにグループ化する。
[0034]2次元画像120によって捕捉されるシーンにおける消失方向は平面生成器111によって検出される。1つの実施形態では、平面生成器111によってエッジ検出アルゴリズムが実行され、2次元画像内の消失方向が検出される。エッジ検出アルゴリズムは2次元画像120内に含まれる2次元線分を提供する。2次元線分は連結され、一群の2次元画像における各画像のエッジマップが形成される。そして、平面生成器111によって、3次元における平行な線に対応する、各エッジマップ内の線又は線分が検出される。画像内の消失点は3次元シーンにおける消失方向に対応する。平面生成器111は、消失方向に対応するベクトルの単位球に対し平均シフトクラスタリングを実行する。多数の消失方向を有するクラスターが平面生成器111によって保持され、スパースなクラスターは破棄される。平面生成器111は、クラスター内に含まれるシーンの様々なビューからの各2次元線分を用いて、各クラスターについて代表的な消失方向を特定する。いくつかの実施形態では、平面生成器111は互いにほぼ直交する対について消失方向のセットを検査し、該セット内に直交する3つ組が既に存在しない限り、直交する3つ組を完成させる第3の消失方向を追加する。
[0035]平面生成器111によって3次元線分が構成される。平面生成器111は、エピポーラ拘束及び大域シーン情報を用いてマッチする線分を特定する。平面生成器111は、2次元画像によって捕捉されたシーンにおいて類似した消失方向を有しかつ近接したマッチする関心点を有する、2次元線分の対を検索する。2次元線の複数のマッチする対が互いにリンクされ、平面生成器111は、2次元画像によって捕捉されたシーンの複数のビューからの3次元線のコンセンサスを検証する。いくつかの実施形態では、検証に用いられるビューの数は少なくとも4つである。3次元線は、2次元セグメントの対をトライアンギュレートし、リンクされた2次元セグメント内で全体最小再投影誤差を有する対を見つけることによって計算される。そして、平面生成器111が間隔解析を介して3次元線分の端点を求める。いくつかの実施形態では、平面生成器111は、特定された消失方向によって制約されない2次元セグメントを探す。これらの追加の2次元セグメント(誤対応、異常値(outlier))は、それらの方向及び共分散に基づいてクラスタリングされる。
[0036]平面生成器111は、生成された3次元線及び特定された消失方向に基づいて、平面の向き及び各3次元点の確からしいロケーションを求める。平面生成器111により、消失方向の全ての対の外積の値を求めることによって、可能性の高い平面の向きのセット
が生成される。或る実施形態では、互いに5度以内の平面の向き
は複製として扱われる。平面生成器111は顕著性に基づいて可能性の高い平面の向きのセット
をソートする。各平面の向き
の顕著性は、消失方向の対応する対に関連付けられたクラスターのサイズをカウントすることによって測定される。
[0037]平面生成器111によって各3次元点の確からしいロケーションが求められる。1つの実施形態では、平面生成器111によって、各3次元点について3次元マハラノビス距離が計算され、3次元点が3次元線及び消失方向によって表される1つ又は複数の平面仮説に属するか否かが判断される。マハラノビス距離は3次元点の共分散(不確実性)及び平面仮説の対応する適合誤差を測定する。或る実施形態では、平面生成器111は、2次元画像120によって捕捉されたシーンの平均ビュー方向に沿った向きのベクトル
を計算することによって各3次元点Xkについて概算不確実性を特定する。ベクトル
の大きさは2次元画像120内のピクセルの投影された不確実性に対応する。平面生成器111によって、ベクトル
の大きさを用いて平面仮説の不確実性の値を求めることができる。
[0038]平面生成器110によって、平面の向きのセット
にわたる離散尤度分布に基づいて、各3次元点Xkについて面法線が求められる。3次元点Xkを通る、向きを有する各平面は、平面生成器111によって、3次元点Xkの周囲の近傍3次元点の数及び向きを有する平面の1つの次元に沿ったロバスト変動に基づいてスコアを与えられる。平面生成器111は、向きを有する平面の尤度分布の1つの次元に沿って独自のピークを有する、密な近傍を有する各3次元点に面法線を割り当てる。3次元点に割り当てられた面法線は、3次元平面に対する対応する3次元点の割当てを制限する。いくつかの実施形態では、平面生成器111は、3次元線の線方向を用いて、該3次元線が平面及び3次元線の割当ての間にいずれれの平面に投票することができるかを判定する。同様に、平面生成器111によって、3次元点の面法線を用いて、該3次元点が平面への3次元点の割当ての間にいずれの平面に投票することができるかを判定することができる。
[0039]平面生成器111によって、各3次元点及び3次元線を用いて、2次元画像120によって捕捉されたシーンの平面を求める。平面生成器111は2つのヒストグラム
を構築して、3次元点及び3次元線から受け取った各向き
に対する投票を測定する。平面生成器111は、対応する2次元画像120を捕捉したカメラに関連付けられたロケーションが平面の正面に位置するときに各3次元点及び3次元線からの投票をカウントする。平面生成器111は平面の向き
とのマッチングに失敗した推定法線を有する各3次元点及び3次元線の投票をカウントしない。いくつかの実施形態では、平面生成器111は平面の向き
とのマッチングに失敗した推定法線を有する各3次元点及び3次元線をフィルタリングする。
[0040]1つの実施形態では、平面生成器110によって3次元点及び3次元線がサンプリングされ、ヒストグラム
を作成するのに用いられる代表的な一群の3次元点及び3次元線が取得される。3次元点のサンプルのセット(S1)が以下の
によって構築される。3次元線のサンプルのセット(S2)が以下の
によって構築される。ここで、Ykは3次元線を表す。
[0041]各3次元点サンプルxkはサイズ
の適応ガウスカーネルによって表される。カーネルのサイズは、平面生成器111によって、各3次元点に関連付けられた不確実性を考慮に入れるように適合される。平面生成器111は、ヒストグラム
の平滑性を制御するための重み(W)を割り当てる。そして、平面生成器111は
に直交する1次元の部分空間を作成し、該1次元の部分空間において各3次元点サンプルxkを投影し、3次元点サンプルが向き
を共有しているか否かを判断する。マッチするごとに、現在の向き
についてのヒストグラム
におけるカウントが増大する。
[0042]各3次元線サンプルykはサイズ
の適応ガウスカーネルによって表される。カーネルのサイズは、各3次元線に関連付けられた不確実性を考慮に入れるように適合される。Wは、ヒストグラム
の平滑性を制御するために割り当てられた重みである。そして、平面生成器111は
に直交する1次元の部分空間を作成し、該1次元の部分空間において各3次元線サンプルykを投影し、3次元線サンプルが向き
を共有しているか否かを判断する。マッチするごとに、現在の向き
のヒストグラム
におけるカウントが増大する。
[0043]平面生成器111は、双方のヒストグラム
において局所ピークを検出する。或る実施形態では、複数の平行な3次元線が多くの場合に偶然同一平面状にあり、かつ平行でない線は、実際の平面がシーン内に存在しない限り同一平面となる可能性がより低いので、3次元線が、全て
に直交する複数(≧2)の独自の方向を有するとき、平面生成器は
におけるピークをカウントする。また、平面生成器111は非最大抑圧(non-maximal suppression)を実行して近接しすぎた候補平面を生成することを回避する。そして、ピークの向き、3次元点、及び3次元線の任意の組み合わせに基づいて候補平面が生成される。
[0044]他の実施形態では、平面生成器111は2次元画像120、基面、及び背面によって捕捉されたシーンの誤対応部分の追加平面を提供する。誤対応部分はスパースな大域シーン情報を有する2次元画像120の領域である。平面生成器111は、2点RANSACアルゴリズム又は3点RANSACアルゴリズムを用いて、3次元点及び消失方向のランダムサンプリングを実行することができる。そして、平面生成器111によって、関連付けられた3次元点の不確実性が計算され、3次元点を通る追加平面の向きが求められ、候補平面のセットが特定される。
[0045]平面生成器111はまた、カメラによって捕捉された2次元画像の各ビューについて基面及び背面を計算する。基面は、カメラのサイドベクトルに直交するアップベクトルを選択することによって推定される。基面は、アップベクトルに直交し、かつ平面上に位置する3次元点の95%を有する平面として特定される。そして、平面生成器111は3次元シーンにおける基部をより良好に表すように基面を精緻化する。
[0046]背面は、カメラの光軸に直交するベクトルを選択することによって推定される。背面は、光軸に直交し、かつ平面の正面に位置する3次元点の95%を有する平面として特定される。そして、平面生成器111は、3次元シーン内の背景をより良好に表すように背面を最適化することができる。
[0047]最適化エンジン112は、平面生成器111によって提供された候補平面を用いて各2次元画像について深度マップを生成するように構成される。最適化エンジン112は、3次元画像内の候補平面及び2次元画像内のピクセルを用いてマルコフ確率場(MRF)を生成する。最適化エンジン112はピクセル及び平面を表すノードを有するグラフを生成する。グラフは、グラフのノードを連結するエッジも含んでいた。各エッジは、該エッジが連結する2つのピクセルに異なる平面ラベルを割り当てることに対するペナルティを表すコストに関連付けられる。最適化エンジン112は、画像内のピクセルへの平面ラベル割当ての一貫性を測定する目的関数の値を求める。いくつかの実施形態では、最適化エンジン112はエネルギー関数Eを用いてピクセルの最適なラベリングを求める。
[0048]エネルギー関数Eは、近傍システムを用いて基礎を成すピクセルデータに関して規定されたMRFにおける事後確率分布の対数尤度を表す(例えば、4連結近傍は全ての垂直近傍ピクセル及び水平近傍ピクセルを考慮する)。最適化エンジン112は
の値を求めることができる。各平面Pはラベルlに対応する。各ピクセルは画像内の点pに対応し、該ピクセルにラベルlpを割り当てることができる。ラベルのセットは有限であり、閉集合lp∈Lから選択される。エネルギー関数Eはデータ項及び平滑項(smoothness term)を含む。データ項Dpは、最適化エンジン112が、ラベルlpを割り当てられたピクセルpのコスト(ペナルティ)を測定することを可能にする。平滑項Vp,qは、最適化エンジン112が、近傍ピクセルp及びqがそれぞれラベルlp及びlqを割り当てられるときはいつでもコストを割り当てることによって区分的に平滑なラベリングを促進する(すなわち解を正規化する)ことを可能にする。或る実施形態では、Vp,qはメトリックであり、最適化エンジン112は拡張移動アルゴリズムを実行して、大域最適化から証明可能な距離内にあるラベル割当てを計算することができる。
[0049]いくつかの実施形態では、最適化エンジン112は平面のサブセットM⊆Pについてラベルlpを選択することができる。平面のサブセットはM={mi},i=1...Nによって表され、各選択された平面miはカメラに面し、カメラの視錐台(view frustum)内にある。最適化エンジン112は平面mのロケーションに対応するロケーションに関連付けられたピクセルの密度に基づいて平面miをソートすることができる。加えて、最適化エンジンは、一群の2次元画像における水平線のロケーションに基づいて平面Mのサブセット内に基面及び背面を含むことができる。
[0050]1つの実施形態では、最適化エンジン112は、マルチビュー光学的整合性、3次元点及び3次元線の地理的近接度、並びに3次元点及び3次元平面の光線視認性を組み合わせることによってDpを測定する。Dpはラベルlp(すなわち平面mp)をピクセルpに割り当てるコストを測定する。
であり、ここで
はマルチビュー光学的整合性であり、
はスパースな3次元点及び3次元線の地理的近接度であり、
は、3次元点及び3次元線の、自由空間違反に基づく光線視認性を測定する。一実施形態では、最適化エンジン112は各ピクセルにおいて
を密に測定することができ、スパース制約を用いて、1つ又は複数の2次元画像120内の特定のピクセルにおいて
及び
を測定する。
[0051]最適化エンジン112は、基準画像の近傍画像から複数のビューを選択することによってマルチビュー光学的整合性
を測定し、近傍画像及び基準画像のビュー間の類似性を測定する。1つの実施形態では、最適化エンジン112は、基準画像Irについて、k(≦10)個の近傍画像
を選択する。そして、最適化エンジン112は、平面mpによって、各近傍画像
をワープして基準画像Irにするためのホモグラフィを生成する。最適化エンジン112によって、ワープ画像
及び基準画像Irを用いて、ワープ画像
及び基準画像Irのρ×ρ経路における各ピクセルρにおいて正規化相互相関(NCC)を測定する。いくつかの実施形態では、ρ=9であり、NCCは基準画像wr(ρ)のピクセルとワープ画像wj(p)のピクセルとの類似度を測定する。最適化エンジン112は、視差範囲dを有する候補平面のロケーションにおける不確実性を考慮することができる。視差範囲δpは平面mpを中心とすることができ、最適化エンジン112は視差範囲内の最適なマッチを検索することができる。いくつかの実施形態では、最適化エンジンは、最適なマッチを探しているときに2次元画像
を修正する。各平面に関連付けられたNCCの測定値はMj(p)=max(NCC(wr(p),wj(q)))であり、ここでq=(p−d,p+d)である。各近傍画像についての類似度測定値は、
の値を求めるのに用いられる類似度の全体測定値において平均化される。
であり、ここでσ=0.8であり、K=300である。一実施形態では、最適化エンジン112は類似度スコアの値を求めるときに、画像内の遮蔽を誤対応として扱うことができる。
[0052]最適化エンジン112は、スパースな3次元点及び3次元線の地理的近接度
を測定する。最適化エンジン112は、平面mpの正対応(inlier)として特定された各3次元点を選択する。そして、最適化エンジン112によって平面mp上の最も近接した3次元点が選択される。平面mpの正対応であり、かつ平面mp上にある3次元点は、ピクセルq及び においてそれぞれ基準3次元ビューに投影される。最適化エンジン112は、qの周囲の3×3の窓内の全てのピクセルpについて
の値を求めて、3次元点の地理的近接度を求める。最適化エンジン112は、3次元線の端点を用いて、かつ各端点の再投影誤りの値を求めて、スパースな3次元線の地理的近接度
を測定する。
[0053]最適化エンジン112は、3次元点及び3次元平面の光線視認性並びに
に基づいて自由空間違反を測定する。最適化エンジン112は、自由空間制約に違反するピクセル−平面割当てに大きなペナルティを割り当てる。1つ又は複数の2次元画像によって捕捉されたビューにマッチする3次元点X又は3次元線分Lは、3次元シーンにおける対応するビューにおいて視認可能であるべきである。最適化エンジン112は視認可能であるべき3次元点又は3次元線分Lを特定し、該3次元点又は3次元線分Lに対応する光線を特定する。最適化エンジン112は3次元点又は3次元線分Lに交差する任意の平面をロケーション特定し、自由空間違反ペナルティを付与する。1つの実施形態では、最適化エンジン112によって、光線平面交差が発生するロケーションを表す各平面mp上の3次元点のセットFが特定される。そして、3次元点Xjに関連付けられたqの周囲の3×3の窓内の全てのピクセルpについて、最適化エンジン112によって、3次元シーンのビュー内に投影する各Xj∈Fについて
が割り当てられる。
[0054]3次元シーン内の境界においてピクセル及びラベルを効率的に割り当てるための平滑項Vp,qが最適化エンジン112によって割り当てられる。最適化エンジン112は適切な不連続性を用いた区分的に一定のラベル付けを促進する。平滑項は、平面構成及び消失方向から導出された地理的制約を課し、この地理的制約によって、最適化エンジン112は正確なラベル境界を回復することが可能になる。いくつかの実施形態では、最適化エンジン112は、3次元シーンの一部分である2次元画像における遮蔽エッジ及び折れエッジを特定するように構成される。3次元シーンに関連付けられた深度マップは、遮蔽エッジ及び折れエッジの双方を含むことができ、それらは平面不連続性を表すことができる。遮蔽エッジでは、該遮蔽エッジを横切って動くピクセルにおいて、平面ラベル及びシーン深度の双方が異なる。遮蔽エッジは2次元画像のいかなる場所でも発生し得る。しかし、平面シーンの場合、遮蔽エッジは通常、2次元画像内の視認可能な2次元線分と合致する。折れエッジでは、該折れエッジを横切るピクセルについて、平面ラベルのみが異なる。平面ラベルの対間の折れエッジは、2つの対応する平面の3次元交差線の投影と合致し、したがって常に直線の線分である。
[0055]別の実施形態では、最適化エンジン112は一群の2次元画像内の各2次元画像の平面ジオメトリを同時に推定することができる。3次元シーンの推定された平面ジオメトリは不整合を有する場合がある。最適化エンジン112は、各2次元画像内のピクセルを通る、該ピクセルに対応する候補平面への光線をレンダリングして3次元点をロケーション特定することによってこの不整合を検出する。最適化エンジン112は近傍画像内のピクセル上に3次元点を再投影して、該3次元点に対応する近傍画像内のピクセルに割り当てられた平面が元の2次元画像内の候補平面にマッチするか否かを判断することができる。最適化エンジン112は、不整合のピクセル−平面割当てにペナルティを課す平滑項を加えることによって不整合に対処することができる。ピクセルにおける各可能な平面選択について、平面を近傍画像内の対応するピクセルに連結する平滑項が求められる。対応する近傍ピクセルにおけるピクセル−平面割当てが異なる場合、最適化エンジン112によって用いられる最適化関数によって計算された大域コストに、平滑項としてペナルティが加えられる。
[0056]1つの実施形態では、最適化エンジン112は、2次元画像内の線分を特定することによって遮蔽エッジ及び折れエッジを検出する。2次元線分を通過するラベル境界を用いて遮蔽エッジ及び折れエッジをロケーション特定する。いくつかの実施形態では、最適化エンジンによって消失方向を用いて、直線遮蔽エッジの選択をシグナリングする。
[0057]最適化エンジン112は、3次元シーン内の平滑項の区分的定義の値を求める。近傍ピクセル(p,q)に関連付けられた近傍平面lp及びlqを用いて平滑項の値を求める。
[0058]
lp=lqのとき
lp=lqのとき
[0059]
lp≠lqのとき
lp≠lqのとき
[0060]いくつかの実施形態では、λ1=1000、λ2=1200、及びλ3=2000である。
[0061]最適化エンジン112は、平面Mのサブセットにおける全ての平面対(mi,mj)について折れ線のセット{Lij}を求め、2次元画像の境界内にある平面li及びljを選択する。各平面li及びljについて、最適化エンジン112は2次元画像内の近傍ピクセル(p,q)の対をロケーション特定する。ここで、p及びqはli及びljの異なる側にある。最適化エンジン112は、(p,q,li,lj)の4つ組の組み合わせを用いてセットS1を生成する。
[0062]最適化エンジン112は遮蔽線のセット{Lik}を求める。各平面miについて法線に直交する消失方向を用いて遮蔽線をロケーション特定する。特定された消失方向をサポートする2次元線分を用いて2次元画像内の近傍ピクセルの対(p,q)をロケーション特定する。ここで、p及びqはli及びlkの異なる側にある。最適化エンジン112は(p,q,li,ll)の4つ組の組み合わせを用いてセットS2を生成する。セットS2は最適化エンジン112によってポピュレートされる。最適化エンジン112は、p及びqの中点から光線を逆投影し、カメラからの距離に基づいてソートしたときに{mi}を超える平面{mk}のリストを取得する。
[0063]残りの2次元線分は最適化エンジン112によって特定される。そして、2次元線をサポートする近傍ピクセル(p,q)のセットS3が生成される。平滑項によって、最適化エンジン112は、3次元シーン内に含まれる不連続性を有する平面を効率的に表現することができる。
[0064]再構成エンジン113は、3次元平面上の最適化及び最適化エンジンによって提供される関連ピクセルに基づいて3次元シーン内のナビゲーションを提供するように構成される。1つの実施形態では、グラフカット最適化は深度マップ及びプロキシメッシュを提供し、これらを用いてナビゲート可能な3次元シーンが生成される。再構成エンジン113は、一群の2次元画像内の各ラベル画像を2次元トライアンギュレーションに変換することができる。いくつかの実施形態では、再構成エンジンはラベル境界に対しポリライン簡単化を用いて2次元画像のトライアンギュレーションを生成する。そして、2次元画像のトライアンギュレーションは、再構成エンジン113によって、ラベルに対応する平面から形成された3次元三角形のセットに直接マッピングされる。
[0065]そして、再構成エンジン113によって、3次元三角形のセットに投影的テクスチャマッピングが適用され、複数の2次元画像間のビュー補間が可能になる。ビュー補間中、再構成エンジン113は各2次元画像を、その対応するプロキシメッシュに投影的にテクスチャマッピングする。
[0066]再構成エンジン113によって実行されるテクスチャマッピングは、3次元シーンを表す混合したクロスフェード平面を生成することができる。再構成エンジンによって、各ピクセルについて混合色(C1,C2)が求められる。再構成エンジンは以下の値を求める。
[0067]
及び
[0068]
[0068]
[0069]再構成エンジン113は、遷移全体を通じて完全に不透過でレンダリングされることになる1つのソース画像によってのみカバーされる3次元シーンの補間されたビューにおいて、その遷移にピクセルを与えるように構成される。再構成エンジン113はビュー補間中、複数の画像からの寄与でピクセルを線形にクロスフェードする。再構成エンジン113によって実行されたクロスフェージングは、閲覧者が、他の2次元画像によって満たされている2次元画像の遮蔽されていない領域に焦点を当てることを防ぐ。
[0070]ユーザーは、一群の2次元画像を、3次元シーンを再構成するコンピューター化された再構成サーバーに提供することができる。代替的に、ユーザーはローカルコンピューター上で3次元再構成プログラムを実行して、該ローカルコンピューター上に配置された2次元画像から3次元シーンを再構成することができる。3次元シーンはナビゲート可能であり、ユーザーに、2次元画像によって捕捉されたシーンの没入型の体験を提供する。
[0071]図2は、本発明の実施形態による例示的な2次元画像を示すイメージ図である。この2次元画像は家の様々なビューを捕捉している。1つの実施形態では、図2A及び図2Bの2次元画像はカメラによって捕捉されている。そして、2次元画像はコンピューター化された再構成サーバーによって処理され、3次元シーンが生成される。
[0072]いくつかの実施形態では、3次元シーンは、各2次元画像に対し動きからの構造復元(structure from motion)を実行して画像特徴及びカメラキャリブレーションを抽出することによって再構成される。そして、コンピューター化された再構成サーバーによって、画像特徴及びカメラキャリブレーションを用いて、3次元シーンの候補平面を特定する。平面候補はコンピューター化された再構成サーバーによって組織化され、3次元シーン内の全体大域整合性に基づいてレンダリングされる。
[0073]図3は、本発明の実施形態による例示的な3次元平面を示す平面図である。図3Aは、コンピューター化された再構成サーバーによって、シーンの様々なビューを捕捉する2次元画像に対して実行される、動き特徴抽出及びカメラキャリブレーション決定からの構造を示している。画像特徴(例えば、線、点、色、ピクセル等)及びカメラキャリブレーション(例えば、向き、ロケーション等)を用いて3次元線及び3次元平面が生成される。図3Bは、コンピューター化された再構成サーバーによって生成された3次元線を示している。図3C〜図3Eは、コンピューター化された再構成サーバーによって生成された様々な3次元視点の候補平面を示している。
[0074]コンピューター化された再構成サーバーは、画像特徴及びカメラキャリブレーションに基づいて3次元シーンの深度マップ及びプロキシメッシュを生成する。そして、3次元シーンは、推定された3次元平面、深度マップ、及びプロキシメッシュを用いてレンダリングされる。いくつかの実施形態では、コンピューター化された再構成システムは3次元シーンをカラーリングし、3次元シーンに関連付けられた視点間の遷移を提供する。
[0075]図4は、本発明の実施形態による計算システムによって生成された一例示のシーンを示す3次元シーンの図である。コンピューター化された再構成システムは、3次元シーンのビューに関して、図4Aに示す深度マップを生成する。そして、コンピューター化された再構成システムによって、プロキシメッシュを用いて3次元シーンにテクスチャを提供する。プロキシメッシュが図4Bに示されている。コンピューター化された再構成サーバーはプロキシメッシュに対するテクスチャマッピングも実行する。テクスチャマッピングされたプロキシメッシュが図4Cに示されている。
[0076]1つの実施形態では、コンピューター化された再構成システムは2次元画像における消失方向を検出する。コンピューター化された再構成サーバーは消失方向に基づいて3次元線を構成する。そして、消失方向並びに3次元線及び3次元点を用いて候補平面を生成する。候補平面は、3次元シーンのプロキシメッシュを規定する。
[0077]図5は、本発明の実施形態による、2次元画像内の消失方向の検出を示す消失方向図である。コンピューター化された再構成システムによって2次元画像が受信される。図5Aは、コンピューター化された再構成システムによって処理され消失方向が抽出される一例示の2次元画像を示している。図5Bは、2次元画像から抽出された消失方向の各クラスターの向きを示している。コンピューター化された再構成サーバーは、消失方向に対応する3次元線及び対応する画像特徴を特定する。図5Cは、コンピューター化されたサーバーによって消失方向及び生成された3次元線を用いてレンダリングされた3次元シーンの一例示の再構成を示している。
[0078]コンピューター化された再構成サーバーは、3次元シーンの深度マップに関連付けられた不確実性に基づいて3次元シーンを調整する。コンピューター化された再構成サーバーによって実行される平面検出は、該コンピューター化された再構成サーバーによって生成された平面上に位置するか又は該平面に近接した3次元点のビュー方向に沿ってベクトルを計算することによってこの不確実性を考慮する。そして、コンピューター化された再構成サーバーは、3次元点の面に対する法線を推定し、3次元点を通る平面の向きを推定する。
[0079]図6は、本発明の実施形態による面法線の確率分布を示す法線方向図である。コンピューター化された再構成システムは、3次元点Xkの周囲の各3次元点について共分散(
)を求める。図6Aは、3次元点Xkの周囲の3次元点の共分散
の基準を示している。また、コンピューター化された再構成サーバーは、Xkに近接した3次元点間の面法線
の分布の値を求める。コンピューター化された再構成システムによって、法線を用いて、3次元点Xkを通る平面の向きを求める。図6Bは、3次元点Xkを通る平面の法線の分布を示している。
[0080]いくつかの実施形態では、法線の分布は、強力な独自のピークを有せず、複数の視点からの投票及び関連する画像特徴を用いて平面の向きが推定される。コンピューター化された再構成サーバーは、3次元点及び3次元線からの平面の向きに関する投票を収集することができる。そして、投票の分布を用いて平面の向きが求められる。
[0081]図7は、本発明の実施形態による、平面又は3次元線の向きの確率分布を示す分布ヒストグラムである。3次元点及び3次元線からの投票の分布は、コンピューター化された再構成サーバーによってヒストグラムにおいて値を求められる。図7Aは、3次元点からの投票に基づく法線の分布を表すヒストグラム
を示している。図7Bは、3次元線からの投票に基づく法線の分布を表すヒストグラム
を示している。コンピューター化された再構成サーバーによって特定された平面に対し、優勢の法線が向きとして割り当てられる。
[0082]コンピューター化された再構成サーバーは、平面にピクセルを割り当てるときの光線視認性を考慮するグラフカット最適化を実行する。2次元画像から抽出され、3次元線及び3次元点に対応する光線視認性情報は、グラフカット最適化を実行するのに利用される目的関数におけるデータ項として用いられる。3次元線又は3次元点に対応する平面から対応する視点までの可視光線(visibility ray)に交差する任意の平面はペナルティを割り当てられる。
[0083]図8は、本発明の実施形態による2次元画像から抽出されたシーン情報を示す視認性の図である。平面miは3次元線L及び3次元Xに関連付けられる。3次元線L及び3次元Xは複数の視点において視認可能である。平面mkは平面miから対応する視点への可視光線と交差する。コンピューター化された再構成システムによって実行される最適化機能は、平面mkが視点と平面miとの間で可視光線と交差するので、平面mkに高い視認性コストを割り当てることになる。
[0084]3次元ピクセル及び3次元平面は、コンピューター化された再構成サーバーによってグラフ内に組織化される。コンピューター化された再構成システムによって、グラフカット最適化が実行され、平面に対するピクセルの最適な割当てが選択される。グラフカット最適化は、平面及びピクセルを連結する各エッジに関連付けられたデータ項及び平滑項の値を求める。
[0085]図9は、本発明の実施形態による、マルコフ確率場表現及びグラフカット最小化を用いた平面を表すラベルに対するピクセルの割当てを示すグラフである。
[0086]グラフは、2次元画像内のピクセルに対応するノードと、3次元シーン内の平面に対応するラベルとを含む。グラフは、3次元シーンのマルコフ確率場を表すことができる。各ピクセルl(i,j)は平面P(i,j)に割り当てられる。ピクセルl(i,j)と平面P(i,j)とを連結しているエッジは、コンピューター化された再構成システムによって値を求められたデータ項及び平滑項に基づくコストを割り当てられる。カットコストは除去又はカットされるエッジの合計である。ピクセルl(i,j)と平面P(i,j)とを連結しているエッジは、3次元シーンの平面に各ピクセルを割り当てる全体コストを測定する目的関数を最小にするように除去される。
[0087]いくつかの実施形態では、コンピューター化された再構成システムは、一群の2次元画像における近傍画像をワープすることによって光学的整合性を測定する。そして、コンピューター化された再構成サーバーはワープ画像と近傍画像との間の類似度を測定する。コンピューター化された再構成システムによって、複数の近傍の類似度スコアが平均化され、光学的整合性測定値の値が求められ、この測定値はグラフカット最適化におけるデータ項として用いられる。
[0088]図10は、本発明の実施形態に従って3次元シーンを生成するのに用いられる2次元画像間の関係を示す光学的整合性の図である。コンピューター化された再構成サーバーは、一群の2次元画像から選択された基準画像を特定する。図10Aは一例示の基準画像を示している。そして、近傍2次元画像が選択され、ワープされ、光学的整合性が計算される。図10Bは、コンピューター化された再構成システムによって用いられる一例示の近傍ワープ画像を示している。図10Cは、コンピューター化された再構成サーバーによって求められた、基準画像とワープ画像との間の光学的整合性の測定値を示している。
[0089]グラフカット最適化の平滑項を用いて、ピクセル及び平面が、平滑な境界遷移を確実にするように割り当てられることを確実にする。コンピューター化された再構成サーバーは、2次元に含まれる折れ線及び遮蔽線を特定する。そして、コンピューター化された再構成サーバーは、折れ線、遮蔽線、及び2次元シーン内の他の線に関連付けられたピクセル及び平面のロケーションに基づいて平滑項の値を求める。
[0090]図11は、本発明の実施形態による、3次元シーン内の平面の平面境界及び遮蔽境界の対の交差に対応する折れエッジを示す境界図である。
[0091]コンピューター化された再構成サーバーは、2次元画像内の折れ線を特定する。折れ線は図11Aに示されている。折れ線を用いて、該折れ線を生成する平面間の境界の平滑項が計算される。コンピューター化された再構成サーバーは、2次元画像内の遮蔽線を特定する。遮蔽線は図11Bに示されている。遮蔽線を用いて、該遮蔽線を生成する平面に関連付けられた境界の平滑項を計算する。
[0092]コンピューター化された再構成サーバーによって提供されるピクセル及び平面割当てに基づいてプロキシメッシュが生成される。そして、コンピューター化された再構成サーバーは、プロキシメッシュ内の平面にテクスチャをマッピングし、テクスチャを付けられマッピングされたメッシュをユーザーに表示する。コンピューター化された再構成システムはまた、3次元シーンのビューを補間して、3次元シーン内のナビゲーションを提供する。
[0093]図12〜図17は、本発明の実施形態による、種々の3次元シーンにおける視点間の可能なナビゲーションを示す遷移図である。
[0094]いくつかの実施形態では、コンピューター化された再構成サーバーは、ナビゲート可能な3次元シーンをレンダリングする方法を実行する。一群の2次元画像が受信され、処理されて、画像特徴及びカメラキャリブレーションが抽出される。コンピューター化された再構成サーバーは、カメラによってシーン内で捕捉された3次元線を特定し、消失方向、画像特徴、及びカメラキャリブレーションを用いて3次元シーンの複数の平面を生成する。
[0095]図18は、本発明の実施形態による、電子データベース内に格納された一群の画像からナビゲート可能な3次元シーンをレンダリングするのに用いられる平面を選択する方法を示す論理図である。この方法は、ステップ1810において開始する。ステップ1820において、コンピューター化された再構成サーバーによって、電子データベースから一群の画像が受信される。ステップ1830において、コンピューター化された再構成サーバーは一群の画像からシーン情報を抽出する。シーン情報は、カメラキャリブレーション、3次元点群、3次元線分、並びに点及び線のマルチビュー一致のためのデータを含むことができる。
[0096]そして、ステップ1840において、コンピューター化された再構成サーバーは、エッジ検出を用いて一群の画像における各画像内の消失方向を検出する。消失方向は、収集画像内に含まれる平行線の方向を表すベクトルである。消失方向は、一群の2次元画像から推定された平行な3次元線の方向から導出される。代替的に、消失方向は、一群の2次元画像における2次元画像から抽出された2次元線交差から推定することができる。1つの実施形態において、コンピューター化された再構成サーバーによって、平均シフトクラスタリングを用いて、一群の2次元画像によって捕捉された様々なビューの消失方向を選択する。
[0097]ステップ1850において、コンピューター化された再構成サーバーは消失方向及びシーン情報に基づいて、ナビゲート可能な3次元シーン内の各平面を特定する。一実施形態では、コンピューター化された再構成サーバーは一群の画像から抽出された消失方向の各可能な対の外積に基づいて平面の向きのセットを求める。加えて、コンピューター化された再構成サーバーによって、3次元シーンの優勢な平面を特定することができる。
[0098]ステップ1860において、コンピューター化された再構成サーバーはマルコフ確率場分布を生成し、該マルコフ確率場分布に適用された最小化関数に基づいて各平面にピクセルを割り当てる。最小化関数は、ナビゲート可能な3次元シーンにおいて平面にピクセルを割り当てる大域コストを最適化する。ピクセルは3次元点群内に含まれ、中でも、一群の画像内に含まれる複数のビューにわたる光学的整合性に基づいて優勢な平面のそれぞれに割り当てられる。いくつかの実施形態では、画像内のピクセルは、カメラの向きに対応する平面に投票する。代替的に、一群の画像における各画像内のピクセルは、大域コストを最小にする平面−ピクセル割り当てを求めるために反復的に投票する。或る実施形態では、最小化関数は、平滑項によって制約されたマルコフ確率場分布グラフのカットコストを選択する。マルコフ確率場分布グラフの選択されたカットコストは、コンピューター化された再構成サーバーによって、大域コストに到達するように集計することができる。
[0099]1つの実施形態では、平面−ピクセル割り当ての大域コストの一部分は、マルコフ確率場分布グラフに適用された最小化関数に含まれる平滑項によって表される。コンピューター化された再構成サーバーは、平面及びピクセルを有するマルコフ確率場分布グラフ内の平滑項を、遮蔽平面の法線ベクトルに直交する消失方向に整合する2次元線における不連続性に対応する遷移を選好するように計算ことができる。コンピューター化された再構成サーバーは、平面への1つの画像内のピクセルの割当てに対し、近傍画像内の対応するピクセルが同じ平面を選択しなかった場合にペナルティを課すように平滑項を計算することができる。コンピューター化された再構成サーバーは、画像内の2次元線に対応する遷移を選好するように平滑項を計算することができる。
[00100]コンピューター化された再構成サーバーは、割り当てられた平面上でピクセルをレンダリングする。この方法はステップ1870において終了する。
[00101]コンピューター化された再構成サーバーは、ピクセル及び平面の可能な割当てを表すグラフに対し実行される最適化に基づいてピクセルを割り当てる。コンピューター化された再構成サーバーは、ピクセルと平面との間の各割当てのコストを最小にすることを試みる。割当てのコストは、データ項及び平滑項を含む目的関数によって表される。
[00102]図19は、電子データベース内に格納された一群の2次元画像からナビゲート可能な3次元シーンを再構成するときに、2次元画像から3次元平面にピクセルを割り当てる方法を示す論理図である。この方法は、ステップ1910において開始する。ステップ1920において、コンピューター化された再構成サーバーは一群の2次元画像を受信する。ステップ1930において、コンピューター化された再構成システムは、2次元画像から抽出されたシーン情報から3次元平面のセットを生成する。シーン情報は、消失方向、線、及び3次元点を含む。
[00103]そして、ステップ1940において、コンピューター化された再構成サーバーによって、シーン情報及び生成された3次元平面を用いてマルコフ確率場が生成される。ステップ1950において、コンピューター化された再構成システムは、マルコフ確率場によって表されたエネルギー関数を最小にするように、生成された平面にピクセルを割り当てる。マルコフ確率場は2次元画像の深度マップを提供する。
[00104]マルコフ確率場は、ピクセルを割り当てるための条件を設定するデータ項、及び平面間の遷移のための条件を設定する平滑項に基づいて最適化される。いくつかの実施形態では、ピクセル割当て中に、コンピューター化された再構成システムは、マルチビュー光学的整合性のためのデータ項、スパースな3次元点及び3次元線の地理的近接度、並びに3次元点及び3次元線の光線視認性から導出された自由空間違反を検査する。データ項は、画像内で観測された3次元点又は3次元線を遮蔽する平面へのピクセルの割当てにペナルティを課すか、又は画像内で観測された3次元点若しくは3次元線に整合する平面にピクセルを割り当てることを促進する。別の実施形態では、データ項は、平面への1つの画像内のピクセルの割当てに対し、近傍画像内の対応するピクセルが一群の2次元画像における各2次元画像上を反復的に通過する間に同じ平面を選択しなかった場合にペナルティを課す。
[00105]平滑項は、平面が交差する線に沿った平面間の遷移を選好する。平滑項はまた、遮蔽平面の法線ベクトルに直交する消失方向に整合する2次元線における不連続性に対応する遷移も選好する。平滑項は、画像内の2次元線に対応する遷移を選好する。平滑項は、平面への1つの画像内のピクセルの割当てに対し、近傍画像内の対応するピクセルが、一群の2次元画像における2次元画像上を同時に通過する間に同じ平面を選択しなかった場合にペナルティを課す。
[00106]コンピューター化された再構成システムによって、ピクセル−平面割当てに基づいて深度マップが生成され、ナビゲート可能な3次元シーンをレンダリングするのに用いられる。いくつかの実施形態では、コンピューター化された再構成システムは、遮蔽線及び折れ線を特定することによって深度マップ及び境界を補正する。コンピューター化された再構成サーバーによって、深度マップ及び2次元画像の投影を用いて3次元シーンがレンダリングされる。2次元画像投影はクロスフェージングされ、3次元シーンの一部分である一群の2次元画像のそれぞれの平滑なビュー補間が可能になる。この方法はステップ1960において終了する。
[00107]要約すると、大量の整列されていない2次元画像の画像に基づくレンダリングに用いられる区分的に平面の密な深度マップを計算する自動方法を実行するコンピューター化された再構成サーバー及びクライアントが提供される。コンピューター化された再構成サーバーは大域シーン情報を用いて3次元シーンを生成するので、コンピューター化された再構成サーバーによってレンダリングされる3次元シーンは信頼性があり、写実的である。コンピューター化された再構成サーバーは、3次元点及び3次元線のロバストな平面適合に基づいて優勢なシーン平面のセットを回復する一方、強力な消失方向を利用して平面の向きを推測する。コンピューター化された再構成サーバーによって、マルコフ確率場(MRF)グラフ及び対応する最適化が実行され、2次元画像に含まれる多角形形状及び直線形状の不連続性から導出された地理的制約を組み込んだ区分的平面深度マップが生成される。また、コンピューター化された再構成サーバーによって、3次元点及び3次元線の光線視認性を用いて自由空間制約が強化され、非ランバートでかつテクスチャのない表面を有するシーンにおける穴が最小にされる。
[00108]本発明の実施形態の上述の説明は例示的なものであり、構成及び実施態様の変更はこの説明の範囲内にある。例えば、本発明の実施形態は、図1〜図19を参照して大まかに説明されたが、これらの説明は例示的なものである。構造的特徴及び方法論的動作に特有の言語で主題を説明したが、添付の特許請求の範囲において規定される主題は必ずしも上述した特定の特徴又は動作に限定されないことが理解される。そうではなく、上述した特定の特徴及び動作は、特許請求の範囲を実施する形態例として開示されている。したがって、本発明の実施形態の範囲は、以下の特許請求の範囲によってのみ限定されることが意図される。
Claims (15)
- 電子データベース内に格納された一群の画像からナビゲート可能な3次元シーンをレンダリングするのに用いられる平面を選択する、コンピューターにより実施される方法であって、
前記電子データベースから前記一群の画像を受信するステップ(1820)と、
前記一群の画像からシーン情報を抽出するステップ(1830)であって、該シーン情報は、カメラキャリブレーション、3次元点群、3次元線分、並びに点及び線のマルチビュー一致のためのデータを含む、抽出するステップと、
エッジ検出及び2次元線分抽出を用いて、前記一群の画像における各画像内の消失方向を検出するステップ(1840)と、
前記消失方向及び前記シーン情報に基づいて前記ナビゲート可能な3次元シーン内の各平面を特定するステップ(1850)と、
マルコフ確率場分布を生成するステップ(1860)であって、該マルコフ確率場分布に適用された最小化関数に基づいて各平面にピクセルを割り当て、該ピクセルを前記ナビゲート可能な3次元シーン内の平面に割り当てる大域コストを最適にする、生成するステップと
を含む、コンピューターにより実施される方法。 - 平均シフトクラスタリングを用いて、前記一群の画像によって捕捉された様々なビューの前記消失方向を検出する、請求項1に記載のコンピューターにより実施される方法。
- 前記一群の画像から抽出された平行線を用いて前記消失方向を検出する、請求項1に記載のコンピューターにより実施される方法。
- 前記一群の画像から抽出された消失方向の各可能な対の外積に基づいて平面の向きのセットを求めるステップを更に含む、請求項1に記載のコンピューターにより実施される方法。
- 平面−ピクセル割当ての前記大域コストの一部分は、マルコフ確率場分布グラフに適用された前記最小化関数に含まれる平滑項によって表され、該平滑項は、遮蔽平面の法線ベクトルに直交する前記消失方向に整合する2次元線における不連続性に対応するピクセルにおける平面間の遷移を選好するように計算される、請求項1に記載のコンピューターにより実施される方法。
- マルコフ確率場分布グラフにおける平滑項を、平面への1つの画像内のピクセルの割当てに対し、近傍画像内の対応するピクセルが同じ平面を選択しなかった場合にペナルティを課すように計算するステップを更に含む、請求項5に記載のコンピューターにより実施される方法。
- 前記マルコフ確率場分布グラフにおける平滑項を、前記画像内の2次元線又は2次元線分に対応する遷移を選好するように計算するステップを更に含む、請求項5に記載のコンピューターにより実施される方法。
- 前記一群の画像における各画像内のピクセルは、反復的に投票して、前記大域コストを最小にする前記平面ラベル割当てを求める、請求項5に記載のコンピューターにより実施される方法。
- 前記最小化関数は、前記平滑項によって制約される前記マルコフ確率場分布グラフにおけるカットコストを選択する、請求項5に記載のコンピューターにより実施される方法。
- 電子データベース内に格納された一群の2次元画像からナビゲート可能な3次元シーンをレンダリングするときに、2次元画像から3次元平面にピクセルを割り当てる方法を実行するためのコンピューター実行可能命令を格納する1つ又は複数のコンピューター可読媒体であって、前記方法は、
前記一群の2次元画像を受信するステップ(1920)と、
前記2次元画像から抽出されたシーン情報から3次元平面のセットを生成するステップ(1930)であって、前記シーン情報は、消失方向、線、及び3次元点を含む、生成するステップと、
前記シーン情報及び前記生成された3次元平面を用いてマルコフ確率場を生成するステップ(1940)と、
前記マルコフ確率場によって表されるエネルギー関数を最小にするように、前記生成された平面にピクセルを割り当てるステップ(1950)であって、前記マルコフ確率場は前記2次元画像の深度マップを提供し、該深度マップを用いてナビゲート可能な3次元シーンがレンダリングされる、割り当てるステップと
を含む、コンピューター可読媒体。 - 遮蔽エッジ及び折れエッジを特定することによって前記深度マップ及び境界を補正するステップと、
前記深度マップ及び前記2次元画像の対応する深度マップへの該2次元画像の投影を用いて3次元シーンをレンダリングするステップであって、複数の2次元画像間のクロスフェージングによって、前記一群の前記2次元画像のそれぞれについて平滑なビュー補間が可能になる、レンダリングするステップと
を更に含む、請求項10に記載のコンピューター可読媒体。 - 前記マルコフ確率場によって表されるエネルギー関数を最小にするように、前記生成された平面にピクセルを割り当てるステップは、
マルチビュー光学的整合性、スパースな3次元点及び3次元線の地理的近接度、並びに前記3次元点及び前記3次元線の光線視認性から導出された自由空間違反を考慮するステップと、
ピクセルを割り当てる条件を設定するデータ項及び平面間の遷移条件を設定する平滑項に基づいて前記マルコフ確率場を最適化するステップと
を更に含む、請求項10に記載のコンピューター可読媒体。 - 前記データ項は、平面への1つの画像内のピクセルの割当てに対し、近傍画像内の対応するピクセルが、各2次元画像上を反復的に通過する間に同じ平面を選択しなかった場合にペナルティを課す、請求項12に記載のコンピューター可読媒体。
- 前記平滑項は、以下の平滑項、すなわち、
遮蔽平面の法線ベクトルに直交する消失方向に整合する2次元線における不連続性に対応する遷移を選好する平滑項、
前記画像内の2次元線に対応する遷移を選好する平滑項、又は
平面への1つの画像内のピクセルの割当てに対し、近傍画像内の対応するピクセルが、前記一群の2次元画像における全ての画像上を同時に通過する間に同じ平面を選択しなかった場合にペナルティを課す平滑項、
のうちの少なくとも1つを含む、請求項12に記載のコンピューター可読媒体。 - 一群の2次元画像からナビゲート可能な3次元シーンを生成するように構成されたメモリ及びプロセッサを有するコンピューターシステムであって、
前記2次元画像から抽出された前記シーン情報から3次元平面のセットを生成するように構成された平面生成器(111)と、
前記2次元画像のそれぞれについて深度マップを推定するように、かつ前記生成された平面に前記2次元画像からのピクセルを割り当てる大域境界制約及び局所境界制約を規定するように構成された最適化エンジン(112)と、
前記生成された平面、補間されたビュー、及び前記一群の画像の各々からのクロスフェードビューから、前記3次元シーンの前記深度マップに基づいて複数の平面多角形を生成する再構成エンジン(113)と、
を備える、コンピューターシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/484,909 | 2009-06-15 | ||
US12/484,909 US8933925B2 (en) | 2009-06-15 | 2009-06-15 | Piecewise planar reconstruction of three-dimensional scenes |
PCT/US2010/038594 WO2010147929A2 (en) | 2009-06-15 | 2010-06-15 | Piecewise planar reconstruction of three-dimensional scenes |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012530323A true JP2012530323A (ja) | 2012-11-29 |
Family
ID=43306055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012516183A Withdrawn JP2012530323A (ja) | 2009-06-15 | 2010-06-15 | 3次元シーンの区分的平面再構成 |
Country Status (10)
Country | Link |
---|---|
US (1) | US8933925B2 (ja) |
EP (1) | EP2443615B1 (ja) |
JP (1) | JP2012530323A (ja) |
KR (1) | KR101928575B1 (ja) |
CN (1) | CN102804231B (ja) |
AU (1) | AU2010260256B2 (ja) |
BR (1) | BRPI1010700A2 (ja) |
CA (1) | CA2760973C (ja) |
SG (1) | SG175437A1 (ja) |
WO (1) | WO2010147929A2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014056465A (ja) * | 2012-09-13 | 2014-03-27 | Univ Of Tokyo | 環境復元装置、環境復元方法及び環境復元プログラム |
JP2016535370A (ja) * | 2013-09-10 | 2016-11-10 | カルガリー・サイエンティフィック・インコーポレイテッドCalgary Scientific Inc. | 分散型サーバ側及びクライアント側画像データレンダリングのためのアーキテクチャ |
JP2019003621A (ja) * | 2017-05-09 | 2019-01-10 | ダッソー システムズDassault Systemes | 建築物のレイアウトの決定 |
Families Citing this family (169)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8751950B2 (en) | 2004-08-17 | 2014-06-10 | Ice Edge Business Solutions Ltd. | Capturing a user's intent in design software |
EP2252951B1 (en) | 2008-03-11 | 2021-05-05 | Ice Edge Business Solutions, Ltd. | Automatically creating and modifying furniture layouts in design software |
US8933925B2 (en) | 2009-06-15 | 2015-01-13 | Microsoft Corporation | Piecewise planar reconstruction of three-dimensional scenes |
US8723987B2 (en) * | 2009-10-30 | 2014-05-13 | Honeywell International Inc. | Uncertainty estimation of planar features |
WO2011066452A2 (en) * | 2009-11-24 | 2011-06-03 | Ice Edge Business Solutions Inc. | Securely sharing design renderings over a network |
US20110232719A1 (en) * | 2010-02-17 | 2011-09-29 | Freda Robert M | Solar power system |
US8660365B2 (en) | 2010-07-29 | 2014-02-25 | Honeywell International Inc. | Systems and methods for processing extracted plane features |
US8428342B2 (en) | 2010-08-12 | 2013-04-23 | At&T Intellectual Property I, L.P. | Apparatus and method for providing three dimensional media content |
ES2392229B1 (es) * | 2010-08-27 | 2013-10-16 | Telefónica, S.A. | Método de generación de un modelo de un objeto plano a partir de vistas del objeto. |
US8705892B2 (en) * | 2010-10-26 | 2014-04-22 | 3Ditize Sl | Generating three-dimensional virtual tours from two-dimensional images |
US9177381B2 (en) * | 2010-12-22 | 2015-11-03 | Nani Holdings IP, LLC | Depth estimate determination, systems and methods |
US9041774B2 (en) | 2011-01-07 | 2015-05-26 | Sony Computer Entertainment America, LLC | Dynamic adjustment of predetermined three-dimensional video settings based on scene content |
US8514225B2 (en) | 2011-01-07 | 2013-08-20 | Sony Computer Entertainment America Llc | Scaling pixel depth values of user-controlled virtual object in three-dimensional scene |
US8619094B2 (en) | 2011-01-07 | 2013-12-31 | Sony Computer Entertainment America Llc | Morphological anti-aliasing (MLAA) of a re-projection of a two-dimensional image |
CN105894567B (zh) | 2011-01-07 | 2020-06-30 | 索尼互动娱乐美国有限责任公司 | 放缩三维场景中的用户控制的虚拟对象的像素深度值 |
US9183670B2 (en) | 2011-01-07 | 2015-11-10 | Sony Computer Entertainment America, LLC | Multi-sample resolving of re-projection of two-dimensional image |
CA2796664C (en) | 2011-06-11 | 2019-02-12 | Dirtt Environmental Solutions, Ltd. | Automated re-use of structural components |
JP5721197B2 (ja) * | 2011-06-29 | 2015-05-20 | Necソリューションイノベータ株式会社 | 三次元地物データ生成装置、三次元地物データ生成方法、および、三次元地物データ生成プログラム |
US9299154B2 (en) | 2011-09-29 | 2016-03-29 | Thomson Licensing | Method and device for filtering a disparity map |
US9613453B2 (en) * | 2011-10-04 | 2017-04-04 | Google Inc. | Systems and method for performing a three pass rendering of images |
CA2843944C (en) * | 2011-11-29 | 2020-01-07 | Pictometry International Corp. | System for automatic structure footprint detection from oblique imagery |
US9342916B2 (en) * | 2011-12-30 | 2016-05-17 | Intel Corporation | Coarse-to-fine multple disparity candidate stereo matching |
CN103455976B (zh) * | 2012-05-31 | 2018-07-20 | 北京三星通信技术研究有限公司 | 人体图像解析装置和方法 |
US9025860B2 (en) | 2012-08-06 | 2015-05-05 | Microsoft Technology Licensing, Llc | Three-dimensional object browsing in documents |
US20140056474A1 (en) * | 2012-08-24 | 2014-02-27 | MDi Touch LLC | Method and apparatus for recognizing polygon structures in images |
TWI558165B (zh) * | 2012-09-25 | 2016-11-11 | 宏碁股份有限公司 | 電腦系統及立體影像產生方法 |
US9317968B2 (en) * | 2012-10-23 | 2016-04-19 | Raytheon Company | System and method for multiple hypotheses testing for surface orientation during 3D point cloud extraction from 2D imagery |
KR101370785B1 (ko) * | 2012-11-06 | 2014-03-06 | 한국과학기술원 | 입체 영상의 깊이 맵 생성 방법 및 장치 |
US9135742B2 (en) | 2012-12-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | View direction determination |
US9214138B2 (en) | 2012-12-28 | 2015-12-15 | Microsoft Technology Licensing, Llc | Redundant pixel mitigation |
TWI531213B (zh) * | 2013-01-18 | 2016-04-21 | 國立成功大學 | 應用於裸視3d顯示之影像轉換方法與模組 |
EP2962290B1 (en) | 2013-02-21 | 2019-07-17 | HERE Global B.V. | Relaying 3d information by depth simulation using 2d pixel displacement |
US20160012157A1 (en) * | 2013-02-28 | 2016-01-14 | ClearEdge3D, Inc, | Apparatus and method for extrapolating observed surfaces through occluded regions |
US9305371B2 (en) | 2013-03-14 | 2016-04-05 | Uber Technologies, Inc. | Translated view navigation for visualizations |
US9712746B2 (en) | 2013-03-14 | 2017-07-18 | Microsoft Technology Licensing, Llc | Image capture and ordering |
US9183635B2 (en) * | 2013-05-20 | 2015-11-10 | Mitsubishi Electric Research Laboratories, Inc. | Method for reconstructing 3D lines from 2D lines in an image |
KR20150020953A (ko) | 2013-08-19 | 2015-02-27 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
US9514574B2 (en) | 2013-08-30 | 2016-12-06 | Qualcomm Incorporated | System and method for determining the extent of a plane in an augmented reality environment |
US9990760B2 (en) | 2013-09-03 | 2018-06-05 | 3Ditize Sl | Generating a 3D interactive immersive experience from a 2D static image |
US9406138B1 (en) | 2013-09-17 | 2016-08-02 | Bentley Systems, Incorporated | Semi-automatic polyline extraction from point cloud |
CN103500462A (zh) * | 2013-10-14 | 2014-01-08 | 合肥完美世界网络技术有限公司 | 一种虚拟游戏场景的图像的提供方法和*** |
US9171403B2 (en) | 2014-02-13 | 2015-10-27 | Microsoft Technology Licensing, Llc | Contour completion for augmenting surface reconstructions |
WO2015157868A1 (en) * | 2014-04-18 | 2015-10-22 | The University Of British Columbia | Methods and systems for estimating three-dimensional information from two-dimensional concept drawings |
US10410429B2 (en) * | 2014-05-16 | 2019-09-10 | Here Global B.V. | Methods and apparatus for three-dimensional image reconstruction |
CN105574926B (zh) * | 2014-10-17 | 2018-05-11 | 华为技术有限公司 | 生成三维图像的方法和装置 |
US9940541B2 (en) | 2015-07-15 | 2018-04-10 | Fyusion, Inc. | Artificially rendering images using interpolation of tracked control points |
US10719939B2 (en) * | 2014-10-31 | 2020-07-21 | Fyusion, Inc. | Real-time mobile device capture and generation of AR/VR content |
US10275935B2 (en) | 2014-10-31 | 2019-04-30 | Fyusion, Inc. | System and method for infinite synthetic image generation from multi-directional structured image array |
US10726593B2 (en) | 2015-09-22 | 2020-07-28 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US10726560B2 (en) * | 2014-10-31 | 2020-07-28 | Fyusion, Inc. | Real-time mobile device capture and generation of art-styled AR/VR content |
US10176592B2 (en) | 2014-10-31 | 2019-01-08 | Fyusion, Inc. | Multi-directional structured image array capture on a 2D graph |
US10262426B2 (en) | 2014-10-31 | 2019-04-16 | Fyusion, Inc. | System and method for infinite smoothing of image sequences |
US9600892B2 (en) * | 2014-11-06 | 2017-03-21 | Symbol Technologies, Llc | Non-parametric method of and system for estimating dimensions of objects of arbitrary shape |
KR102350232B1 (ko) * | 2014-11-20 | 2022-01-13 | 삼성전자주식회사 | 스테레오 영상 매칭 방법 및 장치 |
US9396554B2 (en) | 2014-12-05 | 2016-07-19 | Symbol Technologies, Llc | Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code |
WO2016097940A1 (en) | 2014-12-16 | 2016-06-23 | 3Ditize Sl | 3d rotational presentation generated from 2d static images |
US10115035B2 (en) * | 2015-01-08 | 2018-10-30 | Sungkyunkwan University Foundation For Corporation Collaboration | Vision system and analytical method for planar surface segmentation |
US9911232B2 (en) | 2015-02-27 | 2018-03-06 | Microsoft Technology Licensing, Llc | Molding and anchoring physically constrained virtual environments to real-world environments |
US9860553B2 (en) * | 2015-03-18 | 2018-01-02 | Intel Corporation | Local change detection in video |
US9898864B2 (en) | 2015-05-28 | 2018-02-20 | Microsoft Technology Licensing, Llc | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality |
US9836117B2 (en) | 2015-05-28 | 2017-12-05 | Microsoft Technology Licensing, Llc | Autonomous drones for tactile feedback in immersive virtual reality |
US9870514B2 (en) | 2015-07-02 | 2018-01-16 | Qualcomm Incorporated | Hypotheses line mapping and verification for 3D maps |
US10852902B2 (en) | 2015-07-15 | 2020-12-01 | Fyusion, Inc. | Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity |
US10222932B2 (en) | 2015-07-15 | 2019-03-05 | Fyusion, Inc. | Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations |
US11006095B2 (en) | 2015-07-15 | 2021-05-11 | Fyusion, Inc. | Drone based capture of a multi-view interactive digital media |
US10242474B2 (en) | 2015-07-15 | 2019-03-26 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US10147211B2 (en) | 2015-07-15 | 2018-12-04 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US11095869B2 (en) | 2015-09-22 | 2021-08-17 | Fyusion, Inc. | System and method for generating combined embedded multi-view interactive digital media representations |
US9858683B2 (en) * | 2015-08-05 | 2018-01-02 | Intel Corporation | Method and system of planar surface detection objects in 3d space generated from captured images for image processing |
DE102015010264A1 (de) | 2015-08-08 | 2017-02-09 | Testo Ag | Verfahren zur Erstellung einer 3D-Repräsentation und korrespondierende Bildaufnahmevorrichtung |
US9679413B2 (en) | 2015-08-13 | 2017-06-13 | Google Inc. | Systems and methods to transition between viewpoints in a three-dimensional environment |
US11783864B2 (en) | 2015-09-22 | 2023-10-10 | Fyusion, Inc. | Integration of audio into a multi-view interactive digital media representation |
CN105701821B (zh) * | 2016-01-14 | 2018-07-24 | 福州华鹰重工机械有限公司 | 立体图像表面探测匹配方法及装置 |
US10372968B2 (en) * | 2016-01-22 | 2019-08-06 | Qualcomm Incorporated | Object-focused active three-dimensional reconstruction |
US10352689B2 (en) | 2016-01-28 | 2019-07-16 | Symbol Technologies, Llc | Methods and systems for high precision locationing with depth values |
US10145955B2 (en) | 2016-02-04 | 2018-12-04 | Symbol Technologies, Llc | Methods and systems for processing point-cloud data with a line scanner |
US10721451B2 (en) | 2016-03-23 | 2020-07-21 | Symbol Technologies, Llc | Arrangement for, and method of, loading freight into a shipping container |
US10262222B2 (en) * | 2016-04-13 | 2019-04-16 | Sick Inc. | Method and system for measuring dimensions of a target object |
US9805240B1 (en) | 2016-04-18 | 2017-10-31 | Symbol Technologies, Llc | Barcode scanning and dimensioning |
EP3252713A1 (en) * | 2016-06-01 | 2017-12-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for performing 3d estimation based on locally determined 3d information hypotheses |
US10839535B2 (en) * | 2016-07-19 | 2020-11-17 | Fotonation Limited | Systems and methods for providing depth map information |
CN106327576B (zh) * | 2016-08-10 | 2019-03-29 | 周口师范学院 | 一种城市场景重建方法及*** |
US10776661B2 (en) | 2016-08-19 | 2020-09-15 | Symbol Technologies, Llc | Methods, systems and apparatus for segmenting and dimensioning objects |
US11202017B2 (en) | 2016-10-06 | 2021-12-14 | Fyusion, Inc. | Live style transfer on a mobile device |
US11042161B2 (en) | 2016-11-16 | 2021-06-22 | Symbol Technologies, Llc | Navigation control method and apparatus in a mobile automation system |
US10451405B2 (en) | 2016-11-22 | 2019-10-22 | Symbol Technologies, Llc | Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue |
US10354411B2 (en) | 2016-12-20 | 2019-07-16 | Symbol Technologies, Llc | Methods, systems and apparatus for segmenting objects |
US10038894B1 (en) * | 2017-01-17 | 2018-07-31 | Facebook, Inc. | Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality |
US10437879B2 (en) | 2017-01-18 | 2019-10-08 | Fyusion, Inc. | Visual search using multi-view interactive digital media representations |
US10089750B2 (en) | 2017-02-02 | 2018-10-02 | Intel Corporation | Method and system of automatic object dimension measurement by using image processing |
CN108510536B (zh) * | 2017-02-28 | 2021-09-21 | 富士通株式会社 | 多视点图像的深度估计方法和深度估计设备 |
US10438405B2 (en) * | 2017-03-02 | 2019-10-08 | Sony Corporation | Detection of planar surfaces for use in scene modeling of a captured scene |
US11367092B2 (en) | 2017-05-01 | 2022-06-21 | Symbol Technologies, Llc | Method and apparatus for extracting and processing price text from an image set |
DE112018002314T5 (de) | 2017-05-01 | 2020-01-23 | Symbol Technologies, Llc | Verfahren und vorrichtung zur erkennung eines objektstatus |
WO2018204342A1 (en) | 2017-05-01 | 2018-11-08 | Symbol Technologies, Llc | Product status detection system |
US11449059B2 (en) | 2017-05-01 | 2022-09-20 | Symbol Technologies, Llc | Obstacle detection for a mobile automation apparatus |
US10949798B2 (en) | 2017-05-01 | 2021-03-16 | Symbol Technologies, Llc | Multimodal localization and mapping for a mobile automation apparatus |
US10663590B2 (en) | 2017-05-01 | 2020-05-26 | Symbol Technologies, Llc | Device and method for merging lidar data |
US10726273B2 (en) | 2017-05-01 | 2020-07-28 | Symbol Technologies, Llc | Method and apparatus for shelf feature and object placement detection from shelf images |
US10591918B2 (en) | 2017-05-01 | 2020-03-17 | Symbol Technologies, Llc | Fixed segmented lattice planning for a mobile automation apparatus |
WO2018201423A1 (en) | 2017-05-05 | 2018-11-08 | Symbol Technologies, Llc | Method and apparatus for detecting and interpreting price label text |
US10313651B2 (en) | 2017-05-22 | 2019-06-04 | Fyusion, Inc. | Snapshots at predefined intervals or angles |
US11069147B2 (en) | 2017-06-26 | 2021-07-20 | Fyusion, Inc. | Modification of multi-view interactive digital media representation |
US10572763B2 (en) | 2017-09-07 | 2020-02-25 | Symbol Technologies, Llc | Method and apparatus for support surface edge detection |
US10521914B2 (en) | 2017-09-07 | 2019-12-31 | Symbol Technologies, Llc | Multi-sensor object recognition system and method |
CN107747941B (zh) * | 2017-09-29 | 2020-05-15 | 歌尔股份有限公司 | 一种双目视觉定位方法、装置及*** |
US10922551B2 (en) * | 2017-10-06 | 2021-02-16 | The Nielsen Company (Us), Llc | Scene frame matching for automatic content recognition |
EP3486607B1 (de) * | 2017-11-20 | 2021-09-01 | Leica Geosystems AG | Bildbasierte kantenvermessung |
EP3489627B1 (en) * | 2017-11-24 | 2020-08-19 | Leica Geosystems AG | True to size 3d-model conglomeration |
WO2019126671A1 (en) | 2017-12-22 | 2019-06-27 | Magic Leap, Inc. | Caching and updating of dense 3d reconstruction data |
EP3503037A1 (en) * | 2017-12-24 | 2019-06-26 | Dassault Systèmes | Visibility function of a three-dimensional scene |
CN111868786B (zh) * | 2018-01-11 | 2024-05-28 | 云游公司 | 跨设备监控计算机视觉*** |
CN108510516A (zh) * | 2018-03-30 | 2018-09-07 | 深圳积木易搭科技技术有限公司 | 一种散乱点云的三维线段提取方法及*** |
US10832436B2 (en) | 2018-04-05 | 2020-11-10 | Symbol Technologies, Llc | Method, system and apparatus for recovering label positions |
US10740911B2 (en) | 2018-04-05 | 2020-08-11 | Symbol Technologies, Llc | Method, system and apparatus for correcting translucency artifacts in data representing a support structure |
US11327504B2 (en) | 2018-04-05 | 2022-05-10 | Symbol Technologies, Llc | Method, system and apparatus for mobile automation apparatus localization |
US10809078B2 (en) | 2018-04-05 | 2020-10-20 | Symbol Technologies, Llc | Method, system and apparatus for dynamic path generation |
US10823572B2 (en) | 2018-04-05 | 2020-11-03 | Symbol Technologies, Llc | Method, system and apparatus for generating navigational data |
US10592747B2 (en) | 2018-04-26 | 2020-03-17 | Fyusion, Inc. | Method and apparatus for 3-D auto tagging |
CN108921939A (zh) * | 2018-07-04 | 2018-11-30 | 王斌 | 一种基于图片的三维场景重建方法 |
US10733800B2 (en) | 2018-09-17 | 2020-08-04 | Facebook Technologies, Llc | Reconstruction of essential visual cues in mixed reality applications |
US11506483B2 (en) | 2018-10-05 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for support structure depth determination |
US11010920B2 (en) | 2018-10-05 | 2021-05-18 | Zebra Technologies Corporation | Method, system and apparatus for object detection in point clouds |
EP3843385A4 (en) * | 2018-10-08 | 2021-09-22 | Samsung Electronics Co., Ltd. | METHOD AND DEVICE FOR GENERATING A MEDIA FILE WITH THREE-DIMENSIONAL VIDEO CONTENT AND METHOD AND DEVICE FOR REPLAYING THREE-DIMENSIONAL VIDEO CONTENT |
US11003188B2 (en) | 2018-11-13 | 2021-05-11 | Zebra Technologies Corporation | Method, system and apparatus for obstacle handling in navigational path generation |
US11090811B2 (en) | 2018-11-13 | 2021-08-17 | Zebra Technologies Corporation | Method and apparatus for labeling of support structures |
US11079240B2 (en) | 2018-12-07 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for adaptive particle filter localization |
US11416000B2 (en) | 2018-12-07 | 2022-08-16 | Zebra Technologies Corporation | Method and apparatus for navigational ray tracing |
US11100303B2 (en) | 2018-12-10 | 2021-08-24 | Zebra Technologies Corporation | Method, system and apparatus for auxiliary label detection and association |
US11015938B2 (en) | 2018-12-12 | 2021-05-25 | Zebra Technologies Corporation | Method, system and apparatus for navigational assistance |
US10731970B2 (en) | 2018-12-13 | 2020-08-04 | Zebra Technologies Corporation | Method, system and apparatus for support structure detection |
CA3028708A1 (en) | 2018-12-28 | 2020-06-28 | Zih Corp. | Method, system and apparatus for dynamic loop closure in mapping trajectories |
CN109767487A (zh) * | 2019-01-04 | 2019-05-17 | 北京达佳互联信息技术有限公司 | 人脸三维重建方法、装置、电子设备及存储介质 |
CN110021065A (zh) * | 2019-03-07 | 2019-07-16 | 杨晓春 | 一种基于单目相机的室内环境重建方法 |
JP2022529367A (ja) * | 2019-04-24 | 2022-06-21 | マジック リープ, インコーポレイテッド | 姿勢付き単眼ビデオからの周囲推定 |
JP2022533207A (ja) | 2019-05-21 | 2022-07-21 | マジック リープ, インコーポレイテッド | 稠密3d再構築データのキャッシュおよび更新 |
US11341663B2 (en) | 2019-06-03 | 2022-05-24 | Zebra Technologies Corporation | Method, system and apparatus for detecting support structure obstructions |
US11200677B2 (en) | 2019-06-03 | 2021-12-14 | Zebra Technologies Corporation | Method, system and apparatus for shelf edge detection |
US11662739B2 (en) | 2019-06-03 | 2023-05-30 | Zebra Technologies Corporation | Method, system and apparatus for adaptive ceiling-based localization |
US11151743B2 (en) | 2019-06-03 | 2021-10-19 | Zebra Technologies Corporation | Method, system and apparatus for end of aisle detection |
US11960286B2 (en) | 2019-06-03 | 2024-04-16 | Zebra Technologies Corporation | Method, system and apparatus for dynamic task sequencing |
US11402846B2 (en) | 2019-06-03 | 2022-08-02 | Zebra Technologies Corporation | Method, system and apparatus for mitigating data capture light leakage |
US11080566B2 (en) | 2019-06-03 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for gap detection in support structures with peg regions |
CN110264508B (zh) * | 2019-06-25 | 2021-01-01 | 北京理工大学 | 一种基于凸四边形原则的消影点估计方法 |
JP2022539314A (ja) | 2019-06-26 | 2022-09-08 | マジック リープ, インコーポレイテッド | 稠密3d再構築データのキャッシュおよび更新 |
CN114026606A (zh) | 2019-06-28 | 2022-02-08 | 奇跃公司 | 用于动态遮挡的快速手部网格划分 |
CN110458952B (zh) * | 2019-08-19 | 2022-07-15 | 江苏濠汉信息技术有限公司 | 一种基于三目视觉的三维重建方法和装置 |
US11328476B2 (en) * | 2019-11-14 | 2022-05-10 | Qualcomm Incorporated | Layout estimation using planes |
US11507103B2 (en) | 2019-12-04 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for localization-based historical obstacle handling |
US11107238B2 (en) | 2019-12-13 | 2021-08-31 | Zebra Technologies Corporation | Method, system and apparatus for detecting item facings |
US11822333B2 (en) | 2020-03-30 | 2023-11-21 | Zebra Technologies Corporation | Method, system and apparatus for data capture illumination control |
WO2021231265A1 (en) | 2020-05-11 | 2021-11-18 | Cognex Corporation | Methods and apparatus for generating point cloud histograms |
CN111768417B (zh) * | 2020-06-23 | 2023-12-05 | 中南大学 | 基于单目视觉3d重建技术的铁路货车超限检测方法 |
US11450024B2 (en) | 2020-07-17 | 2022-09-20 | Zebra Technologies Corporation | Mixed depth object detection |
US12008740B2 (en) * | 2020-08-12 | 2024-06-11 | Niantic, Inc. | Feature matching using features extracted from perspective corrected image |
US11593915B2 (en) | 2020-10-21 | 2023-02-28 | Zebra Technologies Corporation | Parallax-tolerant panoramic image generation |
US11392891B2 (en) | 2020-11-03 | 2022-07-19 | Zebra Technologies Corporation | Item placement detection and optimization in material handling systems |
KR20220064045A (ko) | 2020-11-11 | 2022-05-18 | 삼성전자주식회사 | 영상을 생성하는 방법 및 장치와 영상 생성을 위한 신경망을 트레이닝하는 방법 |
US11847832B2 (en) | 2020-11-11 | 2023-12-19 | Zebra Technologies Corporation | Object classification for autonomous navigation systems |
CN112270737A (zh) * | 2020-11-25 | 2021-01-26 | 浙江商汤科技开发有限公司 | 一种纹理映射方法及装置、电子设备和存储介质 |
US11954882B2 (en) | 2021-06-17 | 2024-04-09 | Zebra Technologies Corporation | Feature-based georegistration for mobile computing devices |
EP4125045A3 (en) | 2021-07-27 | 2023-04-05 | Tata Consultancy Services Limited | Method and system for generating 3d mesh of a scene using rgbd image sequence |
CN113837943A (zh) * | 2021-09-28 | 2021-12-24 | 广州极飞科技股份有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
CN114202632A (zh) * | 2021-12-03 | 2022-03-18 | 北京航空航天大学 | 网格线性结构恢复方法、装置、电子设备及存储介质 |
US20230252752A1 (en) * | 2022-02-07 | 2023-08-10 | Lemon Inc. | Box detection for object attachment |
CN114742947B (zh) * | 2022-04-11 | 2024-04-19 | 中国测绘科学研究院 | 一种适用于大范围的倾斜三维模型纹理分块重建方法 |
CN115131459B (zh) * | 2022-05-24 | 2024-05-28 | 中国科学院自动化研究所 | 平面布置图重建方法及装置 |
CN117011466B (zh) * | 2023-08-08 | 2024-03-29 | 苏州三垣航天科技有限公司 | 一种基于分段平面算法的三维重建方法 |
CN117710603B (zh) * | 2024-02-04 | 2024-04-30 | 东华理工大学南昌校区 | 一种直线几何结构约束下无人机图像三维建筑物建模方法 |
Family Cites Families (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5432712A (en) | 1990-05-29 | 1995-07-11 | Axiom Innovation Limited | Machine vision stereo matching |
US6052124A (en) * | 1997-02-03 | 2000-04-18 | Yissum Research Development Company | System and method for directly estimating three-dimensional structure of objects in a scene and camera motion from three two-dimensional views of the scene |
KR20000068660A (ko) | 1997-07-29 | 2000-11-25 | 요트.게.아. 롤페즈 | 3차원 장면 재구성 방법과 재구성 장치 및 디코딩 시스템 |
US20100045816A1 (en) | 1999-05-19 | 2010-02-25 | Rhoads Geoffrey B | User Feedback in Connection with Object Recognition |
US6526166B1 (en) | 1999-12-29 | 2003-02-25 | Intel Corporation | Using a reference cube for capture of 3D geometry |
US20010053284A1 (en) | 2000-06-14 | 2001-12-20 | Kyoung-Moon Shin | Photographing apparatus for three-dimensional image and method therefor |
AU2002303082A1 (en) | 2001-01-26 | 2002-09-12 | Zaxel Systems, Inc. | Real-time virtual viewpoint in simulated reality environment |
US7130484B2 (en) | 2001-10-15 | 2006-10-31 | Jonas August | Biased curve indicator random field filters for enhancement of contours in images |
US6985145B2 (en) | 2001-11-09 | 2006-01-10 | Nextengine, Inc. | Graphical interface for manipulation of 3D models |
US7716161B2 (en) | 2002-09-24 | 2010-05-11 | Google, Inc, | Methods and apparatus for serving relevant advertisements |
US20040196282A1 (en) * | 2003-02-14 | 2004-10-07 | Oh Byong Mok | Modeling and editing image panoramas |
US7277572B2 (en) | 2003-10-10 | 2007-10-02 | Macpearl Design Llc | Three-dimensional interior design system |
US20070300142A1 (en) | 2005-04-01 | 2007-12-27 | King Martin T | Contextual dynamic advertising based upon captured rendered text |
US8239749B2 (en) | 2004-06-25 | 2012-08-07 | Apple Inc. | Procedurally expressing graphic objects for web pages |
US7627173B2 (en) | 2004-08-02 | 2009-12-01 | Siemens Medical Solutions Usa, Inc. | GGN segmentation in pulmonary images for accuracy and consistency |
WO2006053271A1 (en) | 2004-11-12 | 2006-05-18 | Mok3, Inc. | Method for inter-scene transitions |
KR100603603B1 (ko) | 2004-12-07 | 2006-07-24 | 한국전자통신연구원 | 변위 후보 및 이중 경로 동적 프로그래밍을 이용한 스테레오 변위 결정 장치 및 그 방법 |
US7499586B2 (en) | 2005-10-04 | 2009-03-03 | Microsoft Corporation | Photographing big things |
US9070402B2 (en) | 2006-03-13 | 2015-06-30 | Autodesk, Inc. | 3D model presentation system with motion and transitions at each camera view point of interest (POI) with imageless jumps to each POI |
JP4889351B2 (ja) | 2006-04-06 | 2012-03-07 | 株式会社トプコン | 画像処理装置及びその処理方法 |
KR20090052889A (ko) * | 2006-09-04 | 2009-05-26 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 이미지들로부터 깊이 맵을 결정하기 위한 방법 및 깊이 맵을 결정하기 위한 디바이스 |
US20080071559A1 (en) | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
US8472699B2 (en) | 2006-11-22 | 2013-06-25 | Board Of Trustees Of The Leland Stanford Junior University | Arrangement and method for three-dimensional depth image construction |
US8224122B2 (en) | 2006-12-15 | 2012-07-17 | Microsoft Corporation | Dynamic viewing of wide angle images |
DE102006062061B4 (de) * | 2006-12-29 | 2010-06-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera |
US8655052B2 (en) * | 2007-01-26 | 2014-02-18 | Intellectual Discovery Co., Ltd. | Methodology for 3D scene reconstruction from 2D image sequences |
US8126273B2 (en) | 2007-04-05 | 2012-02-28 | Siemens Corporation | Method for reconstructing three-dimensional images from two-dimensional image data |
WO2008144370A1 (en) * | 2007-05-16 | 2008-11-27 | Honda Motor Co., Ltd. | Camera-projector duality: multi-projector 3d reconstruction |
CN101689299B (zh) | 2007-06-20 | 2016-04-13 | 汤姆逊许可证公司 | 用于图像的立体匹配的***和方法 |
US8350850B2 (en) | 2008-03-31 | 2013-01-08 | Microsoft Corporation | Using photo collections for three dimensional modeling |
US8250454B2 (en) | 2008-04-03 | 2012-08-21 | Microsoft Corporation | Client-side composing/weighting of ads |
KR101580979B1 (ko) | 2008-04-14 | 2015-12-30 | 구글 인코포레이티드 | 스우프 네비게이션 |
EP2327010A2 (en) | 2008-08-22 | 2011-06-01 | Google, Inc. | Navigation in a three dimensional environment on a mobile device |
US20100080411A1 (en) | 2008-09-29 | 2010-04-01 | Alexandros Deliyannis | Methods and apparatus to automatically crawl the internet using image analysis |
US8194102B2 (en) | 2008-10-06 | 2012-06-05 | Microsoft Corporation | Rendering annotations for images |
US9098926B2 (en) * | 2009-02-06 | 2015-08-04 | The Hong Kong University Of Science And Technology | Generating three-dimensional façade models from images |
US8933925B2 (en) | 2009-06-15 | 2015-01-13 | Microsoft Corporation | Piecewise planar reconstruction of three-dimensional scenes |
US20110061011A1 (en) | 2009-09-04 | 2011-03-10 | Ramsay Hoguet | Three-Dimensional Shopping Lists |
US8660355B2 (en) | 2010-03-19 | 2014-02-25 | Digimarc Corporation | Methods and systems for determining image processing operations relevant to particular imagery |
US8675049B2 (en) | 2011-06-09 | 2014-03-18 | Microsoft Corporation | Navigation model to render centered objects using images |
US9025860B2 (en) | 2012-08-06 | 2015-05-05 | Microsoft Technology Licensing, Llc | Three-dimensional object browsing in documents |
-
2009
- 2009-06-15 US US12/484,909 patent/US8933925B2/en active Active
-
2010
- 2010-06-15 CA CA2760973A patent/CA2760973C/en active Active
- 2010-06-15 KR KR1020117029924A patent/KR101928575B1/ko active IP Right Grant
- 2010-06-15 JP JP2012516183A patent/JP2012530323A/ja not_active Withdrawn
- 2010-06-15 AU AU2010260256A patent/AU2010260256B2/en active Active
- 2010-06-15 EP EP10790021.9A patent/EP2443615B1/en active Active
- 2010-06-15 SG SG2011080520A patent/SG175437A1/en unknown
- 2010-06-15 CN CN201080026636.3A patent/CN102804231B/zh active Active
- 2010-06-15 WO PCT/US2010/038594 patent/WO2010147929A2/en active Application Filing
- 2010-06-15 BR BRPI1010700A patent/BRPI1010700A2/pt not_active Application Discontinuation
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014056465A (ja) * | 2012-09-13 | 2014-03-27 | Univ Of Tokyo | 環境復元装置、環境復元方法及び環境復元プログラム |
JP2016535370A (ja) * | 2013-09-10 | 2016-11-10 | カルガリー・サイエンティフィック・インコーポレイテッドCalgary Scientific Inc. | 分散型サーバ側及びクライアント側画像データレンダリングのためのアーキテクチャ |
JP2019003621A (ja) * | 2017-05-09 | 2019-01-10 | ダッソー システムズDassault Systemes | 建築物のレイアウトの決定 |
JP7498820B2 (ja) | 2017-05-09 | 2024-06-12 | ダッソー システムズ | 建築物のレイアウトの決定 |
Also Published As
Publication number | Publication date |
---|---|
CN102804231A (zh) | 2012-11-28 |
BRPI1010700A2 (pt) | 2016-03-15 |
US20100315412A1 (en) | 2010-12-16 |
EP2443615A2 (en) | 2012-04-25 |
CA2760973A1 (en) | 2010-12-23 |
CA2760973C (en) | 2017-10-10 |
AU2010260256B2 (en) | 2014-06-19 |
SG175437A1 (en) | 2011-12-29 |
KR101928575B1 (ko) | 2018-12-12 |
KR20120031012A (ko) | 2012-03-29 |
US8933925B2 (en) | 2015-01-13 |
AU2010260256A1 (en) | 2011-12-01 |
CN102804231B (zh) | 2014-08-27 |
WO2010147929A2 (en) | 2010-12-23 |
WO2010147929A3 (en) | 2011-03-31 |
EP2443615A4 (en) | 2017-10-25 |
EP2443615B1 (en) | 2019-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012530323A (ja) | 3次元シーンの区分的平面再構成 | |
EP2272050B1 (en) | Using photo collections for three dimensional modeling | |
RU2642167C2 (ru) | Устройство, способ и система для реконструкции 3d-модели объекта | |
EP3108449B1 (en) | View independent 3d scene texturing | |
US8199977B2 (en) | System and method for extraction of features from a 3-D point cloud | |
Bleyer et al. | A layered stereo matching algorithm using image segmentation and global visibility constraints | |
US20130095920A1 (en) | Generating free viewpoint video using stereo imaging | |
US7356164B2 (en) | Method and apparatus for finding feature correspondences between images captured in real-world environments | |
US8565557B2 (en) | Free view generation in ray-space | |
Hu et al. | Least commitment, viewpoint-based, multi-view stereo | |
KR20170068462A (ko) | 에지를 이용한 3차원 모델 생성 | |
WO2008029345A1 (en) | Method for determining a depth map from images, device for determining a depth map | |
WO2021097843A1 (zh) | 三维重建方法、装置、***和存储介质 | |
Kim et al. | Interactive 3D building modeling method using panoramic image sequences and digital map | |
Gadasin et al. | Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems | |
Wang et al. | Vid2Curve: simultaneous camera motion estimation and thin structure reconstruction from an RGB video | |
Rothermel et al. | Fast and robust generation of semantic urban terrain models from UAV video streams | |
Lhuillier | Toward flexible 3d modeling using a catadioptric camera | |
CN116051980B (zh) | 基于倾斜摄影的建筑识别方法、***、电子设备及介质 | |
Fan et al. | Photo Hull regularized stereo | |
Jančošek | Large Scale Surface Reconstruction based on Point Visibility | |
Roters et al. | Incremental dense reconstruction from sparse 3d points with an integrated level-of-detail concept | |
Westaway | An empirical assessment of real-time progressive stereo reconstruction | |
Khan et al. | 3D versus 2D based indoor image matching analysis on images from low cost mobile devices | |
Grum | 3-D reconstruction of multi-object scenes from multiple images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130903 |