JP6944441B2 - 3次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム - Google Patents
3次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム Download PDFInfo
- Publication number
- JP6944441B2 JP6944441B2 JP2018514855A JP2018514855A JP6944441B2 JP 6944441 B2 JP6944441 B2 JP 6944441B2 JP 2018514855 A JP2018514855 A JP 2018514855A JP 2018514855 A JP2018514855 A JP 2018514855A JP 6944441 B2 JP6944441 B2 JP 6944441B2
- Authority
- JP
- Japan
- Prior art keywords
- depth maps
- shape
- processors
- detected
- steps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/416—Exact reconstruction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本願は、2015年9月25日に出願され”METHODS AND SYSTEMS FOR DETECTING AND COMBINING STRUCTURAL FEATURES IN 3D RECONSTRUCTION,”と題された米国仮特許出願第62,232,833号に対する優先権を主張するものであり、該米国仮特許出願の開示は、あらゆる目的のために、その全体が参照により本明細書中に援用される。
本明細書は、例えば、以下の項目も提供する。
(項目1)
再構成された3Dメッシュを形成するための方法であって、
1つまたはそれを上回るプロセッサにおいて、場面と関連付けられた捕捉された奥行マップのセットを受信するステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記捕捉された奥行マップのセットと関連付けられた初期カメラ姿勢整合を行うステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記捕捉された奥行マップのセットを基準フレーム内にオーバーレイするステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記捕捉された奥行マップのオーバーレイされたセット内の1つまたはそれを上回る形状を検出するステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記初期カメラ姿勢整合を更新し、形状認識カメラ姿勢整合を提供するステップと、
前記1つまたはそれを上回るプロセッサを使用して、形状認識立体融合を行うステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記場面と関連付けられた再構成された3Dメッシュを形成するステップと
を含む、方法。
(項目2)
前記捕捉された奥行マップのセットは、前記場面に対して異なる位置から得られる、項目1に記載の方法。
(項目3)
前記捕捉された奥行マップのセットは、異なる時間において、前記場面に対して単一位置から得られる、項目1に記載の方法。
(項目4)
前記基準フレームは、前記1つまたはそれを上回る検出された形状のうちの1つの基準フレームを備える、項目1に記載の方法。
(項目5)
前記捕捉された奥行マップのオーバーレイされたセット内の1つまたはそれを上回る形状を検出するステップは、
前記捕捉された奥行マップのオーバーレイされたセットと関連付けられた点群と関連付けられた垂直方向を判定するステップと、
前記垂直方向に直交する仮想平面を形成するステップと、
前記点群の点を前記仮想平面上に投影させるステップと、
前記点群の点に関する投影統計を計算するステップと、
1つまたはそれを上回る線を前記計算された投影統計から検出するステップであって、前記1つまたはそれを上回る線は、垂直壁と関連付けられる、ステップと、
前記1つまたはそれを上回る形状を前記投影統計および前記1つまたはそれを上回る検出された線から検出するステップと
を含む、項目1に記載の方法。
(項目6)
前記検出された1つまたはそれを上回る形状は、壁角または扉枠のうちの少なくとも1つを備える、項目1に記載の方法。
(項目7)
前記形状認識カメラ姿勢整合を提供するステップは、
前記1つまたはそれを上回る検出された形状毎に3Dメッシュを作成するステップであって、前記捕捉された奥行マップのオーバーレイされたセットは、物理的カメラ姿勢と関連付けられ、前記1つまたはそれを上回る検出された形状はそれぞれ、寸法および場所/配向によって特徴付けられる、ステップと、
各3Dメッシュと関連付けられた1つまたはそれを上回る仮想カメラをローカル基準フレーム内に作成するステップと、
1つまたはそれを上回る奥行マップをレンダリングするステップであって、前記1つまたはそれを上回るレンダリングされた奥行マップはそれぞれ、各3Dメッシュと関連付けられた各仮想カメラと関連付けられる、ステップと、
前記1つまたはそれを上回るレンダリングされた奥行マップと前記捕捉された奥行マップのセットとの間の整合を最適化することによって、前記物理的カメラ姿勢および前記1つまたはそれを上回る検出された形状の各形状の場所/配向を共に解くステップと
を含む、項目1に記載の方法。
(項目8)
場面内に存在する形状を検出する方法であって、
1つまたはそれを上回るプロセッサを使用して、複数の捕捉された奥行マップを含む点群と関連付けられた垂直方向を判定するステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記垂直方向に直交する仮想平面を形成するステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記点群の点を前記仮想平面上に投影させるステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記点群の点に関する投影統計を計算するステップと、
前記1つまたはそれを上回るプロセッサを使用して、1つまたはそれを上回る線を前記計算された投影統計から検出するステップであって、前記1つまたはそれを上回る線は、垂直壁と関連付けられる、ステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記場面内に存在する形状を前記投影統計および前記1つまたはそれを上回る検出された線から検出するステップと
を含む、方法。
(項目9)
前記検出された形状の寸法および位置を判定するステップをさらに含む、項目8に記載の方法。
(項目10)
前記垂直方向を判定するステップは、点法線の使用を含む、項目8に記載の方法。
(項目11)
前記投影統計は、前記仮想平面内の所定のx、y場所上に投影された前記点群の点の数を備える、項目8に記載の方法。
(項目12)
前記投影統計は、前記仮想平面内の所定のx、y場所上に投影された前記点群の点に関する点法線の分布を備える、項目11に記載の方法。
(項目13)
前記投影統計は、前記仮想平面内の所定のx、y場所上に投影された前記点群の点の初期高さを備える、項目11に記載の方法。
(項目14)
前記場面内に存在する検出された形状は、壁角または扉枠のうちの少なくとも1つを備える、項目8に記載の方法。
(項目15)
形状認識カメラ姿勢整合を行う方法であって、
1つまたはそれを上回るプロセッサにおいて、捕捉された奥行マップのセットを受信するステップであって、前記捕捉された奥行マップはそれぞれ、物理的カメラ姿勢と関連付けられる、ステップと、
前記1つまたはそれを上回るプロセッサにおいて、1つまたはそれを上回る検出された形状を受信するステップであって、前記1つまたはそれを上回る検出された形状の各形状は、寸法および場所/配向によって特徴付けられる、ステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記1つまたはそれを上回る検出された形状毎に、3Dメッシュを作成するステップと、
前記1つまたはそれを上回るプロセッサを使用して、各3Dメッシュと関連付けられた1つまたはそれを上回る仮想カメラをローカル基準フレーム内に作成するステップと、
前記1つまたはそれを上回るプロセッサを使用して、1つまたはそれを上回る奥行マップをレンダリングするステップであって、前記1つまたはそれを上回るレンダリングされた奥行マップはそれぞれ、各3Dメッシュと関連付けられた各仮想カメラと関連付けられる、ステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記1つまたはそれを上回るレンダリングされた奥行マップと前記捕捉された奥行マップのセットとの間の整合を最適化することによって、前記物理的カメラ姿勢および前記1つまたはそれを上回る検出された形状の各形状の場所/配向を共に解くステップと
を含む、方法。
(項目16)
前記1つまたはそれを上回るレンダリングされた奥行マップと前記捕捉された奥行マップのセットとの間の整合を最適化するステップは、
前記1つまたはそれを上回るレンダリングされた奥行マップ間の整合を最適化するステップと、
前記1つまたはそれを上回るレンダリングされた奥行マップと前記捕捉された奥行マップのセットとの間の整合を最適化するステップと
を含む、項目15に記載の方法。
(項目17)
前記ローカル基準フレームは、前記1つまたはそれを上回る検出された形状のうちの1つの基準フレームを備える、項目15に記載の方法。
(項目18)
前記1つまたはそれを上回る検出された形状毎の3Dメッシュは、複数の三角形を備え、前記複数の三角形はそれぞれ、前記1つまたはそれを上回る仮想カメラのうちの少なくとも1つの視野内にある、項目15に記載の方法。
(項目19)
前記捕捉された奥行マップのセットは、場面に対して異なる位置から得られる、項目15に記載の方法。
(項目20)
前記捕捉された奥行マップのセットは、異なる時間において、場面に対して単一位置から得られる、項目15に記載の方法。
iは、指数を各フレームに提供する。
jは、指数を相互フレームに提供する。
mは、指数を各最近傍点対に提供する。
pi(・)およびqj(・)は、フレームiからの奥行点pと、フレームjからのその対応する最近傍奥行点qとを表す。
pi(・)およびhk(・)は、フレームiからの奥行点pと、形状kからのその対応する最近傍奥行点hとを表す。
RiおよびTiは、フレームiの回転および平行移動(すなわち、カメラ姿勢)に関する。
FkおよびGkは、形状kの回転および平行移動(すなわち、カメラ姿勢)に関する。
Dkは、形状kの寸法を規定する。
wは、各項の加重を表す。
vは、ボクセルの位置である。
tsdf(v)は、ボクセルの相対的距離値である。
Proji(v)は、捕捉された奥行マップi上のvの投影である。
wi vは、捕捉された奥行マップi上に投影させるボクセルvのための加重である。
Di(・)は、捕捉された奥行マップiである。
Tiは、カメラiの位置である。
wi vは、(1)ボクセルvがカメラiの円錐台の外側にある場合、または(2)
Di(・)は、レンダリングされた奥行マップsである。
Giは、仮想カメラの位置sである。
ws vは、同様に、(1)ボクセルvがカメラsの円錐台の外側にある場合、または(2)
Claims (19)
- 再構成された3Dメッシュを形成するための方法であって、
1つまたはそれを上回るプロセッサにおいて、場面と関連付けられた捕捉された奥行マップのセットを受信するステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記捕捉された奥行マップのセットの各捕捉された奥行マップと関連付けられた初期カメラ姿勢整合を行うステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記捕捉された奥行マップのセットを基準フレーム内にオーバーレイするステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記捕捉された奥行マップのオーバーレイされたセット内の1つまたはそれを上回る形状を検出するステップであって、それにより、1つまたはそれを上回る検出された形状を提供する、ステップと、
前記1つまたはそれを上回るプロセッサおよび前記1つまたはそれを上回る検出された形状を使用して、前記捕捉された奥行マップのオーバーレイされたセットと前記1つまたはそれを上回る検出された形状との間の重複に基づいて、前記初期カメラ姿勢整合を更新し、前記捕捉された奥行マップのセットの各捕捉された奥行マップと関連付けられた形状認識カメラ姿勢整合を提供するステップと、
前記1つまたはそれを上回るプロセッサおよび前記1つまたはそれを上回る検出された形状を使用して、前記1つまたはそれを上回る検出された形状毎の形状メッシュを再作成すること、各形状メッシュの各仮想カメラから奥行マップをレンダリングすること、および前記レンダリングされた奥行マップで前記捕捉された奥行マップのセットを融合することによって、形状認識立体融合を行うステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記場面と関連付けられた再構成された3Dメッシュを形成するステップと
を含む、方法。 - 前記捕捉された奥行マップのセットは、前記場面に対して異なる位置から得られる、請求項1に記載の方法。
- 前記捕捉された奥行マップのセットは、異なる時間において、前記場面に対して単一位置から得られる、請求項1に記載の方法。
- 前記基準フレームは、3次元世界座標系を備える、請求項1に記載の方法。
- 前記捕捉された奥行マップのオーバーレイされたセット内の1つまたはそれを上回る形状を検出するステップは、
前記捕捉された奥行マップのオーバーレイされたセットと関連付けられた点群と関連付けられた垂直方向を判定するステップと、
前記垂直方向に直交する仮想平面を形成するステップと、
前記点群の点を前記仮想平面上に投影させるステップと、
前記点群の点に関する投影統計を計算するステップと、
1つまたはそれを上回る線を前記計算された投影統計から検出するステップであって、前記1つまたはそれを上回る線は、垂直壁と関連付けられる、ステップと、
前記1つまたはそれを上回る形状を前記投影統計および前記1つまたはそれを上回る検出された線から検出するステップと
を含む、請求項1に記載の方法。 - 前記検出された1つまたはそれを上回る形状は、壁角または扉枠のうちの少なくとも1つを備える、請求項1に記載の方法。
- 前記形状認識カメラ姿勢整合を提供するステップは、
前記1つまたはそれを上回る検出された形状毎に3Dメッシュを作成するステップであって、前記捕捉された奥行マップのオーバーレイされたセットは、物理的カメラ姿勢と関連付けられ、前記1つまたはそれを上回る検出された形状はそれぞれ、寸法および場所/配向によって特徴付けられる、ステップと、
各3Dメッシュと関連付けられた1つまたはそれを上回る仮想カメラをローカル基準フレーム内に作成するステップと、
1つまたはそれを上回る奥行マップをレンダリングするステップであって、前記1つまたはそれを上回るレンダリングされた奥行マップはそれぞれ、各3Dメッシュと関連付けられた各仮想カメラと関連付けられる、ステップと、
前記1つまたはそれを上回るレンダリングされた奥行マップと前記捕捉された奥行マップのセットとの間の整合を最適化することによって、前記物理的カメラ姿勢および前記1つまたはそれを上回る検出された形状の各形状の場所/配向を共に解くステップと
を含む、請求項1に記載の方法。 - 場面内に存在する形状を検出する方法であって、
1つまたはそれを上回るプロセッサを使用して、点群内の複数のピクセルに対して、複数の水平平面を判定するステップであって、前記複数の水平平面は、前記複数のピクセルの各々に対して、前記複数のピクセルの各々に対する隣接するピクセルの点法線によって画定される、ステップと、
1つまたはそれを上回るプロセッサを使用して、前記複数の水平平面に垂直なベクトルを算出するステップであって、前記ベクトルは、前記点群と関連付けられた垂直方向を画定する、ステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記垂直方向に直交する仮想平面を形成するステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記点群の点を前記仮想平面上に投影させて、前記仮想平面内の所定の位置と関連付けられた前記点群の複数の点を表す2次元データセットを生成するステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記点群の点に関する投影統計を計算するステップと、
前記1つまたはそれを上回るプロセッサを使用して、1つまたはそれを上回る線を前記計算された投影統計から検出するステップであって、前記1つまたはそれを上回る線は、垂直壁と関連付けられる、ステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記場面内に存在する形状を前記投影統計および前記1つまたはそれを上回る検出された線から検出するステップと
を含む、方法。 - 前記検出された形状の寸法および位置を判定するステップをさらに含む、請求項8に記載の方法。
- 前記仮想平面内の前記所定の位置は、前記仮想平面内の所定のx、y場所を備える、請求項8に記載の方法。
- 前記投影統計は、前記仮想平面内の前記所定のx、y場所上に投影された前記点群の点に関する点法線の分布を備える、請求項10に記載の方法。
- 前記投影統計は、前記仮想平面内の前記所定のx、y場所上に投影された前記点群の点の初期高さを備える、請求項10に記載の方法。
- 前記場面内に存在する検出された形状は、壁角または扉枠のうちの少なくとも1つを備える、請求項8に記載の方法。
- 形状認識カメラ姿勢整合を行う方法であって、
1つまたはそれを上回るプロセッサにおいて、捕捉された奥行マップのセットを受信するステップであって、前記捕捉された奥行マップはそれぞれ、物理的カメラ姿勢と関連付けられる、ステップと、
前記1つまたはそれを上回るプロセッサにおいて、1つまたはそれを上回る検出された形状を受信するステップであって、前記1つまたはそれを上回る検出された形状の各形状は、寸法および場所/配向によって特徴付けられる、ステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記1つまたはそれを上回る検出された形状毎に、3Dメッシュを作成するステップと、
前記1つまたはそれを上回るプロセッサを使用して、各3Dメッシュと関連付けられた1つまたはそれを上回る仮想カメラをローカル基準フレーム内に作成するステップと、
前記1つまたはそれを上回るプロセッサを使用して、1つまたはそれを上回る奥行マップをレンダリングするステップであって、前記1つまたはそれを上回るレンダリングされた奥行マップはそれぞれ、各3Dメッシュと関連付けられた各仮想カメラと関連付けられる、ステップと、
前記1つまたはそれを上回るプロセッサを使用して、前記1つまたはそれを上回るレンダリングされた奥行マップと前記捕捉された奥行マップのセットとの間の整合を最適化することによって、前記物理的カメラ姿勢および前記1つまたはそれを上回る検出された形状の各形状の場所/配向を共に解くステップと
を含む、方法。 - 前記1つまたはそれを上回るレンダリングされた奥行マップと前記捕捉された奥行マップのセットとの間の整合を最適化するステップは、
前記1つまたはそれを上回るレンダリングされた奥行マップ間の整合を最適化するステップと、
前記1つまたはそれを上回るレンダリングされた奥行マップと前記捕捉された奥行マップのセットとの間の整合を最適化するステップと
を含む、請求項14に記載の方法。 - 前記ローカル基準フレームは、前記1つまたはそれを上回る検出された形状のうちの1つの基準フレームを備える、請求項14に記載の方法。
- 前記1つまたはそれを上回る検出された形状毎の3Dメッシュは、複数の三角形を備え、前記複数の三角形はそれぞれ、前記1つまたはそれを上回る仮想カメラのうちの少なくとも1つの視野内にある、請求項14に記載の方法。
- 前記捕捉された奥行マップのセットは、場面に対して異なる位置から得られる、請求項14に記載の方法。
- 前記捕捉された奥行マップのセットは、異なる時間において、場面に対して単一位置から得られる、請求項14に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021147477A JP7181977B2 (ja) | 2015-09-25 | 2021-09-10 | 3次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562232833P | 2015-09-25 | 2015-09-25 | |
US62/232,833 | 2015-09-25 | ||
PCT/US2016/053477 WO2017053821A1 (en) | 2015-09-25 | 2016-09-23 | Methods and systems for detecting and combining structural features in 3d reconstruction |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021147477A Division JP7181977B2 (ja) | 2015-09-25 | 2021-09-10 | 3次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018536915A JP2018536915A (ja) | 2018-12-13 |
JP6944441B2 true JP6944441B2 (ja) | 2021-10-06 |
Family
ID=58387454
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018514855A Active JP6944441B2 (ja) | 2015-09-25 | 2016-09-23 | 3次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム |
JP2021147477A Active JP7181977B2 (ja) | 2015-09-25 | 2021-09-10 | 3次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021147477A Active JP7181977B2 (ja) | 2015-09-25 | 2021-09-10 | 3次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム |
Country Status (9)
Country | Link |
---|---|
US (3) | US10559127B2 (ja) |
EP (2) | EP3975121A1 (ja) |
JP (2) | JP6944441B2 (ja) |
KR (2) | KR102653808B1 (ja) |
CN (2) | CN108027984B (ja) |
AU (2) | AU2016327985B2 (ja) |
CA (1) | CA2996009A1 (ja) |
IL (2) | IL291685B2 (ja) |
WO (1) | WO2017053821A1 (ja) |
Families Citing this family (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102653808B1 (ko) | 2015-09-25 | 2024-04-01 | 매직 립, 인코포레이티드 | 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들 |
US10573018B2 (en) * | 2016-07-13 | 2020-02-25 | Intel Corporation | Three dimensional scene reconstruction based on contextual analysis |
CN116153272A (zh) | 2016-11-16 | 2023-05-23 | 奇跃公司 | 用于头戴式显示***的多分辨率显示组件 |
CN108694740A (zh) * | 2017-03-06 | 2018-10-23 | 索尼公司 | 信息处理设备、信息处理方法以及用户设备 |
WO2018175625A1 (en) | 2017-03-22 | 2018-09-27 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
CN110692062B (zh) | 2017-03-24 | 2023-12-08 | 奇跃公司 | 虹膜代码的累积和置信分配 |
US10979687B2 (en) * | 2017-04-03 | 2021-04-13 | Sony Corporation | Using super imposition to render a 3D depth map |
CN109559271B (zh) * | 2017-09-26 | 2023-02-28 | 富士通株式会社 | 对深度图像进行优化的方法和装置 |
US10594917B2 (en) | 2017-10-30 | 2020-03-17 | Microsoft Technology Licensing, Llc | Network-controlled 3D video capture |
US10484667B2 (en) | 2017-10-31 | 2019-11-19 | Sony Corporation | Generating 3D depth map using parallax |
US10460512B2 (en) * | 2017-11-07 | 2019-10-29 | Microsoft Technology Licensing, Llc | 3D skeletonization using truncated epipolar lines |
KR20230110832A (ko) | 2017-12-22 | 2023-07-25 | 매직 립, 인코포레이티드 | 가상, 증강 또는 혼합 현실 환경에서 3d 비디오들을생성 및 디스플레이하기 위한 방법들 및 시스템 |
JP2019159910A (ja) * | 2018-03-14 | 2019-09-19 | 国立大学法人豊橋技術科学大学 | 三次元画像分類装置および三次元画像分類方法 |
EP3765943A4 (en) | 2018-03-16 | 2021-12-22 | Magic Leap, Inc. | DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS |
US10930001B2 (en) * | 2018-05-29 | 2021-02-23 | Zebra Technologies Corporation | Data capture system and method for object dimensioning |
US10549186B2 (en) | 2018-06-26 | 2020-02-04 | Sony Interactive Entertainment Inc. | Multipoint SLAM capture |
JP7408621B2 (ja) | 2018-07-13 | 2024-01-05 | マジック リープ, インコーポレイテッド | ディスプレイの両眼変形補償のためのシステムおよび方法 |
CN112805750A (zh) | 2018-08-13 | 2021-05-14 | 奇跃公司 | 跨现实*** |
US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
US11232635B2 (en) | 2018-10-05 | 2022-01-25 | Magic Leap, Inc. | Rendering location specific virtual content in any location |
US11127166B2 (en) | 2019-03-01 | 2021-09-21 | Tencent America LLC | Method and apparatus for enhanced patch boundary identification for point cloud compression |
US11170526B2 (en) | 2019-03-26 | 2021-11-09 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating tool trajectories |
US11315288B2 (en) | 2019-05-20 | 2022-04-26 | Magic Leap, Inc. | Systems and techniques for estimating eye pose |
CN110147775B (zh) * | 2019-05-24 | 2021-05-18 | 北京建筑大学 | 利用细化空间分隔法从点云提取室内导航元素的方法 |
KR102156336B1 (ko) * | 2019-07-01 | 2020-09-15 | 서울대학교산학협력단 | 3차원 형상 재현 방법 |
CN114391117A (zh) * | 2019-07-05 | 2022-04-22 | 奇跃公司 | 眼睛跟踪延迟增强 |
US11928399B1 (en) * | 2019-09-24 | 2024-03-12 | Zoox, Inc. | Simulating object occlusions |
US11568605B2 (en) | 2019-10-15 | 2023-01-31 | Magic Leap, Inc. | Cross reality system with localization service |
JP2022551734A (ja) | 2019-10-15 | 2022-12-13 | マジック リープ, インコーポレイテッド | 複数のデバイスタイプをサポートするクロスリアリティシステム |
WO2021076748A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system with wireless fingerprints |
EP4059007A4 (en) | 2019-11-12 | 2023-11-01 | Magic Leap, Inc. | CROSS-REALLY SYSTEM WITH LOCATION SERVICE AND SHARED LOCATION-BASED CONTENT |
US11269181B2 (en) | 2019-12-09 | 2022-03-08 | Magic Leap, Inc. | Systems and methods for operating a head-mounted display system based on user identity |
CN114762008A (zh) | 2019-12-09 | 2022-07-15 | 奇跃公司 | 简化的虚拟内容编程的交叉现实*** |
US11869135B2 (en) | 2020-01-16 | 2024-01-09 | Fyusion, Inc. | Creating action shot video from multi-view capture data |
US11252398B2 (en) | 2020-01-16 | 2022-02-15 | Fyusion, Inc. | Creating cinematic video from multi-view capture data |
CN115427758A (zh) | 2020-02-13 | 2022-12-02 | 奇跃公司 | 具有精确共享地图的交叉现实*** |
EP4104001A4 (en) | 2020-02-13 | 2024-03-13 | Magic Leap, Inc. | CROSS-REALLY SYSTEM WITH MAP PROCESSING USING MULTIPLE RESOLUTION FRAME DESCRIPTORS |
EP4104145A4 (en) | 2020-02-13 | 2024-01-24 | Magic Leap, Inc. | CROSS-REALLY SYSTEM PRIORITIZING GEOLOCALIZATION INFORMATION FOR LOCALIZATION |
CN111353409B (zh) * | 2020-02-25 | 2023-05-02 | 达闼机器人股份有限公司 | 容器识别方法、装置和机器人 |
CN115461787A (zh) | 2020-02-26 | 2022-12-09 | 奇跃公司 | 具有快速定位的交叉现实*** |
US11900547B2 (en) | 2020-04-29 | 2024-02-13 | Magic Leap, Inc. | Cross reality system for large scale environments |
CN111569432B (zh) * | 2020-05-19 | 2021-01-15 | 北京中科深智科技有限公司 | 一种从游戏中捕捉6DoF场景图像的***及方法 |
IL299775A (en) | 2020-07-15 | 2023-03-01 | Magic Leap Inc | Eye tracking using an aspheric cornea model |
EP4185185A4 (en) | 2020-07-23 | 2023-12-27 | Magic Leap, Inc. | EYE TRACKING WITH ALTERNATIVE SCANING |
WO2022026609A1 (en) * | 2020-07-29 | 2022-02-03 | Magic Leap, Inc. | Camera extrinsic calibration via ray intersections |
CN113156447A (zh) * | 2021-03-10 | 2021-07-23 | 深圳市杉川机器人有限公司 | 房门位置的确定方法、扫地机以及计算机可读存储介质 |
US11710272B2 (en) * | 2021-03-24 | 2023-07-25 | Disney Enterprises, Inc. | Volumetric representation of digital objects from depth renderings |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10044169A1 (de) * | 2000-09-07 | 2002-03-21 | Daimler Chrysler Ag | Verfahren zur zerstörungsfreien Wandstärkenprüfung |
US6940538B2 (en) * | 2001-08-29 | 2005-09-06 | Sony Corporation | Extracting a depth map from known camera and model tracking data |
US7003136B1 (en) * | 2002-04-26 | 2006-02-21 | Hewlett-Packard Development Company, L.P. | Plan-view projections of depth image data for object tracking |
JP2004234349A (ja) * | 2003-01-30 | 2004-08-19 | Univ Tokyo | 画像処理装置、画像処理方法、及び画像処理プログラム |
EP2236980B1 (en) * | 2009-03-31 | 2018-05-02 | Alcatel Lucent | A method for determining the relative position of a first and a second imaging device and devices therefore |
US8884948B2 (en) * | 2009-09-30 | 2014-11-11 | Disney Enterprises, Inc. | Method and system for creating depth and volume in a 2-D planar image |
US8872889B2 (en) * | 2010-01-14 | 2014-10-28 | Innovmetric Logiciels Inc. | Synchronization of the orientation of a 3D measurement device and the orientation of an intelligent guidance device |
US20110187704A1 (en) * | 2010-02-04 | 2011-08-04 | Microsoft Corporation | Generating and displaying top-down maps of reconstructed 3-d scenes |
EP2606472A2 (en) * | 2010-06-11 | 2013-06-26 | Estill, James A. | System and method for manipulating data having spatial coordinates |
US8872851B2 (en) * | 2010-09-24 | 2014-10-28 | Intel Corporation | Augmenting image data based on related 3D point cloud data |
KR101764424B1 (ko) * | 2010-11-08 | 2017-08-14 | 삼성전자주식회사 | 영상 데이터 검색 방법 및 장치 |
EP2538388B1 (en) * | 2011-06-20 | 2015-04-01 | Alcatel Lucent | Method and arrangement for image model construction |
JP5566353B2 (ja) | 2011-09-02 | 2014-08-06 | 株式会社パスコ | データ解析装置、データ解析方法、及びプログラム |
CA3164530C (en) * | 2011-10-28 | 2023-09-19 | Magic Leap, Inc. | System and method for augmented and virtual reality |
DK2788958T3 (da) * | 2011-12-05 | 2019-12-16 | Commw Scient Ind Res Org | Fremgangsmåde og system til at karakterisere plantefænotype |
EP2615580B1 (en) * | 2012-01-13 | 2016-08-17 | Softkinetic Software | Automatic scene calibration |
US8831290B2 (en) * | 2012-08-01 | 2014-09-09 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for determining poses of vehicle-mounted cameras for in-road obstacle detection |
US8633970B1 (en) * | 2012-08-30 | 2014-01-21 | Google Inc. | Augmented reality with earth data |
US9251590B2 (en) * | 2013-01-24 | 2016-02-02 | Microsoft Technology Licensing, Llc | Camera pose estimation for 3D reconstruction |
US9426451B2 (en) * | 2013-03-15 | 2016-08-23 | Digimarc Corporation | Cooperative photography |
US9102055B1 (en) * | 2013-03-15 | 2015-08-11 | Industrial Perception, Inc. | Detection and reconstruction of an environment to facilitate robotic interaction with the environment |
JP2014185947A (ja) * | 2013-03-25 | 2014-10-02 | Geo Technical Laboratory Co Ltd | 3次元復元のための画像撮影方法 |
KR102184766B1 (ko) * | 2013-10-17 | 2020-11-30 | 삼성전자주식회사 | 3차원 모델 복원 시스템 및 방법 |
US9336440B2 (en) * | 2013-11-25 | 2016-05-10 | Qualcomm Incorporated | Power efficient use of a depth sensor on a mobile device |
US9280825B2 (en) | 2014-03-10 | 2016-03-08 | Sony Corporation | Image processing system with registration mechanism and method of operation thereof |
US9779508B2 (en) * | 2014-03-26 | 2017-10-03 | Microsoft Technology Licensing, Llc | Real-time three-dimensional reconstruction of a scene from a single camera |
US9373190B2 (en) | 2014-07-09 | 2016-06-21 | Google Inc. | High-quality stereo reconstruction featuring depth map alignment and outlier identification |
CN105981074B (zh) * | 2014-11-04 | 2018-02-02 | 深圳市大疆创新科技有限公司 | 用于标定成像装置的***、方法和装置 |
US9519289B2 (en) * | 2014-11-26 | 2016-12-13 | Irobot Corporation | Systems and methods for performing simultaneous localization and mapping using machine vision systems |
KR102653808B1 (ko) | 2015-09-25 | 2024-04-01 | 매직 립, 인코포레이티드 | 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들 |
-
2016
- 2016-09-23 KR KR1020237006163A patent/KR102653808B1/ko active IP Right Grant
- 2016-09-23 US US15/274,823 patent/US10559127B2/en active Active
- 2016-09-23 KR KR1020187010984A patent/KR102504246B1/ko active IP Right Grant
- 2016-09-23 JP JP2018514855A patent/JP6944441B2/ja active Active
- 2016-09-23 EP EP21191717.4A patent/EP3975121A1/en active Pending
- 2016-09-23 EP EP16849766.7A patent/EP3353750B1/en active Active
- 2016-09-23 CN CN201680054286.9A patent/CN108027984B/zh active Active
- 2016-09-23 WO PCT/US2016/053477 patent/WO2017053821A1/en active Application Filing
- 2016-09-23 CN CN202210505506.2A patent/CN114863059A/zh active Pending
- 2016-09-23 IL IL291685A patent/IL291685B2/en unknown
- 2016-09-23 AU AU2016327985A patent/AU2016327985B2/en active Active
- 2016-09-23 CA CA2996009A patent/CA2996009A1/en active Pending
-
2018
- 2018-02-20 IL IL257634A patent/IL257634B/en unknown
-
2019
- 2019-12-18 US US16/719,832 patent/US11189093B2/en active Active
-
2021
- 2021-06-28 AU AU2021204409A patent/AU2021204409A1/en not_active Abandoned
- 2021-09-10 JP JP2021147477A patent/JP7181977B2/ja active Active
- 2021-10-28 US US17/512,834 patent/US11688138B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20200126298A1 (en) | 2020-04-23 |
US20220122322A1 (en) | 2022-04-21 |
KR102504246B1 (ko) | 2023-02-24 |
CN108027984B (zh) | 2022-05-13 |
AU2021204409A1 (en) | 2021-07-22 |
KR20180059836A (ko) | 2018-06-05 |
JP2018536915A (ja) | 2018-12-13 |
KR20230028598A (ko) | 2023-02-28 |
IL257634A (en) | 2018-04-30 |
KR102653808B1 (ko) | 2024-04-01 |
IL291685B1 (en) | 2023-05-01 |
IL291685A (en) | 2022-05-01 |
EP3353750A1 (en) | 2018-08-01 |
IL291685B2 (en) | 2023-09-01 |
JP2021185542A (ja) | 2021-12-09 |
EP3353750A4 (en) | 2019-03-06 |
US10559127B2 (en) | 2020-02-11 |
CN108027984A (zh) | 2018-05-11 |
NZ739813A (en) | 2021-06-25 |
AU2016327985A1 (en) | 2018-03-15 |
IL257634B (en) | 2022-05-01 |
CA2996009A1 (en) | 2017-03-30 |
US20170091996A1 (en) | 2017-03-30 |
US11189093B2 (en) | 2021-11-30 |
CN114863059A (zh) | 2022-08-05 |
EP3975121A1 (en) | 2022-03-30 |
JP7181977B2 (ja) | 2022-12-01 |
US11688138B2 (en) | 2023-06-27 |
AU2016327985B2 (en) | 2021-07-29 |
EP3353750B1 (en) | 2021-09-01 |
WO2017053821A1 (en) | 2017-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6944441B2 (ja) | 3次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム | |
US10360718B2 (en) | Method and apparatus for constructing three dimensional model of object | |
CA3157926A1 (en) | Systems and methods for building a virtual representation of a location | |
EP2272050B1 (en) | Using photo collections for three dimensional modeling | |
KR101310589B1 (ko) | 이미지들로부터의 빠른 스테레오 재구성을 위한 기술들 | |
US20130095920A1 (en) | Generating free viewpoint video using stereo imaging | |
GB2520613A (en) | Target region fill utilizing transformations | |
CN114785996A (zh) | 虚拟现实视差校正 | |
US20230419526A1 (en) | Method, apparatus, and computer-readable medium for room layout extraction | |
Kumara et al. | Real-time 3D human objects rendering based on multiple camera details | |
US10339702B2 (en) | Method for improving occluded edge quality in augmented reality based on depth camera | |
TW201528774A (zh) | 用於形成三維景象之裝置及方法 | |
NZ739813B2 (en) | Methods and systems for detecting and combining structural features in 3d reconstruction | |
Shesh et al. | Peek‐in‐the‐Pic: Flying Through Architectural Scenes From a Single Image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190702 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201229 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210430 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210714 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210813 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210910 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6944441 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |