JP7245574B2 - 3次元再構成方法、装置、システム及び記憶媒体 - Google Patents
3次元再構成方法、装置、システム及び記憶媒体 Download PDFInfo
- Publication number
- JP7245574B2 JP7245574B2 JP2022537293A JP2022537293A JP7245574B2 JP 7245574 B2 JP7245574 B2 JP 7245574B2 JP 2022537293 A JP2022537293 A JP 2022537293A JP 2022537293 A JP2022537293 A JP 2022537293A JP 7245574 B2 JP7245574 B2 JP 7245574B2
- Authority
- JP
- Japan
- Prior art keywords
- reconstruction
- viewing angle
- training
- dimensional
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Description
目標物体の最初2次元画像に対して3次元再構成を行って、前記最初2次元画像に対応する最初3次元物体を生成するステップと、
前記最初3次元物体の候補視角での再構成品質に基づいて、前記候補視角から前記目標物体の補充視角を選択するステップと、
前記補充視角により、前記目標物体の補充2次元画像を取得するステップと、
前記補充2次元画像に対して3次元再構成を行って、前記補充2次元画像に対応する補充3次元物体を生成するステップと、
前記最初3次元物体と前記補充3次元物体を融合して、前記目標物体の3次元再構成結果を取得するステップと、を含む。
前記最初2次元画像から最初画像特徴を抽出するステップと、
前記最初画像特徴をボクセルニューラルネットワークによってデコードして、前記目標物体のボクセル立方体を取得するステップと、
前記ボクセル立方体に基づいて前記最初3次元物体を決定するステップと、を含む。
前記最初3次元物体に対して回帰分析を行って、前記最初3次元物体の複数の候補視角での再構成品質を決定するステップと、
最悪の再構成品質に対応する候補視角を前記補充視角と決定するステップと、を含む。
現実のトレーニング物体のトレーニング3次元物体を取得するステップと、
前記トレーニング物体のトレーニング2次元画像を取得するステップと、
前記トレーニング物体のトレーニング2次元画像に基づいて3次元再構成を行って、トレーニング再構成物体を生成するステップと、
予め設定されたトレーニング視角に基づいて、前記トレーニング再構成物体を投影して、第1投影深度マップを取得するステップと、
前記トレーニング視角に基づいて、前記トレーニング3次元物体を投影して、第2投影深度マップを取得するステップと、
前記第1投影深度マップの前記第2投影深度マップに対する相違度を計算するステップと、
前記トレーニング再構成物体を入力データとし且つ前記相違度を正解データとして、前記第1ニューラルネットワークをトレーニングするステップと、によってトレーニングして取得される。
前記第1投影深度マップにおける、前記トレーニング再構成物体の前記トレーニング視角での可視の各ボクセルの第1深度値を取得するステップと、
各第1深度値に対して、前記第2投影深度マップにおける、前記トレーニング3次元物体の対応ボクセルの第2深度値を取得するステップと、
前記第2深度値と前記第1深度値との間の深度差と前記第2深度値との間の比を計算するステップと、
前記第1投影深度マップにおける、前記トレーニング再構成物体の前記トレーニング視角での可視のボクセル全般に対応する比の平均値を求めて、前記相違度とするステップと、を含む。
前記入力データに基づいて、前記第1ニューラルネットワークに対応する出力データを取得するステップと、
前記出力データと前記正解データにより前記第1ニューラルネットワークの損失関数を計算するステップと、
前記損失関数に基づいて前記第1ニューラルネットワークのパラメータを更新するステップと、を含む。
データベースから前記補充視角に最も近い視角に対応する2次元画像を選択して、前記補充2次元画像とするステップ、又は
前記補充視角のカメラ位置姿勢に基づいてカメラを調整し、前記カメラによって前記補充2次元画像を収集するステップを含む。
前記データベースに記憶された2次元画像の位置姿勢識別子を取得するステップであって、前記位置姿勢識別子は2次元画像に対応する視角のカメラ位置姿勢を識別するためのものであるステップと、
前記位置姿勢識別子により、前記2次元画像に対応する視角のカメラ位置姿勢と前記補充視角のカメラ位置姿勢との間の位置姿勢差を決定するステップと、
位置姿勢差として最小値を取った場合に、対応する2次元画像を前記補充2次元画像と決定するステップと、を含む。
前記3次元再構成結果における可視のボクセルが占めた割合が第1割合より大きいか否かを判断するステップと、
第1割合より大きくない場合に、前記3次元再構成結果における可視のボクセルが占めた割合が前記第1割合より大きくなるまで、前記3次元再構成結果を前記最初3次元物体として、再度補充視角に基づいて3次元再構成を行うステップと、を更に含む。
目標物体の最初2次元画像に対して3次元再構成を行って、前記最初2次元画像に対応する最初3次元物体を生成するように構成される第1再構成モジュールと、
前記最初3次元物体の候補視角での再構成品質に基づいて、前記候補視角から前記目標物体の補充視角を選択するように構成される補充視角モジュールと、
前記補充視角により、前記目標物体の補充2次元画像を取得するように構成される補充画像モジュールと、
前記補充2次元画像に対して3次元再構成を行って、前記補充2次元画像に対応する補充3次元物体を生成するように構成される第2再構成モジュールと、
前記最初3次元物体と前記補充3次元物体を融合して、前記目標物体の3次元再構成結果を取得するように構成される融合モジュールと、を備える3次元再構成装置を提供する。
ここで、P(:,y,z)>0
ここで、P(:,y,z)はトレーニング再構成物体における、Y軸座標がyで、Z軸座標がzで、X軸と平行する直線にある全てのボクセルを表す。トレーニング再構成物体がある位置(x,y,z)にボクセルを有する時に、P(x,y,z)=1であり、逆には、P(x,y,z)=0である。P(:,y,z)>0のように限定した場合に、argmin(P(:,y,z))はトレーニング再構成物体における、前記直線にあるボクセルから投影平面までの距離の最小値を表す。上式によれば、P(:,y,z)>0のm個のボクセルが存在し、且つm個のボクセルのX軸座標がそれぞれ{x1,x2,…,xm}であると仮定すると、d(y,z)としてはこれらのX軸座標の最小値を取り、即ち、min{x1,x2,…,xm}に等しい。このため、この直線にトレーニング再構成物体の投影が存在する。逆には、P(:,y,z)>0のボクセルが存在しないと仮定すると、d(y,z)=0である。このため、この直線にトレーニング再構成物体の投影が存在しない。以上をまとめると、トレーニング再構成物体のトレーニング視角での投影深度マップを取得できる。
補充視角モジュール920は、前記最初3次元物体の候補視角での再構成品質に基づいて、前記候補視角から前記目標物体の補充視角を選択するように構成され、
補充画像モジュール930は、前記補充視角により、前記目標物体の補充2次元画像を取得するように構成され、
第2再構成モジュール940は、前記補充2次元画像に対して3次元再構成を行って、前記補充2次元画像に対応する補充3次元物体を生成するように構成され、
融合モジュール950は、前記最初3次元物体と前記補充3次元物体を融合して、前記目標物体の3次元再構成結果を取得するように構成される。
目標物体の最初2次元画像に対して3次元再構成を行って、前記最初2次元画像に対応する最初3次元物体を生成するステップと、
前記最初3次元物体の候補視角での再構成品質に基づいて、前記候補視角から前記目標物体の補充視角を選択するステップと、
前記目標物体の前記補充2次元画像を取得するステップと、
前記補充2次元画像に対して3次元再構成を行って、前記補充2次元画像に対応する補充3次元物体を生成するステップと、
前記最初3次元物体と前記補充3次元物体を融合して、前記目標物体の3次元再構成結果を取得するステップと、を前記システム1000に実行させる。
目標物体の最初2次元画像に対して3次元再構成を行って、前記最初2次元画像に対応する最初3次元物体を生成するステップと、
前記最初3次元物体の候補視角での再構成品質に基づいて、前記候補視角から前記目標物体の補充視角を選択するステップと、
前記目標物体の前記補充2次元画像を取得するステップと、
前記補充2次元画像に対して3次元再構成を行って、前記補充2次元画像に対応する補充3次元物体を生成するステップと、
前記最初3次元物体と前記補充3次元物体を融合して、前記目標物体の3次元再構成結果を取得するステップと、を前記コンピュータ又はプロセッサに実行させる。
Claims (12)
- 目標物体の最初2次元画像に対してニューラルネットワークに基づいて3次元再構成を行って、前記最初2次元画像に対応する最初3次元物体を生成するステップと、
前記最初3次元物体の複数の候補視角での再構成品質を決定し、前記複数の候補視角での再構成品質に基づいて、前記複数の候補視角から前記目標物体の補充視角を選択するステップであり、前記再構成品質は、前記最初3次元物体と実際の前記目標物体との間の類似度を表すものである、ステップと、
前記補充視角により、前記目標物体の補充2次元画像を取得するステップと、
前記補充2次元画像に対して3次元再構成を行って、前記補充2次元画像に対応する補充3次元物体を生成するステップと、
前記最初3次元物体と前記補充3次元物体を融合して、前記目標物体の3次元再構成結果を取得するステップと、を含むことを特徴とする3次元再構成方法。 - 目標物体の最初2次元画像に対してニューラルネットワークに基づいて3次元再構成を行うことは、
前記最初2次元画像から最初画像特徴を抽出するステップと、
前記最初画像特徴をボクセルニューラルネットワークによってデコードして、前記目標物体のボクセル立方体を取得するステップと、
前記ボクセル立方体に基づいて前記最初3次元物体を決定するステップと、を含むことを特徴とする請求項1に記載の3次元再構成方法。 - 前記候補視角から前記目標物体の補充視角を選択することは、
前記最初3次元物体に対して回帰分析を行って、前記最初3次元物体の複数の候補視角での再構成品質を決定するステップと、
最悪の再構成品質に対応する候補視角を前記補充視角と決定するステップと、を含むことを特徴とする請求項1に記載の3次元再構成方法。 - 前記最初3次元物体に対して回帰分析を行うことは第1ニューラルネットワークによって実現され、前記第1ニューラルネットワークは、
現実のトレーニング物体のトレーニング3次元物体を取得するステップと、
前記トレーニング物体のトレーニング2次元画像を取得するステップと、
前記トレーニング物体のトレーニング2次元画像に基づいて3次元再構成を行って、トレーニング再構成物体を生成するステップと、
予め設定されたトレーニング視角に基づいて、前記トレーニング再構成物体を投影して、第1投影深度マップを取得するステップと、
前記トレーニング視角に基づいて、前記トレーニング3次元物体を投影して、第2投影深度マップを取得するステップと、
前記第1投影深度マップの前記第2投影深度マップに対する相違度を計算するステップと、
前記トレーニング再構成物体を入力データとし且つ前記相違度を正解データとして、前記第1ニューラルネットワークをトレーニングするステップと、によってトレーニングして取得されることを特徴とする請求項3に記載の3次元再構成方法。 - 前記第1投影深度マップの前記第2投影深度マップに対する相違度を計算するステップは、
前記第1投影深度マップにおける、前記トレーニング再構成物体の前記トレーニング視角での可視の各ボクセルの第1深度値を取得するステップと、
各第1深度値に対して、前記第2投影深度マップにおける、前記トレーニング3次元物体の対応ボクセルの第2深度値を取得するステップと、
前記第2深度値と前記第1深度値との間の深度差と前記第2深度値との間の比を計算するステップと、
前記第1投影深度マップにおける、前記トレーニング再構成物体の前記トレーニング視角での可視のボクセル全般に対応する比の平均値を求めて、前記相違度とするステップと、を含むことを特徴とする請求項4に記載の3次元再構成方法。 - 前記第1ニューラルネットワークをトレーニングすることは、
前記入力データに基づいて、前記第1ニューラルネットワークに対応する出力データを取得するステップと、
前記出力データと前記正解データにより前記第1ニューラルネットワークの損失関数を計算するステップと、
前記損失関数に基づいて前記第1ニューラルネットワークのパラメータを更新するステップと、を含むことを特徴とする請求項4に記載の3次元再構成方法。 - 前記補充視角により前記目標物体の補充2次元画像を取得するステップは、
データベースから前記補充視角に最も近い視角に対応する2次元画像を選択して、前記補充2次元画像とするステップ、又は
前記補充視角のカメラ位置姿勢に基づいてカメラを調整し、前記カメラによって前記補充2次元画像を収集するステップを含むことを特徴とする請求項1に記載の3次元再構成方法。 - データベースから前記補充視角に最も近い視角に対応する2次元画像を選択することは、
前記データベースに記憶された2次元画像の位置姿勢識別子を取得するステップであって、前記位置姿勢識別子は2次元画像に対応する視角のカメラ位置姿勢を識別するためのものであるステップと、
前記位置姿勢識別子により、前記2次元画像に対応する視角のカメラ位置姿勢と前記補充視角のカメラ位置姿勢との間の位置姿勢差を決定するステップと、
位置姿勢差として最小値を取った場合に、対応する2次元画像を前記補充2次元画像と決定するステップと、を含むことを特徴とする請求項7に記載の3次元再構成方法。 - 前記最初3次元物体と前記補充3次元物体を融合した後に、
前記3次元再構成結果における可視のボクセルが占めた割合が第1割合より大きいか否かを判断するステップと、
第1割合より大きくない場合に、前記3次元再構成結果における可視のボクセルが占めた割合が前記第1割合より大きくなるまで、前記3次元再構成結果を前記最初3次元物体として、再度、補充視角に基づいて3次元再構成を行うステップと、を更に含むことを特徴とする請求項1に記載の3次元再構成方法。 - 目標物体の最初2次元画像に対して3次元再構成を行って、前記最初2次元画像に対応する最初3次元物体を生成するように構成される第1再構成モジュールと、
前記最初3次元物体の候補視角での再構成品質に基づいて、前記候補視角から前記目標物体の補充視角を選択するように構成される補充視角モジュールと、
前記補充視角により、前記目標物体の補充2次元画像を取得するように構成される補充画像モジュールと、
前記補充2次元画像に対して3次元再構成を行って、前記補充2次元画像に対応する補充3次元物体を生成するように構成される第2再構成モジュールと、
前記最初3次元物体と前記補充3次元物体を融合して、前記目標物体の3次元再構成結果を取得するように構成される融合モジュールと、を備えることを特徴とする3次元再構成装置。 - プロセッサと、コンピュータプログラム命令を記憶したメモリとを備える3次元再構成システムにおいて、前記コンピュータプログラム命令が前記プロセッサにより実行される時に、請求項1~9のいずれか一項に記載の3次元再構成方法を実行することを特徴とする3次元再構成システム。
- プログラム命令を記憶した記憶媒体において、前記プログラム命令が実行される時に、請求項1~9のいずれか一項に記載の3次元再構成方法を実行することを特徴とする記憶媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2019/127020 WO2021120175A1 (zh) | 2019-12-20 | 2019-12-20 | 三维重建方法、装置、***和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022550639A JP2022550639A (ja) | 2022-12-02 |
JP7245574B2 true JP7245574B2 (ja) | 2023-03-24 |
Family
ID=70507756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022537293A Active JP7245574B2 (ja) | 2019-12-20 | 2019-12-20 | 3次元再構成方法、装置、システム及び記憶媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US12026827B2 (ja) |
EP (1) | EP4075389A4 (ja) |
JP (1) | JP7245574B2 (ja) |
KR (1) | KR102506701B1 (ja) |
CN (1) | CN111133477B (ja) |
WO (1) | WO2021120175A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023044605A1 (zh) * | 2021-09-22 | 2023-03-30 | 深圳先进技术研究院 | 极端环境下脑结构的三维重建方法、装置及可读存储介质 |
CN114119839B (zh) * | 2022-01-24 | 2022-07-01 | 阿里巴巴(中国)有限公司 | 三维模型重建与图像生成方法、设备以及存储介质 |
CN115063485B (zh) * | 2022-08-19 | 2022-11-29 | 深圳市其域创新科技有限公司 | 三维重建方法、装置及计算机可读存储介质 |
WO2024136748A1 (en) * | 2022-12-22 | 2024-06-27 | Hitachi, Ltd. | Method and system for determining a 3d location of an object in a 2d image |
CN116206077B (zh) * | 2023-03-24 | 2024-05-17 | 清华大学 | 基于非全局重复建模的三维重构模型局部优化方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003196327A (ja) | 2001-11-05 | 2003-07-11 | Canon Europa Nv | 3次元コンピュータモデリング |
JP2004302524A (ja) | 2003-03-28 | 2004-10-28 | Kitakyushu Foundation For The Advancement Of Industry Science & Technology | 3次元モデリング・プログラム、3次元モデリング制御プログラム、3次元モデリング・データ伝送プログラム、記録媒体および3次元モデリング方法 |
JP2011043879A (ja) | 2009-08-19 | 2011-03-03 | Kddi Corp | マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム |
JP2018163468A (ja) | 2017-03-24 | 2018-10-18 | Kddi株式会社 | 前景抽出装置及びプログラム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8737721B2 (en) * | 2008-05-07 | 2014-05-27 | Microsoft Corporation | Procedural authoring |
US11263823B2 (en) * | 2012-02-24 | 2022-03-01 | Matterport, Inc. | Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications |
EP2852932A1 (en) | 2012-05-22 | 2015-04-01 | Telefónica, S.A. | A method and a system for generating a realistic 3d reconstruction model for an object or being |
EP2946365B1 (en) | 2013-01-21 | 2018-08-08 | Vricon Systems Aktiebolag | Method and arrangement for developing a three dimensional model of an environment |
EP3005290A1 (en) | 2013-05-31 | 2016-04-13 | Longsand Limited | Three-dimensional object modeling |
KR101835434B1 (ko) * | 2015-07-08 | 2018-03-09 | 고려대학교 산학협력단 | 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법 |
EP3330924A1 (en) * | 2016-12-01 | 2018-06-06 | Thomson Licensing | Method for 3d reconstruction of an environment of a mobile device, corresponding computer program product and device |
US10523921B2 (en) * | 2018-04-06 | 2019-12-31 | Zspace, Inc. | Replacing 2D images with 3D images |
CN108898630B (zh) * | 2018-06-27 | 2020-12-15 | 清华-伯克利深圳学院筹备办公室 | 一种三维重建方法、装置、设备和存储介质 |
CN109801374B (zh) * | 2019-01-14 | 2023-02-24 | 盾钰(上海)互联网科技有限公司 | 一种通过多角度图像集重构三维模型的方法、介质及*** |
CN110288712B (zh) * | 2019-03-30 | 2023-05-12 | 天津大学 | 室内场景的稀疏多视角三维重建方法 |
CN110047144A (zh) * | 2019-04-01 | 2019-07-23 | 西安电子科技大学 | 一种基于Kinectv2的完整物体实时三维重建方法 |
US20220358770A1 (en) * | 2019-06-17 | 2022-11-10 | Ariel Al, Ltd. | Scene reconstruction in three-dimensions from two-dimensional images |
CN110490917A (zh) | 2019-08-12 | 2019-11-22 | 北京影谱科技股份有限公司 | 三维重建方法及装置 |
CN110570522B (zh) * | 2019-08-22 | 2023-04-07 | 天津大学 | 一种多视图三维重建方法 |
US11238650B2 (en) * | 2020-03-13 | 2022-02-01 | Nvidia Corporation | Self-supervised single-view 3D reconstruction via semantic consistency |
US11393158B2 (en) * | 2020-04-02 | 2022-07-19 | Adobe Inc. | Utilizing voxel feature transformations for deep novel view synthesis |
KR20210128203A (ko) * | 2020-04-16 | 2021-10-26 | 주식회사 케이티 | 볼륨메트릭 3d 동영상 제공 시스템 및 방법 |
-
2019
- 2019-12-20 EP EP19956313.1A patent/EP4075389A4/en active Pending
- 2019-12-20 WO PCT/CN2019/127020 patent/WO2021120175A1/zh unknown
- 2019-12-20 KR KR1020227023684A patent/KR102506701B1/ko active IP Right Grant
- 2019-12-20 JP JP2022537293A patent/JP7245574B2/ja active Active
- 2019-12-20 US US17/787,339 patent/US12026827B2/en active Active
- 2019-12-20 CN CN201980003597.6A patent/CN111133477B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003196327A (ja) | 2001-11-05 | 2003-07-11 | Canon Europa Nv | 3次元コンピュータモデリング |
JP2004302524A (ja) | 2003-03-28 | 2004-10-28 | Kitakyushu Foundation For The Advancement Of Industry Science & Technology | 3次元モデリング・プログラム、3次元モデリング制御プログラム、3次元モデリング・データ伝送プログラム、記録媒体および3次元モデリング方法 |
JP2011043879A (ja) | 2009-08-19 | 2011-03-03 | Kddi Corp | マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム |
JP2018163468A (ja) | 2017-03-24 | 2018-10-18 | Kddi株式会社 | 前景抽出装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP4075389A4 (en) | 2023-02-15 |
KR20220113774A (ko) | 2022-08-16 |
US12026827B2 (en) | 2024-07-02 |
JP2022550639A (ja) | 2022-12-02 |
CN111133477A (zh) | 2020-05-08 |
EP4075389A1 (en) | 2022-10-19 |
US20230040550A1 (en) | 2023-02-09 |
KR102506701B1 (ko) | 2023-03-06 |
CN111133477B (zh) | 2023-06-23 |
WO2021120175A1 (zh) | 2021-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7245574B2 (ja) | 3次元再構成方法、装置、システム及び記憶媒体 | |
Yang et al. | Dense 3D object reconstruction from a single depth view | |
US9646410B2 (en) | Mixed three dimensional scene reconstruction from plural surface models | |
US20220101604A1 (en) | Learning-based 3d model creation apparatus and method | |
JP2018073393A (ja) | 深度マップからの現実の物体の3d再構築 | |
CN110136156B (zh) | 一种多边形区域检测方法及装置 | |
CN110998671B (zh) | 三维重建方法、装置、***和存储介质 | |
CN110728196B (zh) | 一种人脸识别的方法、装置及终端设备 | |
CN109844818B (zh) | 用于建立元素的可变形3d模型的方法和相关联*** | |
CN103562934B (zh) | 脸部位置检测 | |
WO2023024441A1 (zh) | 模型重建方法及相关装置、电子设备和存储介质 | |
US20200334862A1 (en) | Moving image generation apparatus, moving image generation method, and non-transitory recording medium | |
CN111382618A (zh) | 一种人脸图像的光照检测方法、装置、设备和存储介质 | |
KR20220008466A (ko) | 3차원 점군 데이터의 메쉬 생성 방법 및 장치 | |
Verykokou et al. | A Comparative analysis of different software packages for 3D Modelling of complex geometries | |
Meng et al. | Mirror-3dgs: Incorporating mirror reflections into 3d gaussian splatting | |
CN112883920A (zh) | 基于点云深度学习的三维人脸扫描特征点检测方法和装置 | |
CN116206302A (zh) | 三维目标检测方法、装置、计算机设备和存储介质 | |
CN114119923B (zh) | 三维人脸重建方法、装置以及电子设备 | |
CN113205579B (zh) | 三维重建方法、装置、设备及存储介质 | |
CN114998743A (zh) | 一种视觉地图点的构建方法、装置、设备及介质 | |
US9563816B2 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
CN116091686A (zh) | 用于三维重建的方法、***和存储介质 | |
JP7473012B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
Forchhammer | A Simulation System for Scene Synthesis in Virtual Reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220707 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230306 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7245574 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |