JP7403528B2 - シーンの色及び深度の情報を再構成するための方法及びシステム - Google Patents
シーンの色及び深度の情報を再構成するための方法及びシステム Download PDFInfo
- Publication number
- JP7403528B2 JP7403528B2 JP2021507020A JP2021507020A JP7403528B2 JP 7403528 B2 JP7403528 B2 JP 7403528B2 JP 2021507020 A JP2021507020 A JP 2021507020A JP 2021507020 A JP2021507020 A JP 2021507020A JP 7403528 B2 JP7403528 B2 JP 7403528B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- depth
- image
- scene
- color image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 49
- 238000010801 machine learning Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims 2
- 230000004044 response Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Description
Ax=BxAz/F
によって(システムの幾何学を使用して)近似することができる。
Claims (16)
- シーンの色及び深度の情報を再構成する方法であって、前記方法は、
シーンの少なくとも1つの色画像を受信することであって、前記少なくとも1つの色画像はそれぞれの視点から取り込まれることと、
前記それぞれの視点について前記シーンの深度情報を取得することと、
前記少なくとも1つの色画像及び前記取得された深度情報に基づいて前記シーンの点群を生成することと、
代替の視点からの前記点群の射影を生成することであって、前記代替の視点は、前記それぞれの視点と異なり、色及び深度の情報が欠落している前記シーンの遮蔽された部分を含むことと、
前記点群の前記射影をそれぞれの疎な色及び深度の画像に変換することと、
色情報がない前記疎な色画像中の前記シーンの少なくともいくつかについて色情報を推定し、それによって前記代替の視点からの前記シーンのより完全な色画像を再構成することと、
前記再構成された色画像及び前記取得された深度情報に基づいて、深度情報がない前記シーンの少なくともいくつかについて深度情報を推定し、それによって前記代替の視点からの前記シーンのより完全な深度画像を再構成することと、
を含む、方法。 - 前記色情報を推定することは、前記疎な色画像を訓練された機械学習モデルに入力することを含み、前記機械学習モデルは、完全な色画像及び不完全な色画像の対で訓練され、画像の不完全な部分について画素値を推定するように訓練される、請求項1に記載の方法。
- 前記機械学習モデルは完全畳込みネットワークモデルを含む、請求項2に記載の方法。
- 前記深度情報を推定することは、
前記再構成された色画像中の1つ又は複数の表面の面法線を推定することと、
前記再構成された色画像中の1つ又は複数のオクルージョン境界を検出することと、
前記推定された面法線、前記検出されたオクルージョン境界及び前記取得された深度情報に基づいて前記深度情報を推定することと、
を含む、請求項1から3のいずれか一項に記載の方法。 - 前記再構成された色画像をニューラル・ネットワーク・モデルに入力することを含み、前記ニューラル・ネットワーク・モデルは、色画像中の面法線及びオクルージョン境界を推定するように訓練され、
前記深度情報を推定することは、前記推定された面法線、検出されたオクルージョン境界及び前記取得された深度情報を使用して、大域的最適化プロセスを導くことを含む、
請求項4に記載の方法。 - 前記点群を生成することは、前記少なくとも1つの色画像及び取得された深度情報に逆射影を適用することを含む、請求項1から5のいずれか一項に記載の方法。
- 表示装置で表示するために前記より完全な色画像を出力することを含む、請求項1から6のいずれか一項に記載の方法。
- 複数の色画像を受信することであって、各色画像は異なるそれぞれの視点から取り込まれることと、
前記それぞれの視点の各視点について深度情報を取得することと、
前記複数の取り込まれた色画像及び前記取得された深度情報に基づいて前記点群を生成することと、
代替の視点からの前記点群の射影を生成することであって、前記代替の視点は、前記それぞれの視点の各視点と異なり、色及び深度の情報が欠落している前記シーンの遮蔽された部分を含むことと、
前記点群の前記射影をそれぞれの疎な色及び深度の画像に変換することと、
色情報がない前記疎な色画像中の前記シーンの少なくともいくつかについて色情報を推定し、それによって前記代替の視点からの前記シーンのより完全な色画像を再構成することと、
前記再構成された色画像及び前記取得された深度情報に基づいて、深度情報がない前記シーンの少なくともいくつかについて深度情報を推定し、それによって前記代替の視点からの前記シーンのより完全な深度画像を再構成することと、
を含む、請求項1から7のいずれか一項に記載の方法。 - 色画像及び深度画像の連続的な再構成を含み、
シーンの少なくとも1つの色画像を受信するステップは、前に再構成された色画像を受信することを含み、シーンの深度情報を取得するステップは、前に再構成された深度画像を受信することを含む、
請求項1から8のいずれか一項に記載の方法。 - 前記再構成された色及び深度の画像と関連付けられた誤差を決定すること
を含み、
色及び深度の画像の連続的な再構成は、(i)現在の再構成された色画像及び深度画像と関連付けられた前記誤差が閾値未満であるとき、又は(ii)閾値数の連続的な再構成が起こっており、かつ前記現在の再構成された色画像及び深度画像と関連付けられた前記誤差が前記閾値を超えるときに終了する、
請求項9に記載の方法。 - 請求項1から10のいずれか一項に記載の方法をコンピュータシステムに行わせるように適合されたコンピュータ実行可能命令を有するコンピュータ可読媒体。
- シーンの色及び深度の情報を再構成するためのシステムであって、前記システムは、
シーンの少なくとも1つの色画像を受信するように構成された受信ユニットであって、前記色画像はそれぞれの視点から取り込まれる、受信ユニットと、
前記シーンの対応する部分について深度画像を取得するように動作可能な深度ユニットと、
前記色画像及び取得された深度画像から点群を生成するように動作可能な点群生成器と、
前記それぞれの視点とは異なる視点から前記点群の射影を生成するように構成された射影ユニットと、
前記生成された射影をそれぞれの疎な色及び深度の画像に変換するように動作可能な変換ユニットであって、前記疎な色及び深度の画像は、色及び深度の情報が欠落している前記シーンの遮蔽された部分を含む、変換ユニットと、
色情報が欠落している前記シーンの少なくともいくつかの部分について画素値を生成するように構成され、それによって再構成された色画像を生成する、インペインティングプロセッサと、
深度データが欠落している前記シーンの少なくともいくつかの部分について深度データを生成するように構成された深度データ生成器であって、前記深度データは、前記再構成された色画像及び前記取得された深度画像に基づいて生成され、それによって再構成された深度画像を生成する、深度データ生成器と、
を備える、システム。 - 前記点群生成器は、前記再構成された色画像及び前記再構成された深度画像を受信するように構成され、
前記射影ユニットは、前記受信された色及び深度の画像、並びに前記再構成された色及び深度の画像に基づいて、さらなる異なる視点から前記点群の射影を生成するように構成される、
請求項12に記載のシステム。 - 前記インペインティングプロセッサは、機械学習モデルを備え、前記機械学習モデルは、不完全な画像について画素値を生成するように訓練され、
前記機械学習モデルは、前記疎な色画像を受信し、前記受信することに応答して、色情報が欠落している前記シーンの少なくともいくつかの部分について画素値を生成するように構成される、
請求項12又は13に記載のシステム。 - 前記深度データ生成器は、
前記再構成された色画像中の少なくとも1つの表面の面法線を推定するように動作可能な面法線推定器と、
前記再構成された色画像中のオクルージョン境界を検出するように構成されたオクルージョン境界検出器と、
を備え、
前記深度データ生成器は、前記少なくとも1つの推定された面法線、検出されたオクルージョン境界、及び前記シーンの既存の深度情報に基づいて、深度データを生成するように構成される、
請求項12から14のいずれか一項に記載のシステム。 - 前記面法線推定器及びオクルージョン境界検出器は、ニューラルネットワークを備え、前記ニューラルネットワークは、色画像中の面法線及びオクルージョン境界を推定するように訓練される、請求項15に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1813752.1 | 2018-08-23 | ||
GB1813752.1A GB2576548B (en) | 2018-08-23 | 2018-08-23 | Method and system for reconstructing colour and depth information of a scene |
PCT/GB2019/052199 WO2020039166A1 (en) | 2018-08-23 | 2019-08-06 | Method and system for reconstructing colour and depth information of a scene |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021535466A JP2021535466A (ja) | 2021-12-16 |
JP7403528B2 true JP7403528B2 (ja) | 2023-12-22 |
Family
ID=63715307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021507020A Active JP7403528B2 (ja) | 2018-08-23 | 2019-08-06 | シーンの色及び深度の情報を再構成するための方法及びシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210241495A1 (ja) |
EP (1) | EP3841554A1 (ja) |
JP (1) | JP7403528B2 (ja) |
GB (1) | GB2576548B (ja) |
WO (1) | WO2020039166A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220157016A1 (en) * | 2020-11-17 | 2022-05-19 | International Institute Of Information Technology, Hyderabad | System and method for automatically reconstructing 3d model of an object using machine learning model |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11276244B2 (en) * | 2018-09-18 | 2022-03-15 | AB Strategies SEZC Ltd. | Fixing holes in a computer generated model of a real-world environment |
CN113273211A (zh) * | 2018-12-14 | 2021-08-17 | Pcms控股公司 | 用于对空间数据进行程序化着色的***和方法 |
CN110866969B (zh) * | 2019-10-18 | 2022-06-14 | 西北工业大学 | 基于神经网络与点云配准的发动机叶片重构方法 |
US11107228B1 (en) * | 2020-04-02 | 2021-08-31 | Ford Global Technologies, Llc | Realistic image perspective transformation using neural networks |
US11508077B2 (en) * | 2020-05-18 | 2022-11-22 | Samsung Electronics Co., Ltd. | Method and apparatus with moving object detection |
US20220122311A1 (en) * | 2020-10-21 | 2022-04-21 | Samsung Electronics Co., Ltd. | 3d texturing via a rendering loss |
US11475631B2 (en) | 2020-11-23 | 2022-10-18 | Sony Corporation | Training dataset generation for depth measurement |
US11651506B2 (en) * | 2021-04-20 | 2023-05-16 | Microsoft Technology Licensing, Llc | Systems and methods for low compute high-resolution depth map generation using low-resolution cameras |
CN113436318A (zh) * | 2021-06-30 | 2021-09-24 | 北京市商汤科技开发有限公司 | 场景重建方法、装置、电子设备和计算机存储介质 |
CN114004754B (zh) * | 2021-09-13 | 2022-07-26 | 北京航空航天大学 | 一种基于深度学习的场景深度补全***及方法 |
CN115908520A (zh) * | 2021-09-29 | 2023-04-04 | 华为技术有限公司 | 深度估计方法、深度估计模型的训练方法及其装置和*** |
WO2024028988A1 (ja) * | 2022-08-02 | 2024-02-08 | 日本電信電話株式会社 | 画像処理装置、方法およびプログラム |
CN117934692A (zh) * | 2023-12-29 | 2024-04-26 | 山东舜网传媒股份有限公司 | 基于sc-fegan深度模型3d场景自适应贴图方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110254841A1 (en) | 2010-04-20 | 2011-10-20 | Samsung Electronics Co., Ltd. | Mesh generating apparatus, method and computer-readable medium, and image processing apparatus, method and computer-readable medium |
CN104504671A (zh) | 2014-12-12 | 2015-04-08 | 浙江大学 | 一种用于立体显示的虚实融合图像生成方法 |
CN106341676A (zh) | 2016-09-29 | 2017-01-18 | 济南大学 | 基于超像素的深度图像预处理和深度空洞填充方法 |
WO2017082079A1 (ja) | 2015-11-11 | 2017-05-18 | ソニー株式会社 | 画像処理装置および画像処理方法 |
WO2018123801A1 (ja) | 2016-12-28 | 2018-07-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101669820B1 (ko) * | 2010-07-02 | 2016-10-27 | 삼성전자주식회사 | 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법 |
EP2933778A1 (en) * | 2014-04-15 | 2015-10-21 | Alcatel Lucent | Capturing an environment with objects |
KR102380862B1 (ko) * | 2015-09-01 | 2022-03-31 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
EP3351899B1 (en) * | 2017-01-24 | 2020-06-17 | Leica Geosystems AG | Method and device for inpainting of colourised three-dimensional point clouds |
CN108053367B (zh) * | 2017-12-08 | 2021-04-20 | 北京信息科技大学 | 一种基于rgb-d特征匹配的3d点云拼接与融合方法 |
-
2018
- 2018-08-23 GB GB1813752.1A patent/GB2576548B/en active Active
-
2019
- 2019-08-06 WO PCT/GB2019/052199 patent/WO2020039166A1/en unknown
- 2019-08-06 US US17/268,856 patent/US20210241495A1/en not_active Abandoned
- 2019-08-06 EP EP19753429.0A patent/EP3841554A1/en active Pending
- 2019-08-06 JP JP2021507020A patent/JP7403528B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110254841A1 (en) | 2010-04-20 | 2011-10-20 | Samsung Electronics Co., Ltd. | Mesh generating apparatus, method and computer-readable medium, and image processing apparatus, method and computer-readable medium |
CN104504671A (zh) | 2014-12-12 | 2015-04-08 | 浙江大学 | 一种用于立体显示的虚实融合图像生成方法 |
WO2017082079A1 (ja) | 2015-11-11 | 2017-05-18 | ソニー株式会社 | 画像処理装置および画像処理方法 |
CN106341676A (zh) | 2016-09-29 | 2017-01-18 | 济南大学 | 基于超像素的深度图像预处理和深度空洞填充方法 |
WO2018123801A1 (ja) | 2016-12-28 | 2018-07-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置 |
Non-Patent Citations (1)
Title |
---|
Zhang Yinda et al.,Deep Depth Completion of a Single RGB-D Image,オンライン,2018年05月25日,https://arxiv.org/pdf/1803.09326v1.pdf |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220157016A1 (en) * | 2020-11-17 | 2022-05-19 | International Institute Of Information Technology, Hyderabad | System and method for automatically reconstructing 3d model of an object using machine learning model |
Also Published As
Publication number | Publication date |
---|---|
WO2020039166A1 (en) | 2020-02-27 |
GB2576548B (en) | 2021-11-03 |
GB201813752D0 (en) | 2018-10-10 |
US20210241495A1 (en) | 2021-08-05 |
GB2576548A (en) | 2020-02-26 |
JP2021535466A (ja) | 2021-12-16 |
EP3841554A1 (en) | 2021-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7403528B2 (ja) | シーンの色及び深度の情報を再構成するための方法及びシステム | |
CN109003325B (zh) | 一种三维重建的方法、介质、装置和计算设备 | |
CN105701857B (zh) | 3d建模的对象的纹理化 | |
US9082224B2 (en) | Systems and methods 2-D to 3-D conversion using depth access segiments to define an object | |
US20080228449A1 (en) | Systems and methods for 2-d to 3-d conversion using depth access segments to define an object | |
US20080225045A1 (en) | Systems and methods for 2-d to 3-d image conversion using mask to model, or model to mask, conversion | |
US20080226181A1 (en) | Systems and methods for depth peeling using stereoscopic variables during the rendering of 2-d to 3-d images | |
US20080225042A1 (en) | Systems and methods for allowing a user to dynamically manipulate stereoscopic parameters | |
US20080226128A1 (en) | System and method for using feature tracking techniques for the generation of masks in the conversion of two-dimensional images to three-dimensional images | |
US20080226160A1 (en) | Systems and methods for filling light in frames during 2-d to 3-d image conversion | |
US20080226194A1 (en) | Systems and methods for treating occlusions in 2-d to 3-d image conversion | |
KR100681320B1 (ko) | 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법 | |
US10347052B2 (en) | Color-based geometric feature enhancement for 3D models | |
EP3326156B1 (en) | Consistent tessellation via topology-aware surface tracking | |
WO2013074561A1 (en) | Modifying the viewpoint of a digital image | |
US20140300941A1 (en) | Method and apparatus for generating hologram based on multi-view image | |
US20160005221A1 (en) | Photometric optimization with t-splines | |
KR20200000106A (ko) | 객체의 3차원 모델을 복원하는 방법 및 장치 | |
KR101593316B1 (ko) | 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치 | |
JP5909176B2 (ja) | 陰影情報導出装置、陰影情報導出方法及びプログラム | |
CN114399610A (zh) | 基于引导先验的纹理映射***和方法 | |
CN113989434A (zh) | 一种人体三维重建方法及设备 | |
EP3906530B1 (en) | Method for 3d reconstruction of an object | |
US11636578B1 (en) | Partial image completion | |
KR20230072170A (ko) | 3차원 지도에 대한 모델링 데이터의 경량화 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230817 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7403528 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |