JP7285834B2 - 三次元再構成方法および三次元再構成装置 - Google Patents
三次元再構成方法および三次元再構成装置 Download PDFInfo
- Publication number
- JP7285834B2 JP7285834B2 JP2020525776A JP2020525776A JP7285834B2 JP 7285834 B2 JP7285834 B2 JP 7285834B2 JP 2020525776 A JP2020525776 A JP 2020525776A JP 2020525776 A JP2020525776 A JP 2020525776A JP 7285834 B2 JP7285834 B2 JP 7285834B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- image
- model
- missing
- free
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 56
- 238000003384 imaging method Methods 0.000 claims description 19
- 239000002131 composite material Substances 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 17
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/4425—Monitoring of client processing errors or hardware failure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
次に、変形例について説明する。
101 カメラ
102 自由視点画像生成装置
103 表示装置
104 ネットワーク
201 カメラ映像受信部
202 三次元モデル生成部
203 自由視点映像生成部
204 自由視点映像配信部
205 カメラ映像保存部
206 カメラパラメータ保存部
207 三次元モデル保存部
208 自由視点画像保存部
301 自由視点映像受信部
302 画面生成部
303 画面表示部
304 自由視点画像保存部
400 被写体
401 デプス画像
402 前景画像
403 欠落部画像
410、420 三次元モデル
411 欠落部
421 補填部
430 視点
440、450 自由視点映像
Claims (9)
- 互いに異なる位置に配置されており、共通する三次元空間を撮像する複数の撮像装置から得られた複数のカメラ画像を用いて三次元モデルを生成する三次元再構成方法であって、
前記複数の撮像装置のカメラパラメータおよび前記三次元モデルを取得し、
前記カメラパラメータおよび前記三次元モデルに基づいて、一の撮像装置から前記三次元モデルまでの距離を示すデプス画像を生成し、
前記複数のカメラ画像のうちの前記一の撮像装置により撮像された一のカメラ画像中においてオブジェクトが映り込んでいる領域が示される前景画像を生成し、
前記デプス画像と前記前景画像とを比較することにより前記三次元モデルに三次元点の欠落があるか否かを判定し、
前記三次元モデルに三次元点の欠落がある場合、前記三次元モデルに三次元点の欠落があることを示す欠落情報を出力する
三次元再構成方法。 - 前記前景画像の生成では、予め撮影されたオブジェクトが映っていない背景画像を、前記一のカメラ画像から減算することで前記前景画像を生成する
請求項1に記載の三次元再構成方法。 - 前記前景画像の生成では、画素単位での意味づけを行う手法であるSemantic Segmentationを用いて、前記一のカメラ画像からオブジェクトを抽出することで前記前景画像を生成する
請求項1に記載の三次元再構成方法。 - 前記判定では、前記デプス画像および前記前景画像を二値化し、二値化された前記デプス画像と、二値化された前記前景画像とを比較することにより、前記三次元モデルに三次元点の欠落があるか否かを判定する
請求項1から3のいずれか1項に記載の三次元再構成方法。 - 前記出力では、前記三次元モデルに三次元点の欠落がある場合、前記三次元モデルの欠落部を、前記複数のカメラ画像を用いて推定することにより生成した三次元点により補填し、補填された前記三次元点を含む三次元モデルを出力する
請求項1から4のいずれか1項に記載の三次元再構成方法。 - 前記出力では、補填された前記三次元点に、当該三次元点が補填された三次元点であることを示す属性情報を付与し、
前記欠落情報は、前記属性情報により示される情報である
請求項5に記載の三次元再構成方法。 - さらに、
出力された前記三次元モデルへの視点の位置および方向の少なくとも一方を示す視点情報を取得し、
前記三次元モデル、前記視点情報、前記カメラパラメータおよび前記複数のカメラ画像を用いて、前記視点情報で示される前記視点から前記三次元モデルを見たときの自由視点映像を生成し、
前記三次元モデルに対応する前記欠落情報を取得した場合、生成された前記自由視点映像と、前記欠落情報で示される欠落を有する三次元モデルを用いて前記自由視点映像が生成されたことを示す識別情報と、を表示するための合成映像を出力する
請求項1から6のいずれか1項に記載の三次元再構成方法。 - 前記識別情報は、前記合成映像の前記自由視点映像上において、前記三次元モデルの欠落部に対応し、特定の表示態様で表示される領域で示される
請求項7に記載の三次元再構成方法。 - 互いに異なる位置に配置されており、共通する三次元空間を撮像する複数の撮像装置から得られた複数のカメラ画像を用いて三次元モデルを生成する三次元再構成装置であって、
プロセッサと、
メモリとを備え、
前記プロセッサは、前記メモリを用いて、
前記複数の撮像装置のカメラパラメータおよび前記三次元モデルを取得し、
前記カメラパラメータおよび前記三次元モデルに基づいて、一の撮像装置から前記三次元モデルまでの距離を示すデプス画像を生成し、
前記複数のカメラ画像のうちの前記一の撮像装置により撮像された一のカメラ画像中においてオブジェクトが映り込んでいる領域が示される前景画像を生成し、
前記デプス画像と前記前景画像とを比較することにより前記三次元モデルに三次元点の欠落があるか否かを判定し、
前記三次元モデルに三次元点の欠落がある場合、前記三次元モデルに三次元点の欠落があることを示す欠落情報を出力する
三次元再構成装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862686867P | 2018-06-19 | 2018-06-19 | |
US62/686,867 | 2018-06-19 | ||
PCT/JP2019/024341 WO2019244944A1 (ja) | 2018-06-19 | 2019-06-19 | 三次元再構成方法および三次元再構成装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2019244944A1 JPWO2019244944A1 (ja) | 2021-07-08 |
JPWO2019244944A5 JPWO2019244944A5 (ja) | 2022-03-02 |
JP7285834B2 true JP7285834B2 (ja) | 2023-06-02 |
Family
ID=68983190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020525776A Active JP7285834B2 (ja) | 2018-06-19 | 2019-06-19 | 三次元再構成方法および三次元再構成装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11494975B2 (ja) |
JP (1) | JP7285834B2 (ja) |
WO (1) | WO2019244944A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102178239B1 (ko) * | 2017-12-14 | 2020-11-12 | 캐논 가부시끼가이샤 | 3차원 모델의 생성 장치, 생성 방법, 및 프로그램 |
JP7506493B2 (ja) | 2020-03-16 | 2024-06-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
WO2023106117A1 (ja) * | 2021-12-09 | 2023-06-15 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
WO2023135718A1 (ja) * | 2022-01-14 | 2023-07-20 | 日本電信電話株式会社 | 3次元モデルを作成する装置、方法及びプログラム |
WO2023135717A1 (ja) * | 2022-01-14 | 2023-07-20 | 日本電信電話株式会社 | 3次元モデルを作成する装置、方法及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3681633B2 (ja) | 2000-11-27 | 2005-08-10 | 日本電信電話株式会社 | 遠隔観戦サービスサーバ |
US10701344B2 (en) * | 2015-12-02 | 2020-06-30 | Seiko Epson Corporation | Information processing device, information processing system, control method of an information processing device, and parameter setting method |
JP2018036898A (ja) * | 2016-08-31 | 2018-03-08 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
US11127194B2 (en) * | 2016-10-25 | 2021-09-21 | Sony Corporation | Image processing apparatus and image processing method |
US10116915B2 (en) * | 2017-01-17 | 2018-10-30 | Seiko Epson Corporation | Cleaning of depth data by elimination of artifacts caused by shadows and parallax |
JP2019128641A (ja) * | 2018-01-22 | 2019-08-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP7119425B2 (ja) * | 2018-03-01 | 2022-08-17 | ソニーグループ株式会社 | 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法 |
US10789723B1 (en) * | 2018-04-18 | 2020-09-29 | Facebook, Inc. | Image object extraction and in-painting hidden surfaces for modified viewpoint rendering |
-
2019
- 2019-06-19 WO PCT/JP2019/024341 patent/WO2019244944A1/ja active Application Filing
- 2019-06-19 JP JP2020525776A patent/JP7285834B2/ja active Active
-
2020
- 2020-10-16 US US17/072,454 patent/US11494975B2/en active Active
Non-Patent Citations (1)
Title |
---|
柚木玲士 他,手持ち撮影したRGB-D映像中の動的領域の切り出し,FIT2014 第13回情報科学技術フォーラム 講演論文集 第3分冊 査読付き論文・一般論文 画像認識・メディア理解 グラフィクス・画像 ヒューマンコミュニケーション&インタラクション 教育工学・福祉工学・マルチメディア応用 Forum on Information Technology 2014,日本,社団法人電子情報通信学会 一般社団法人情報処理学会,2014年08月19日,p67~68 |
Also Published As
Publication number | Publication date |
---|---|
US20210035355A1 (en) | 2021-02-04 |
WO2019244944A1 (ja) | 2019-12-26 |
US11494975B2 (en) | 2022-11-08 |
JPWO2019244944A1 (ja) | 2021-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7285834B2 (ja) | 三次元再構成方法および三次元再構成装置 | |
US11240483B2 (en) | Three-dimensional model distribution method and three-dimensional model distribution device | |
JP6669063B2 (ja) | 画像処理装置および方法 | |
US10789765B2 (en) | Three-dimensional reconstruction method | |
JP4879326B2 (ja) | 3次元画像を合成するシステム及び方法 | |
JP5156837B2 (ja) | 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法 | |
US20240137561A1 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
US11783443B2 (en) | Extraction of standardized images from a single view or multi-view capture | |
JP2018515825A (ja) | Lidarステレオ融合実写3dモデルバーチャルリアリティビデオ | |
TWI547901B (zh) | 模擬立體圖像顯示方法及顯示設備 | |
CA2668941A1 (en) | System and method for model fitting and registration of objects for 2d-to-3d conversion | |
JP7184748B2 (ja) | 場面の積層深度データを生成するための方法 | |
JP2018026064A (ja) | 画像処理装置、画像処理方法、システム | |
JP6541920B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP7479729B2 (ja) | 三次元表現方法及び表現装置 | |
CN115035235A (zh) | 三维重建方法及装置 | |
JP2019003428A (ja) | 画像処理装置、画像処理方法及びプログラム | |
Mulligan et al. | Stereo-based environment scanning for immersive telepresence | |
JP6730695B2 (ja) | 特徴追跡及びモデル登録により三次元多視点を再構成するための方法。 | |
JP5906165B2 (ja) | 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム | |
JP4781981B2 (ja) | 動画像生成方法及びシステム | |
JP2015005200A (ja) | 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体 | |
JP2021018570A (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム | |
JPH11345334A (ja) | 累計差分表を用いた3次元画像処理方法、装置、および3次元画像処理プログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220218 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230523 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7285834 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |