JP5985910B2 - ホールレンダリングを用いるマルチビュー映像処理方法及び装置 - Google Patents
ホールレンダリングを用いるマルチビュー映像処理方法及び装置 Download PDFInfo
- Publication number
- JP5985910B2 JP5985910B2 JP2012155138A JP2012155138A JP5985910B2 JP 5985910 B2 JP5985910 B2 JP 5985910B2 JP 2012155138 A JP2012155138 A JP 2012155138A JP 2012155138 A JP2012155138 A JP 2012155138A JP 5985910 B2 JP5985910 B2 JP 5985910B2
- Authority
- JP
- Japan
- Prior art keywords
- hole
- priority
- pixel
- pixels
- patch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims description 37
- 238000003672 processing method Methods 0.000 title claims description 13
- 238000004364 calculation method Methods 0.000 claims description 37
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 28
- 238000000034 method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 12
- 238000013213 extrapolation Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
- H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
図4において、コーナーを表す第1出力ビュー410、エッジを示す第2出力ビュー420、及び均一な映像を示す第3出力ビュー430が示される。また、出力ビュー410、420及び430のターゲットパッチ416、426及び436が示される。
構造優先順位演算部220は、下記の数式(1)で説明するように、ホール境界画素の明度値の水平方向への変化分(例えば、勾配(gradient)値)及び垂直方向への変化分を算出し、水平方向への変化分及び垂直方向への変化分の幾何平均に基づいてホール境界画素の優先順位を決定する。
基準2:ターゲットパッチのブロック構造及びソースパッチのブロック構造間の差
ここで、ブロック構造はパッチ内の画素のうち明度値が基準値よりも大きい画素は1として、明度値が基準値以下である画素は0に設定したことを表す。最適ソースパッチ探索部930は、ターゲットパッチのブロック構造及びソースパッチのブロック構造間のビットワイズ(bitwise)の差値を算出してもよい。
最適ソースパッチ探索部930は、前述した基準1から基準3の結果値の加重平均値が最も小さいパッチをソースパッチとして決定してもよい。
110 出力ビュー生成部
120 優先順位生成部
130 ホールレンダリング部
Claims (21)
- 少なくとも1つの入力ビュー及び前記少なくとも1つの入力ビューに対応する視差情報を用いて出力ビュー及び前記出力ビューに対応する視差情報を生成するステップと、
前記出力ビューに対応する視差情報を用いて前記出力ビュー内の複数のホール画素のそれぞれに対する優先順位を生成するステップと、
前記生成された優先順位を参照して前記複数のホール画素のうち最も高い優先順位を有するホール画素にホールレンダリングを適用するステップと、
を含むことを特徴とする映像処理方法。 - 前記優先順位を生成するステップは、前記視差情報を生成するステップで前記出力ビューを生成するために適用した投影の方向に基づいて、前記出力ビュー内の前景に隣接するホール画素よりも背景に隣接するホール画素に高い優先順位を付与するステップと、
を含むことを特徴とする請求項1に記載の映像処理方法。 - 前記優先順位を生成するステップは、視覚的に強い構造体内にあるホール画素に高い優先順位を付与するステップを含むことを特徴とする請求項1に記載の映像処理方法。
- 前記優先順位を生成するステップは、ホール画素と隣接する領域内に前記ホール画素を含むパッチと同じパターンを有するパッチの数が少ないほど前記ホール画素に高い優先順位を付与するステップを含むことを特徴とする請求項1に記載の映像処理方法。
- 前記優先順位を生成するステップは、ホール画素を含むパッチ内にホールではない画素の数が多いほど前記ホール画素に高い優先順位を付与するステップを含むことを特徴とする請求項1に記載の映像処理方法。
- 前記優先順位を生成するステップは、ホール画素と隣接する画素の視差に基づいて前記ホール画素の視差を算出するステップを含むことを特徴とする請求項1に記載の映像処理方法。
- 前記優先順位を生成するステップは、前記算出された視差に基づいて前記ホール画素に優先順位を付与するステップをさらに含むことを特徴とする請求項6に記載の映像処理方法。
- 前記各ホール画素にホールレンダリングを適用するステップは、
最も高い優先順位を有するホール画素を中心に有するブロックであるターゲットパッチを決定するステップと、
前記出力ビュー内で前記ターゲットパッチと最も類似のブロックであるソースパッチを探索するステップと、
前記ソースパッチ内の画素を前記ターゲットパッチ内のホール画素にコピーするステップと、
を含むことを特徴とする請求項1に記載の映像処理方法。 - 前記ソースパッチを探索するステップは、
前記ターゲットパッチ内の少なくとも1つの画素の少なくとも1つの視差により前記ターゲットパッチ内の画素のうち少なくとも1つの背景画素を選択するステップと、
前記ターゲットパッチに隣接する少なくとも1つの背景画素のうち、前記選択された少なくとも1つの背景画素と最も類似の少なくとも1つの画素を前記ソースパッチとして決定するステップと、
を含むことを特徴とする請求項8に記載の映像処理方法。 - 請求項1〜請求項9のうちいずれか一項の映像処理方法を行うプログラムを収録したコンピュータで読み出し可能な記録媒体。
- 少なくとも1つの入力ビュー及び前記入力ビューに対応する視差情報を用いて出力ビュー及び前記出力ビューに対応する視差情報を生成する出力ビュー生成部と、
前記出力ビューに対応する視差情報を用いて前記出力ビュー内の複数のホール画素のそれぞれに対する優先順位を生成する優先順位生成部と、
前記生成された優先順位を参照して前記複数のホール画素のうち最も高い優先順位を有するホール画素にホールレンダリングを適用するホールレンダリング部と、
を備えることを特徴とする映像処理装置。 - 前記優先順位生成部は、前記出力ビュー生成部が前記出力ビューを生成するために適用した投影の方向に基づいて、前記出力ビュー内の前景に隣接するホール画素より背景に隣接するホール画素に高い優先順位を付与する背景隣接ホール境界決定部を備えることを特徴とする請求項11に記載の映像処理装置。
- 前記優先順位生成部は、視覚的に強い構造体内にあるホール画素に高い優先順位を付与する構造優先順位演算部を備えることを特徴とする請求項11に記載の映像処理装置。
- 前記優先順位生成部は、ホール画素と隣接する領域内に前記ホール画素を含むパッチと同じパターンを有するパッチの数が少ないほど前記ホール画素に高い優先順位を付与する構造優先順位演算部を備えることを特徴とする請求項11に記載の映像処理装置。
- 前記優先順位生成部は、ホール画素を含むパッチ内にホールではない画素の数が多いほど前記ホール画素に高い優先順位を付与する確信優先順位演算部を備えることを特徴とする請求項11に記載の映像処理装置。
- 前記優先順位生成部は、ホール画素と隣接する画素の視差に基づいて前記ホール画素の視差を算出する視差割当部を備えることを特徴とする請求項11に記載の映像処理装置。
- 前記優先順位生成部は、前記算出された視差に基づいて前記ホール画素に優先順位を付与する視差優先順位演算部をさらに備えることを特徴とする請求項16に記載の映像処理装置。
- 前記ホールレンダリング部は、
最も高い優先順位を有するホール画素を中心に有するブロックのターゲットパッチを決定するターゲットパッチ生成部と、
前記出力ビュー内で前記ターゲットパッチと最も類似のブロックであるソースパッチを探索する最適ソースパッチ探索部と、
前記ソースパッチ内の画素を前記ターゲットパッチ内のホール画素にコピーするコピー部と、
を備えることを特徴とする請求項11に記載の映像処理装置。 - 前記最適ソースパッチ探索部は、前記ターゲットパッチ内の少なくとも1つの画素の少なくとも1つの視差により前記ターゲットパッチ内の少なくとも1つの画素のうち少なくとも1つの背景画素を選択し、前記ターゲットパッチに隣接する少なくとも1つの背景画素のうち前記選択された少なくとも1つの背景画素と最も類似の少なくとも1つの画素を前記ソースパッチとして決定することを特徴とする請求項18に記載の映像処理装置。
- 前記少なくとも1つの入力ビューに対応する深度情報を前記視差情報に変換する深度−視差変換ユニットをさらに備えることを特徴とする請求項11に記載の映像処理装置。
- 少なくとも1つの入力ビュー及び前記少なくとも1つの入力ビューに対応する視差情報を用いて出力ビュー及び前記出力ビューに対応する視差情報を生成するステップと、
前記出力ビューに対応する視差情報を用いて前記出力ビュー内のホールを示す複数のホール画素に対する優先順位を生成するステップと、
前記優先順位の降順に前記複数のホール画素にホールレンダリングを適用するステップと、
を含む、映像処理装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161506798P | 2011-07-12 | 2011-07-12 | |
US61/506,798 | 2011-07-12 | ||
KR1020110102374A KR101953130B1 (ko) | 2011-07-12 | 2011-10-07 | 홀 렌더링을 사용하는 멀티-뷰 영상 처리 방법 및 장치 |
KR10-2011-0102374 | 2011-10-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013020622A JP2013020622A (ja) | 2013-01-31 |
JP5985910B2 true JP5985910B2 (ja) | 2016-09-06 |
Family
ID=46026617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012155138A Active JP5985910B2 (ja) | 2011-07-12 | 2012-07-11 | ホールレンダリングを用いるマルチビュー映像処理方法及び装置 |
Country Status (3)
Country | Link |
---|---|
US (2) | US8873834B2 (ja) |
EP (1) | EP2547111B1 (ja) |
JP (1) | JP5985910B2 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8488839B2 (en) * | 2006-11-20 | 2013-07-16 | Videosurf, Inc. | Computer program and apparatus for motion-based object extraction and tracking in video |
WO2010006334A1 (en) | 2008-07-11 | 2010-01-14 | Videosurf, Inc. | Apparatus and software system for and method of performing a visual-relevance-rank subsequent search |
US9311708B2 (en) | 2014-04-23 | 2016-04-12 | Microsoft Technology Licensing, Llc | Collaborative alignment of images |
US9508011B2 (en) * | 2010-05-10 | 2016-11-29 | Videosurf, Inc. | Video visual and audio query |
US9413477B2 (en) | 2010-05-10 | 2016-08-09 | Microsoft Technology Licensing, Llc | Screen detector |
JP5206853B2 (ja) * | 2011-09-08 | 2013-06-12 | カシオ計算機株式会社 | 補間画像生成装置、再構成画像生成装置、補間画像生成方法及びプログラム |
KR20140115854A (ko) | 2013-03-22 | 2014-10-01 | 삼성디스플레이 주식회사 | 입체 영상 표시 장치 및 입체 영상 표시 방법 |
US10262426B2 (en) | 2014-10-31 | 2019-04-16 | Fyusion, Inc. | System and method for infinite smoothing of image sequences |
US10176592B2 (en) | 2014-10-31 | 2019-01-08 | Fyusion, Inc. | Multi-directional structured image array capture on a 2D graph |
US10275935B2 (en) | 2014-10-31 | 2019-04-30 | Fyusion, Inc. | System and method for infinite synthetic image generation from multi-directional structured image array |
US9940541B2 (en) | 2015-07-15 | 2018-04-10 | Fyusion, Inc. | Artificially rendering images using interpolation of tracked control points |
US10726593B2 (en) | 2015-09-22 | 2020-07-28 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
KR102350235B1 (ko) * | 2014-11-25 | 2022-01-13 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
US10698558B2 (en) | 2015-07-15 | 2020-06-30 | Fyusion, Inc. | Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity |
US10147211B2 (en) | 2015-07-15 | 2018-12-04 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US11006095B2 (en) | 2015-07-15 | 2021-05-11 | Fyusion, Inc. | Drone based capture of a multi-view interactive digital media |
US10750161B2 (en) | 2015-07-15 | 2020-08-18 | Fyusion, Inc. | Multi-view interactive digital media representation lock screen |
US10852902B2 (en) | 2015-07-15 | 2020-12-01 | Fyusion, Inc. | Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity |
US11095869B2 (en) | 2015-09-22 | 2021-08-17 | Fyusion, Inc. | System and method for generating combined embedded multi-view interactive digital media representations |
US10222932B2 (en) | 2015-07-15 | 2019-03-05 | Fyusion, Inc. | Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations |
US10242474B2 (en) * | 2015-07-15 | 2019-03-26 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US11783864B2 (en) | 2015-09-22 | 2023-10-10 | Fyusion, Inc. | Integration of audio into a multi-view interactive digital media representation |
US11202017B2 (en) | 2016-10-06 | 2021-12-14 | Fyusion, Inc. | Live style transfer on a mobile device |
CN106454316B (zh) * | 2016-10-27 | 2019-01-04 | 李露青 | 增填图像的方法和装置 |
US10437879B2 (en) | 2017-01-18 | 2019-10-08 | Fyusion, Inc. | Visual search using multi-view interactive digital media representations |
US10313651B2 (en) | 2017-05-22 | 2019-06-04 | Fyusion, Inc. | Snapshots at predefined intervals or angles |
US11069147B2 (en) | 2017-06-26 | 2021-07-20 | Fyusion, Inc. | Modification of multi-view interactive digital media representation |
US10592747B2 (en) | 2018-04-26 | 2020-03-17 | Fyusion, Inc. | Method and apparatus for 3-D auto tagging |
CN111460637B (zh) * | 2020-03-20 | 2023-07-21 | 成都市环境保护科学研究院 | 基于数值方法的城市通风潜势定量评估方法 |
CN112862710B (zh) * | 2021-01-28 | 2022-03-25 | 西南石油大学 | 一种基于Criminisi算法优化的电成像测井图像井壁复原方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2941139B2 (ja) * | 1993-03-11 | 1999-08-25 | 凸版印刷株式会社 | 視差画像作成方法および装置 |
US5613048A (en) * | 1993-08-03 | 1997-03-18 | Apple Computer, Inc. | Three-dimensional image synthesis using view interpolation |
US6052125A (en) * | 1998-01-07 | 2000-04-18 | Evans & Sutherland Computer Corporation | Method for reducing the rendering load for high depth complexity scenes on a computer graphics display |
JP2001067463A (ja) * | 1999-06-22 | 2001-03-16 | Nadeisu:Kk | 異なる視点からの複数のフェイシャル画像に基づき新たな視点からのフェイシャル画像を生成するフェイシャル画像生成装置及び方法並びにその応用装置及び記録媒体 |
CN100584039C (zh) | 2002-10-23 | 2010-01-20 | 皇家飞利浦电子股份有限公司 | 3d数字视频信号的后处理方法 |
KR100745691B1 (ko) | 2005-12-08 | 2007-08-03 | 한국전자통신연구원 | 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법 |
FR2932911A1 (fr) | 2008-06-24 | 2009-12-25 | France Telecom | Procede et dispositif de remplissage des zones d'occultation d'une carte de profondeur ou de disparites estimee a partir d'au moins deux images. |
WO2010037512A1 (en) | 2008-10-02 | 2010-04-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Intermediate view synthesis and multi-view data signal extraction |
WO2010048632A1 (en) * | 2008-10-24 | 2010-04-29 | Real D | Stereoscopic image format with depth information |
KR101580284B1 (ko) | 2009-02-02 | 2015-12-24 | 삼성전자주식회사 | 중간 시점 영상 생성 장치 및 방법 |
US8284237B2 (en) * | 2009-09-09 | 2012-10-09 | Nokia Corporation | Rendering multiview content in a 3D video system |
JP2011081605A (ja) * | 2009-10-07 | 2011-04-21 | Fujifilm Corp | 画像処理装置、方法及びプログラム |
-
2012
- 2012-03-23 EP EP12160911.9A patent/EP2547111B1/en active Active
- 2012-05-09 US US13/467,640 patent/US8873834B2/en active Active
- 2012-07-11 JP JP2012155138A patent/JP5985910B2/ja active Active
-
2014
- 2014-09-30 US US14/501,652 patent/US9172947B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP2547111A1 (en) | 2013-01-16 |
EP2547111B1 (en) | 2017-07-19 |
US9172947B2 (en) | 2015-10-27 |
US20130016897A1 (en) | 2013-01-17 |
JP2013020622A (ja) | 2013-01-31 |
US20150015683A1 (en) | 2015-01-15 |
US8873834B2 (en) | 2014-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5985910B2 (ja) | ホールレンダリングを用いるマルチビュー映像処理方法及び装置 | |
US9153032B2 (en) | Conversion method and apparatus with depth map generation | |
JP4740657B2 (ja) | カラーセグメンテーションに基づくステレオ3次元再構成システムおよびプロセス | |
US9030469B2 (en) | Method for generating depth maps from monocular images and systems using the same | |
EP2608148B1 (en) | Method and apparatus for generating multi-view | |
JP4898459B2 (ja) | 奥行きマップの生成 | |
US8478072B2 (en) | Device, method, and program for image processing | |
US8248410B2 (en) | Synthesizing detailed depth maps from images | |
CN106664397B (zh) | 用于生成三维图像的方法和装置 | |
US9378583B2 (en) | Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume | |
RU2438179C1 (ru) | Устройство и способ для формирования изображения, программа для его реализации и носитель информации, который хранит программу | |
JP2010522469A (ja) | 2d−to−3d変換のための2d画像の領域分類のシステム及び方法 | |
JP6173218B2 (ja) | 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法 | |
KR102158390B1 (ko) | 영상 처리 방법 및 장치 | |
KR101125061B1 (ko) | Ldi 기법 깊이맵을 참조한 2d 동영상의 3d 동영상 전환방법 | |
JP2013185905A (ja) | 情報処理装置及び方法、並びにプログラム | |
KR20200057612A (ko) | 가상시점 영상을 생성하는 방법 및 장치 | |
JP5210416B2 (ja) | 立体画像生成装置、立体画像生成方法、プログラム、および記録媒体 | |
EP2966613A1 (en) | Method and apparatus for generating a super-resolved image from an input image | |
KR101953130B1 (ko) | 홀 렌더링을 사용하는 멀티-뷰 영상 처리 방법 및 장치 | |
KR101993961B1 (ko) | 임의시점 영상의 홀 채움 방법 | |
KR101626679B1 (ko) | 2d 영상으로부터 입체 영상을 생성하는 방법 및 이를 기록한 기록 매체 | |
US11676334B2 (en) | Method and apparatus for plenoptic point clouds generation | |
JP2018195190A (ja) | 画像処理装置、画像処理方法 | |
EP2615581A1 (en) | Authoring method and system for extracting a foreground object from a video sequence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160804 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5985910 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |