JP5784729B2 - マルチビュー生成のためのレンダリング装置およびその方法 - Google Patents
マルチビュー生成のためのレンダリング装置およびその方法 Download PDFInfo
- Publication number
- JP5784729B2 JP5784729B2 JP2013525832A JP2013525832A JP5784729B2 JP 5784729 B2 JP5784729 B2 JP 5784729B2 JP 2013525832 A JP2013525832 A JP 2013525832A JP 2013525832 A JP2013525832 A JP 2013525832A JP 5784729 B2 JP5784729 B2 JP 5784729B2
- Authority
- JP
- Japan
- Prior art keywords
- view
- prediction
- views
- hole
- reference hole
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Description
110 レンダリング部
120 ホール検出部
130 ホール集合部
140 ホール復元部
150 マルチビュー生成部
Claims (22)
- 少なくとも1つの参照ビューをレンダリングして予測ビューを生成するように構成されているレンダリング部と、
第1の予測ビューに存在する第1のホールおよび第2の予測ビューに存在する第2のホールを含む基準ホールレイヤを生成するように構成されているホール集合部と、
前記基準ホールレイヤを復元するように構成されているホール復元部と、
前記復元された基準ホールレイヤを用いて、前記第1の予測ビューおよび前記第2の予測ビューそれぞれに存在する前記第1および第2のホールを除去するように構成されているマルチビュー生成部と、
を含むことを特徴とするマルチビュー生成のための装置。 - 前記予測ビューは、連続する2つの参照ビューの間に位置する補間ビューであることを特徴とする請求項1に記載のマルチビュー生成のための装置。
- 前記補間ビューは、連続的な補間ビューであることを特徴とする請求項2に記載のマルチビュー生成のための装置。
- 前記基準ホールレイヤは、前記各補間ビューと同一の大きさを有することを特徴とする請求項2に記載のマルチビュー生成のための装置。
- 前記マルチビュー生成部は、前記第1および第2のホールに前記復元された基準ホールレイヤの部分を挿入することにより、第1および第2の予測ビューに存在する第1および第2のホールを除去するように構成されている、
ことを特徴とする請求項1に記載のマルチビュー生成のための装置。 - 前記予測ビューは、
前記少なくとも1つの参照ビューの外側に位置する補外ビューであることを特徴とする請求項1に記載のマルチビュー生成のための装置。 - 前記補外ビューは、1つの参照ビューをレンダリングして生成されることを特徴とする請求項6に記載のマルチビュー生成のための装置。
- 前記補外ビューは、連続的な補外ビューであることを特徴とする請求項6に記載のマルチビュー生成のための装置。
- 前記基準ホールレイヤは、前記各補外ビューと同一の大きさを有することを特徴とする請求項6に記載のマルチビュー生成のための装置。
- 前記第1および第2の予測ビューそれぞれに存在する前記第1および第2のホールを検出するように構成されているホール検出部をさらに含む、
ことを特徴とする請求項1に記載のマルチビュー生成のための装置。 - プロセッサにより、少なくとも1つの参照ビューをレンダリングして予測ビューを生成するステップと、
第1の予測ビューに存在する第1のホールおよび第2の予測ビューに存在する第2のホールを含む基準ホールレイヤを生成するステップと、
前記基準ホールレイヤを復元するステップと、
前記復元された基準ホールレイヤを用いて前記第1の予測ビューおよび前記第2の予測ビューそれぞれに存在する前記第1および第2のホールを除去するステップと、
を含むことを特徴とするマルチビュー生成方法。 - 前記予測ビューは、連続する2つの参照ビューの間に位置する補間ビューであることを特徴とする請求項11に記載のマルチビュー生成方法。
- 前記補間ビューは、連続的な補間ビューであることを特徴とする請求項12に記載のマルチビュー生成方法。
- 前記基準ホールレイヤは、前記各補間ビューと同一の大きさを有することを特徴とする請求項12に記載のマルチビュー生成方法。
- 前記第1および第2のホールを除去するステップは、前記第1および第2のホールに前記復元された基準ホールレイヤの部分を挿入することにより、第1および第2の予測ビューに存在する前記第1および第2のホールを除去する、
ことを特徴とする請求項11に記載のマルチビュー生成方法。 - 前記予測ビューは、
前記少なくとも1つの参照ビューの外側に位置する補外ビューであることを特徴とする請求項11に記載のマルチビュー生成方法。 - 前記補外ビューは、1つの参照ビューをレンダリングして生成されることを特徴とする請求項16に記載のマルチビュー生成方法。
- 前記補外ビューは、連続的な補外ビューであることを特徴とする請求項16に記載のマルチビュー生成方法。
- 前記基準ホールレイヤは、前記各補外ビューと同一の大きさを有することを特徴とする請求項16に記載のマルチビュー生成方法。
- マルチビュー生成のためのレンダリング装置において、
メモリと、
第1の予測ビューに存在する第1のホールおよび第2の予測ビューに存在する第2のホールを含む基準ホールレイヤを生成し、
前記基準ホールレイヤを復元し、
前記復元された基準ホールレイヤを用いて前記第1の予測ビューおよび前記第2の予測ビューそれぞれに存在する前記第1および第2のホールを除去するように構成されたプロセッサと、
を含むことを特徴とするマルチビュー生成のためのレンダリング装置。 - マルチビュー生成のための装置を含むマルチビューディスプレイ装置において、
マルチビューを生成するための装置に含まれ、第1の予測ビューに存在する第1のホールおよび第2の予測ビューに存在する第2のホールを含む基準ホールレイヤを生成し、
前記基準ホールレイヤを復元し、
前記復元された基準ホールレイヤを用いて前記第1の予測ビューおよび前記第2の予測ビューそれぞれに存在する前記第1および第2のホールを除去するように構成されたプロセッサと、
前記第1および第2の予測ビューに基づいたマルチビューイメージをディスプレイするように構成されたマルチビューディスプレイと、
を含むことを特徴とするマルチビュー生成のためのマルチビューディスプレイ装置。 - 前記プロセッサは、
前記第1および第2のホールに前記復元された基準ホールレイヤの部分を挿入することにより、第1および第2の予測ビューに存在する前記第1および第2のホールを除去するように構成されている、
ことを特徴とする請求項21に記載のマルチビュー生成のためのマルチビューディスプレイ装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20100083570 | 2010-08-27 | ||
KR10-2010-0083570 | 2010-08-27 | ||
PCT/KR2011/006285 WO2012026768A2 (en) | 2010-08-27 | 2011-08-25 | Rendering apparatus and method for generating multi-views |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013545149A JP2013545149A (ja) | 2013-12-19 |
JP5784729B2 true JP5784729B2 (ja) | 2015-09-24 |
Family
ID=45696564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013525832A Active JP5784729B2 (ja) | 2010-08-27 | 2011-08-25 | マルチビュー生成のためのレンダリング装置およびその方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9147281B2 (ja) |
EP (1) | EP2609575B1 (ja) |
JP (1) | JP5784729B2 (ja) |
KR (1) | KR101895327B1 (ja) |
CN (1) | CN102687178B (ja) |
WO (1) | WO2012026768A2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140039649A (ko) | 2012-09-24 | 2014-04-02 | 삼성전자주식회사 | 다시점 영상 생성 방법 및 다시점 영상 디스플레이 장치 |
KR101918030B1 (ko) * | 2012-12-20 | 2018-11-14 | 삼성전자주식회사 | 하이브리드 멀티-뷰 랜더링 방법 및 장치 |
KR102156402B1 (ko) * | 2013-11-05 | 2020-09-16 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
EP3511147B1 (en) * | 2014-09-29 | 2020-11-11 | Nichia Corporation | Method for manufacturing package, method for manufacturing light emitting device, package and light emitting device |
US10726593B2 (en) * | 2015-09-22 | 2020-07-28 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
KR102350235B1 (ko) | 2014-11-25 | 2022-01-13 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
CN106028020B (zh) * | 2016-06-21 | 2017-11-17 | 电子科技大学 | 一种基于多方向预测的虚拟视角图像空洞填补方法 |
CN110895793B (zh) * | 2018-09-13 | 2022-06-14 | 阿里巴巴(中国)有限公司 | 图像处理方法、装置及存储介质 |
US11570418B2 (en) | 2021-06-17 | 2023-01-31 | Creal Sa | Techniques for generating light field data by combining multiple synthesized viewpoints |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5530774A (en) * | 1994-03-25 | 1996-06-25 | Eastman Kodak Company | Generation of depth image through interpolation and extrapolation of intermediate images derived from stereo image pair using disparity vector fields |
JP3826236B2 (ja) * | 1995-05-08 | 2006-09-27 | 松下電器産業株式会社 | 中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置 |
JP3769850B2 (ja) * | 1996-12-26 | 2006-04-26 | 松下電器産業株式会社 | 中間視点画像生成方法および視差推定方法および画像伝送方法 |
EP1833261A1 (en) * | 2002-01-18 | 2007-09-12 | Kabushiki Kaisha Toshiba | Video encoding method and apparatus and video decoding method and apparatus |
WO2005013623A1 (en) * | 2003-08-05 | 2005-02-10 | Koninklijke Philips Electronics N.V. | Multi-view image generation |
KR100655465B1 (ko) | 2004-08-30 | 2006-12-08 | 중앙대학교 산학협력단 | 실시간 중간 시점 영상 보간 방법 |
KR100590025B1 (ko) | 2004-12-30 | 2006-06-14 | 전자부품연구원 | 다시점 정방향 카메라 배열 기반 디스플레이를 위한중간영상합성 방법 및 그 장치 |
ES2323287T3 (es) * | 2005-01-12 | 2009-07-10 | Koninklijke Philips Electronics N.V. | Percepcion de profundidad. |
KR100731979B1 (ko) | 2005-10-18 | 2007-06-25 | 전자부품연구원 | 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체 |
KR100745691B1 (ko) | 2005-12-08 | 2007-08-03 | 한국전자통신연구원 | 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법 |
JP5011319B2 (ja) * | 2006-02-28 | 2012-08-29 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像における指向性の穴埋め |
KR101058092B1 (ko) * | 2007-02-13 | 2011-08-24 | 삼성전자주식회사 | 방향성 표시 장치 및 표시 시스템용 서브픽셀 레이아웃 및 서브픽셀 렌더링 방법 |
JP4958233B2 (ja) * | 2007-11-13 | 2012-06-20 | 学校法人東京電機大学 | 多眼視画像作成システム及び多眼視画像作成方法 |
KR100924716B1 (ko) | 2007-12-24 | 2009-11-04 | 연세대학교 산학협력단 | 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법 |
BRPI0910284A2 (pt) * | 2008-03-04 | 2015-09-29 | Thomson Licensing | vista de referência virtual |
KR20100008649A (ko) | 2008-07-16 | 2010-01-26 | 광주과학기술원 | 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체 |
KR101066550B1 (ko) | 2008-08-11 | 2011-09-21 | 한국전자통신연구원 | 가상시점 영상 생성방법 및 그 장치 |
KR101697598B1 (ko) * | 2008-10-27 | 2017-02-01 | 엘지전자 주식회사 | 가상 뷰 이미지 합성 방법 및 장치 |
KR20100083570A (ko) | 2009-01-14 | 2010-07-22 | 삼성전자주식회사 | 얼굴 인식 방법 |
-
2011
- 2011-08-25 JP JP2013525832A patent/JP5784729B2/ja active Active
- 2011-08-25 EP EP11820195.3A patent/EP2609575B1/en active Active
- 2011-08-25 WO PCT/KR2011/006285 patent/WO2012026768A2/en active Application Filing
- 2011-08-25 CN CN201180004611.8A patent/CN102687178B/zh active Active
- 2011-08-26 KR KR1020110085469A patent/KR101895327B1/ko active IP Right Grant
- 2011-08-26 US US13/218,989 patent/US9147281B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN102687178A (zh) | 2012-09-19 |
WO2012026768A3 (en) | 2012-05-18 |
US9147281B2 (en) | 2015-09-29 |
CN102687178B (zh) | 2016-04-20 |
EP2609575A4 (en) | 2015-05-06 |
EP2609575B1 (en) | 2019-02-27 |
EP2609575A2 (en) | 2013-07-03 |
US20120050283A1 (en) | 2012-03-01 |
KR20120020078A (ko) | 2012-03-07 |
JP2013545149A (ja) | 2013-12-19 |
WO2012026768A2 (en) | 2012-03-01 |
KR101895327B1 (ko) | 2018-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5784729B2 (ja) | マルチビュー生成のためのレンダリング装置およびその方法 | |
EP2477158B1 (en) | Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching | |
RU2519433C2 (ru) | Способ и система для обработки входного трехмерного видеосигнала | |
KR101697184B1 (ko) | 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법 | |
EP2451164B1 (en) | Improved view synthesis | |
US20130038600A1 (en) | System and Method of Processing 3D Stereoscopic Image | |
JP2005151534A5 (ja) | ||
JP7184748B2 (ja) | 場面の積層深度データを生成するための方法 | |
JP7285834B2 (ja) | 三次元再構成方法および三次元再構成装置 | |
KR20120137295A (ko) | 영상 처리를 위한 방법 및 장치 | |
JP6184062B2 (ja) | 映像処理のための方法及び装置 | |
EP2717247A2 (en) | Image processing apparatus and method for performing image rendering based on orientation of display | |
JP2007053621A (ja) | 画像生成装置 | |
WO2013128765A1 (ja) | 画像処理装置、画像処理方法およびコンピュータプログラム | |
JP5627498B2 (ja) | 立体画像生成装置及び方法 | |
US20120170841A1 (en) | Image processing apparatus and method | |
JP5906033B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
EP2541494B1 (en) | Method and apparatus for restoring resolution of multi-view image | |
JP5254297B2 (ja) | 画像処理装置 | |
TWI517096B (zh) | 用於立體影像合成之逆向深度映射方法 | |
KR101526868B1 (ko) | 스테레오 영상에 대한 다시점 영상 생성 장치 및 방법 | |
Tian et al. | A trellis-based approach for robust view synthesis | |
Kao | Design and Implementation of Stereoscopic Image Generation | |
JP6056459B2 (ja) | 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム | |
JP5431393B2 (ja) | 立体画像生成装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140519 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150623 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150722 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5784729 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |