JP6717576B2 - 映像レンダリング装置及び方法 - Google Patents
映像レンダリング装置及び方法 Download PDFInfo
- Publication number
- JP6717576B2 JP6717576B2 JP2015145009A JP2015145009A JP6717576B2 JP 6717576 B2 JP6717576 B2 JP 6717576B2 JP 2015145009 A JP2015145009 A JP 2015145009A JP 2015145009 A JP2015145009 A JP 2015145009A JP 6717576 B2 JP6717576 B2 JP 6717576B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- display
- model
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims description 162
- 238000000034 method Methods 0.000 title claims description 45
- 238000004590 computer program Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 138
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000012938 design process Methods 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000012886 linear function Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000009941 weaving Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/317—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Description
120:ディスプレイ部
130:映像レンダリング部
210:映像レンダリング装置
220:ディスパリティ推定部
230:映像レンダリング部
Claims (20)
- 複数のディスプレイピクセルを含むディスプレイ装置を介して表示される立体映像をレンダリングする映像レンダリング方法において、
入力映像に含まれた映像ピクセルのディスパリティを推定するステップと、
推定されたディスパリティに基づいて前記映像ピクセルの光線方向を決定するステップと、
前記映像ピクセルの視点方向に対応する視点方向を有する少なくとも1つのディスプレイピクセルに前記映像ピクセルのピクセル値を割り当てるステップであって、前記映像ピクセルの視点方向は、前記映像ピクセルのディスパリティに基づいて決定される、ステップと、
を含み、
前記映像ピクセルのピクセル値を割り当てるステップは、
前記ディスプレイピクセルの視点方向に対する第1モデルを取得するステップと、
前記映像ピクセルの光線方向に対する第2モデルを取得するステップと、
を含み、
前記割り当てるステップは、前記取得した第1モデル及び前記取得した第2モデルに基づき、
前記第1モデルは、各ディスプレイピクセルの位置と各ディスプレイピクセルの視点方向との間の関係に基づいたモデルであり、
前記第2モデルは、前記入力映像内の前記映像ピクセルの位置を基準として、前記映像ピクセルから出力される光線の方向をモデリングしたモデルである、
ことを特徴とする映像レンダリング方法。 - 前記映像ピクセルのピクセル値を割り当てるステップは、前記第1モデルと前記第2モデルと間の対応関係に基づいて、前記映像ピクセルの視点方向と同一の視点方向を有するディスプレイピクセルを識別し、前記識別されたディスプレイピクセルに前記映像ピクセルのピクセル値を割り当てるステップを含むことを特徴とする請求項1に記載の映像レンダリング方法。
- 前記映像ピクセルは複数の映像ピクセルのいずれか1つであり、
前記映像ピクセルのピクセル値を割り当てるステップは、
複数のディスプレイピクセルの視点方向に対する第1モデルを取得するステップと、
前記複数の映像ピクセルそれぞれの視点方向に関する第2モデルを取得するステップと、を含み、
前記割り当てるステップは、前記取得した第1モデル及び前記取得した第2モデルに基づくことを特徴とする請求項1または請求項2に記載の映像レンダリング方法。 - 前記映像ピクセルのピクセル値を割り当てるステップは、複数の映像ピクセルのピクセル値を補間し、補間されたピクセル値のいずれか1つを前記ディスプレイピクセルに割り当てるステップを含むことを特徴とする請求項3に記載の映像レンダリング方法。
- 前記複数のディスプレイピクセルそれぞれは、予め決定された個数の互いに異なる視点方向のいずれか1つの視点方向を有することを特徴とする請求項1ないし請求項4のいずれか一項に記載の映像レンダリング方法。
- 前記ディスプレイピクセルの視点方向は、前記ディスプレイ装置に含まれたレンチキュラーレンズの構造的な特徴に基づくことを特徴とする請求項1ないし請求項5のいずれか一項に記載の映像レンダリング方法。
- 前記ディスパリティを推定するステップは、前記入力映像に関する深度映像に含まれた深度情報を用いて前記映像ピクセルのディスパリティを推定するステップを含むことを特徴とする請求項1ないし請求項6のいずれか一項に記載の映像レンダリング方法。
- 前記ディスパリティを推定するステップは、参照映像と前記入力映像との間の視点差に基づいて、前記映像ピクセルのディスパリティを推定するステップを含むことを特徴とする請求項1ないし請求項7のいずれか一項に記載の映像レンダリング方法。
- 前記映像ピクセルのピクセル値を割り当てるステップは、多視点映像を生成しないことを特徴とする請求項1ないし請求項8のいずれか一項に記載の映像レンダリング方法。
- 前記映像ピクセルのピクセル値を割り当てるステップは、前記ディスプレイピクセルに前記映像ピクセルのピクセル値を直接割り当てることを特徴とする請求項1ないし請求項9のいずれか一項に記載の映像レンダリング方法。
- コンピュータに、請求項1ないし請求項10のいずれか一項に記載の方法を実行させるコンピュータプログラム。
- 複数のディスプレイピクセルを介して立体映像を表示するディスプレイ部であって、前記ディスプレイピクセルそれぞれは対応する視点方向を有するディスプレイ部と、
入力映像に含まれた映像ピクセルのディスパリティを推定し、推定されたディスパリティに基づいて前記映像ピクセルの光線方向を決定し、入力映像の映像ピクセルが有する視点方向に基づいて、決定された少なくとも1つのディスプレイピクセルに前記映像ピクセルのピクセル値を割り当てて前記立体映像をレンダリングする映像レンダリング部と、
を含み、
前記映像レンダリング部は、前記ディスプレイピクセルの視点方向に対する第1モデル及び前記映像ピクセルの光線方向に対する第2モデルを用いて、前記少なくとも1つのディスプレイピクセルを決定し、
前記第1モデルは、各ディスプレイピクセルの位置と各ディスプレイピクセルの視点方向との間の関係に基づいたモデルであり、
前記第2モデルは、前記入力映像内の前記映像ピクセルの位置を基準として、前記映像ピクセルから出力される光線の方向をモデリングしたモデルである、
ことを特徴とするディスプレイ装置。 - 前記映像ピクセルは複数の映像ピクセルのいずれか1つであり、
前記映像ピクセルの視点方向に関する第2モデルは、複数の映像ピクセルに関する複数の第2モデルのいずれか1つであり、
前記映像レンダリング部は、前記第1モデルと前記複数の第2モデルを用いて前記映像ピクセルのピクセル値を割り当てる少なくとも1つのディスプレイピクセルを決定することを特徴とする請求項12に記載のディスプレイ装置。 - 前記映像レンダリング部は、参照映像と前記入力映像との間の視点差に基づいて前記映像ピクセルのディスパリティを推定し、
前記映像ピクセルが有する視点方向は、前記推定されたディスパリティに基づくことを特徴とする請求項12または請求項13に記載のディスプレイ装置。 - 前記映像レンダリング部は、入力映像に関する深度映像に示された深度情報を用いて前記映像ピクセルのディスパリティを推定し、
前記映像ピクセルが有する視点方向は、前記推定されたディスパリティに基づくことを特徴とする請求項12ないし請求項14のいずれか一項に記載のディスプレイ装置。 - 前記ディスプレイ部は、前記ディスプレイピクセルの上部に備えられるレンチキュラーレンズを含み、
前記ディスプレイピクセルの視点方向は、前記レンチキュラーレンズに基づくことを特徴とする請求項12ないし請求項14のいずれか一項に記載のディスプレイ装置。 - 前記映像レンダリング部は、多視点映像を生成しないことを特徴とする請求項14ないし請求項16のいずれか一項に記載のディスプレイ装置。
- 前記映像レンダリング部は、前記ディスプレイピクセルに前記映像ピクセルのピクセル値を直接割り当てることを特徴とする請求項12ないし請求項17のいずれか一項に記載のディスプレイ装置。
- 入力映像に含まれた映像ピクセルのディスパリティを推定するディスパリティ推定部と、
推定されたディスパリティに基づいて前記映像ピクセルの光線方向を決定する光線方向決定部と、
前記映像ピクセルの視点方向に対応する視点方向を有する少なくとも1つのディスプレイピクセルに前記映像ピクセルのピクセル値を割り当てて立体映像をレンダリングする映像レンダリング部と、
を含み、
前記映像ピクセルの視点方向は、前記映像ピクセルのディスパリティに基づき、
前記映像レンダリング部は、
前記ディスプレイピクセルの視点方向に対する第1モデルを取得し、
前記映像ピクセルの光線方向に対する第2モデルを取得し、
前記取得した第1モデル及び前記取得した第2モデルに基づき前記ピクセル値を割り当て、
前記第1モデルは、各ディスプレイピクセルの位置と各ディスプレイピクセルの視点方向との間の関係に基づいたモデルであり、
前記第2モデルは、前記入力映像内の前記映像ピクセルの位置を基準として、前記映像ピクセルから出力される光線の方向をモデリングしたモデルである、
ことを特徴とする映像レンダリング装置。 - 前記映像レンダリング部は、前記映像ピクセルの視点方向及びディスプレイピクセルの視点方向に基づいて、複数のディスプレイピクセルのうち前記映像ピクセルのピクセル値を割り当てるディスプレイピクセルを探索し、
前記ディスプレイピクセルは、複数のディスプレイピクセルのいずれか1つであることを特徴とする請求項19に記載の映像レンダリング装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140096251A KR102240564B1 (ko) | 2014-07-29 | 2014-07-29 | 영상 렌더링 장치 및 방법 |
KR10-2014-0096251 | 2014-07-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016032298A JP2016032298A (ja) | 2016-03-07 |
JP6717576B2 true JP6717576B2 (ja) | 2020-07-01 |
Family
ID=52573610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015145009A Active JP6717576B2 (ja) | 2014-07-29 | 2015-07-22 | 映像レンダリング装置及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10721460B2 (ja) |
EP (1) | EP2981080B1 (ja) |
JP (1) | JP6717576B2 (ja) |
KR (1) | KR102240564B1 (ja) |
CN (1) | CN105323574B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102647351B1 (ko) * | 2017-01-26 | 2024-03-13 | 삼성전자주식회사 | 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치 |
EP4014484A4 (en) * | 2019-12-27 | 2022-10-12 | Samsung Electronics Co., Ltd. | ELECTRONIC DEVICE AND ITS CONTROL METHOD |
CN113490963A (zh) * | 2020-01-22 | 2021-10-08 | 华为技术有限公司 | 显示***、图形处理器gpu、显示控制器以及显示方法 |
CN111839681A (zh) * | 2020-07-08 | 2020-10-30 | 胡飞青 | 利用内容解析的压迫区域识别平台及方法 |
CN115022612B (zh) * | 2022-05-31 | 2024-01-09 | 北京京东方技术开发有限公司 | 一种显示装置的驱动方法、装置及显示设备 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003044880A (ja) * | 2001-07-31 | 2003-02-14 | Canon Inc | 立体画像形成装置、立体画像形成方法、プログラム、及び記憶媒体 |
US7113634B2 (en) * | 2001-07-31 | 2006-09-26 | Canon Kabushiki Kaisha | Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program |
JP3966830B2 (ja) | 2003-03-28 | 2007-08-29 | 株式会社東芝 | 立体表示装置 |
US7746377B2 (en) | 2003-11-28 | 2010-06-29 | Topcon Corporation | Three-dimensional image display apparatus and method |
CA2511040A1 (en) * | 2004-09-23 | 2006-03-23 | The Governors Of The University Of Alberta | Method and system for real time image rendering |
JP4212564B2 (ja) * | 2005-02-28 | 2009-01-21 | ザイオソフト株式会社 | 画像処理方法および画像処理プログラム |
JP4755565B2 (ja) | 2006-10-17 | 2011-08-24 | シャープ株式会社 | 立体画像処理装置 |
GB0716776D0 (en) | 2007-08-29 | 2007-10-10 | Setred As | Rendering improvement for 3D display |
JP4703635B2 (ja) | 2007-12-12 | 2011-06-15 | 株式会社日立製作所 | 立体視画像生成方法、その装置、及び立体視画像表示装置 |
KR100950046B1 (ko) * | 2008-04-10 | 2010-03-29 | 포항공과대학교 산학협력단 | 무안경식 3차원 입체 tv를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법 |
KR101105244B1 (ko) | 2010-03-11 | 2012-01-13 | 중앙대학교 산학협력단 | 3차원 격자구조에서의 교점을 이용한 곡면 모델링 장치 및 방법 |
JP5660361B2 (ja) | 2010-03-26 | 2015-01-28 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
EP2532166B1 (en) | 2010-04-01 | 2017-07-19 | Nokia Technologies Oy | Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair |
US8582865B2 (en) | 2010-04-28 | 2013-11-12 | General Electric Company | Ultrasound imaging with ray casting and software-based image reconstruction |
JP5594067B2 (ja) | 2010-11-02 | 2014-09-24 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP5002702B2 (ja) * | 2010-12-03 | 2012-08-15 | 株式会社東芝 | 視差画像生成装置、立体映像表示装置及び視差画像生成方法 |
IN2014CN03497A (ja) | 2011-11-09 | 2015-07-03 | Koninkl Philips Nv | |
JP6019568B2 (ja) | 2011-11-28 | 2016-11-02 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びに、プログラム |
CN103425806A (zh) | 2012-05-17 | 2013-12-04 | 鸿富锦精密工业(深圳)有限公司 | 三次元编程产品模拟***及方法 |
KR101402185B1 (ko) | 2012-06-01 | 2014-06-19 | 광운대학교 산학협력단 | 색상 성분 보정을 위한 특징점 기반 다시점 비디오의 전처리 방법 |
KR101944911B1 (ko) * | 2012-10-31 | 2019-02-07 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
-
2014
- 2014-07-29 KR KR1020140096251A patent/KR102240564B1/ko active IP Right Grant
-
2015
- 2015-01-07 US US14/591,184 patent/US10721460B2/en active Active
- 2015-02-18 EP EP15155620.6A patent/EP2981080B1/en active Active
- 2015-04-10 CN CN201510170809.3A patent/CN105323574B/zh active Active
- 2015-07-22 JP JP2015145009A patent/JP6717576B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
KR20160014260A (ko) | 2016-02-11 |
JP2016032298A (ja) | 2016-03-07 |
US20160037153A1 (en) | 2016-02-04 |
US10721460B2 (en) | 2020-07-21 |
KR102240564B1 (ko) | 2021-04-15 |
CN105323574A (zh) | 2016-02-10 |
EP2981080B1 (en) | 2019-04-17 |
CN105323574B (zh) | 2019-05-10 |
EP2981080A1 (en) | 2016-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6886253B2 (ja) | 複数のユーザのためのレンダリング方法及び装置 | |
KR102240568B1 (ko) | 영상 처리 방법 및 장치 | |
KR101944911B1 (ko) | 영상 처리 방법 및 영상 처리 장치 | |
JP6717576B2 (ja) | 映像レンダリング装置及び方法 | |
KR102370062B1 (ko) | 3차원 디스플레이 장치를 위한 보정 계수 결정 방법 및 그 방법을 이용한 3차원 디스플레이 장치 | |
KR101334187B1 (ko) | 다시점 렌더링 장치 및 방법 | |
KR20110049039A (ko) | 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법 | |
EP2787734B1 (en) | Apparatus and method for forming light field image | |
KR20170044953A (ko) | 무안경 3d 디스플레이 장치 및 그 제어 방법 | |
JP6655379B2 (ja) | 焦点スタックから適応スライス画像を生成する方法および装置 | |
KR20230106714A (ko) | 장면의 계층적 깊이 데이터를 생성하기 위한 방법 | |
US20170116777A1 (en) | Image processing method and apparatus | |
JP2006163547A (ja) | 立体画像生成プログラム、立体画像生成システム及び立体画像生成装置。 | |
KR101208767B1 (ko) | 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체 | |
JP7416573B2 (ja) | 立体画像生成装置及びそのプログラム | |
KR102006079B1 (ko) | 육각 렌즈를 이용한 집적영상 시스템의 시점영상 매핑 방법 | |
JP6595878B2 (ja) | 要素画像群生成装置及びそのプログラム | |
Ju Jeong et al. | 13.3: efficient direct light‐field rendering for autostereoscopic 3D displays | |
US20160163093A1 (en) | Method and apparatus for generating image | |
KR101831978B1 (ko) | 회전된 렌티큘러시트를 부착한 디스플레이에 표시되는 요소영상콘텐츠 생성 방법 | |
KR102608466B1 (ko) | 영상 처리 방법 및 영상 처리 장치 | |
JP2014186587A (ja) | 画像処理装置、画像処理装置の制御方法、及びプログラム | |
JP2012060512A (ja) | 多眼撮像装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180709 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200609 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200611 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6717576 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |