JP2015521407A - 3d映像を処理するための品質メトリク - Google Patents
3d映像を処理するための品質メトリク Download PDFInfo
- Publication number
- JP2015521407A JP2015521407A JP2015509552A JP2015509552A JP2015521407A JP 2015521407 A JP2015521407 A JP 2015521407A JP 2015509552 A JP2015509552 A JP 2015509552A JP 2015509552 A JP2015509552 A JP 2015509552A JP 2015521407 A JP2015521407 A JP 2015521407A
- Authority
- JP
- Japan
- Prior art keywords
- view
- image
- display
- video
- views
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
Claims (15)
- 三次元[3D]映像信号を処理するための3D映像装置であって、前記3D映像信号は3Dディスプレイ上に表示される3D画像データを含み、前記3Dディスプレイは、視聴者向けに3D効果を作り出すために複数のビューを必要とする、3D映像装置であり、
− 前記3D映像信号を受信するための受信機と、
− 前記複数のビューを前記3Dディスプレイにターゲティングするためのパラメータによって適合される前記3D画像データに基づいて少なくとも1つの処理済みビューを決定し、
前記処理済みビュー及び更なるビューの画像値の組合せに基づく、知覚される3D画像品質を示す品質メトリクを計算し、
前記パラメータの複数の値について前記決定及び計算を行うことに基づいて前記パラメータの好ましい値を決定する
ためのプロセッサと
を含む、3D映像装置。 - 前記更なるビューは、前記パラメータによって適合される前記3D画像データに基づき更に処理されるビュー、若しくは前記3D画像データ内で入手可能な2Dビューであり、又は、前記パラメータによって適合される前記3D画像データに基づき更に処理されるビューであって、前記処理済みビュー及び前記更に処理されるビューは、前記画像値の組合せを構成するためにインタリーブされる、請求項1に記載の3D映像装置。
- 前記プロセッサが、前記パラメータによって適合される前記3D画像データに基づき少なくとも第1のビュー及び第2のビューを求め、前記少なくとも第1のビュー及び第2のビューをインタリーブして前記処理済みビューを求める、又は前記プロセッサが最も左のビュー及び/又は最も右のビューに基づき前記処理済みビューを求め、前記複数のビューは前記最も左のビューから前記最も右のビューにわたる一連のビューを形成する、請求項1に記載の3D映像装置。
- 前記プロセッサが、前記画像値の組合せに対するピーク信号対雑音比の計算に基づき、又は前記画像値の組合せに対する鮮明度の計算に基づき前記品質メトリクを計算する、請求項1に記載の3D映像装置。
- 前記3D映像をターゲティングするための前記パラメータが、
− オフセット、
− 利得、
− スケーリングの種類
のうちの少なくとも1つを含む、請求項1に記載の3D映像装置。 - 前記プロセッサが、ボーダー領域を無視することにより、前記画像値の組合せの中央領域に基づき前記品質メトリクを計算し、又は対応する奥行き値に依存して前記画像値の組合せに重み付けを施すことにより前記品質メトリクを計算する、請求項1に記載の3D映像装置。
- 前記プロセッサが、前記処理済みビュー内の関心領域を決定し、前記関心領域を前記3Dディスプレイの好ましい奥行き範囲内で表示するために、前記関心領域内の前記画像値の組合せに重み付けを施すことにより前記品質メトリクを計算する、請求項1に記載の3D映像装置。
- 前記プロセッサが、前記関心領域を決定するための顔検出器を含む、請求項7に記載の3D映像装置。
- 前記プロセッサが、前記3D映像信号内のショットに依存して或る期間にわたる前記品質メトリクを計算する、請求項1に記載の3D映像装置。
- 前記プロセッサが、
− 前記画像値の組合せの行に沿って処理すること、
− 前記画像値の組合せの解像度を低減すること、
− 前記画像値の組合せにサブサンプリングパターン又はランダムサブサンプリングを適用すること
の少なくとも1つにより、前記画像値の組合せの部分集合に基づいて前記品質メトリクを計算する、請求項1に記載の3D映像装置。 - 前記受信機が、前記3D映像信号を受信するために記録担体を読み取るための読取りユニットを含む、請求項1に記載の3D映像装置。
- 前記装置が、
− 前記3D映像信号に基づき前記3D映像データの前記複数のビューを生成し、前記パラメータの前記好ましい値に依存して前記複数のビューを前記3Dディスプレイにターゲティングするためのビュープロセッサと、
− 前記ターゲティングされた複数のビューを表示するための前記3Dディスプレイと
を含む、請求項1に記載の3D映像装置。 - 三次元[3D]映像信号を処理する方法であって、前記3D映像信号は3Dディスプレイ上に表示される少なくとも第1の画像を含み、前記3Dディスプレイは、視聴者向けに3D効果を作り出すために複数のビューを必要とする、方法であり、
− 前記3D映像信号を受信するステップと、
− 前記複数のビューを前記3Dディスプレイにターゲティングするためのパラメータによって適合される前記3D画像データに基づいて少なくとも1つの処理済みビューを決定するステップと、
− 前記処理済みビュー及び更なるビューの画像値の組合せに基づく、知覚される3D画像品質を示す品質メトリクを計算するステップと、
− パラメータの複数の値について前記決定及び計算を行うことに基づいて前記パラメータの好ましい値を決定するステップと
を含む、方法。 - 前記更なるビューは、前記パラメータによって適合される前記3D画像データに基づき更に処理されるビュー、若しくは前記3D画像データ内で入手可能な2Dビューであり、又は、前記パラメータによって適合される前記3D画像データに基づき更に処理されるビューであって、前記処理済みビュー及び前記更に処理されるビューは、前記画像値の組合せを構成するためにインタリーブされる、請求項13に記載の方法。
- 三次元[3D]映像信号を処理するためのコンピュータプログラムであって、前記プログラムは請求項13に記載の方法のそれぞれのステップをプロセッサに実行させる、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261641352P | 2012-05-02 | 2012-05-02 | |
US61/641,352 | 2012-05-02 | ||
PCT/IB2013/053461 WO2013164778A1 (en) | 2012-05-02 | 2013-05-02 | Quality metric for processing 3d video |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015521407A true JP2015521407A (ja) | 2015-07-27 |
JP2015521407A5 JP2015521407A5 (ja) | 2016-06-23 |
JP6258923B2 JP6258923B2 (ja) | 2018-01-10 |
Family
ID=48626493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015509552A Expired - Fee Related JP6258923B2 (ja) | 2012-05-02 | 2013-05-02 | 3d映像を処理するための品質メトリク |
Country Status (5)
Country | Link |
---|---|
US (1) | US20150085073A1 (ja) |
EP (1) | EP2845384A1 (ja) |
JP (1) | JP6258923B2 (ja) |
CN (1) | CN104272729A (ja) |
WO (1) | WO2013164778A1 (ja) |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
KR101733443B1 (ko) * | 2008-05-20 | 2017-05-10 | 펠리칸 이매징 코포레이션 | 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리 |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US8514491B2 (en) | 2009-11-20 | 2013-08-20 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
US20130070060A1 (en) | 2011-09-19 | 2013-03-21 | Pelican Imaging Corporation | Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
JP6140709B2 (ja) | 2011-09-28 | 2017-05-31 | ペリカン イメージング コーポレイション | 明視野画像ファイルを符号化および復号するためのシステムおよび方法 |
US9412206B2 (en) | 2012-02-21 | 2016-08-09 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
KR20150023907A (ko) | 2012-06-28 | 2015-03-05 | 펠리칸 이매징 코포레이션 | 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들 |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
EP4296963A3 (en) | 2012-08-21 | 2024-03-27 | Adeia Imaging LLC | Method for depth detection in images captured using array cameras |
CN104685513B (zh) | 2012-08-23 | 2018-04-27 | 派力肯影像公司 | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 |
US20140092281A1 (en) | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating Images from Light Fields Utilizing Virtual Viewpoints |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
US9578259B2 (en) | 2013-03-14 | 2017-02-21 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
EP2973476A4 (en) | 2013-03-15 | 2017-01-18 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
WO2015074078A1 (en) | 2013-11-18 | 2015-05-21 | Pelican Imaging Corporation | Estimating depth from projected texture using camera arrays |
US9456134B2 (en) | 2013-11-26 | 2016-09-27 | Pelican Imaging Corporation | Array camera configurations incorporating constituent array cameras and constituent cameras |
US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
CA2952700A1 (en) * | 2014-06-19 | 2015-12-23 | Koninklijke Philips N.V. | Method and apparatus for generating a three dimensional image |
US10250871B2 (en) | 2014-09-29 | 2019-04-02 | Fotonation Limited | Systems and methods for dynamic calibration of array cameras |
CN106157285B (zh) * | 2015-04-03 | 2018-12-21 | 株式会社理光 | 用于选择用于视差计算的参数组的优选值的方法和*** |
US10237473B2 (en) * | 2015-09-04 | 2019-03-19 | Apple Inc. | Depth map calculation in a stereo camera system |
EP3345389B1 (en) * | 2015-09-05 | 2020-12-09 | LEIA Inc. | Supersampled 3d display with improved angular resolution |
US10620441B2 (en) * | 2016-12-14 | 2020-04-14 | Qualcomm Incorporated | Viewport-aware quality metric for 360-degree video |
US10776992B2 (en) * | 2017-07-05 | 2020-09-15 | Qualcomm Incorporated | Asynchronous time warp with depth data |
CN109147023A (zh) * | 2018-07-27 | 2019-01-04 | 北京微播视界科技有限公司 | 基于人脸的三维特效生成方法、装置和电子设备 |
WO2021055585A1 (en) | 2019-09-17 | 2021-03-25 | Boston Polarimetrics, Inc. | Systems and methods for surface modeling using polarization cues |
US11525906B2 (en) | 2019-10-07 | 2022-12-13 | Intrinsic Innovation Llc | Systems and methods for augmentation of sensor systems and imaging systems with polarization |
KR20230116068A (ko) | 2019-11-30 | 2023-08-03 | 보스턴 폴라리메트릭스, 인크. | 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법 |
WO2021154386A1 (en) | 2020-01-29 | 2021-08-05 | Boston Polarimetrics, Inc. | Systems and methods for characterizing object pose detection and measurement systems |
US11797863B2 (en) | 2020-01-30 | 2023-10-24 | Intrinsic Innovation Llc | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0927969A (ja) * | 1995-05-08 | 1997-01-28 | Matsushita Electric Ind Co Ltd | 複数画像の中間像生成方法及び視差推定方法および装置 |
JPH1032840A (ja) * | 1996-04-05 | 1998-02-03 | Matsushita Electric Ind Co Ltd | 多視点画像伝送方法および多視点画像表示方法 |
JP2001175863A (ja) * | 1999-12-21 | 2001-06-29 | Nippon Hoso Kyokai <Nhk> | 多視点画像内挿方法および装置 |
JP2003187261A (ja) * | 2001-12-14 | 2003-07-04 | Canon Inc | 3次元画像生成装置、3次元画像生成方法、立体画像処理装置、立体画像撮影表示システム、立体画像処理方法及び記憶媒体 |
JP2005073049A (ja) * | 2003-08-26 | 2005-03-17 | Sharp Corp | 立体映像再生装置および立体映像再生方法 |
JP2006211386A (ja) * | 2005-01-28 | 2006-08-10 | Konica Minolta Photo Imaging Inc | 立体画像処理装置、立体画像表示装置、及び立体画像生成方法 |
WO2011081646A1 (en) * | 2009-12-15 | 2011-07-07 | Thomson Licensing | Stereo-image quality and disparity/depth indications |
JP2012085284A (ja) * | 2010-09-23 | 2012-04-26 | Thomson Licensing | 3d映像コンテンツの調整 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6064424A (en) | 1996-02-23 | 2000-05-16 | U.S. Philips Corporation | Autostereoscopic display apparatus |
US8224067B1 (en) * | 2008-07-17 | 2012-07-17 | Pixar Animation Studios | Stereo image convergence characterization and adjustment |
WO2012109712A1 (en) * | 2011-02-18 | 2012-08-23 | National Ict Australia Limited | Image quality assessment |
-
2013
- 2013-05-02 US US14/397,404 patent/US20150085073A1/en not_active Abandoned
- 2013-05-02 JP JP2015509552A patent/JP6258923B2/ja not_active Expired - Fee Related
- 2013-05-02 WO PCT/IB2013/053461 patent/WO2013164778A1/en active Application Filing
- 2013-05-02 CN CN201380023230.3A patent/CN104272729A/zh active Pending
- 2013-05-02 EP EP13729086.2A patent/EP2845384A1/en not_active Withdrawn
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0927969A (ja) * | 1995-05-08 | 1997-01-28 | Matsushita Electric Ind Co Ltd | 複数画像の中間像生成方法及び視差推定方法および装置 |
JPH1032840A (ja) * | 1996-04-05 | 1998-02-03 | Matsushita Electric Ind Co Ltd | 多視点画像伝送方法および多視点画像表示方法 |
JP2001175863A (ja) * | 1999-12-21 | 2001-06-29 | Nippon Hoso Kyokai <Nhk> | 多視点画像内挿方法および装置 |
JP2003187261A (ja) * | 2001-12-14 | 2003-07-04 | Canon Inc | 3次元画像生成装置、3次元画像生成方法、立体画像処理装置、立体画像撮影表示システム、立体画像処理方法及び記憶媒体 |
JP2005073049A (ja) * | 2003-08-26 | 2005-03-17 | Sharp Corp | 立体映像再生装置および立体映像再生方法 |
JP2006211386A (ja) * | 2005-01-28 | 2006-08-10 | Konica Minolta Photo Imaging Inc | 立体画像処理装置、立体画像表示装置、及び立体画像生成方法 |
WO2011081646A1 (en) * | 2009-12-15 | 2011-07-07 | Thomson Licensing | Stereo-image quality and disparity/depth indications |
JP2012085284A (ja) * | 2010-09-23 | 2012-04-26 | Thomson Licensing | 3d映像コンテンツの調整 |
Also Published As
Publication number | Publication date |
---|---|
EP2845384A1 (en) | 2015-03-11 |
CN104272729A (zh) | 2015-01-07 |
WO2013164778A1 (en) | 2013-11-07 |
JP6258923B2 (ja) | 2018-01-10 |
US20150085073A1 (en) | 2015-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6258923B2 (ja) | 3d映像を処理するための品質メトリク | |
JP5859441B2 (ja) | 3dビデオにおける追加のビューを生成するための視点の選択 | |
TWI574544B (zh) | 基於顯著性之像差映射 | |
Zinger et al. | Free-viewpoint depth image based rendering | |
JP5647242B2 (ja) | 3dビデオ及び補助データの結合 | |
AU2011234163B2 (en) | 3D disparity maps | |
US20140285623A1 (en) | Depth map processing | |
US20130069942A1 (en) | Method and device for converting three-dimensional image using depth map information | |
US9654759B2 (en) | Metadata for depth filtering | |
JP5889274B2 (ja) | ディスパリティ値指標 | |
WO2010095080A1 (en) | Combining 3d image and graphical data | |
EP1839267A2 (en) | Depth perception | |
TWI624803B (zh) | 深度信號資料 | |
Lin et al. | A stereoscopic video conversion scheme based on spatio-temporal analysis of MPEG videos | |
TW201208344A (en) | System and method of enhancing depth of a 3D image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160428 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160428 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170501 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6258923 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |