CN106604013A - 图像及深度3d影像格式及其多视点裸眼3d显示方法 - Google Patents

图像及深度3d影像格式及其多视点裸眼3d显示方法 Download PDF

Info

Publication number
CN106604013A
CN106604013A CN201611262990.1A CN201611262990A CN106604013A CN 106604013 A CN106604013 A CN 106604013A CN 201611262990 A CN201611262990 A CN 201611262990A CN 106604013 A CN106604013 A CN 106604013A
Authority
CN
China
Prior art keywords
image
depth
map
multiple views
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611262990.1A
Other languages
English (en)
Inventor
方勇
石岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Evis Display Technology Co Ltd
Original Assignee
Wuxi Evis Display Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Evis Display Technology Co Ltd filed Critical Wuxi Evis Display Technology Co Ltd
Priority to CN201611262990.1A priority Critical patent/CN106604013A/zh
Publication of CN106604013A publication Critical patent/CN106604013A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明揭示了一种图像及深度3D影像格式及其多视点裸眼3D显示方法，所述方法包括如下步骤：S1.基于邻域相关性将深度图水平放大至图像相等；S2.将深度图按预设参数转换为视差图；S3.将视差图按照虚拟视点位置转换为虚拟视点视差图；S4.基于虚拟视点视差补偿的虚拟视点图像生成；S5.将生成的多视点3D图像按照多视点裸眼3D显示设备参数进行显示。本发明提出的图像及深度3D影像格式，可用更多的数据来描述图像信息，而用更少的数据来描述深度信息，从而获得更高的3D图像分辨率。同时提出其对应的多视点裸眼3D显示方法，可以获得逼真的3D显示效果。

Description

图像及深度3D影像格式及其多视点裸眼3D显示方法
技术领域
本发明属于3D显示技术领域，涉及一种3D影像格式，尤其涉及一种图像及深度3D影像格式；同时，本发明还涉及一种图像及深度3D影像格式的多视点裸眼3D显示方法。
背景技术
图像及深度3D影像格式是3D影像格式的一种，由图像及其对应深度信息组成。图像及深度3D影像格式相对3D显示来说是一种中间格式，目前并无3D显示设备可以直接显示图像及深度3D影像格式，如果是助视3D显示，如眼镜式3D显示，则需要将图像及深度3D影像格式转换为双视点3D格式，如左右格式；如果是裸眼3D显示，则需要将图像及深度3D影像格式转换为多视点3D格式，本发明中多视点裸眼3D显示涵盖超多视点裸眼3D显示。在助视3D显示领域，主流的双视点3D格式要优于图像及深度3D影像格式；而在裸眼3D显示领域，理论上图像及深度3D影像格式更适合多视点裸眼3D显示。
图像及深度3D影像格式由图像及深度组成，通常图像像素与深度信息一一对应，如图1所示。但是从图像与深度信息的统计特点以及人眼的视觉特点来看，这种处理方式未必是最优的，第一，深度信息的邻域相关性明显要强于图像信息，第二，人眼对深度信息的分辨力要显著低于图像信息，因此，深度信息可以用更少的数据来描述，而3D视觉效果上几乎没有变化。
有鉴于此，如今迫切需要设计一种新的图像及深度3D影像格式，以便克服现有格式存在的上述缺陷。
发明内容
本发明所要解决的技术问题是：提供一种图像及深度3D影像格式，可用更多的数据来描述图像信息，而用更少的数据来描述深度信息，从而获得更高的3D图像分辨率。
此外，本发明还提供一种图像及深度3D影像格式的多视点裸眼3D显示方法，可以获得逼真的3D显示效果。
为解决上述技术问题，本发明采用如下技术方案：
一种图像及深度3D影像格式，由图像及深度信息组成，所述3D影像格式包括：
图像与深度信息按水平分列，且图像与深度信息水平宽度比例为2:1；
图像像素由R、G、B颜色分量组成，形成彩色图像；
深度信息由R、G、B颜色分量组成，R、G、B相等且都等于深度值，形成灰度深度图。
作为本发明的一种优选方案，图像由原始图像按水平方向3:2下采样生成。
作为本发明的一种优选方案，深度图由与原始图像对应的原始深度图按水平方向3:1下采样生成。
作为本发明的一种优选方案，最大深度值对应最近点，最小深度值对应最远点。
一种图像及深度3D影像格式的多视点裸眼3D显示方法，所述方法包括如下步骤：
S1.基于邻域相关性将深度图水平放大至图像相等；
S2.将深度图按预设参数转换为视差图；
S3.将视差图按照虚拟视点位置转换为虚拟视点视差图；
S4.基于虚拟视点视差补偿的虚拟视点图像生成；
S5.将生成的多视点3D图像按照多视点裸眼3D显示设备参数进行显示。
作为本发明的一种优选方案，步骤S1中，基于邻域相关性将深度图水平放大按如下方式进行：j%2＝＝1，则j%2＝＝1如果当前像素与左边像素相似与右边像素不相似，则如果当前像素与左边像素不相似与右边像素相似，则否则其中D为深度图，i为行坐标，j为列坐标。
作为本发明的一种优选方案，步骤S2中，将深度图转换为视差图按如下方式进行：d(i，j)＝D(i，j)*(dn+df)-df，其中dn对应最近距离，df对应最远距离；视差图其中，k1、k2为系数，k1与双眼距离、显示屏像素大小相关，k2与观看距离、显示屏宽度相关。
作为本发明的一种优选方案，步骤S3中，视差图转换为虚拟视点视差图按如下方式进行：dispα(i，jα)＝-α*disp(i，j)，其中α为归一化[-1，1]之间的虚拟视点位置参数，最左边虚拟视点图像位置对应-1，最右边虚拟视点位置对应1；hα＝j+α*disp(i，j)。
作为本发明的一种优选方案，步骤S4中，虚拟视点图像生成按如下方式进行：Iα(i，j)＝I(i，j-dispα(i，j))，其中I为图像，Iα为虚拟视点图像。
作为本发明的一种优选方案，虚拟视点图像生成在水平方向进行线性插值。
本发明的有益效果在于：本发明提出的图像及深度3D影像格式，可用更多的数据来描述图像信息，而用更少的数据来描述深度信息，从而获得更高的3D图像分辨率。同时提出其对应的多视点裸眼3D显示方法，可以获得逼真的3D显示效果。
附图说明
图1为图像及深度3D影像格式示例。
图2为本发明提出的图像及深度3D影像格式示例。
图3为本发明提出的图像及深度3D影像格式的多视点裸眼3D显示流程。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
实施例一
图像及深度3D影像格式是适合多视点/超多视点裸眼3D显示的3D影像格式，通常图像与深度信息大小一致，图像分辨率只有影像格式分辨率的一半，如图1所示；这不是3D影像格式所期望的，因为相对图像特性来说，深度信息的空间相关性强于图像信息且人眼的深度分辨能力也要低于图像，因此可以用更多的数据来描述图像信息，而用更少的数据来描述深度信息，这样可以显著提高3D图像分辨率，而3D深度感知效果几乎不变。根据裸眼3D显示的特点以及显示屏的三基色特点，图像与深度信息的水平宽度比例设置为2:1是合适的选择，如1920x1080全高清图像，左边1280x1080放置图像，右边640x1080放置深度信息，如图2所示。
图像及深度3D影像格式是中间3D影像格式，在多视点裸眼3D显示设备上显示时，需要转换为多视点3D图像才能显示。本发明针对图像及深度3D影像格式，提出了一种优化的显示方法，邻域相关的深度图水平放大方法可以有效提高深度不连续区域的准确性；创造性地先转换视差图到虚拟视点再基于虚拟视点视差图生成虚拟视点图像，可有效提高虚拟视点图像的质量，改善视觉效果。
本发明揭示一种图像及深度3D影像格式，由图像及深度信息组成，所述3D影像格式包括：
(1)图像与深度信息按水平分列，且图像与深度信息水平宽度比例为2:1；
(2)图像像素由R、G、B颜色分量组成，形成彩色图像；
(3)深度信息由R、G、B颜色分量组成，R、G、B相等且都等于深度值，形成灰度深度图。
具体地，本实施例中图像由原始图像按水平方向3:2下采样生成。深度图由与原始图像对应的原始深度图按水平方向3:1下采样生成。最大深度值对应最近点，最小深度值对应最远点。
请参阅图3，本发明还揭示一种图像及深度3D影像格式的多视点裸眼3D显示方法，所述方法包括如下步骤：
S1.基于邻域相关性将深度图水平放大至图像相等；
S2.将深度图按预设参数转换为视差图；
S3.将视差图按照虚拟视点位置转换为虚拟视点视差图；
S4.基于虚拟视点视差补偿的虚拟视点图像生成；
S5.将生成的多视点3D图像按照多视点裸眼3D显示设备参数进行显示。
具体地，本实施例中，步骤S1中，基于邻域相关性将深度图水平放大按如下方式进行：j％2＝＝0，则j％2＝＝1，如果当前像素与左边像素相似与右边像素不相似，则如果当前像素与左边像素不相似与右边像素相似，则否则其中D为深度图，i为行坐标，j为列坐标。
步骤S2中，将深度图转换为视差图按如下方式进行：d(i，j)＝D(i，j)*(dn+df)-df，其中dn对应最近距离，df对应最远距离；视差图其中，k1、k2为系数，k1与双眼距离、显示屏像素大小相关，k2与观看距离、显示屏宽度相关。
步骤S3中，视差图转换为虚拟视点视差图按如下方式进行：dispα(i，jα)＝-α*disp(i，j)，其中α为归一化[-1，1]之间的虚拟视点位置参数，最左边虚拟视点图像位置对应-1，最右边虚拟视点位置对应1；jα＝j+α*disp(i，j)。
步骤S4中，虚拟视点图像生成按如下方式进行：Iα(i，j)＝I(i，j-dispα(i，j))，其中I为图像，Iα为虚拟视点图像。虚拟视点图像生成可以根据需要在水平方向进行线性插值。
综上所述，本发明提出的图像及深度3D影像格式，可用更多的数据来描述图像信息，而用更少的数据来描述深度信息，从而获得更高的3D图像分辨率。同时提出其对应的多视点裸眼3D显示方法，可以获得逼真的3D显示效果。
这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

Claims (10)

1.一种图像及深度3D影像格式，由图像及深度信息组成，其特征在于，所述3D影像格式包括：
图像与深度信息按水平分列，且图像与深度信息水平宽度比例为2:1；
图像像素由R、G、B颜色分量组成，形成彩色图像；
深度信息由R、G、B颜色分量组成，R、G、B相等且都等于深度值，形成灰度深度图。
2.根据权利要求1所述的图像及深度3D影像格式，其特征在于：
图像由原始图像按水平方向3:2下采样生成。
3.根据权利要求1所述的图像及深度3D影像格式，其特征在于：
深度图由与原始图像对应的原始深度图按水平方向3:1下采样生成。
4.根据权利要求1所述的图像及深度3D影像格式，其特征在于：
最大深度值对应最近点，最小深度值对应最远点。
5.一种图像及深度3D影像格式的多视点裸眼3D显示方法，其特征在于，所述方法包括如下步骤：
S1.基于邻域相关性将深度图水平放大至图像相等；
S2.将深度图按预设参数转换为视差图；
S3.将视差图按照虚拟视点位置转换为虚拟视点视差图；
S4.基于虚拟视点视差补偿的虚拟视点图像生成；
S5.将生成的多视点3D图像按照多视点裸眼3D显示设备参数进行显示。
6.根据权利要求5所述的图像及深度3D影像格式的多视点裸眼3D显示方法，其特征在于：
步骤S1中，基于邻域相关性将深度图水平放大按如下方式进行：j％2＝＝0，则j％2＝＝1，如果当前像素与左边像素相似与右边像素不相似，则如果当前像素与左边像素不相似与右边像素相似，则否则其中D为深度图，i为行坐标，j为列坐标。
7.根据权利要求5所述的图像及深度3D影像格式的多视点裸眼3D显示方法，其特征在于：
步骤S2中，将深度图转换为视差图按如下方式进行：d(i，j)＝D(i，j)*(dn+df)-df，其中dn对应最近距离，df对应最远距离；视差图其中，k1、k2为系数，k1与双眼距离、显示屏像素大小相关，k2与观看距离、显示屏宽度相关。
8.根据权利要求5所述的图像及深度3D影像格式的多视点裸眼3D显示方法，其特征在于：
步骤S3中，视差图转换为虚拟视点视差图按如下方式进行：
dispα(i，jα)＝-α*disp(i，j)，其中α为归一化[-1，1]之间的虚拟视点位置参数，最左边虚拟视点图像位置对应-1，最右边虚拟视点位置对应1；jα＝j+α*disp(i，j)。
9.根据权利要求5所述的图像及深度3D影像格式的多视点裸眼3D显示方法，其特征在于：
步骤S4中，虚拟视点图像生成按如下方式进行：Iα(i，j)＝I(i，j-dispα(i，j))，其中I为图像，Iα为虚拟视点图像。
10.根据权利要求9所述的图像及深度3D影像格式的多视点裸眼3D显示方法，其特征在于：
虚拟视点图像生成在水平方向进行线性插值。
CN201611262990.1A 2016-12-30 2016-12-30 图像及深度3d影像格式及其多视点裸眼3d显示方法 Pending CN106604013A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611262990.1A CN106604013A (zh) 2016-12-30 2016-12-30 图像及深度3d影像格式及其多视点裸眼3d显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611262990.1A CN106604013A (zh) 2016-12-30 2016-12-30 图像及深度3d影像格式及其多视点裸眼3d显示方法

Publications (1)

Publication Number Publication Date
CN106604013A true CN106604013A (zh) 2017-04-26

Family

ID=58583200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611262990.1A Pending CN106604013A (zh) 2016-12-30 2016-12-30 图像及深度3d影像格式及其多视点裸眼3d显示方法

Country Status (1)

Country Link
CN (1) CN106604013A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483910A (zh) * 2017-07-14 2017-12-15 清华大学 一种长距离裸眼立体显示方法及其***
CN111507266A (zh) * 2020-04-17 2020-08-07 四川长虹电器股份有限公司 一种基于深度图像的人体检测方法和装置
CN112929641A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 3d图像显示方法、3d显示设备
CN113891061A (zh) * 2021-11-19 2022-01-04 深圳市易快来科技股份有限公司 一种裸眼3d显示方法及显示设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483910A (zh) * 2017-07-14 2017-12-15 清华大学 一种长距离裸眼立体显示方法及其***
CN107483910B (zh) * 2017-07-14 2019-03-01 清华大学 一种长距离裸眼立体显示方法及其***
CN112929641A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 3d图像显示方法、3d显示设备
CN112929641B (zh) * 2019-12-05 2023-06-20 北京芯海视界三维科技有限公司 3d图像显示方法、3d显示设备
CN111507266A (zh) * 2020-04-17 2020-08-07 四川长虹电器股份有限公司 一种基于深度图像的人体检测方法和装置
CN113891061A (zh) * 2021-11-19 2022-01-04 深圳市易快来科技股份有限公司 一种裸眼3d显示方法及显示设备
CN113891061B (zh) * 2021-11-19 2022-09-06 深圳市易快来科技股份有限公司 一种裸眼3d显示方法及显示设备

Similar Documents

Publication Publication Date Title
JP6147275B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
US20140111627A1 (en) Multi-viewpoint image generation device and multi-viewpoint image generation method
CN106604013A (zh) 图像及深度3d影像格式及其多视点裸眼3d显示方法
US10229528B2 (en) Method for visualizing three-dimensional images on a 3D display device and 3D display device
WO2011052389A1 (ja) 画像処理装置及び画像処理方法
EP2469870A2 (en) Image processing device, image processing method, and program
US10115207B2 (en) Stereoscopic image processing method and apparatus thereof
JP2009124308A (ja) 多眼視画像作成システム及び多眼視画像作成方法
CN102932664B (zh) 裸眼3d电视墙视频播放方法
CN102325259A (zh) 多视点视频中虚拟视点合成方法及装置
US9172939B2 (en) System and method for adjusting perceived depth of stereoscopic images
KR20130137000A (ko) 화상 처리 장치 및 화상 처리 방법, 및 프로그램
Bosc et al. A quality assessment protocol for free-viewpoint video sequences synthesized from decompressed depth data
US20120229600A1 (en) Image display method and apparatus thereof
Zhou et al. A unified method for crosstalk reduction in multiview displays
CN103414907B (zh) 一种可改善3d显示器串扰的方法
CN107483912A (zh) 一种基于浮点型柱状透镜光栅的多视点图像融合方法
CN101304541B (zh) 基于柱镜光栅lcd自由立体显示设备的通用立体图像分解方法
US9521428B2 (en) Method, device and system for resizing original depth frame into resized depth frame
CN103369336A (zh) 一种设备和方法
CN109345444A (zh) 深度感知增强的超分辨率立体图像构建方法
US20140063206A1 (en) System and method of viewer centric depth adjustment
CN113302549A (zh) 自动立体显示器
CN102780900B (zh) 一种多人多视角立体显示器影像显示方法
KR20120087867A (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170426