CN108900825A - 一种2d图像到3d图像的转换方法 - Google Patents

一种2d图像到3d图像的转换方法 Download PDF

Info

Publication number
CN108900825A
CN108900825A CN201810933341.2A CN201810933341A CN108900825A CN 108900825 A CN108900825 A CN 108900825A CN 201810933341 A CN201810933341 A CN 201810933341A CN 108900825 A CN108900825 A CN 108900825A
Authority
CN
China
Prior art keywords
image
depth
rendering
original
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810933341.2A
Other languages
English (en)
Inventor
李建平
顾小丰
胡健
刘丹
李伟
王晓明
赖志龙
孙睿男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810933341.2A priority Critical patent/CN108900825A/zh
Publication of CN108900825A publication Critical patent/CN108900825A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种2D图像到3D图像的转换方法。本发明提出了将2D内容转换为3D内容的新的快速算法，既新颖又快速，并且降低了时间复杂度以及存储器复杂度，降低了计算成本，使高清图像/视频更加逼真，提高了深度图的质量，提高了3D输出的实时性。

Description

一种2D图像到3D图像的转换方法
技术领域
本发明涉及图像处理方法，具体涉及一种2D图像到3D图像的转换方法。
背景技术
如今，3D技术正变得非常流行，它极大地增强了人们在日常生活中的视觉体验，使这个词的使用变得非常普遍。由于它的高需求和普及，这一领域正受到人们的关注，其首要目的是创造高质量的视觉效果。但是它并不容易。因此，它涉及到为了达到预期目标而需要处理的具有挑战性的任务。现有的方法可以达到预期的目标，但要将2D内容转换为3D内容需要更多的时间。
但是与转换有关的另一个问题是生成的深度看起来是人为的，从而抑制了3D内容的现实特征。这会对图像/视频的整体显示产生严重的影响，同时也会给观看者带来健康弱点。
发明内容
针对现有技术中的上述不足，本发明提供的一种2D图像到3D图像的转换方法解决了将2D内容转换为3D内容需要更多时间，图像质量较差的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种2D图像到3D图像的转换方法，包括以下步骤：
S1、获取原始2D图像的深度图；
S2、通过DIBR单元将深度图和原始2D图像生成右图像和左图像；
S3、对左图像和右图像进行补孔填充，并调整左图像和右图像的大小为原始2D图像大小；
S4、合并左图像和右图像，生成3D图像。
进一步地：所述步骤S1的具体步骤为：
S11、缩小原始2D图像的大小生成收缩图像，所述原始2D图像的大小为720×1280，所述收缩图像的大小为320×360；
S12、将收缩图像的RGB转换到YCbCr，并右移2比特，转化公式为：
上式中，Y为颜色的亮度成分，Cb为蓝色的浓度偏移量成分，Cr为红色的浓度偏移量成分，R为红色成分，G为绿色成分，B为蓝色成分；
S13、对YCbCr图像进行近似边缘检测，得到正面深度图和边缘深度图，并合并正面深度图和边缘深度图，左移2比特后生成深度图。
进一步地：所述步骤S2中深度图和原始2D图像通过偏移计算后生成左图像和右图像，偏移值Xview的计算公式为：
在公式(4)中，Xc为中间视图的水平坐标，n为虚拟图的个数，δ为奇数或偶数，i为虚拟摄像机放置在中心的顺序，α为确定Xview左视图或右视图对应水平坐标所需的值，tx为左右虚拟摄像机之间的距离，f为相机焦距，vf为前景中的最小深度值或背景中的最大深度值，v为像素的深度值，α和δ的计算公式为:
在公式(5)中，Xl为左图像的水平坐标，Xr为右图像的水平坐标。
进一步地：所述步骤S3中的补孔填充通过2D高斯平滑滤波器完成。
本发明的有益效果为：本发明提出了将2D内容转换为3D内容的新的快速算法，既新颖又快速，并且降低了时间复杂度以及存储器复杂度，降低了计算成本，使高清图像/视频更加逼真，提高了深度图的质量，提高了3D输出的实时性。
附图说明
图1为本发明总流程图；
图2为本发明实施例中不同深度感知的测试图像；
图3为本发明实施例中不同深度感知测试图像的深度图像；
图4为本发明实施例中不同深度感知测试图像的左图像；
图5为本发明实施例中不同深度感知测试图像的右图像；
图6为本发明实施例中不同深度感知测试图像的3D图像；
图7为本发明与基于边缘算法和实时算法的结构相似度对比图；
图8为本发明与基于边缘算法和实时算法的峰值信噪比对比图；
图9为本发明与基于边缘算法和实时算法的相关性对比图；
图10为本发明测试图像的平均主观分析等级图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一种2D图像到3D图像的转换方法，包括以下步骤：
S1、获取原始2D图像的深度图，具体步骤为：
S11、缩小原始2D图像的大小生成收缩图像，所述原始2D图像的大小为720×1280，所述收缩图像的大小为320×360；
S12、将收缩图像的RGB转换到YCbCr，并右移2比特，转化公式为：
上式中，Y为颜色的亮度(luma)成分，Cb为蓝色的浓度偏移量成分，Cr为红色的浓度偏移量成分，R为红色成分，G为绿色成分，B为蓝色成分；
S13、对YCbCr图像进行近似边缘检测，得到正面深度图和边缘深度图，并合并正面深度图和边缘深度图，左移2比特后生成深度图。
S2、通过DIBR单元将深度图和原始2D图像生成右图像和左图像，深度图和原始2D图像通过偏移计算后生成左图像和右图像，偏移值Xview的计算公式为：
在公式(4)中，Xc为中间视图的水平坐标，n为虚拟图的个数，δ为奇数或偶数，i为虚拟摄像机放置在中心的顺序，α为确定Xview左视图或右视图对应水平坐标所需的值，tx为左右虚拟摄像机之间的距离，f为相机焦距，vf为前景中的最小深度值或背景中的最大深度值，v为像素的深度值，α和δ的计算公式为：
在公式(5)中，Xl为左图像的水平坐标，Xr为右图像的水平坐标。
S3、对左图像和右图像进行补孔填充，并调整左图像和右图像的大小为原始2D图像大小，补孔填充通过2D高斯平滑滤波器完成。
S4、合并左图像和右图像，生成3D图像。
本发明是通过使用MATLAB实现的，并且对不同的深度感知和不同的测试图像执行主观和客观分析。这里，通过应用本发明将不同的深度感知图像作为实验，生成结果。测试单元中的图像包括：电影图像、高深度图像、正面图像、自然图像和低深度图像。在算法层次上，分别进行了主观和客观两方面的分析。测试图像如图2所示。用于实验的所有图像具有不同的感知，在深度图像方法的基础上，我们能够获得测试图像的深度图像，图3显示了所有测试图像的深度信息。图4和图5显示了测试图像的左侧生成视图和右侧生成视图。从测试图像中我们可以看到测试图像的深度感知各不相同。每个图像都有不同的深度感知，提高了算法的可信度。对于具有不同深度感知的整套测试图像生成具有3D输出的结果，如图6所示。
客观分析为包括结构相似度(SSIM)、峰值信噪比(PSNR)和相关性分析。
本发明中结构相似度(SSIM)可以基于结构的像素来解释。它表示场景中物体的结构，与平均亮度和对比度无关。亮度可以作为像素的平均强度，其标准偏差是归一化的对比度和结构。结构相似性(SSIM)指数值介于0到1之间。本发明与基于边缘算法和实时算法的比较如图7所示，结构相似性(SSIM)的计算公式为：
在公式(7)中，SSIM(x,y)为，μx为图像X的均值，μy为图像Y的均值，C1为常数，σx,y为图像X和Y的协方差，σx为图像X的方差，σy为图像Y的方差，C2为常数，C1和C2对于自然图像为0。
本发明中峰值信噪比(PSNR)可以描述为信号的最大(最大)可能值(功率)与影响其描述质量的失真噪声功率之间的比率。PSNR通常根据对数分贝标度来描述。本发明与基于边缘算法和实时算法的比较如图8所示，峰值信噪比(PSNR)的计算公式为：
在公式(8)中，M为图像的高度，N为图像的宽度，为原图像与处理图像之间均方误差，图像颜色的最大值用8位采样点表示为255。
相关性是图像之间统计关系的比较度量，这导致相似度指数的测量。该参数可用于指示图像之间的关系，本发明与基于边缘算法和实时算法的比较如图9所示。
综上，本发明工作结果在时间和性能方面的表现上优于基于边缘算法和实时算法，记忆复杂度降低了39％。时间复杂度问题减少了35％
主观分析是一种用于检查所生成的输出的质量和视觉舒适能力的方法。在2D到3D转换中，主观分析也是一个非常重要的部分，因为它直接涵盖了生成的3D内容对人类健康的影响。通过使用此分析，我们可以检查生成的3D内容的视觉质量和深度。
如图10所示，(a)为测试图像的平均深度等级，(b)为平均视觉等级，在此分析中，平均分数是从20人的得分计算出来的。在本发明中，每幅图像生成的视觉评分在70-78之间。
根据ITU的主观分析，视觉评定等级范围从0到100，它被分为五组，这些组被标记为0-20非常不舒服，21-40不舒服，41-60轻度舒适，61-80舒适，81-100非常舒适。因此，通过提出的方法获得的范围属于舒适区域。因此，通过本方法从2D内容创建3D内容实现了有利的结果。
根据ITU的主观分析，每张图像的深度等级的类似生成得分在75-80之间，深度等级范围从0到100，并且还分为五组，0到20为坏，21-40为差，41-60为中等，61-80为好，最后81-100为优秀。
本发明的平均深度评级属于良好区域类别。因此，包括两个参数在内的主观分析表明，通过实现良好和舒适区域，结果表明，生成的深度是真实的视图，而不是虚拟深度。

Claims (4)

1.一种2D图像到3D图像的转换方法，其特征在于，包括以下步骤：
S1、获取原始2D图像的深度图；
S2、通过DIBR单元将深度图和原始2D图像生成右图像和左图像；
S3、对左图像和右图像进行补孔填充，并调整左图像和右图像的大小为原始2D图像大小；
S4、合并左图像和右图像，生成3D图像。
2.根据权利要求1所述的2D图像到3D图像的转换方法，其特征在于，所述步骤S1的具体步骤为：
S11、缩小原始2D图像的大小生成收缩图像，所述原始2D图像的大小为720×1280，所述收缩图像的大小为320×360；
S12、将收缩图像的RGB转换到YCbCr，并右移2比特，转化公式为：
上式中，Y为颜色的亮度成分，Cb为蓝色的浓度偏移量成分，Cr为红色的浓度偏移量成分，R为红色成分，G为绿色成分，B为蓝色成分；
S13、对YCbCr图像进行近似边缘检测，得到正面深度图和边缘深度图，并合并正面深度图和边缘深度图，左移2比特后生成深度图。
3.根据权利要求1所述的2D图像到3D图像的转换方法，其特征在于，所述步骤S2中深度图和原始2D图像通过偏移计算后生成左图像和右图像，偏移值Xview的计算公式为：
在公式(4)中，Xc为中间视图的水平坐标，n为虚拟图的个数，δ为奇数或偶数，i为虚拟摄像机放置在中心的顺序，α为确定Xview左视图或右视图对应水平坐标所需的值，tx为左右虚拟摄像机之间的距离，f为相机焦距，vf为前景中的最小深度值或背景中的最大深度值，v为像素的深度值，α和δ的计算公式为：
在公式(5)中，Xl为左图像的水平坐标，Xr为右图像的水平坐标。
4.根据权利要求1所述的2D图像到3D图像的转换方法，其特征在于，所述步骤S3中的补孔填充通过2D高斯平滑滤波器完成。
CN201810933341.2A 2018-08-16 2018-08-16 一种2d图像到3d图像的转换方法 Pending CN108900825A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810933341.2A CN108900825A (zh) 2018-08-16 2018-08-16 一种2d图像到3d图像的转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810933341.2A CN108900825A (zh) 2018-08-16 2018-08-16 一种2d图像到3d图像的转换方法

Publications (1)

Publication Number Publication Date
CN108900825A true CN108900825A (zh) 2018-11-27

Family

ID=64354669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810933341.2A Pending CN108900825A (zh) 2018-08-16 2018-08-16 一种2d图像到3d图像的转换方法

Country Status (1)

Country Link
CN (1) CN108900825A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110312117A (zh) * 2019-06-12 2019-10-08 北京达佳互联信息技术有限公司 数据刷新方法及装置
CN111970503A (zh) * 2020-08-24 2020-11-20 腾讯科技（深圳）有限公司 二维图像的三维化方法、装置、设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307312A (zh) * 2011-08-31 2012-01-04 四川虹微技术有限公司 一种对dibr技术生成的目标图像进行空洞填充的方法
CN102447927A (zh) * 2011-09-19 2012-05-09 四川虹微技术有限公司 一种有摄像机标定参数的三维图像变换方法
CN102790896A (zh) * 2012-07-19 2012-11-21 彩虹集团公司 一种2d转3d的转换方法
CN103714573A (zh) * 2013-12-16 2014-04-09 华为技术有限公司 一种生成虚拟视图的方法及装置
CN103903256A (zh) * 2013-09-22 2014-07-02 四川虹微技术有限公司 一种基于相对高度深度线索的深度估计方法
CN105069808A (zh) * 2015-08-31 2015-11-18 四川虹微技术有限公司 基于图像分割的视频图像深度估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307312A (zh) * 2011-08-31 2012-01-04 四川虹微技术有限公司 一种对dibr技术生成的目标图像进行空洞填充的方法
CN102447927A (zh) * 2011-09-19 2012-05-09 四川虹微技术有限公司 一种有摄像机标定参数的三维图像变换方法
CN102790896A (zh) * 2012-07-19 2012-11-21 彩虹集团公司 一种2d转3d的转换方法
CN103903256A (zh) * 2013-09-22 2014-07-02 四川虹微技术有限公司 一种基于相对高度深度线索的深度估计方法
CN103714573A (zh) * 2013-12-16 2014-04-09 华为技术有限公司 一种生成虚拟视图的方法及装置
CN105069808A (zh) * 2015-08-31 2015-11-18 四川虹微技术有限公司 基于图像分割的视频图像深度估计方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110312117A (zh) * 2019-06-12 2019-10-08 北京达佳互联信息技术有限公司 数据刷新方法及装置
CN110312117B (zh) * 2019-06-12 2021-06-18 北京达佳互联信息技术有限公司 数据刷新方法及装置
CN111970503A (zh) * 2020-08-24 2020-11-20 腾讯科技（深圳）有限公司 二维图像的三维化方法、装置、设备及计算机可读存储介质
WO2022042062A1 (zh) * 2020-08-24 2022-03-03 腾讯科技（深圳）有限公司 二维图像的三维化方法、装置、设备及计算机可读存储介质
JP2023519728A (ja) * 2020-08-24 2023-05-12 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 二次元画像の三次元化方法、装置、機器及びコンピュータプログラム
CN111970503B (zh) * 2020-08-24 2023-08-22 腾讯科技（深圳）有限公司 二维图像的三维化方法、装置、设备及计算机可读存储介质
JP7432005B2 (ja) 2020-08-24 2024-02-15 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 二次元画像の三次元化方法、装置、機器及びコンピュータプログラム

Similar Documents

Publication Publication Date Title
US10855909B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
CN104756491B (zh) 基于组合的深度提示从单视场图像生成深度图
US9030469B2 (en) Method for generating depth maps from monocular images and systems using the same
US8711204B2 (en) Stereoscopic editing for video production, post-production and display adaptation
US9591282B2 (en) Image processing method, image processing device, and electronic apparatus
CN111199518B (zh) Vr设备的图像呈现方法、装置、设备和计算机存储介质
US20110090216A1 (en) Pseudo 3D image creation apparatus and display system
TWI531212B (zh) 呈現立體影像之系統及方法
CN112884682A (zh) 一种基于匹配与融合的立体图像颜色校正方法及***
TWI457853B (zh) 提供深度資訊之影像處理方法及其影像處理系統
CN108022223A (zh) 一种基于对数映射函数分块处理融合的色调映射方法
WO2022126674A1 (zh) 立体全景图像的质量评价方法、***
IL257304A (en) Conversion of 2D to 3D video images
CN109345502A (zh) 一种基于视差图立体结构信息提取的立体图像质量评价方法
US10074209B2 (en) Method for processing a current image of an image sequence, and corresponding computer program and processing device
CN110866882A (zh) 基于深度置信度的分层联合双边滤波深度图修复算法
CN111292279A (zh) 一种基于彩色图像融合的偏振图像可视化方法
Jung A modified model of the just noticeable depth difference and its application to depth sensation enhancement
CN106686320B (zh) 一种基于数密度均衡的色调映射方法
CN108900825A (zh) 一种2d图像到3d图像的转换方法
CN105139368B (zh) 一种可用于机器视觉的混合型色调映射方法
CN111369435B (zh) 基于自适应稳定模型的彩色图像深度上采样方法及***
JP2013172214A (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2022036338A2 (en) System and methods for depth-aware video processing and depth perception enhancement
CN110060291B (zh) 一种考虑人因的立体视在距离解算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181127