CN104301706B - 一种增强裸眼立体显示效果的合成方法 - Google Patents

一种增强裸眼立体显示效果的合成方法 Download PDF

Info

Publication number
CN104301706B
CN104301706B CN201410533537.4A CN201410533537A CN104301706B CN 104301706 B CN104301706 B CN 104301706B CN 201410533537 A CN201410533537 A CN 201410533537A CN 104301706 B CN104301706 B CN 104301706B
Authority
CN
China
Prior art keywords
parallax
image
information
bore hole
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410533537.4A
Other languages
English (en)
Other versions
CN104301706A (zh
Inventor
曾超
廖巍巍
梁园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan Hui Ren Corelle Intelligent Technology Co., Ltd.
Original Assignee
CHENGDU SEEFELD SCIENCE & TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHENGDU SEEFELD SCIENCE & TECHNOLOGY Co Ltd filed Critical CHENGDU SEEFELD SCIENCE & TECHNOLOGY Co Ltd
Priority to CN201410533537.4A priority Critical patent/CN104301706B/zh
Publication of CN104301706A publication Critical patent/CN104301706A/zh
Application granted granted Critical
Publication of CN104301706B publication Critical patent/CN104301706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉一种可以增强裸眼立体显示效果的合成方法，包括:a.根据不同的输入数据进行不同的深度信息获取；b.如果是双目数据，则通过特征匹配，建立能量函数来获得最优视差；c.如果是图像+深度信息，则提取视差信息并进行滤波去噪获取最优视差；d.对深度信息进行分割，划分并标记不同的区域；e.对每一块区域重新预估最优视差；f.调整视差偏移参数得到合适的深度空间；g.根据绘制规则合成多视点图像，输出到裸眼电视上。本发明能够有效解决裸眼电视立体效果不佳的显示问题。并且在各种分辨率下都能够有效合成景深和出屏感都非常强的多视点图像。同时解决了合成多个视点计算量庞大的问题，减少了计算多视点图像中重复计算无效视点的问题。

Description

一种增强裸眼立体显示效果的合成方法
技术领域
本发明涉及视差计算，图像分割和多视点合成技术领域，尤其涉及一种增强裸眼立体显示效果的合成方法。
背景技术
随着电视产业相关技术的不断发展，立体电视逐渐进入人们的视野，立体电视的实现将是继数字电视后的又一场重大革命，它的完全实现将是从摄像到显像的重大进步，立体电视是完全建立在数字技术、计算机技术和网络技术上的一个整体集成***。
立体电视是一种能够模拟实际景物的真实空间关系的电视***。又称三维电视(Threedimensionaltelevision,3DTV)。立体电视图像不仅能给观众一种深度感觉，而且能给观众一种景物伸展于屏幕之外似乎触手可及的感觉。立体电视与现行普通电视的区别是，现行电视只传送一个视点的二维图像信息，而立体电视传送的是多视点的图像信息。人们在观看物体时用两只眼睛同时观看一个物体的图像，不同深度的物体在左右两眼中形成图像的视差不同，大脑则根据这些视差的区别融像出不同的深度和距离，从而产生三维的立体感官。
裸眼3D电视既是立体电视的一种前沿产品，有别于传统的戴眼镜式立体电视，裸眼3D电视利用人两眼具有视差的特性，在不需要任何辅助设备（如3D眼睛、头盔等）的情况下，即可获得具有空间和深度的逼真立体影像，是真正意义上的三维立体显示技术。不过现有的裸眼3D电视普遍立体效果不强，特别是在高分辨率下，观众立体效果感官不佳。
发明内容
本发明的目的是克服现有技术中存在的不足，提供一种增强裸眼立体显示效果的合成方法。该方法能够大幅度提升裸眼电视的立体显示效果，并且在各种分辨率下都能够给观众带来更佳的立体影像效果。
本发明的技术方案为：一种增强裸眼立体显示效果的合成方法，其中包括视差获取单元，深度空间合成单元，多视点图像合成单元，方法流程图见图1。其中视差获取单元可以接收两种数据格式：双目影像格式和“视频+深度”（video+depth，VD）格式。
所述视差获取单元可以根据不同的输入图像格式分别获取相应的视差信息。视差获取单元包括双目视差获取单元和VD视差获取单元。
所述双目视差获取单元：根据输入的图像数据进行分图，分为左视图和右视图，并结合立体匹配对左右视图进行计算，得到相应的视差信息。
所述VD视差获取单元：根据输入的图像数据进行分图，分离出原始数据中的深度信息，结合预处理得到相应的视差信息。
所述深度空间合成单元：重建出图像数据所对应的深度空间，根据图像分割划分出不同的区域，重新划分不同区域的深度信息并进行归一化。观众可以自己调节深度空间，以达到更佳符合观众的立体感受。
所述多视点图像合成单元：根据虚拟视点绘制方法合成多视点图像。
按照本发明提供的技术方案，所述增强裸眼立体显示效果的合成方法包括如下步骤：1） 视差获取单元获取原始数据图像信息，针对不同的输入格式选择对应的单元。如果输入数据是双目图像，则进行双目视差获取单元，如果输入数据时视频+深度，则进行VD视差获取单元。
2） 具体的，双目视差获取单元分离左右路视图ImgL和ImgR，在对ImgL和ImgR滤波缩放之后在设置的视差范围内[-α，α]计算匹配代价分别得到轮廓梯度和色彩梯度，α是最大允许视差，其中当像素视差角度 ，根据色彩梯度来建立能量函数，，根据轮廓梯度来建立能量函数，通过计算最小全局能量函数得到最优视差信息。
3） 具体的，VD视差获取单元提取出原始数据本身包含的深度信息，在该单元需要对提取的深度信息进行进一步的滤波去噪，已得到准确的深度信息。按照符合虚拟视点合成规范，将深度信息转换为原始图像的视差信息。
4） 进一步的，所述深度空间合成单元对视差获取单元得到的视差信息进行处理。在该单元中，需要将视差信息转换为空间深度信息，映射原始数据。
5） 具体的，在转换深度空间深度信息中，需要对视差信息进行边缘图像分割，确定每一块分割区域的最佳视差平面参数ω。针对需要生成N视点的深度空间，,其中scale（N）为第N个视差的相对偏移系数，观众可以通过调整scale（N）来获得更佳的裸眼3D感受。
6） 进一步的，多视点图像合成单元根据深度空间按照虚拟视点合成公式合成最终的多视点图像并输出到裸眼电视显示屏上。
本发明所要解决的技术问题：提供一种增强裸眼立体显示效果的合成方法。该方法能够有效解决裸眼电视立体效果不佳的显示问题。并且在各种分辨率下都能够有效合成景深和出屏感都非常强的多视点图像。同时解决了合成多个视点计算量庞大的问题，减少了计算多视点图像中重复计算无效视点的问题。
附图说明
下面结合附图和具体例子对本发明作进一步详细的描述。
附图1为增强裸眼立体显示效果的合成方法的流程图。
附图2为双目视差获取单元的***框图。
附图3为VD视差获取单元的***框图。
附图4为深度空间合成单元的***框图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明：
如图1所示本方法包括101视差获取单元，102深度空间合成单元和103多视点图像合成单元。
图2中201模块接收双目图像数据，将双目图像分成左右两路图像ImgL和ImgR。左右两路图像要保持分辨率一致，如不一致需要对ImgL和ImgR进行图像缩放，以保证左右图像分辨率大小一样。图202模块特征匹配将对左右两路图像进行特征匹配检测，在设置的允许视差[-α，α]内执行SIFT算法（Scale Invariant Feature Transform，尺度不变特征变换），生成基于SIFT的特征向量。在特征匹配模块通过建立高斯金字塔来的到图像的尺度空间信息，, 其中：Img（x,y）为图像ImgL或ImgR上的点，是对Img(x,y)高斯滤波后的信息,n是高斯金字塔的层数,σ为尺度空间因子，σ值越大越能代表图像的概貌特征，σ越小更能代表图像的细节特征。建立好尺度空间后，利用同一阶上的两个相邻的两层的尺度空间函数之差得DOG（Difference Of Gaussian）高斯金字塔的一层。,其中k是高斯金字塔中两个相邻层之间的尺度比例，优选的本方法设为0.5。通过检测DOG空间的局部极值点得到一个预估视差β的集合f，在模块203中如果，根据色彩梯度来建立能量函数， ，根据轮廓梯度来建立能量函数。基于视差的能量函 ,其中,p和q是像素的位置，N代表了图像中的p，q坐标关系，V是衡量不一致程度的相关函数，D是衡量f与正确视差分类误差的函数。图204色彩梯度模块中，V由左右两路图像的R,G,B像素差信息得到。图205轮廓梯度模块中，V由左右两路图像的灰度梯度信息差得到。图206模块中，E（f）最小的全局能量分布就是原始图像最优的视差分布。
图3中301模块接收视频+深度格式的图像数据，302模块提取VD格式数据的深度信息。由于在视频编码过程中会产生各种噪音例如块效应等，所以303模块需要对原始深度信息进行滤波去噪，本方法采用加窗中值滤波，有效的去处了和高斯噪音混合的情况。304模块中将去噪后的深度信息平滑处理，保留完整的深度轮廓得到最优的视差信息。
深度空间合成单元102需要对最优视差处理得到深度空间信息集合 。首先对最优视差进行分割，分割采用边缘分割的方法，通过检测视差信息的边缘划分出不同的视差区域。将每个区域的视差值排序，选择中值作为最佳视差平面参数ω，对每一个分割区域用最佳视差平面参数ω对分割区域内所有视差重新预估。针对需要生成N视点的深度空间，,其中Zone 即是每一个区域序号，scale(N)为第N个视差的相对偏移系数。图4中A区域和B区域是不同的两个分割后的深度区域，A区域和B区域的深度空间最佳视差平面分别为DV(a)和DV(b)，A区域和B区域的空间距离 。通过改变scale（N），A区域和B区域的空间距离可以成比例改变。图4中A与B的Dis可以有效的影响最终原始图像中场景远近，用户通过改变 scale（N），可以选择合适参数来到达更好的立体效果。
多视点图像合成单元103，将和原始图像按照多视点合成规则合成多视点图像，并将合成好的多视点图像输出到裸眼电视上，呈现给观众有立体效果的视频图像。

Claims (1)

1.一种增强裸眼立体显示效果的合成方法，其特征具体包括：
a.视差获取单元获取原始数据图像信息，针对不同的输入格式选择对应的单元；
b.如果输入数据是双目立体图像，则选择双目视差获取单元，将双目立体图像分成左右两路图像并在允许视差内执行对左右两路图像进行特征匹配检测，再通过色彩梯度或轮廓梯度来构建能量函数，获得最小全局能量分布；如果输入数据是“视频+深度”格式，则选择VD视差获取单元，提取VD格式数据的深度信息并对原始深度信息进行滤波去噪和平滑处理；
c.对上述步骤获取的视差信息进行边缘图像分割，通过检测视差信息的边缘划分出不同的视差区域，对每个分割区域标记，将每个区域的视差值排序，选择中值作为最佳视差平面参数，对每一个分割区域用最佳视差平面参数对分割区域内所有视差重新预估，为视差的相对偏移参数，对应N个视点的深度空间合成公式为；
d.上述步骤中可以通过设置来调节每个视差区域之间的空间距离从而生成合适的深度空间；
e.将深度空间信息和原始图像按照多视点合成规则合成多视点图像，并将合成好的多视点图像输出到裸眼立体显示设备上。
CN201410533537.4A 2014-10-11 2014-10-11 一种增强裸眼立体显示效果的合成方法 Active CN104301706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410533537.4A CN104301706B (zh) 2014-10-11 2014-10-11 一种增强裸眼立体显示效果的合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410533537.4A CN104301706B (zh) 2014-10-11 2014-10-11 一种增强裸眼立体显示效果的合成方法

Publications (2)

Publication Number Publication Date
CN104301706A CN104301706A (zh) 2015-01-21
CN104301706B true CN104301706B (zh) 2017-03-15

Family

ID=52321241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410533537.4A Active CN104301706B (zh) 2014-10-11 2014-10-11 一种增强裸眼立体显示效果的合成方法

Country Status (1)

Country Link
CN (1) CN104301706B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820981B (zh) * 2015-04-22 2017-10-31 上海交通大学 一种基于视差分层分割的图像立体表示方法及***
CN105812767B (zh) * 2016-03-17 2017-11-10 北京邮电大学 一种基于多频带分解的立体显示深度调整方法及装置
CN108195563B (zh) * 2017-12-29 2020-04-28 深圳超多维科技有限公司 一种立体显示装置的显示效果测评方法、装置和测评终端
CN109522866A (zh) * 2018-11-29 2019-03-26 宁波视睿迪光电有限公司 裸眼3d图像处理方法、装置以及设备
CN114095717A (zh) * 2021-09-24 2022-02-25 锋芒科技南京有限公司 一种光场片源合成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101322155A (zh) * 2005-12-02 2008-12-10 皇家飞利浦电子股份有限公司 立体图像显示方法和设备、从2d图像数据输入产生3d图像数据的方法以及从2d图像数据输入产生3d图像数据的设备
CN103269435A (zh) * 2013-04-19 2013-08-28 四川长虹电器股份有限公司 双目转多目虚拟视点合成方法
CN103384337A (zh) * 2012-05-02 2013-11-06 索尼公司 图像处理装置和图像处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100517517B1 (ko) * 2004-02-20 2005-09-28 삼성전자주식회사 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101322155A (zh) * 2005-12-02 2008-12-10 皇家飞利浦电子股份有限公司 立体图像显示方法和设备、从2d图像数据输入产生3d图像数据的方法以及从2d图像数据输入产生3d图像数据的设备
CN103384337A (zh) * 2012-05-02 2013-11-06 索尼公司 图像处理装置和图像处理方法
CN103269435A (zh) * 2013-04-19 2013-08-28 四川长虹电器股份有限公司 双目转多目虚拟视点合成方法

Also Published As

Publication number Publication date
CN104301706A (zh) 2015-01-21

Similar Documents

Publication Publication Date Title
CN104301706B (zh) 一种增强裸眼立体显示效果的合成方法
Tam et al. 3D-TV content generation: 2D-to-3D conversion
CN102802005B (zh) 三维视频内容产生方法
CN102592275B (zh) 虚拟视点绘制方法
CN109242954B (zh) 基于模板变形的多视角三维人体重建方法
CN102026013B (zh) 基于仿射变换的立体视频匹配方法
CN103971408B (zh) 三维人脸模型生成***及方法
CN106709948A (zh) 一种基于超像素分割的快速双目立体匹配方法
CN106408513B (zh) 深度图超分辨率重建方法
CN106504190A (zh) 一种基于3d卷积神经网络的立体视频生成方法
CN103957397B (zh) 一种基于图像特征的低分辨率深度图像上采样方法
CN102665086A (zh) 利用基于区域的局部立体匹配获取视差的方法
CN107170000B (zh) 基于全局块优化的立体影像密集匹配方法
CN102098528B (zh) 一种平面图像的立体转换方法及装置
CN102609950B (zh) 一种二维视频深度图的生成方法
CN103702103B (zh) 基于双目相机的光栅立体印刷图像合成方法
CN106530336B (zh) 基于色彩信息和图割理论的立体匹配方法
CN108564536A (zh) 一种深度图的全局优化方法
CN103248906A (zh) 一种双目立体视频序列的深度图获取方法与***
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
CN103955954A (zh) 一种结合同场景立体图对的高分辨率深度图像重建方法
CN109769109A (zh) 基于虚拟视点合成绘制三维物体的方法和***
CN105704476B (zh) 一种基于边缘修复的虚拟视点图像频域快速获取方法
CN104820981B (zh) 一种基于视差分层分割的图像立体表示方法及***
CN106447718A (zh) 一种2d转3d深度估计方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Jinjiang District Cherry Street Chengdu city Sichuan province 610000 No. 999 green 468 two 4 Tung Mansion

Applicant after: CHENGDU SEEFELD SCIENCE & TECHNOLOGY CO., LTD.

Address before: 610041 Sichuan province Chengdu Tianfu four Street No. 199 Changhong Technology Building 35 floor

Applicant before: CHENGDU SEEFELD SCIENCE & TECHNOLOGY CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190116

Address after: Room 109, Room No. 1, 268 Dengyun Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province

Patentee after: Kunshan Hui Ren Corelle Intelligent Technology Co., Ltd.

Address before: 610000 Chengdu City, Sichuan Province, Jinjiang District Cherry Blossom Street 999 Green Space 468 Mansion Phase II 4

Patentee before: CHENGDU SEEFELD SCIENCE & TECHNOLOGY CO., LTD.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 215300 room 105, 202, 203, No. 268, Dengyun Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province

Patentee after: Huirenkangning (Suzhou) Health Technology Co., Ltd

Address before: Room 109, Room No. 1, 268 Dengyun Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province

Patentee before: Kunshan Hui Ren Corelle Intelligent Technology Co., Ltd.