CN104883577A - 一种基于视差变化连续性调节的立体视频舒适度增强方法 - Google Patents

Abstract

本发明公开了一种基于视差变化连续性调节的立体视频舒适度增强方法，考虑到人眼能分辨事物变化的最短时间为0.2秒，将0.2秒作为一个考察时段，在立体视频解码过程中提取每个考察时段帧的视差和运动矢量信息；根据舒适度评价模型，计算每个考察时段的立体视频舒适度平均值并判断该考察时段的帧是否为非舒适帧；对非舒适帧进行视差调节，增强立体视频的观视舒适度。

Description

一种基于视差变化连续性调节的立体视频舒适度增强方法

技术领域

本发明涉及立体视频舒适度增强和3D图像处理领域，特别涉及一种基于视差变化连续性调节的立体视频舒适度增强方法。

技术背景

3D电视的诞生，给很多喜欢看3D电影的朋友带来了福音，但是由于目前3D电视技术的不完善，也导致了长时间观看3D电视节目，容易导致恶心、头晕眼花、头痛等不同程度的视觉疲劳。相关统计研究表明，在看过3D视频图像的人中，36％的人有严重视觉疲劳的感觉，7％的人由于严重视觉疲劳而无法持续观看3D电影^[1]。从1987年开始有少量的学者对观看3D视频的视觉疲劳问题进行研究，随着3D显示技术取得突破性进展和3D应用需求的不断增长，最近几年开始有较多的学者参与到观看3D视频视觉疲劳问题的研究中。但是，根据文献检索信息，这方面的研究尚处于起步阶段，研究成果较少。对观看3D视频视觉舒适度增强(视觉疲劳改善)问题的研究主要有三个方面：产生视觉疲劳的因素分析和检测^[2-20]、视觉疲劳的评价方法^[21-28]以及增强视觉舒适度(改善视觉疲劳)的方法^[29-38]。

从人眼的视觉感知机理研究表明，引起3D视频视觉疲劳的原因主要有辐辏和调节的不一致、垂直视差、视差变化的不连续性和串扰等。Emoto，M等人的研究表明，即使不考虑过度视差，视差的不连续变化也是导致立体视疲劳的主要因素^[5]。

国际上，2010年开始美国旧金山杜比实验室的科学家就已经与加州大学旧金山分校等高校展开合作，改善3D互动技术的欣赏舒适度。2011年美国加州大学伯克利分校的研究团队通过改进3D眼镜为改善视觉疲劳问题提供了解决方法，该方法在眼镜上安装特殊的监控设备，当影像出现时，可以通过遮挡部分影像来帮助双眼对焦，以此缓解眼部的紧张，这种方法在一定程度上起到了帮助改善视觉疲劳的作用。2012年韩国光州科学技术院和三星公司联合申请的美国专利中公开了一种提高3D摄像仪3D效果和减轻视觉疲劳的方法和仪器，该方法首先利用左右眼图像的匹配特征点计算出视差，如果视差不在舒适观赏的视差范围内，则移动左眼或同时移动双眼的镜头调整视差，使达到辐辏和调节的一致性，从而达到减轻视觉疲劳的目的。2010年日本日立显示器开发出可降低视觉疲劳的3D液晶面板，其采用视差栅格方式，即在液晶面板前方配置长条状格栅，使双眼可分别观赏3D显示的左眼用及右眼用影像，这种面板减弱了会导致视觉疲劳的过度立体感。

国内在增强视觉舒适度(改善视觉疲劳)方法的研究方面，有北京邮电大学的王飞课题组在深入分析观看立体影像引起视觉疲劳原因的基础上，提出了可以用增加补正透镜等方法改善视觉疲劳以及可以通过控制观看时间和避免视差过大和视差不连续变化改善视觉疲劳。但是对由于视差变化不连续性引起的视觉疲劳的改善方法尚未见研究报道。

发明内容

本发明要解决的技术问题在于提供一种基于视差变化连续性调节的立体视频舒适度增强方法,通过本发明可以有效地增强观看立体视频的舒适度。该方法详见下文描述：

一种基于视差变化连续性调节的立体视频舒适度增强方法，所述方法包括以下步骤：

第一步：将0.2秒作为一个考察时段，在立体视频解码过程中提取当前时段帧的视差和运动矢量信息；

第二步：根据立体视频舒适度模型，设每一时刻图像帧的立体视频舒适度为CL，计算每个考察时段的立体视频舒适度的平均值F_t；

每一时刻图像帧的立体视频舒适度CL计算公式如下：

CL＝MV+DV

其中，

$\mathrm{MV}=\frac{1}{N}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}\sqrt{{\left({\mathrm{MV}}_x^n\right)}^2+{\left({\mathrm{MV}}_y^n\right)}^2}$

$\mathrm{DV}=\frac{1}{n}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}\sqrt{{\left({\mathrm{DV}}_x^n\right)}^2+{\left({\mathrm{DV}}_y^n\right)}^2}$

其中，

CL表示每一时刻立体视频舒适度值；

N表示每一时刻图像帧中的宏块总数；

n表示第n个宏块；

MV表示运动矢量值；

DV表示视差值；

和分别表示第n个宏块的运动矢量在水平和垂直方向上的分量值；

和分别表示第n个宏块的水平视差和垂直视差。

第三步:判断前一个时段的立体视频舒适度平均值F_t-0.2和后一时段立体视频舒适度平均值F_t+0.2的关系是否满足其中和分别表示所有时段内立体视频舒适度平均值的最大值和最小值，F_th表示设定阈值。若满足，则对当前考察时段进行非舒适帧调节，生成新的图像替换原图像，播放生成的新视频；若不满足，则直接播放视频；

非舒适帧视差调节方法包括下列步骤：

步骤1):提取当前考察时段内立体视频舒适度CL值最大的视频帧的前后两帧匹配点对应像素的R、G、B分量值；

步骤2):将R、G、B分量值加权平均计算如下：

Dest[h][w]_r＝(αSource1[h][w]_r+βSource2[h′][w′]_r)

Dest[h][w]_g＝(αSource1[h][w]_g+βSource2[h′][w′]_g)

Dest[h][w]_b＝(αSource1[h][w]_b+βSource2[h′][w′]_b)

h′＝h+Δh

w′＝w+Δw

α+β＝1

其中，

Source1[h][w]_r、Source1[h][w]_g和Source1[h][w]_b分别表示前帧每个像素的R、G、B分量值,h和w分别为前帧每个像素的水平和垂直坐标；

Source2[h′][w′]_r、Source2[h′][w′]_g和Source2[h′][w′]_b分别表示后帧每个像素的

R、G、B分量值，h′和w′分别为后帧每个像素的水平和垂直坐标；

Dest[h][w]_r、Dest[h][w]_g和Dest[h][w]_b分别表示新图像的每个像素的R、G、B分量值,h和w分别为新图像的每个像素的水平和垂直坐标；

Δh和Δw分别表示后帧和前帧对应匹配点的运动矢量的水平和垂直方向的分量值；α和β均为常数，表示权值。

本发明的特点及有益效果：

本发明提出一种基于视差变化连续性调节的立体视频舒适度增强方法，由于视差和运动矢量变化过快，产生视觉感知突兀，视线汇聚困难，增加观视者眼部负担，产生视觉疲劳，通过本发明可以有效地增强观看立体视频的舒适度。

附图说明：

图1为本发明的方案流程图。

具体实施方式

为使本发明的目的，技术方案和优点更加清楚，下面将结合附图和JMVC(JointMulti-view Video Coding)多视点视频编码***对本发明实施方式做进一步的详细叙述：

(1)将0.2秒作为一个考察时段，在JMVC(Joint Multi-view Video Coding)多视点编码***的解码过程中提取当前时段各帧的视差信息和运动矢量信息。视差信息为和其中，和分别表示第n个宏块的水平视差和垂直视差。运动矢量信息为：和其中和分别表示第n个宏块的运动矢量在水平和垂直方向上的分量值。实验采用200帧分辨率为320×240的AC序列作为测试视频，其帧率为25帧/秒，将0.2秒作为一个考察时段，即每个考察时段内有5帧。

(2)根据立体视频舒适度模型CL，计算每一时刻图像帧的立体视频舒适度如下：

CL＝MV+DV

其中，

$\mathrm{MV}=\frac{1}{N}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}\sqrt{{\left({\mathrm{MV}}_x^n\right)}^2+{\left({\mathrm{MV}}_y^n\right)}^2}$

$\mathrm{DV}=\frac{1}{N}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}\sqrt{{\left({\mathrm{DV}}_x^n\right)}^2+{\left({\mathrm{DV}}_y^n\right)}^2}$

其中，

CL表示每一时刻立体视频舒适度值；

N表示每一时刻图像帧中的宏块总数；

n表示第n个宏块；

MV表示运动矢量值；

DV表示视差值；

和分别表示第n个宏块的运动矢量在水平和垂直方向上的分量值；

和分别表示第n个宏块的水平视差和垂直视差。

依次得到AC序列每个时段的CL平均值F_t，并且得到F_t ^max＝9.588、F_t ^min＝7.823。判断前一个考察时段CL平均值F_t-0.2和后一考察时段CL平均值F_t+0.2的关系是否满足(本实验令F_th＝1),若满足，则对当前时段进行非舒适帧调节，若不满足，则直接播放；

(3)实验中第26个时段CL值较大，对CL值较大时段内的视频帧进行非舒适帧视差调节，将当前时段内视差变化不连续帧的前后两帧匹配点对应像素的R、G、B分量值加权平均，生成新的图像替换原图像，播放生成的新视频；

(4)所述步骤(3)的非舒适帧视差调节方法如下：

(3.1)提取当前考察时段内立体视频舒适度CL值最大的视频帧的前后两帧匹配点对应像素的R、G、B分量值；

(3.2)将R、G、B分量值加权平均计算如下：

Dest[h][w]_r＝(0.5Source1[h][w]_r+0.5Source2[h′][w′]_r)

Dest[h][w]_g＝(0.5Source1[h][w]_g+0.5Source2[h′][w′]_g)

Dest[h][w]_b＝(0.5Source1[h][w]_b+0.5Source2[h′][w′]_b)

h′＝h+Δh

w′＝w+Δw

α+β＝1

其中，

Source1[h][w]_r、Source1[h][w]_g和Source1[h][w]_b分别表示前帧每个像素的R、G、B分量值,h和w分别为前帧每个像素的水平和垂直坐标；

Source2[h′][w′]_r、Source2[h′][w′]_g和Source2[h′][w′]_b分别表示后帧每个像素的R、G、B分量值，h′和w′分别为后帧每个像素的水平和垂直坐标；

Dest[h][w]_r、Dest[h][w]_g和Dest[h][w]_b分别表示新图像的每个像素的R、G、B分量值,h和w分别为新图像的每个像素的水平和垂直坐标；

Δh和Δw分别表示后帧和前帧对应匹配点的运动矢量的水平和垂直方向的分量值；α和β均为常数，表示权值，实验中均取值0.5。

(5)本实验通过ssp立体视频软件，采用英特尔Core^TM2Duo2.93GHz处理器，NVIDIAGeForce G100显卡显示器播放，配合ReeDoon红蓝眼镜观看。实验选取双目视觉生理正常(裸视或佩戴眼镜矫正视力达到1.0，没有对实验数据造成影响的眼部疾病)的被试者共20人：其中年龄为20-27岁；男性4人，女性16人；有立体技术背景的12人，没有立体技术背景的8人。其中，本发明实施例中的预测准则具体为ITU(2002)电视图像质量主观评价推荐准则，对立体图像舒适度分五个等级进行评价，这五个等级从高到低依次为非常好、好、一般、差、非常差，如表一所示。

表1立体视频舒适度主观评价等级

(6)本实验对没有经过处理的AC、BMX、BigBuckBunny、ElephantsDream、StarSailer和Balloon六个序列的立体视频进行主观评价，再对通过本专利方法处理之后的立体视频进行主观评价。通过20人5组评价实验，实验数据如表2所示，将结果取平均值，处理之前(主观评价1)得分平均值是3.9，处理之后(主观评价2)得分平均值是4.1。因此观看立体视频的舒适度提高了5.13％。

表2PSNR值和主观评价得分

Claims (3)

1.一种基于视差变化连续性调节的立体视频舒适度增强方法，其特征在于，所述方法包括以下步骤：

第一步：将0.2秒作为一个考察时段，在立体视频解码过程中提取当前时段帧的视差和运动矢量信息；

第二步：根据立体视频舒适度模型，设每一时刻图像帧的立体视频舒适度为CL，计算每个考察时段的立体视频舒适度的平均值F_t；

第三步：判断前一个时段的立体视频舒适度平均值F_t-0.2和后一时段立体视频舒适度平均值F_t+0.2的关系是否满足其中F_t ^max和F_t ^min分别表示所有时段内立体视频舒适度平均值的最大值和最小值，F_th表示设定阈值；若满足，则对当前考察时段进行非舒适帧调节，生成新的图像替换原图像，播放生成的新视频；若不满足，则直接播放视频。

2.根据权利要求1所述的一种基于视差变化连续性调节的立体视频舒适度增强方法，其特征在于，所述步骤2中每一时刻图像帧的立体视频舒适度CL计算公式如下：

CL＝MV+DV

其中，

其中，

CL表示每一时刻立体视频舒适度值；

N表示每一时刻图像帧中的宏块总数；

n表示第n个宏块；

MV表示运动矢量值；

DV表示视差值；

和分别表示第n个宏块的运动矢量在水平和垂直方向上的分量值；

和分别表示第n个宏块的水平视差和垂直视差。

3.根据权利要求1所述的一种基于视差变化连续性调节的立体视频舒适度增强方法，其特征在于，所述步骤三中的非舒适帧视差调节方法包括下列步骤：

步骤3.1:提取当前考察时段内立体视频舒适度CL值最大的视频帧的前后两帧匹配点对应像素的R、G、B分量值；

步骤3.2:将R、G、B分量值加权平均计算如下：

Dest[h][w]_r＝(αSource1[h][w]_r+βSource2[h′][w′]_r)

Dest[h][w]_g＝(αSource1[h][w]_g+βSource2[h′][w′]_g)

Dest[h][w]_b＝(αSource1[h][w]_b+βSource2[h′][w′]_b)

h′＝h+Δh

w′＝w+Δw

α+β＝1

其中，

Source1[h][w]_r、Source1[h][w]_g和Source1[h][w]_b分别表示前帧每个像素的R、G、B分量值,h和w分别为前帧每个像素的水平和垂直坐标；

Source2[h′][w′]_r、Source2[h′][w′]_g和Source2[h′][w′]_b分别表示后帧每个像素的R、G、B分量值，h′和w′分别为后帧每个像素的水平和垂直坐标；

Dest[h][w]_r、Dest[h][w]_g和Dest[h][w]_b分别表示新图像的每个像素的R、G、B分量值,h和w分别为新图像的每个像素的水平和垂直坐标；

Δh和Δw分别表示后帧和前帧对应匹配点的运动矢量的水平和垂直方向的分量值；α和β均为常数，表示权值。