CN104853184B - 一种影响立体图像舒适度的视差范围的检测方法 - Google Patents

Abstract

本发明公开了一种影响立体图像舒适度的视差范围的检测方法，所述方法包括以下步骤：通过平移视点法、逐级步长逼近法对选取的立体图像进行处理，获取测试图像；通过自适应权重的局部匹配法计算像素点的垂直聚合匹配代价，获取中心像素点具有最小垂直聚合匹配代价值对应的视差，进而获取视差图；对视差图进行分割，将前景区域、背景区域和中心区域作为研究区域，通过连通性检测法获取各区域的视差值；对各个测试图像的主观测试值和各区域的视差值进行曲线拟合，得到舒适立体图像的视差范围。本方法结合了人眼视觉注意特性，能够得到舒适立体图像视差范围较为精确的结果，满足了实际应用中的多种需要。

Description

一种影响立体图像舒适度的视差范围的检测方法

技术领域

本发明涉及属于图像处理领域，涉及图像质量评价方法的改进，尤其涉及一种影响立体图像舒适度的视差范围的检测方法。

背景技术

近几年来，3D技术的大规模兴起和应用给人们的生活带来丰富的视觉体验，但立体成像技术依然存在一些亟待解决的问题。长时间观看立体图像/视频会使观看者产生头疼、眩晕、眼胀和视觉疲劳等不适感。造成这种视觉不舒适的原因有很多，一是由立体设备本身引起，二则可能与立体信息的内容有关。立体图像较平面图像包含更多的信息，能够呈现更加真实的场景，也因此对相应的采集、压缩、传输、处理等技术提出了更高的要求，并且立体图像在获取、生成、传输、显示的各个阶段都可能出现各种降质。

在过去十多年里，国内外专家学者已对影响立体视觉舒适度的因素进行了研究，如亮度、色度、对比度、串扰、视差等，文献[1]对这些因素对视觉舒适度的影响进行了研究，结果证明，当左右视图的不匹配程度高于一定的阈值，则观看者视觉舒适度将受到严重影响；文献[2,3]从定量的角度研究了亮度、色度、饱和度等指标；文献[4]认为影响立体图像视觉舒适度的主要因素有调节与会聚矛盾、视差分布、双目不匹配、深度不一致以及认知矛盾共5个方面，不同年龄、不同个体之间在观看相同的立体图像或视频时，视疲劳及视觉不舒适程度有所不同。视差不仅是立体图像产生立体效果的主要原因，也是影响舒适度的重要因素之一，文献[5]研究了视差对立体图像观看舒适度的影响，并提出基于人眼视觉模型的立体深度感知舒适度评价方法。立体图像的视差影响因素包括左右视图的水平视差、垂直视差、尺寸偏差和旋转偏差。

对于水平视差的研究，早期一些研究者将根据其对立体感知的最初理解，规定最大视差为0.02[6]，但这一结论对现在的屏幕是否还适用需要论证。文献[7]早在1985年通过分析调节、会聚和双眼视差异的相互影响，总结出立体图像引起视觉不舒适的原因，并给出了视差范围的限制条件，这一限制条件被文献[8,9]等作为视差控制和校正的基础。文献[10]表示在立体电影制作中允许屏幕宽度1％的负视差和2％的正视差，而对于电视，视差允许范围可以达到屏幕宽度的±3％，但此结论来源于经验，文中并未给出具体理由。文献[11]通过分割图像，利用主观实验证明立体图像的上部分相比下部分应该离观看者较远且具有较少的视差散布，而图像的整体应分布在屏幕后方。文献[12]在实验中让观看者观看不同视差的小球，通过记录观看者的瞳孔变化证明柱透性光栅显示器的舒适视差为±2°。文献[13]通过实验说明具有较大负视差的图像相比视差平稳的图像更容易引起视觉不舒适。

对于垂直视差，这是立体图像中尽量避免出现的，垂直视差过大会给立体图像的观察者造成很大的不舒适感。文献[14]直接给出了最大垂直视差不能超过50″≈2.423×10^-4(rad)。文献[15]运用脑电图仪进行实验，证明在最佳观看距离条件下，垂直视差不能超过20个像素。

总结国内外的研究情况，对于水平视差的舒适度研究，已有的文献基本上都从理论推理或依据经验来给出舒适的视差范围。从理论推理而来的视差限制范围也只是人眼能够通过调节而适应的视差极限，并不能完全等同舒适的视差范围。而近年来探索舒适视差范围的一些研究，大多以组成结构较为简单的图像为研究对象，而在实际复杂的立体图像中，图像各处的视差分布情况对于图像的舒适度起着不同的作用，因此这些研究方法并不能适用于实际复杂的立体图像。

发明内容

本发明提供了一种影响立体图像舒适度的视差范围的检测方法，本发明结合人眼视觉注意特性定量的研究舒适立体图像的视差范围，通过视差估计、图像区域分割、连通性检测等方法，探索人眼对于图像各区域视差以及人眼对正负视差的敏感程度，详见下文描述：

一种影响立体图像舒适度的视差范围的检测方法，所述方法包括以下步骤：

通过平移视点法、逐级步长逼近法对选取的立体图像进行处理，获取测试图像；

通过自适应权重的局部匹配法计算像素点的垂直聚合匹配代价，获取中心像素点具有最小垂直聚合匹配代价值对应的视差，进而获取视差图；

对视差图进行分割，将前景区域、背景区域和中心区域作为研究区域，通过连通性检测法获取各区域的视差值；

对各个测试图像的主观测试值和各区域的视差值进行曲线拟合，得到舒适立体图像的视差范围。

其中，所述通过自适应权重的局部匹配法计算像素点的垂直聚合匹配代价的步骤具体为：

获取与中心像素点偏移量为s的两水平像素点，两水平像素点分别向中心像素点进行聚合匹配代价，获取水平聚合匹配代价；

获取与中心像素点偏移量为s的两垂直像素点，两垂直像素点分别向中心像素点进行聚合匹配代价，通过所述水平聚合匹配代价获取垂直聚合匹配代价。

其中，所述获取中心像素点具有最小垂直聚合匹配代价值对应的视差，进而获取视差图的步骤具体为：

在视差范围内确定使得中心像素点具有最小垂直匹配代价值对应的视差；

通过中值滤波器对获取的视差进行处理，进而获取视差图。

其中，所述通过连通性检测法获取各区域的视差值的步骤具体为：

搜寻水平像素视差矩阵中最大视差值；对视差图进行二值化处理，将视差值为最大视差值的像素点标记为255，其余记为0，获取到二值图像，采用八邻域标记法标注二值图像中的连通区域；

从所述连通区域中选出最大连通区域，并计算最大连通区域占视差图面积的比重；

将比重与设定的阈值进行比较，获取连通性检测区域的视差值。

本发明提供的技术方案的有益效果是：本方法利用平移视点法产生不同水平视差的图像，并进行大量主观测试；通过自适应支持权值方法得到图像的视差图；然后根据观察者的注意力分布对图像进行分割；通过连通分量检测获取各区域视差；最后通过主观评价测试得到舒适立体图像的视差范围。通过上述方法结合人眼视觉注意特性，能够得到舒适立体图像视差范围较为精确的结果，满足了实际应用中的多种需要。

附图说明

图1为源立体图像boy.bmp的示意图；

图2为源立体图像family.bmp的示意图；

图3为源立体图像river.bmp的示意图；

图4为源立体图像tree.bmp的示意图；

图5为右视点向左平移60像素后family测试图；

图6为右视点向右平移60像素后family测试图；

图7为k级步长逼近法第i级示意图；

图8为family的视差图；

图9为连通分量提取算法流程图；

图10为立体图像各个区域主要物体的视差像素数与MOS值的关系示意图；

(a)为各图像区域2在不同视差时的MOS值示意图；(b)为各图像区域5在不同视差时的MOS值示意图；(c)为各图像区域8在不同视差时的MOS值示意图；(d)为各区域在不同视差时的立体图像MOS值示意图；

图11为立体图像舒适度与区域5中视差的关系示意图；

图12为人眼观看立体图像模型的示意图；

图13为最佳观看距离与平面尺寸的关系曲线示意图；

图14为一种影响立体图像舒适度的视差范围的检测方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

本发明提出一种结合人眼视觉注意特性定量的测量影响立体图像舒适度的视差范围的方法。该方法利用平移视点法产生不同水平视差的图像，并进行大量主观测试；通过自适应支持权值方法得到图像的视差图；然后根据观察者的注意力分布对图像进行分割；通过连通分量检测获取各区域视差；最后通过主观评价测试得到舒适立体图像的视差范围，详见下文描述：

实施例1

一种影响立体图像舒适度的视差范围的检测方法，参见图14，该方法包括以下步骤：

101：通过平移视点法、逐级步长逼近法对选取的立体图像进行处理，获取测试图像；

102：通过自适应权重的局部匹配法计算像素点的垂直聚合匹配代价，获取中心像素点具有最小垂直聚合匹配代价值对应的视差，进而获取视差图；

103：对视差图进行分割，将前景区域、背景区域和中心区域作为研究区域，通过连通性检测法获取各区域的视差值；

104：对各个测试图像的主观测试值和各区域的视差值进行曲线拟合，得到舒适立体图像的视差范围。

其中，步骤102中的通过自适应权重的局部匹配法计算像素点的垂直聚合匹配代价的步骤具体为：

获取与中心像素点偏移量为s的两水平像素点，两水平像素点分别向中心像素点进行聚合匹配代价，获取水平聚合匹配代价；

获取与中心像素点偏移量为s的两垂直像素点，两垂直像素点分别向中心像素点进行聚合匹配代价，通过所述水平聚合匹配代价获取垂直聚合匹配代价。

其中，步骤102中的获取中心像素点具有最小垂直聚合匹配代价值对应的视差，进而获取视差图的步骤具体为：

在视差范围内确定使得中心像素点具有最小垂直匹配代价值对应的视差；

通过中值滤波器对获取的视差进行处理，进而获取视差图。

其中，步骤103中的通过连通性检测法获取各区域的视差值的步骤具体为：

搜寻水平像素视差矩阵中最大视差值；对视差图进行二值化处理，将视差值为最大视差值的像素点标记为255，其余记为0，获取到二值图像，采用八邻域标记法标注二值图像中的连通区域；

从连通区域中选出最大连通区域，并计算最大连通区域占视差图面积的比重；

将比重与设定的阈值进行比较，获取连通性检测区域的视差值。

综上所述，通过上述方法结合人眼视觉注意特性，能够得到舒适立体图像视差范围较为精确的结果，满足了实际应用中的多种需要。

实施例2

201：通过平移视点法、逐级步长逼近法对选取的立体图像进行处理，获取测试图像，即测试样本；

根据ITU-R BT.500和ITU-R BT.1438标准(该标准为本领域技术人员所公知，本发明实施例对此不做限制)通过主观测试获取测试样本。其中主观测试实验所选取的立体图像来自宽带无线通信与立体成像研究所的图像数据库，选取其中四幅作为源图像(boy、family、river和tree，参见图1-图4)，采用平移像素法研究水平视差对立体图像舒适度的影响，即实验中固定左视点不变，以一定的步长左移或右移右视点以产生不同大小的水平视差，并将平移后的左右视点重新合成作为测试图像，即为测试样本。(实际应用中也可以固定右视点不变，以平移左视点的方法产生测试样本，本方法以固定左视点不变为例进行说明，具体实现时，本发明实施例对此不做限制)。

因为主观实验前对于舒适视差、偏差的允许范围并不了解，如果按照极小的步长变化生成测试图像，将会产生大量测试图。这不仅极大地增加实验成本和时间，又造成了很大的数据浪费。本实验中的测试图像的生成均采用逐级步长逼近法。

设立体图像某一评价指标为特征参量P，则逐级步长公式为：

其中N_i和k都为整数 (1)

其中，P_max和P_min是设定特征参量P的上极限和下极限，P_ref为人眼能感知的最小变化值。k为最多可以进行的分级数，N_i为第i级均匀分段数。各级分段步长计算公式为：

$S_i=\frac{P_{\max }-P_{\min }}{\underset{j=1}{\overset{j=i}{\mathrm{\Π}}}{N}_j},$ 其中i＝1,…,k (2)

其中，S_i为第i级分段步长，N_j为第j级分段数。

大量实验表明，本方法以像素平移步长设计为5像素，左右平移最大值均为120像素，每幅源图像生成49幅测试图，四幅源图像共生成196幅测试图为例进行说明。如图5和图6分别为family图像右视点向左平移60像素，以及向右平移60像素的测试图。具体实现时，根据实际应用中的需要对像素平移步长进行设定，本发明实施对此不做限制。

202：通过自适应权重的局部匹配法计算像素点的垂直聚合匹配代价，获取中心像素点具有最小垂直聚合匹配代价值对应的视差，进而获取视差图；

即为了获得视差分布与主观评分之间的联系，采用一种自适应权重的局部匹配法对测试图像进行视差估计得到视差灰度图。

自适应支持权重考虑了固定窗口内某一像素与中心像素不同的颜色和空间距离，即一个像素如果它更接近中心像素的颜色和距离将被指定一个更高的权重。假设在窗口内选定某个中心像素点p(x,y)，CIElab[16]颜色空间分量为(L_p,a_p,b_p)，窗口内另一像素点q(x,y)，颜色分量为(L_q,a_q,b_q)，CIElab颜色空间中的L分量用于表示像素的亮度，取值范围是[0,100]，表示从纯黑到纯白；a表示从红色到绿色的范围，取值范围是[127,-128]；b表示从黄色到蓝色的范围，取值范围是[127,-128]。

则两个像素点的颜色距离Δc_pq和几何距离Δg_pq分别为：

$\left\{\begin{array}{c}{\mathrm{\Δc}}_{pq}=\sqrt{{\left(L_p-L_q\right)}^2+{\left(a_p-a_q\right)}^2+{\left(b_p-b_q\right)}^2}\\ {\mathrm{\Δg}}_{pq}=\sqrt{{\left(x_p-x_q\right)}^2+{\left(y_p-y_q\right)}^2}\end{array}\right.---\left(3\right)$

引入两个指数函数，分别定义为颜色相似性聚合强度f_s(Δc_pq)和几何邻近性聚合强度f_p(Δg_pq)，则：

$\left\{\begin{array}{c}{f}_s\left({\mathrm{\Δc}}_{pq}\right)=\exp \left(-\frac{{\mathrm{\Δc}}_{pq}}{{\mathrm{\γ}}_c}\right)\\ f_p\left({\mathrm{\Δg}}_{pq}\right)=\exp \left(-\frac{{\mathrm{\Δg}}_{pq}}{{\mathrm{\γ}}_p}\right)\end{array}\right.---\left(4\right)$

则窗口中像素点q对于中心像素点p的权重为：

ω(p,q)＝f_s(Δc_pq)·f_p(Δg_pq) (5)

根据经验，聚合系数γ_c和γ_p分别取17和36。

下面定义匹配代价。这里采用指数步长算法来聚合匹配代价并选择视差，采用指数步长法可以在不损失匹配精度的情况下节省计算。

自适应权重匹配算法过程如下：

(1)初始化每个中心像素点p在各个视差d下的匹配代价：

C⁰(p,d)＝λmin{I_L(p_x,p_y)-I_R(p_x-d,p_y),τ} (6)

其中，λ是自定义缩放系数，I_L(p_x,p_y)代表左视图中的中心像素点p的灰度值，I_R(p_x-d,p_y)代表右视图中与中心像素点p视差为d的像素灰度值，τ是截断值，它控制匹配代价的极限，根据大量实验表明，τ＝12时效果较好。

(2)聚合代价迭代算法：

t初始值为1，取由1到T的整数值，以步长为1进行以下迭代算法：

(a)计算偏移s，s值为β^t-1取整所得数值，β为自定义常数；

(b)在水平方向上，p_l(x-s,y)、p_r(x+s,y)分别为中心像素点p(x,y)在水平方向上的偏移为s的左右两个像素点，从p_l(x-s,y)和p_r(x+s,y)分别向中心像素点p(x,y)进行聚合匹配代价，{p_l,p_r}表示包括p_l(x-s,y)、p_r(x+s,y)在内的沿水平方向从p_l(x-s,y)到p_r(x+s,y)的所有像素点的集合，q取值为偏移范围{p_l,p_r}内的像素点，C^h(p)表示像素点p第h次代价聚合迭代结果，C^(t-1)(q)表示像素点q第t-1次代价聚合迭代结果，：

$C^h\left(p\right)=\underset{q\∈\{p_l,p_r\}}{\Σ}\mathrm{\ω}(p,q)C^{(t-1)}\left(q\right)---\left(7\right)$

(c)在垂直方向上，p_u(x,y-s)、p_v(x,y+s)分别为中心像素点p(x,y)在垂直方向上的偏移为s的上下两个像素点，从p_u(x,y-s)和p_v(x,y+s)分别向中心像素点p(x,y)进行聚合匹配代价，{p_u,p_v}表示包括p_u(x,y-s)、p_v(x,y+s)在内的沿垂直方向从p_u(x,y-s)到p_v(x,y+s)的所有像素点的集合，q取值为偏移范围{p_u,p_v}内的像素点，C^t(p)表示像素点p第t次代价聚合迭代结果，C^h(q)表示像素点q第h次代价聚合迭代结果：

$C^t\left(p\right)=\underset{q\∈\{p_u,p_v\}}{\Σ}\mathrm{\ω}(p,q)C^h\left(q\right)---\left(8\right)$

(3)采用WTA(Winner-take-all)局部最优化算法，在视差范围内确定使得中心像素点具有最小匹配代价值对应的视差，如式(9)所示：

$d={\arg \underset{d}{\min }C}^t\left(p\right)---\left(9\right)$

(4)用3×3中值滤波器后处理视差图。

经过以上的视差匹配计算后，每一个像素点的视差值都会用对应的灰度值表示并储存成一幅灰度图，该灰度图对应的矩阵称为水平像素视差矩阵。

203：对视差图进行分割，将前景区域、背景区域和中心区域作为研究区域，通过连通性检测法获取各区域的视差值；

即，将每一幅视差图等分成16个方形区域，根据观看者的注意力分布情况将这16个区域组合成9个部分(本方法以16个方形区域为例作为说明，具体实施时本发明实施例对此不做限制)。选取影响视觉注意的高层因素，前景区域、背景区域和中心区域[17]作为主要研究区域。在水平像素视差矩阵中对这三个区域分别进行连通性检测，以获取三个区域中主要物体的视差或该区域的平均视差。

连通性检测的具体方法为：

(1)搜寻水平像素视差矩阵中最大视差值d_temp，并暂时记为d_max；

(2)对视差图进行二值化处理，将视差值为d_temp的像素点标记为255，其余记为0，获取到二值图像，采用八邻域标记法标注二值图像中的连通区域；

(4)从连通区域中选出最大连通区域，将其他所有的连通区域作为噪声去除，并计算最大连通区域占视差图面积的比重α(这里α取0.5)；

(5)将比重α与设定的阈值进行比较，若超过阈值，则d_temp＝d_max成立，循环终止；若未超过阈值，使d_temp＝d_temp-1，重复(2)～(4)；

(6)当所有视差值均不满足条件(即阈值条件)，则取d_a(d_a为进行连通性检测区域的平均视差)作为进行连通性检测区域的视差值。

204：对各个测试图像的主观测试值和各区域的视差值进行曲线拟合，得到舒适立体图像的视差范围。

本实验采用ITU规定的平均意见值(Mean Opinion Score，MOS)五级评分制，由公式(2)可知，当对第i级分段进行主观评价后，特征参量P在该分段的上下临界为ni_thmin和ni_thmax(记为n1，n2)，其中一处的MOS≥4，另一处MOS＜4，即舒适范围的极限值出现在[P_n1,P_n2]内。然后对[P_n1,P_n2]范围内的特征参量P值进行第i+1级分段。如此反复，最终进行到第k级分级时，即可得到舒适范围的极限值。

对各个测试图像的主观测试MOS值和各区域的视差关系进行曲线拟合，观察得到对人眼观察立体图像舒适和敏感程度影响较大的视差范围。

具体实现时，为了使本方法更具有普适性，将上文结果转换为视差角形式。最大允许负视差θ-θ_c，最大允许正视差为θ-θ_r，H为取最大负时差时人眼中心与像点的距离，I为取最大正视差人眼中心与像点的距离。本发明实施例以观看距离S＝1.8m，双眼瞳距E＝6.5cm，屏幕尺寸19英寸，分辨率1280*1024，计算出每像素宽度为0.0294cm为例进行说明。根据三角原理可以得到：

$\left\{\begin{array}{c}\mathrm{\θ}-{\mathrm{\θ}}_c=2\left(arctan\frac{E}{2S}-arctan\frac{E}{2H}\right)\\ \mathrm{\θ}-{\mathrm{\θ}}_r=2\left(arctan\frac{E}{2S}-arctan\frac{E}{2I}\right)\end{array}\right.---\left(10\right)$

计算得到立体图像的舒适视差范围为-0.375°～0.84°，最佳舒适度的立体图像的视差范围为-0.14°～0.375°。

综上所述，通过上述方法结合人眼视觉注意特性，能够得到舒适立体图像视差范围较为精确的结果，满足了实际应用中的多种需要。

实施例3

本方法选用宽带无线通信与立体成像研究所提供的4幅源图像boy、family、river和tree，如图1至图4所示。四幅图像均由平行双目摄像机拍摄，经校正不存在垂直视差。图1和图2为平视图，均为人物图，图1中深度分布较广，图2深度分布较浅而且较为集中。图3和图4分别为俯视图和仰视图，均为风景图，深度分布都较广。

本方法采用平移像素法生成实验所需的196幅样本测试图。实验中固定左视点不变，左移或右移右视点以产生不同大小的水平视差，并将平移后的左右视点重新合成作为测试图像。经过大量实验测试，本方法采用的像素平移步长设计为5像素，左右平移最大值均为120像素，每幅源图像生成49幅测试图，四幅源图像共生成196幅测试图。如图5和6分别为family图像右视点向左平移60像素，以及向右平移60像素的测试图。

本方法使用的显示设备是“3D WINDOWS-19A0型计算机立体成像设备”，具体参数见表1。此外，根据ITU-R BT.1438，对于标清显示器，观看距离应为显示图像高度的6倍，经计算可知，此显示设备的最佳观看距离约为1.8m。

表1 立体成像设备参数

本方法采用单激励SS(single-stimulus methods)方法进行主观评价实验。由于视差造成立体视觉疲劳的主要因素为调节和会聚冲突，若观察者在观察立体图像时，融像时间较久，长期接受这样的立体信息，就会造成视觉不适。因此本方法在采用ITU规定的MOS五级评分制的基础上，将融像时间加入评分依据，如表2所示。

表2 立体图像观看舒适度的主观评价等级

对于n名被试者对单幅立体图像质量进行预评价的主观评价分数{x₁,x₂,...x_n}，使用格鲁布斯法删去异常数据，得到正常的m个主观评价分数{x₁,x₂,...x_m}，根据公式(12)计算它们的均值MOS。

$MOS=\frac{1}{m}{\mathrm{\Σ}}_{i=1}^m{x}_i---\left(12\right)$

舒适度合格的立体图像应达到4分(含)以上，即舒适度合格的立体图像有效评分的统计平均值MOS≥4分。本次实验共选用25名测试人员。

下面结合技术方案详细说明本方法：

一、使用逐级步长法生成测试图；

在测试图的选取过程中，由于实验前并不了解舒适视差的具体范围，想要得到准确的实验结果，普遍采用的方法是选取极小的步长变化均匀生成测试图，这将会产生大量测试图，导致实验成本的增加和数据的浪费。本方法使用逐级步长逼近法生成测试图。通过主观评价得到特征参量在不同分段的临界值，逐级计算得到舒适范围的极限值，具体过程如图7所示，本方法采用二级步长逼近法。

二、使用自适应权值方法生成视差图；

采用一种自适应权重的区域匹配算法来获取图像的视差图。这种算法的基本思想是在固定窗口内，首先根据与中心像素颜色的差异和欧几里得距离的大小来逐像素调整像素的支持权重(support-weights)，再分别从垂直和水平两个方向往中心像素聚合以得出匹配代价(matching cost)，最后采用Winner-Takes-All(WTA)方法获得视差图。所得视差图如图8所示。

三、对所得视差图进行分区域视差计算；

将每一幅视差图等分成16个方形区域，依据观看者的注意力会集中在靠近中心的区域，因此再将16个方形区域组合成9部分，如图8所示(包括区域domain1、domain2…domain9)。区域domain8可以代表图像的前景部分，区域domain5为图像的主要部分，区域domain2、4、6通常为背景或主要物体的边缘部分。根据人眼视觉注意特性，影响视觉注意的高层因素包括图像的前景、背景和中心。因此，选取区域2、区域5和区域8作为研究重点，它们分别代表图像的背景、中心和前景。然后在水平像素差矩阵中对三个区域分别进行连通性检测，以获得三个区域中主要物体的视差或该区域的平均视差。

四、数据分析。

图9展示了各类测试图的部分主观测试评分结果，纵坐标表示主观评价的MOS值，横坐标的负半轴表示右视点左移像素数，正半轴表示右视点右移像素数。

经过视差计算，可以获得立体图像舒适度和图像视差分布之间的影响关系，如图10。图10(a)、(b)、(c)中分别表示图像区域2、5、8中的主要物体视差或平均视差像素数与MOS值的关系，(d)则为对(a)(b)(c)的四组立体图像数据分别进行拟合得到。纵坐标均表示不同图像的主观测试MOS值，横坐标表示视差像素数。横坐标为负则表示负视差，即右眼图像对应点位于左眼图像对应点的左边，物体“出屏”；反之，横坐标为正则表示正视差，即物体“入屏”；横坐标为零表示图像对应点位于左眼和右眼相同的位置。

立体图像的主观评价分数MOS<4定义为不舒适图像。从图9和图10中可以清晰地看到，人眼舒适负视差的范围极限远低于舒适正视差的范围极限，也就是说，人眼对于负视差的敏感程度高于正视差。由图10(d)可知，当各区域负视差大于40像素后，该测试图的主观评价MOS＜4，立体图像舒适度明显变差；而当各区域正视差大于90像素后，该测试图的主观评价MOS＜4，图像舒适度才明显变差。因此可以得出，正视差的舒适度范围大于负视差的范围，该结论可以作为舒适立体图像或视频制作的依据。

比较各图像MOS值与其各部分主要视差或平均视差，如表3所示四类测试图像的MOS和其对应的各部分视差像素数。

(a)family各测试图MOS和其各部分视差像素数

(b)boy各测试图MOS和其各部分视差像素数

(c)tree各测试图MOS和其各部分视差像素数

(d)river各测试图MOS和其各部分视差像素数

表3(a)-(d)分别为四类测试图像的MOS值与该图对应的各部分视差，表中只展示了MOS值在4分左右立体图像的各区域视差，视差单位为像素个数。

观察表3中视差为负值的数据，当MOS为4分左右时，family、boy、tree和river中区域2的视差像素值分别为-32、-45.7、-26、-23.7，区域2的视差像素在-23.7到-45.7之间分布，相差22个像素；family、boy、tree和river中区域5的视差像素值分别为-45、-43、-32、-41，这时区域5的视差像素在-37到-46之间分布，相差13个像素；family、boy、tree和river中区域8的视差像素值分别为-61、-47.7、-41、-42.5，区域8的视差像素在-46到-61之间分布，相差20个像素；当视差为正值，MOS值为4分左右时，区域2的视差像素在84.3到106.3之间分布，相差22个像素；区域5的视差像素在87到93之间分布，相差6个像素；区域8的视差像素在74到87.5之间分布，相差13.5个像素。这些数据中明显可以看出，区域5在MOS为4分左右时(即图像舒适与否的临界处)，数据分布较为集中，人眼对中心区域是否舒适较敏感，而人眼对数据分布较为分散的非中心区域2和区域8是否舒适的敏感性较差。由表3可知，对区域2、区域5和区域8，从负视差的舒适边界到正视差的舒适边界之间的任何视差区域均为舒适视差区域。因此，如果人眼对边界处的舒适程度较为敏感，则对整个区域的视差舒适范围也较为敏感。故由以上分析可以得出，中心区域的视差大小对观看舒适度起决定性作用，对图像舒适度的影响最大。

对各个图像的MOS值和区域5视差的关系进行曲线拟合，也就是图10(b)的平均，也就是图10(d)中的一条，如图11。从图11中可以看出，当中心区域5视差处于-40到-90个像素时，MOS＞4，图像等级达到舒适；当视差处于-15到40个像素间时，立体图像舒适度最佳，MOS达到了5分。这就是本实验中测得的中心区域舒适视差像素范围。

为了使本实验结论更具有普适性性，将上文结果转换为视差角形式。图12为人眼观看立体图像模型(该模型为本领域技术人员所公知)，最大允许负视差θ-θ_c，最大允许正视差为θ-θ_r。本实验中观看距离S＝1.8m，双眼瞳距E＝6.5cm，屏幕尺寸19英寸，分辨率1280*1024，计算出每像素宽度为0.0294cm。计算得到立体图像的舒适视差范围为-0.375°～0.84°，最佳舒适度的立体图像的视差范围为-0.14°～0.375°

图13给出了最佳观看距离和显示器尺寸的关系曲线。横坐标表示屏幕高度，纵坐标表示。根据本实验结论，由公式(11)可以推算出各个屏幕在最佳观看距离下的舒适视差范围，表4中列出了几个常见屏幕的最佳观看距离和中心区域的最佳舒适视差要求。

表4 立体显示器平面尺寸和中心区域最佳水平视差的要求

综上所述，本方法采用图像像素的水平平移生成测试图，并进行主观测试，得到舒适立体图像允许正视差的大小约是负视差的两倍。又结合分区域的视差计算方法，通过拟合结果视差曲线得到舒适图像中心区域主要物体的视差应控制在-0.375°到0.84°范围内，最佳舒适度范围为-0.14°到0.375°，并由此推广到了常见尺寸屏幕的水平视差限制。本方法能测量出影响立体图像舒适度的准确的视差范围，该方法所得结论能够为立体图像/视频舒适度的评价提供新的方法，同时也为制作舒适的立体图像/视频提供了依据。

参考文献

[1]Frank L.Kooi.Visual comfort of binocular and 3D displays[J],Display,2004,25(2-3):99-108.

[2]Fu B,Li S,Zhu D,et al.Research on the range of hue and saturationaffecting visual comfort of stereo images[C].Computer Science&Education(ICCSE),2012 7th International Conference on.IEEE,2012:737-741.

[3]刘畅,李素梅,朱丹,等.色度对立体图像视觉舒适度影响的定量研究[J].光电子·激光,2014,25(001):178-185.

[4]Maxwell M G.Three-dimensional color television[J].SMPTE journal,1985,94(8):821-825.

[5]张丞,侯春萍,王晓燕,等.立体图像视差自适应调整算法[J].光电子·激光,2014,25(003)：581-587.

[6]侯春萍,阿陆南,俞斯乐.立体成像***数学模型和视差控制方法[J].天津大学学报:自然科学与工程技术版,2005,38(5):455-460.

[7]B.Mendiburu,3D Movie Making:Stereoscopic Digital Cinema FromScript to Screen[M].Oxford:Focal Press(Elsevier),2009

[8]Nojiri Y,Yamanoue H,Ide S,et al.Parallax distribution and visualcomfort on stereoscopic HDTV[C].Proceedings of IBC.2006(3):373-380.

[9]李小方,王琼华,李大海,等.柱透镜光栅3D显示器的视差范围与立体观看视疲劳的关系[J].光电子·激光,2012,23(5):873-877.

[10]侯春萍.平面图像立体化技术的研究[D].天津:天津大学博士论文,1998.

[11]Meng X,Jin J,Shen L,et al.Objective evaluation of verticalparallax using EEG[C]//Computer Science&Education(ICCSE),20138thInternational Conference on.IEEE,2013:407-410.

[12]Recommendation ITU-R BT.500-11:Methodology for the subjectiveassessment of the quality of television pictures[S].Geneva,Switzerland:International Telecommunication Union,2002.

[13]ZHANG Ying-jing,LI Su-mei,WEI Jin-jin,et al.Subjective qualityevaluation method of stereo image[J].Acta Photonica Sinica.2012,41(5):602-607.

[14]张英静，李素梅，卫津津，等.立体图像质量的主观评价方案[J].光子学报.2012,41(5):602-607.

[15]Recommendation ITU-R BT.1438:Subjective assessment ofstereoscopic television pictures[S].International Telecommunication Union,2000.

[16]Fairchild M D,Berns R S.Image color-appearance specificationthrough extension of CIELAB[J].Color Research &Applications,1993,18(3):178–190.

[17]楼兵军.基于区域的图像匹配算法的关键技术研究[D].西安电子科技大学,2006.DOI:doi:10.7666/d.y858895.

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种影响立体图像舒适度的视差范围的检测方法，其特征在于，所述方法包括以下步骤：

通过平移视点法、逐级步长逼近法对选取的立体图像进行处理，获取测试图像；

通过自适应权重的局部匹配法计算测试图像中心像素点的垂直聚合匹配代价，获取中心像素点具有最小垂直聚合匹配代价值对应的视差，进而获取视差图；

对视差图进行分割，将前景区域、背景区域和中心区域作为研究区域，通过连通性检测法获取各区域的视差值；

对各个测试图像的主观测试值和各区域的视差值进行曲线拟合，得到舒适立体图像的视差范围；

其中，所述通过连通性检测法获取各区域的视差值的步骤具体为：

搜寻水平像素视差矩阵中最大视差值；对视差图进行二值化处理，将视差值为最大视差值的像素点标记为255，其余记为0，获取到二值图像，采用八邻域标记法标注二值图像中的连通区域；

从所述连通区域中选出最大连通区域，并计算最大连通区域占视差图面积的比重；

将比重与设定的阈值进行比较，获取连通性检测区域的视差值；

当采用的像素平移步长设计为5像素，左右平移最大值均为120像素，每幅源图像生成49幅测试图，四幅源图像共生成196幅测试图；

所述通过自适应权重的局部匹配法计算测试图像中心像素点的垂直聚合匹配代价的步骤具体为：

获取与中心像素点偏移量为s的两水平像素点，两水平像素点分别向中心像素点进行聚合匹配代价，获取水平聚合匹配代价；

获取与中心像素点偏移量为s的两垂直像素点，两垂直像素点分别向中心像素点进行聚合匹配代价，通过所述水平聚合匹配代价获取垂直聚合匹配代价；

所述获取中心像素点具有最小垂直聚合匹配代价值对应的视差，进而获取视差图的步骤具体为：

在视差范围内确定使得中心像素点具有最小垂直匹配代价值对应的视差；

通过中值滤波器对获取的视差进行处理，进而获取视差图。