CN110458880A - 基于光学和神经注意机制的立体图像视觉舒适度评价方法 - Google Patents

Abstract

本发明涉及一种基于光学和神经注意机制的立体图像视觉舒适度评价方法，包括下列步骤：估计像素视差图、三维加权显著图和三维加权非显著图；通过改变视距,得到三种角视差图，分别为原始角视差图；调谐近角视差图；调谐远角视差图，计算MTI图；提取特征；回归模型预测分数质量。

Description

基于光学和神经注意机制的立体图像视觉舒适度评价方法

技术领域

本发明属于立体图像视觉舒适度评价领域。

背景技术

立体三维(S3D)电影在经济方面的成功证明了3D-TV的发展潜力，显然，3D-TV的主要好处是增强了深度感知，一些经验证据表明3D-TV还可以增强人们对清晰度、存在感和自然性的感知。更重要的是，调查表明人们更喜欢观看立体三维图像而不是二维图像，前提是立体图像没有烦人的伪影并且看起来很舒服。

立体图像的视觉舒适性一直是立体研究中一个长期存在的问题，“视觉不适”一词通常是指与观看立体图像有关的主观不适感，例如眼酸眼胀，头痛恶心甚至呕吐等症状。若想让观众享受到高质量的立体内容，首先要消除人们在观看立体视频图像时的不舒适感。研究立体图像舒适度的影响因素将具有重要意义，为了建立有效的视觉舒适度评价(VCA，Visual Comfort Assessment)模型，应该考虑以下两个点：(1)模型有充分关于视觉舒适度的光学和神经生理理论，能够模仿视觉处理***，(2)模型具有使用价值，可以应用到现有的设备以及提供良好的预测效果。

发明内容

本发明提出一种基于光学和神经注意机制的立体图像视觉舒适度评价方法，综合考虑了影响视觉不适的三个最主要因素：人类视觉处理***的光学、心理物理和神经生理因素。技术方案如下：

第一步：估计像素视差图D_p、三维加权显著图S_p和三维加权非显著图S_p ^-

采用DERS(Depth estimation reference software)方法对像素进行深度估计，得到像素视差图，称为D_p。

采用AH(Salient object detection via augmented hypotheses)方法进行显著性目标检测，得到显著图S。

将像素视差图D_p和显著图S线性组合得到三维显著性加权视差图S_p：

s_p(i，j)＝(1-α).d_p(i，j)+α.s(i，j)

其中s_p(i，j)、d_p(i，j)和s(i，j)分别表示三维显著性加权视差图S_p、像素视差图D_p和显著图S在像素点(i，j)处的值，α是三维显著性加权视差图的显著性权重，取α＝0.3，(1-α)是其深度显著性权重；

由三维显著性加权视差图S_p得到三维非显著性加权视差图S_p ^-，检测图像显著区域外的最大视差物体：

s_p ^-(i，j)＝1-s(i，j)

s_p ^-(i，j)表示三维非显著性加权视差图S_p ^-在像素点(i，j)处的值。

第二步：计算三种角视差图D₀、D₁、D₂和MTI图

对于13种典型MT神经细胞，获得各MT神经细胞对应的MT图，用以表示各MT细胞对于水平角视差的电反应；。

为表示立体图像不同部分的重要性，将MT图和显著图S线性组合，再经过视差值加权得到MT重要性图，即MTI图：

MTI(i)＝[ω_mMT(i)+ω_sS].|D_d|

其中，ω_m为MT值权重，取ω_m＝0.3，ω_s为显著图权重，取ω_s＝0.7，MT(i)为第i个MT神经细胞的MT图，S为显著图，D_d为角视差图；角视差图D_d的计算方法如下：

其中d(x，y)表示角视差图D_d在像素点(i，j)处的值，其中I表示眼间距离、Z_d表示物体与显示器之间的距离；

通过改变视距D得到三种角视差图，分别为原始角视差图D₀；调谐近角视差图D₁；调谐远角视差图D₂；

根据MT神经细胞对视距变化的电反应，将MT神经细胞分类：MT1到MT5细胞对近视差变化反应强烈，被分到调谐近视差图D₁，即在计算对应的MTI图时，公式中的视差图D_d＝D₁；同理，MT6到MT7细胞被分到原始角视差图D₀；MT8到MT12细胞被分到调谐远视差图D₂；MT13被同时分到调谐近视差图D₁和调谐远视差图D₂，最终得到14个MTI图；

第三步：提取特征

(1)对于视差图D_p、三维显著性加权视差图S_p和三维非显著性加权视差图S_p ^-：对原始图像做下采样处理，得到1/8下采样图像、1/4下采样图像和原始尺寸图像，分别计算三种图像的视差均值p₁、视差方差p₂、3D显着加权视差均值p₃，3D非显着性加权视差均值p₄和视差梯度p₅，得到某一种采样图像的特征，表示为三种采样图像的特征组合起来得到一组特征向量

计算方法如下：

其中P为图像长和宽的乘积，d_n是对d_p的归一化，μ为d_p的均值，|Δd_p(x，y)|表示绝对微分视差；

(2)对于三种角视差图D₀、D₁、D₂：分别计算最大视差d₁、最小视差d₂、视差范围d₃、平均交叉视差d₄和平均未交叉视差d₅，得到特征向量D＝{d₁，d₂，d₃，d₄，d₅}；

计算方法如下：

d₁＝max{d(x，y)}

d₂＝min{d(x，y)}

d₃＝max{d(x，y)}-min{d(x，y)}

其中Ω^-和Ω⁺分别是负视差值组和正视差值组，分别对应平均交叉视差和平均未交叉视差，K₁和K₂分别是每组中的像素数；

(3)对于14个MTI图：分别计算14个MTI图的像素平均值，并归一化，得到神经特征向量N＝{n₁，n₂，…，n₁₄}，其中n_i表示第i个MTI图的归一化像素平均值；

第四步：回归模型预测分数质量

(4)利用双SVR来预测立体图像对的视觉不适分数；

1)来源于视差图D_p、三维显著性加权视差图S_p和三维非显著性加权视差图S_p ^-的特征信息F，提供给第一个支持向量回归器SVR-P，预测视觉不适评分Q_p；

2)来源于调谐视差图D₀、D₁、D₂的特征信息D和对应分类的MTI图特征信息N，提供给第二个支持向量回归器SVR-MT，预测视觉不适评分Q_MT；

3)最终的立体图像视觉不适分数Q_p＝0.7Q_p+0.3Q_MT。

本发明的有益效果如下：本发明基于对光学***和以MT区域为代表的神经***分析，提出了一种立体图像视觉舒适度评价方法，该方法更加能够模仿人类视觉处理***。

在视觉舒适度评价普遍采用的两个数据IVY LAB S3D和NBU S3D-VCA上进行实验，采用常见评价指标Pearson线性相关系数(PLCC)、Spearman秩序相关系数(SROCC)、均方误差(RMSE)衡量方法优劣。其中PLCC和SROCC用来衡量相关性，值越接近1越好；RMSE用来衡量误差大小，值越接近0越好。

实验结果表明本方法能得到更加符合人类感受的立体图像视觉舒适度预测结果：

Jung-1方法参见：Jung Y J，Sohn H，Lee S I，et al.Predicting visualdiscomfort of stereoscopic images using human attention model[J].IEEEtransactions on circuits and systems for video technology，2013，23(12)：2077-2082.

Park-1和Park-2方法参见：Oh H，Lee S，Bovik A C.Stereoscopic 3D visualdiscomfort prediction：A dynamic accommodation and vergence interaction model[J].IEEE Transactions on Image Processing，2015，25(2)：615-629.

Jiang-1和Jiang-2方法参见：Jiang Q，Shao F，Jiang G，et al.Visual comfortassessment for stereoscopic images based on sparse coding with multi-scaledictionaries[J].Neurocomputing，2017，252：77-86.

附图说明

图1：模型总体框架。

图2：三维显著性加权视差图和三维非显著性加权视差图的实例，其中黑色区域最不重要，白色区域最重要。

图3：三种角视差图的示例。

图4：像素视差图、水平角视差图和13个MT图示例。

图5：13个典型MT细胞的分类

图6：MTI图估计图解，(a)左视图像，(b)角视差图，(c)显著图，(d)-(p)14个MTI图

具体实施方式

第一步：估计像素视差图D_p、三维加权显著图S_p和三维加权非显著图S_p ^-

采用DERS(Depth estimation reference software)方法对像素进行深度估计，得到像素视差图，称为D_p；DERS方法参见：Tanimoto M，Fujii T，Suzuki K，et al.Depthestimation referencesoftware(DERS)5.0[J].ISO/IEC JTC1/SC29/WG11 M，2009，16923：2009.。

采用AH(Salient object detection via augmented hypotheses)方法进行显著性目标检测，得到显著图S；AH方法参见：Sun D，Roth S，Black M J.Secrets of opticalflow estimation and their principles[C]//2010 IEEE computer societyconference on computer vision and pattern recognition.IEEE，2010：2432-2439.。

将像素视差图D_p和显著图S线性组合得到三维显著性加权视差图S_p：

s_p(i，j)＝(1-α).d_p(i，j)+α.s(i，j)

其中s_p(i，j)、d_p(i，j)和s(i，j)分别表示三维显著性加权视差图S_p、像素视差图D_p和显著图S在像素点(i，j)处的值，α是三维显著性加权视差图的显著性权重，取α＝0.3，(1-α)是其深度显著性权重；

由三维显著性加权视差图S_p得到三维非显著性加权视差图S_p ^-，检测图像显著区域外的最大视差物体：

s_p ^-(i，j)＝1-s(i，j)

s_p-(i，j)表示三维非显著性加权视差图S_p-在像素点(i，j)处的值。

第二步：计算三种角视差图D₀、D₁、D₂和MTI图

对于13种典型MT神经细胞，获得各MT神经细胞对应的MT图，用以表示各MT细胞对于水平角视差的电反应；人类MT区域神经细胞活性研究和MT图计算参见：DeAngelis G C，Uka T.Coding of horizontal disparity and velocity by MT neurons in the alertmacaque[J].Journal of neurophysiology，2003，89(2)：1094-1111.。

为表示立体图像不同部分的重要性，将MT图和显著图S线性组合，再经过视差值加权得到MT重要性图，即MTI图：

MTI(i)＝[ω_mMT(i)+ω_sS].|D_d|

其中，ω_m为MT值权重，取ω_m＝0.3，ω_s为显著图权重，取ω_s＝0.7，MT(i)为第i个MT神经细胞的MT图，S为显著图，D_d为角视差图；角视差图D_d的计算方法如下：

其中d(x，y)表示角视差图D_d在像素点(i，j)处的值，其中I表示眼间距离、Z_d表示物体与显示器之间的距离；

通过改变视距D得到三种角视差图，分别为原始角视差图D₀；调谐近角视差图D₁；调谐远角视差图D₂；

根据MT神经细胞对视距变化的电反应，将MT神经细胞分类：MT1到MT5细胞对近视差变化反应强烈，被分到调谐近视差图D₁，即在计算对应的MTI图时，公式中的视差图D_d＝D₁；同理，MT6到MT7细胞被分到原始角视差图D₀；MT8到MT12细胞被分到调谐远视差图D₂；MT13被同时分到调谐近视差图D₁和调谐远视差图D₂，最终得到14个MTI图；

第三步：提取特征

(1)对于视差图D_p、三维显著性加权视差图S_p和三维非显著性加权视差图S_p ^-：对原始图像做下采样处理，得到1/8下采样图像、1/4下采样图像和原始尺寸图像，分别计算三种图像的视差均值p₁、视差方差p₂、3D显着加权视差均值p₃，3D非显着性加权视差均值p₄和视差梯度p₅，得到某一种采样图像的特征，表示为三种采样图像的特征组合起来得到一组特征向量

计算方法如下：

其中P为图像长和宽的乘积，d_n是对d_p的归一化，μ为d_p的均值，|Δd_p(x，y)|表示绝对微分视差。

(2)对于三种角视差图D₀、D₁、D₂：分别计算最大视差d₁、最小视差d₂、视差范围d₃、平均交叉视差d₄和平均未交叉视差d₅，得到特征向量D＝{d₁，d₂，d₃，d₄，d₅}。

计算方法如下：

d₁＝max{d(x，y)}

d₂＝min{d(x，y)}

d₃＝max{d(x，y)}-min{d(x，y)}

其中Ω^-和Ω⁺分别是负视差值组和正视差值组，分别对应平均交叉视差和平均未交叉视差，K₁和K₂分别是每组中的像素数。

(3)对于MTI图：

分别计算14个MTI图的像素平均值，并归一化，得到神经特征向量N＝{n₁，n₂，...，n₁₄}，其中n_i表示第i个MTI图的归一化像素平均值。

第四步：回归模型预测分数质量

利用双SVR来预测立体图像对的视觉不适分数。

(1)来源于视差图D_p、三维显著性加权视差图S_p和三维非显著性加权视差图S_p ^-的特征信息F，提供给第一个支持向量回归器(SVR-P)，预测视觉不适评分Q_p。

(2)来源于调谐视差图D₀、D₁、D₂的特征信息D和对应分类的MTI图特征信息N，提供给第二个支持向量回归器(SVR-MT)，预测视觉不适评分Q_MT。

SVR-MT：D(i)+N(j)；i＝1，...，5；j＝1，2，...，14

(3)最终的立体图像视觉不适分数Q_p＝0.7Q_p+0.3Q_MT。

Claims (1)

1.一种基于光学和神经注意机制的立体图像视觉舒适度评价方法，包括下列步骤：

第一步：估计像素视差图D_p、三维加权显著图S_p和三维加权非显著图S_p ^-

采用DERS(Depth estimation reference software)方法对像素进行深度估计，得到像素视差图，称为D_p；

采用AH(Salient object detection via augmented hypotheses)方法进行显著性目标检测，得到显著图S；

将像素视差图D_p和显著图S线性组合得到三维显著性加权视差图S_p：

s_p(i,j)＝(1-α).d_p(i,j)+α.s(i,j)

其中s_p(i,j)、d_p(i,j)和s(i,j)分别表示三维显著性加权视差图S_p、像素视差图D_p和显著图S在像素点(i,j)处的值，α是三维显著性加权视差图的显著性权重，取α＝0.3，(1-α)是其深度显著性权重；

由三维显著性加权视差图S_p得到三维非显著性加权视差图S_p ^-，检测图像显著区域外的最大视差物体：

s_p ^-(i,j)＝1-s(i,j)

s_p ^-(i,j)表示三维非显著性加权视差图S_p ^-在像素点(i,j)处的值。

第二步：计算三种角视差图D₀、D₁、D₂和MTI图

对于13种典型MT神经细胞，获得各MT神经细胞对应的MT图，用以表示各MT细胞对于水平角视差的电反应；

为表示立体图像不同部分的重要性，将MT图和显著图S线性组合，再经过视差值加权得到MT重要性图，即MTI图：

MTI(i)＝[ω_mMT(i)+ω_sS].|D_d|

其中，ω_m为MT值权重，取ω_m＝0.3，ω_s为显著图权重，取ω_s＝0.7，MT(i)为第i个MT神经细胞的MT图，S为显著图，D_d为角视差图；角视差图D_d的计算方法如下：

其中d(x,y)表示角视差图D_d在像素点(i,j)处的值，其中I表示眼间距离、Z_d表示物体与显示器之间的距离；

通过改变视距D得到三种角视差图，分别为原始角视差图D₀；调谐近角视差图D₁；调谐远角视差图D₂；

根据MT神经细胞对视距变化的电反应，将MT神经细胞分类：MT1到MT5细胞对近视差变化反应强烈，被分到调谐近视差图D₁，即在计算对应的MTI图时，公式中的视差图D_d＝D₁；同理，MT6到MT7细胞被分到原始角视差图D₀；MT8到MT12细胞被分到调谐远视差图D₂；MT13被同时分到调谐近视差图D₁和调谐远视差图D₂，最终得到14个MTI图；

第三步：提取特征

(1)对于视差图D_p、三维显著性加权视差图S_p和三维非显著性加权视差图S_p ^-：对原始图像做下采样处理，得到1/8下采样图像、1/4下采样图像和原始尺寸图像，分别计算三种图像的视差均值p₁、视差方差p₂、3D显着加权视差均值p₃，3D非显着性加权视差均值p₄和视差梯度p₅，得到某一种采样图像的特征，表示为P^size＝{p₁,p₂,p₃,p₄,p₅}；三种采样图像的特征组合起来得到一组特征向量

计算方法如下：

其中P为图像长和宽的乘积，d_n是对d_p的归一化，μ为d_p的均值，|Δd_p(x,y)|表示绝对微分视差；

(2)对于三种角视差图D₀、D₁、D₂：分别计算最大视差d₁、最小视差d₂、视差范围d₃、平均交叉视差d₄和平均未交叉视差d₅，得到特征向量D＝{d₁,d₂,d₃,d₄,d₅}；

计算方法如下：

d₁＝max{d(x,y)}

d₂＝min{d(x,y)}

d₃＝max{d(x,y)}-min{d(x,y)

其中Ω^-和Ω⁺分别是负视差值组和正视差值组，分别对应平均交叉视差和平均未交叉视差，K₁和K₂分别是每组中的像素数；

(3)对于14个MTI图：分别计算14个MTI图的像素平均值，并归一化，得到神经特征向量N＝{n₁,n₂,…,n₁₄}，其中n_i表示第i个MTI图的归一化像素平均值；

第四步：回归模型预测分数质量

(4)利用双SVR来预测立体图像对的视觉不适分数；

1)来源于视差图D_p、三维显著性加权视差图S_p和三维非显著性加权视差图S_p ^-的特征信息F，提供给第一个支持向量回归器SVR-P，预测视觉不适评分Q_p；

2)来源于调谐视差图D₀、D₁、D₂的特征信息D和对应分类的MTI图特征信息N，提供给第二个支持向量回归器SVR-MT，预测视觉不适评分Q_MT；

3)最终的立体图像视觉不适分数Q_p＝0.7Q_p+0.3Q_MT。