CN108549872A - 一种适用于重定向图像质量评估的视觉注意融合方法 - Google Patents

Abstract

本发明涉及一种适用于重定向图像质量评估的视觉注意融合方法，包括以下步骤：1、读取原始图像，使用两种显著物体检测算法生成两种显著性图；2、使用均衡化操作减小两种显著性图的分布差异，生成两幅均衡化显著性图；3、使用对应点的显著性值相加求平均的方法融合两幅均衡化显著性图，经归一化操作生成融合显著性图；4、检测原始图像中的人脸和线条信息；5、在约束放大极值的条件下，自适应地放大融合显著性图中的人脸矩形框和线条区域的显著性值，生成包含人脸和线条信息的融合显著性图；6、使用显著性增强模型增加融合显著性图的对比度，经归一化操作生成视觉注意融合显著性图。该方法能够提高客观质量评估结果与主观感知的一致性。

Description

一种适用于重定向图像质量评估的视觉注意融合方法

技术领域

本发明涉及图像和视频处理以及计算机视觉领域，特别是一种适用于重定向图像质量评估的视觉注意融合方法。

背景技术

图像重定向算法使用一系列图像变换操作在改变原始图像的尺寸及宽高比以适应不同的显示设备的同时，保存视觉上重要的内容和结构，即减少内容丢失和结构失真。通过调整图像内容以适应不同显示设备在图像显示适应上有重要的意义。目前已经提出多种图像重定向算法，但是对重定向图像的质量评估方法的研究仍然是一个具有挑战性的任务。现存的许多重定向图像客观质量评估方法通过计算显著性信息丢失或者使用显著性加权的图像内容相似性作为评估指标的一部分，这些方法虽然都取得了不错的表现，但是客观质量评估结果与主观评分之间的一致性仍然不高，原因之一在于这些方法通常简单地采用单一的显著物体检测算法，忽略了显著性检测结果对最终评估方法表现的影响。

早期的重定向图像质量评估方法设计简单，只是单纯的通过计算图像距离来评估重定向图像的视觉质量。经典的评估方法有边缘直方图(EH)，颜色布局(CL)和土地移动距离(EMD)。这些评估方法设计简单，无法与人类主观评估结果保持较好的一致性。随着人类视觉***(HSV)的不断了解，重定向图像质量评估方法开始引入视觉显著性信息进行评估，提出了基于视觉显著性的评估方法，使评估结果更加接近于人类主观感知。

基于视觉显著性的重定向图像质量评估方法考虑了人类视觉***在感知重定向图像质量时固有的一些特征，如对不同图像区域的变形感知敏感度具有差别等。典型的评估方法有PGDIL，该方法利用图像sift-flow矢量场的局部变化并引入显著性图来模拟人类视觉***对几何失真的感知，另外，还采用显著性信息损失来衡量重定向图像的内容丢失。Liu等人使用sift-flow建立重定向图像与原始图像之间的局部像素对应关系，然后利用显着性加权相似性度量来评估重定向图像的质量。Liang等人通过综合考虑显著区域保留、分析伪影的影响、图像全局结构保留、遵守美学规则和对称性保持五个指标来评估重定向图像的客观分数。Zhang等人将图像划分为均匀的网格，并采用后向图像配准方法来模拟图像在重定向操作中所经历的几何变换，最后将显著性加权的宽高比相似性定义为重定向图像的客观质量。这些方法引入了视觉显著性信息，与早期的重定向图像质量评估方法相比取得了很大的提升，但是由于单一显著物体检测算法难以模拟重定向图质量评估中的人眼视觉注意，因此客观评估结果与主观分数之间的一致性仍然不高。

发明内容

本发明的目的在于提供一种适用于重定向图像质量评估的视觉注意融合方法，该方法能够提高客观质量评估结果与主观感知的一致性。

为实施上述目的，本发明的技术方案是：一种适用于重定向图像质量评估的视觉注意融合方法，包括以下步骤：

步骤S1：读取原始图像，使用两种显著物体检测算法生成两种显著性图；

步骤S2：使用均衡化操作减小两种显著性图的分布差异，生成两幅均衡化显著性图；

步骤S3：使用对应点的显著性值相加求平均的方法融合两幅均衡化显著性图，并使用归一化操作生成融合显著性图；

步骤S4：使用人脸检测算法和线条检测算法检测原始图像中的人脸和线条信息；

步骤S5：根据步骤S4检测到的人脸矩形框区域的面积和线条区域的长度，在约束放大极值的条件下，自适应地放大步骤S3得到的融合显著性图中的人脸矩形框和线条区域的显著性值，生成包含人脸和线条信息的融合显著性图；

步骤S6：使用显著性增强模型增加步骤S5得到的融合显著性图的对比度，并使用归一化操作生成视觉注意融合显著性图。

进一步地，所述步骤S2中，使用均衡化操作在保护原始显著性图整体分布的同时，减小两幅显著性图的分布差异，以得到均衡化显著性图，计算公式为：

其中，S_p、S′_p分别是均衡化前、后像素p处的显著性值；参数t和b是自适应阈值，其计算公式为：

其中，w和h分别表示原始图像的宽和高；p_t表示第个位置，p_b表示第个位置，表示向下取整；S^d是步骤S1得到的显著性图S按显著性值降序排列后所得的序列，和分别表示序列S^d在p_t和p_b位置处相应的值；k是控制均衡化程度的参数。

进一步地，所述步骤S3中，使用对应点的显著性值相加求平均的方法融合两幅均衡化显著性图，并使用归一化操作生成融合显著性图，包括以下步骤：

步骤S31：使用对应点的显著性值相加求平均的方法融合两幅均衡化显著性图，计算公式如下：

其中，和分别表示两幅均衡化显著性图S^D′和S^B′中像素p处的显著性值；表示像素p处的显著性值加和求平均的结果，从而得到由两幅均衡化显著性图S^D′和S^B′中对应点的显著性值加和求平均而得到的结果图S^m；

步骤S32：为了保证融合后的显著性图的值域为[0,1]，对加和求平均的结果进行归一化操作，计算公式如下：

其中，min(S^m)和max(S^m)分别表示计算结果图S^m中所有像素值的最小值和最大值；表示所求得的融合显著性图S^F在像素p处的显著性值。

进一步地，所述步骤S5中，根据步骤S4检测到的人脸矩形框区域的面积和线条区域的长度，在融合显著性图的基础上自适应地放大人脸矩形框和线条区域的显著性值，并约束放大后的显著性值不超过最大值1，计算公式如下：

其中，和分别表示检测到的第i个人脸矩形框区域和第j个线条区域，a_i和l_j分别表示第i个人脸矩形框区域的面积和第j个线条区域的长度；A和L分别表示原始图像的面积和对角线的长度；C₁和C₂为相应的两个权值。

进一步地，所述步骤S6中，使用显著性增强模型增加步骤S5得到的融合显著性图的对比度，并使用归一化操作生成视觉注意融合显著性图，包括以下步骤：

步骤S61：使用显著性增强模型增加融合显著性图的对比度，模拟重定向图像质量评估中的人眼视觉注意，计算公式如下：

其中，表示融合显著性图在像素p处增强后的显著性值，从而得到增强后的显著性图C₃为设定的权值；

步骤S62：对增强后的显著性图进行归一化操作处理，得到最终的视觉注意融合显著性图。

相较于现有技术，本发明的有益效果是：本发明通过融合两种显著物体检测算法生成的显著性图来减小单一显著物体检测算法的局限性。其次，通过自适应地放大人脸和线条区域的显著性值，生成包含人眼视觉较为敏感的人脸和线条信息的融合显著性图。最后，设计一个显著性增强模型增加显著性图的对比度，以模拟重定向图像质量评估中的人眼视觉注意。综上，本发明的方法能够很好地适用于基于视觉显著性的重定向图像质量评估，使客观评估结果与人类主观评分保持更好的一致性，可用于重定向图像质量评估以及图像重定向方法优化等领域。

附图说明

图1是本发明方法的流程框图。

图2是本发明实施例中整体方法的实现流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细说明。

本发明提供一种适用于重定向图像质量评估的视觉注意融合方法，如图1和图2所示，包括以下步骤：

步骤S1：读取原始图像，使用两种显著物体检测算法生成两幅显著性图。在本实施例中，两种显著物体检测算法为DCT和BSCA算法。

步骤S2：使用均衡化操作减小两种显著性图的分布差异，生成两幅均衡化显著性图。

具体的，使用均衡化操作在保护原始显著性图整体分布的同时，减小两幅显著性图的分布差异，以得到均衡化显著性图，计算公式为：

其中，S_p、S′_p分别是均衡化前、后像素p处的显著性值；参数t和b是自适应阈值，其计算公式为：

其中，w和h分别表示原始图像的宽和高；p_t表示第个位置，p_b表示第个位置，表示向下取整；S^d是步骤S1得到的显著性图S按显著性值降序排列后所得的序列，和分别表示序列S^d在p_t和p_b位置处相应的值；k是控制均衡化程度的参数，对于两种显著物体检测算法计算得到的显著性图可以设置不同的k值。

步骤S3：使用对应点的显著性值相加求平均的方法融合两幅均衡化显著性图，并使用归一化操作生成融合显著性图。具体包括以下步骤：

步骤S31：使用对应点的显著性值相加求平均的方法融合两幅均衡化显著性图，计算公式如下：

其中，和分别表示两幅均衡化显著性图S^D′和S^B′中像素p处的显著性值；表示像素p处的显著性值加和求平均的结果，从而得到由两幅均衡化显著性图S^D′和S^B′中对应点的显著性值加和求平均而得到的结果图S^m；

步骤S32：为了保证融合后的显著性图的值域为[0,1]，对加和求平均的结果进行归一化操作，计算公式如下：

其中，min(S^m)和max(S^m)分别表示计算结果图S^m中所有像素值的最小值和最大值；表示所求得的融合显著性图S^F在像素p处的显著性值。

步骤S4：使用人脸检测算法和线条检测算法检测原始图像中的人脸和线条信息。

步骤S5：根据步骤S4检测到的人脸矩形框区域的面积和线条区域的长度，在约束放大极值的条件下，自适应地放大步骤S3得到的融合显著性图中的人脸矩形框和线条区域的显著性值，生成包含人脸和线条信息的融合显著性图。

具体的，根据步骤S4检测到的人脸矩形框区域的面积和线条区域的长度，在融合显著性图的基础上自适应地放大人脸矩形框和线条区域的显著性值，并约束放大后的显著性值不超过最大值1，计算公式如下：

其中，和分别表示检测到的第i个人脸矩形框区域和第j个线条区域，a_i和l_j分别表示第i个人脸矩形框区域的面积和第j个线条区域的长度；A和L分别表示原始图像的面积和对角线的长度；C₁和C₂为相应的两个权值。

步骤S6：使用显著性增强模型增加步骤S5得到的融合显著性图的对比度，并使用归一化操作生成视觉注意融合显著性图。具体包括以下步骤：

步骤S61：使用显著性增强模型增加融合显著性图的对比度，模拟重定向图像质量评估中的人眼视觉注意，计算公式如下：

其中，表示融合显著性图在像素p处增强后的显著性值，从而得到增强后的显著性图C₃为设定的权值；

步骤S62：对增强后的显著性图进行归一化操作处理，归一化的步骤同步骤S32，得到最终的视觉注意融合显著性图。

本发明的适用于重定向图像质量评估的视觉注意融合框架，首先通过融合两种显著物体检测算法生成的显著性图来减小单一显著物体检测算法的局限性；其次，通过自适应地放大人脸和线条区域的显著性值，生成包含人眼视觉较为敏感的人脸和线条信息的融合显著性图；最后，设计了一个显著性增强模型增加显著性图的对比度，以模拟重定向图像质量评估中的人眼视觉注意。该方法能够很好地适用于基于视觉显著性的重定向图像质量评估，使客观评估结果与人类主观评分保持更好的一致性，可用于重定向图像质量评估以及图像重定向方法优化等领域。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种适用于重定向图像质量评估的视觉注意融合方法，其特征在于，包括以下步骤：

步骤S1：读取原始图像，使用两种显著物体检测算法生成两种显著性图；

步骤S2：使用均衡化操作减小两种显著性图的分布差异，生成两幅均衡化显著性图；

步骤S3：使用对应点的显著性值相加求平均的方法融合两幅均衡化显著性图，并使用归一化操作生成融合显著性图；

步骤S4：使用人脸检测算法和线条检测算法检测原始图像中的人脸和线条信息；

步骤S5：根据步骤S4检测到的人脸矩形框区域的面积和线条区域的长度，在约束放大极值的条件下，自适应地放大步骤S3得到的融合显著性图中的人脸矩形框和线条区域的显著性值，生成包含人脸和线条信息的融合显著性图；

步骤S6：使用显著性增强模型增加步骤S5得到的融合显著性图的对比度，并使用归一化操作生成视觉注意融合显著性图。

2.根据权利要求1所述的一种适用于重定向图像质量评估的视觉注意融合方法，其特征在于，所述步骤S2中，使用均衡化操作在保护原始显著性图整体分布的同时，减小两幅显著性图的分布差异，以得到均衡化显著性图，计算公式为：

其中，S_p、S′_p分别是均衡化前、后像素p处的显著性值；参数t和b是自适应阈值，其计算公式为：

其中，w和h分别表示原始图像的宽和高；p_t表示第个位置，p_b表示第个位置，表示向下取整；S^d是步骤S1得到的显著性图S按显著性值降序排列后所得的序列，和分别表示序列S^d在p_t和p_b位置处相应的值；k是控制均衡化程度的参数。

3.根据权利要求1所述的一种适用于重定向图像质量评估的视觉注意融合方法，其特征在于，所述步骤S3中，使用对应点的显著性值相加求平均的方法融合两幅均衡化显著性图，并使用归一化操作生成融合显著性图，包括以下步骤：

步骤S31：使用对应点的显著性值相加求平均的方法融合两幅均衡化显著性图，计算公式如下：

其中，和分别表示两幅均衡化显著性图S^D′和S^B′中像素p处的显著性值；表示像素p处的显著性值加和求平均的结果，从而得到由两幅均衡化显著性图S^D′和S^B′中对应点的显著性值加和求平均而得到的结果图S^m；

步骤S32：为了保证融合后的显著性图的值域为[0,1]，对加和求平均的结果进行归一化操作，计算公式如下：

其中，min(S^m)和max(S^m)分别表示计算结果图S^m中所有像素值的最小值和最大值；表示所求得的融合显著性图S^F在像素p处的显著性值。

4.根据权利要求1所述的一种适用于重定向图像质量评估的视觉注意融合方法，其特征在于，所述步骤S5中，根据步骤S4检测到的人脸矩形框区域的面积和线条区域的长度，在融合显著性图的基础上自适应地放大人脸矩形框和线条区域的显著性值，并约束放大后的显著性值不超过最大值1，计算公式如下：

其中，和分别表示检测到的第i个人脸矩形框区域和第j个线条区域，a_i和l_j分别表示第i个人脸矩形框区域的面积和第j个线条区域的长度；A和L分别表示原始图像的面积和对角线的长度；C₁和C₂为相应的两个权值。

5.根据权利要求1所述的一种适用于重定向图像质量评估的视觉注意融合方法，其特征在于，所述步骤S6中，使用显著性增强模型增加步骤S5得到的融合显著性图的对比度，并使用归一化操作生成视觉注意融合显著性图，包括以下步骤：

步骤S61：使用显著性增强模型增加融合显著性图的对比度，模拟重定向图像质量评估中的人眼视觉注意，计算公式如下：

其中，表示融合显著性图在像素p处增强后的显著性值，从而得到增强后的显著性图C₃为设定的权值；

步骤S62：对增强后的显著性图进行归一化操作处理，得到最终的视觉注意融合显著性图。