CN103607589A - 像素域内基于层次选择性视觉注意力机制的图像jnd阈值计算方法 - Google Patents

Abstract

一种像素域内基于层次选择性视觉注意力机制的图像JND阈值计算方法，属于图像/视频编码技术领域。采用的技术方案包括步骤：步骤S1：对原始输入图像计算背景亮度自适应阈值。步骤S2：对图像计算基于边缘的纹理掩蔽阈值。步骤S3：将步骤S1和S2得到的亮度自适应阈值和纹理掩蔽阈值相加，并减去二者重叠的部分，得到基本的JND阈值。步骤S4：根据输入图像的大小，设置层次选择性的层次值。步骤S5：将原始输入图像下采样到不同的分辨率，并在不同的分辨率下对图像利用PQFT显著性检测方法进行显著图检测。步骤S6：将不同分辨率下的显著图上采样到原始图像分辨率大小。等等。本发明可容纳更多的噪声，且具有更好的视觉质量。

Description

像素域内基于层次选择性视觉注意力机制的图像JND阈值计算方法

技术领域

本发明涉及图像/视频编码技术领域。

技术背景

传统的图像/视频编码技术主要针对空间域冗余、时间域冗余以及统计冗余进行压缩编码，但很少考虑到人眼视觉***特性和心理效应，因此大量视觉冗余数据被编码并传输，为了进一步提高编码的效率，研究人员开始了致力于去除视觉冗余的研究。目前一个表征视觉冗余的有效方法就是基于心理学和生理学的最小可察觉失真模型，简称JND模型，也可称为恰可察觉失真模型，即人眼不能感知的变化，由于人眼的各种屏蔽效应，人眼只能觉察超过某一阈值的噪声，该阈值就是人眼的恰可觉察失真，代表着图像中的视觉冗余度。JND模型常用来指导图像或视频的感知编码和处理，如预处理、自适应量化、码流控制、运动估计等。

现有的恰可察觉失真(JND)模型可以大致分为像素域JND模型和变换域内的JND模型，像素域的JND模型由于计算简单，得到广泛使用，其基本原理大多是通过表征亮度自适应效应和纹理掩蔽效应来建模，例如文献1（参见X.Yang，W.Lin ,Z.Lu,E .P.Ong, and S.Yao, “Just-noticeable-distortion profile with nonlinear additivity model for perceptual masking color images”, IEEE Trans.Circuits Syst.Video Technol.,vol.15,no.6,pp742-752,Jun.2005）中提出了基于空间域的彩色图像JND模型，近年来随着视觉注意力模型的发展，学者们开始提出多种视觉注意力检测方法，例如文献2（L. Itti, C. Koch, E. Niebur, et al., “A model of saliency-based visual attention for rapid scene analysis,”. IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.20, no.11, pp. 1254–1259, 1998.）基于该视觉显著性检测模型，有学者开始将视觉注意力机制应用到图像的JND建模中，例如文献3(Z. Chen and C. Guillemont, “Perceptually-friendly H.264/AVC video coding based on foveated just-noticeable-distortion model,” IEEE Trans Circuits Syst Video Technol., vol.20, no.6, June 2010) ，该文献中的JND模型首先通过文献2中的视觉显著性模型计算得到图像的显著点，然后计算给定像素点和显著点之间的距离，以及给定像素点相比于显著点的偏心率，然后基于偏心率和观测距离的关系，构造了一个调制函数，对文献1中的JND模型进行调制，得到基于视网膜中央凹的JND模型，但是一方面由于文献2中的视觉显著性检测方法没有考虑人眼在观测图像过程中的层次选择性特性，另一方面对于高清图像，使用基于视网膜偏心率和可视距离关系的调制函数计算得到的调制系数对文献1中的JND阈值进行调制，可能会由于显著点和像素点之间的距离较远而调制超过实际可能容忍的噪声，所以该模型并不能准确计算人眼对图像的视觉冗余阈值。相比于文献2，文献4（C.L. Guo and L.M. Zhang, “A novel multiresolution spatiotemporal saliency dection model and its applications in image and video compression”, IEEE Trans Image processing,vol.19,no.1,Jan 2010）中的PQFT（Quaternion Fourier phase spectrum）图像显著性检测方法通过在不同的分辨率下计算图像的显著区域，能够很好地模拟人眼在观测图像过程中的层次选择性特性。

发明内容

在现有技术Yang（文献1）的模型的基础上本发明结合层次选择性视觉注意力机制提出了一个新的像素域内图像JND模型建模方法，通过仔细考虑人眼在观察图像过程的层次选择性视觉注意力机制，并将该视觉注意力机制和基于纹理的掩蔽效应相结合建立了多层次的调制函数，对传统的JND阈值进行调制，从而建立更加精确的JND模型。

为此，本发明给出技术方案实施步骤为：

一种像素域的图像恰可觉察失真度计算方法，采用如下技术方案，包括以下步骤：

步骤 S1：对原始输入图像计算背景亮度自适应阈值。 

步骤S2：对图像计算基于边缘的纹理掩蔽阈值。 

步骤S3：将步骤S1和S2得到的亮度自适应阈值和纹理掩蔽阈值相加，并减去二者重叠的部分，最终得到基本的JND阈值。

步骤S4：根据输入图像的大小，设置层次选择性的层次值L，在本发明中对于类似于512*512大小的图像，层次值L=2，对于720×1280，L=3，而对于更大的图像，L=4。

步骤S5： 将原始输入图像下采样到不同的分辨率，该分辨率分别是原始图像（1/2）^0~L倍大小，并在不同的分辨率下对图像利用PQFT显著性检测方法进行显著图检测。

步骤S6：将不同分辨率下的显著图上采样到原始图像分辨率大小。 

步骤S7：利用自适应阈值确定法——大津法得到每个显著图的阈值T _i ，并利用该阈值将显著图分割为显著区域和非显著区域。 

步骤S8：将所有的分割完后的显著图按照从大到小的嵌套方式，得到多层次的显著性掩蔽图。

步骤S9：对原始图像利用canny边缘检测器进行检测，将图像分为纹理区，边缘区，平滑区。

步骤S10：基于步骤S8和S9以及S6得到的多层显著区和纹理等特性，建立多层次的综合掩蔽调制函数，对 S3得到的阈值进行调制，得到最终的JND阈值。

已知，人眼的视觉***在视觉注意过程中具有层次选择性，即视觉注意从物体群组-群组中的物体-物体特征-空间点的由粗到细的层次选择过程。因此，人眼观察图像时首先会捕捉图片中的全局显著区域，而后会对全局显著区域进行从粗到细逐层分析观察，结合这一生物学性质，本发明提出了一种基于多层次视觉注意检测的JND模型，本发明方法技术方案为实现发明任务还体现出的贡献性的关键技术要点：

1、针对传统图像恰可察觉失真模型没有考虑层次选择性视觉注意力机制这个问题，本发明通过在不同分辨率大小下进行显著性检测，并将这些显著图进行嵌套从而得到多层显著区域，模拟人眼在观察图像过程中从粗到精的观测过程。

2、本发明基于人眼在观察图像过程中的层次选择性注意力特性，建立了一个基于多层显著区域的掩蔽调制函数。

3、本发明在综合的掩蔽调制函数中不仅考虑了层次选择性注意力机制，并且考虑了边缘区，纹理区以及平滑区对噪声的不同掩蔽能力。

4、本发明针对不同分辨率大小的图像设置不同的层次选择值，使得本模型可以应用于不同大小的图像。

本发明方法的有益效果为：使用考虑了层次选择性视觉注意力机制的多层次调制函数计算得到的值对传统的JND阈值进行调制，最终得到更加准确的JND阈值。相比于Yang的计算模型，在保证同样的视觉主观质量的前提下，本发明提出的图像JND阈值计算方法实现的模型可以容纳更多的噪声；相比于Chen的模型，本发明提出的计算方法，不但可以容纳更多的噪声，而且具有更好的视觉质量。

附图说明

图1是本发明像素域的基于层次选择性视觉注意力机制的图像恰可觉察失真度模型框图。

图2是本发明实例测试图像。

图3是本发明实例测试图像在原始图像分辨率下的显著图。

图4是本发明实例测试图像的原始图像1/2倍大小分辨率下的显著图。

图5 是本发明实例测试图像在原始分辨率下进行显著区域分割的图像。

图6是本发明实例测试图像的原始图像1/2倍大小分辨率下的显著区域分割结果。

图7是本发明实例测试图像基于图5和图6的嵌套后的多层次显著区域分割结果。

图8是基于canny算子得到的纹理区，平滑区，边缘区的分块结果。

图9为本发明JND阈值计算方法流程图。

具体实施方式

下面以具体实例结合附图对本发明作进一步说明：

本发明提供的实例采用MATLAB7作为仿真实验平台，以768*512的bmp彩色图像（如图2所示）作为选定的测试图像，下面结合每个步骤详细描述本实例：

步骤（1）~（3）计算基本JND阈值，计算方法和现有技术文献1中Yang等人提出JND模型阈值计算方法相同。

步骤（1），选定768*512的bmp彩色图像作为输入测试的图像，对图像计算基于背景亮度的自适应阈值，取背景亮度模型和空间掩膜模型的最大值作为自适应阈值。其计算公式如下：

                （1）

其中bg(x,y)和mg(x,y)分别是背景平均亮度值和背景亮度变化方向加权平均的最大值。而

表示空间掩膜模型，由像素周围的背景平均亮度值和亮度差值决定。它表示纹理区域相对平滑区域能够容忍更大的失真。f ₁ (bg(x,y),mg(x,y))和背景亮度、背景亮度变化关系如下：

                  （2）

                       （3）

              （4）

mg(x,y)通过一个加权低通算子g _k 计算得到，如下所示：

                      （5）

             （6）

f ₂ (bg(x,y))表示背景亮度模型，公式如下：

              （7）

步骤（2），对原图像计算纹理掩膜阈值，采用如下公式：

                         （8）

其中G _Y (x,y) 是针对Y分量的背景亮度变化方向加权平均的最大值， 

=0.117，W _Y  是采用低通滤波边界检测算子，算法如下：

                             （9）

E _Y 是三个不同分量对应的边界，其中我们使用 canny 算子进行边界的检测；h是高斯低通滤波器，它的使用可以用来防止边界剧烈跳变。

步骤（3）：将步骤（1）和步骤（2）计算所得的阈值相加，并且减去二者的重叠之处，得到基本的JND阈值，如下公式所示：

        （10）

其中Clt Y =0.3。

步骤（4）~（11）为本发明在现有技术文献1中Yang的JND计算模型基础上的结合层次选择性视觉注意力机制得到新模型的过程。

步骤（4）：设置层次选择性注意力机制的层次值L，在本案例中，对于768*512的图像，设置L=2。

步骤（5）：将原始输入图像下采样到不同的分辨率，这里的分辨率分别是原始图像的1倍、1/2倍大小，并在不同的分辨率下对图像利用PQFT显著性检测方法进行显著图检测。

步骤（6）：将步骤（5）得到的不同分辨率下的显著图上采样到原始图像大小，其结果如图3、4所示。

步骤（7）：利用阈值将显著图分割为显著区域和非显著区域，该阈值T_i是大津法阈计算得到的阈值的0.7倍：

                  （11）

其中M _i 表示第i层显著图的显著类型，SM _i (x,y)表示第i层显著图各像素点的显著值，T_i表示利用大津法得到的阈值的0.7倍。结果如图5和图6所示。其中黑色代表非显著区域，白色代表显著区域。

步骤（8）：将步骤（7）得到的不同层的显著类型按照嵌套方式，得到多层次的显著类型图：

        （12）

结果如图7所示，其中黑色代表第1层显著区域，灰色代表第2层显著区域，白色代表第3层显著区域。

步骤（9）：对原始图像利用canny边缘检测器进行检测，将图像分为纹理区，边缘区，平滑区。如图8所示，其中白色代表纹理区，黑色代表平滑区，灰色代表边缘区。

步骤（10）：综合考虑步骤（8）得到的多层显著区域分割结果和步骤（9）得到的块分类结果，对图像进行更细致的分块，其中除最高层的显著区域外，每一层显著区域都会被分为平滑区、边缘区和纹理区，总共可以分为3L+1个不同块，即第一层显著区域中的纹理区、第一层显著区域的边缘区、第一层显著区域的平滑区、第二层显著区域的纹理区、第二层显著区域的边缘区……第L+1层显著区域。对于不同的块，综合考虑不同层的显著性和纹理特性，构造多层次调制函数，计算调制函数值：

       （13）

                   （14）

                             （15）

步骤（11）：按照步骤（10）得到的调制函数值，对步骤（3）得到的JND阈值进行调制，得到最终的JND阈值：     

                   （16）

综合以上所有步骤计算得到图像的JND阈值，该阈值综合考虑了空间对比度效应，亮度自适应效应，块分类对比度掩蔽效应以及层次选择性视觉注意力机制，所以该阈值和人眼的视觉***更加吻合，更加精确。

Claims (1)

1.一种像素域内基于层次选择性视觉注意力机制的图像JND阈值计算方法，采用如下技术方案，包括以下步骤：

步骤 S1：对原始输入图像计算背景亮度自适应阈值；

步骤S2：对图像计算基于边缘的纹理掩蔽阈值；

步骤S3：将步骤S1和S2得到的亮度自适应阈值和纹理掩蔽阈值相加，并减去二者重叠的部分，最终得到基本的JND阈值；

步骤S4：根据输入图像的大小，设置层次选择性的层次值L，

对于类似于512*512大小的图像，层次值L=2，

对于720×1280，L=3，

而对于更大的图像，L=4；

步骤S5： 将原始输入图像下采样到不同的分辨率，该分辨率分别是原始图像（1/2）^0~L-1倍大小，并在不同的分辨率下对图像利用PQFT显著性检测方法进行显著图检测；

步骤S6：将不同分辨率下的显著图上采样到原始图像分辨率大小；

步骤S7：利用自适应阈值确定法得到每个显著图的阈值T _i ，并利用该阈值将显著图分割为显著区域和非显著区域；

步骤S8：将所有的分割完后的显著图按照从大到小的嵌套方式，得到多层次的显著性掩蔽图；

步骤S9：对原始图像利用canny边缘检测器进行检测，将图像分为纹理区，边缘区，平滑区；

步骤S10：基于步骤S8和S9以及S6得到的多层显著区和纹理等特性，建立多层次的综合掩蔽调制函数，对 S3得到的阈值进行调制，得到最终的JND阈值。

Images