CN103632153B - 一种基于区域的图像显著图提取方法 - Google Patents

Abstract

本发明公开了一种基于区域的图像显著图提取方法，其首先通过计算图像的全局颜色直方图，得到基于全局颜色直方图的图像显著图，然后采用超像素分割技术对图像进行分割，分别计算各个区域的颜色对比度和空间稀疏性，并利用区域之间的相似性进行加权，得到基于区域颜色对比度的图像显著图和基于区域空间稀疏性的图像显著图，最后对基于全局颜色直方图的图像显著图、基于区域颜色对比度的图像显著图和基于区域空间稀疏性的图像显著图进行融合，得到最终的图像显著图，优点是获得的图像显著图能够较好地反映全局和局部区域的显著变化情况，符合图像显著语义的特征。

Description

一种基于区域的图像显著图提取方法

技术领域

本发明涉及一种图像信号的处理方法，尤其是涉及一种基于区域的图像显著图提取方法。

背景技术

在人类视觉接收与信息处理中，由于大脑资源有限以及外界环境信息重要性区别，在处理过程中人脑对外界环境信息并不是一视同仁的，而是表现出选择特征。人们在观看图像或者视频片段时注意力并非均匀分布到图像的每个区域，而是对某些显著区域关注度更高。如何将视频中视觉注意度高的显著区域检测并提取出来是计算机视觉以及基于内容的视频检索领域的一个重要的研究内容。

现有的显著图模型是一种模拟生物体视觉注意机制的选择性注意模型，其通过计算每个像素点在颜色、亮度、方向方面与周边背景的对比，并将所有像素点的显著值构成一张显著图，然而这类方法并不能很好地提取图像显著图信息，这是因为基于像素的显著特征并不能很好地反映人眼观看时的显著语义特征，而基于区域的显著特征能够有效地提高提取的稳定性和准确性，因此，如何对图像进行区域分割，如何对各个区域的特征进行提取，如何对各个区域的显著特征进行描述，如何度量区域本身的显著度和区域与区域之间的显著度，都是对基于区域的显著图提取中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种符合显著语义特征，且有较高提取稳定性和准确性的基于区域的图像显著图提取方法。

本发明解决上述技术问题所采用的技术方案为：一种基于区域的图像显著图提取方法，其特征在于包括以下步骤：

①将待处理的源图像记为{I_i(x,y)}，其中，i=1,2,3，1≤x≤W，1≤y≤H，W表示{I_i(x,y)}的宽，H表示{I_i(x,y)}的高，I_i(x,y)表示{I_i(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值，第1个分量为R分量、第2个分量为G分量和第3个分量为B分量；

②首先获取{I_i(x,y)}的量化图像及量化图像的全局颜色直方图，然后根据{I_i(x,y)}的量化图像，获取{I_i(x,y)}中的每个像素点的颜色种类，再根据{I_i(x,y)}的量化图像的全局颜色直方图和{I_i(x,y)}中的每个像素点的颜色种类，获取{I_i(x,y)}的基于全局颜色直方图的图像显著图，记为{HS(x,y)}，其中，HS(x,y)表示{HS(x,y)}中坐标位置为(x,y)的像素点的像素值，亦表示{I_i(x,y)}中坐标位置为(x,y)的像素点的基于全局颜色直方图的显著值；

③采用超像素分割技术将{I_i(x,y)}分割成M个互不重叠的区域，然后将{I_i(x,y)}重新表示为M个区域的集合，记为{SP_h}，再计算{SP_h}中的各个区域之间的相似性，将{SP_h}中的第p个区域与第q个区域之间的相似性记为Sim(SP_p,SP_q)，其中，M≥1，SP_h表示{SP_h}中的第h个区域，1≤h≤M，1≤p≤M，1≤q≤M，p≠q，SP_p表示{SP_h}中的第p个区域，SP_q表示{SP_h}中的第q个区域；

④根据{SP_h}中的各个区域之间的相似性，获取{I_i(x,y)}的基于区域颜色对比度的图像显著图，记为{NGC(x,y)}，其中，NGC(x,y)表示{NGC(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑤根据{SP_h}中的各个区域之间的相似性，获取{I_i(x,y)}的基于区域空间稀疏性的图像显著图，记为{NSS(x,y)}，其中，NSS(x,y)表示{NSS(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑥对{I_i(x,y)}的基于全局颜色直方图的图像显著图{HS(x,y)}、{I_i(x,y)}的基于区域颜色对比度的图像显著图{NGC(x,y)}及{I_i(x,y)}的基于区域空间稀疏性的图像显著图{NSS(x,y)}进行融合，得到{I_i(x,y)}的最终的图像显著图，记为{Sal(x,y)}，将{Sal(x,y)}中坐标位置为(x,y)的像素点的像素值记为Sal(x,y)，Sal(x,y)=HS(x,y)×NGC(x,y)×NSS(x,y)。

所述的步骤②的具体过程为：

②-1、对{I_i(x,y)}中的每个像素点的各个分量的颜色值分别进行量化，得到{I_i(x,y)}的量化图像，记为{P_i(x,y)}，将{P_i(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值记为P_i(x,y)，其中，符号为向下取整符号；

②-2、计算{P_i(x,y)}的全局颜色直方图，记为{H(k)|0≤k≤4095}，其中，H(k)表示{P_i(x,y)}中属于第k种颜色的所有像素点的个数；

②-3、根据{P_i(x,y)}中的每个像素点的各个分量的颜色值，计算{I_i(x,y)}中对应像素点的颜色种类，将{I_i(x,y)}中坐标位置为(x,y)的像素点的颜色种类记为k_xy，k_xy=P₃(x,y)×256+P₂(x,y)×16+P₁(x,y)，其中，P₃(x,y)表示{P_i(x,y)}中坐标位置为(x,y)的像素点的第3个分量的颜色值，P₂(x,y)表示{P_i(x,y)}中坐标位置为(x,y)的像素点的第2个分量的颜色值，P₁(x,y)表示{P_i(x,y)}中坐标位置为(x,y)的像素点的第1个分量的颜色值；

②-4、计算{I_i(x,y)}中的每个像素点的基于全局颜色直方图的显著值，将{I_i(x,y)}中坐标位置为(x,y)的像素点的基于全局颜色直方图的显著值记为HS(x,y)， $\mathrm{HS}(x,y)=\underset{k=0}{\overset{4095}{\mathrm{\Σ}}}(H\left(k\right)\×D(k_{\mathrm{xy}},k)),$ $D(k_{\mathrm{xy}},k)=\sqrt{{(p_{k_{\mathrm{xy}},1}-p_{k,1})}^2+{(p_{k_{\mathrm{xy}},2}-p_{k,2})}^2+{(p_{k_{\mathrm{xy}},3}-p_{k,3})}^2},$ 其中，D(k_xy,k)表示{H(k)|0≤k≤4095}中的第k_xy种颜色与第k种颜色之间的欧氏距离， $p_{k_{\mathrm{xy}},2}=\mathrm{mod}(k_{\mathrm{xy}}/16),$ p_k,2=mod(k/16)， 表示{H(k)|0≤k≤4095}中的第k_xy种颜色对应的第1个分量的颜色值，表示{H(k)|0≤k≤4095}中的第k_xy种颜色对应的第2个分量的颜色值，表示{H(k)|0≤k≤4095}中的第k_xy种颜色对应的第3个分量的颜色值，p_k,1表示{H(k)|0≤k≤4095}中的第k种颜色对应的第1个分量的颜色值，p_k,2表示{H(k)|0≤k≤4095}中的第k种颜色对应的第2个分量的颜色值，p_k,3表示{H(k)|0≤k≤4095}中的第k种颜色对应的第3个分量的颜色值，mod()为取余数操作函数；

②-5、根据{I_i(x,y)}中的每个像素点的基于全局颜色直方图的显著值，得到{I_i(x,y)}的基于全局颜色直方图的图像显著图，记为{HS(x,y)}。

所述的步骤③中{SP_h}中的第p个区域与第q个区域之间的相似性Sim(SP_p,SP_q)的获取过程为：

③-1、对{SP_h}中的每个区域中的每个像素点的各个分量的颜色值分别进行量化，得到{SP_h}中的每个区域的量化区域，将{SP_h}中的第h个区域的量化区域记为{P_h,i(x_h,y_h)}，将{P_h,i(x_h,y_h)}中坐标位置为(x_h,y_h)的像素点的第i个分量的颜色值记为P_h,i(x_h,y_h)，假设{P_h,i(x_h,y_h)}中坐标位置为(x_h,y_h)的像素点在{I_i(x,y)}中的坐标位置为(x,y)，则其中，1≤x_h≤W_h,1≤y_h≤H_h，W_h表示{SP_h}中的第h个区域的宽度，H_h表示{SP_h}中的第h个区域的高度，符号为向下取整符号；

③-2、计算{SP_h}中的每个区域的量化区域的颜色直方图，将{P_h,i(x_h,y_h)}的颜色直方图记为其中，表示{P_h,i(x_h,y_h)}中属于第k种颜色的所有像素点的个数；

③-3、对{SP_h}中的每个区域的量化区域的颜色直方图进行归一化操作，得到对应的归一化后的颜色直方图，将对进行归一化操作后得到的归一化后的颜色直方图记为 $\left\{{H^{\′}}_{{\mathrm{SP}}_h}\left(k\right)\right|0\≤k\≤4095\},{H^{\′}}_{{\mathrm{SP}}_h}\left(k\right)=\frac{H_{{\mathrm{SP}}_h}\left(k\right)}{\underset{h^{\′}=1}{\overset{M}{\mathrm{\Σ}}}{H}_{{\mathrm{SP}}_{h^{\′}}}\left(k\right)},$ 其中，表示{SP_h}中的第h个区域的量化区域{P_h,i(x_h,y_h)}中属于第k种颜色的像素点的出现概率，表示{SP_h}中的第h'个区域的量化区域{P_h',i(x_h',y_h')}中属于第k种颜色的所有像素点的个数，1≤x_h'≤W_h',1≤y_h'≤H_h'，W_h'表示{SP_h}中的第h'个区域的宽度，H_h'表示{SP_h}中的第h'个区域的高度，P_h',i(x_h',y_h')表示{P_h',i(x_h',y_h')}中坐标位置为(x_h',y_h')的像素点的第i个分量的颜色值；

③-4、计算{SP_h}中的第p个区域与第q个区域之间的相似性，记为Sim(SP_p,SP_q)，Sim(SP_p,SP_q)=Sim_c(SP_p,SP_q)×Sim_d(SP_p,SP_q)，Sim_c(SP_p,SP_q)表示{SP_h}中的第p个区域与{SP_h}中的第q区域之间的颜色相似性， ${\mathrm{Sim}}_c({\mathrm{SP}}_p,{\mathrm{SP}}_q)=\underset{k=0}{\overset{4095}{\mathrm{\Σ}}}\min ({H^{\′}}_{{\mathrm{SP}}_p}\left(k\right),{H^{\′}}_{{\mathrm{SP}}_q}\left(k\right)),$ Sim_d(SP_p,SP_q)表示{SP_h}中的第p个区域与{SP_h}中的第q区域之间的空间相似性，其中，SP_p表示{SP_h}中的第p个区域，SP_q表示{SP_h}中的第q个区域，表示{SP_h}中的第p个区域的量化区域{P_p,i(x_p,y_p)}中属于第k种颜色的像素点的出现概率，表示{SP_h}中的第q个区域的量化区域{P_q,i(x_q,y_q)}中属于第k种颜色的像素点的出现概率，1≤x_p≤W_p,1≤y_p≤H_p，W_p表示{SP_h}中的第p个区域的宽度，H_p表示{SP_h}中的第p个区域的高度，P_p,i(x_p,y_p)表示{P_p,i(x_p,y_p)}中坐标位置为(x_p,y_p)的像素点的第i个分量的颜色值，1≤x_q≤W_q,1≤y_q≤H_q，W_q表示{SP_h}中的第q个区域的宽度，H_q表示{SP_h}中的第q个区域的高度，P_q,i(x_q,y_q)表示{P_q,i(x_q,y_q)}中坐标位置为(x_q,y_q)的像素点的第i个分量的颜色值，min()为取最小值函数，表示{SP_h}中的第p个区域中的中心像素点的坐标位置，表示{SP_h}中的第q个区域中的中心像素点的坐标位置，符号“‖‖”为求欧式距离符号。

所述的步骤④的具体过程为：

④-1、计算{SP_h}中的每个区域的颜色对比度，将{SP_h}中的第h个区域的颜色对比度记为 ${\mathrm{NGC}}_{{\mathrm{SP}}_h}=\underset{q=1}{\overset{M}{\mathrm{\Σ}}}W({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×\left|\right|m_{{\mathrm{SP}}_h}-m_{{\mathrm{SP}}_q}\left|\right|,$ 其中，SP_h表示{SP_h}中的第h个区域，SP_q表示{SP_h}中的第q个区域，表示{SP_h}中的第h个区域中包含的像素点的总个数，Sim_d(SP_h,SP_q)表示{SP_h}中的第h个区域与{SP_h}中的第q区域之间的空间相似性， 表示{SP_h}中的第h个区域中的中心像素点的坐标位置，表示{SP_h}中的第q个区域中的中心像素点的坐标位置，符号“‖‖”为求欧式距离符号，表示{SP_h}中的第h个区域的颜色均值向量，表示{SP_h}中的第q个区域的颜色均值向量；

④-2、对{SP_h}中的每个区域的颜色对比度进行归一化操作，得到对应的归一化后的颜色对比度，将对{SP_h}中的第h个区域的颜色对比度进行归一化操作后得到的归一化后的颜色对比度记为 其中，NGC_min表示{SP_h}中的M个区域中最小的颜色对比度，NGC_max表示{SP_h}中的M个区域中最大的颜色对比度；

④-3、计算{SP_h}中的每个区域的基于颜色对比度的显著值，将{SP_h}中的第h个区域的基于颜色对比度的显著值记为 ${{\mathrm{NGC}}^{\′\′}}_{{\mathrm{SP}}_h}=\frac{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}(\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×{{\mathrm{NGC}}^{\′}}_{{\mathrm{SP}}_h})}{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)},$ 其中，Sim(SP_h,SP_q)表示{SP_h}中的第h个区域与第q个区域之间的相似性；

④-4、将{SP_h}中的每个区域的基于颜色对比度的显著值作为对应区域中的所有像素点的显著值，从而得到{I_i(x,y)}的基于区域颜色对比度的图像显著图，记为{NGC(x,y)}，其中，NGC(x,y)表示{NGC(x,y)}中坐标位置为(x,y)的像素点的像素值。

所述的步骤⑤的具体过程为：

⑤-1、计算{SP_h}中的每个区域的空间稀疏性，将{SP_h}中的第h个区域的空间稀疏性记为 ${\mathrm{NSS}}_{{\mathrm{SP}}_h}=\frac{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}(\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×D_{{\mathrm{SP}}_h})}{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)},$ 其中，Sim(SP_h,SP_q)表示{SP_h}中的第h个区域与第q个区域之间的相似性，表示{SP_h}中的第h个区域中的中心像素点与{I_i(x,y)}的中心像素点之间的欧氏距离；

⑤-2、对{SP_h}中的每个区域的空间稀疏性进行归一化操作，得到对应的归一化后的空间稀疏性，将对{SP_h}中的第h个区域的空间稀疏性进行归一化操作后得到的归一化后的空间稀疏性记为 其中，NSS_min表示{SP_h}中的M个区域中最小的空间稀疏性，NSS_max表示{SP_h}中的M个区域中最大的空间稀疏性；

⑤-3、计算{SP_h}中的每个区域的基于空间稀疏性的显著值，将{SP_h}中的第h个区域的基于空间稀疏性的显著值记为 ${{\mathrm{NSS}}^{\′\′}}_{{\mathrm{SP}}_h}=\frac{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}(\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×{{\mathrm{NSS}}^{\′}}_{{\mathrm{SP}}_h})}{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)};$

⑤-4、将{SP_h}中的每个区域的基于空间稀疏性的显著值作为对应区域中的所有像素点的显著值，从而得到{I_i(x,y)}的基于区域空间稀疏性的图像显著图，记为{NSS(x,y)}，其中，NSS(x,y)表示{NSS(x,y)}中坐标位置为(x,y)的像素点的像素值。

与现有技术相比，本发明的优点在于：

1）本发明方法通过分别计算得到基于全局颜色直方图的图像显著图、基于区域颜色对比度的图像显著图和基于区域空间稀疏性的图像显著图，并最终融合得到图像显著图，所获得的图像显著图能够较好地反映图像的全局和局部区域的显著变化情况，且稳定性和准确性高。

2）本发明方法采用超像素分割技术对图像进行分割，并利用直方图特征分别计算各个区域的颜色对比度和空间稀疏性，最终利用区域之间的相似性进行加权，得到最终的基于区域的图像显著图，这样能够提取符合显著语义的特征信息。

附图说明

图1为本发明方法的总体实现框图；

图2a为“Image1”的原始图像；

图2b为“Image1”图像的真实（Ground truth）显著图；

图2c为“Image1”图像的基于全局颜色直方图的图像显著图；

图2d为“Image1”图像的基于区域颜色对比度的图像显著图；

图2e为“Image1”图像的基于区域空间稀疏性的图像显著图；

图2f为“Image1”图像最终的图像显著图；

图3a为“Image2”的原始图像；

图3b为“Image2”图像的真实（Ground truth）显著图；

图3c为“Image2”图像的基于全局颜色直方图的图像显著图；

图3d为“Image2”图像的基于区域颜色对比度的图像显著图；

图3e为“Image2”图像的基于区域空间稀疏性的图像显著图；

图3f为“Image2”图像最终的图像显著图；

图4a为“Image3”的原始图像；

图4b为“Image3”图像的真实（Ground truth）显著图；

图4c为“Image3”图像的基于全局颜色直方图的图像显著图；

图4d为“Image3”图像的基于区域颜色对比度的图像显著图；

图4e为“Image3”图像的基于区域空间稀疏性的图像显著图；

图4f为“Image3”图像最终的图像显著图；

图5a为“Image4”的原始图像；

图5b为“Image4”图像的真实（Ground truth）显著图；

图5c为“Image4”图像的基于全局颜色直方图的图像显著图；

图5d为“Image4”图像的基于区域颜色对比度的图像显著图；

图5e为“Image4”图像的基于区域空间稀疏性的图像显著图；

图5f为“Image4”图像最终的图像显著图；

图6a为“Image5”的原始图像；

图6b为“Image5”图像的真实（Ground truth）显著图；

图6c为“Image5”图像的基于全局颜色直方图的图像显著图；

图6d为“Image5”图像的基于区域颜色对比度的图像显著图；

图6e为“Image5”图像的基于区域空间稀疏性的图像显著图；

图6f为“Image5”图像最终的图像显著图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于区域的图像显著图提取方法，其总体实现框图如图1所示，其包括以下步骤：

①将待处理的源图像记为{I_i(x,y)}，其中，i=1,2,3，1≤x≤W，1≤y≤H，W表示{I_i(x,y)}的宽，H表示{I_i(x,y)}的高，I_i(x,y)表示{I_i(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值，第1个分量为R分量、第2个分量为G分量和第3个分量为B分量。

②如果只考虑局部显著性，则图像中变化较剧烈的边缘或复杂的背景区域显著性较高，而平滑的目标区域内部显著性较低，这样还需要考虑全局显著性，全局显著性是指各像素点相对于全局图像的显著程度，因此本发明首先获取{I_i(x,y)}的量化图像及量化图像的全局颜色直方图，然后根据{I_i(x,y)}的量化图像，获取{I_i(x,y)}中的每个像素点的颜色种类，再根据{I_i(x,y)}的量化图像的全局颜色直方图和{I_i(x,y)}中的每个像素点的颜色种类，获取{I_i(x,y)}的基于全局颜色直方图的图像显著图，记为{HS(x,y)}，其中，HS(x,y)表示{HS(x,y)}中坐标位置为(x,y)的像素点的像素值，亦表示{I_i(x,y)}中坐标位置为(x,y)的像素点的基于全局颜色直方图的显著值。

在此具体实施例中，步骤②的具体过程为：

②-1、对{I_i(x,y)}中的每个像素点的各个分量的颜色值分别进行量化，得到{I_i(x,y)}的量化图像，记为{P_i(x,y)}，将{P_i(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值记为P_i(x,y)，其中，符号为向下取整符号。

②-2、计算{P_i(x,y)}的全局颜色直方图，记为{H(k)|0≤k≤4095}，其中，H(k)表示{P_i(x,y)}中属于第k种颜色的所有像素点的个数。

②-3、根据{P_i(x,y)}中的每个像素点的各个分量的颜色值，计算{I_i(x,y)}中对应像素点的颜色种类，将{I_i(x,y)}中坐标位置为(x,y)的像素点的颜色种类记为k_xy，k_xy=P₃(x,y)×256+P₂(x,y)×16+P₁(x,y)，其中，P₃(x,y)表示{P_i(x,y)}中坐标位置为(x,y)的像素点的第3个分量的颜色值，P₂(x,y)表示{P_i(x,y)}中坐标位置为(x,y)的像素点的第2个分量的颜色值，P₁(x,y)表示{P_i(x,y)}中坐标位置为(x,y)的像素点的第1个分量的颜色值。

②-4、计算{I_i(x,y)}中的每个像素点的基于全局颜色直方图的显著值，将{I_i(x,y)}中坐标位置为(x,y)的像素点的基于全局颜色直方图的显著值记为HS(x,y)， $\mathrm{HS}(x,y)=\underset{k=0}{\overset{4095}{\mathrm{\Σ}}}(H\left(k\right)\×D(k_{\mathrm{xy}},k)),$ $D(k_{\mathrm{xy}},k)=\sqrt{{(p_{k_{\mathrm{xy}},1}-p_{k,1})}^2+{(p_{k_{\mathrm{xy}},2}-p_{k,2})}^2+{(p_{k_{\mathrm{xy}},3}-p_{k,3})}^2},$ 其中，D(k_xy,k)表示{H(k)|0≤k≤4095}中的第k_xy种颜色与第k种颜色之间的欧氏距离， $p_{k_{\mathrm{xy}},2}=\mathrm{mod}(k_{\mathrm{xy}}/16),$ p_k,2=mod(k/16)， 表示{H(k)|0≤k≤4095}中的第k_xy种颜色对应的第1个分量的颜色值，表示{H(k)|0≤k≤4095}中的第k_xy种颜色对应的第2个分量的颜色值，表示{H(k)|0≤k≤4095}中的第k_xy种颜色对应的第3个分量的颜色值，p_k,1表示{H(k)|0≤k≤4095}中的第k种颜色对应的第1个分量的颜色值，p_k,2表示{H(k)|0≤k≤4095}中的第k种颜色对应的第2个分量的颜色值，p_k,3表示{H(k)|0≤k≤4095}中的第k种颜色对应的第3个分量的颜色值，mod()为取余数操作函数。

②-5、根据{I_i(x,y)}中的每个像素点的基于全局颜色直方图的显著值，得到{I_i(x,y)}的基于全局颜色直方图的图像显著图，记为{HS(x,y)}。

③采用超像素（Superpixel）分割技术将{I_i(x,y)}分割成M个互不重叠的区域，然后将{I_i(x,y)}重新表示为M个区域的集合，记为{SP_h}，再考虑局部显著性，图像中相似的区域之间一般具有较低的显著性，因此本发明计算{SP_h}中的各个区域之间的相似性，将{SP_h}中的第p个区域与第q个区域之间的相似性记为Sim(SP_p,SP_q)，其中，M≥1，SP_h表示{SP_h}中的第h个区域，1≤h≤M，1≤p≤M，1≤q≤M，p≠q，SP_p表示{SP_h}中的第p个区域，SP_q表示{SP_h}中的第q个区域。在本实施例中，取M=200。

在此具体实施例中，步骤③中{SP_h}中的第p个区域与第q个区域之间的相似性Sim(SP_p,SP_q)的获取过程为：

③-1、对{SP_h}中的每个区域中的每个像素点的各个分量的颜色值分别进行量化，得到{SP_h}中的每个区域的量化区域，将{SP_h}中的第h个区域的量化区域记为{P_h,i(x_h,y_h)}，将{P_h,i(x_h,y_h)}中坐标位置为(x_h,y_h)的像素点的第i个分量的颜色值记为P_h,i(x_h,y_h)，假设{P_h,i(x_h,y_h)}中坐标位置为(x_h,y_h)的像素点在{I_i(x,y)}中的坐标位置为(x,y)，则其中，1≤x_h≤W_h,1≤y_h≤H_h，W_h表示{SP_h}中的第h个区域的宽度，H_h表示{SP_h}中的第h个区域的高度，符号为向下取整符号。

③-2、计算{SP_h}中的每个区域的量化区域的颜色直方图，将{P_h,i(x_h,y_h)}的颜色直方图记为其中，表示{P_h,i(x_h,y_h)}中属于第k种颜色的所有像素点的个数。

③-3、对{SP_h}中的每个区域的量化区域的颜色直方图进行归一化操作，得到对应的归一化后的颜色直方图，将对进行归一化操作后得到的归一化后的颜色直方图记为 $\left\{{H^{\′}}_{{\mathrm{SP}}_h}\left(k\right)\right|0\≤k\≤4095\},{H^{\′}}_{{\mathrm{SP}}_h}\left(k\right)=\frac{H_{{\mathrm{SP}}_h}\left(k\right)}{\underset{h^{\′}=1}{\overset{M}{\mathrm{\Σ}}}{H}_{{\mathrm{SP}}_{h^{\′}}}\left(k\right)},$ 其中，表示{SP_h}中的第h个区域的量化区域{P_h,i(x_h,y_h)}中属于第k种颜色的像素点的出现概率，表示{SP_h}中的第h'个区域的量化区域{P_h',i(x_h',y_h')}中属于第k种颜色的所有像素点的个数，1≤x_h'≤W_h',1≤y_h'≤H_h'，W_h'表示{SP_h}中的第h'个区域的宽度，H_h'表示{SP_h}中的第h'个区域的高度，P_h',i(x_h',y_h')表示{P_h',i(x_h',y_h')}中坐标位置为(x_h',y_h')的像素点的第i个分量的颜色值。

③-4、计算{SP_h}中的第p个区域与第q个区域之间的相似性，记为Sim(SP_p,SP_q)，Sim(SP_p,SP_q)=Sim_c(SP_p,SP_q)×Sim_d(SP_p,SP_q)，Sim_c(SP_p,SP_q)表示{SP_h}中的第p个区域与{SP_h}中的第q区域之间的颜色相似性， ${\mathrm{Sim}}_c({\mathrm{SP}}_p,{\mathrm{SP}}_q)=\underset{k=0}{\overset{4095}{\mathrm{\Σ}}}\min ({H^{\′}}_{{\mathrm{SP}}_p}\left(k\right),{H^{\′}}_{{\mathrm{SP}}_q}\left(k\right)),$ Sim_d(SP_p,SP_q)表示{SP_h}中的第p个区域与{SP_h}中的第q区域之间的空间相似性，其中，SP_p表示{SP_h}中的第p个区域，SP_q表示{SP_h}中的第q个区域，表示{SP_h}中的第p个区域的量化区域{P_p,i(x_p,y_p)}中属于第k种颜色的像素点的出现概率，表示{SP_h}中的第q个区域的量化区域{P_q,i(x_q,y_q)}中属于第k种颜色的像素点的出现概率，1≤x_p≤W_p,1≤y_p≤H_p，W_p表示{SP_h}中的第p个区域的宽度，H_p表示{SP_h}中的第p个区域的高度，P_p,i(x_p,y_p)表示{P_p,i(x_p,y_p)}中坐标位置为(x_p,y_p)的像素点的第i个分量的颜色值，1≤x_q≤W_q,1≤y_q≤H_q，W_q表示{SP_h}中的第q个区域的宽度，H_q表示{SP_h}中的第q个区域的高度，P_q,i(x_q,y_q)表示{P_q,i(x_q,y_q)}中坐标位置为(x_q,y_q)的像素点的第i个分量的颜色值，min()为取最小值函数，表示{SP_h}中的第p个区域中的中心像素点的坐标位置，表示{SP_h}中的第q个区域中的中心像素点的坐标位置，符号“‖‖”为求欧式距离符号。

④根据{SP_h}中的各个区域之间的相似性，获取{I_i(x,y)}的基于区域颜色对比度的图像显著图，记为{NGC(x,y)}，其中，NGC(x,y)表示{NGC(x,y)}中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤④的具体过程为：

④-1、计算{SP_h}中的每个区域的颜色对比度，将{SP_h}中的第h个区域的颜色对比度记为 ${\mathrm{NGC}}_{{\mathrm{SP}}_h}=\underset{q=1}{\overset{M}{\mathrm{\Σ}}}W({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×\left|\right|m_{{\mathrm{SP}}_h}-m_{{\mathrm{SP}}_q}\left|\right|,$ 其中，SP_h表示{SP_h}中的第h个区域，SP_q表示{SP_h}中的第q个区域，表示{SP_h}中的第h个区域中包含的像素点的总个数，Sim_d(SP_h,SP_q)表示{SP_h}中的第h个区域与{SP_h}中的第q区域之间的空间相似性， 表示{SP_h}中的第h个区域中的中心像素点的坐标位置，表示{SP_h}中的第q个区域中的中心像素点的坐标位置，符号“‖‖”为求欧式距离符号，表示{SP_h}中的第h个区域的颜色均值向量，即将{SP_h}中的第h个区域中的所有像素点的颜色向量求平均得到表示{SP_h}中的第q个区域的颜色均值向量。

④-2、对{SP_h}中的每个区域的颜色对比度进行归一化操作，得到对应的归一化后的颜色对比度，将对{SP_h}中的第h个区域的颜色对比度进行归一化操作后得到的归一化后的颜色对比度记为 其中，NGC_min表示{SP_h}中的M个区域中最小的颜色对比度，NGC_max表示{SP_h}中的M个区域中最大的颜色对比度。

④-3、计算{SP_h}中的每个区域的基于颜色对比度的显著值，将{SP_h}中的第h个区域的基于颜色对比度的显著值记为 ${{\mathrm{NGC}}^{\′\′}}_{{\mathrm{SP}}_h}=\frac{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}(\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×{{\mathrm{NGC}}^{\′}}_{{\mathrm{SP}}_h})}{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)},$ 其中，Sim(SP_h,SP_q)表示{SP_h}中的第h个区域与第q个区域之间的相似性。

④-4、将{SP_h}中的每个区域的基于颜色对比度的显著值作为对应区域中的所有像素点的显著值，即对于{SP_h}中的第h个区域，将{SP_h}中的第h个区域的基于颜色对比度的显著值作为该区域中的所有像素点的显著值，从而得到{I_i(x,y)}的基于区域颜色对比度的图像显著图，记为{NGC(x,y)}，其中，NGC(x,y)表示{NGC(x,y)}中坐标位置为(x,y)的像素点的像素值。

⑤根据{SP_h}中的各个区域之间的相似性，获取{I_i(x,y)}的基于区域空间稀疏性的图像显著图，记为{NSS(x,y)}，其中，NSS(x,y)表示{NSS(x,y)}中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤⑤的具体过程为：

⑤-1、计算{SP_h}中的每个区域的空间稀疏性，将{SP_h}中的第h个区域的空间稀疏性记为 ${\mathrm{NSS}}_{{\mathrm{SP}}_h}=\frac{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}(\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×D_{{\mathrm{SP}}_h})}{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)},$ 其中，Sim(SP_h,SP_q)表示{SP_h}中的第h个区域与第q个区域之间的相似性，表示{SP_h}中的第h个区域中的中心像素点与{I_i(x,y)}的中心像素点之间的欧氏距离。

⑤-2、对{SP_h}中的每个区域的空间稀疏性进行归一化操作，得到对应的归一化后的空间稀疏性，将对{SP_h}中的第h个区域的空间稀疏性进行归一化操作后得到的归一化后的空间稀疏性记为 其中，NSS_min表示{SP_h}中的M个区域中最小的空间稀疏性，NSS_max表示{SP_h}中的M个区域中最大的空间稀疏性。

⑤-3、计算{SP_h}中的每个区域的基于空间稀疏性的显著值，将{SP_h}中的第h个区域的基于空间稀疏性的显著值记为 ${\mathrm{NS}{S}^{\′\′}}_{{\mathrm{SP}}_h}=\frac{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}(\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×{{\mathrm{NSS}}^{\′}}_{{\mathrm{SP}}_h})}{\underset{q=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{Sim}({\mathrm{SP}}_h,{\mathrm{SP}}_q)}.$

⑤-4、将{SP_h}中的每个区域的基于空间稀疏性的显著值作为对应区域中的所有像素点的显著值，即对于{SP_h}中的第h个区域，将{SP_h}中的第h个区域的基于空间稀疏性的显著值作为该区域中的所有像素点的显著值，从而得到{I_i(x,y)}的基于区域空间稀疏性的图像显著图，记为{NSS(x,y)}，其中，NSS(x,y)表示{NSS(x,y)}中坐标位置为(x,y)的像素点的像素值。

⑥对{I_i(x,y)}的基于全局颜色直方图的图像显著图{HS(x,y)}、{I_i(x,y)}的基于区域颜色对比度的图像显著图{NGC(x,y)}及{I_i(x,y)}的基于区域空间稀疏性的图像显著图{NSS(x,y)}进行融合，得到{I_i(x,y)}的最终的图像显著图，记为{Sal(x,y)}，将{Sal(x,y)}中坐标位置为(x,y)的像素点的像素值记为Sal(x,y)，Sal(x,y)=HS(x,y)×NGC(x,y)×NSS(x,y)。

以下就利用本发明方法对微软亚洲研究院提供的显著对象图像库MSRA中Image1、Image2、Image3、Image4和Image5五组图像的显著图进行提取。图2a给出了“Image1”的原始图像，图2b给出了“Image1”图像的真实（Ground truth）显著图，图2c给出了“Image1”图像的基于全局颜色直方图的图像显著图、图2d给出了“Image1”图像的基于区域颜色对比度的图像显著图、图2e给出了“Image1”图像的基于区域空间稀疏性的图像显著图、图2f给出了“Image1”图像最终的图像显著图；图3a给出了“Image2”的原始图像，图3b给出了“Image2”图像的真实（Ground truth）显著图，图3c给出了“Image2”图像的基于全局颜色直方图的图像显著图、图3d给出了“Image2”图像的基于区域颜色对比度的图像显著图、图3e给出了“Image2”图像的基于区域空间稀疏性的图像显著图、图3f给出了“Image2”图像最终的图像显著图；图4a给出了“Image3”的原始图像，图4b给出了“Image3”图像的真实（Groundtruth）显著图，图4c给出了“Image3”图像的基于全局颜色直方图的图像显著图、图4d给出了“Image3”图像的基于区域颜色对比度的图像显著图、图4e给出了“Image3”图像的基于区域空间稀疏性的图像显著图、图4f给出了“Image3”图像最终的图像显著图；图5a给出了“Image4”的原始图像，图5b给出了“Image4”图像的真实（Ground truth）显著图，图5c给出了“Image4”图像的基于全局颜色直方图的图像显著图、图5d给出了“Image4”图像的基于区域颜色对比度的图像显著图、图5e给出了“Image4”图像的基于区域空间稀疏性的图像显著图、图5f给出了“Image4”图像最终的图像显著图；图6a给出了“Image5”的原始图像，图6b给出了“Image5”图像的真实（Ground truth）显著图，图6c给出了“Image5”图像的基于全局颜色直方图的图像显著图、图6d给出了“Image5”图像的基于区域颜色对比度的图像显著图、图6e给出了“Image5”图像的基于区域空间稀疏性的图像显著图、图6f给出了“Image5”图像最终的图像显著图。从图2a至图6f可以看出，采用本发明方法得到的图像显著图由于考虑了全局和局部区域的显著变化情况，因此能够很好地符合显著语义的特征。

Claims (4)

1.一种基于区域的图像显著图提取方法，其特征在于包括以下步骤：

①将待处理的源图像记为{I_i(x,y)}，其中，i＝1,2,3，1≤x≤W，1≤y≤H，W表示{I_i(x,y)}的宽，H表示{I_i(x,y)}的高，I_i(x,y)表示{I_i(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值，第1个分量为R分量、第2个分量为G分量和第3个分量为B分量；

②首先获取{I_i(x,y)}的量化图像及量化图像的全局颜色直方图，然后根据{I_i(x,y)}的量化图像，获取{I_i(x,y)}中的每个像素点的颜色种类，再根据{I_i(x,y)}的量化图像的全局颜色直方图和{I_i(x,y)}中的每个像素点的颜色种类，获取{I_i(x,y)}的基于全局颜色直方图的图像显著图，记为{HS(x,y)}，其中，HS(x,y)表示{HS(x,y)}中坐标位置为(x,y)的像素点的像素值，亦表示{I_i(x,y)}中坐标位置为(x,y)的像素点的基于全局颜色直方图的显著值；

所述的步骤②的具体过程为：

②-1、对{I_i(x,y)}中的每个像素点的各个分量的颜色值分别进行量化，得到{I_i(x,y)}的量化图像，记为{P_i(x,y)}，将{P_i(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值记为P_i(x,y)，其中，符号为向下取整符号；

②-2、计算{P_i(x,y)}的全局颜色直方图，记为{H(k)|0≤k≤4095}，其中，H(k)表示{P_i(x,y)}中属于第k种颜色的所有像素点的个数；

②-3、根据{P_i(x,y)}中的每个像素点的各个分量的颜色值，计算{I_i(x,y)}中对应像素点的颜色种类，将{I_i(x,y)}中坐标位置为(x,y)的像素点的颜色种类记为k_xy，k_xy＝P₃(x,y)×256+P₂(x,y)×16+P₁(x,y)，其中，P₃(x,y)表示{P_i(x,y)}中坐标位置为(x,y)的像素点的第3个分量的颜色值，P₂(x,y)表示{P_i(x,y)}中坐标位置为(x,y)的像素点的第2个分量的颜色值，P₁(x,y)表示{P_i(x,y)}中坐标位置为(x,y)的像素点的第1个分量的颜色值；

②-4、计算{I_i(x,y)}中的每个像素点的基于全局颜色直方图的显著值，将{I_i(x,y)}中坐标位置为(x,y)的像素点的基于全局颜色直方图的显著值记为HS(x,y)， 其中，D(k_xy,k)表示{H(k)|0≤k≤4095}中的第k_xy种颜色与第k种颜色之间的欧氏距离， p_k,2＝mod(k/16)， 表示{H(k)|0≤k≤4095}中的第k_xy种颜色对应的第1个分量的颜色值，表示{H(k)|0≤k≤4095}中的第k_xy种颜色对应的第2个分量的颜色值，表示{H(k)|0≤k≤4095}中的第k_xy种颜色对应的第3个分量的颜色值，p_k,1表示{H(k)|0≤k≤4095}中的第k种颜色对应的第1个分量的颜色值，p_k,2表示{H(k)|0≤k≤4095}中的第k种颜色对应的第2个分量的颜色值，p_k,3表示{H(k)|0≤k≤4095}中的第k种颜色对应的第3个分量的颜色值，mod()为取余数操作函数；

②-5、根据{I_i(x,y)}中的每个像素点的基于全局颜色直方图的显著值，得到{I_i(x,y)}的基于全局颜色直方图的图像显著图，记为{HS(x,y)}；

③采用超像素分割技术将{I_i(x,y)}分割成M个互不重叠的区域，然后将{I_i(x,y)}重新表示为M个区域的集合，记为{SP_h}，再计算{SP_h}中的各个区域之间的相似性，将{SP_h}中的第p个区域与第q个区域之间的相似性记为Sim(SP_p,SP_q)，其中，M≥1，SP_h表示{SP_h}中的第h个区域，1≤h≤M，1≤p≤M，1≤q≤M，p≠q，SP_p表示{SP_h}中的第p个区域，SP_q表示{SP_h}中的第q个区域；

④根据{SP_h}中的各个区域之间的相似性，获取{I_i(x,y)}的基于区域颜色对比度的图像显著图，记为{NGC(x,y)}，其中，NGC(x,y)表示{NGC(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑤根据{SP_h}中的各个区域之间的相似性，获取{I_i(x,y)}的基于区域空间稀疏性的图像显著图，记为{NSS(x,y)}，其中，NSS(x,y)表示{NSS(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑥对{I_i(x,y)}的基于全局颜色直方图的图像显著图{HS(x,y)}、{I_i(x,y)}的基于区域颜色对比度的图像显著图{NGC(x,y)}及{I_i(x,y)}的基于区域空间稀疏性的图像显著图{NSS(x,y)}进行融合，得到{I_i(x,y)}的最终的图像显著图，记为{Sal(x,y)}，将{Sal(x,y)}中坐标位置为(x,y)的像素点的像素值记为Sal(x,y)，Sal(x,y)＝HS(x,y)×NGC(x,y)×NSS(x,y)。

2.根据权利要求1所述的一种基于区域的图像显著图提取方法，其特征在于所述的步骤③中{SP_h}中的第p个区域与第q个区域之间的相似性Sim(SP_p,SP_q)的获取过程为：

③-1、对{SP_h}中的每个区域中的每个像素点的各个分量的颜色值分别进行量化，得到{SP_h}中的每个区域的量化区域，将{SP_h}中的第h个区域的量化区域记为{P_h,i(x_h,y_h)}，将{P_h,i(x_h,y_h)}中坐标位置为(x_h,y_h)的像素点的第i个分量的颜色值记为P_h,i(x_h,y_h)，假设{P_h,i(x_h,y_h)}中坐标位置为(x_h,y_h)的像素点在{I_i(x,y)}中的坐标位置为(x,y)，则其中，1≤x_h≤W_h,1≤y_h≤H_h，W_h表示{SP_h}中的第h个区域的宽度，H_h表示{SP_h}中的第h个区域的高度，符号为向下取整符号；

③-2、计算{SP_h}中的每个区域的量化区域的颜色直方图，将{P_h,i(x_h,y_h)}的颜色直方图记为其中，表示{P_h,i(x_h,y_h)}中属于第k种颜色的所有像素点的个数；

③-3、对{SP_h}中的每个区域的量化区域的颜色直方图进行归一化操作，得到对应的归一化后的颜色直方图，将对进行归一化操作后得到的归一化后的颜色直方图记为 其中，表示{SP_h}中的第h个区域的量化区域{P_h,i(x_h,y_h)}中属于第k种颜色的像素点的出现概率，表示{SP_h}中的第h'个区域的量化区域{P_h',i(x_h',y_h')}中属于第k种颜色的所有像素点的个数，1≤x_h'≤W_h',1≤y_h'≤H_h'，W_h'表示{SP_h}中的第h'个区域的宽度，H_h'表示{SP_h}中的第h'个区域的高度，P_h',i(x_h',y_h')表示{P_h',i(x_h',y_h')}中坐标位置为(x_h',y_h')的像素点的第i个分量的颜色值；

③-4、计算{SP_h}中的第p个区域与第q个区域之间的相似性，记为Sim(SP_p,SP_q)，Sim(SP_p,SP_q)＝Sim_c(SP_p,SP_q)×Sim_d(SP_p,SP_q)，Sim_c(SP_p,SP_q)表示{SP_h}中的第p个区域与{SP_h}中的第q区域之间的颜色相似性，Sim_d(SP_p,SP_q)表示{SP_h}中的第p个区域与{SP_h}中的第q区域之间的空间相似性，其中，SP_p表示{SP_h}中的第p个区域，SP_q表示{SP_h}中的第q个区域，表示{SP_h}中的第p个区域的量化区域{P_p,i(x_p,y_p)}中属于第k种颜色的像素点的出现概率，表示{SP_h}中的第q个区域的量化区域{P_q,i(x_q,y_q)}中属于第k种颜色的像素点的出现概率，1≤x_p≤W_p,1≤y_p≤H_p，W_p表示{SP_h}中的第p个区域的宽度，H_p表示{SP_h}中的第p个区域的高度，P_p,i(x_p,y_p)表示{P_p,i(x_p,y_p)}中坐标位置为(x_p,y_p)的像素点的第i个分量的颜色值，1≤x_q≤W_q,1≤y_q≤H_q，W_q表示{SP_h}中的第q个区域的宽度，H_q表示{SP_h}中的第q个区域的高度，P_q,i(x_q,y_q)表示{P_q,i(x_q,y_q)}中坐标位置为(x_q,y_q)的像素点的第i个分量的颜色值，min()为取最小值函数，表示{SP_h}中的第p个区域中的中心像素点的坐标位置，表示{SP_h}中的第q个区域中的中心像素点的坐标位置，符号“|| ||”为求欧式距离符号。

3.根据权利要求2所述的一种基于区域的图像显著图提取方法，其特征在于所述的步骤④的具体过程为：

④-1、计算{SP_h}中的每个区域的颜色对比度，将{SP_h}中的第h个区域的颜色对比度记为 其中，SP_h表示{SP_h}中的第h个区域，SP_q表示{SP_h}中的第q个区域，表示{SP_h}中的第h个区域中包含的像素点的总个数，Sim_d(SP_h,SP_q)表示{SP_h}中的第h个区域与{SP_h}中的第q区域之间的空间相似性， 表示{SP_h}中的第h个区域中的中心像素点的坐标位置，表示{SP_h}中的第q个区域中的中心像素点的坐标位置，符号“||||”为求欧式距离符号，表示{SP_h}中的第h个区域的颜色均值向量，表示{SP_h}中的第q个区域的颜色均值向量；

④-2、对{SP_h}中的每个区域的颜色对比度进行归一化操作，得到对应的归一化后的颜色对比度，将对{SP_h}中的第h个区域的颜色对比度进行归一化操作后得到的归一化后的颜色对比度记为 其中，NGC_min表示{SP_h}中的M个区域中最小的颜色对比度，NGC_max表示{SP_h}中的M个区域中最大的颜色对比度；

④-3、计算{SP_h}中的每个区域的基于颜色对比度的显著值，将{SP_h}中的第h个区域的基于颜色对比度的显著值记为 其中，Sim(SP_h,SP_q)表示{SP_h}中的第h个区域与第q个区域之间的相似性；

④-4、将{SP_h}中的每个区域的基于颜色对比度的显著值作为对应区域中的所有像素点的显著值，从而得到{I_i(x,y)}的基于区域颜色对比度的图像显著图，记为{NGC(x,y)}，其中，NGC(x,y)表示{NGC(x,y)}中坐标位置为(x,y)的像素点的像素值。

4.根据权利要求3所述的一种基于区域的图像显著图提取方法，其特征在于所述的步骤⑤的具体过程为：

⑤-1、计算{SP_h}中的每个区域的空间稀疏性，将{SP_h}中的第h个区域的空间稀疏性记为 其中，Sim(SP_h,SP_q)表示{SP_h}中的第h个区域与第q个区域之间的相似性，表示{SP_h}中的第h个区域中的中心像素点与{I_i(x,y)}的中心像素点之间的欧氏距离；

⑤-2、对{SP_h}中的每个区域的空间稀疏性进行归一化操作，得到对应的归一化后的空间稀疏性，将对{SP_h}中的第h个区域的空间稀疏性进行归一化操作后得到的归一化后的空间稀疏性记为 其中，NSS_min表示{SP_h}中的M个区域中最小的空间稀疏性，NSS_max表示{SP_h}中的M个区域中最大的空间稀疏性；

⑤-3、计算{SP_h}中的每个区域的基于空间稀疏性的显著值，将{SP_h}中的第h个区域的基于空间稀疏性的显著值记为

⑤-4、将{SP_h}中的每个区域的基于空间稀疏性的显著值作为对应区域中的所有像素点的显著值，从而得到{I_i(x,y)}的基于区域空间稀疏性的图像显著图，记为{NSS(x,y)}，其中，NSS(x,y)表示{NSS(x,y)}中坐标位置为(x,y)的像素点的像素值。