CN102693426B

CN102693426B - 一种图像显著区域检测方法

Info

Publication number: CN102693426B
Application number: CN201210158194.9A
Authority: CN
Inventors: 王好谦; 张春龙; 戴琼海
Original assignee: Shenzhen Graduate School Tsinghua University
Current assignee: Shenzhen Graduate School Tsinghua University
Priority date: 2012-05-21
Filing date: 2012-05-21
Publication date: 2014-01-08
Anticipated expiration: 2032-05-21
Also published as: CN102693426A; HK1171845A1

Abstract

本发明公开了一种图像显著区域检测方法，包括以下步骤：1）色彩空间转换和滤波处理；2）局部窗口计算；3）对得到的各像素点的第一显著性值进行规范化操作转换为取值在0-255之间的灰度值后得到待检测图像的第一显著性值的第一灰度图像；4）全局分块计算；5）对得到的各像素点的第二显著性值进行规范化操作转换为取值在0-255之间的灰度值后得到待检测图像的第二显著性值的第二灰度图像；6）对步得到的第一灰度图像和第二灰度图像进行合并操作，取两者中较大值作为最终的灰度值，得到待检测图像最终的显著性值的灰度图像。本发明的图像显著区域检测方法综合了局部处理方式和全局处理方式，得到的显著性值灰度图像较准确，且计算量也较小。

Description

一种图像显著区域检测方法

技术领域

本发明涉及计算机图像处理领域，特别是涉及一种图像显著区域检测方法。

背景技术

人类的视觉机理和反射条件具有一定的共性，这会使图像中一定的显著性区域，如图像的边缘、色差梯度较大的图像区域，总会引起人们的注意。基于这种原理，可以对图像中的显著性的区域进行检测，提取出显著性值的灰度图像，从而广泛的应用于计算机视觉领域，包括对兴趣目标物体的图像分割，目标识别，自适应压缩，内容感知图像编辑，和图像检索等。同时，对图像的显著性区域的检测研究反过来对研究人类视觉***的信息加工也有帮助。

图像显著区域检测方法即是要得到待处理的图像中每一像素点的显著性值，根据显著性值得到对应的显著性灰度图。现有的图像显著区域检测方法中，有基于全局的计算方法计算显著性值的，也有基于局部窗口计算显著性值的，但上述两种方法各自突出待检测图像中不同的特性，全局计算方法得到的显著性值灰度图像突出的是待检测图像的主体部分的显著性，而局部处理计算方法得到的显著性值灰度图像突出的是待检测图像中的边缘以及纹理较强处的信息。以人脸图像为例说明，采用全局计算方法得到的各像素点显著性值，能识别出人脸图像的主体部分，但对于脸部轮廓处、眼睛、鼻子、嘴部边缘处却不能很好体现；而采用局部计算方法得到的各像素点显著性值，对轮廓边缘处能很好地体现，但对于脸部主体部分却不能很好地体现。这样两种方法得到的灰度图结果均不能较准确的反应待检测图像的显著性值。

发明内容

本发明所要解决的技术问题是：弥补上述现有技术的不足，提出一种图像显著区域检测方法，结合局部处理和全局处理方式，使得到的显著性值灰度图像更加精确。

本发明的技术问题通过以下的技术方案予以解决：

一种图像显著区域检测方法，包括以下步骤：1）色彩空间转换和滤波处理：将待检测图像从RGB色彩空间转换为CIELab色彩空间，并对图像做滤波处理；2）局部窗口计算：按局部处理方式计算待检测图像中各像素点的显著性值，定义为第一显著性值；所述局部处理方式为：以当前待计算的像素点R为中心，在m×n的矩形窗口中，计算像素点R的显著性值S₁（R）；3）对步骤2）得到的各像素点的第一显著性值进行规范化操作转换为取值在0-255之间的灰度值后得到待检测图像的第一显著性值的第一灰度图像；4）全局分块计算：按全局处理方式计算待检测图像中各像素点的显著性值，定义为第二显著性值；所述全局处理方式为：将待检测图像划分为M块均包含e×f个像素点的像素块，当前待计算的像素点R位于像素块Pi中，计算像素块Pi的显著性值，则像素点R的显著性值S₂（R）等于像素块Pi的显著性值；5）对步骤4）得到的各像素点的第二显著性值进行规范化操作转换为取值在0-255之间的灰度值后得到待检测图像的第二显著性值的第二灰度图像；6）对步骤3）得到的第一灰度图像和步骤5）得到的第二灰度图像进行合并操作，比较两幅灰度图中的各像素点的灰度值，取两者中较大值作为最终的灰度值，得到待检测图像最终的显著性值的灰度图像。

本发明与现有技术对比的有益效果是：

本发明的图像显著区域检测方法，由于综合利用了在局部矩形窗口中计算得到的显著性值和全局分块划分后计算得到的显著性值，取两种方式中显著性值对应的灰度值较大者作为最终灰度值生成灰度图像。得到的灰度图像中，即能突出待检测图像中边缘、纹理较强处区域的显著性值（局部处理方式），也能突出待检测图像中主体部分的显著性值（全局处理方式），因此得到的显著性值灰度图像比单一局部处理方法或单一全局处理方法更为准确。同时，由于局部处理时采取矩形窗口进行计算，计算量较小，全局处理时按照分块划分后计算像素块显著性值得到像素点显著性值，计算量也较小，因此本发明的图像显著区域检测方法在提高结果准确性的同时，计算量并没有增大。

附图说明

图1是本发明具体实施方式中的图像显著区域检测方法的流程图；

图2是本发明具体实施方式中的分块划分中25块均包含4×4个像素点的像素块的位置关系示意图。

具体实施方式

下面结合具体实施方式并对照附图对本发明做进一步详细说明。

如图1所示，为本具体实施方式中的图像显著区域检测方法的流程图。

U1）色彩空间转换和滤波处理：将待检测图像从RGB色彩空间转换为CIELab色彩空间，并对图像做滤波处理。

本具体实施方式中，运用如下简单的转换关系式进行转换：

L = 0.2126 * R + 0.7152 * G + 0.0722 * B

a = 1.4749 * (0.2213 * R - 0.3390 * G + 0.1177 * B) + 128

b = 0.6245 * (0.1949 * R + 0.6057 * G - 0.8006 * B) + 128

其中，R，G，B分别表示所述待检测图像中像素点在RGB色彩空间的R通道值，G通道值，B通道值；L，a，b分别表示转换后所述待检测图像中像素点在CIELab色彩空间的L通道值，a通道值，b通道值。上述各值的取值范围均是[0,255]。

将待检测图像转换到CIELab色彩空间，而在CIELab色彩空间计算空间距离时更加符合人类的视觉感知，视觉感知误差较小，相对于在非CIELab色彩空间计算空间距离会产生较大的视觉感知误差，因此可从色彩空间转换这一方面确保得到的显著性值的准确性。当然，本具体实施方式中使用上述转换关系式，是因为上述转换关系式较简单，同时也能满足精确度的要求，其它更为精确，比如式中各系数的小数点取更多位时，但稍复杂的转换关系式也可用于此处进行色彩空间转换。

对转换色彩空间后的图像进行滤波处理以达到减小噪声的目的。本具体实施方式中，采用高斯滤波器，高斯滤波器是一种低通滤波器，对图像的数字信号进行平滑处理，以去掉高频噪声。高斯滤波处理是一种成熟滤波技术，具体处理方式在此不做详细介绍。

U2）局部窗口计算：针对上述步骤U1）处理后转换至CIELab色彩空间的待检测图像按局部处理方式计算图像中各像素点的显著性值，定义为第一显著性值。其中，局部处理方式为：以当前待计算的像素点R为中心，在m×n的矩形窗口中，计算像素点R的显著性值S₁（R）。m×n的矩形窗口越小，最终得到的灰度图像突出边界信息就越清楚，计算结果越精确。按照矩形窗口为计算区域计算窗口中心像素点的显著性值，计算量较小。

本具体实施方式中，按照局部矩形窗口计算像素点显著性值时，依据公式1计算得到当前待计算的像素点R的显著性值S₁（R），公式1为：

Figure 2012101581949100002DEST_PATH_IMAGE002

其中，

Figure 2012101581949100002DEST_PATH_IMAGE004

，N表示矩形窗口中像素点的个数，N=m×n ；I（k）表示第k个像素点的像素值，则I₀表示m×n的矩形窗口中N个像素点的平均像素值。I_R表示当前像素点R的像素值，D表示两个像素值之间的欧式距离，即本具体实施方式中以像素点R的像素值与矩形窗口的平均像素值之间的欧式距离作为当前待计算的像素点R的显著性值S₁（R）。计算欧式距离时，L_R，a_R，b_R分别表示像素点R在CIELab色彩空间的L通道值，a通道值，b通道值；L₀，a₀，b₀分别表示N个像素点在CIELab色彩空间的L通道的均值，a通道的均值，b通道的均值。

优选地，上述局部处理方式计算各个像素点的显著性值时，按照三种尺度（例如20×25,30×35，40×45三种尺度，或者20×20,30×30，40×40三种尺度）选取矩形窗口，每一尺度矩形窗口下均计算得到当前像素点的一个显著性值，按照窗口由小到大分别得到像素点R的三个显著性值S_1a（R），S_1b（R），S_1c（R），则像素点R的显著性值S₁（R）由显著性值S_1a（R），S_1b（R），S_1c（R）加权求和取平均得到：

Figure 2012101581949100002DEST_PATH_IMAGE006

，其中，a、b和c分别为设定的加权系数，窗口越小，边界信息就越清楚，计算结果越精确，加权系数越大，反之窗口越大，边界信息越模糊，计算结果越粗糙，相应的权值也就越小。本具体实施方式中a设为1，b设为1/2，c设为1/3。按照取3种尺度的方式计算局部窗口中的中心像素点的显著性值，由于采用的是多尺度加权求平均，因此可从多尺度融合的角度进一步提高局部计算得到的显著性值的精确度。需要说明的是，采用3种尺度相比采用2种尺度，对结果精确度的提升较显著，而如果将尺度选为更多的4种，5种，计算量会增大，但结果精确度的提升却并不显著，因此计算时采用3种尺度是最佳的多尺度。

U3）对步骤U2）得到的各像素点的第一显著性值进行规范化操作转换为取值在0-255之间的灰度值后得到待检测图像的第一显著性值的第一灰度图像。

进行规范化操作即是将得到的各显著性值转化成相应的灰度值，得到灰度图。规范化操作运用线性函数转换的方法，本具体实施方式中依据公式3进行：

公式3为：y=255×

Figure 2012101581949100002DEST_PATH_IMAGE008

；

其中，将步骤U2）待转换的各个像素点的显著性值分别作为x带入公式3，y表示转换后像素点的显著性值对应于灰度图像中的灰度值，MaxValue和MinValue分别为各像素点中的最大显著性值和最小值显著性值。经过规范化，即各个像素点的显著性值最终转换成各个取值在0-255之间的灰度值，由该多个灰度值即得到显著性值对应的灰度图。

U4）全局分块计算：按全局处理方式计算所待检测图像中各像素点的显著性值，定义为第二显著性值。全局处理方式为：将待检测图像划分为M块均包含e×f个像素点的像素块，当前待计算的像素点R位于像素块Pi中，计算像素块Pi的显著性值，则像素点R的显著性值S₂（R）等于像素块Pi的显著性值。

全局计算时，分块划分，设定各块中各像素点的显著性值均等于所在像素块的显著性值，这样计算出各像素块的显著性值后即得到各点的显著性值，相对于每一个像素点均单独计算像素点的全局计算方式计算量也较小。本具体实施方式中，依据公式2计算像素块Pi的显著性值，公式2为：

Figure 2012101581949100002DEST_PATH_IMAGE010

其中，

Figure 2012101581949100002DEST_PATH_IMAGE012

，表示像素块Pi与像素块Pj的二维位置关系控制系数，Xij、Yij分别表示像素块Pi与Pj在x轴、y轴上的相对距离。如图2所示，为25块均包含4×4个像素点的像素块的位置关系示意图，则像素块101与像素块102在x轴上的相对距离为1，在y轴上的相对距离为0，因此计算像素块101与像素块102的w时，带入计算即可。同理，如要计算像素块101与像素块302的w时，将x轴相对距离为1，y轴相对距离为2带入公式计算即可。

上述公式中，I_Pi表示像素块Pi中e×f个像素点的平均像素值，I_Pj表示像素块Pj中e×f个像素点的平均像素值，D表示两个像素值之间的欧式距离；L_Pi，a_Pi，b_Pi分别表示像素块Pi中e×f个像素点在CIELab色彩空间的L通道的均值，a通道的均值，b通道的均值；L_Pj，a_Pj，b_Pj分别表示像素块Pj中e×f个像素点在CIELab色彩空间的L通道的均值，a通道的均值，b通道的均值。即全局分块划分计算像素块的显著性值时，用当前像素块与其它各像素块的平均像素值的欧式距离加和得到当前像素块的显著性值，并用位置关系控制系数进行修正。上述像素块的显著性值综合考虑了色彩差异以及像素块的二维空间位置关系，色彩差异越大显著性值越大；又因为显著性区域成聚集状态，所以块位置距离越近影响越大，显著性值也就越大。

优选地，上述全局分块方式计算各个像素点的显著性值时，按照三种尺度（例如一个包含19600个像素点的图像，按照1225块各包含4×4个像素点的像素块划分,或按照400块各包含7×7个像素点的像素块划分,或按照196块各包含10×10个像素点的像素块划分等三种尺度）选取矩形窗口，每一种分块划分尺度下均计算得到当前像素点的一个显著性值，按照三种分块方式下各像素块中包含的像素点个数由少到多分别得到像素点R的三个显著性值S_2u（R），S_2v（R），S_2w（R），则像素点R的显著性值S₂（R）由显著性值S_2u（R），S_2v（R），S_2w（R）加权求和取平均得到：

Figure 2012101581949100002DEST_PATH_IMAGE014

，其中，u、v和w分别为设定的加权系数，各像素块中包含像素点个数越少，分块越小越多，计算结果越精确，加权系数越大，反之各像素块中包含像素点个数越多，分块越大越少，计算结果越粗糙，相应的权值也就越小，加权系数越小。本具体实施方式中u设为1，v设为1/2，w设为1/3。按照取3种尺度分块划分计算全局的显著性值，由于采用的是多尺度分块加权求平均，因此可从多尺度融合的角度进一步提高全局计算得到的显著性值的精确度。同样地，计算时采用3种尺度是最佳的多尺度。

U5）对步骤U4）得到的各像素点的第二显著性值进行规范化操作转换为取值在0-255之间的灰度值后得到待检测图像的第二显著性值的第二灰度图像。此处规范化操作同步骤U3）中规范化操作，因此不再重复说明。此处也采用前述公式3进行规范化操作得到灰度图。

U6）对步骤U3）得到的第一灰度图像和步骤U5）得到的第二灰度图像进行合并操作，比较两幅灰度图中的各像素点的灰度值，取两者中较大值作为最终的灰度值，得到待检测图像最终的显著性值的灰度图像。

此处即是采用Winner-Take-All准则，即对两幅图中的同一像素点的显著性值对应的灰度值做逐点对比，选取二者之间较大值最为最终的显著性值，生成一幅最终的显著性值的灰度图像。此步骤即是将局部处理方式在局部矩形窗口中计算的像素点的显著性值，与全局分块划分后计算的像素点的显著性值进行合并，取两者中较大者作为像素点最终的显著性值对应的灰度值，这样得到的灰度图像中既能突出待检测图像的主体部分的显著性值，又能突出待检测图像中边缘轮廓部分的显著性值。

U7）对步骤U6）得到的最终的显著性值的灰度图像进行双边滤波，以修正边缘信息。

由于本具体实施方式中图像显著区域检测方法，综合了局部处理方式与全局处理方式，因此得到的灰度图像中既能突出待检测图像的主体部分的显著性值，又能突出待检测图像中边缘轮廓部分的显著性值，得到的灰度图像比单一局部处理方法只能突出边缘轮廓显著性值，或单一全局处理方法只能突出主体部分显著性值都更为准确。同时，局部处理按照矩形窗口为计算区域计算窗口中心像素点的显著性值，计算量较小；全局处理分块划分，设定各块中各像素点的显著性值均等于所在像素块的显著性值，计算出各像素块的显著性值后即得到各点的显著性值，相对于每一个像素点均单独计算像素点的全局计算方式计算量也较小。即本具体实施方式中的图像显著区域检测方法得到的灰度图结果更为准确，且计算量并没有增大太多。进一步地，采用多尺度取矩形窗口和/或多尺度划分分块，将各尺度得到的显著性值加权求和取平均，可从多尺度的角度进一步提高显著性值计算的精确度。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims

1.一种图像显著区域检测方法，其特征在于：包括以下步骤：

1）色彩空间转换和滤波处理：将待检测图像从RGB色彩空间转换为CIELab色彩空间，并对图像做滤波处理；

2）局部窗口计算：按局部处理方式计算待检测图像中各像素点的显著性值，定义为第一显著性值；所述局部处理方式为：以当前待计算的像素点R为中心，在m×n的矩形窗口中，计算像素点R的显著性值S₁（R）；依据公式1计算像素点R的显著性值S₁（R），公式1为：

其中，N表示矩形窗口中像素点的个数，N=m×n；I（k）表示第k个像素点的像素值，I₀表示m×n的矩形窗口中N个像素点的平均像素值；I_R表示像素点R的像素值，D表示两个像素值之间的欧式距离，L_R，a_R，b_R分别表示像素点R在CIELab色彩空间的L通道值，a通道值，b通道值；L₀，a₀，b₀分别表示N个像素点在CIELab色彩空间的L通道的均值，a通道的均值，b通道的均值；

3）对步骤2）得到的各像素点的第一显著性值进行规范化操作转换为取值在0-255之间的灰度值后得到待检测图像的第一显著性值的第一灰度图像；

4）全局分块计算：按全局处理方式计算待检测图像中各像素点的显著性值，定义为第二显著性值；所述全局处理方式为：将待检测图像划分为M块均包含e×f个像素点的像素块，当前待计算的像素点R位于像素块Pi中，计算像素块Pi的显著性值，则像素点R的显著性值S₂（R）等于像素块Pi的显著性值；

5）对步骤4）得到的各像素点的第二显著性值进行规范化操作转换为取值在0-255之间的灰度值后得到待检测图像的第二显著性值的第二灰度图像；

6）对步骤3）得到的第一灰度图像和步骤5）得到的第二灰度图像进行合并操作，比较两幅灰度图中的各像素点的灰度值，取两者中较大值作为最终的灰度值，得到待检测图像最终的显著性值的灰度图像。

2.根据权利要求1所述的图像显著区域检测方法，其特征在于：所述步骤4）中依据公式2计算像素块Pi的显著性值，公式2为：

其中，

表示像素块Pi与像素块Pj的二维位置关系控制系数，Xij、Yij分别表示像素块Pi与Pj在x轴、y轴上的相对距离；I_Pi表示像素块Pi中e×f个像素点的平均像素值，I_Pj表示像素块Pj中e×f个像素点的平均像素值；D表示两个像素值之间的欧式距离；L_Pi，a_Pi，b_Pi分别表示像素块Pi中e×f个像素点在CIELab色彩空间的L通道的均值，a通道的均值，b通道的均值；L_Pj，a_Pj，b_Pj分别表示像素块Pj中e×f个像素点在CIELab色彩空间的L通道的均值，a通道的均值，b通道的均值。

3.根据权利要求1所述的图像显著区域检测方法，其特征在于：所述步骤2）中局部处理方式中，按照三种尺度选取矩形窗口，按照窗口由小到大分别得到像素点R的显著性值S_1a（R），S_1b（R），S_1c（R），则像素点R的显著性值S₁（R）由显著性值S_1a（R），S_1b（R），S_1c（R）加权求和取平均得到：

其中，a、b和c分别为设定的加权系数，窗口越小，加权系数越大。

4.根据权利要求3所述的图像显著区域检测方法，其特征在于：所述a设为1，b设为1/2，c设为1/3。

5.根据权利要求1所述的图像显著区域检测方法，其特征在于：所述步骤5）中全局处理方式中，按照三种尺度划分像素块，按照各像素块中包含的像素点个数由少到多分别得到像素点R的显著性值S_2u（R），S_2v（R），S_2w（R），则像素点R的显著性值S₂（R）由显著性值S_2u（R），S_2v（R），S_2w（R）加权求和取平均得到：

其中，u、v和w分别为设定的加权系数，像素点个数越少，加权系数越大。

6.根据权利要求5所述的图像显著区域检测方法，其特征在于：所述u设为1，v设为1/2，w设为1/3。

7.根据权利要求1所述的图像显著区域检测方法，其特征在于：所述步骤3）和步骤5）中的规范化操作转换为取值在0-255之间的灰度值是依据公式3进行；

公式3为：y=255×(x-MinValue)/(MaxValue-MinValue);

其中，将待转换的各像素点的显著性值作为x带入公式3，y表示转换后像素点的显著性值对应于灰度图像中取值在0-255之间的灰度值，MaxValue和MinValue分别为各像素点中的最大显著性值和最小值显著性值。

8.根据权利要求1所述的图像显著区域检测方法，其特征在于：所述步骤1）中根据如下转换关系式进行色彩空间转换：

L=0.2126*R+0.7152*G+0.0722*B

a=1.4749*(0.2213*R-0.3390*G+0.1177*B)+128

b=0.6245*(0.1949*R+0.6057*G-0.8006*B)+128

其中，R，G，B分别表示所述待检测图像中像素点在RGB色彩空间的R通道值，G通道值，B通道值；L，a，b分别表示转换后所述待检测图像中像素点在CIELab色彩空间的L通道值，a通道值，b通道值。

9.根据权利要求1所述的图像显著区域检测方法，其特征在于：还包括步骤7），对步骤6）得到的最终的显著性值的灰度图像进行双边滤波。