CN109741293A - 显著性检测方法及装置 - Google Patents
显著性检测方法及装置 Download PDFInfo
- Publication number
- CN109741293A CN109741293A CN201811386757.3A CN201811386757A CN109741293A CN 109741293 A CN109741293 A CN 109741293A CN 201811386757 A CN201811386757 A CN 201811386757A CN 109741293 A CN109741293 A CN 109741293A
- Authority
- CN
- China
- Prior art keywords
- pixel
- segmented image
- super
- feature
- low level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例提供一种显著性检测方法及装置,其中方法包括:对原始图像以不同尺度分别进行超像素分割,获得不同尺度的分割图像;确定一定数量的低层次特征,计算每种尺度的分割图像在每个低层次特征下的第一特征图,对同一低层次特征下的所有尺度的第一特征图进行融合,获得各低层次特征的第二特征图;对于任意一种尺度的分割图像,利用暗通道和中心先验策略对所述分割图像进行优化,结合各低层次特征的第二特征图,获得所述分割图像的显著图;将所有尺度的分割图像的显著图进行集成,形成最终的显著图。本发明实施例使显著性计算更加合理和准确。
Description
技术领域
本发明实施例涉及图像处理技术领域,更具体地,涉及显著性检测方法及装置。
背景技术
人类视觉***(HVS)能够快速地挑选出场景中最感兴趣地区域,受以往大量关于人类视觉注意力机制研究的启发,研究人员就将人类注意力机制运用到计算机视觉领域,即视觉显著性检测,主要的研究目标是从一幅图像中快速地定位最让人感兴趣即最吸引人的区域,从而为视觉处理机制的性能带来极大的提升,作为目标检测领域的一个精细化课题,显著性检测在各种计算机视觉任务或应用中有着举足轻重的地位,作为一个预处理过程,准确且高效的显著性检测在图像分类、对象检测、图像分割、图像检索、行人重识别等计算机视觉领域得到了广泛的应用。
一般来说,视觉注意力是由低水平的视觉刺激驱动的。随着研究人员在过去十几年的研究,大量的基于视觉注意力机制的显著性检测模型被提出,这些模型大部分都只适用于可见光的场景中,虽然在高对比度场景下取得了很大的成绩,但是对于现实生活中的实际场景,如雨,雾霾等自然气候的变化或夜间关照条件很差的自然场景,这些模型的准确度就大大下降。由于大多数显著性检测的计算模型关注的是自底向上的方法,这种方法利用低层次的图像特征来测量图像区域与其周围环境的对比度,而低对比度图像容易受到各种噪声、场景变化、纹理变化的干扰,导致传统的显著性检测方法的性能大幅下降。
发明内容
本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的显著性检测方法及装置。
第一个方面,本发明实施例提供一种显著性检测方法,包括:
对原始图像以不同尺度分别进行超像素分割,获得不同尺度的分割图像;
确定一定数量的低层次特征,计算每种尺度的分割图像在每个低层次特征下的第一特征图,对同一低层次特征下的所有尺度的第一特征图进行融合,获得各低层次特征的第二特征图;
对于任意一种尺度的分割图像,利用暗通道和中心先验策略对所述分割图像进行优化,结合各低层次特征的第二特征图,获得所述分割图像的显著图;
将所有尺度的分割图像的显著图进行集成,形成最终的显著图。
第二个方面,本发明实施例提供一种显著性检测装置,包括:
超像素分割模块,用于对原始图像以不同尺度分别进行超像素分割,获得不同尺度的分割图像;
特征提取模块,用于确定一定数量的低层次特征,计算每种尺度的分割图像在每个低层次特征下的第一特征图,对同一低层次特征下的所有尺度的第一特征图进行融合,获得各低层次特征的第二特征图;
优化模块,用于对于任意一种尺度的分割图像,利用暗通道和中心先验策略对所述分割图像进行优化,结合各低层次特征的第二特征图,获得所述分割图像的显著图;
集成模块,用于将所有尺度的分割图像的显著图进行集成,形成最终的显著图。
第三方面,本发明实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
第四方面,本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的显著性检测方法及装置,通过对原始图像以不同尺度进行超像素分割,能够综合不同准确性的分割图像的显著性分割结果,通过确定一定数量的低层次特征,并计算种尺度的分割图像在每个低层次特征下的第一特征图,实现了获取分割图像中局部差异的目的,再对同一低层次特征下的所有尺度的第一特征图进行融合,获得各低层次特征的第二特征图,实现了获取分割图像中全局差异的目的,利用暗通道和中心先验策略对所述分割图像进行优化,能够有效识别低强度区域以及更好地预测显著性物体,最后将所有尺度的分割图像的显著图进行集成形成最终的显著图,使显著性计算更加合理和准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供显著性检测方法的流程示意图;
图2为本发明实施例提供的显著性检测装置的结构示意图;
图3为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的显著性检测方法的流程示意图,如图1所示,包括:
S100、对原始图像以不同尺度分别进行超像素分割,获得不同尺度的分割图像。
需要说明的是,由于不同的超像素分割算法所生成的显著图的准确性受超像素的数量支配,并且背景区域在不同尺度上可能有相似的超像素,但显著区域在少数尺度上可能有相似的超像素,因此本发明实施例对原始图像以不同的尺度分别继续超像素分割,获得不同尺度的分割图像。应理解,分割图像是由若干个超像素块构成的,而每个超像素块又包括若干个像素点。
S101、确定一定数量的低层次特征,计算每种尺度的分割图像在每个低层次特征下的第一特征图,对同一低层次特征下的所有尺度的第一特征图进行融合,获得各低层次特征的第二特征图。
需要说明的是,为了提取低对比度图像中有用的视觉特征信息,需要清除图像背景中的相关噪声,避免对前景显著性对象的检测造成干扰,因此本发明实施例确定若干个低层次特征,低层次特征是不需要任何形状/空间关系的信息就可以从图像中自动提取的基本特征,如:常用地阈值方法就是作为点处理的一种低层次特征提取方式。所有低层次方法都可以应用于高层次特征提取,从而在图像中找到形状。
本发明实施例首先计算每种尺度的分割图像在每个低层次特征下的第一特征图,第一特征图中每个超像素的特征值用于表征该超像素在低层次特征下与其他超像素的差异,因为超像素块本来就是一个像素点集合而成的区域,两个超像素块之间的对比就相当于像素点与其相邻区域像素点集合之间的对比,这个过程相当于局部对比度。通过对同一低层次特征下的所有尺度的第一特征图进行融合,获得各低层次特征的第二特征图,第二特征图由于融合了所有尺度的超像素的特征值,因此,第二特征图中不再存在超像素,第二特征图中的像素的特征值用于表征该像素在低层次特征下与其他像素的差异。
S102、对于任意一种尺度的分割图像,利用暗通道和中心先验策略对所述分割图像进行优化,结合各低层次特征的第二特征图,获得所述分割图像的显著图。
需要说明的是,暗通道先验的作用是去除输入图片中的雾霾,防止该噪声对特征提取造成不必要的干扰。根据对室外图像的观察,一些像素或区域通常至少有一个颜色通道,强度非常低。这意味着图像像素的暗通道主要是由暗区或特征区产生的,它们通常出现在显著物体中。因此,可以利用图像的暗通道先验来估计超像素的显著性。此外,由于人们在观看图片时,往往会把注意力集中在图像中心附近的物体上,因此,靠近图像中心的超像素的显著值应该被赋予更高的权重。因此,本发明实施例通过暗通道计算可以有效地识别低强度区域,通过中心先验能够更好地预测显著性物体。
S103、将所有尺度的分割图像的显著图进行集成,形成最终的显著图。
具体地,本发明实施例可以通过对所有尺度的分割图像的显著图求均值形成最终的显著图。对将所有尺度的分割图像的显著图进行集成可以消除产生的显著图之中的噪声。
本发明实施例通过对原始图像以不同尺度进行超像素分割,能够综合不同准确性的分割图像的显著性分割结果,通过确定一定数量的低层次特征,并计算不同尺度的分割图像在每个低层次特征下的第一特征图,实现了获取分割图像中局部差异的目的,再对同一低层次特征下的所有尺度的第一特征图进行融合,获得各低层次特征的第二特征图,实现了获取分割图像中全局差异的目的,利用暗通道和中心先验策略对所述分割图像进行优化,能够有效识别低强度区域以及更好地预测显著性物体,最后将所有尺度的分割图像的显著图进行集成形成最终的显著图,使显著性计算更加合理和准确。
在上述各实施例的基础上,作为一种可选实施例,低层次特征包括亮度特征、颜色特征和梯度特征。
相应地,所述计算每种尺度的分割图像在每个低层次特征下的第一特征图,包括:
对于任意一种尺度的分割图像,将所述分割图像转换至CIELAB颜色空间,通过分割图像的超像素的亮度与L通道的超像素的亮度之间的欧氏距离,计算分割图像在亮度特征下的第一特征图。
具体地,将RGB格式的分割图像转换至CIELAB颜色空间,并且利用L通道的成分来计算亮度差异。如果一个超像素相对于所有其他超像素有差异性,那么它就可以被认为是显著的。用dlightness(SP(i),SP(j))来表示超像素SP(i)的平均值和L通道的超像素SP(j)的欧氏距离。因此,对于每一个超像素SP(i),i=1,…,N,通过和其余N-1个超像素SP(j)计算局部亮度差异来获取全局对比度。两个超像素之间的差异性可以被如下公式定义:
SP(i)在第n个尺度下的亮度显著值可以定义为:
对于任意一种尺度的分割图像,所述分割图像转换至CIELAB颜色空间,通过CIELAB颜色空间的A通道和B通道中超像素的平均颜色值之间的欧氏距离,计算分割图像在颜色特征下的第一特征图。
具体地,本发明实施例通过转换输入图像的颜色空间来提取对应通道的颜色特征,将所述分割图像转换至CIELAB颜色空间,计算CIELAB颜色空间的A通道和B通道中超像素的平均颜色值之间的差异性:
其中,da(SP(m),SP(l))表示A通道中超像素SP(m)的颜色值与超像素SP(l)的颜色值的差值,db(SP(m),SP(l))表示B通道中超像素SP(m)的颜色值与超像素SP(l)的颜色值的差值,dposition(SP(m),SP(l))表示超像素m位置中心与超像素l位置中心的欧式距离。
SP(m)在第n个尺度下的亮度显著值可以定义为:
对于任意一种尺度的分割图像,通过水平和垂直方向的超像素的平均梯度值之间的欧氏距离,计算分割图像在梯度特征下的第一特征图。
具体地,梯度特征在复杂场景的显著性对象检测任务中有重要的作用。它能够测量图像局部灰度变化的大小,因此为了使显著性计算更加合理和准确,以g(x,y)表示分割图像的像素点的坐标,分别在水平和垂直方向上计算每个像素的梯度,可以定义为:
Gx(x,y)=g(x+1,y)-g(x-1,y)
Gy(x,y)=g(x,y+1)-g(x,y-1)
在本发明实施例中,计算超像素SP(i)和超像素SP(j)的平均梯度值之间的差异性:
其中,dGx(SP(i),SP(j))表示超像素SP(i)在水平方向的梯度与超像素SP(j)在水平方向的梯度差,dGy(SP(i),SP(j))表示超像素SP(i)在垂直方向的梯度与超像素SP(j)在垂直方向的梯度差,dposition(SP(i),SP(j))表示超像素i位置中心与超像素j位置中心的欧式距离。
SP(i)在第n个尺度下的梯度显著值可以定义为:
在上述各实施例的基础上,作为一种可选实施例,对同一低层次特征下的所有尺度的第一特征图进行融合可以通过对同一低层次特征想的的所有尺度的第一特征图求均值的方式进行融合,以亮度特征为例:
其中,表示亮度特征的第二特征图,N表示尺度的总个数。
在上述各实施例的基础上,作为一种可选实施例,利用暗通道对所述分割图像进行优化,具体为:
根据以下公式计算像素点I(x,y)的暗通道先验值Idark(x,y):
其中,c表示R、G、B三种颜色通道中的一种,Ic表示颜色通道c下的分割图像,I(x,y)表示分割图像Ic中的像素点,p(x,y)表示以I(x,y)为中心的局部块。
根据以下公式计算分割图像中超像素SP(i)的暗通道先验值:
其中,num(SP(i))表示超像素SP(i)中像素点的总数。
需要说的是,本发明实施例通过暗通道计算可以有效地识别低强度区域。因此,深色区域、彩色表面或特定对象可以从输入图像中被挑选出来。与此同时,这些因素也是显著性物体的一部分,其中暗通道特别暗。因此,暗通道属性可以很好地估计感兴趣区域(ROI)。
在上述各实施例的基础上,作为一种可选实施例,利用中心先验策略对所述分割图像进行优化,具体为:
根据以下公式对分割图像中的超像素增加权重SPweight(i):
SPweight(i)=dcenter(SPcenter(i),Icenter).
其中,dcenter表示欧氏距离,SPcenter(i)表示超像素SP(i)的中心,Icenter表示分割图像的中心。
在上述各实施例的基础上,作为一种可选实施例,具体通过以下公式获得分割图像的显著图:
其中,SPsaliency(i)表示分割图像中超像素SP(i)的显著值,SPweight(i)表示超像素SP(i)的权重,Idark(SP(i))表示超像素SP(i)的暗通道先验值,表示分割图像中像素i的亮度特征值,表示分割图像中像素i的颜色特征值,表示分割图像中像素i的梯度特征值。
图2为本发明实施例提供的显著性检测装置的结构示意图,如图2所示,该显著性检测装置包括:超像素分割模块201、特征提取模块202、优化模块203和集成模块204,其中:
超像素分割模块201用于对原始图像以不同尺度分别进行超像素分割,获得不同尺度的分割图像。
需要说明的是,由于不同的超像素分割算法所生成的显著图的准确性受超像素的数量支配,并且背景区域在不同尺度上可能有相似的超像素,但显著区域在少数尺度上可能有相似的超像素,因此本发明实施例的超像素分割模块201对原始图像以不同的尺度分别继续超像素分割,获得不同尺度的分割图像。应理解,分割图像是由若干个超像素块构成的,而每个超像素块又包括若干个像素点。
特征提取模块202用于确定一定数量的低层次特征,计算每种尺度的分割图像在每个低层次特征下的第一特征图,对同一低层次特征下的所有尺度的第一特征图进行融合,获得各低层次特征的第二特征图。
需要说明的是,为了提取低对比度图像中有用的视觉特征信息,需要清除图像背景中的相关噪声,避免对前景显著性对象的检测造成干扰,因此本发明实施例特征提取模块202确定若干个低层次特征,低层次特征是不需要任何形状/空间关系的信息就可以从图像中自动提取的基本特征,如:常用地阈值方法就是作为点处理的一种低层次特征提取方式。所有低层次方法都可以应用于高层次特征提取,从而在图像中找到形状。
本发明实施例的特征提取模块202首先计算每种尺度的分割图像在每个低层次特征下的第一特征图,第一特征图中每个超像素的特征值用于表征该超像素在低层次特征下与其他超像素的差异,因为超像素块本来就是一个像素点集合而成的区域,两个超像素块之间的对比就相当于像素点与其相邻区域像素点集合之间的对比,这个过程相当于局部对比度。通过对同一低层次特征下的所有尺度的第一特征图进行融合,获得各低层次特征的第二特征图,第二特征图由于融合了所有尺度的超像素的特征值,因此,第二特征图中不再存在超像素,第二特征图中的像素的特征值用于表征该像素在低层次特征下与其他像素的差异。
优化模块203用于对于任意一种尺度的分割图像,利用暗通道和中心先验策略对所述分割图像进行优化,结合各低层次特征的第二特征图,获得所述分割图像的显著图。
需要说明的是,暗通道先验的作用是去除输入图片中的雾霾,防止该噪声对特征提取造成不必要的干扰。根据对室外图像的观察,一些像素或区域通常至少有一个颜色通道,强度非常低。这意味着图像像素的暗通道主要是由暗区或特征区产生的,它们通常出现在显著物体中。因此,可以利用图像的暗通道先验来估计超像素的显著性。此外,由于人们在观看图片时,往往会把注意力集中在图像中心附近的物体上,因此,靠近图像中心的超像素的显著值应该被赋予更高的权重。因此,本发明实施例优化模块203通过暗通道计算可以有效地识别低强度区域,通过中心先验能够更好地预测显著性物体。
集成模块204用于将所有尺度的分割图像的显著图进行集成,形成最终的显著图。
具体地,本发明实施例的集成模块204可以通过对所有尺度的分割图像的显著图求均值形成最终的显著图。对将所有尺度的分割图像的显著图进行集成可以消除产生的显著图之中的噪声。
本发明实施例提供的显著性检测装置,具体执行上述各显著性检测方法实施例流程,具体请详见上述各显著性检测方法实施例的内容,在此不再赘述。本发明实施例提供的显著性检测装置通过对原始图像以不同尺度进行超像素分割,能够综合不同准确性的分割图像的显著性分割结果,通过确定一定数量的低层次特征,并计算不同尺度的分割图像在每个低层次特征下的第一特征图,实现了获取分割图像中局部差异的目的,再对同一低层次特征下的所有尺度的第一特征图进行融合,获得各低层次特征的第二特征图,实现了获取分割图像中全局差异的目的,利用暗通道和中心先验策略对所述分割图像进行优化,能够有效识别低强度区域以及更好地预测显著性物体,最后将所有尺度的分割图像的显著图进行集成形成最终的显著图,使显著性计算更加合理和准确。
图3为本发明实施例提供的电子设备的实体结构示意图,如图3所示,该电子设备可以包括:处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340,其中,处理器310,通信接口320,存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储在存储器330上并可在处理器310上运行的计算机程序,以执行上述各实施例提供的显著性检测方法,例如包括:对原始图像以不同尺度分别进行超像素分割,获得不同尺度的分割图像;确定一定数量的低层次特征,计算每种尺度的分割图像在每个低层次特征下的第一特征图,对同一低层次特征下的所有尺度的第一特征图进行融合,获得各低层次特征的第二特征图;对于任意一种尺度的分割图像,利用暗通道和中心先验策略对所述分割图像进行优化,结合各低层次特征的第二特征图,获得所述分割图像的显著图;将所有尺度的分割图像的显著图进行集成,形成最终的显著图。
此外,上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的显著性检测方法,例如包括:对原始图像以不同尺度分别进行超像素分割,获得不同尺度的分割图像;确定一定数量的低层次特征,计算每种尺度的分割图像在每个低层次特征下的第一特征图,对同一低层次特征下的所有尺度的第一特征图进行融合,获得各低层次特征的第二特征图;对于任意一种尺度的分割图像,利用暗通道和中心先验策略对所述分割图像进行优化,结合各低层次特征的第二特征图,获得所述分割图像的显著图;将所有尺度的分割图像的显著图进行集成,形成最终的显著图。
使用本发明实施例与现有的图像显著性检测方法分别在MSRA数据集、SED数据集、CSSD数据集以及DUT-OMRON数据集上进行测试,其中用于比较的现有的显著性检测方法分别为:基于无参数底层特征的NP(Non-Parametric)方法、基于图像签名的IS(ImageSignature)方法、基于上下文感知的CA(Context-Aware)方法、基于低秩矩阵恢复的LR(LowRank)方法、基于图像块独特性的PD(Patch Distinction)方法、基于显著性优化的SO(Saliency Optimization)方法、基于多尺度的MS(Multi-Scale)方法、基于引导学习的BL(Bootstrap Learning)方法。
AUC值(area under the curve)是ROC曲线下面积的百分比,表示显著性图预测真实显著物体的能力。曲线下的面积越大,说明显著性检测的准确率越高。各方法在不同数据集下的AUC性能如表1所示,可以看出本发明实施例的结果要优于其他8种方法的结果。
表1.本发明实施例与8种显著性检测方法在4个数据集上的AUC性能对比表
MAE(mean absolute error)平均绝对误差表明显著图和基准显著图之间的相似度。各方法在不同数据集下的MAE性能如表2所示,可以看出本发明实施例的结果获得了较好的性能。
表2.本发明实施例与8种显著性检测方法在4个数据集上的MAE性能对比表
本发明实施例由MATLAB在因特尔奔腾G2020 2.9GHz CPU和12GB内存的电脑上完成测试。
表3显示了本发明与其他8个对比方法的执行时间性能对比。相对来说,本发明在效率上是比较高效的。
表3.本发明与8种显著性检测方法在4个数据集上的运行时间(单位:秒)性能对比表
综上所述,本发明实施例提出了一个基于超像素的框架,通过在多个尺度上聚合局部对比度和全局对比度来检测显著目标,构建了基于特征对比度的框架来表示显著性,并利用暗通道先验和中心先验策略来优化显著性结果。通过与8个最先进的显著性模型(方法)的比较,在4个公共数据集中广泛地评估了本发明实施例的显著性模型(方法)。实验结果验证了该模型的优越性,提高了显著性检测的鲁棒性。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种显著性检测方法,其特征在于,包括:
对原始图像以不同尺度分别进行超像素分割,获得不同尺度的分割图像;
确定一定数量的低层次特征,计算每种尺度的分割图像在每个低层次特征下的第一特征图,对同一低层次特征下的所有尺度的第一特征图进行融合,获得各低层次特征的第二特征图;
对于任意一种尺度的分割图像,利用暗通道和中心先验策略对所述分割图像进行优化,结合各低层次特征的第二特征图,获得所述分割图像的显著图;
将所有尺度的分割图像的显著图进行集成,形成最终的显著图。
2.根据权利要求1所述的显著性检测方法,其特征在于,所述低层次特征包括亮度特征、颜色特征和梯度特征;
相应地,所述计算每种尺度的分割图像在每个低层次特征下的第一特征图,包括:
对于任意一种尺度的分割图像,将所述分割图像转换至CIELAB颜色空间,通过分割图像的超像素的亮度与L通道的超像素的亮度之间的欧氏距离,计算分割图像在亮度特征下的第一特征图;
对于任意一种尺度的分割图像,将所述分割图像转换至CIELAB颜色空间,通过CIELAB颜色空间的A通道和B通道中超像素的平均颜色值之间的欧氏距离,计算分割图像在颜色特征下的第一特征图;
对于任意一种尺度的分割图像,通过水平和垂直方向的超像素的平均梯度值之间的欧氏距离,计算分割图像在梯度特征下的第一特征图。
3.根据权利要求2所述的显著性检测方法,其特征在于,所述将所述分割图像转换至CIELAB颜色空间,通过分割图像的超像素的亮度与L通道的超像素的亮度之间的欧氏距离,计算分割图像在亮度特征下的第一特征图,具体为:
采用以下公式计算分割图像的超像素SP(i)的亮度与L通道的超像素SP(j)的亮度之间的欧氏距离:
采用以下公式计算SP(i)在第n个尺度下的亮度显著值
4.根据权利要求2所述的显著性检测方法,其特征在于,所述通过组件A和组件B中超像素的平均颜色值之间的欧氏距离,计算分割图像在颜色特征下的第一特征图,具体为:
采用以下公式计算CIELAB颜色空间的A通道和B通道中超像素的平均颜色值之间的差异性:
其中,da(SP(m),SP(l))表示A通道中超像素SP(m)的颜色值与超像素SP(l)的颜色值的差值,db(SP(m),SP(l))表示B通道中超像素SP(m)的颜色值与超像素SP(l)的颜色值的差值,dposition(SP(m),SP(l))表示超像素m位置中心与超像素l位置中心的欧式距离;
采用公式计算SP(m)在第n个尺度下的亮度显著值
5.根据权利要求1所述的显著性检测方法,其特征在于,所述利用暗通道对所述分割图像进行优化,具体为:
根据以下公式计算像素点I(x,y)的暗通道先验值Idark(x,y):
其中,c表示R、G、B三种颜色通道中的一种,Ic表示颜色通道c下的分割图像,I(x,y)表示分割图像Ic中的像素点,p(x,y)表示以I(x,y)为中心的局部块;
根据以下公式计算分割图像中超像素SP(i)的暗通道先验值:
其中,num(SP(i))表示超像素SP(i)中像素点的总数。
6.根据权利要求1所述的显著性检测方法,其特征在于,所述利用中心先验策略对所述分割图像进行优化,具体为:
根据以下公式对分割图像中的超像素增加权重SPweight(i):
SPweight(i)=dcenter(SPcenter(i),Icenter).
其中,dcenter表示欧氏距离,SPcenter(i)表示超像素SP(i)的中心,Icenter表示分割图像的中心。
7.根据权利要求1所述的显著性检测方法,其特征在于,具体通过以下公式获得分割图像的显著图:
其中,SPsaliency(i)表示分割图像中超像素SP(i)的显著值,SPweight(i)表示超像素SP(i)的权重,Idark(SP(i))表示超像素SP(i)的暗通道先验值,表示分割图像中像素i的亮度特征值,表示分割图像中像素i的颜色特征值,表示分割图像中像素i的梯度特征值。
8.一种显著性检测装置,其特征在于,包括:
超像素分割模块,用于对原始图像以不同尺度分别进行超像素分割,获得不同尺度的分割图像;
特征提取模块,用于确定一定数量的低层次特征,计算每种尺度的分割图像在每个低层次特征下的第一特征图,对同一低层次特征下的所有尺度的第一特征图进行融合,获得各低层次特征的第二特征图;
优化模块,用于对于任意一种尺度的分割图像,利用暗通道和中心先验策略对所述分割图像进行优化,结合各低层次特征的第二特征图,获得所述分割图像的显著图;
集成模块,用于将所有尺度的分割图像的显著图进行集成,形成最终的显著图。
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述处理器通信连接的至少一个存储器,其中:
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至7中任意一项所述的显著性检测方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至7中任意一项所述的显著性检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811386757.3A CN109741293A (zh) | 2018-11-20 | 2018-11-20 | 显著性检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811386757.3A CN109741293A (zh) | 2018-11-20 | 2018-11-20 | 显著性检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109741293A true CN109741293A (zh) | 2019-05-10 |
Family
ID=66356991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811386757.3A Pending CN109741293A (zh) | 2018-11-20 | 2018-11-20 | 显著性检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109741293A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110414377A (zh) * | 2019-07-09 | 2019-11-05 | 武汉科技大学 | 一种基于尺度注意力网络的遥感图像场景分类方法 |
CN110929735A (zh) * | 2019-10-17 | 2020-03-27 | 杭州电子科技大学 | 一种基于多尺度特征注意机制的快速显著性检测方法 |
CN111429463A (zh) * | 2020-03-04 | 2020-07-17 | 北京三快在线科技有限公司 | 实例分割方法、装置、电子设备和存储介质 |
CN112101376A (zh) * | 2020-08-14 | 2020-12-18 | 北京迈格威科技有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
CN112184745A (zh) * | 2019-07-01 | 2021-01-05 | ***通信集团浙江有限公司 | 图像的分割方法、分割装置及终端设备 |
CN112446417A (zh) * | 2020-10-16 | 2021-03-05 | 山东大学 | 基于多层超像素分割的纺锤形果实图像分割方法及*** |
CN112529896A (zh) * | 2020-12-24 | 2021-03-19 | 山东师范大学 | 基于暗通道先验的红外小目标检测方法及*** |
CN114638822A (zh) * | 2022-03-31 | 2022-06-17 | 扬州市恒邦机械制造有限公司 | 一种利用光学手段的汽车盖板表面质量检测方法及*** |
CN114998320A (zh) * | 2022-07-18 | 2022-09-02 | 银江技术股份有限公司 | 视觉显著性检测的方法、***、电子装置和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107103326A (zh) * | 2017-04-26 | 2017-08-29 | 苏州大学 | 基于超像素聚类的协同显著性检测方法 |
CN108345892A (zh) * | 2018-01-03 | 2018-07-31 | 深圳大学 | 一种立体图像显著性的检测方法、装置、设备及存储介质 |
-
2018
- 2018-11-20 CN CN201811386757.3A patent/CN109741293A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107103326A (zh) * | 2017-04-26 | 2017-08-29 | 苏州大学 | 基于超像素聚类的协同显著性检测方法 |
CN108345892A (zh) * | 2018-01-03 | 2018-07-31 | 深圳大学 | 一种立体图像显著性的检测方法、装置、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
MU NAN ET AL.: "A Multiscale Superpixel-Level Salient Object Detection Model Using Local-Global Contrast Cue", 《SHANGHAI JIAO TONG UNIV.(SCI.)》 * |
XIN XU ET AL.: "SALIENT OBJECT DETECTION FROM DISTINCTIVE FEATURES IN LOW CONTRAST IMAGES", 《IEEE》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112184745A (zh) * | 2019-07-01 | 2021-01-05 | ***通信集团浙江有限公司 | 图像的分割方法、分割装置及终端设备 |
CN110414377A (zh) * | 2019-07-09 | 2019-11-05 | 武汉科技大学 | 一种基于尺度注意力网络的遥感图像场景分类方法 |
CN110929735A (zh) * | 2019-10-17 | 2020-03-27 | 杭州电子科技大学 | 一种基于多尺度特征注意机制的快速显著性检测方法 |
CN110929735B (zh) * | 2019-10-17 | 2022-04-01 | 杭州电子科技大学 | 一种基于多尺度特征注意机制的快速显著性检测方法 |
CN111429463A (zh) * | 2020-03-04 | 2020-07-17 | 北京三快在线科技有限公司 | 实例分割方法、装置、电子设备和存储介质 |
CN112101376A (zh) * | 2020-08-14 | 2020-12-18 | 北京迈格威科技有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
CN112446417A (zh) * | 2020-10-16 | 2021-03-05 | 山东大学 | 基于多层超像素分割的纺锤形果实图像分割方法及*** |
CN112529896A (zh) * | 2020-12-24 | 2021-03-19 | 山东师范大学 | 基于暗通道先验的红外小目标检测方法及*** |
CN114638822A (zh) * | 2022-03-31 | 2022-06-17 | 扬州市恒邦机械制造有限公司 | 一种利用光学手段的汽车盖板表面质量检测方法及*** |
CN114638822B (zh) * | 2022-03-31 | 2022-12-13 | 扬州市恒邦机械制造有限公司 | 一种利用光学手段的汽车盖板表面质量检测方法及*** |
CN114998320A (zh) * | 2022-07-18 | 2022-09-02 | 银江技术股份有限公司 | 视觉显著性检测的方法、***、电子装置和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109741293A (zh) | 显著性检测方法及装置 | |
Berman et al. | Single image dehazing using haze-lines | |
US10248854B2 (en) | Hand motion identification method and apparatus | |
CN111325271B (zh) | 图像分类方法及装置 | |
CN105205453B (zh) | 基于深度自编码器的人眼检测和定位方法 | |
CN109919159A (zh) | 一种针对边缘图像的语义分割优化方法及装置 | |
CN108446694A (zh) | 一种目标检测方法及装置 | |
CN108090435A (zh) | 一种可停车区域识别方法、***及介质 | |
CN109948593A (zh) | 基于结合全局密度特征的mcnn人群计数方法 | |
CN110288602A (zh) | 滑坡提取方法、滑坡提取***及终端 | |
WO2020258077A1 (zh) | 一种行人检测方法及装置 | |
CN110222607A (zh) | 人脸关键点检测的方法、装置及*** | |
CN109558790B (zh) | 一种行人目标检测方法、装置及*** | |
CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
CN116311083B (zh) | 一种人群计数模型训练方法及*** | |
CN109409210A (zh) | 一种基于ssd框架的人脸检测方法及*** | |
CN109685806A (zh) | 图像显著性检测方法及装置 | |
CN113850136A (zh) | 基于yolov5与BCNN的车辆朝向识别方法及*** | |
CN114519819B (zh) | 一种基于全局上下文感知的遥感图像目标检测方法 | |
CN108320281A (zh) | 一种基于多特征扩散的图像显著性检测方法及终端 | |
CN110930384A (zh) | 基于密度信息的人群计数方法、装置、设备以及介质 | |
CN113052923A (zh) | 色调映射方法、装置、电子设备和存储介质 | |
CN113160117A (zh) | 一种自动驾驶场景下的三维点云目标检测方法 | |
CN112329550A (zh) | 基于弱监督学习的受灾建筑快速定位评估方法及装置 | |
CN116310605A (zh) | 图像检测方法、装置、设备及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190510 |