CN103793717A - 判断图像主体显著性及训练其分类器的方法和*** - Google Patents

Abstract

本申请公开了一种训练用于判断图像主体显著性的分类器的方法和***、用于判断图像主体显著性的方法及***以及利用视觉特征来搜索图像的方法，训练用于判断图像主体显著性的分类器的方法包括如下步骤：获取A张主体显著性图像作为正样本，以及B张主体非显著性图像作为负样本，其中A和B为正整数；在多个尺度下对所述正样本和所述负样本进行视觉特征提取，所述视觉特征包括视觉显著度；以及利用所提取的视觉特征训练用于判断图像主体显著性的分类器。本申请可以快速准确地判断图像的主体是否具有显著性，从而利于图像的审核筛选、检索等。

Description

判断图像主体显著性及训练其分类器的方法和***

技术领域

本申请涉及图像内容分析及搜索领域，尤其涉及一种训练用于判断图像主体显著性的分类器的方法和***、用于判断图像主体显著性的方法和***、以及利用视觉特征来搜索图像的方法。

背景技术

随着信息技术的发展，人们的需求从简单的文本信息发展到了图像信息。鉴于人们对图像数据查询需求的日益增长，为了满足用户基于海量图像信息的检索需要，提升基于图像的互联网应用的使用体验，基于内容分析的图像检索技术成为当前图像检索的主流方向。在图像检索、主动视觉等图像信息处理任务中，需要在没有任何先验信息的情况下，建立对图像内容的描述与分析，由于没有明确的分析目的，传统的方法大都会对每幅图像均进行全面的处理。然而并不是所有图像都有全面分析的价值。对于一幅图像来说，重点表现的主体区域最能表现图像内容，含有的信息量也最大；而一幅图像中与主体无关的区域以及那些没有明确主体信息、内容散乱分布的图像则通常与用户需求相关性小得多。因此，对每幅图像均进行全面处理的方法不但增加了分析过程的复杂性，而且带来了不必要的计算浪费。

此外，对于目前网站上所使用的传统的只基于关键词的商品检索方式，返回的商品图像往往不能很好地满足用户的检索需要。例如，在检索时，如果多个物品杂乱分布的图片、只显示商品细节的图片以及分辨不清所要展示的目标商品的图片排在返回列表的前列，则用户往往需要更多的额外操作（如点击进入商品页面或更多的翻页次数）才能找到心仪的商品，继而达成最终的购买目的。这种情况产生的结果是，原本的潜在消费者极有可能因为糟糕的图片搜索体验而放弃本次购买。

另外，电子商务网站的卖家往往要上传大量图片用于商品展示，这些图片往往是潜在买家获取商品信息最主要的渠道，甚至很大程度上决定用户的最终购买行为，因此要求图片中所要展示的商品主体清晰、突出、易于辨认。然而，当前海量上传图片的审核完全是由人工完成的，存在效率低、耗时长、依赖于审核人的主观评价的缺点。

而且，对于一幅图像来说，用户只对图像中的部分区域感兴趣，这部分感兴趣的区域代表了用户的查询意图，而多数剩余的不感兴趣区域则与用户查询意图无关。主体所在区域是图像中最能引起用户兴趣、最能表现图像内容的区域，这些区域含有的信息量也最大，因而，包含显著性主体的图像研究价值往往更大。事实上，显著区域的选择是非常主观的，由于用户任务和知识背景的不同，对于同一幅图像，不同的用户可能会选择不同的区域作为显著区域。如果人工标记某幅图像是否属于主体视觉显著性强的图像，会耗费大量时间与人工成本，而且对人的主观判断依赖性强。

发明内容

针对上述现有技术存在的缺陷，本申请的目的是提供一种能快速并有效地审核图像是否具有主体显著性的判断图像主体显著性的方法和***、训练用于判断图像主体显著性的方法和***。

本申请的另一目的是提供一种用于判断图像主体显著性的方法和***及训练用于判断图像主体显著性的方法和***，其能改善商品搜索的用户体验，并提高用户的搜索满意度。

本申请的再一目的是提供一种能提高搜索效率的利用视觉特征来搜索图像的方法。

为了实现上述目的，本申请提供一种训练用于判断图像主体显著性的方法，包括如下步骤：a.获取A张主体显著性图像作为正样本，以及B张主体非显著性图像作为负样本，其中A和B为正整数；b.在多个尺度下对所述正样本和所述负样本进行视觉特征提取，所述视觉特征包括视觉显著度；以及c.利用所提取的视觉特征训练用于判断图像主体显著性的分类器。

本申请还提供一种判断图像主体显著性的方法，包括如下步骤：a.获取待判断是否具有主体显著性的图像；b.在多个尺度下对所获取的图像进行视觉特征提取，所述视觉特征包括视觉显著度；以及c.利用所提取的视觉特征判断所获取的图像是否为主体显著性图像。

本申请还提供一种训练用于判断图像主体显著性的分类器的***，包括：样本获取模块，获取A张主体显著性图像作为正样本，以及B张主体非显著性图像作为负样本，其中A和B为正整数；视觉特征提取模块，在多个尺度下对所述正样本和所述负样本进行视觉特征提取，所述视觉特征包括视觉显著度；以及分类器训练模块，利用所提取的视觉特征训练用于判断图像主体显著性的分类器。

本申请还提供一种判断图像主体显著性的***，包括：获取图像模块，获取待判断是否具有主体显著性的图像；视觉特征提取模块，在多个尺度下对所获取的图像进行视觉特征提取，所述视觉特征包括视觉显著度；以及判断模块，利用所提取的视觉特征判断所获取的图像是否为主体显著性图像。

本申请还提供一种利用视觉特征来搜索图像的方法，包括如下步骤：a.对输入图像和待搜索图像进行视觉特征提取，所述视觉特征包括视觉显著度；b.将所提取的输入图像的视觉特征与所提取的待搜索图像的视觉特征进行匹配，以从所述待搜索图像中搜索出所述输入图像。

本申请包括如下所述的多个优点。当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。

本申请能够快速且准确地判断图像的主体是否具有显著性。当将本申请应用于上传图像的自动审核时，不但能快速向图像上传者反馈其上传图片是否能与用户的检索需求相匹配、更易于商品的展示，节省时间与人工成本，而且评价更加客观、标准清晰明了。当将本申请应用于图像检索结果的重排序时，对符合用户期望的主体明确的商品展示图像给予更高的分数，可以提升这些图像在返回结果中的排序位置，继而改善商品搜索的用户体验，提高用户的搜索满意度。而且，本申请利用视觉特征来搜索图像的方法对输入图像和待搜索的图像仅进行主体显著性部分的特征提取和匹配，使得特征匹配的数据量减少，因此可以提高搜索的效率。

通过以下参照附图对本申请实施例的说明，本申请的上述以及其它目的、特征和优点将更加明显。

附图说明

图1为示出训练用于判断图像主体显著性的分类器的方法的流程图；

图2为示出判断图像主体显著性的方法的流程图；

图3为示出训练用于判断图像主体显著性的分类器的***的方块图；

图4为示出判断图像主体显著性的***的方块图；及

图5为示出利用视觉特征来搜索图像的方法的流程图。

具体实施方式

下面将结合附图详细描述本申请的具体实施例。应当注意，在此描述的实施例只用于举例说明，并不用于限制本申请。

此外，还应注意的是，本申请中所提及的“图像主体”、“图像的主体”是指一幅图像中重点呈现的内容，而“图像主体显著性”、“主体显著性”、“图像主体的显著性”是图像中重要的视觉特征，体现了人眼对图像的某些区域的重视程度，表示图像的主体比图像中的其他部分更能引起观察者的注意，即，若图像的主体比图像中的其他部分更能引起观察者的注意，则该图像的主体具有视觉显著性，这种图像被称为（视觉）主体显著性图像，简称显著性图像；反之，若图像的主体并不比图像中的其他部分更能引起观察者的注意，则该图像的主体不具有视觉显著性，这种图像被称为（视觉）主体非显著性图像，简称非显著性图像。

实施例一

在进行图像主体显著性判断之前，需要先训练用于判断图像主体显著性的分类器。在本申请中，分类器可以是支持向量机（Support Vector Machine，SVM，其是一种广泛应用于统计分类和回归分析中的监督学习的方法）分类器、Adaboost分类器等，但本申请的保护范围并不限于此。

本申请所提出的判断图像主体显著性的方法并不关注显著性物***于图像中的具***置，而是聚焦于从图像群中区分出包含显著性主体的图像和不包含显著性主体的视觉效果比较杂乱的图像。这是一种与图像内容、先验知识无关的过程，其通过提取图像的视觉显著度、颜色、边缘、纹理等视觉特征，使用支持向量机训练一个普遍适用的图像主体显著性的分类模型，并且可以给出表征图像主体显著程度的分数。

为了描述简便，下面将以SVM分类器为例来说明训练分类器的过程，具体如图1所示。

首先，在步骤S100中，获取A张主体显著性图像作为正样本，以及B张主体非显著性图像作为负样本，其中A和B为正整数。在此，A和B的比例大致为1:10，例如A可以为500，B可以为5000。当然，正样本和负样本的数量和比例也可以根据实际需要进行调整。

在一实例中，可以在离线状态下，根据网站商品关键词的检索频率，从商品图像库中取出检索频率高的检索关键词的多张图像（被取出的图像的总张数大于等于A+B张），然后以人工或机器等的方式根据图像主体是否具有显著性而将这些图像标记为主体显著性图像（在SVM训练中的类别标记符为+1）和主体非显著性图像（在SVM训练中的类别标记符为-1），接着从标记后的图像中选择A张类别标记符为+1的主体显著性图像作为正样本，并选择B张类别标记符为-1的主体非显著性图像作为负样本。

之后，在步骤S110中，在多个尺度下对正样本和负样本进行视觉特征提取，所提取的视觉特征包括视觉显著度（Visual Saliency,VS）。优选地，所提取的视觉特征还可以包括颜色特征、边缘特征、纹理特征中的至少一个。更为优选地，视觉特征包括视觉显著度、颜色特征、边缘特征、纹理特征这四者。

在一实例中，可以使用高斯金字塔分解将正样本和负样本划分为多个尺度。上述多个尺度例如可以是三个尺度，在此前提下，图像的三个尺度例如可以分别是图像的原始尺度、缩小50%的尺度以及放大50%的尺度。当然，尺度个数的选择以及每个尺度下图像的具体大小可以根据实际需要进行调整，而不以此例举的实例为限。

在多个尺度（而非单个尺度）下进行视觉特征提取有两个原因：1）在判别图像主体显著性的一些应用场景下，例如图像检索的重排序，用户通常根据检索结果的缩略图而非原图像来判断该图像是否符合要求，因此不仅需要在图像的原始尺寸下进行后续的特征提取，也要关注图像的缩小尺寸的缩略图；2）图像信息在多尺度下会表达得更加丰富和精确。

此外，通过对大量显著性图像的观察发现：显著性图像的主体通常位于图片的中心区域，而主体不论是在颜色、纹理还有边缘等特征方面都与背景反差较大，因此将图片划分为中心、周围区域，对这两个区域分别提取特征是有利的。因此，在本申请的实施例中，在步骤S110中对正样本和负样本进行视觉特征提取之前，可以先将正样本和负样本进行划分以分为中心区域和周围区域这两个区域，然后在多个尺度下对正样本和负样本的这两个区域分别进行视觉特征提取。在此，中心区域是指从图像的中心位置起向外扩展占图像总面积达M%的区域（M取一个经验阈值，例如50），周围区域指图像中除了中心区域以外的区域。

以下以一个样本（可以是正样本也可以是负样本）为例，描述在单个尺度下对该样本的两个区域（中心区域和周围区域）进行视觉显著度提取、颜色特征提取、边缘特征提取、纹理特征提取的具体过程。请注意，为了便于描述，在此仅给出在单个尺度下对样本的两个区域提取视觉特征，但本领域的技术人员可以理解的是，下述提取过程同样适用于在其他尺度下对样本进行视觉特征提取。

1．视觉显著度提取

在本申请的实施例中，使用Itti提出的视觉显著度中的强度显著图和颜色显著图来获得视觉显著度（VS）向量。

下面先分别对强度显著图和颜色显著图的获取进行具体描述。

（1）强度显著图

首先将样本转换为RGB图像，转换方法可以利用现有的转换技术，在此不再赘述。然后将转换后的RGB图像的r、g、b三个通道提取出来，并利用下式1计算强度以得到强度图I。

I=(r+g+b)/3            式1

之后，对强度图I创建强度高斯金字塔，将得到的金字塔的中心层与周围层的大小统一固定为某一层金字塔的大小，然后将中心层和周围层的强度进行点对点的相减（即，跨尺度的相减，该操作用符号Θ表示）来计算强度显著图。

在一实例中，可以将强度图I分解成9层高斯金字塔，将金字塔的第2、3、4层作为中心层，将其余层作为周围层，即，中心层的尺度c∈{2,3,4}，而周围层的尺度s=c+d，其中d∈{3,4}。然后，可以通过对不同尺度图像进行插值放大或缩小，将中心层和周围层的大小统一固定为第4层金字塔的大小。之后，根据下面的式2将统一在同一层的中心层和周围层的每一像素的强度进行点对点的相减，从而得到强度显著图I(c,s)，该强度显著图的大小与第四层金字塔的大小相等，若将每一个显著图作为一个特征向量，则9层金字塔下可以得到6个特征向量，每一个特征向量的维数与第四层金字塔的像素数目相等。

I(c,s)=|I(c)⊙I(s)|            式2

（2）颜色显著图

首先将样本转换为RGB图像，转换方法可以利用现有的转换技术，在此不再赘述。然后将转换后的RGB图像的r、g、b三个通道提取出来以构造用于生成颜色显著图的四个新通道R、G、B和Y。这四个新通道分别利用下面的式3-6计算得来。

R=r-(g+b)/2            式3

G=g-(r+b)/2            式4

B=b-(r+g)/2            式5

Y=(r+g)/2-|r-g|/2-b    式6

然后，利用上述生成的R、G、B和Y根据下面的式7和8分别计算RG(c,s)和BY(c,s)作为颜色显著图。

RG(c,s)=|(R(c)-G(c))Θ(G(s)-R(s))|    式7

BY(c,s)=|(B(c)-Y(c))Θ(Y(s)-B(s))|    式8

最后，利用上述得到的强度显著图和颜色显著图得到视觉显著度。

2．颜色特征提取

由于Lab空间更接近人类的视觉感知的均匀性，因而在本申请的实施例中，通过在Lab空间计算图像的颜色矩（一阶矩和二阶矩），从而获得颜色特征向量。在Lab空间中，L通道表示亮度，a、b通道分别表征了红/绿、黄/蓝的视觉对比。

在一实例中，样本图像具有i个颜色通道（1≤i≤3），包括L通道、a通道和b通道，样本图像的总像素数为N，则样本图像的第i个颜色通道的第j个像素用p_i,j表示，在此前提下，样本图像的第i个颜色通道的一阶矩和二阶矩分别用下式9和10表示：

一阶矩： $E_i=\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{p}_{i,j}$ 式9二阶矩： ${\mathrm{\σ}}_i={\left(\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(p_{i,j}-E_i)}^2\right)}^{\frac{1}{2}}$ 式10

分别计算样本的中心区域和周围区域在L通道的一阶矩的差、在L通道的二阶矩的差、在a通道的一阶矩的差、在a通道的二阶矩的差、在b通道的一阶矩的差以及在b通道的二阶矩的差，然后通过上述得到的六个差得到六个颜色特征向量。

3．边缘特征提取

在本申请的实施例中，首先使用已有的平均值法等将样本转化成灰度图像H。

然后，使用sobel边缘算子来检测灰度图像的边缘信息。

在一实例中，使用下面的水平、垂直sobel边缘算子S1和S2分别对灰度图像H进行扫描，以生成水平边缘图像H1和垂直边缘图像H2。

$S1=\left|\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right|,$ $S2=\left|\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right|$

接着，对于灰度图像H中的像素p_i,j（i、j分别表示像素所在的行和列）,对应边缘图像H1中相应位置的像素值为对应边缘图像H2中相应位置的值为

和

分别是像素点p_i,j的水平梯度和垂直梯度值。利用边缘图像H1和H2，可以对灰度图像H中的每个像素p_i,j计算两个值：

1）梯度幅值 $\mathrm{Mag}\left(p_{i,j}\right)=\sqrt{G_{x_{i,j}}^2+G_{y_{i,j}}^2},2)$ 梯度方向 $\mathrm{Dir}\left(p_{i,j}\right)=\arctan \sqrt{\frac{G_{y_{i,j}}}{G_{x_{i,j}}}}.$

将Dir(p_i,j)的取值范围

均分成8个区间（bin），对每个像素对应的Dir(p_i,j)进行量化计算，分别对样本的中心、周围区域统计Dir(p_i,j)的个数直方图，然后得到样本的边缘特征向量。

3．纹理特征提取

由于“统一（uniform）”的LBP（Local Binary Pattern，局部二值模式，是一种有效的度量和提取图像局部纹理信息的纹理描述算子）纹理描述子能够很好地表现局部纹理的对比度，并且对图像旋转具有极强的敏感性，因而在本申请的实施例中，使用“统一（uniform）”的LBP纹理描述子来提取纹理特征。

在一实施例中，首先使用已有的平均值法等将样本转化成灰度图像。

然后，以八邻域LBP为例，从样本中提取3*3个像素，其中包括中心像素以及与其等距离的8个邻域像素。该中心像素记为I_c，与该中心像素I_c等距离的8个邻域像素按顺时针方向分别记为I_j(j＝0,1,2,...,7)。该中心像素的灰度值记为g_c，8个邻域像素的灰度值记为g₀、g₁、......、g₇。以中心像素I_c的灰度值作为阈值，根据8个邻域像素I_j的灰度值与该阈值的大小关系，分别将邻域像素编码成1或0，即，若邻域像素的灰度值大于等于该阈值，则该邻域像素点的位置被编码为1；若邻域像素的灰度值小于该阈值，则该邻域像素点的位置被编码为0。由此得到8位二进制序列。

接着，计算这8位二进制序列从0到1或是从1到0的变化次数（这个二进制序列首尾相连）。例如，定义U为LBP的统一描述子，根据下式11按LBP编码后相邻两位0/1跳变的次数来计算U值，这种方式可以更好地描述邻域灰度值的对比度。

$U=|s(g_0-g_c)-s(g_7-g_c)|+\underset{p=1}{\overset{7}{\mathrm{\Σ}}}|s(g_p-g_c)-s(g_{p-1}-g_c)|$ 式11

其中， $s\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ 0& x<0\end{array}\right.$

将U=2作为统一的LBP阈值，利用下式12计算每个像素点的LBP：

$\mathrm{LBP}=\left\{\begin{array}{cc}\underset{p=0}{\overset{7}{\mathrm{\&Sigma;}}}s(g_p-g_c)& U\&le;2\\ 9& \mathrm{otherwise}\end{array}\right.$ 式11

通过分别提取样本的中心区域、周围区域的“统一”LBP，从而得到样本的两个纹理特征向量。

最后，在步骤S120中，利用所提取的视觉特征训练用于判断图像主体显著性的分类器。

在一实例中，按照上述方式在多尺度下分区域提取特征后，采用径向基核函数支持向量机（SVM）分别用上述提取到的特征向量集独立训练分类模型，训练方法为现有技术，故在此不再赘述。经过上述训练过程得到的分类模型，可以用于以后的图像主体显著性的判断中。

实施例二

本申请还提供了一种用于判断图像主体显著性的方法，如图2所示，包括如下步骤：

步骤S200，获取待判断是否为主体显著性图像的图像。

在一实例中，可以在在线状态下，获取通过关键词检索返回的图像或者用户上传的图像作为待判断是否为主体显著性图像的图像。

步骤S210，在多个尺度下对步骤S200中获取的图像进行视觉特征提取，所述视觉特征包括视觉显著度。

优选地，所提取的视觉特征还可以包括颜色特征、边缘特征、纹理特征中的至少一个。更为优选地，视觉特征包括视觉显著度、颜色特征、边缘特征、纹理特征这四者。

优选地，先将待判断图像分成中心区域和周围区域两个区域，然后在三个尺度下对这两个区域进行视觉特征提取。

视觉特征提取的具体过程与上述第一实施例中相同，故在此不再赘述。

步骤S220，利用所提取的视觉特征判断所获取的图像是否为主体显著性图像。

在一实例中，利用上述第一实施例中训练所得到的分类模型针对待判断图像的所提取的各视觉特征分别计算置信度，然后利用下面的式13来计算图像的显著度分数S(x)，由此判断图像是否为主体显著性图像。

$S\left(x\right)=\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_m\&CenterDot;c\left({\mathrm{\&pi;}}_m\right)$ 式13

其中，c(π_m)是输入图像通过分类模型计算得到的分类置信度值，该模型是在第m（m为小于等于4的正整数）个特征向量集上使用SVM训练得到的，ωm是赋予单个分类模型分类结果的权重，用以平衡各特征集对最终分类结果的贡献度，其例如可以利用交叉验证方式得到。

实际在线应用时，对输入图像提取上述四类特征集，或者优选地，提取至少第一类特征集（即，视觉显著度），然后分别送入训练好的分类器中，获得各分类器的预测得分，最后将四个分数线性加权，可以得到最终表征图像视觉显著性的得分xi，最终的分类结果由公式（14）计算得到。

式14

其中，th是预先设定的显著性阈值，其可根据实际情况而变化。

实施例三

此外，本申请还提供了一种训练用于判断图像主体显著性的分类器的***，如图3所示，包括：

样本获取模块300，用于获取A张主体显著性图像作为正样本，以及B张主体非显著性图像作为负样本，其中A和B为正整数；其中，样本获取模块300的功能具体可以参见实施例一的步骤S100。

视觉特征提取模块310，用于在多个尺度下对正样本和负样本进行视觉特征提取，所述视觉特征包括视觉显著度。其中，视觉特征提取模块310的功能具体可以参见实施例一的步骤S110。

分类器训练模块320，用于利用所提取的视觉特征训练用于判断图像主体显著性的分类器。其中，分类器训练模块320的功能具体可以参见实施例一的S120。

其中，样本获取模块300的功能具体可以参见实施例一中的步骤S100；视觉特征提取模块310的功能具体可以参见实施例一中的步骤S110；分类器训练模块320的功能具体可以参见实施例一中的步骤S120。

实施例四

本申请提供了一种判断图像主体显著性的***，如图4所示，包括：获取图像模块400，用于获取待判断是否具有主体显著性的图像；视觉特征提取模块410，在多个尺度下对所获取的图像进行视觉特征提取，所述视觉特征包括视觉显著度；以及判断模块420，利用所提取的视觉特征判断所获取的图像是否为主体显著性图像。

其中，获取图像模块400的功能具体可以参见实施例二中的步骤S200；视觉特征提取模块410的功能具体可以参见实施例二中的步骤S210；判断模块420的功能具体可以参见实施例二中的步骤S220。

实施例五

除了以上描述的利用视觉特征提取判断图像主体显著性之外，还可以利用视觉特征来搜索图像。

例如，如图5所示，利用视觉特征来搜索图像的方法包括如下步骤：

在步骤500，对输入图像和待搜索图像进行视觉特征提取，所述视觉特征包括视觉显著度。

在步骤510，将所提取的输入图像的视觉特征与所提取的待搜索图像的视觉特征进行匹配，以从所述待搜索图像中搜索出所述输入图像。

具体地说，在用户输入一图像以进行搜索时，对输入的图像进行视觉特征提取，并对存储在例如图像数据库中的（多个）待搜索图像进行相同的视觉特征提取，然后将输入的图像提取的视觉特征与各待搜索图像提取的视觉特征分别进行比对，如果待搜索图像的视觉特征与输入的图像的视觉特征匹配，则确定这一待搜索图像为搜索结果。

本实施例中视觉特征的提取与上述实施例一相同，在此不再赘述。

本实施例中利用视觉特征来搜索图像的方法对输入图像和待搜索的图像仅进行主体显著性部分的特征提取和匹配，使得特征匹配的数据量减少，因此可以提高搜索的效率。

本申请提供的训练用于判断图像主体显著性的分类器的方法、用于判断图像主体显著性的方法及其步骤可以由具有数据处理能力的一个或多个处理设备例如一个或多个计算机运行计算机可执行指令（该计算机可执行指令反映了本申请提出的实现即时通讯方法的思想）来实现。该处理设备可以包括存储前述计算机可执行指令的存储介质以及中央处理器。

本申请的训练用于判断图像主体显著性的***及用于判断图像主体显著性的***可以是运行前述计算机可执行指令的一个或多个处理设备。该***中的各个模块可以为该处理设备运行前述计算机可执行指令时具有相应功能的设备组件。

优选地，本申请可以使用C++语言在Linux***上面运行。

虽然已参照典型实施例描述了本申请，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本申请能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims (28)

1.一种训练用于判断图像主体显著性的分类器的方法，其特征在于，包括如下步骤：

a.获取A张主体显著性图像作为正样本，以及B张主体非显著性图像作为负样本，其中A和B为正整数；

b.在多个尺度下对所述正样本和所述负样本进行视觉特征提取，所述视觉特征包括视觉显著度；以及

c.利用所提取的视觉特征训练用于判断图像主体显著性的分类器。

2.根据权利要求1所述的方法，其特征在于，步骤b还包括：将所述正样本和所述负样本均划分为中心区域和周围区域，然后对所述正样本和所述负样本的中心区域和周围区域分别进行视觉特征提取。

3.根据权利要求2所述的方法，其特征在于，所述视觉特征还包括颜色特征、边缘特征、纹理特征中的至少一个。

4.根据权利要求1所述的方法，其特征在于，步骤b中提取视觉显著度的步骤包括：分别为所述正样本和负样本计算强度显著图和颜色显著图，然后利用所计算的强度显著图和颜色显著图得到视觉显著度。

5.根据权利要求3所述的方法，其特征在于，步骤b中提取颜色特征的步骤包括：在Lab空间计算所述正样本和负样本的一阶矩和二阶矩，并使用所述正样本和负样本的中心区域和周围区域在L通道的一阶矩的差、在L通道的二阶矩的差、在a通道的一阶矩的差、在a通道的二阶矩的差、在b通道的一阶矩的差以及在b通道的二阶矩的差来得到颜色特征向量。

6.根据权利要求3所述的方法，其特征在于，步骤b中提取边缘特征的步骤包括：使用sobel边缘算子计算所述正样本和负样本中每个像素的梯度幅值和梯度方向以获得边缘特征向量。

7.根据权利要求3所述的方法，其特征在于，步骤b中提取纹理特征的步骤包括：利用统一LBP纹理描述子分别提取所述正样本和负样本的中心区域以及周围区域的统一LBP，从而得到所述正样本和负样本的纹理特征向量。

8.根据权利要求1所述的方法，其特征在于，步骤b包括利用高斯金字塔分解在三个尺度下对所述正样本和所述负样本进行视觉特征提取。

9.根据权利要求3所述的方法，其特征在于，步骤c包括采用径向基核函数支持向量机SVM分别训练所提取的各视觉特征以得到置信值，并使用下式计算所述正样本和负样本的图像显著度的分数：

$S\left(x\right)=\underset{m=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_m\&CenterDot;c\left({\mathrm{\&pi;}}_m\right)$

其中，ω_m是利用交叉验证方法获得的所述正样本和负样本的每类视觉特征的SVM权重，c(π_m)是对所述正样本和负样本的第m个视觉特征进行SVM训练得到的置信值，m是正整数，M是视觉特征的种类，其大于等于1小于等于4。

10.一种判断图像主体显著性的方法，其特征在于，包括如下步骤：

a.获取待判断是否具有主体显著性的图像；

b.在多个尺度下对所获取的图像进行视觉特征提取，所述视觉特征包括视觉显著度；以及

c.利用所提取的视觉特征判断所获取的图像是否为主体显著性图像。

11.根据权利要求10所述的方法，其特征在于，步骤b还包括：将所获取的图像划分为中心区域和周围区域，然后对所获取的图像的中心区域和周围区域分别进行视觉特征提取。

12.根据权利要求11所述的方法，其特征在于，所述视觉特征还包括颜色特征、边缘特征、纹理特征中的至少一个。

13.根据权利要求10所述的方法，其特征在于，步骤b中提取视觉显著度的步骤包括：分别为所获取的图像计算强度显著图和颜色显著图，然后利用所计算的强度显著图和颜色显著图得到视觉显著度。

14.根据权利要求12所述的方法，其特征在于，步骤b中提取颜色特征的步骤包括：在Lab空间计算所获取的图像的一阶矩和二阶矩，并使用所获取的图像的中心区域和周围区域在L通道的一阶矩的差、在L通道的二阶矩的差、在a通道的一阶矩的差、在a通道的二阶矩的差、在b通道的一阶矩的差以及在b通道的二阶矩的差来得到颜色特征向量。

15.根据权利要求12所述的方法，其特征在于，步骤b中提取边缘特征的步骤包括：使用sobel边缘算子计算所获取的图像中每个像素的梯度幅值和梯度方向以获得边缘特征向量。

16.根据权利要求12所述的方法，其特征在于，步骤b中提取纹理特征的步骤包括：利用统一LBP纹理描述子分别提取所获取的图像的中心区域以及周围区域的统一LBP，从而得到所获取的图像的纹理特征向量。

17.根据权利要求12所述的方法，其特征在于，步骤b包括利用高斯金字塔分解在三个尺度下对所获取的图像进行视觉特征提取。

18.根据权利要求12所述的方法，其特征在于，步骤c包括利用用于判断图像主体显著性的分类器使用下式计算所获取的图像的图像显著度的分数，并根据计算得到的分数来判断所获取的图像是否为主体显著性图像：

$S\left(x\right)=\underset{m=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_m\&CenterDot;c\left({\mathrm{\&pi;}}_m\right)$

其中，ω_m是利用交叉验证方法获得的所获取的图像的每类视觉特征的SVM权重，c(π_m)是利用所述用于判断图像主体显著性的分类器对所获取的图像的第m个视觉特征计算得到的置信值，m是正整数，M是视觉特征的种类，其大于等于1小于等于4。

19.一种训练用于判断图像主体显著性的分类器的***，其特征在于，包括：

样本获取模块，获取A张主体显著性图像作为正样本，以及B张主体非显著性图像作为负样本，其中A和B为正整数；

视觉特征提取模块，在多个尺度下对所述正样本和所述负样本进行视觉特征提取，所述视觉特征包括视觉显著度；以及

分类器训练模块，利用所提取的视觉特征训练用于判断图像主体显著性的分类器。

20.一种判断图像主体显著性的***，其特征在于，包括：

获取图像模块，获取待判断是否具有主体显著性的图像；

视觉特征提取模块，在多个尺度下对所获取的图像进行视觉特征提取，所述视觉特征包括视觉显著度；以及

判断模块，利用所提取的视觉特征判断所获取的图像是否为主体显著性图像。

21.一种利用视觉特征来搜索图像的方法，其特征在于，包括如下步骤：

a.对输入图像和待搜索图像进行视觉特征提取，所述视觉特征包括视觉显著度；

b.将所提取的输入图像的视觉特征与所提取的待搜索图像的视觉特征进行匹配，以从所述待搜索图像中搜索出所述输入图像。

22.根据权利要求21所述的方法，其特征在于，步骤a还包括：将所述输入图像和所述待搜索图像均划分为中心区域和周围区域，然后对所述输入图像和所述待搜索图像的中心区域和周围区域分别进行视觉特征提取。

23.根据权利要求22所述的方法，其特征在于，所述视觉特征还包括颜色特征、边缘特征、纹理特征中的至少一个。

24.根据权利要求21所述的方法，其特征在于，步骤a中提取视觉显著度的步骤包括：分别为所述输入图像和所述待搜索图像计算强度显著图和颜色显著图，然后利用所计算的强度显著图和颜色显著图得到视觉显著度。

25.根据权利要求23所述的方法，其特征在于，步骤a中提取颜色特征的步骤包括：在Lab空间计算所述输入图像和所述待搜索图像的一阶矩和二阶矩，并使用所述输入图像和所述待搜索图像的中心区域和周围区域在L通道的一阶矩的差、在L通道的二阶矩的差、在a通道的一阶矩的差、在a通道的二阶矩的差、在b通道的一阶矩的差以及在b通道的二阶矩的差来得到颜色特征向量。

26.根据权利要求23所述的方法，其特征在于，步骤a中提取边缘特征的步骤包括：使用sobel边缘算子计算所述输入图像和所述待搜索图像中每个像素的梯度幅值和梯度方向以获得边缘特征向量。

27.根据权利要求23所述的方法，其特征在于，步骤a中提取纹理特征的步骤包括：利用统一LBP纹理描述子分别提取所述输入图像和所述待搜索图像的中心区域以及周围区域的统一LBP，从而得到所述输入图像和所述待搜索图像的纹理特征向量。

28.根据权利要求21所述的方法，其特征在于，步骤a包括利用高斯金字塔分解在三个尺度下对所述输入图像和所述待搜索图像进行视觉特征提取。

Images