CN103793710B - 一种图像显著性物体检测方法和装置 - Google Patents

一种图像显著性物体检测方法和装置 Download PDF

Info

Publication number
CN103793710B
CN103793710B CN201310686930.2A CN201310686930A CN103793710B CN 103793710 B CN103793710 B CN 103793710B CN 201310686930 A CN201310686930 A CN 201310686930A CN 103793710 B CN103793710 B CN 103793710B
Authority
CN
China
Prior art keywords
image
image block
node
random forest
tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310686930.2A
Other languages
English (en)
Other versions
CN103793710A (zh
Inventor
陈世峰
杜书泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201310686930.2A priority Critical patent/CN103793710B/zh
Publication of CN103793710A publication Critical patent/CN103793710A/zh
Application granted granted Critical
Publication of CN103793710B publication Critical patent/CN103793710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种图像显著性物体检测方法和装置，属于计算机视觉领域。所述方法包括：根据图像构建一个随机森林，根据所述随机森林用全局的图像块稀有性捕捉显著物体的近似轮廓，将图像分为轮廓内和轮廓外两部分；通过度量内外部图像块的对比度来压制与轮廓外部相似的内部图像块，凸显与轮廓内部相似的外部图像块；最后使用基于图切割的图像分割修饰局部图。采用本发明提供的图像显著性物体检测方法可以检测图像中任何大小的物体，并且能够实现物体的完整精确检测，同时，采用本发明提供的图像显著性物体检测方法可以检测出单幅图像中的多个显著物体。

Description

一种图像显著性物体检测方法和装置
技术领域
本发明涉及计算机视觉领域，特别涉及一种图像显著性物体检测方法和装置。
背景技术
视觉显著性是一个来自于神经科学和生理学的概念，它使吸引人的注意力的区域从人的视场中凸显出来。
传统的视觉显著性检测方法通常基于局部或者全局的对比分析来计算显著性。基于局部的方法敏感于图像中高对比度的边缘和噪声，从而弱化了物体内的平滑区域，这使得它们更适合检测小物体。在基于全局对比的方法中，基于图像块的方法也趋向于凸出物体的边界而非整个物体区域。虽然基于分割的方法有效地克服了“物体弱化”问题（物体内部被压制），当物体的内部不均匀时，它们仍然很难凸出整个物体。大部分情况下，基于局部的方法和基于全局对比的方法只能检测出物体的某些部分。
文献“Exploiting local and global patch rarities for saliencydetection”（A.Borji and L.Itti.In CVPR,2012）提出用全局的图像块稀有性(图像块在整幅图像中出现的频率)去填充物体的内部区域。然而对大的物体来说,稀有的图像块通常出现在物体和背景的交界处。
上述的大部分模型是本着检测单个显著性物体而被提出。这些模型的局限使得它们有一定的难度去检测一幅图像中的多个物体。
与本发明最近似的方法是论文“Automatic salient object segmentationbased on context and shape prior”（H.Jiang,J.Wang,Z.Yuan,T.Liu,and N.Zheng.inProc.BMVC,2011）。这篇文献的作者把显著性图和物体的形状先验(显著物体有很明显的封闭边界)整合到一个模型中去分割显著物体。这个形状先验是依靠结合显著性和通过边缘检测器得到的物体边界信息而被提取出来的。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
1.现有显著性检测技术不适合检测小物体；2.当物体内部不均匀时，现有显著性检测技术只能检测出物体的一些部分；3.现有显著性检测技术难以检测一幅图像中的多个显著性物体。
发明内容
为了解决现有技术存在的问题，本发明实施例提供了一种图像显著性物体检测方法和装置。所述技术方案如下：
一方面，本发明提供了一种图像显著性物体检测方法，所述方法包括：
将图像进行拉伸，提取拉伸后的图像中的图像块构成图像块集合，以递归的方式从所述图像块集合中构建出一个随机森林；
根据所述随机森林对所述图像块集合中的所有图像块进行稀有性分析，得到稀有性图，采用主动轮廓模型提取所述稀有性图中的显著物体轮廓，得到轮廓性图；
根据所述随机森林计算所述轮廓图中显著物体轮廓内部的图像块和外部的图像块间的相似度，得到精确到物体级别的显著性图；
将所述精确到物体级别的显著性图重新拉伸到原始图像的大小，对重新拉伸后的图像进行基于图切割的图像分割，得到一个由均匀的图像区域组成的集合，均化每个区域的显著性值，得到最终的显著性图。
具体地，所述将图像进行拉伸，提取拉伸后的图像中的图像块构成图像块集合具体包括：将图像拉伸到H×H的大小，将拉伸后的图像划分为(H/r)×(H/r)个大小为r×r的图像块，将这些图像块按照从左向右,自上而下的顺序,以无重叠的方式从拉伸的图像中被提取出来，构成图像块集合P＝{p1,p2,…,pn}，其中H对r可除。
具体地，所述以递归的方式从所述图像块集合中构建出一个随机森林具体包括：以递归的方式从所述图像块集合中构建一个由T棵树组成的随机森林F＝{T1,…TT}，随机森林中的每棵树均由分割结点和叶子结点构成,其中，叶子结点具体为不能被继续分割的分割结点；
进一步地，以递归的方式从所述图像块集合中构建一棵树Tk具体包括：
A1：在树Tk的分割结点n处,产生两个随机数h1和h2，定义di(h1,h2)＝pi(h1)-pi(h2)；
A2：构造n处的分割函数，将到达n的图像块集合Sn分割为包含在n的左孩子结点内的图像块集合Sl和包含在n的右孩子结点内的图像块集合Sr；
A3：将n的孩子结点作为当前结点继续进行分割，直至当前结点的深度达到预定义的最大深度或者达到当前结点的图像块集合中只包含一个图像块时，执行A4；
A4：选择一个新的分割结点进行分割，直至不存在可以分割的结点为止，停止增长树Tk；
更进一步地，所述A2具体包括：构造n处的分割函数为其中，Sl为包含在n的左孩子结点内的图像块集合，Sr包含在n的右孩子结点内的图像块集合，|Sn|表示图像块集合Sn的大小；
优选地，所述A1中产生的所述随机数h1和h2满足公式
具体地，所述根据所述随机森林对所述图像块集合中的所有图像块进行稀有性分析具体包括：根据公式计算落在随机森林中的树Tk的叶子结点Lk上的图像块pi的稀有性，其中，xi为pi的中心像素在所述拉伸后的图像中的位置，ω(xi,xc)为exp(-||xi-xc||2/2σ2)，σ2表示中心先验的强度；
优选地，根据公式计算落在随机森林中的树Tk的叶子结点Lk上的图像块pi的稀有性时忽略公式中的分母中的1/T。
具体地，所述根据所述随机森林计算所述轮廓图中显著物体轮廓内部的图像块和外部的图像块间的相似度具体包括：
B1：将所有的图像块分成显著性物体轮廓内部图像块集合Sin和显著性物体轮廓外部图像块集合Sout；
B2：计算显著性物体轮廓外部图像块集合Sout中的图像块pi和显著性物体轮廓内部图像块集合Sin中的图像块pj在随机森林的同一颗树中的相似性；
B3：整合pi和pj在随机森林的每一棵树中的相似性，得到pi和pj间的相似性；
B4：计算pi与Sin间的相似性，并根据pi与Sin间的相似性计算pi的显著性值；
B5：计算pj与Sout间的相似性，并根据pj与Sout间的相似性计算pj的显著性值；
进一步地，所述B2具体包括：根据公式计算pi和pj在树Tk中的相似性，其中，|Lk|是包含在随机森林中的树Tk的叶子结点Lk内的图像块的数量；
所述B3具体包括：根据公式整合pi和pj在随机森林的每一棵树中的相似性，得到pi和pj间的相似性；
所述B4具体包括：根据公式计算pi与Sin间的相似性，其中S具体为Sin，|S|为Sin中的图像块的数量；根据公式计算pi的显著性值，其中，
所述B5具体包括：根据公式计算pj与Sout间的相似性，其中S具体为Sout，|S|为Sout中的图像块的数量；根据公式计算pj的显著性值，其中，
另一方面，本发明提供了一种图像显著性物体检测装置，所述装置包括：构建随机森林模块、显著物体轮廓提取模块、显著物体检测模块和显著物体修饰模块；其中：
所述构建随机森林模块，包括图像块提取单元和递归单元，所述图像块提取单元用于将图像进行拉伸，提取拉伸后的图像中的图像块构成图像块集合，所述递归单元用于以递归的方式从所述图像块集合中构建出一个随机森林；
所述显著物体轮廓提取模块，包括稀有性分析单元和显著物体轮廓提取单元，所述稀有性分析单元用于根据所述随机森林对所述图像块集合中的所有图像块进行稀有性分析，得到稀有性图，所述显著物体轮廓提取单元用于采用主动轮廓模型提取所述稀有性图中的显著物体轮廓，得到轮廓性图；
所述显著物体检测模块，用于根据所述随机森林计算所述轮廓图中显著物体轮廓内部的图像块和外部的图像块间的相似度，得到精确到物体级别的显著性图；
所述显著物体修饰模块，用于将所述精确到物体级别的显著性图重新拉伸到原始图像的大小，对重新拉伸后的图像进行基于图切割的图像分割，得到一个由均匀的图像区域组成的集合，均化每个区域的显著性值，得到最终的显著性图。
具体地，所述图像块提取单元具体用于将图像拉伸到H×H的大小，将拉伸后的图像划分为(H/r)×(H/r)个大小为r×r的图像块，将这些图像块按照从左向右,自上而下的顺序,以无重叠的方式从拉伸的图像中被提取出来，构成图像块集合P＝{p1,p2,…,pn}，其中H对r可除。
具体地，所述递归单元具体用于以递归的方式从所述图像块集合中构建一个由T棵树组成的随机森林F＝{T1,…TT}，随机森林中的每棵树均由分割结点和叶子结点构成,其中，叶子结点具体为不能被继续分割的分割结点；
进一步地，所述递归单元具体包括构造分割函数子单元和分割图像块集合子单元，其中：构造分割函数子单元，用于在树Tk的分割结点n处,产生两个随机数h1和h2，定义di(h1,h2)＝pi(h1)-pi(h2)，构造n处的分割函数；分割图像块集合子单元，用于根据所述构造分割函数子单元构造的分割函数将到达n的图像块集合Sn分割为包含在n的左孩子结点内的图像块集合Sl和包含在n的右孩子结点内的图像块集合Sr；还用于将n的孩子结点作为当前结点继续进行分割，直至当前结点的深度达到预定义的最大深度或者达到当前结点的图像块集合中只包含一个图像块时，选择一个新的分割结点进行分割，直至不存在可以分割的结点为止，停止增长树Tk；
更进一步地，所述构造分割函数子单元具体用于在树Tk的分割结点n处,产生两个随机数h1和h2，定义di(h1,h2)＝pi(h1)-pi(h2)，构造n处的分割函数为其中，Sl为包含在n的左孩子结点内的图像块集合，Sr包含在n的右孩子结点内的图像块集合，|Sn|表示图像块集合Sn的大小；优选地，本实施例中，所述构造分割函数子单元生成的所述随机数h1和h2满足公式
具体地，所述稀有性分析单元具体用于根据公式计算落在随机森林中的树Tk的叶子结点Lk上的图像块pi的稀有性，其中，xi为pi的中心像素在所述拉伸后的图像中的位置，ω(xi,xc)为exp(-||xi-xc||2/2σ2)，σ2表示中心先验的强度；
优选地，所述稀有性分析单元根据公式计算落在随机森林中的树Tk的叶子结点Lk上的图像块pi的稀有性时忽略公式中的分母中的1/T。
具体地，所述显著物体检测模块具体包括：
图像块划分单元，用于将所有的图像块分成显著性物体轮廓内部图像块集合Sin和显著性物体轮廓外部图像块集合Sout；
第一相似性计算单元，用于计算显著性物体轮廓外部图像块集合Sout中的图像块pi和显著性物体轮廓内部图像块集合Sin中的图像块pj在随机森林的同一颗树中的相似性；
整合单元，用于整合所述第一相似性计算单元计算得到的pi和pj在随机森林的每一棵树中的相似性，得到pi和pj间的相似性；
第二相似性计算单元，用于计算pi与Sin间的相似性，并根据pi与Sin间的相似性计算pi的显著性值；
第三相似性计算单元，用于计算pj与Sout间的相似性，并根据pj与Sout间的相似性计算pj的显著性值；
进一步地，所述第一相似性计算单元具体用于根据公式计算pi和pj在树Tk中的相似性，其中，|Lk|是包含在随机森林中的树Tk的叶子结点Lk内的图像块的数量；
所述整合单元具体用于根据公式整合pi和pj在随机森林的每一棵树中的相似性，得到pi和pj间的相似性；
所述第二相似性计算单元具体用于根据公式计算pi与Sin间的相似性，其中S具体为Sin，|S|为Sin中的图像块的数量；根据公式计算pi的显著性值，其中，
所述第三相似性计算单元具体用于根据公式计算pj与Sout间的相似性，其中S具体为Sout，|S|为Sout中的图像块的数量；根据公式计算pj的显著性值，其中，
本发明提供的技术方案带来的有益效果是：
采用本发明提供的图像显著性物体检测方法可以检测图像中任何大小的物体，并且能够实现物体的完整精确检测，同时，采用本发明提供的图像显著性物体检测方法可以检测出单幅图像中的多个显著物体。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中提供的一种图像显著性物体检测方法的流程图；
图2是本发明实施例中提供的一种图像显著性物体检测装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明提供的方法包括：用全局的图像块稀有性捕捉显著物体的近似轮廓，将图像分为轮廓内和轮廓外两部分；通过度量内外部图像块的对比度来压制与轮廓外部相似的内部图像块，凸显与轮廓内部相似的外部图像块；最后使用基于图切割的图像分割修饰局部图。
图1是本发明实施例中提供的一种图像显著性物体检测方法流程图，本发明实施例的执行主体为计算机，参见图1，该方法包括：
101：将图像进行拉伸，提取拉伸后的图像中的图像块构成图像块集合；
具体地，本实施例中，将图像拉伸到H×H的大小，将拉伸后的图像划分为(H/r)×(H/r)个大小为r×r的图像块，将这些图像块按照从左向右,自上而下的顺序,以无重叠的方式从拉伸的图像中被提取出来，构成图像块集合P＝{p1,p2,…,pn}，其中H对r是可除的；
进一步地，本实施例中，结合RGB和Lab颜色空间来表示颜色特征，每一个图像块由六个颜色子通道来表示，因此pi是一个由像素值组成的列向量,它的长度是6r2，每一个颜色空间都被归一化到0到1之间。
102：以递归的方式从图像块集合中构建出一个随机森林；
具体地，本实施例中，以递归的方式从图像块集合P中构建一个由T棵树组成的随机森林F＝{T1,…TT}，随机森林中的每棵树均由分割结点和叶子结点构成,其中，叶子结点具体为不能被继续分割的分割结点；
本实施例中，构建随机森林中的一颗树Tk的方法具体包括：
102-1：在树Tk的分割结点n处,产生两个随机数h1和h2，定义di(h1,h2)＝pi(h1)-pi(h2)；
具体地，随机数h1和h2是用来指示是哪两个特征向量维度被用于分割到达树Tk的分割结点n的图像块集合Sn；
102-2：构造n处的分割函数，将到达n的图像块集合Sn分割为包含在n的左孩子结点内的图像块集合Sl和包含在n的右孩子结点内的图像块集合Sr；
具体地，可以构造树Tk的分割结点n处的分割函数为其中，|Sn|表示图像块集合Sn的大小；
优选地，对树Tk的每一个分割结点n，我们尝试γ个不同的(h1,h2)对,从中选择最优的一对，它能够满足公式
102-3：将n的孩子结点作为当前结点，执行102-4；
102-4：判断当前结点的深度是否达到预定义的最大深度或者达到当前结点的图像块集合中只包含一个图像块，是则执行102-6，否则根据102-1和102-2的方法对当前结点继续分割，执行102-5；
102-5：将当前结点的孩子结点作为新的当前结点，返回102-4；
102-6：判断是否还存在可以分割的结点，是则执行102-7；
102-7：选择一个作为新的分割结点，根据102-1至102-5的方法对新的分割结点进行分割，返回102-6，否则停止增长树Tk；
在上述构建随机森林中的一颗树Tk的方法中，当一个结点的深度达到预定义的最大深度或者它只包含一个图像块时，我们停止对这个结点的分割。这个不能被继续分割的结点称为叶子结点；
按照上述方法构建的随机森林中，每一个叶子结点至少包含一个图像块,而每一个图像块在一棵树中会落到唯一的一个叶子结点上。
103：根据随机森林对所述图像块集合中的所有图像块进行稀有性分析，得到稀有性图；
具体地，本实施例中，可以通过公式计算落在随机森林中的树Tk的叶子结点Lk上的图像块pi的稀有性，其中，xi为pi的中心像素在拉伸后的图像中的位置，ω(xi,xc)被设为exp(-||xi-xc||2/2σ2)，用来压制那些远离图像中心xc的图像块,因为那些接近图像边缘的稀有图像块通常属于凌乱的背景，公式中的σ2用于控制中心先验的强度；
根据观察，物体边界处的图像块所在的叶子结点通常含有的图像块比较少,而背景中或物体内部的图像块所在的叶子结点则含有较多的图像块，然而在单棵树中,偶尔可能会出现一些例外,例如某个边界图像块所在的叶子结点可能比较大，因此,我们通过平均一个图像块在森林中的所有叶子结点的大小(此处忽略公式中的分母中的1/T)来弱化这种例外的可能性。
104：采用主动轮廓模型提取所稀有性图中的显著物体轮廓，得到轮廓图；
由于主动轮廓模型对初始的轮廓不敏感，另外，主动轮廓模型能够从稀有性图中提取出所有的物体，本实施例中采用主动轮廓模型提取所稀有性图中的显著物体轮廓有助于检测出一幅图像中的多个显著性物体。
105：根据所述随机森林计算轮廓图中显著性物体轮廓内部的图像块和外部的图像块间的相似度，得到精确到物体级别的显著性图；
具体地，本实施例中，根据所述随机森林计算轮廓图中显著性物体轮廓内部的图像块和外部的图像块间的相似度包括：
105-1：将所有的图像块分成显著性物体轮廓内部图像块集合Sin和显著性物体轮廓外部图像块集合Sout；
本实施例中，可以根据公式将所有的图像块分成显著性物体轮廓内部图像块集合Sin和显著性物体轮廓外部图像块集合Sout，其中，|pi∩C|表示图像块pi包含在轮廓C中的像素个数,λ是一个常量,它的值根据数据集的不同在0到1之间变动；
105-2：计算显著性物体轮廓外部图像块集合Sout中的图像块pi和显著性物体轮廓内部图像块集合Sin中的图像块pj在随机森林的同一颗树中的相似性；
本实施例中，可以根据公式计算pi和pj在树Tk中的相似性，其中，|Lk|是包含在随机森林中的树Tk的叶子结点Lk内的图像块的数量；
105-3：整合pi和pj在随机森林的每一棵树中的相似性，得到pi和pj间的相似性；
本实施例中，可以通过公式整合pi和pj在随机森林的每一棵树中的相似性，得到pi和pj间的相似性；
105-4：计算pi与Sin间的相似性，并根据pi与Sin间的相似性计算pi的显著性值；
本实施例中，可以根据公式计算pi与Sin间的相似性，其中S表示Sin，|S|指代Sin中的图像块的数量；
本实施例中，可以根据公式计算pi的显著性值，其中，是一个规范化因子；
本实施例中，当pi高度相似于Sin中的所有图像块时，pi被认为是显著的，即将pi划分为物体内部的图像块；
105-5：计算pj与Sout间的相似性，并根据pj与Sout间的相似性计算pj的显著性值；
本实施例中，可以根据公式计算pj与Sout间的相似性，其中S表示Sout，|S|指代Sout中的图像块的数量；
本实施例中，可以根据公式计算pj的显著性值，其中，是一个规范化因子；
本实施例中，pj越相似于Sout，pj的显著性越低，105-5用来压制那些相似于物体外部图像块的物体内部图像块。
106：将精确到物体级别的显著性图重新拉伸到原始图像的大小；
107：对重新拉伸后的图像进行基于图切割的图像分割，得到一个由均匀的图像区域组成的集合，均化每个图像区域的显著性值，得到最终的显著性图。
本发明实施例提供的方法是基于图像块的，因此物体边缘的检测结果不是精确的，为了弱化这个问题，我们使用了图像分割；
本实施例中，通过步骤107能够有效的去除噪声，同时还可以修正物体边缘的误检测，使得精确到物体级别的显著性图得到进一步的修饰。
图2是本发明实施例中提供的一种图像显著性物体检测装置的结构示意图，参见图2，该装置包括：构建随机森林模块41、显著物体轮廓提取模块42、显著物体检测模块43和显著物体修饰模块44；其中：
所述构建随机森林模块41，包括图像块提取单元411和递归单元412，图像块提取单元411用于将图像进行拉伸，提取拉伸后的图像中的图像块构成图像块集合，递归单元412用于以递归的方式从所述图像块集合中构建出一个随机森林；
所述著物体轮廓提取模块42，包括稀有性分析单元421和显著物体轮廓提取单元422，稀有性分析单元421用于根据所述随机森林对所述图像块集合中的所有图像块进行稀有性分析，得到稀有性图，显著物体轮廓提取单元422用于采用主动轮廓模型提取所述稀有性图中的显著物体轮廓，得到轮廓性图；
所述显著物体检测模块43，用于根据所述随机森林计算所述轮廓图中显著物体轮廓内部的图像块和外部的图像块间的相似度，得到精确到物体级别的显著性图；
所述显著物体修饰模块44，用于将所述精确到物体级别的显著性图重新拉伸到原始图像的大小，对重新拉伸后的图像进行基于图切割的图像分割，得到一个由均匀的图像区域组成的集合，均化每个区域的显著性值，得到最终的显著性图；
具体地，本实施例中，所述图像块提取单元具体用于将图像拉伸到H×H的大小，将拉伸后的图像划分为(H/r)×(H/r)个大小为r×r的图像块，将这些图像块按照从左向右,自上而下的顺序,以无重叠的方式从拉伸的图像中被提取出来，构成图像块集合P＝{p1,p2,…,pn}，其中H对r可除；
具体地，本实施例中，所述递归单元具体用于以递归的方式从所述图像块集合中构建一个由T棵树组成的随机森林F＝{T1,…TT}，随机森林中的每棵树均由分割结点和叶子结点构成,其中，叶子结点具体为不能被继续分割的分割结点；
进一步地，本实施例中，所述递归单元具体包括构造分割函数子单元和分割图像块集合子单元，其中：构造分割函数子单元，用于在树Tk的分割结点n处,产生两个随机数h1和h2，定义di(h1,h2)＝pi(h1)-pi(h2)，构造n处的分割函数；分割图像块集合子单元，用于根据所述构造分割函数子单元构造的分割函数将到达n的图像块集合Sn分割为包含在n的左孩子结点内的图像块集合Sl和包含在n的右孩子结点内的图像块集合Sr；还用于将n的孩子结点作为当前结点继续进行分割，直至当前结点的深度达到预定义的最大深度或者达到当前结点的图像块集合中只包含一个图像块时，选择一个新的分割结点进行分割，直至不存在可以分割的结点为止，停止增长树Tk；
更进一步地，构造分割函数子单元具体用于在树Tk的分割结点n处,产生两个随机数h1和h2，定义di(h1,h2)＝pi(h1)-pi(h2)，构造n处的分割函数为其中，Sl为包含在n的左孩子结点内的图像块集合，Sr包含在n的右孩子结点内的图像块集合，|Sn|表示图像块集合Sn的大小；优选地，本实施例中，所述构造分割函数子单元生成的所述随机数h1和h2满足公式
具体地，本实施例中，稀有性分析单元具体用于根据公式计算落在随机森林中的树Tk的叶子结点Lk上的图像块pi的稀有性，其中，xi为pi的中心像素在所述拉伸后的图像中的位置，ω(xi,xc)为exp(-||xi-xc||2/2σ2)，σ2表示中心先验的强度；优选地，本实施例中，所述稀有性分析单元根据公式计算落在随机森林中的树Tk的叶子结点Lk上的图像块pi的稀有性时忽略公式中的分母中的1/T；
具体地，本实施例中，显著物体检测模块具体包括：
图像块划分单元，用于将所有的图像块分成显著性物体轮廓内部图像块集合Sin和显著性物体轮廓外部图像块集合Sout；
第一相似性计算单元，用于计算显著性物体轮廓外部图像块集合Sout中的图像块pi和显著性物体轮廓内部图像块集合Sin中的图像块pj在随机森林的同一颗树中的相似性；
整合单元，用于整合所述第一相似性计算单元计算得到的pi和pj在随机森林的每一棵树中的相似性，得到pi和pj间的相似性；
第二相似性计算单元，用于计算pi与Sin间的相似性，并根据pi与Sin间的相似性计算pi的显著性值；
第三相似性计算单元，用于计算pj与Sout间的相似性，并根据pj与Sout间的相似性计算pj的显著性值；
进一步地，本实施例中：
第一相似性计算单元具体用于根据公式计算pi和pj在树Tk中的相似性，其中，|Lk|是包含在随机森林中的树Tk的叶子结点Lk内的图像块的数量；
整合单元具体用于根据公式整合pi和pj在随机森林的每一棵树中的相似性，得到pi和pj间的相似性；
第二相似性计算单元具体用于根据公式计算pi与Sin间的相似性，其中S具体为Sin，|S|为Sin中的图像块的数量；根据公式计算pi的显著性值，其中，
第三相似性计算单元具体用于根据公式计算pj与Sout间的相似性，其中S具体为Sout，|S|为Sout中的图像块的数量；根据公式计算pj的显著性值，其中，
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种图像显著性物体检测方法，其特征在于，所述方法包括：
将图像进行拉伸，提取拉伸后的图像中的图像块构成图像块集合，以递归的方式从所述图像块集合中构建出一个随机森林；
根据所述随机森林对所述图像块集合中的所有图像块进行稀有性分析，得到稀有性图，采用主动轮廓模型提取所述稀有性图中的显著物体轮廓，得到轮廓性图；
根据所述随机森林计算所述轮廓图中显著物体轮廓内部的图像块和外部的图像块间的相似度，得到精确到物体级别的显著性图；
将所述精确到物体级别的显著性图重新拉伸到原始图像的大小，对重新拉伸后的图像进行基于图切割的图像分割，得到一个由均匀的图像区域组成的集合，均化每个区域的显著性值，得到最终的显著性图；
所述根据所述随机森林对所述图像块集合中的所有图像块进行稀有性分析具体包括：
根据公式计算落在随机森林中的树Tk的叶子结点Lk上的图像块pi的稀有性，其中，T为大于0的整数，xi为pi的中心像素在所述拉伸后的图像中的位置，xc为所述图像的中心位置，ω(xi,xc)为exp(-||xi-xc||2/2σ2)，σ2表示中心先验的强度。
2.根据权利要求1所述的方法，其特征在于，所述将图像进行拉伸，提取拉伸后的图像中的图像块构成图像块集合具体包括：将图像拉伸到H×H的大小，将拉伸后的图像划分为(H/r)×(H/r)个大小为r×r的图像块，将这些图像块按照从左向右，自上而下的顺序，以无重叠的方式从拉伸的图像中被提取出来，构成图像块集合P＝{p1,p2,…,pn}，其中H对r可除。
3.根据权利要求1所述的方法，其特征在于，所述以递归的方式从所述图像块集合中构建出一个随机森林具体包括：以递归的方式从所述图像块集合中构建一个由T棵树组成的随机森林F＝{T1,…TT}，随机森林中的每棵树均由分割结点和叶子结点构成，其中，叶子结点具体为不能被继续分割的分割结点。
4.根据权利要求3所述的方法，其特征在于，以递归的方式从所述图像块集合中构建一棵树Tk具体包括：
A1：在树Tk的分割结点n处，产生两个随机数h1和h2，定义di(h1,h2)＝pi(h1)-pi(h2)；
A2：构造n处的分割函数，将到达n的图像块集合Sn分割为包含在n的左孩子结点内的图像块集合Sl和包含在n的右孩子结点内的图像块集合Sr；
A3：将n的孩子结点作为当前结点继续进行分割，直至当前结点的深度达到预定义的最大深度或者达到当前结点的图像块集合中只包含一个图像块时，执行A4；
A4：选择一个新的分割结点进行分割，直至不存在可以分割的结点为止，停止增长树Tk。
5.根据权利要求4所述的方法，其特征在于，所述A2具体包括：构造n处的分割函数为其中，Sl为包含在n的左孩子结点内的图像块集合，Sr包含在n的右孩子结点内的图像块集合，|Sn|表示图像块集合Sn的大小。
6.根据权利要求5所述的方法，其特征在于，所述随机数h1和h2满足公式
7.根据权利要求1所述的方法，其特征在于，所述根据所述随机森林计算所述轮廓图中显著物体轮廓内部的图像块和外部的图像块间的相似度具体包括：
B1：将所有的图像块分成显著性物体轮廓内部图像块集合Sin和显著性物体轮廓外部图像块集合Sout；
B2：计算显著性物体轮廓外部图像块集合Sout中的图像块pi和显著性物体轮廓内部图像块集合Sin中的图像块pj在随机森林的同一颗树中的相似性；
B3：整合pi和pj在随机森林的每一棵树中的相似性，得到pi和pj间的相似性；
B4：计算pi与Sin间的相似性，并根据pi与Sin间的相似性计算pi的显著性值；
B5：计算pj与Sout间的相似性，并根据pj与Sout间的相似性计算pj的显著性值。
8.根据权利要求7所述的方法，其特征在于，所述B2具体包括：根据公式计算pi和pj在树Tk中的相似性，其中，|Lk|是包含在随机森林中的树Tk的叶子结点Lk内的图像块的数量；
所述B3具体包括：根据公式整合pi和pj在随机森林的每一棵树中的相似性，得到pi和pj间的相似性；
所述B4具体包括：根据公式计算pi与Sin间的相似性，其中S具体为Sin，|S|为Sin中的图像块的数量；根据公式计算pi的显著性值，其中，
所述B5具体包括：根据公式计算pj与Sout间的相似性，其中S具体为Sout，|S|为Sout中的图像块的数量；根据公式计算pj的显著性值，其中，
9.一种图像显著性物体检测装置，其特征在于，所述装置包括：构建随机森林模块、显著物体轮廓提取模块、显著物体检测模块和显著物体修饰模块；其中：
所述构建随机森林模块，包括图像块提取单元和递归单元，所述图像块提取单元用于将图像进行拉伸，提取拉伸后的图像中的图像块构成图像块集合，所述递归单元用于以递归的方式从所述图像块集合中构建出一个随机森林；
所述显著物体轮廓提取模块，包括稀有性分析单元和显著物体轮廓提取单元，所述稀有性分析单元用于根据所述随机森林对所述图像块集合中的所有图像块进行稀有性分析，得到稀有性图，所述显著物体轮廓提取单元用于采用主动轮廓模型提取所述稀有性图中的显著物体轮廓，得到轮廓性图；
所述显著物体检测模块，用于根据所述随机森林计算所述轮廓图中显著物体轮廓内部的图像块和外部的图像块间的相似度，得到精确到物体级别的显著性图；
所述显著物体修饰模块，用于将所述精确到物体级别的显著性图重新拉伸到原始图像的大小，对重新拉伸后的图像进行基于图切割的图像分割，得到一个由均匀的图像区域组成的集合，均化每个区域的显著性值，得到最终的显著性图；
所述稀有性分析单元具体用于根据公式计算落在随机森林中的树Tk的叶子结点Lk上的图像块pi的稀有性，其中，T为大于0的整数，xi为pi的中心像素在所述拉伸后的图像中的位置，xc为所述图像的中心位置，ω(xi,xc)为exp(-||xi-xc||2/2σ2)，σ2表示中心先验的强度。
10.根据权利要求9所述的装置，其特征在于，所述图像块提取单元具体用于将图像拉伸到H×H的大小，将拉伸后的图像划分为(H/r)×(H/r)个大小为r×r的图像块，将这些图像块按照从左向右，自上而下的顺序，以无重叠的方式从拉伸的图像中被提取出来，构成图像块集合P＝{p1,p2,...,pn}，其中H对r可除。
11.根据权利要求9所述的装置，其特征在于，所述递归单元具体用于以递归的方式从所述图像块集合中构建一个由T棵树组成的随机森林F＝{T1,...TT}，随机森林中的每棵树均由分割结点和叶子结点构成，其中，叶子结点具体为不能被继续分割的分割结点。
12.根据权利要求11所述的装置，其特征在于，所述递归单元具体包括：
构造分割函数子单元，用于在树Tk的分割结点n处，产生两个随机数h1和h2，定义di(h1,h2)＝pi(h1)-pi(h2)，构造n处的分割函数；
分割图像块集合子单元，用于根据所述构造分割函数子单元构造的分割函数将到达n的图像块集合Sn分割为包含在n的左孩子结点内的图像块集合Sl和包含在n的右孩子结点内的图像块集合Sr；还用于将n的孩子结点作为当前结点继续进行分割，直至当前结点的深度达到预定义的最大深度或者达到当前结点的图像块集合中只包含一个图像块时，选择一个新的分割结点进行分割，直至不存在可以分割的结点为止，停止增长树Tk。
13.根据权利要求12所述的装置，其特征在于，所述构造分割函数子单元具体用于在树Tk的分割结点n处，产生两个随机数h1和h2，定义di(h1,h2)＝pi(h1)-pi(h2)，构造n处的分割函数为其中，Sl为包含在n的左孩子结点内的图像块集合，Sr包含在n的右孩子结点内的图像块集合，|Sn|表示图像块集合Sn的大小。
14.根据权利要求13所述的装置，其特征在于，所述构造分割函数子单元生成的所述随机数h1和h2满足公式
15.根据权利要求9所述的装置，其特征在于，所述显著物体检测模块具体包括：
图像块划分单元，用于将所有的图像块分成显著性物体轮廓内部图像块集合Sin和显著性物体轮廓外部图像块集合Sout；
第一相似性计算单元，用于计算显著性物体轮廓外部图像块集合Sout中的图像块pi和显著性物体轮廓内部图像块集合Sin中的图像块pj在随机森林的同一颗树中的相似性；
整合单元，用于整合所述第一相似性计算单元计算得到的pi和pj在随机森林的每一棵树中的相似性，得到pi和pj间的相似性；
第二相似性计算单元，用于计算pi与Sin间的相似性，并根据pi与Sin间的相似性计算pi的显著性值；
第三相似性计算单元，用于计算pj与Sout间的相似性，并根据pj与Sout间的相似性计算pj的显著性值。
16.根据权利要求15所述的装置，其特征在于，所述第一相似性计算单元具体用于根据公式计算pi和pj在树Tk中的相似性，其中，|Lk|是包含在随机森林中的树Tk的叶子结点Lk内的图像块的数量；
所述整合单元具体用于根据公式整合pi和pj在随机森林的每一棵树中的相似性，得到pi和pj间的相似性；
所述第二相似性计算单元具体用于根据公式计算pi与Sin间的相似性，其中S具体为Sin，|S|为Sin中的图像块的数量；根据公式计算pi的显著性值，其中，
所述第三相似性计算单元具体用于根据公式计算pj与Sout间的相似性，其中S具体为Sout，|S|为Sout中的图像块的数量；根据公式计算pj的显著性值，其中，
CN201310686930.2A 2013-12-12 2013-12-12 一种图像显著性物体检测方法和装置 Active CN103793710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310686930.2A CN103793710B (zh) 2013-12-12 2013-12-12 一种图像显著性物体检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310686930.2A CN103793710B (zh) 2013-12-12 2013-12-12 一种图像显著性物体检测方法和装置

Publications (2)

Publication Number Publication Date
CN103793710A CN103793710A (zh) 2014-05-14
CN103793710B true CN103793710B (zh) 2017-02-15

Family

ID=50669353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310686930.2A Active CN103793710B (zh) 2013-12-12 2013-12-12 一种图像显著性物体检测方法和装置

Country Status (1)

Country Link
CN (1) CN103793710B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504714B (zh) * 2014-12-30 2017-09-05 中国科学院深圳先进技术研究院 图像共显著物体的检测方法
CN108090436B (zh) * 2017-12-13 2021-11-19 深圳市航盛电子股份有限公司 一种运动物体的检测方法、***及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354389A (zh) * 2011-09-23 2012-02-15 河海大学 基于视觉显著性的图像零水印算法及图像版权认证方法
CN103024396A (zh) * 2013-01-07 2013-04-03 苏州科技学院 一种nmf视频压缩技术
CN103247038A (zh) * 2013-04-12 2013-08-14 北京科技大学 一种视觉认知模型驱动的全局图像信息合成方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8989437B2 (en) * 2011-05-16 2015-03-24 Microsoft Corporation Salient object detection by composition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354389A (zh) * 2011-09-23 2012-02-15 河海大学 基于视觉显著性的图像零水印算法及图像版权认证方法
CN103024396A (zh) * 2013-01-07 2013-04-03 苏州科技学院 一种nmf视频压缩技术
CN103247038A (zh) * 2013-04-12 2013-08-14 北京科技大学 一种视觉认知模型驱动的全局图像信息合成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于加权稀疏编码的频域视觉显著性检测算法;钱晓亮 等;《电子学报》;20130630;第41卷(第6期);1159-1165 *

Also Published As

Publication number Publication date
CN103793710A (zh) 2014-05-14

Similar Documents

Publication Publication Date Title
CN104200240B (zh) 一种基于内容自适应哈希编码的草图检索方法
TWI623842B (zh) Image search and method and device for acquiring image text information
WO2017173918A1 (zh) 一种三维虚拟场景的生成方法及装置
CN103399896B (zh) 识别用户间关联关系的方法及***
CN109753875A (zh) 基于人脸属性感知损失的人脸识别方法、装置与电子设备
CN104462163B (zh) 一种三维模型表征方法、检索方法及检索***
CN103700088B (zh) 一种基于可变形图结构表示的图像集无监督共分割方法
CN103258037A (zh) 一种针对多组合内容的商标识别检索方法
CN108764100B (zh) 一种目标行为检测方法及服务器
CN109598234A (zh) 关键点检测方法和装置
CN107169954A (zh) 一种基于并行卷积神经网络的图像显著性检测方法
Zhao et al. Clothing cosegmentation for shopping images with cluttered background
WO2020228536A1 (zh) 图标生成方法及装置、获取图标的方法、电子设备以及存储介质
CN104199838B (zh) 一种基于标签消歧的用户模型建构方法
CN109670517A (zh) 目标检测方法、装置、电子设备和目标检测模型
TWI539387B (zh) 自動影像分堆
CN103793710B (zh) 一种图像显著性物体检测方法和装置
Yasseen et al. Shape matching by part alignment using extended chordal axis transform
CN106295673A (zh) 物品信息处理方法及处理装置
CN111177811A (zh) 一种应用于云平台的消防点位自动布图的方法
CN103093467A (zh) 一种基于双重检测模型的镜头边界检测方法
CN104504692A (zh) 基于区域对比度的图像中显著对象的提取方法
Bu et al. Multi-depth dilated network for fashion landmark detection with batch-level online hard keypoint mining
CN108628703A (zh) 一种基于视觉相似性镜像网站发现方法及***
Dong et al. Effective and efficient photo quality assessment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant