CN102034102B - 图像显著对象提取方法、互补显著度图学习方法及*** - Google Patents

图像显著对象提取方法、互补显著度图学习方法及*** Download PDF

Info

Publication number
CN102034102B
CN102034102B CN 201010568248 CN201010568248A CN102034102B CN 102034102 B CN102034102 B CN 102034102B CN 201010568248 CN201010568248 CN 201010568248 CN 201010568248 A CN201010568248 A CN 201010568248A CN 102034102 B CN102034102 B CN 102034102B
Authority
CN
China
Prior art keywords
complementary
image
saliency map
thick
saliency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201010568248
Other languages
English (en)
Other versions
CN102034102A (zh
Inventor
田永鸿
余昊男
黄铁军
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN 201010568248 priority Critical patent/CN102034102B/zh
Publication of CN102034102A publication Critical patent/CN102034102A/zh
Application granted granted Critical
Publication of CN102034102B publication Critical patent/CN102034102B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种图像显著对象提取方法、互补显著度图学习方法及***。其中,基于图像显著对象提取方法包括:利用所述图像训练集学习得到两个互补显著度映射函数;基于学习得到的所述互补显著度映射函数,得到互补显著度图;根据所述互补显著度图提供的软先验知识,提取出显著物体。本发明通过给定任意图像,自动准确地提取出图像中的显著物体,有效地解决了在复杂场景下一般显著物体提取结果缺乏的准确性和鲁棒性问题,为该类方法提供了一种全新的思路。

Description

图像显著对象提取方法、互补显著度图学习方法及***
技术领域
本发明涉及图像处理领域,尤其涉及一种图像显著对象提取方法、互补显著度图学习方法及***。
背景技术
随着近年来数字图像的海量增长,如何有效利用这些图像成了一个很重要的问题。一般说来,图像中的显著物体由于能够代表整个图像的语义而成为关键的分析对象。在很多图像应用(如自动图像裁剪,图像压缩,广告设计,基于内容的图像检索)中,能否正确地提取出显著对象并对其分析成为了一个至关重要的难题。
就目前而言,现有的研究成果在一些简单的情况下(比如图像背景简单,单个显著物体,物体视觉特性和背景差距较大等)表现出满意的结果,但在复杂场景下(比如背景变化多样,多个显著物体,物体视觉特性和背景差距较小等)的结果往往缺乏整体性和准确性。
发明内容
本发明的目的在于提供一种图像显著对象提取方法、互补显著度图学习方法及***,基于本发明,可以有效解决显著对象提取方法在复杂场景下提取结果缺乏整体性和准确性的问题。
本发明一种图像显著对象提取方法,包括如下步骤:学习步骤,利用所述图像训练集学习得到两个互补显著度映射函数;显著融合步骤,基于学习得到的所述互补显著度映射函数,得到互补显著度图;提取步骤,根据所述互补显著度图提供的软先验知识,提取出显著物体。
上述图像显著对象提取方法,优选所述学习步骤进一步包括:数据准备步骤,确定图像训练集中每一个图像的粗显著度图所对应的标注数据;函数建模步骤,为所述两个互补显著度映射函数建立符合所述互补显著度图特点的学习模型;训练步骤,训练以获取所述两个互补显著度映射函数,使得训练集中每个图像的粗显著度图在两个映射函数下,映射得到的互补显著度图尽可能地接近该图像所对应的标注数据。
上述图像显著对象提取方法,优选所述两个互补显著度映射函数包括封套函数和骨架函数。
上述图像显著对象提取方法,优选所述显著融合步骤进一步包括:预处理步骤,对图像训练集中的、待获取互补显著度图的图像生成多个粗显著度图;映射融合步骤,根据所述学习步骤中获取的封套函数和骨架函数,将同一图像的多个粗显著度图映射融合,得到互补的类封套图和类骨架图。
上述图像显著对象提取方法,优选所述提取步骤进一步包括:分类器建模步骤,基于概率框架,建立能加入所述互补显著度图作为先验知识的分类器模型;分类提取步骤,利用二值分类器对图像中的像素进行物体标签和背景标签的分类;提取出显著物体。
上述图像显著对象提取方法,优选所述数据准备步骤中,所述标注数据的形式为:像素级的物体模板或其它近似物体模板的形式。
另一方面,本发明一种图像显著对象提取***,包括:学习模块,用于利用所述图像训练集学习得到两个互补显著度映射函数;显著融合模块,用于基于学习得到的所述互补显著度映射函数,得到互补显著度图;提取模块,用于根据所述互补显著度图提供的软先验知识,提取出显著物体。
上述图像显著对象提取***,优选所述学习模块进一步包括:数据准备单元,用于确定图像训练集中每一个图像的粗显著度图所对应的标注数据;函数建模单元,用于为所述两个互补显著度映射函数建立符合所述互补显著度图特点的学习模型;训练单元,用于训练以获取所述两个互补显著度映射函数,使得训练集中每个图像的粗显著度图在两个映射函数下,映射得到的互补显著度图尽可能地接近该图像所对应的标注数据。
上述图像显著对象提取方法,优选所述两个互补显著度映射函数包括封套函数和骨架函数。
上述图像显著对象提取方法,优选所述显著融合模块进一步包括:预处理单元,用于对图像训练集中的、待获取互补显著度图的图像生成多个粗显著度图;映射融合单元,用于根据所述学习步骤中获取的封套函数和骨架函数,将同一图像的多个粗显著度图映射融合,得到互补的类封套图和类骨架图。
上述图像显著对象提取方法,优选所述提取模块进一步包括:分类器建模单元,用于基于概率框架,建立能加入所述互补显著度图作为先验知识的分类器模型;分类提取单元,用于利用二值分类器对图像中的像素进行物体标签和背景标签的分类;提取出显著物体。
上述图像显著对象提取方法,优选所述数据准备单元中,所述标注数据的形式为:像素级的物体模板或其它近似物体模板的形式。
另一方面,本发明一种互补显著度图学习方法,包括如下步骤:学习步骤,利用所述图像训练集学习得到两个互补显著度映射函数;显著融合步骤,基于学习得到的所述互补显著度映射函数,得到互补显著度图。
上述互补显著度图学习方法,优选所述学习步骤进一步包括:数据准备步骤,确定图像训练集中每一个图像的粗显著度图所对应的标注数据;所述两个互补显著度映射函数包括封套函数和骨架函数;函数建模步骤,为所述两个互补显著度映射函数建立符合所述互补显著度图特点的学习模型;训练步骤,训练以获取所述两个互补显著度映射函数,使得训练集中每个图像的粗显著度图在两个映射函数下,映射得到的互补显著度图尽可能地接近该图像所对应的标注数据。
上述互补显著度图学习方法,优选所述显著融合步骤进一步包括:预处理步骤,对图像训练集中的、待获取互补显著度图的图像生成多个粗显著度图;映射融合步骤,根据所述学习步骤中获取的封套函数和骨架函数,将同一图像的多个粗显著度图映射融合,得到互补的类封套图和类骨架图。
另一方面,本发明一种互补显著度图学习***,包括:学习模块,用于利用所述图像训练集学习得到两个互补显著度映射函数;显著融合模块,用于基于学习得到的所述互补显著度映射函数,得到互补显著度图。
上述互补显著度图学习***,优选所述学习模块进一步包括:数据准备模块,用于确定图像训练集中每一个图像的粗显著度图所对应的标注数据;所述两个互补显著度映射函数包括封套函数和骨架函数;函数建模模块,用于为所述两个互补显著度映射函数建立符合所述互补显著度图特点的学习模型;训练模块,用于训练以获取所述两个互补显著度映射函数,使得训练集中每个图像的粗显著度图在两个映射函数下,映射得到的互补显著度图尽可能地接近该图像所对应的标注数据。
另一方面,本发明所述显著融合模块进一步包括:预处理模块,用于对图像训练集中的、待获取互补显著度图的图像生成多个粗显著度图;映射融合模块,用于根据所述学习步骤中获取的封套函数和骨架函数,将同一图像的多个粗显著度图映射融合,得到互补的类封套图和类骨架图。
相对于现有技术而言,本发明具有如下优势:
第一、基于学习的互补显著度图,解决了在复杂场景下用特定方法生成的粗显著度图不理想的问题,使得互补显著度更加具有可移植性和鲁棒性。
第二、互补显著度作为软先验知识,能够表示更大范围的像素标签的概率先验,同时分类步骤为了能利用软先验知识,采取了概率框架下的分类器,加强了本发明提取步骤的一般性和健壮性。
也就是说,对于给定的任意图像,本发明在对互补显著度学习的基于上,利用概率框架下的分类器自动准确地提取出图像中的显著对象,有效地解决了在复杂场景下一般显著物体提取缺乏的准确性和鲁棒性问题,为该类方法提供了一种全新的思路。
附图说明
图1是本发明图像显著对象提取方法的整体原理图;
图2是本发明图像显著对象提取方法的整体步骤流程图;
图3是图像显著对象提取方法中的类封套图和类骨架图示例和图像显著对象提取方法效果图示例;
图4是图像显著对象提取方法中学习步骤的流程图;
图5是图像显著对象提取方法中显著融合步骤的流程图;
图6是图像显著对象提取方法中,显著物体提取方法流程图;
图7是本发明图像显著对象提取***的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明通过互补显著度图的学习及利用互补显著度为软先验知识来解决复杂场景下的显著物体提取问题。首先利用训练集进行学习,得到两个互补显著度映射函数,然后基于映射函数将图像的若干粗显著度图映射融合得到互补显著度图,最后再根据互补显著度提供的软先验知识,利用二值分类器对图像中的像素进行物体和背景标签的分类,从而提取出显著物体。通过这样的方式,有效地解决了在复杂场景下一般显著物体提取缺乏的准确性和鲁棒性问题,为该类方法提供了一种全新的思路。
参照图1,本发明基于本发明图像显著对象提取方法的整体原理图的整体原理图,如图1所示,首先利用训练集学习得到互补显著度映射函数,然后对于任意原始图像,生成若干粗显著度图,根据互补映射函数映射融合成类封套图和类骨架图。最后利用二值分类器得到显著对象。其中,粗显著度图指由基于不同策略的显著建模方法生成的、并且没有经过复杂后处理的显著度图。类封套图为可以被量化定义的模糊的类封套图,类骨架图为以被量化定义的尖锐的类骨架图。类封套图和类骨架图特点是在对应量化定义的要求下,类封套图应能够标注一些比较大的区域为显著,同时这些区域包括了几乎所有的对象像素;而类骨架图应能标注一些较小的、处于对象内部的区域为显著。
参照图2,图2是本发明图像显著对象提取方法的整体步骤流程图,包括如下步骤:
学习步骤S21,根据训练集及标注数据学习得到两个互补显著度映射函数;映射融合步骤S22,基于学习的映射函数,将多个粗显著度图映射融合到互补显著度图;提取步骤S23,根据互补显著度先验知识,利用二值分类器对图像中像素标签进行显著物体和背景的分类。其中,标注数据为像素级的精确的物体模板或其它近似物体模板的形式。
参照图3,图3为互是图像显著对象提取方法中的类封套图和类骨架图示例和图像显著对象提取方法效果图示例,在图3中,3a行代表原始图像,3b行代表类封套图,3c行代表类骨架图,3d行代表提取出的显著物体。
参照图4,图4图像显著对象提取方法中学习步骤的流程图。该实施例中学习步骤主要流程如下:步骤S41,选择基于不同策略的显著建模方法,对训练集中的每一幅图像生成相应的粗显著度图;步骤S42,获取训练集中每一幅图像的标注数据步骤S43,根据所要生成的互补显著度图各自的特点分别建立封套函数和骨架函数模型;步骤S44,针对模型选取合适的训练方法;步骤S45,学习得到封套函数和骨架函数。
下面对各步骤的实现方法进行详细描述:步骤S41的不同策略指能从不同方面抓住一个场景多样显著性的各种显著建模策略,为此通常采用一些经典的、原理差距较大的显著度方法。对以训练集中的每一幅图像,都用这些显著度方法为其生成若干粗显著度图,以备学习使用。步骤S42中所述标注数据应不局限于精确的像素级别的物体模板,可以包括其他形式比如靠近物体的矩形框、凸包、椭圆等。步骤S43映射函数建模过程应充分考虑到融合生成的互补显著度特点,是较为关键的一个步骤。下面详细描述在本实施例中映射函数建模过程。
为了能建立映射函数模型,首先需要量化定义互补显著度图。设一幅图像I的物体部分表示为O并且背景部分表示为B,则对任意的一幅显著度图∑有如下两种能量:
封套能量: E env I ( S ) = - ∫ i ∈ O ∫ log ( S ( i ) + ϵ ) + κ · ∫ i ∈ B ∫ S ( i ) / ∫ i ∈ O ∫ S ( i ) - - - ( 1 )
骨架能量: E ske I ( S ) = - ∫ i ∈ B ∫ log ( S ‾ ( i ) + ϵ ) + η · ∫ i ∈ O ∫ S ‾ ( i ) / ∫ i ∈ B ∫ S ‾ ( i )
其中S(i)表示像素i的显著度值(已归一化到[0,1])且表示1-S(i),κ和η是两个常系数。为了防止能量出现无限大值,ε被设置成了一个接近0的值。可以看出,当一个显著度图的封套能量(骨架能量)很小时,这个显著度图能够标注一些比较大的区域为显著,同时这些区域包括了几乎所有的对象像素(能标注一些较小的、处于对象内部的区域为显著)。同时,可以证得这两个能量达到最小值当且仅当∑就是该图的标注数据。接着定义互补度:
Dgr I ( S + , S - ) = log ( ( T env - E env I ( S + ) ) · ( T ske - E ske I ( S - ) ) ) - - - ( 2 )
其中Tenv和Tske是两个比较大的数。这样,对于任一显著图对(S+,S-),如果它们的互补度大于了某个阈值,则这两个显著度图分别称为类封套图和类骨架图。
下面根据互补显著度图的量化定义对映射函数建立模型。近似地,将训练目标转化为互补度的最大值。当两个显著度图的互补度达到最大值时,可以通过(1)、(2)知道这两个显著度图都为标注数据。因此,问题变为要找到两个映射函数,使得将若干粗显著度图映射融合后的两个显著度图尽可能接近标注数据。为此,根据以上分析的类封套图和类骨架图分别的特点,采用加法和乘法来建立映射模型。同时,为每个粗显著度图分配一个权值矩阵代表他们对结果的影响。
步骤S44中,假设训练集中已经获得了所有图像的标注数据,则问题即为求出每一个显著度图的加权矩阵,使得这些显著度图能在加法或乘法的作用下最好地拟合标注数据:
{ Σ k = 0 K ( S n , k ( i ) · E k env ( i ) ) = G n ( i ) | n = 1 . . . N } , 1 ≤ i ≤ h × w - - - ( 3 )
{ Π k = 0 K ( S n , k ( i ) E k ske ( i ) ) = G n ( i ) | n = 1 . . . N } , 1 ≤ i ≤ h × w
上式中,Sn={Sn,1,Sn,2,...Sn,K}是第n个粗显著图集合,对类信封图有Sn,0(i)=1,对类骨架图有Sn,0(i)=e,Gn(i)表示该像素的标注数据。
Figure BSA00000368586700101
Figure BSA00000368586700102
是待学***方差错误和(SSE),即:
SSE ( i ) = Σ n = 1 N ( Σ k = 0 K ( S n , k ( i ) · E k env ( # ) ( i ) ) - G n ( i ) ) 2 , 1 ≤ i ≤ h × w - - - ( 4 )
这里
Figure BSA00000368586700104
是学习得到的封套加权矩阵。在步骤45中,令Si=[Sn,k(i)]N×(1+K)、Gi=[Gn(i)]1×N
Figure BSA00000368586700105
通过推导可以得到:
S i T S i E i = S i T G i , 1 ≤ i ≤ h × w . - - - ( 5 )
从而通过经典的最小二乘法可以得到以上是对封套函数的学习,对骨架函数的学习类似,可以先通过log运算将乘法运算变成加法。
参照图5,图5是基于互补显著度的图像显著对象自动提取方法中显著融合步骤的流程图。显著融合步骤主要流程如下:步骤S51,选择和学习步骤中一样的显著建模方法;步骤S52,对于新的原始图像生成若干粗显著度图;步骤S53,利用学习得到的封套函数和骨架函数分别映射融合这些粗显著度图从而得到类封套图和类骨架图。
下面对各步骤的实现方法进行详细描述:步骤S51不能采用之前学习阶段没有采用的粗显著度图,否则学习的映射函数会失效。步骤S53可以采用式(3)的左边部分分别融合粗显著度图得到类封套图和类骨架图。
参照图6,图6是基于互补显著度的图像显著对象自动提取方法中,显著物体提取方法流程图。提取步骤主要流程如下:步骤SS61,将互补显著度作为图像里像素标签的一种软先验知识;步骤S62,建立概率框架下的二值分类器模型以加入互补显著度;步骤S63,利用该分类器对图像中的像素标签进行物体和背景的分类
下面对各步骤的实现方法进行详细描述:步骤S61中的软先验知识指不同于采取一个阈值将互补显著度分割成二值之后的先验知识。因此互补显著度可以作为一种对图像中像素标签的概率先验。在本实施例中,采用1-Senv(i)作为像素i背景标签的先验知识,而Sske(i)作为像素i物体标签的先验知识。这个两个值越大,说明该像素获得此标签的概率越大。步骤S62的二值分类器为了能利用软先验知识,必须是概率框架下的。下面详细描述在本实施例中该分类器的选择。
本实施例中采取著名的图割技术(graph cuts)作为二值分类器。在图割技术中,显著物体提取同样被看成是一个标签标注问题,它试图寻找一个最小化下式的全局最优解:
C ( l ) = Σ { p , q } ∈ N V p , q ( l p , l q ) + Σ p ∈ I D ( l p ) - - - ( 6 )
其中N代表邻居***,lp表示像素p的标签(1代表物体,0代表背景)。此式中第二项称为数据项,用来表示将一个标签赋予一个像素时受到的惩罚和。此式中的第一项称为边界项,表示根据相邻两像素标签的分配情况给予的惩罚,该惩罚通常在两标签不同但视觉特性相似或两标签相同但视觉特性差别大的情况下很大。
在加入互补显著度作为软先验知识时,本实施例将D(lp)形式化为-λ·log(L(χ|lp)·S*(lp))。其中L(χ|lp)表示在特定视觉模型下给拥有视觉特性χ的像素p分配标签lp的概率。视觉模型指预先定义好的或者根据经验设定的、能代表显著物体或背景视觉统计特性的模型。为了将互补显著度图加入,S*(lp)定义为:
S * ( l p ) = min ( 1 - S ske * + o ` , 1 ) , if l p = 0 min ( S env * + o ` , 1 ) , if l p = 1 - - - ( 7 )
上式中,
Figure BSA00000368586700122
分别表示经过映射函数映射粗显著度图得来的类封套图和类骨架图。是一个控制互补显著度影响作用的常量,当
Figure BSA00000368586700125
取0时,任何在类封套图中显著度为0的像素一定被赋予背景标签,任何在类骨架图中显著度为1的像素一定被赋予物体标签,否则会产生无穷大的惩罚;当
Figure BSA00000368586700126
取1时,互补显著度失去作用。步骤S63进行分类的过程可以看成是求解图像对应的图最小割过程,用经典的最大流算法即可解决。
参照图7,图7是图像显著对象提取***的结构框图,包括:学习模块70,用于根据图像训练集,学习得到两个互补显著度映射函数;显著融合模块72,用于基于学习得到的映射函数分别将同一图像的多个粗显著度图映射融合得到互补显著度图;提取模块74,用于根据互补显著度图提供的先验知识,利用二值分类器对原始图像中的像素进行物体标签和背景标签的分类。
其中,上述学习模块70包括:数据准备单元701,用于对训练集中每一个图像,生成其对应的若干个粗显著度图,同时获得其标注数据;函数建模单元702,用于分别为封套函数和骨架函数建立符合类封套图和类骨架图特点的学习模型;训练单元703,用于训练出封套函数和骨架函数,使得训练集中每个图像的粗显著度图在此两个函数下映射得到的互补显著度图尽可能地接近该图像的标注数据。
显著融合模块72包括:预处理单元721,用于对待要获取互补显著度图的原始图像生成若干粗显著度图;映射融合单元722,用于根据已经学习到的封套函数和骨架函数对这些粗显著图进行映射融合,分别得到类封套图和类骨架图。
提取模块74包括:分类器建模单元741,用于建立能加入互补显著度作为先验知识的分类器模型;分类提取单元742,用于根据分类器给图像中每个像素分配一个物体或者背景标签,同时提取出显著物体。
上述***实施例的原理与方法实施例相同,在此不再赘述,相同之处互相参照即可。
另一方面,本发明还公开了一种互补显著度图学习方法,包括:学习步骤,根据训练集及标注数据学习得到两个互补显著度映射函数;映射融合步骤,基于学习的映射函数,将多个粗显著度图映射融合到互补显著度图。
在一个实施例中,学习步骤包括:数据准备步骤,确定图像训练集中每一个图像的粗显著度图所对应的标注数据;所述两个互补显著度映射函数包括封套函数和骨架函数;函数建模步骤,为所述两个互补显著度映射函数建立符合所述互补显著度图特点的学习模型;训练步骤,训练以获取所述两个互补显著度映射函数,使得训练集中每个图像的粗显著度图在两个映射函数下,映射得到的互补显著度图尽可能地接近该图像所对应的标注数据。
显著融合步骤进一步包括:预处理步骤,对图像训练集中的、待获取互补显著度图的图像生成多个粗显著度图;映射融合步骤,根据所述学习步骤中获取的封套函数和骨架函数,将同一图像的多个粗显著度图映射融合,得到互补的类封套图和类骨架图。
互补显著度图学习方法与基于图像显著对象的提取方法中相应的步骤相同,在此不再赘述。
另一方面,本发明还公开了一种互补显著度图学习***,该***包括学习模块和映射融合模块。该模块与基于图像显著对象提取***中对应的模块相同,本发明在此不再赘述。
以上对本发明所提供的一种图像显著对象提取方法、互补显著度图学习方法及***进行了详细介绍,本文中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书的内容不应理解为对本发明的限制。

Claims (16)

1.一种图像显著对象提取方法,其特征在于,包括如下步骤:
学习步骤,利用具有标注数据的图像训练集建立符合互补显著度图特点的学习模型,训练得到两个互补显著度映射函数;其中,所述两个互补显著度映射函数包括封套函数和骨架函数;所述的训练是通过找到两个映射函数,使得将若干粗显著度图采用加法和乘法来映射融合后的两个显著度图尽可能接近标注数据;
显著融合步骤,基于学习得到的所述互补显著度映射函数,得到互补显著度图;
提取步骤,根据所述互补显著度图提供的软先验知识,提取出显著物体。
2.根据权利要求1所述的图像显著对象提取方法,其特征在于,所述学习步骤进一步包括:
数据准备步骤,确定图像训练集中每一个图像的粗显著度图所对应的标注数据;
函数建模步骤,为所述两个互补显著度映射函数建立符合互补显著度图特点的学习模型;
训练步骤,训练以获取所述两个互补显著度映射函数,使得训练集中每个图像的粗显著度图在两个互补显著度映射函数下,映射得到的互补显著度图尽可能地接近该图像所对应的标注数据。
3.根据权利要求1所述的图像显著对象提取方法,其特征在于,所述显著融合步骤进一步包括:
预处理步骤,对图像训练集中的、待获取互补显著度图的图像生成多个粗显著度图;
映射融合步骤,根据所述学习步骤中获取的封套函数和骨架函数,将同一图像的多个粗显著度图映射融合,得到互补的类封套图和类骨架图。
4.根据权利要求1所述的图像显著对象提取方法,其特征在于,所述提取步骤进一步包括:
分类器建模步骤,建立能加入所述互补显著度图作为先验知识的分类器模型;
分类提取步骤,利用二值分类器对图像中的像素进行物体标签和背景标签的分类;提取出显著物体。
5.根据权利要求2所述的图像显著对象提取方法,其特征在于,所述数据准备步骤中,所述标注数据的形式为:
像素级的物体模板或其它近似物体模板的形式。
6.一种图像显著对象提取***,其特征在于,包括:
学习模块,用于利用具有标注数据的图像训练集建立符合互补显著度图特点的学习模型,训练得到两个互补显著度映射函数;其中,所述两个互补显著度映射函数包括封套函数和骨架函数;所述的训练是通过找到两个映射函数,使得将若干粗显著度图采用加法和乘法来映射融合后的两个显著度图尽可能接近标注数据;
显著融合模块,用于基于学习得到的所述互补显著度映射函数,得到互补显著度图;
提取模块,用于根据所述互补显著度图提供的软先验知识,提取出显著物体。
7.根据权利要求6所述的图像显著对象提取***,其特征在于,所述学习模块进一步包括:
数据准备单元,用于确定图像训练集中每一个图像的粗显著度图所对应的标注数据;
函数建模单元,用于为所述两个互补显著度映射函数建立符合互补显著度图特点的学习模型;
训练单元,用于训练以获取所述两个互补显著度映射函数,使得训练集中每个图像的粗显著度图在两个互补显著度映射函数下,映射得到的互补显著度图尽可能地接近该图像所对应的标注数据。
8.根据权利要求6所述的图像显著对象提取***,其特征在于,所述显著融合模块进一步包括:
预处理单元,用于对图像训练集中的、待获取互补显著度图的图像生成多个粗显著度图;
映射融合单元,用于根据所述学习步骤中获取的封套函数和骨架函数,将同一图像的多个粗显著度图映射融合,得到互补的类封套图和类骨架图。
9.根据权利要求6所述的图像显著对象提取***,其特征在于,所述提取模块进一步包括:
分类器建模单元,用于建立能加入所述互补显著度图作为先验知识的分类器模型;
分类提取单元,用于利用二值分类器对图像中的像素进行物体标签和背景标签的分类;提取出显著物体。
10.根据权利要求7所述的图像显著对象提取***,其特征在于,所述数据准备单元中,所述标注数据的形式为:
像素级的物体模板或其它近似物体模板的形式。
11.一种互补显著度图学习方法,其特征在于,包括如下步骤:
学习步骤,利用具有标注数据的图像训练集建立符合互补显著度图特点的学习模型,训练得到两个互补显著度映射函数;其中,所述两个互补显著度映射函数包括封套函数和骨架函数;所述的训练是通过找到两个映射函数,使得将若干粗显著度图采用加法和乘法来映射融合后的两个显著度图尽可能接近标注数据;
显著融合步骤,基于学习得到的所述互补显著度映射函数,得到互补显著度图。
12.根据权利要求11所述的互补显著度图学习方法,其特征在于,所述学习步骤进一步包括:
数据准备步骤,确定图像训练集中每一个图像的粗显著度图所对应的标注数据;
函数建模步骤,为所述两个互补显著度映射函数建立符合互补显著度图特点的学习模型;
训练步骤,训练以获取所述两个互补显著度映射函数,使得训练集中每个图像的粗显著度图在两个互补显著度映射函数下,映射得到的互补显著度图尽可能地接近该图像所对应的标注数据。
13.根据权利要求12所述的互补显著度图学习方法,其特征在于,所述显著融合步骤进一步包括:
预处理步骤,对图像训练集中的、待获取互补显著度图的图像生成多个粗显著度图;
映射融合步骤,根据所述学习步骤中获取的封套函数和骨架函数,将同一图像的多个粗显著度图映射融合,得到互补的类封套图和类骨架图。
14.一种互补显著度图学习***,其特征在于,包括:
学习模块,用于利用具有标注数据的图像训练集建立符合互补显著度图特点的学习模型,训练得到两个互补显著度映射函数;其中,所述两个互补显著度映射函数包括封套函数和骨架函数;所述的训练是通过找到两个映射函数,使得将若干粗显著度图采用加法和乘法来映射融合后的两个显著度图尽可能接近标注数据;
显著融合模块,用于基于学习得到的所述互补显著度映射函数,得到互补显著度图。
15.根据权利要求14所述的互补显著度图学习***,其特征在于,所述学习模块进一步包括:
数据准备模块,用于确定图像训练集中每一个图像的粗显著度图所对应的标注数据;
函数建模模块,用于为所述两个互补显著度映射函数建立符合互补显著度图特点的学习模型;
训练模块,用于训练以获取所述两个互补显著度映射函数,使得训练集中每个图像的粗显著度图在两个互补显著度映射函数下,映射得到的互补显著度图尽可能地接近该图像所对应的标注数据。
16.根据权利要求14所述的互补显著度图学习***,其特征在于,所述显著融合模块进一步包括:
预处理模块,用于对图像训练集中的、待获取互补显著度图的图像生成多个粗显著度图;
映射融合模块,用于根据所述学习步骤中获取的封套函数和骨架函数,将同一图像的多个粗显著度图映射融合,得到互补的类封套图和类骨架图。
CN 201010568248 2010-11-26 2010-11-26 图像显著对象提取方法、互补显著度图学习方法及*** Expired - Fee Related CN102034102B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010568248 CN102034102B (zh) 2010-11-26 2010-11-26 图像显著对象提取方法、互补显著度图学习方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010568248 CN102034102B (zh) 2010-11-26 2010-11-26 图像显著对象提取方法、互补显著度图学习方法及***

Publications (2)

Publication Number Publication Date
CN102034102A CN102034102A (zh) 2011-04-27
CN102034102B true CN102034102B (zh) 2013-11-06

Family

ID=43886965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010568248 Expired - Fee Related CN102034102B (zh) 2010-11-26 2010-11-26 图像显著对象提取方法、互补显著度图学习方法及***

Country Status (1)

Country Link
CN (1) CN102034102B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105761269A (zh) * 2016-03-14 2016-07-13 北京大学 基于多尺度区分性子空间的图像显著对象的检测方法
CN106886995B (zh) 2017-01-13 2019-09-20 北京航空航天大学 多线性示例回归器聚合的图像显著对象分割方法
CN108509891A (zh) * 2018-03-27 2018-09-07 斑马网络技术有限公司 图像标注方法、装置、存储介质及电子设备
CN110097112B (zh) * 2019-04-26 2021-03-26 大连理工大学 一种基于重构图的图学习模型

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278798B1 (en) * 1993-08-09 2001-08-21 Texas Instruments Incorporated Image object recognition system and method
CN101477633A (zh) * 2009-01-21 2009-07-08 北京大学 自动估计图像和视频的视觉显著度的方法
CN101847264A (zh) * 2010-05-28 2010-09-29 北京大学 基于互补显著度图的图像兴趣物体自动提取方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278798B1 (en) * 1993-08-09 2001-08-21 Texas Instruments Incorporated Image object recognition system and method
CN101477633A (zh) * 2009-01-21 2009-07-08 北京大学 自动估计图像和视频的视觉显著度的方法
CN101847264A (zh) * 2010-05-28 2010-09-29 北京大学 基于互补显著度图的图像兴趣物体自动提取方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王惠锋,孙正兴.一种面向图象语义的主要区域提取方法.《中国图象图形学报》.2003,第8卷(第1期),全文. *

Also Published As

Publication number Publication date
CN102034102A (zh) 2011-04-27

Similar Documents

Publication Publication Date Title
Li et al. Building-a-nets: Robust building extraction from high-resolution remote sensing images with adversarial networks
US20170220864A1 (en) Method for Implementing a High-Level Image Representation for Image Analysis
CN103955702A (zh) 基于深度rbf网络的sar图像地物分类方法
CN112949647B (zh) 三维场景描述方法、装置、电子设备和存储介质
CN105631479A (zh) 基于非平衡学习的深度卷积网络图像标注方法及装置
CN104112282A (zh) 一种基于在线学习跟踪监控视频中多个运动目标的方法
US20150095022A1 (en) List recognizing method and list recognizing system
CN105931253A (zh) 一种基于半监督学习相结合的图像分割方法
CN104778457A (zh) 基于多示例学习的视频人脸识别算法
CN110210431A (zh) 一种基于点云语义标注和优化的点云分类方法
CN103745201A (zh) 一种节目识别方法及装置
CN104537353A (zh) 基于三维点云的三维人脸年龄分类装置及方法
Liu et al. An ensemble of classifiers based on positive and unlabeled data in one-class remote sensing classification
CN102034102B (zh) 图像显著对象提取方法、互补显著度图学习方法及***
Tighe et al. Scene parsing with object instance inference using regions and per-exemplar detectors
Tu et al. Multiattribute sample learning for hyperspectral image classification using hierarchical peak attribute propagation
Asri et al. A real time Malaysian sign language detection algorithm based on YOLOv3
Gkalelis et al. ViGAT: Bottom-up event recognition and explanation in video using factorized graph attention network
CN103295026B (zh) 基于空间局部聚合描述向量的图像分类方法
CN110111365B (zh) 基于深度学习的训练方法和装置以及目标跟踪方法和装置
Nguyen et al. Adaptive nonparametric image parsing
CN103714340A (zh) 基于图像分块的自适应特征提取方法
CN113657414B (zh) 一种物体识别方法
Li et al. Image decomposition with multilabel context: Algorithms and applications
CN102542590B (zh) 基于监督主题模型的高分辨率sar影像标注方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131106

Termination date: 20201126