CN103578107A - 一种交互式图像分割方法 - Google Patents
一种交互式图像分割方法 Download PDFInfo
- Publication number
- CN103578107A CN103578107A CN201310548279.2A CN201310548279A CN103578107A CN 103578107 A CN103578107 A CN 103578107A CN 201310548279 A CN201310548279 A CN 201310548279A CN 103578107 A CN103578107 A CN 103578107A
- Authority
- CN
- China
- Prior art keywords
- background
- pixel
- user
- image
- prospect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种交互式图像分割方法,包括步骤:A、由用户使用前景笔或背景笔在图像待分割的目标区域上勾画出前景或背景;B、根据用户的勾画分割出前景区域或背景区域,并将由此获得的分割结果作为临时分割结果输出给用户选择确认:如果用户选择重新勾画,则返回步骤A;否则,进入下一步;C、输出由用户确认的最终图像分割结果。以实现适用于移动设备的具有较小计算量的图像分割。
Description
技术领域
本发明涉及一种交互式图像分割方法。
背景技术
随着触摸屏技术和智能手机的发展,用户在智能手机上使用通过触摸方式来处理图片的需求越来越大。图像分割是图像处理的一个基本步骤,也是很对图像后处理或计算机视觉的前提。同时,图像分割是图像处理技术中困难极大的课题,其计算量偏大且很难应用到移动设备上。目前虽然有多种图像分割方案,例如Mean Shift,Grabcut等,但均未解决这一问题。
发明内容
有鉴于此,本发明的主要目的在于提供一种交互式图像分割方法,以实现适用于移动设备的具有较小计算量的图像分割。
本发明提供的一种交互式图像分割方法,包括以下步骤:
A、由用户使用前景笔或背景笔在图像待分割的目标区域上勾画出前景或背景;
B、根据用户的勾画分割出前景区域或背景区域,并将由此获得的分割结果作为临时分割结果输出给用户选择确认:如果用户选择重新勾画,则返回步骤A;否则,进入下一步;
C、输出由用户确认的最终图像分割结果。
由上可以看出,通过与用户的不断交互,可最大程度地根据用户的图像分割要求分割图像,进而提高了图像分割的准确性。
在上述方法中,所述步骤B包括以下子步骤:
B1、根据用户勾画的前景或背景估计出前景或背景模型参数,具体包括:
首先,使用高斯混合模型构造出如下前景或背景模型,
其中,μk,Sk分别为第k类像素的类均值和类方差;
其次,利用构造出的前景或背景模型估计前景或背景模型的参数,具体如下:
根据用户勾画出的前景或背景内的像素,使用K-means分类方法将样本分为M’类,并使用每一类的样本均值和样本方差分别作为类均值μk和类方差Sk的估计,样本的像素值为x,该类样本的总数为N,则:
B2、利用上述前景或背景模型对用户勾画的前景或背景像素分类,并依所述前景或背景像素分类分割图像,之后输出临时分割结果:如果用户满意这一分割结果,则进入步骤C;否则,返回步骤A重新进行勾画。
在上述的方法,所述子步骤B2包括:
之后,根据如下能量最小化函数求出图像的最优分割结果;
其中,E1是能量项,定义为:
其中,xi为第i点的像素值,df(xi)=-ln(Pf(x)),db(x)=-ln(Pb(x)),E2为光滑项,定义如下:
E2(li,lj)=|li-lj|*(||xi-xj||2+ε)-1;
在此之后,使用Graphcut方法根据能量函数E2(li,lj)的定义公式建立图像graph数据结构,并进行求解,求解后输出标号结果L。
在上述方法中,所述子步骤B2包括:
首先,建立T级图像高斯金字塔G={g0...gT},g0为原图,gt为gt-1平滑并下采样图像,gt=D(S(gt-1)),D(g)为图像进行长和宽各1/2的下采样,S(g)为对图像进行高斯平滑;
对高斯金字塔的最底层即图像分辨率最低的gT进行分割,得到分割结果LT,用双线性插值发对LT进行上采样,放大到与gT-1一样尺寸;
对插值放大后前景与背景之间的交界处内的所有像素重新建立graph数据结构,并利用Graphcut方法求解得到LT-1,重复以上步骤,直到得到初级分割结果L0。
由上可以看出,本发明在分割图像时从像素最少、分辨率最低的最底层开始逐层分割,由此可降低因同时对图像所有像素而产生的巨大计算量,进而可提高图像分割速度。
在上述方法中,所述步骤B2还包括:
由用户在已勾画的区域范围内对不满意的部分重新进行勾画;
对前景或背景模型进行更新,具体如下:
在上述方法中,所述子步骤B1还包括:在用户没有勾画背景的情况下,在用户未勾画背景的部分进行均匀采样作为背景样本。
由上可以看出,在用户不满意当前分割结果时,其可在原勾画区域内进行修改,而无需重新勾画,节省了用户的时间和精力,提高了用户体验。
附图说明
图1为本发明交互式图像分割方法的流程图。
具体实施方式
下面结合附图,详细介绍本发明提供的一种交互式图像分割方法。
如图1所示,本发明方法包括以下步骤:
步骤100:由用户在图像待分割的目标区域上勾画出前景或背景。在这一过程中,用户可使用前景笔或背景笔实现上述勾画。
步骤200:根据用户的勾画分割出前景区域或背景区域,并将由此获得的分割结果作为临时分割结果输出给用户选择确认:如果用户选择重新勾画,则返回步骤100;否则,进入下一步。
本步骤包括以下子步骤:
步骤201:首先根据用户勾画的前景或背景估计出前景或背景模型参数。
在本步骤中,首先使用GMM(高斯混合模型)构造出前景/背景模型,具体可参见文献-BLAKE,A.,ROTHER,C.,BROWN,M.,PEREZ,P.,ANDTORR,P.2004.Interactive image segmentation using an adaptive gmmrf model.InProceedings of ECCV。
高斯模型就是用高斯概率密度函数(正态分布曲线)精确地量化事物,将一个事物分解为若干的基于高斯概率密度函数(正态分布曲线)形成的模型。高斯混合模型使用K个高斯模型来表征图像中各个像素点的特征,在新一帧图像获得后更新混合高斯模型,用当前图像中的每个像素点与高斯混合模型匹配,如果成功则判定该点为前景点,否则为背景点。因为GMM为公知技术,在此不再赘述。
以前景为例,假设前景可以分为M个颜色类,对于某一个颜色,可以定义其属于前景的概率为:
其中,μk,Sk分别为第k类像素的类均值和类方差。
之后,利用构造出的前景模型估计前景模型的参数。具体如下:
根据用户勾画出的前景的像素,使用K-means分类方法(可参考DUDA,R.O.,HART,P.E.,ANDSTORK,D.G.2000.Pattern Classification(2nd Edition).Wiley Press)将样本分为M类,并使用每一类的样本均值和样本方差分别作为类均值μk和类方差Sk的估计。样本的像素值为x,该类样本的总数为N,则:
对于背景模型的构建以及背景模型参数的估计可参照前景模型的构建和前景模型参数的估计,在此不再赘述。此外,在首次分割时如果用户没有勾画背景,则可以在用户未勾画背景的部分进行均匀采样作为背景样本,并根据该背景样本估计背景模型参数。
步骤202:利用上述前景、背景模型对用户勾画的前景、背景像素分类,并依此(前景、背景像素分类)分割图像,输出临时分割结果。如果用户满意这一分割结果,则进入步骤300;否则,返回步骤100重新进行勾画,或在已勾画的区域范围内对不满意的部分重新进行勾画,之后对前景/背景模型进行更新(将在下文中介绍)。
在本步骤中,根据构造出的前景/背景模型对图像像素进行分类,并将分类后的图像像素标记为li,即:前景像素标记为1,背景像素标记为0,除此之外为未标记(undefined)的像素。L={li}。为图像的分割标号。之后,根据能量最小化函数(公式4)求出图像的最优分割结果。
其中,E1是能量项,定义为:
其中,xi为第i点的像素值,df(xi)=-ln(Pf(x)),db(x)=-ln(Pb(x)),E2为光滑项,定义如下:
E2(li,lj)=|li-lj|*(||xi-xj||2+ε)-1 (公式6)
该光滑项表示相邻像素值差别较大时尽量采取不同标号,相邻像素值相近时尽量取相同标号。
在此之后,使用Graphcut方法(能量最小化方法,BOYKOV,Y.,ANDKOLMOGOROV,V.2001.An experimentalcomparison of min-cut/max-flow algorithms for energy minimization invision.In Energy Minimization Methods in CVPR)根据公式(6)建立图像graph数据结构,并进行求解,求解后输出标号结果L,由此完成图像分割。
此外,因为Graphcut方法基于图像的所有像素进行求解,因此需要消耗大量的时间。考虑到这个问题,本发明采用图像金字塔加速Graphcut方法的求解过程,以作为图像分割的优选方案(从像素最少、分辨率最低的最底层开始逐层分割)。该方案具体如下:
首先,建立T级图像高斯金字塔G={g0...gT},g0为原图,gt为gt-1平滑并下采样图像,gt=D(S(gt-1)),D(g)为图像进行长和宽各1/2(其他比例亦可)的下采样,S(g)为对图像进行高斯平滑。
对高斯金字塔的最底层也就是图像分辨率最低的gT进行分割,得到分割结果LT,用双线性插值发对LT进行上采样,放大到与gT-1一样尺寸,插值放大后前景与背景交界地方,将会形成标记值介于0与1之间(即介于前景和背景之间)的窄带,将这个窄带中的像素设为undefined,将窄带边界的背景像素设为background,将窄带边界的前景像素置为foreground。然后对窄带中的这些像素重新建立graph数据结构,并利用Graphcut方法求解得到LT-1。重复以上步骤,直到得到初级分割结果L0,完成分割。
步骤300:输出由用户确认的最终图像分割结果。
图像分割结果的输出采用本领域公知技术,在此不再赘述。
此外,对于子步骤201中还包括对于前景/背景模型参数的更新。具体为:在用户对分割结果不满意时,会在图像中增加新标记的像素(前景或背景像素)。对于新增加的像素,将其与类均值比较。之后根据比较结果,将其加入最接近某一类均值的第k类,具体表示如下:在完成新像素的分配后,对元素有变化的类重新计算其样本均值和方差。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种交互式图像分割方法,其特征在于,包括以下步骤:
A、由用户使用前景笔或背景笔在图像待分割的目标区域上勾画出前景或背景;
B、根据用户的勾画分割出前景区域或背景区域,并将由此获得的分割结果作为临时分割结果输出给用户选择确认:如果用户选择重新勾画,则返回步骤A;否则,进入下一步;
C、输出由用户确认的最终图像分割结果。
2.根据权利要求1所述的方法,其特征在于,所述步骤B包括以下子步骤:
B1、根据用户勾画的前景或背景估计出前景或背景模型参数,具体包括:
首先,使用高斯混合模型构造出如下前景或背景模型,
其中,μk,Sk分别为第k类像素的类均值和类方差;
其次,利用构造出的前景或背景模型估计前景或背景模型的参数,具体如下:
根据用户勾画出的前景或背景内的像素,使用K-means分类方法将样本分为M’类,并使用每一类的样本均值和样本方差分别作为类均值μk和类方差Sk的估计,样本的像素值为x,该类样本的总数为N,则:
B2、利用上述前景或背景模型对用户勾画的前景或背景像素分类,并依所述前景或背景像素分类分割图像,之后输出临时分割结果:如果用户满意这一分割结果,则进入步骤C;否则,返回步骤A重新进行勾画。
3.根据权利要求2所述的方法,其特征在于,所述子步骤B2包括:
之后,根据如下能量最小化函数求出图像的最优分割结果;
其中,E1是能量项,定义为:
其中,xi为第i点的像素值,df(xi)=-ln(Pf(x)),db(x)=-ln(Pb(x)),E2为光滑项,定义如下:
E2(li,lj)=|li-lj|*(||xi-xj||2+ε)-1;
在此之后,使用Graphcut方法根据能量函数E2(li,lj)的定义公式建立图像graph数据结构,并进行求解,求解后输出标号结果L。
4.根据权利要求3所述的方法,其特征在于,所述子步骤B2包括:
首先,建立T级图像高斯金字塔G={g0...gT},g0为原图,gt为gt-1平滑并下采样图像,gt=D(S(gt-1)),D(g)为图像进行长和宽各1/2的下采样,S(g)为对图像进行高斯平滑;
对高斯金字塔的最底层即图像分辨率最低的gT进行分割,得到分割结果LT,用双线性插值发对LT进行上采样,放大到与gT-1一样尺寸;
对插值放大后前景与背景之间的交界处内的所有像素重新建立graph数据结构,并利用Graphcut方法求解得到LT-1,重复以上步骤,直到得到初级分割结果L0。
6.根据权利要求2所述的方法,其特征在于,所述子步骤B1还包括:在用户没有勾画背景的情况下,在用户未勾画背景的部分进行均匀采样作为背景样本。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310548279.2A CN103578107B (zh) | 2013-11-07 | 2013-11-07 | 一种交互式图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310548279.2A CN103578107B (zh) | 2013-11-07 | 2013-11-07 | 一种交互式图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103578107A true CN103578107A (zh) | 2014-02-12 |
CN103578107B CN103578107B (zh) | 2016-09-14 |
Family
ID=50049830
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310548279.2A Active CN103578107B (zh) | 2013-11-07 | 2013-11-07 | 一种交互式图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103578107B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104820990A (zh) * | 2015-05-15 | 2015-08-05 | 北京理工大学 | 一种交互式图像抠图*** |
CN105321165A (zh) * | 2014-05-30 | 2016-02-10 | 富士施乐株式会社 | 图像处理装置、图像处理方法和图像处理*** |
CN105809666A (zh) * | 2014-12-30 | 2016-07-27 | 联芯科技有限公司 | 图像抠图方法及装置 |
CN106056606A (zh) * | 2016-05-30 | 2016-10-26 | 乐视控股(北京)有限公司 | 图像处理方法及装置 |
CN106251322A (zh) * | 2015-06-15 | 2016-12-21 | 富士施乐株式会社 | 图像处理设备、图像处理方法和图像处理*** |
CN106898006A (zh) * | 2017-01-04 | 2017-06-27 | 努比亚技术有限公司 | 一种实现交互式图像分割的预处理方法、装置及终端 |
CN113361530A (zh) * | 2020-03-06 | 2021-09-07 | 上海交通大学 | 使用交互手段的图像语义精准分割及优化方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007140638A1 (en) * | 2006-06-02 | 2007-12-13 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a 3d representation of a dynamically changing 3d scene |
CN102831609A (zh) * | 2012-08-10 | 2012-12-19 | 清华大学深圳研究生院 | 一种基于Graphcut的开关式抠图技术 |
CN103310452A (zh) * | 2013-06-17 | 2013-09-18 | 北京工业大学 | 一种权重自动选择的图像分割方法 |
-
2013
- 2013-11-07 CN CN201310548279.2A patent/CN103578107B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007140638A1 (en) * | 2006-06-02 | 2007-12-13 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a 3d representation of a dynamically changing 3d scene |
CN102831609A (zh) * | 2012-08-10 | 2012-12-19 | 清华大学深圳研究生院 | 一种基于Graphcut的开关式抠图技术 |
CN103310452A (zh) * | 2013-06-17 | 2013-09-18 | 北京工业大学 | 一种权重自动选择的图像分割方法 |
Non-Patent Citations (7)
Title |
---|
MARK A. RUZON ET AL.: "Alpha Estimation in Natural Images", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION 2000》 * |
QIANG LIU ET AL.: "Automatic body segmentation with graph cut and self-adaptive initialization level set (SAILS)", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》 * |
YUEZUN LI ET AL.: "A background correction method based on Lazy Snapping", 《SEVENTH INTERNATIONAL CONFERENCE ON IMAGE AND GRAPHICS》 * |
YURI BOYKOV ET AL.: "An Experimental Comparison of Min-Cut/Max-Flow Algorithms for Energy Minimization in Vision", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
周良芬 等: "基于GrabCut改进的图像分割算法", 《计算机应用》 * |
汪一休: "关于交互式图像分割算法的研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 * |
汪一休: "关于交互式图像分割算法的研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》, no. 7, 15 July 2010 (2010-07-15), pages 138 - 858 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105321165A (zh) * | 2014-05-30 | 2016-02-10 | 富士施乐株式会社 | 图像处理装置、图像处理方法和图像处理*** |
CN105321165B (zh) * | 2014-05-30 | 2018-08-24 | 富士施乐株式会社 | 图像处理装置、图像处理方法和图像处理*** |
CN105809666A (zh) * | 2014-12-30 | 2016-07-27 | 联芯科技有限公司 | 图像抠图方法及装置 |
CN104820990A (zh) * | 2015-05-15 | 2015-08-05 | 北京理工大学 | 一种交互式图像抠图*** |
CN106251322A (zh) * | 2015-06-15 | 2016-12-21 | 富士施乐株式会社 | 图像处理设备、图像处理方法和图像处理*** |
CN106251322B (zh) * | 2015-06-15 | 2019-04-26 | 富士施乐株式会社 | 图像处理设备、图像处理方法和图像处理*** |
CN106056606A (zh) * | 2016-05-30 | 2016-10-26 | 乐视控股(北京)有限公司 | 图像处理方法及装置 |
CN106898006A (zh) * | 2017-01-04 | 2017-06-27 | 努比亚技术有限公司 | 一种实现交互式图像分割的预处理方法、装置及终端 |
CN113361530A (zh) * | 2020-03-06 | 2021-09-07 | 上海交通大学 | 使用交互手段的图像语义精准分割及优化方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103578107B (zh) | 2016-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103578107A (zh) | 一种交互式图像分割方法 | |
CN110781775B (zh) | 一种多尺度特征支持的遥感影像水体信息精确分割方法 | |
CN102903110B (zh) | 对具有深度图像信息的图像的分割方法 | |
CN101901343B (zh) | 基于立体约束的遥感影像道路提取方法 | |
CN102651128B (zh) | 一种基于采样的图像集分割方法 | |
CN108876796A (zh) | 一种基于全卷积神经网络和条件随机场的道路分割***及方法 | |
CN106951830B (zh) | 一种基于先验条件约束的图像场景多对象标记方法 | |
CN102708370B (zh) | 一种多视角图像前景目标提取方法及装置 | |
CN105825502B (zh) | 一种基于显著性指导的词典学习的弱监督图像解析方法 | |
CN105389584A (zh) | 基于卷积神经网络与语义转移联合模型的街景语义标注方法 | |
CN102592268A (zh) | 一种分割前景图像的方法 | |
CN104134234A (zh) | 一种全自动的基于单幅图像的三维场景构建方法 | |
CN111160205B (zh) | 一种交通场景嵌入式多类目标端对端统一检测方法 | |
CN104166988B (zh) | 一种融入稀疏匹配信息的立体图像同步分割方法 | |
CN105184772A (zh) | 一种基于超像素的自适应彩色图像分割方法 | |
CN102074013B (zh) | 基于小波域多尺度Markov网模型的图像分割方法 | |
CN107506792B (zh) | 一种半监督的显著对象检测方法 | |
CN105787948A (zh) | 一种基于多变形分辨率的快速图像分割方法 | |
CN102903102A (zh) | 基于非局部的三马尔可夫随机场sar图像分割方法 | |
CN109544561A (zh) | 细胞标注方法、***和装置 | |
CN103198479A (zh) | 基于语义信息分类的sar图像分割方法 | |
CN103093470A (zh) | 一种具有尺度无关特性的快速多模态图像协同分割方法 | |
CN102982544A (zh) | 多前景目标图像交互式分割方法 | |
CN104318563A (zh) | 一种基于医学图像的器官骨架提取方法 | |
CN104050680B (zh) | 基于迭代自组织和多智能体遗传聚类算法的图像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder | ||
CP02 | Change in the address of a patent holder |
Address after: Room 101-105, floor 1, Chuangda building, No. 9, Qinghua East Road, Haidian District, Beijing 100083 (Dongsheng District) Patentee after: Thunder Software Technology Co., Ltd. Address before: 100191 Beijing Haidian District Lung Cheung Road No. 1 Tai Xiang 4 storey commercial building Patentee before: Thunder Software Technology Co., Ltd. |