CN103559719B - 一种交互式图像分割方法 - Google Patents
一种交互式图像分割方法 Download PDFInfo
- Publication number
- CN103559719B CN103559719B CN201310587120.1A CN201310587120A CN103559719B CN 103559719 B CN103559719 B CN 103559719B CN 201310587120 A CN201310587120 A CN 201310587120A CN 103559719 B CN103559719 B CN 103559719B
- Authority
- CN
- China
- Prior art keywords
- foreground target
- target image
- image
- algorithm
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种交互式图像分割方法,用于解决现有交互式图像分割方法运行效率低,用户工作量大的问题。本发明包括如下步骤:用户输入图像,并用矩形框框选包含前景目标图像的矩形区域;通过Canny边缘检测算法提取矩形区域的外边界;用前景目标图像区域外边界初始化三元图,通过GrabCut算法剔除矩形区域中的背景区域,从而分割出前景目标图像;输出前景目标图像。本发明既保留了GrabCut算法用户交互性少的优点,同时借助Canny算法,充分利用前景目标的边界信息,改进了GrabCut算法在前/背景颜色相似或前景目标存在阴影情况下的不足。除此之外,由于本发明方法降低了GrabCut算法的迭代次数,在运行效率上也得到了很大的提高。同时不需要用户描绘出前景目标图像的大概轮廓,减少了用户的工作量。
Description
技术领域
本发明涉及数字图像处理技术领域,具体涉及一种交互式图像分割方法。
背景技术
图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。现有的图像分割方法主要分以下几类:基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法。
目前,图像分割是图像处理、模式识别、计算机视觉领域中的关键问题。由于传统的机器自动分割和人工手动分割难以达到预期的目的,所以交互式图像分割成为当前的研究主流。图像分割发展至今,人们已经提出了许多的交互式图像分割方法,如MagicWand,IntelligentScissors,BayesMatte,Knockout等。自2001年Boykov等人将GrabCut理论用于图像分割以来,基于GrabCut理论的图像分割方法成为当今的研究热点,该理论的新颖之处在于它的全局最优性和结合多种知识的统一性。根据不同的应用,人们在此基础上提出许多改进方法,如interactivegraphcuts,activegraphcuts,GraphCutsBasedActiveContours(GCBAC),GrabCut,DynamicGraphCuts(动态图割方法)等分割方法。其中GrabCut方法采用高斯混合模型(GMM)表征颜色概率分布,单纯地根据区域信息进行图像分割,对于前景和背景颜色信息相差较大的图像是一种较好的图像分割方法,但是对于前/背景颜色信息相似或者前景目标存在阴影的图像,提取的前景目标不准确,需要后期大量的人工修正。但是,经过人工后期修正的前景目标图像往往不精确,给前景目标的进一步分析与处理带来了误差。针对该问题,王建青等人提出了边界与区域相结合的目标提取方法,该方法结合GCBAC与GrabCut算法,对传统的GrabCut算法进行了一定的改进,但同时,该方法由于前后两次运用GrabCut算法,加大了计算量,还有一个比较明显的不足是,该方法需要用户描绘出前景目标的轮廓,这也增加了用户的工作量。
发明内容
本发明为解决现有技术存在的缺陷,而提供一种交互式图像分割法,既保留了GrabCut算法用户交互性少的优点,同时借助Canny算法,充分利用前景目标的边界信息,改进了GrabCut算法在前/背景颜色相似或前景目标存在阴影情况下的不足。除此之外,由于本发明方法降低了GrabCut算法的迭代次数,在运行效率上也得到了很大的提高。同时不需要用户描绘出前景目标图像的大概轮廓,减少了用户的工作量。
为解决上述技术问题,本发明所采用的技术方案是:
一种交互式图像分割方法,其特征在于,包括以下步骤:
A用户输入图像,并用矩形框框选包含前景目标图像的矩形区域;
B通过Canny边缘检测算法提取前景目标的外边界;
C用前景目标区域外边界初始化三元图,通过GrabCut算法剔除矩形区域中的背景区域,从而分割出前景目标图像;
D输出前景目标图像。
进一步地,上述的步骤B具体包括以下步骤:
a将矩形区域转换为灰度图像,并用Canny算法获取前景目标图像的边界信息;
b填充前景目标图像的边界信息,然后通过形态学方法进行腐蚀、膨胀处理从而获得前景目标图像边界信息的灰度掩码图像;
c将获得的灰度掩码图像转换为彩色掩码图像并与原矩形区域做换位与运算,从而获得前景目标图像的外边界。
进一步地,上述的步骤C具体包括以下步骤:
a、将步骤B中获得的前景目标的外边界作为划分三元图的初始边界线,边界线以外的区域称为背景区域(为了便于描述,简称为Tb),边界线以内的区域称为未知区域(为了便于描述,简称为Tu),前景目标图像称为Tf,初始时TF设为空;
b将TB中的像素点标号值α设为0,Tu内的像素点的标号值α设为1,根据标号值分别为0和1的集合初始化高斯混合模型(GMM)获得矩形区域、前景目标和背景颜色信息;
c计算Tu中的前景目标图像的GMM标号,计算矩形区域内的背景图像的GMM标号;
d对Tu构造s—t网络,用最小割算法切割一次,更新集合Tb、Tu、Tf,得到GMM参数;
e、在确定的GMM参数下对框选的前景目标图像区域构造s—t网络,用最小割算法进行切割,更新集合背景区域、未知区域和前景目标图像,获取前景目标图像。
本发明的该方法融合了Canny边缘检测算法和GrabCut交互式图像分割算法,先利用Canny算法提取出原图像前景目标的外边界,并将其作为GrabCut算法的初始边界线,再利用GrabCut算法对提取得到的前景区域做剩余背景区域的剔除。它既保留了GrabCut算法用户交互性少的优点,同时借助Canny算法,充分利用前景目标的边界信息,改进了GrabCut算法在前/背景颜色相似或前景目标图像存在阴影情况下的不足。除此之外,由于本发明方法降低了GrabCut算法的迭代次数,在运行效率上也得到了很大的提高。
附图说明
图1是本发明的流程框图;
图2是本发明一实施例划分三元图的示意图。
具体实施方式
下面结合实施例对本发明作进一步的描述,所描述的实施例仅仅是本发明一部分实施例,并不是全部的实施例。基于本发明中的实施例,本领域的普通技术人员在没有做出创造性劳动前提下所获得的其他所用实施例,都属于本发明的保护范围。本发明的交互式图像分割方法,包括以下步骤:
A用户输入图像,并用矩形框框选包含前景目标图像的矩形区域;
B通过Canny边缘检测算法提取前景目标的外边界;
C用前景目标区域外边界初始化三元图,通过GrabCut算法剔除矩形区域中的背景区域,从而分割出前景目标图像;
D输出前景目标图像。
进一步地,上述的步骤B具体包括以下步骤:
a将矩形区域转换为灰度图像,并用Canny算法获取前景目标图像的边界信息。边界信息包含边界的像素点集合,具体是像素点的像素值和像素点的坐标。
b填充前景目标图像的边界信息,然后通过形态学方法进行腐蚀、膨胀处理从而获得前景目标图像边界信息的灰度掩码图像。
c将获得的灰度掩码图像转换为彩色掩码图像并与原矩形区域做换位与运算,从而获得前景目标图像的外边界。
进一步地,上述的步骤C具体包括以下步骤:
a、将步骤B中获得的前景目标的外边界作为划分三元图的初始边界线,边界线以外的区域称为背景区域(为了便于描述,简称为Tb),边界线以内的区域称为未知区域(为了便于描述,简称为Tu),前景目标图像称为Tf,初始时Tf设为空;Tf设为空的意思是集合不包含像素点(颜色信息)。
b将TB中的像素点标号值α设为0,TU内的像素点的标号值α设为1,根据标号值分别为0和1的集合初始化高斯混合模型(GMM)获得矩形区域、前景目标和背景颜色信息。
c计算Tu中的前景目标图像的GMM标号,计算矩形区域内的背景图像的GMM标号;
d对Tu构造s—t网络,用最小割算法切割一次,更新集合Tb、Tu、Tf,得到GMM参数;
e、在确定的GMM参数下对框选的前景目标图像区域构造s—t网络,用最小割算法进行切割,更新集合背景区域、未知区域和前景目标图像,获取前景目标图像。
下面对上述的内容进行进一步的补充说明,Canny边缘检测器是高斯函数的一阶导数,是对信噪比与定位之乘积的最优化逼近算子,Canny算法的实现步骤概括如下:
1)高斯滤波平滑图像,去除噪声;
2)用一阶偏导数的有限差分来计算梯度的幅值和方向;
3)对梯度幅值应用非极大值抑制;
4)用双阈值算法检测并且连接边缘。
膨胀和腐蚀是形态学图像处理的基本处理方法。腐蚀的作用是消除物体边界点,使目标缩小,可以消除小于结构元素的噪声点。腐蚀的具体操作是:用一个结构元素(一般是3×3的大小)扫描图像中的每一个像素,用结构元素中的每一个像素与其覆盖的像素做“与”操作,如果都为1,则该像素为1,否则为0。
膨胀的作用是将与物体接触的所有背景点合并到物体中,使目标增大,可添补目标中的空洞。膨胀的具体操作是:用一个结构元素(一般是3×3的大小)扫描图像中的每一个像素,用结构元素中的每一个像素与其覆盖的像素做“与”操作,如果都为0,则该像素为0,否则为1。
在GrabCut算法中,通常仅通过简单框定矩形框来初始化GMM,单纯依靠矩形框框定前景目标,并不一定能准确的分割出前景目标,我们先通过矩形框框定前景目标所在区域,并在矩形框内勾画部分前景和背景像素点颜色信息。通过初始的矩形框框定包含前景的区域,同时通过不同颜色的笔勾画前景目标包含的颜色信息,以及矩形框内可能的背景,前景和背景颜色信息提示的越全面,GMM模型就越准确,这直接影响分割的效果。
结合图2,初始化三元组,灰色矩形框外的白色圆点代表背景区域,灰色矩形框内的长条型点勾画的像素点也属于背景,用以上两种信息初始化Tb,灰色矩形框内的白色圆点代表矩形框内除去前景目标图像(本例子中的前景目标图像为一个人)和长条型点勾画的区域,代表未知区域,初始化Tu,前景目标图像初始化Tf。根据颜色对Tu中的像素点进行标号,将其分为前景和背景两类。Tb对应的像素点α=0,Tu和Tf对应的像素点α=1,根据α的值初始化前景和背景GMM。接下来按照GrabCut算法的迭代过程,执行GMM标号,更新GMM参数,s-t网络构造与切割,完成前/背景GMM模型的初始化,同时分割出第一帧中的前景目标。
s-t网络由一个源点s、一个汇点t和若干中间结点组成。每个中间结点都位于从源点s到汇点t的一条路径上,换句话说,对每个顶点v∈V,存在一条路径s→v→t。
GMM参数为:μ代表像素点的均值;∑代表一个3*3协方差矩阵;π代表单个高斯组件的权重,通常是相应类中像素点个数与总数的比。
引理2.1设f是源点为s,汇点为t的s-t网络G中的一个流。并且(S,T)是G的一个割。则通过割(S,T)的净流为f(S,T)=|f|。
以上引理说明流经任意割的净流都是相同的,且与流的值相等。
推论2.1对一个s-t网络G中任意流f来说,其值的上界为G的任意割的容量。
由以上推论可知,网络中的最大流必定不超过此网络最小割的容量。
定理2.1(最大流-最小割定理)如果f是s-t网络G=(V,E)中的一个流,则存在以下三个等价条件:
1)f是G的一个最大流;
2)残留网络Gf不包括增广路径;
3)存在G的某个割(S,T),有|f|=c(S,T)。
证明:1)=>2):为了引入矛盾,假设f是G的最大流,但Gf中包含一条增广路径p。由推论2.1,流的和f+fp为G的一个流,其值严格大于|f|。这与假设f是最大流相矛盾。
2)=>3):假设Gf中不包含增广路径,既Gf包含从s到v的路径。定义:
S={v∈V:Gf中从s到v存在一条通路}
并且T=V-S。划分(S,T)是一个割:s∈S,由于Gf中不存在从s到t的路径,所以对每对顶点u∈S,v∈T,有f(u,v)=c(u,v),否则(u,v)∈Ef,v就属于集合S。因此由引理2.1,|f|=f(S,T)=c(S,T)。
3)=>1):由推论2.1可知,对所有的割(S,T),有|f|≤c(S,T)。因此条件|f|=c(S,T)说明f是一个最大流。
由以上定理可知,s-t网络中的最大流值等于最小割的容量。在实际求解最小割问题时可以通过计算其最大流来加以解决。
在每次迭代之后,TB、TU、TF内的像素点都会有变化,更新的是TB、TU、TF中的像素点。
本发明的该方法融合了Canny边缘检测算法和GrabCut交互式图像分割算法,先利用Canny算法提取出原图像前景目标的外边界,并将其作为GrabCut算法的初始边界线,再利用GrabCut算法对提取得到的前景区域做剩余背景区域的剔除。它既保留了GrabCut算法用户交互性少的优点,同时借助Canny算法,充分利用前景目标的边界信息,改进了GrabCut算法在前/背景颜色相似或前景目标图像存在阴影情况下的不足。除此之外,由于本发明方法降低了GrabCut算法的迭代次数,在运行效率上也得到了很大的提高。
Claims (2)
1.一种交互式图像分割方法,其特征在于,包括以下步骤:
A用户输入图像,并用矩形框框选包含前景目标图像的矩形区域;
B通过Canny边缘检测算法提取前景目标的外边界;具体包括以下步骤:
a将矩形区域转换为灰度图像,并用Canny算法获取前景目标图像的边界信息;
b填充前景目标图像的边界信息,然后通过形态学方法进行腐蚀、膨胀处理从而获得前景目标图像边界信息的灰度掩码图像;
c将获得的灰度掩码图像转换为彩色掩码图像并与原矩形区域做换位与运算,从而获得前景目标图像的外边界;
C用前景目标区域外边界初始化三元图,通过GrabCut算法剔除矩形区域中的背景区域,从而分割出前景目标图像;
D输出前景目标图像。
2.根据权利要求1所述的交互式图像分割方法,其特征在于,上述的步骤C具体包括以下步骤:
a将步骤B中获得的前景目标的外边界作为划分三元图的初始边界线,边界线以外的区域称为背景区域Tb,边界线以内的区域称为未知区域Tu,前景目标图像称为Tf,初始时Tf设为空;
b将Tb中的像素点标号值α设为0,TU内的像素点的标号值α设为1,根据标号值分别为0和1的集合进行GMM初始化,获得矩形区域、前景区域和背景颜色信息;
c计算Tu中的前景目标图像的GMM标号,计算矩形区域内的背景图像的GMM标号;
d对Tu构造s—t网络,用最小割算法切割一次,更新集合Tb、Tu、Tf,得到GMM参数;
e在确定的GMM参数下对框选的前景目标图像区域构造s—t网络,用最小割算法进行切割,更新集合背景区域、未知区域和前景目标图像,获取前景目标图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310587120.1A CN103559719B (zh) | 2013-11-20 | 2013-11-20 | 一种交互式图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310587120.1A CN103559719B (zh) | 2013-11-20 | 2013-11-20 | 一种交互式图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103559719A CN103559719A (zh) | 2014-02-05 |
CN103559719B true CN103559719B (zh) | 2016-05-04 |
Family
ID=50013958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310587120.1A Active CN103559719B (zh) | 2013-11-20 | 2013-11-20 | 一种交互式图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103559719B (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10073543B2 (en) * | 2014-03-07 | 2018-09-11 | Htc Corporation | Image segmentation device and image segmentation method |
CN104463843B (zh) * | 2014-10-31 | 2017-05-17 | 南京邮电大学 | 安卓***的交互式图像分割方法 |
CN105005988B (zh) * | 2015-06-30 | 2018-03-06 | 陕西师范大学 | 一种基于交互式图像分割的立体匹配方法 |
CN105184787B (zh) * | 2015-08-31 | 2018-04-06 | 广州市幸福网络技术有限公司 | 一种自动对人像进行抠图的证照相机及方法 |
CN107730587B (zh) * | 2016-08-11 | 2021-08-13 | 浙江中环瑞蓝科技发展有限公司 | 一种基于图片快速三维化交互式建模方法 |
CN106325750A (zh) * | 2016-08-26 | 2017-01-11 | 曹蕊 | 一种应用于终端设备的文字识别方法及*** |
CN106846333B (zh) * | 2017-01-04 | 2020-05-01 | 努比亚技术有限公司 | 一种实现交互式图像分割的方法、装置及终端 |
CN106952276A (zh) * | 2017-03-20 | 2017-07-14 | 成都通甲优博科技有限责任公司 | 一种图像抠图方法及装置 |
TWI604332B (zh) * | 2017-03-24 | 2017-11-01 | 緯創資通股份有限公司 | 遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體 |
CN108961316B (zh) * | 2017-05-23 | 2022-05-31 | 华为技术有限公司 | 图像处理方法、装置及服务器 |
CN107730528A (zh) * | 2017-10-28 | 2018-02-23 | 天津大学 | 一种基于grabcut算法的交互式图像分割与融合方法 |
CN108447068B (zh) * | 2017-12-22 | 2020-09-01 | 杭州美间科技有限公司 | 三元图自动生成方法及利用该三元图的前景提取方法 |
CN108171716B (zh) * | 2017-12-25 | 2021-11-26 | 北京奇虎科技有限公司 | 基于自适应跟踪框分割的视频人物装扮方法及装置 |
CN108062761A (zh) * | 2017-12-25 | 2018-05-22 | 北京奇虎科技有限公司 | 基于自适应跟踪框的图像分割方法、装置及计算设备 |
CN108550105A (zh) * | 2018-03-30 | 2018-09-18 | 北京金山安全软件有限公司 | 图像处理方法、装置、电子设备及介质 |
WO2019232707A1 (zh) * | 2018-06-06 | 2019-12-12 | 上海交通大学 | 一种弱监督视频物体分割方法及装置 |
CN109087307A (zh) * | 2018-07-17 | 2018-12-25 | 武汉科技大学 | 一种基于Android的人物图像提取的方法 |
CN109920018A (zh) * | 2019-01-23 | 2019-06-21 | 平安科技(深圳)有限公司 | 基于神经网络的黑白照片色彩恢复方法、装置及存储介质 |
CN110211134B (zh) * | 2019-05-30 | 2021-11-05 | 上海商汤智能科技有限公司 | 一种图像分割方法及装置、电子设备和存储介质 |
CN111179232A (zh) * | 2019-12-20 | 2020-05-19 | 山东大学 | 基于图像处理的钢筋尺寸检测***及方法 |
CN116433701B (zh) * | 2023-06-15 | 2023-10-10 | 武汉中观自动化科技有限公司 | 一种工件孔洞轮廓的提取方法、装置、设备及存储介质 |
CN117132499B (zh) * | 2023-09-07 | 2024-05-14 | 石家庄开发区天远科技有限公司 | 用于图像识别的去背景方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750535A (zh) * | 2012-04-01 | 2012-10-24 | 北京京东世纪贸易有限公司 | 自动提取图像前景的方法和*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100079453A1 (en) * | 2008-09-30 | 2010-04-01 | Liang-Gee Chen | 3D Depth Generation by Vanishing Line Detection |
-
2013
- 2013-11-20 CN CN201310587120.1A patent/CN103559719B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750535A (zh) * | 2012-04-01 | 2012-10-24 | 北京京东世纪贸易有限公司 | 自动提取图像前景的方法和*** |
Non-Patent Citations (1)
Title |
---|
基于图层优化与融合的2D_3D视频转换方法;刘伟;《计算机辅助设计与图形学学报》;20121130;第24卷(第11期);1426-1439 * |
Also Published As
Publication number | Publication date |
---|---|
CN103559719A (zh) | 2014-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103559719B (zh) | 一种交互式图像分割方法 | |
CN104820990A (zh) | 一种交互式图像抠图*** | |
CN107730528A (zh) | 一种基于grabcut算法的交互式图像分割与融合方法 | |
CN103473739B (zh) | 一种基于支持向量机的白细胞图像精确分割方法与*** | |
CN108537239B (zh) | 一种图像显著性目标检测的方法 | |
CN110276264B (zh) | 一种基于前景分割图的人群密度估计方法 | |
CN111145209B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
CN108447068B (zh) | 三元图自动生成方法及利用该三元图的前景提取方法 | |
CN104021566A (zh) | 基于GrabCut算法的舌诊图像自动分割方法 | |
CN101777180A (zh) | 基于背景建模和能量最小化的复杂背景实时替换方法 | |
CN102332157B (zh) | 一种消除阴影的方法 | |
CN104463843B (zh) | 安卓***的交互式图像分割方法 | |
CN103942794A (zh) | 一种基于置信度的图像协同抠图方法 | |
CN109448015A (zh) | 基于显著图融合的图像协同分割方法 | |
Wang et al. | Simultaneous matting and compositing | |
CN104809709A (zh) | 基于域变换与带权四叉树分解的单幅图像自适应去雾方法 | |
CN109242876A (zh) | 一种基于马尔科夫随机场的图像分割算法 | |
CN102254325A (zh) | 一种运动模糊场景的分割及前景提取方法和*** | |
CN103049756A (zh) | 基于cema算法和纹理块匹配修复技术的自动提取与去除彩色图像内文字的方法 | |
Zhou et al. | An efficient two-stage region merging method for interactive image segmentation | |
CN107133964B (zh) | 一种基于Kinect的抠像方法 | |
CN102270343B (zh) | 一种基于Ising图模型的图像分割方法 | |
CN104268845A (zh) | 极值温差短波红外图像的自适应双局部增强方法 | |
Henry et al. | Automatic trimap generation and artifact reduction in alpha matte using unknown region detection | |
CN103473789A (zh) | 一种融合多线索的人体视频分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |