CN110503704B - 三分图的构造方法、装置和电子设备 - Google Patents
三分图的构造方法、装置和电子设备 Download PDFInfo
- Publication number
- CN110503704B CN110503704B CN201910799574.2A CN201910799574A CN110503704B CN 110503704 B CN110503704 B CN 110503704B CN 201910799574 A CN201910799574 A CN 201910799574A CN 110503704 B CN110503704 B CN 110503704B
- Authority
- CN
- China
- Prior art keywords
- edge
- bipartite graph
- image
- region
- color image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000001914 filtration Methods 0.000 claims abstract description 284
- 238000012545 processing Methods 0.000 claims abstract description 168
- 238000009499 grossing Methods 0.000 claims description 250
- 230000001629 suppression Effects 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 18
- 238000003709 image segmentation Methods 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000002146 bilateral effect Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 description 13
- 230000011218 segmentation Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000197727 Euscorpius alpha Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种三分图的构造方法、装置和电子设备,该方法包括:获取包含目标对象的彩色图像和彩色图像的二分图;基于彩色图像对二分图进行保边平滑滤波处理,得到二分图的平滑滤波图像;基于二分图的平滑滤波图像构造彩色图像的三分图。在本发明实施例中,二分图边缘区域的像素值会因为保边平滑滤波的双边特性发生改变,使得颜色和空间距离与前景区域相似的像素点的像素值更趋向前景区域,与背景区域相似的像素点的像素值更趋向背景区域,而与前景区域和背景区域都不太相似的像素点仍作为未知区域,该过程能够减少很多标记错误的像素点,这样得到的三分图中,大大缩减了未知区域的面积,且该过程不需人工参与,耗时短。
Description
技术领域
本发明涉及图像处理的技术领域,尤其是涉及一种三分图的构造方法、装置和电子设备。
背景技术
精细抠图(image matting)算法是一种广泛应用在计算摄影领域的算法,具体是一种从图像中将前景图像与背景图像精细分离的技术,得到的结果是一幅前景物体的前景蒙版(即alpha mask),该前景蒙版可用于背景替换、人像模式背景虚化等目前深受手机用户喜爱的图像处理应用中。
为了实现精细抠图,除了提供图像的原图之外,还需要提供一副图像的三分图(即trimap)作为辅助。在图像的三分图中,白色区域表示绝对前景区域,黑色区域表示绝对背景区域,灰色区域表示前景区域和背景区域的过渡区域,通常将其称之为未知区域,而精细抠图算法只针对上述未知区域进行处理。在传统精细抠图算法的设计中,图像的三分图可以是用户通过画刷工具沿图像分割边界进行手工标注得到的,这种方式得到的三分图较为准确,但耗时长;还可以是基于一些先验知识(例如:图像分割结果)通过腐蚀膨胀算法自动构造得到,这种构造方式简单快速,但准确性差,构造的三分图中未知区域很大,导致精细抠图算法后续处理的像素点增多,耗时增加,另外,未知区域覆盖过多的背景区域也会影响最终精细抠图的效果。
综上,现有的三分图构造方法存在耗时长且准确性差的技术问题。
发明内容
有鉴于此,本发明的目的在于提供一种三分图的构造方法、装置和电子设备,以缓解现有的三分图构造方法耗时长且准确性差的技术问题。
第一方面,本发明实施例提供了一种三分图的构造方法,包括:获取包含目标对象的彩色图像和所述彩色图像的二分图;所述二分图中包含:前景区域和背景区域,所述前景区域用于表示所述目标对象的图像区域;基于所述彩色图像对所述二分图进行保边平滑滤波处理,得到所述二分图的平滑滤波图像;基于所述二分图的平滑滤波图像构造所述彩色图像的三分图;所述三分图包括:优化的前景区域、优化的背景区域和未知区域。
进一步的,获取包含目标对象的彩色图像和所述彩色图像的二分图的步骤包括:获取包含目标对象的彩色图像;对所述彩色图像进行图像分割处理,得到所述彩色图像的二分图。
进一步的,基于所述彩色图像对所述二分图进行保边平滑滤波处理的步骤包括:获取用户根据图像处理需求选择的目标保边平滑滤波策略;所述目标保边平滑滤波策略包括第一保边平滑滤波策略、第二保边平滑滤波策略、第三保边平滑滤波策略和第四保边平滑滤波策略中的任一种,所述第一保边平滑滤波策略包括:第一保边平滑滤波算法的策略,所述第二保边平滑滤波策略包括:下采样算法和第一保边平滑滤波算法的策略,所述第三保边平滑滤波策略包括:下采样算法、第一保边平滑滤波算法和噪点抑制算法的策略,所述第四保边平滑滤波策略包括:下采样算法、第一保边平滑滤波算法和第二保边平滑滤波算法的策略;基于所述彩色图像和所述目标保边平滑滤波策略,对所述二分图进行保边平滑滤波处理。
进一步的,当所述目标保边平滑滤波策略为第一保边平滑滤波算法的策略时;基于所述彩色图像和所述目标保边平滑滤波策略,对所述二分图进行保边平滑滤波处理的步骤包括:将所述彩色图像和所述二分图输入至所述第一保边平滑滤波算法中进行保边平滑滤波处理,得到所述二分图的平滑滤波图像。
进一步的,当所述目标保边平滑滤波策略为下采样算法和第一保边平滑滤波算法的策略时;基于所述彩色图像和所述目标保边平滑滤波策略,对所述二分图进行保边平滑滤波处理的步骤包括:采用所述下采样算法分别对所述彩色图像和所述二分图下采样,得到第一尺寸的彩色图像和第一尺寸的二分图;将所述第一尺寸的彩色图像和所述第一尺寸的二分图输入至所述第一保边平滑滤波算法中进行保边平滑滤波处理,得到所述二分图的平滑滤波图像。
进一步的,当所述目标保边平滑滤波策略为下采样算法、第一保边平滑滤波算法和噪点抑制算法的策略时;基于所述彩色图像和所述目标保边平滑滤波策略,对所述二分图进行保边平滑滤波处理的步骤包括:采用所述下采样算法分别对所述彩色图像和所述二分图下采样,得到第一尺寸的彩色图像和第一尺寸的二分图;将所述第一尺寸的彩色图像和所述第一尺寸的二分图输入至所述第一保边平滑滤波算法中进行保边平滑滤波处理,得到所述二分图的初始平滑滤波图像;采用所述噪点抑制算法对所述初始平滑滤波图像进行噪点抑制处理,得到所述二分图的平滑滤波图像。
进一步的,当所述目标保边平滑滤波策略为下采样算法、第一保边平滑滤波算法和第二保边平滑滤波算法的策略时;基于所述彩色图像和所述目标保边平滑滤波策略,对所述二分图进行保边平滑滤波处理的步骤包括:采用所述下采样算法分别对所述彩色图像和所述二分图下采样,得到第一尺寸的彩色图像、第二尺寸的彩色图像和第一尺寸的二分图;将所述第一尺寸的彩色图像和所述第一尺寸的二分图输入至所述第一保边平滑滤波算法中进行保边平滑滤波处理,得到平滑滤波后的第一尺寸的二分图;对所述平滑滤波后的第一尺寸的二分图上采样,得到第二尺寸的二分图;将所述第二尺寸的彩色图像和所述第二尺寸的二分图输入至所述第二保边平滑滤波算法中进行保边平滑滤波处理,得到所述二分图的平滑滤波图像。
进一步的,在得到第二尺寸的二分图之后,在将所述第二尺寸的彩色图像和所述第二尺寸的二分图输入至所述第二保边平滑滤波算法中进行保边平滑滤波处理之前,所述方法还包括:采用噪点抑制算法对所述第二尺寸的二分图进行噪声抑制处理,得到噪声抑制后的第二尺寸的二分图,以将所述第二尺寸的彩色图像和所述噪声抑制后的第二尺寸的二分图输入至所述第二保边平滑滤波算法中进行保边平滑滤波处理。
进一步的,采用噪点抑制算法对所述第二尺寸的二分图进行噪声抑制处理的步骤包括:在所述第二尺寸的二分图中,将第一区域的像素点的像素值按照第一系数进行缩小处理,并将第二区域的像素点的像素值按照第二系数进行扩大处理;所述第一区域为像素点的像素值小于第一预设阈值的区域,所述第二区域为像素点的像素值大于第二预设阈值的区域,且所述第一预设阈值小于所述第二预设阈值,所述第一系数为所述第一区域中对应像素点的像素值与所述第一预设阈值之间的比例,所述第二系数为所述第二区域中对应像素点的像素值与所述第二预设阈值之间的比例。
进一步的,基于所述二分图的平滑滤波图像构造所述彩色图像的三分图的步骤包括:在所述平滑滤波图像中,将第三区域的像素点的像素值设置为第一值,第四区域的像素点的像素值设置为第二值,第五区域的像素点的像素值设置为第三值;所述第三区域为像素点的像素值大于第三预设阈值的区域,所述第四区域为像素点的像素值小于第四预设阈值的区域,所述第五区域为所述平滑滤波图像中,除去所述第三区域和所述第四区域后,剩余的区域,所述第三预设阈值大于所述第四预设阈值;将所述第三区域标记为所述优化的前景区域,将所述第四区域标记为所述优化的背景区域,并将所述第五区域标记为所述未知区域。
进一步的,所述方法还包括:对所述三分图进行精细抠图处理,得到所述目标对象的精细抠图结果。
进一步的,对所述三分图进行精细抠图处理的步骤包括:根据精细抠图处理尺寸分别对所述三分图、所述彩色图像上采样或下采样,得到精细抠图处理尺寸的三分图和精细抠图处理尺寸的彩色图像;将所述精细抠图处理尺寸的三分图和所述精细抠图处理尺寸的彩色图像输入至精细抠图模型中进行精细抠图处理,得到所述目标对象的精细抠图结果。
第二方面,本发明实施例还提供了一种三分图的构造装置,包括:获取单元,用于获取包含目标对象的彩色图像和所述彩色图像的二分图;所述二分图中包含:前景区域和背景区域,所述前景区域用于表示所述目标对象的图像区域;保边平滑滤波处理单元,用于基于所述彩色图像对所述二分图进行保边平滑滤波处理,得到所述二分图的平滑滤波图像;三分图构造单元,用于基于所述二分图的平滑滤波图像构造所述彩色图像的三分图;所述三分图包括:优化的前景区域、优化的背景区域和未知区域。
第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
第四方面,本发明实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质,所述程序代码使所述处理器执行上述第一方面任一项所述的方法的步骤。
在本发明实施例中,先获取包含目标对象的彩色图像和彩色图像的二分图;然后,基于彩色图像对二分图进行保边平滑滤波处理,得到二分图的平滑滤波图像;最后,基于二分图的平滑滤波图像构造彩色图像的三分图。通过上述描述可知,在本发明实施例中,通过彩色图像对二分图进行保边平滑滤波处理的过程中,二分图边缘区域的像素值会因为保边平滑滤波的双边特性发生改变,使得颜色和空间距离与前景区域相似的像素点的像素值更趋向前景区域,与背景区域相似的像素点的像素值更趋向背景区域,而与前景区域和背景区域都不太相似的像素点仍作为未知区域,该过程能够减少很多标记错误的像素点(例如:本来应该属于前景区域或背景区域的像素点,标记成了未知区域的像素点),这样基于平滑滤波图像构造的三分图中,大大缩减了未知区域的面积,实现了精确化未知区域的效果,且该过程不需人工参与,保边平滑滤波处理的过程耗时短,缓解了现有的三分图构造方法耗时长且准确性差的技术问题。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的电子设备的示意图;
图2为本发明实施例提供的三分图的构造方法的流程图;
图3为本发明实施例提供的对二分图保边平滑滤波处理的方法流程图;
图4为本发明实施例提供的基于彩色图像和第四保边平滑滤波策略,对二分图进行保边平滑滤波处理的方法流程图;
图5为本发明实施例提供的对三分图进行精细抠图处理的方法流程图;
图6a为本发明实施例提供的包含目标对象的彩色图像的示意图;
图6b为本发明实施例提供的彩色图像的三分图的示意图;
图6c为本发明实施例提供的目标对象的精细抠图结果的示意图;
图7为本发明实施例提供的三分图的构造装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
首先,参照图1来描述用于实现本发明实施例的电子设备100,该电子设备可以用于运行本发明各实施例的三分图的构造方法。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及摄像机110,这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以采用数字信号处理器(DSP,Digital Signal Processing)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)、可编程逻辑阵列(PLA,Programmable Logic Array)和ASIC(Application Specific Integrated Circuit)中的至少一种硬件形式来实现,所述处理器102可以是中央处理单元(CPU,Central ProcessingUnit)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储器104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述摄像机110用于进行彩色图像的采集,其中,摄像机所采集的彩色图像经过所述三分图的构造方法进行处理之后得到彩色图像的三分图,例如,摄像机可以拍摄用户期望的图像(例如照片、视频等),然后,将该图像经过所述三分图的构造方法进行处理之后得到彩色图像的三分图,摄像机还可以将所拍摄的图像存储在所述存储器104中以供其它组件使用。
示例性地,用于实现根据本发明实施例的三分图的构造方法的电子设备可以被实现为诸如智能手机、平板电脑等智能移动终端,还可以被实现为其它任何具备计算能力的设备。
实施例2:
根据本发明实施例,提供了一种三分图的构造方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本发明实施例的一种三分图的构造方法的流程图,如图2所示,该方法包括如下步骤:
步骤S202,获取包含目标对象的彩色图像和彩色图像的二分图。
其中,二分图中包含:前景区域和背景区域,前景区域用于表示目标对象的图像区域。
在本发明实施例中,上述目标对象可以是人,还可以是动物、车等其它前景物体,本实施例不做具体限定。
上述彩色图像的二分图是对彩色图像进行图像分割处理得到的,在上述二分图中,粗略的标记了前景区域和背景区域,前景区域像素点的像素值可以被设置为255,用于表示目标对象的图像区域,背景区域像素点的像素值可以被设置为0。实际上,在上述二分图中,像素点的像素值除了0和255以外,还包含0-255之间的像素值,只是0-255之间的像素值比较少。
步骤S204,基于彩色图像对二分图进行保边平滑滤波处理,得到二分图的平滑滤波图像。
上述保边平滑滤波处理的过程可以在保边平滑滤波器中执行,滤波的过程中能够有效的保留图像中的边缘信息,并且能够减少图像边缘区域很多标记出错的像素点(即,二分图边缘区域的像素值会因为保边平滑滤波的双边特性发生改变,使得颜色和空间距离与前景区域相似的像素点的像素值更趋向前景区域,与背景区域相似的像素点的像素值更趋向背景区域,而与前景区域和背景区域都不太相似的像素点仍作为未知区域)。上述保边平滑滤波器可以为双边滤波器(Bilateral filter),还可以为引导滤波器(Guided imagefilter)、加权最小二乘法滤波器(Weighted least square filter)等,本实施例不做具体限定。
步骤S206,基于二分图的平滑滤波图像构造彩色图像的三分图。
其中,三分图包括:优化的前景区域、优化的背景区域和未知区域。
实现时,可以按照平滑滤波图像中各个像素点的像素值重新对平滑滤波图像中的各个像素点进行区域标记,从而得到彩色图像的三分图。
在上述三分图中,优化的前景区域像素点的像素值可以被设置为255,优化的背景区域像素点的像素值可以被设置为0,未知区域像素点的像素值可以被设置为0-255之间的任一值(例如,128),用于与优化的前景区域和优化的背景区域进行区分。在后续精细抠图处理时,只对上述未知区域进行处理,经过步骤S204的保边平滑滤波处理后,平滑滤波图像中,与前景区域相似的像素点的像素值更趋向前景区域,与背景区域相似的像素点的像素值更趋向背景区域,这样,按照平滑滤波图像中各个像素点的像素值重新对平滑滤波图像中的各个像素点进行区域标记时,能够缩减未知区域的面积,使得精细抠图算法后续处理的像素点减少,进而减少了算法的耗时。
在本发明实施例中,先获取包含目标对象的彩色图像和彩色图像的二分图;然后,基于彩色图像对二分图进行保边平滑滤波处理,得到二分图的平滑滤波图像;最后,基于二分图的平滑滤波图像构造彩色图像的三分图。通过上述描述可知,在本发明实施例中,通过彩色图像对二分图进行保边平滑滤波处理的过程中,二分图边缘区域的像素值会因为保边平滑滤波的双边特性发生改变,使得颜色和空间距离与前景区域相似的像素点的像素值更趋向前景区域,与背景区域相似的像素点的像素值更趋向背景区域,而与前景区域和背景区域都不太相似的像素点仍作为未知区域,该过程能够减少很多标记错误的像素点(例如:本来应该属于前景区域或背景区域的像素点,标记成了未知区域的像素点),这样基于平滑滤波图像构造的三分图中,大大缩减了未知区域的面积,实现了精确化未知区域的效果,且该过程不需人工参与,保边平滑滤波处理的过程耗时短,缓解了现有的三分图构造方法耗时长且准确性差的技术问题。
在本实施例中,给出了上述步骤S202,获取包含目标对象的彩色图像和彩色图像的二分图的一种实现方式,包括如下(1)和(2)的步骤:
(1)获取包含目标对象的彩色图像。
实现时,上述彩色图像可以是相机、摄像头等拍摄设备对目标对象进行拍摄后,得到的图像,也可以是预先存储的包含有目标对象的图像,还可以是从目标位置下载得到的包含目标对象的图像,本实施例对上述获取方式不做具体限定。
(2)对彩色图像进行图像分割处理,得到彩色图像的二分图。
其中,图像分割通常用于定位图像中的物体和边界,是对图像中每个像素点添加标签的过程,这一过程能够使得具有相同标签的像素点具有共同的视觉特性。
在本实施例中,给出了上述图像分割处理的一种实现方式,包括:
基于目标对象对应的语义分割算法,对彩色图像进行图像分割处理,得到彩色图像的二分图。
例如:若目标对象是人,那么目标对象对应的语义分割算法可以为人像语义分割算法;若目标对象是动物,那么目标对象对应的语义分割算法可以为动物语义分割算法。上述两种语义分割算法本质上相同,只是训练时采用的训练样本不同,人像语义分割算法在训练时,采用的训练样本是包含人的图像,而动物语义分割算法在训练时,采用的训练样本是包含动物的图像。
另外,除上述内容中讲到的语义分割算法外,还可以采用其它图像分割算法对彩色图像进行图像分割处理,进而得到彩色图像的二分图。例如,其它图像分割算法还可以为:基于边缘检测的分割方法、基于阈值的分割方法、基于区域的分割方法等,本实施例对上述图像分割算法不做具体限定。
考虑到图像分割处理的过程中,对每个像素点标记的区域标签不够准确,得到的二分图的边缘区域会出现很多标记出错的像素点,基于此,参考图3所示的对二分图保边平滑滤波处理的方法流程图,该方法给出了上述步骤S206中的基于彩色图像对二分图进行保边平滑滤波处理的步骤的具体实现方式,该方法包括如下步骤:
步骤S301,获取用户根据图像处理需求选择的目标保边平滑滤波策略。
其中,目标保边平滑滤波策略包括第一保边平滑滤波策略、第二保边平滑滤波策略、第三保边平滑滤波策略和第四保边平滑滤波策略中的任一种,第一保边平滑滤波策略包括:第一保边平滑滤波算法的策略,第二保边平滑滤波策略包括:下采样算法和第一保边平滑滤波算法的策略,第三保边平滑滤波策略包括:下采样算法、第一保边平滑滤波算法和噪点抑制算法的策略,第四保边平滑滤波策略包括:下采样算法、第一保边平滑滤波算法和第二保边平滑滤波算法的策略。
实现时,用户可以根据其实际的图像处理需求选择对应的目标保边平滑滤波策略。为了便于理解,下面对本实施例中的四种保边平滑滤波策略的优缺点分别进行介绍:
第一保边平滑滤波策略可以为第一保边平滑滤波算法的策略,也就是通过第一保边平滑滤波算法直接对与彩色图像尺寸相同的二分图进行保边平滑滤波处理,因该二分图的尺寸较大,需要处理的像素点数较多,所以保边平滑滤波处理时,耗时相对较长;但由于二分图尺寸与彩色图像的尺寸相同,直接对与彩色图像尺寸相同的二分图进行保边平滑滤波处理后,得到的平滑滤波图像的边缘效果会更好。如果硬件设备的处理能力很强,且用户对边缘优化效果有比较高的要求,可以选择第一保边平滑滤波策略。
第二保边平滑滤波策略可以为下采样算法和第一保边平滑滤波算法的策略,也就是先采用下采样算法分别对彩色图像和二分图下采样,然后,再通过第一保边平滑滤波算法对下采样后的二分图进行保边平滑滤波处理,下采样后的二分图的尺寸减小,需要处理的像素点数减少,所以保边平滑滤波处理时,节省了耗时;但由于二分图尺寸的减小,也使得到的平滑滤波图像的边缘效果比对未减小尺寸的二分图进行平滑滤波处理后得到的平滑滤波图像的边缘效果差一些。如果硬件设备的处理能力一般,且用户对边缘优化效果的要求不高,可以选择第二保边平滑滤波策略。
第三保边平滑滤波策略可以为下采样算法、第一保边平滑滤波算法和噪点抑制算法的策略,也就是先采用下采样算法分别对彩色图像和二分图下采样,然后,再通过第一保边平滑滤波算法对下采样后的二分图进行保边平滑滤波处理,进而再对滤波处理后的图像进行噪点抑制。基于上述内容的描述可知,该种策略相较于第二保边平滑滤波策略,其边缘优化效果相对好一些,同时,也节省耗时。如果硬件设备的处理能力一般,且用户对边缘优化效果的要求较高,可以选择第三保边平滑滤波策略。
第四保边平滑滤波策略可以为下采样算法、第一保边平滑滤波算法和第二保边平滑滤波算法的策略,也就是先采用下采样算法分别对彩色图像和二分图下采样,然后,再通过第一保边平滑滤波算法对下采样后的二分图进行保边平滑滤波处理,进而,对该次保边平滑滤波处理后得到的图像进行上采样,最后,通过第二保边平滑滤波算法对上采样后的图像再进行保边平滑滤波处理。可见,该种策略在两种尺寸上对二分图进行了保边平滑滤波处理,第一次保边平滑滤波处理时,是对下采样后的二分图实现的,可以大幅度减少边缘区域标记出错的像素点,进而实现大幅缩小未知区域的目的,第二次保边平滑滤波处理是对第一次保边平滑滤波处理后的图像进行上采样后的图像实现的,又一次精确的减少了边缘区域标记出错的像素点,实现精确减小未知区域的目的,相较于前三种策略,该种策略的边缘优化效果最好,并且耗时也较少(因为是对下采样后的二分图进行的保边平滑滤波处理)。如果硬件设备的处理能力一般,且用户对边缘优化效果的要求很高,可以选择第四种保边平滑滤波策略。
需要说明的是:除了本实施例上述内容中介绍的四种保边平滑滤波策略之外,还可以为其它保边平滑滤波策略。例如,与第四保边平滑滤波策略相似的多尺度保边平滑滤波的策略,也就是,对二分图不止进行两次保边平滑滤波,还可以在更多尺寸上进行更多次的保边平滑滤波,但要根据实际情况权衡耗时和效果来确定。由本实施例所衍生的其它保边平滑滤波策略都在本申请的保护范围以内。
步骤S302,基于彩色图像和目标保边平滑滤波策略,对二分图进行保边平滑滤波处理。
下面对采用每种保边平滑滤波策略分别对二分图进行保边平滑滤波处理的过程进行具体介绍:
一、当目标保边平滑滤波策略为第一保边平滑滤波策略(即第一保边平滑滤波算法的策略)时,基于彩色图像和目标保边平滑滤波策略,对二分图进行保边平滑滤波处理的步骤包括:
将彩色图像和二分图输入至第一保边平滑滤波算法中进行保边平滑滤波处理,得到二分图的平滑滤波图像。
二、当目标保边平滑滤波策略为第二保边平滑滤波策略(即下采样算法和第一保边平滑滤波算法的策略)时,基于彩色图像和目标保边平滑滤波策略,对二分图进行保边平滑滤波处理的步骤包括:
(1)采用下采样算法分别对彩色图像和二分图下采样,得到第一尺寸的彩色图像和第一尺寸的二分图。
本实施例对上述第一尺寸不进行具体限定,上述第一尺寸可根据硬件设备的处理能力以及用户的耗时要求确定(若硬件设备的处理能力很强且用户对耗时没有要求,上述第一尺寸可以为比原始的彩色图像的尺寸小一点的尺寸;若硬件设备的处理能力不够且用户想要节省耗时,上述第一尺寸可以为更小的尺寸)。
另外,上述下采样算法可以是双线性、最近邻等下采样算法,本实施例对上述下采样算法不进行限定。
(2)将第一尺寸的彩色图像和第一尺寸的二分图输入至第一保边平滑滤波算法中进行保边平滑滤波处理,得到二分图的平滑滤波图像。
需要说明的是,进行上述保边平滑滤波处理后,得到的二分图的平滑滤波图像的尺寸也是第一尺寸。
三、当目标保边平滑滤波策略为第三保边平滑滤波策略(即下采样算法、第一保边平滑滤波算法和噪点抑制算法的策略)时,基于彩色图像和目标保边平滑滤波策略,对二分图进行保边平滑滤波处理的步骤包括:
(a)采用下采样算法分别对彩色图像和二分图下采样,得到第一尺寸的彩色图像和第一尺寸的二分图。
该过程可以参考上述第二保边平滑滤波策略中的(1)的描述,在此不再赘述。
(b)将第一尺寸的彩色图像和第一尺寸的二分图输入至第一保边平滑滤波算法中进行保边平滑滤波处理,得到二分图的初始平滑滤波图像。
上述保边平滑滤波处理后,得到的二分图的初始平滑滤波图像的尺寸也是第一尺寸。
(c)采用噪点抑制算法对初始平滑滤波图像进行噪点抑制处理,得到二分图的平滑滤波图像。
发明人考虑到在进行保边平滑滤波处理时,可能会引入噪声,基于此,在完成上述保边平滑滤波处理后,本实施例进一步采用噪点抑制算法对保边平滑滤波处理得到的初始平滑滤波图像进行噪点抑制处理,进而得到二分图的平滑滤波图像。
上述采用噪点抑制算法对初始平滑滤波图像进行噪点抑制处理的具体过程,可以参照下文中采用噪点抑制算法对第二尺寸的二分图进行噪声抑制处理的过程,在此不再赘述。
四、当目标保边平滑滤波策略为第四保边平滑滤波策略(即下采样算法、第一保边平滑滤波算法和第二保边平滑滤波算法的策略)时,参考图4,基于彩色图像和目标保边平滑滤波策略,对二分图进行保边平滑滤波处理的步骤包括:
步骤S401,采用下采样算法分别对彩色图像和二分图下采样,得到第一尺寸的彩色图像、第二尺寸的彩色图像和第一尺寸的二分图。
在本实施例中,上述第二尺寸的数值比第一尺寸的数值大,且上述第一尺寸和上述第二尺寸也可根据硬件设备的处理能力以及用户的耗时要求而确定。
步骤S402,将第一尺寸的彩色图像和第一尺寸的二分图输入至第一保边平滑滤波算法中进行保边平滑滤波处理,得到平滑滤波后的第一尺寸的二分图。
步骤S403,对平滑滤波后的第一尺寸的二分图上采样,得到第二尺寸的二分图。
在本实施例中,上采样时,可以采用双线性算法进行上采样,本实施例对上采样的具体算法不进行限定。
步骤S404,将第二尺寸的彩色图像和第二尺寸的二分图输入至第二保边平滑滤波算法中进行保边平滑滤波处理,得到二分图的平滑滤波图像。
在第四保边平滑滤波策略中,平滑滤波后的第一尺寸的二分图是对第一尺寸的二分图进行保边平滑滤波处理得到的,能够大幅减少边缘区域标记出错的像素点,实现大幅缩小未知区域的目的,而二分图的平滑滤波图像是对第二尺寸的二分图进行保边平滑滤波处理得到的,能够精确的减少边缘区域标记出错的像素点,实现精确减小未知区域的目的。另外,上述第一保边平滑滤波算法和上述第二保边平滑滤波算法可以为同一种保边平滑滤波器,但算法的参数需根据尺寸的变化而改变。
发明人考虑到第一次保边平滑滤波处理和上采样的过程,会引入噪声,基于此,在得到第二尺寸的二分图之后,在将第二尺寸的彩色图像和第二尺寸的二分图输入至第二保边平滑滤波算法中进行保边平滑滤波处理之前,该方法还包括如下步骤:
采用噪点抑制算法对第二尺寸的二分图进行噪声抑制处理,得到噪声抑制后的第二尺寸的二分图,以将第二尺寸的彩色图像和噪声抑制后的第二尺寸的二分图输入至第二保边平滑滤波算法中进行保边平滑滤波处理。
在完成上述噪声抑制处理后,再将噪声抑制后的第二尺寸的二分图和第二尺寸的彩色图像输入至第二保边平滑滤波算法中进行保边平滑滤波处理,最终得到的二分图的平滑滤波图像的效果更好。
本实施例给出了采用噪点抑制算法对第二尺寸的二分图进行噪声抑制处理的一种实现方式,包括:
在第二尺寸的二分图中,将第一区域的像素点的像素值按照第一系数进行缩小处理,并将第二区域的像素点的像素值按照第二系数进行扩大处理。
其中,第一区域为像素点的像素值小于第一预设阈值的区域,第二区域为像素点的像素值大于第二预设阈值的区域,且第一预设阈值小于第二预设阈值,第一系数为第一区域中对应像素点的像素值与第一预设阈值之间的比例,第二系数为第二区域中对应像素点的像素值与第二预设阈值之间的比例。
下面以通俗的语言对上述噪声抑制处理的过程进行描述:对于第二尺寸的二分图,将其中像素值小于T1(即第一预设阈值,如:255*0.4)的区域的像素点以自身像素值除以T1为系数(即第一系数)对此区域像素值进行缩小;同时,将像素值大于T2(即第二预设阈值,如:255*0.6)的区域的像素点以自身像素值除以T2为系数(即第二系数)对此区域像素值进行扩大。
需要说明的是,上述第一预设阈值和第二预设阈值可根据实际应用进行调参,本实施例对其不进行限定。
在进行上述噪声抑制处理后,可以使得第二尺寸的二分图中,像素值小于第一预设阈值的像素点的像素值更接近于0,像素值大于第二预设阈值的像素点的像素值更接近255,以此达到减少噪点的目的。
在完成上述保边平滑滤波处理,得到平滑滤波图像后,进一步基于二分图的平滑滤波图像构造彩色图像的三分图,可以包括如下步骤:
(i)在平滑滤波图像中,将第三区域的像素点的像素值设置为第一值,第四区域的像素点的像素值设置为第二值,第五区域的像素点的像素值设置为第三值。
其中,第三区域为像素点的像素值大于第三预设阈值的区域,第四区域为像素点的像素值小于第四预设阈值的区域,第五区域为平滑滤波图像中,除去第三区域和第四区域后,剩余的区域,第三预设阈值大于第四预设阈值。
(ii)将第三区域标记为优化的前景区域,将第四区域标记为优化的背景区域,并将第五区域标记为未知区域。
在进行彩色图像的三分图构造时,将平滑滤波图像中,像素值大于T3(即第三预设阈值,可以为255*0.8)的像素点的像素值设置为255(即第一值),并将这些像素点所围成的区域(即第三区域)标记为优化的前景区域;同时,将平滑滤波图像中,像素值小于T4(第四预设阈值,可以为255*0.2)的像素点的像素值设置为0(即第二值),并将这些像素点所围成的区域(即第四区域)标记为优化的背景区域;其它像素点所围成的区域(即第五区域)标记为未知区域,其中像素点的像素值可以设置为128(即第三值)。
本实施例对上述第三预设阈值、第四预设阈值、第一值、第二值和第三值不进行限定。
在得到彩色图像的三分图后,可以通过精细抠图算法对得到的三分图进行精细抠图处理,从而得到目标对象的精细抠图结果。在本实施例的一个可选实施方式中,参考图5,对三分图进行精细抠图处理的过程包括如下步骤:
步骤S501,根据精细抠图处理尺寸分别对三分图、彩色图像上采样或下采样,得到精细抠图处理尺寸的三分图和精细抠图处理尺寸的彩色图像。
实现时,若精细抠图处理尺寸比三分图的尺寸大,那么就对得到的三分图进行下采样,下采样到精细抠图处理尺寸;若精细抠图处理尺寸比三分图的尺寸小,那么就对得到的三分图进行上采样,上采样到精细抠图尺寸。同理,也需要对彩色图像按照精细抠图处理尺寸进行上采样或下采样。
在具体实现时,采集得到的彩色图像一般为高清图像,其对应的分辨率尺寸最大,精细抠图处理尺寸次之,第二尺寸再次之,第一尺寸最小。
步骤S502,将精细抠图处理尺寸的三分图和精细抠图处理尺寸的彩色图像输入至精细抠图模型中进行精细抠图处理,得到目标对象的精细抠图结果。
上述精细抠图模型(即精细抠图算法可以为closed-form solution basedmatting算法(即封闭式表面抠图算法)等),将精细抠图处理尺寸的三分图和精细抠图处理尺寸的彩色图像输入至精细抠图模型中后,精细抠图模型对上述三分图的未知区域的边缘进行精细抠图处理,从而得到目标对象的精细抠图结果。参考图6a至图6c,其中,图6a中示出了包含目标对象的彩色图像的示意图,图6b中示出了彩色图像的三分图的示意图,图6c中示出了目标对象的精细抠图结果的示意图。
在得到目标对象的精细抠图结果(即alpha mask)后,可将该精细抠图结果用在一些常用的图像处理功能中,如背景替换、景深效果渲染等图像处理功能中。
通过本实施例的三分图构造方法所构造的彩色图像的三分图中,未知区域很小,减少了精细抠图处理的像素点数,从而达到了减少算法耗时的目的。另外,精细抠图算法对未知区域进行精细化边缘修复时,若未知区域过大,那么在空间距离上可靠的已知区域信息相对较少,从而影响了最终精细抠图的效果,而本实施例得到的三分图中,未知区域很小,进而有助于提升精细抠图处理的效果。
实施例3:
本发明实施例还提供了一种三分图的构造装置,该三分图的构造装置主要用于执行本发明实施例上述内容所提供的三分图的构造方法,以下对本发明实施例提供的三分图的构造装置做具体介绍。
图7是根据本发明实施例的一种三分图的构造装置的示意图,如图7所示,该三分图的构造装置主要包括:获取单元10、保边平滑滤波处理单元20和三分图构造单元30,其中:
获取单元,用于获取包含目标对象的彩色图像和彩色图像的二分图;二分图中包含:前景区域和背景区域,前景区域用于表示目标对象的图像区域;
保边平滑滤波处理单元,用于基于彩色图像对二分图进行保边平滑滤波处理,得到二分图的平滑滤波图像;
三分图构造单元,用于基于二分图的平滑滤波图像构造彩色图像的三分图;三分图包括:优化的前景区域、优化的背景区域和未知区域。
在本发明实施例中,先获取包含目标对象的彩色图像和彩色图像的二分图;然后,基于彩色图像对二分图进行保边平滑滤波处理,得到二分图的平滑滤波图像;最后,基于二分图的平滑滤波图像构造彩色图像的三分图。通过上述描述可知,在本发明实施例中,通过彩色图像对二分图进行保边平滑滤波处理的过程中,二分图边缘区域的像素值会因为保边平滑滤波的双边特性发生改变,使得颜色和空间距离与前景区域相似的像素点的像素值更趋向前景区域,与背景区域相似的像素点的像素值更趋向背景区域,而与前景区域和背景区域都不太相似的像素点仍作为未知区域,该过程能够减少很多标记错误的像素点(例如:本来应该属于前景区域或背景区域的像素点,标记成了未知区域的像素点),这样基于平滑滤波图像构造的三分图中,大大缩减了未知区域的面积,实现了精确化未知区域的效果,且该过程不需人工参与,保边平滑滤波处理的过程耗时短,缓解了现有的三分图构造方法耗时长且准确性差的技术问题。
可选地,上述获取单元还用于:获取包含目标对象的彩色图像;对彩色图像进行图像分割处理,得到彩色图像的二分图。
可选地,上述保边平滑滤波处理单元还用于:获取用户根据图像处理需求选择的目标保边平滑滤波策略;目标保边平滑滤波策略包括第一保边平滑滤波策略、第二保边平滑滤波策略、第三保边平滑滤波策略和第四保边平滑滤波策略中的任一种,第一保边平滑滤波策略包括:第一保边平滑滤波算法的策略,第二保边平滑滤波策略包括:下采样算法和第一保边平滑滤波算法的策略,第三保边平滑滤波策略包括:下采样算法、第一保边平滑滤波算法和噪点抑制算法的策略,第四保边平滑滤波策略包括:下采样算法、第一保边平滑滤波算法和第二保边平滑滤波算法的策略;基于彩色图像和目标保边平滑滤波策略,对二分图进行保边平滑滤波处理。
可选地,当目标保边平滑滤波策略为第一保边平滑滤波算法的策略时;上述保边平滑滤波处理单元还用于:将彩色图像和二分图输入至第一保边平滑滤波算法中进行保边平滑滤波处理,得到二分图的平滑滤波图像。
可选地,当目标保边平滑滤波策略为下采样算法和第一保边平滑滤波算法的策略时;上述保边平滑滤波处理单元还用于:采用下采样算法分别对彩色图像和二分图下采样,得到第一尺寸的彩色图像和第一尺寸的二分图;将第一尺寸的彩色图像和第一尺寸的二分图输入至第一保边平滑滤波算法中进行保边平滑滤波处理,得到二分图的平滑滤波图像。
可选地,当目标保边平滑滤波策略为下采样算法、第一保边平滑滤波算法和噪点抑制算法的策略时;上述保边平滑滤波处理单元还用于:采用下采样算法分别对彩色图像和二分图下采样,得到第一尺寸的彩色图像和第一尺寸的二分图;将第一尺寸的彩色图像和第一尺寸的二分图输入至第一保边平滑滤波算法中进行保边平滑滤波处理,得到二分图的初始平滑滤波图像;采用噪点抑制算法对初始平滑滤波图像进行噪点抑制处理,得到二分图的平滑滤波图像。
可选地,当目标保边平滑滤波策略为下采样算法、第一保边平滑滤波算法和第二保边平滑滤波算法的策略时;上述保边平滑滤波处理单元还用于:采用下采样算法分别对彩色图像和二分图下采样,得到第一尺寸的彩色图像、第二尺寸的彩色图像和第一尺寸的二分图;将第一尺寸的彩色图像和第一尺寸的二分图输入至第一保边平滑滤波算法中进行保边平滑滤波处理,得到平滑滤波后的第一尺寸的二分图;对平滑滤波后的第一尺寸的二分图上采样,得到第二尺寸的二分图;将第二尺寸的彩色图像和第二尺寸的二分图输入至第二保边平滑滤波算法中进行保边平滑滤波处理,得到二分图的平滑滤波图像。
可选地,上述保边平滑滤波处理单元还用于:采用噪点抑制算法对第二尺寸的二分图进行噪声抑制处理,得到噪声抑制后的第二尺寸的二分图,以将第二尺寸的彩色图像和噪声抑制后的第二尺寸的二分图输入至第二保边平滑滤波算法中进行保边平滑滤波处理。
可选地,上述保边平滑滤波处理单元还用于:在第二尺寸的二分图中,将第一区域的像素点的像素值按照第一系数进行缩小处理,并将第二区域的像素点的像素值按照第二系数进行扩大处理;第一区域为像素点的像素值小于第一预设阈值的区域,第二区域为像素点的像素值大于第二预设阈值的区域,且第一预设阈值小于第二预设阈值,第一系数为第一区域中对应像素点的像素值与第一预设阈值之间的比例,第二系数为第二区域中对应像素点的像素值与第二预设阈值之间的比例。
可选地,上述三分图构造单元还用于:在平滑滤波图像中,将第三区域的像素点的像素值设置为第一值,第四区域的像素点的像素值设置为第二值,第五区域的像素点的像素值设置为第三值;第三区域为像素点的像素值大于第三预设阈值的区域,第四区域为像素点的像素值小于第四预设阈值的区域,第五区域为平滑滤波图像中,除去第三区域和第四区域后,剩余的区域,第三预设阈值大于第四预设阈值;将第三区域标记为优化的前景区域,将第四区域标记为优化的背景区域,并将第五区域标记为未知区域。
可选地,该装置还用于:对三分图进行精细抠图处理,得到目标对象的精细抠图结果。
可选地,该装置还用于:根据精细抠图处理尺寸分别对三分图、彩色图像上采样或下采样,得到精细抠图处理尺寸的三分图和精细抠图处理尺寸的彩色图像;将精细抠图处理尺寸的三分图和精细抠图处理尺寸的彩色图像输入至精细抠图模型中进行精细抠图处理,得到目标对象的精细抠图结果。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
在本发明的另一个实施中,还提供了一种计算机存储介质,其上存储有计算机程序,所述计算机运行所述计算机程序时执行上述方法实施例2中任一项所述的方法的步骤。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (14)
1.一种三分图的构造方法,其特征在于,包括:
获取包含目标对象的彩色图像和所述彩色图像的二分图;所述二分图中包含:前景区域和背景区域,所述前景区域用于表示所述目标对象的图像区域;
基于所述彩色图像对所述二分图进行保边平滑滤波处理,得到所述二分图的平滑滤波图像;
基于所述二分图的平滑滤波图像中各个像素点的像素值重新对所述平滑滤波图像中的各个像素点进行区域标记,得到所述彩色图像的三分图;所述三分图包括:优化的前景区域、优化的背景区域和未知区域;
其中,基于所述二分图的平滑滤波图像中各个像素点的像素值重新对所述平滑滤波图像中的各个像素点进行区域标记的步骤包括:
在所述平滑滤波图像中,将第三区域的像素点的像素值设置为第一值,第四区域的像素点的像素值设置为第二值,第五区域的像素点的像素值设置为第三值;所述第三区域为像素点的像素值大于第三预设阈值的区域,所述第四区域为像素点的像素值小于第四预设阈值的区域,所述第五区域为所述平滑滤波图像中,除去所述第三区域和所述第四区域后,剩余的区域,所述第三预设阈值大于所述第四预设阈值;
将所述第三区域标记为所述优化的前景区域,将所述第四区域标记为所述优化的背景区域,并将所述第五区域标记为所述未知区域。
2.根据权利要求1所述的方法,其特征在于,获取包含目标对象的彩色图像和所述彩色图像的二分图的步骤包括:
获取包含目标对象的彩色图像;
对所述彩色图像进行图像分割处理,得到所述彩色图像的二分图。
3.根据权利要求1所述的方法,其特征在于,基于所述彩色图像对所述二分图进行保边平滑滤波处理的步骤包括:
获取用户根据图像处理需求选择的目标保边平滑滤波策略;所述目标保边平滑滤波策略包括第一保边平滑滤波策略、第二保边平滑滤波策略、第三保边平滑滤波策略和第四保边平滑滤波策略中的任一种,所述第一保边平滑滤波策略包括:第一保边平滑滤波算法的策略,所述第二保边平滑滤波策略包括:下采样算法和第一保边平滑滤波算法的策略,所述第三保边平滑滤波策略包括:下采样算法、第一保边平滑滤波算法和噪点抑制算法的策略,所述第四保边平滑滤波策略包括:下采样算法、第一保边平滑滤波算法和第二保边平滑滤波算法的策略;
基于所述彩色图像和所述目标保边平滑滤波策略,对所述二分图进行保边平滑滤波处理。
4.根据权利要求3所述的方法,其特征在于,当所述目标保边平滑滤波策略为第一保边平滑滤波算法的策略时;
基于所述彩色图像和所述目标保边平滑滤波策略,对所述二分图进行保边平滑滤波处理的步骤包括:
将所述彩色图像和所述二分图输入至所述第一保边平滑滤波算法中进行保边平滑滤波处理,得到所述二分图的平滑滤波图像。
5.根据权利要求3所述的方法,其特征在于,当所述目标保边平滑滤波策略为下采样算法和第一保边平滑滤波算法的策略时;
基于所述彩色图像和所述目标保边平滑滤波策略,对所述二分图进行保边平滑滤波处理的步骤包括:
采用所述下采样算法分别对所述彩色图像和所述二分图下采样,得到第一尺寸的彩色图像和第一尺寸的二分图;
将所述第一尺寸的彩色图像和所述第一尺寸的二分图输入至所述第一保边平滑滤波算法中进行保边平滑滤波处理,得到所述二分图的平滑滤波图像。
6.根据权利要求3所述的方法,其特征在于,当所述目标保边平滑滤波策略为下采样算法、第一保边平滑滤波算法和噪点抑制算法的策略时;
基于所述彩色图像和所述目标保边平滑滤波策略,对所述二分图进行保边平滑滤波处理的步骤包括:
采用所述下采样算法分别对所述彩色图像和所述二分图下采样,得到第一尺寸的彩色图像和第一尺寸的二分图;
将所述第一尺寸的彩色图像和所述第一尺寸的二分图输入至所述第一保边平滑滤波算法中进行保边平滑滤波处理,得到所述二分图的初始平滑滤波图像;
采用所述噪点抑制算法对所述初始平滑滤波图像进行噪点抑制处理,得到所述二分图的平滑滤波图像。
7.根据权利要求3所述的方法,其特征在于,当所述目标保边平滑滤波策略为下采样算法、第一保边平滑滤波算法和第二保边平滑滤波算法的策略时;
基于所述彩色图像和所述目标保边平滑滤波策略,对所述二分图进行保边平滑滤波处理的步骤包括:
采用所述下采样算法分别对所述彩色图像和所述二分图下采样,得到第一尺寸的彩色图像、第二尺寸的彩色图像和第一尺寸的二分图;
将所述第一尺寸的彩色图像和所述第一尺寸的二分图输入至所述第一保边平滑滤波算法中进行保边平滑滤波处理,得到平滑滤波后的第一尺寸的二分图;
对所述平滑滤波后的第一尺寸的二分图上采样,得到第二尺寸的二分图;
将所述第二尺寸的彩色图像和所述第二尺寸的二分图输入至所述第二保边平滑滤波算法中进行保边平滑滤波处理,得到所述二分图的平滑滤波图像。
8.根据权利要求7所述的方法,其特征在于,在得到第二尺寸的二分图之后,在将所述第二尺寸的彩色图像和所述第二尺寸的二分图输入至所述第二保边平滑滤波算法中进行保边平滑滤波处理之前,所述方法还包括:
采用噪点抑制算法对所述第二尺寸的二分图进行噪声抑制处理,得到噪声抑制后的第二尺寸的二分图,以将所述第二尺寸的彩色图像和所述噪声抑制后的第二尺寸的二分图输入至所述第二保边平滑滤波算法中进行保边平滑滤波处理。
9.根据权利要求8所述的方法,其特征在于,采用噪点抑制算法对所述第二尺寸的二分图进行噪声抑制处理的步骤包括:
在所述第二尺寸的二分图中,将第一区域的像素点的像素值按照第一系数进行缩小处理,并将第二区域的像素点的像素值按照第二系数进行扩大处理;
所述第一区域为像素点的像素值小于第一预设阈值的区域,所述第二区域为像素点的像素值大于第二预设阈值的区域,且所述第一预设阈值小于所述第二预设阈值,所述第一系数为所述第一区域中对应像素点的像素值与所述第一预设阈值之间的比例,所述第二系数为所述第二区域中对应像素点的像素值与所述第二预设阈值之间的比例。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述三分图进行精细抠图处理,得到所述目标对象的精细抠图结果。
11.根据权利要求10所述的方法,其特征在于,对所述三分图进行精细抠图处理的步骤包括:
根据精细抠图处理尺寸分别对所述三分图、所述彩色图像上采样或下采样,得到精细抠图处理尺寸的三分图和精细抠图处理尺寸的彩色图像;
将所述精细抠图处理尺寸的三分图和所述精细抠图处理尺寸的彩色图像输入至精细抠图模型中进行精细抠图处理,得到所述目标对象的精细抠图结果。
12.一种三分图的构造装置,其特征在于,包括:
获取单元,用于获取包含目标对象的彩色图像和所述彩色图像的二分图;所述二分图中包含:前景区域和背景区域,所述前景区域用于表示所述目标对象的图像区域;
保边平滑滤波处理单元,用于基于所述彩色图像对所述二分图进行保边平滑滤波处理,得到所述二分图的平滑滤波图像;
三分图构造单元,用于基于所述二分图的平滑滤波图像中各个像素点的像素值重新对所述平滑滤波图像中的各个像素点进行区域标记,得到所述彩色图像的三分图;所述三分图包括:优化的前景区域、优化的背景区域和未知区域;
其中,所述三分图构造单元还用于:在所述平滑滤波图像中,将第三区域的像素点的像素值设置为第一值,第四区域的像素点的像素值设置为第二值,第五区域的像素点的像素值设置为第三值;所述第三区域为像素点的像素值大于第三预设阈值的区域,所述第四区域为像素点的像素值小于第四预设阈值的区域,所述第五区域为所述平滑滤波图像中,除去所述第三区域和所述第四区域后,剩余的区域,所述第三预设阈值大于所述第四预设阈值;将所述第三区域标记为所述优化的前景区域,将所述第四区域标记为所述优化的背景区域,并将所述第五区域标记为所述未知区域。
13.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至11中任一项所述的方法。
14.一种计算机存储介质,其特征在于,其上存储有计算机程序,所述计算机运行所述计算机程序时执行上述权利要求1至11中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910799574.2A CN110503704B (zh) | 2019-08-27 | 2019-08-27 | 三分图的构造方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910799574.2A CN110503704B (zh) | 2019-08-27 | 2019-08-27 | 三分图的构造方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110503704A CN110503704A (zh) | 2019-11-26 |
CN110503704B true CN110503704B (zh) | 2023-07-21 |
Family
ID=68589963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910799574.2A Active CN110503704B (zh) | 2019-08-27 | 2019-08-27 | 三分图的构造方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110503704B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111047604B (zh) * | 2019-11-29 | 2023-04-28 | 贵州民族大学 | 一种高清图像的透明度遮罩提取方法、装置及存储介质 |
CN113129207B (zh) * | 2019-12-30 | 2023-08-01 | 武汉Tcl集团工业研究院有限公司 | 一种图片的背景虚化方法及装置、计算机设备、存储介质 |
CN111462027B (zh) * | 2020-03-12 | 2023-04-18 | 中国地质大学(武汉) | 基于多尺度梯度和抠图的多聚焦图像融合方法 |
CN111489429B (zh) * | 2020-04-16 | 2024-06-07 | 诚迈科技(南京)股份有限公司 | 一种图像渲染控制方法、终端设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107452010A (zh) * | 2017-07-31 | 2017-12-08 | 中国科学院长春光学精密机械与物理研究所 | 一种自动抠图算法和装置 |
CN107516319A (zh) * | 2017-09-05 | 2017-12-26 | 中北大学 | 一种高精度简易交互式抠图方法、存储设备及终端 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5645842B2 (ja) * | 2008-12-11 | 2014-12-24 | アイマックス コーポレイション | スケールスペースを使用した画像処理装置及び方法 |
JP5012967B2 (ja) * | 2010-07-05 | 2012-08-29 | カシオ計算機株式会社 | 画像処理装置及び方法、並びにプログラム |
EP3046073A1 (en) * | 2015-01-14 | 2016-07-20 | Thomson Licensing | Method and apparatus for color correction in an alpha matting process |
CN106485720A (zh) * | 2016-11-03 | 2017-03-08 | 广州视源电子科技股份有限公司 | 图像处理方法和装置 |
CN108205804B (zh) * | 2016-12-16 | 2022-05-31 | 斑马智行网络(香港)有限公司 | 图像处理方法、装置及电子设备 |
CN106952270A (zh) * | 2017-03-01 | 2017-07-14 | 湖南大学 | 一种单一背景图像的快速抠图方法 |
CN107481261B (zh) * | 2017-07-31 | 2020-06-16 | 中国科学院长春光学精密机械与物理研究所 | 一种基于深度前景跟踪的彩***抠图方法 |
CN107730528A (zh) * | 2017-10-28 | 2018-02-23 | 天津大学 | 一种基于grabcut算法的交互式图像分割与融合方法 |
CN107993238A (zh) * | 2017-12-19 | 2018-05-04 | 中科视拓(北京)科技有限公司 | 一种基于注意力模型的头肩部分图像分割方法及装置 |
CN108320294B (zh) * | 2018-01-29 | 2021-11-05 | 袁非牛 | 一种二代身份证照片的人像背景智能全自动替换方法 |
CN108230341B (zh) * | 2018-03-07 | 2021-12-17 | 汕头大学 | 一种基于分层抠图算法的眼底图像血管分割方法 |
CN108876743B (zh) * | 2018-06-26 | 2020-12-29 | 中山大学 | 一种图像快速去雾方法、***、终端及存储介质 |
CN108961303B (zh) * | 2018-07-23 | 2021-05-07 | 北京旷视科技有限公司 | 一种图像处理方法、装置、电子设备和计算机可读介质 |
CN109377499B (zh) * | 2018-09-12 | 2022-04-15 | 中山大学 | 一种像素级物体分割方法及装置 |
CN109903321A (zh) * | 2018-10-16 | 2019-06-18 | 迈格威科技有限公司 | 图像处理方法、图像处理装置及存储介质 |
CN109584262A (zh) * | 2018-12-15 | 2019-04-05 | 中国科学院深圳先进技术研究院 | 基于遥感影像的云检测方法、装置及电子设备 |
-
2019
- 2019-08-27 CN CN201910799574.2A patent/CN110503704B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107452010A (zh) * | 2017-07-31 | 2017-12-08 | 中国科学院长春光学精密机械与物理研究所 | 一种自动抠图算法和装置 |
CN107516319A (zh) * | 2017-09-05 | 2017-12-26 | 中北大学 | 一种高精度简易交互式抠图方法、存储设备及终端 |
Also Published As
Publication number | Publication date |
---|---|
CN110503704A (zh) | 2019-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110503704B (zh) | 三分图的构造方法、装置和电子设备 | |
CN108961303B (zh) | 一种图像处理方法、装置、电子设备和计算机可读介质 | |
JP7446457B2 (ja) | 画像最適化方法及びその装置、コンピュータ記憶媒体、コンピュータプログラム並びに電子機器 | |
CN109325954B (zh) | 图像分割方法、装置及电子设备 | |
CN110766639B (zh) | 图像增强方法、装置、移动设备及计算机可读存储介质 | |
WO2018082185A1 (zh) | 图像处理方法和装置 | |
JP6136537B2 (ja) | 画像処理装置、画像処理方法、画像処理制御プログラム、および記録媒体 | |
CN113592776B (zh) | 图像处理方法及装置、电子设备、存储介质 | |
WO2015106700A1 (en) | Method and apparatus for implementing image denoising | |
JP2015225665A (ja) | 画像ノイズ除去方法及び画像ノイズ除去装置 | |
CN111325657A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
WO2022016326A1 (zh) | 图像处理方法、电子设备和计算机可读介质 | |
CN110415237B (zh) | 皮肤瑕疵检测方法、检测装置、终端设备及可读存储介质 | |
CN112150371B (zh) | 图像降噪方法、装置、设备及存储介质 | |
WO2017173578A1 (zh) | 一种图像增强方法及装置 | |
CN116580028B (zh) | 一种物体表面缺陷检测方法、装置、设备及存储介质 | |
CN111161299B (zh) | 影像分割方法、存储介质及电子装置 | |
WO2020038065A1 (zh) | 一种图像处理方法、终端及计算机存储介质 | |
CN109214996A (zh) | 一种图像处理方法及装置 | |
CN111161136B (zh) | 图像虚化方法、图像虚化装置、设备及存储装置 | |
CN111353955A (zh) | 一种图像处理方法、装置、设备和存储介质 | |
CN113744142A (zh) | 图像修复方法、电子设备及存储介质 | |
WO2022233252A1 (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN110517201B (zh) | 循环保边平滑滤波的方法、装置和电子设备 | |
CN113658197B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |