CN116912284A - 抠图方法、装置、电子设备和计算机可读存储介质 - Google Patents
抠图方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN116912284A CN116912284A CN202311190837.2A CN202311190837A CN116912284A CN 116912284 A CN116912284 A CN 116912284A CN 202311190837 A CN202311190837 A CN 202311190837A CN 116912284 A CN116912284 A CN 116912284A
- Authority
- CN
- China
- Prior art keywords
- pixel
- target
- unknown
- image
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000011156 evaluation Methods 0.000 claims abstract description 55
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 7
- 238000012706 support-vector machine Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 11
- 238000004891 communication Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供一种抠图方法、装置、电子设备和计算机可读存储介质,该方法的一具体实施方式包括:针对待处理图像中的每一个目标未知像素点,确定该目标未知像素点对应的多个精英像素对;精英像素对包括待处理图像中满足评价条件的前景像素颜色值、背景像素颜色值;基于多个精英像素对对应的颜色值,估计目标模型的未知参数,以构建目标模型;利用目标模型从待处理图像的所有像素对中确定出目标像素对;将目标像素对对应的颜色值代入透明度遮罩计算公式中,计算得到未知像素点对应的透明度遮罩值;根据目标未知像素点对应的透明度遮罩值,抠取待处理图像的前景对象。该方法可以在有限的计算资源下提供高质量的抠图效果。
Description
技术领域
本申请涉及图像处理领域,具体而言,涉及一种抠图方法、装置、电子设备和计算机可读存储介质。
背景技术
抠图,也即根据透明度遮罩值从图像中抠取前景对象。
在相关技术中存在基于像素对优化的图像抠图方法,该图像抠图方法可以细分为基于采样的方法以及基于进化优化的方法。
其中,基于采样的方法通过采样策略来获取像素对,从而估计出图像的透明度遮罩值,其可以包括局部采样方法或者全局采样方法。但是,该方法是采集高质量的像素对,其采样过程中会出现像素对丢失情况,一旦出现该情况,将会导致基于采样的图像抠图算法难以求解出高质量的图像抠图结果。
基于进化优化的方法使用进化算法优化像素对评价函数获取最佳的像素对,可以有效改善像素对丢失情况。但是其需要消耗巨大的计算资源,耗时较长。
因此,基于采样的方法在低计算资源下能提供图像抠图结果,但是由于存在像素对丢失问题,其难以提供高质量的抠图结果。基于进化优化的抠图方法在充足的计算资源条件下能够提供高质量的抠图结果,一旦计算资源降低,其也难以提供高质量的抠图结果。
继而,相关技术中的图像抠图方法不能兼顾计算资源和高质量的像素对。也即,其难以在有限的计算资源下提供高质量的抠图效果。
发明内容
本申请实施例的目的在于提供一种抠图方法、装置、电子设备和计算机可读存储介质,用以在有限的计算资源下提供高质量的抠图效果。
第一方面,本申请实施例提供了一种抠图方法,该方法包括:针对待处理图像中的每一个目标未知像素点,确定该目标未知像素点对应的多个精英像素对;所述精英像素对包括所述待处理图像中满足评价条件的前景像素颜色值、背景像素颜色值;基于所述多个精英像素对对应的颜色值,估计目标模型的未知参数,以构建所述目标模型;利用所述目标模型从所述待处理图像的所有像素对中确定出目标像素对;将所述目标像素对对应的颜色值代入透明度遮罩计算公式中,计算得到所述目标未知像素点对应的透明度遮罩值;根据所述目标未知像素点对应的透明度遮罩值,抠取所述待处理图像的前景对象。这样,仅使用精英像素对构建目标模型,缩短了耗时(也即降低了计算资源);通过目标模型处理所有像素对,避免了像素对丢失问题,使得通过目标像素对估计的透明度遮罩值逼近于真实的透明度遮罩值,从而可以提供高质量的抠图效果。因此,本实施例能够在有限的计算资源下提供高质量的抠图效果。
可选地,所述评价条件包括利用像素对评价函数计算得到的评价分数满足分数条件;以及所述针对待处理图像中的每一个目标未知像素点,确定该目标未知像素点对应的多个精英像素对,包括:针对每一个目标未知像素点,确定与该目标未知像素点对应的像素对集合;针对所述像素对集合中的每一个像素对,通过像素对评价函数计算该像素对的评价分数;将满足分数条件的评价分数对应的像素对确定为所述精英像素对。这样,可以通过像素对评价函数计算每个像素对的评价分数,继而可以筛选出满足评价条件的像素对,得到精英像素对。
可选地,在所述针对待处理图像中的每一个目标未知像素点,确定该目标未知像素点对应的多个精英像素对之前,所述方法还包括:针对每一个所述目标未知像素点,从所述待处理图像的三分图对应的前景区域提取其前景像素颜色值;以及从所述三分图对应的背景区域提取其背景像素颜色值。这样,避免了从未知区域提取到任一像素颜色值的情况,从而改善了目标模型的最优解出现越界的情况。
可选地,在所述基于所述多个精英像素对对应的颜色值,估计目标模型的未知参数,以构建所述目标模型之前,所述方法还包括:针对每一个待选模型,计算该待选模型的预测样本像素对与真实样本像素对之间的欧式距离;计算小于距离阈值的欧式距离所对应的预测样本像素对数量;计算所述预测样本像素对数量占预测样本像素对总数的比例;将最高比例所对应的待选模型确定为所述目标模型。这样,可以通过待选模型的预测准确性筛选出目标模型,这样筛选出的目标模型具有较高的计算准确性,在一定程度上提高了目标像素对的准确性。
可选地,所述目标模型包括以下任一模型:高斯过程代理模型、高斯混合模型、支持向量机模型、多项式模型。这样,可以根据实际需求选择其中任一模型作为目标模型,然后估计出选定模型对应的未知参数,以构建出该目标模型。
可选地,在所述针对待处理图像中的每一个目标未知像素点,确定该目标未知像素点对应的多个精英像素对之前,所述方法还包括:按照第一预设分组规则将所述待处理图像的未知像素点划分为多个像素组;所述第一预设分组规则用于将相邻的多个未知像素点划分为一个像素组;针对每一个所述像素组,从该像素组中任意挑选一个未知像素点,并将该未知像素点作为所述目标未知像素点。这样,由于相邻未知像素点的颜色值是相近的,因此从相邻的多个未知像素点中选择一个作为目标未知像素点即可,这样可以不用构建每一个未知像素点对应的目标模型,在一定程度上降低了计算资源。
可选地,所述根据所述目标未知像素点对应的透明度遮罩值,抠取所述待处理图像的前景对象,包括:按照第二预设分组规则将所述目标未知像素点划分为多个像素组;所述第二预设分组规则用于将相邻的多个目标未知像素点划分为一个像素组;针对每一个所述像素组,从该像素组中任意挑选一个目标未知像素点;根据挑选的目标未知像素点对应的透明度遮罩值,抠取所述待处理图像的前景对象。这样,由于相邻未知像素点的颜色值是相近的,因此从相邻的多个目标未知像素点中选择一个计算出透明度遮罩值即可,这样可以不用计算每一个目标未知像素点对应的透明度遮罩值,在一定程度上降低了计算资源。
第二方面,本申请实施例提供了一种抠图装置,该装置包括:精英像素对确定模块,用于针对待处理图像中的每一个目标未知像素点,确定该目标未知像素点对应的多个精英像素对;所述精英像素对包括所述待处理图像中满足评价条件的前景像素颜色值、背景像素颜色值;目标模型构建模块,用于基于所述多个精英像素对对应的颜色值,估计目标模型的未知参数,以构建所述目标模型;目标像素对确定模块,用于利用所述目标模型从所述待处理图像的所有像素对中确定出目标像素对;透明度遮罩值计算模块,用于将所述目标像素对对应的颜色值代入透明度遮罩计算公式中,计算得到所述目标未知像素点对应的透明度遮罩值;抠图模块,用于根据所述目标未知像素点对应的透明度遮罩值,抠取所述待处理图像的前景对象。这样,能够在有限的计算资源下提供高质量的抠图效果。
第三方面,本申请实施例提供一种电子设备,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如上述第一方面提供的所述方法中的步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种抠图方法的流程图;
图2为本申请实施例提供的一种三分图的示意图;
图3为本申请实施例提供的一种抠图装置的结构框图;
图4为本申请实施例提供的一种用于执行抠图方法的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
应当说明的是,在不冲突的情况下,本申请中的实施例或者实施例中的技术特征可以进行结合。
相关技术中,存在难以在有限的计算资源下提供高质量的抠图效果的问题;为了解决该问题,本申请提供一种抠图方法、装置、电子设备和计算机可读存储介质;进一步地,通过在已知的评价函数基础上,拟合模型去代替复杂的像素对优化函数;通过已知的评价函数获取像素的启发式信息,假设像素的启发式信息服从一定的分布,使用模型去无限逼近这一分布来解决像素对优化问题,从而改善难以在有限的计算资源下提供高质量的抠图效果的问题。
在一些应用场景中,上述抠图算法可以应用于服务器或者终端设备,此处不作限制。
以上相关技术中的方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案,都应该是发明人在本发明过程中对本发明做出的贡献。
请参考图1,其示出了本申请实施例提供的一种抠图方法的流程图。如图1所示,该抠图方法包括以下步骤101至步骤105。
步骤101,针对待处理图像中的每一个目标未知像素点,确定该目标未知像素点对应的多个精英像素对;所述精英像素对包括所述待处理图像中满足评价条件的前景像素颜色值、背景像素颜色值;
在一些应用场景中,服务器可以获取待处理图像,上述待处理图像可以包括自然图像(也即相机在自然界能够拍摄到的图像)、合成图像等。
上述前景像素颜色值,也即从待处理图像的前景区域提取的颜色值。
上述背景像素颜色值,也即从待处理图像的背景区域提取的颜色值。
待处理图像中可以包括多个未知像素点,这些未知像素点可以视为前景像素颜色值、背景像素颜色值均未知的像素点。
在一些应用场景中,服务器可以将每一个未知像素点均选为目标未知像素点,也可以将部分未知像素点选为目标未知像素点,此处不作限制。进一步的,上述目标未知像素点可以视为需要确定其前景像素颜色值、背景像素颜色值,以确定其透明度遮罩值的像素点。
在这些应用场景中,服务器可以确定每一个目标未知像素点对应的多个精英像素对。
在相关技术中存在通过控制前景像素颜色值、背景像素颜色值的线性插值比例实现抠图的方式,其计算公式如下:。其中,/>表示图像/>在/>处像素点对应的颜色值(已知),/>表示/>处像素点对应的前景像素颜色值,/>表示/>处像素点对应的背景像素颜色值。/>表示/>处像素点对应的透明度遮罩值,/>∈[0, 1]。其中,/>= 0表示像素点完全透明,/>= 1表示像素点完全不透明。继而,求解透明度遮罩值的计算公式可以为:。
在一些应用场景中,上述多个精英像素对可以被定义为使得估计的透明度遮罩值值和真实的透明度遮罩值/>的误差在尽可能小的范围内的所有像素对。其中,当任意两个前景像素颜色值、背景像素颜色值满足评价条件时,可以将这两个颜色值确定为精英像素对。
在一些应用场景中,若通过像素对评价函数确定精英像素对,则上述评价条件可以为评价值高于某个阈值。若通过深度学习方法(也即利用深度学习模型输出一个表示相似程度的分数;上述深度学习模型例如可以为孪生网络模型)确定精英像素对,则上述评价条件可以为该表示相似程度的分数高于某个阈值。
步骤102,基于所述多个精英像素对对应的颜色值,估计目标模型的未知参数,以构建所述目标模型;
服务器确定出多个精英像素对之后,可以通过预设函数估计出目标模型的未知参数。上述预设函数例如可以包括似然函数、最小二乘函数等。
在一些可选的实现方式中,所述目标模型包括以下任一模型:高斯过程代理模型、高斯混合模型、支持向量机模型、多项式模型。继而,服务器可以根据实际需求选择其中任一模型作为目标模型,然后估计出选定模型对应的未知参数,以构建出该目标模型。
步骤103,利用所述目标模型从所述待处理图像的所有像素对中确定出目标像素对;
上述待处理图像的所有像素对,也即从待处理图像中任意选择一个前景像素颜色值以及一个背景像素颜色值,然后分别组合得到的所有像素对。
上述目标像素对,也即筛选出的能够提供高质量抠图效果的像素对。
在一些应用场景中,可以利用上述目标模型通过内点算法或者贪心算法从所有像素对中确定出目标像素对。
步骤104,将所述目标像素对对应的颜色值代入透明度遮罩计算公式中,计算得到所述目标未知像素点对应的透明度遮罩值;
上述透明度遮罩计算公式也即前述的:;
服务器确定出目标像素对之后,即可将该目标像素对对应的前景像素颜色值、背景像素颜色值代入该计算公式中,得到透明度遮罩值。
步骤105,根据所述目标未知像素点对应的透明度遮罩值,抠取所述待处理图像的前景对象。
在一些应用场景中,服务器可以根据确定的所有目标未知像素点对应的透明度遮罩值抠取前景对象;也可以根据确定的部分目标未知像素点对应的透明度遮罩值抠取前景对象,此处不作限制。
应当说明的是,服务器计算得到透明度遮罩值之后,利用透明度遮罩值抠图的过程是本领域技术人员公知的,此处不赘述。
在本实施例中,通过先确定出每一个目标未知像素点对应的多个精英像素对,然后基于这些精英像素对构建出目标模型,继而能够利用该目标模型在待处理图像的所有像素对中确定出高质量的目标像素对。这样,仅使用精英像素对构建目标模型,缩短了耗时(也即降低了计算资源);通过目标模型处理所有像素对,避免了像素对丢失问题,使得通过目标像素对估计的透明度遮罩值逼近于真实的透明度遮罩值,从而可以提供高质量的抠图效果。因此,本实施例能够在有限的计算资源下提供高质量的抠图效果。
在一些可选的实现方式中,所述评价条件包括利用像素对评价函数计算得到的评价分数满足分数条件;以及上述步骤101中所述的针对待处理图像中的每一个目标未知像素点,确定该目标未知像素点对应的多个精英像素对,包括:
子步骤1011,针对每一个目标未知像素点,确定与该目标未知像素点对应的像素对集合;
在一些应用场景中,服务器可以确定每一个目标像素点所对应的所有像素对。也即,其可以将任意的前景像素颜色值以及背景像素颜色值组成一个像素对,得到上述像素对集合。
在另一些应用场景中,服务器也可以随机选择部分像素对作为上述像素对集合。也即,服务器可以先确定某个目标像素点对应的所有像素对,然后从所有像素对中随机选择多个像素对作为上述像素对集合。
子步骤1012,针对所述像素对集合中的每一个像素对,通过像素对评价函数计算该像素对的评价分数;
在一些应用场景中,服务器例如可以通过色差像素对评价函数、模糊评价函数或者距离评价函数等像素对评价函数计算出每个像素对的评价分数。
子步骤1013,将满足分数条件的评价分数对应的像素对确定为所述精英像素对。
在一些应用场景中,例如可以将评价分数在某个阈值之上确定为上述分数条件。在另一些应用场景中,例如可以将每一个像素对的评价分数降序排列,然后将评价分数位于前N位确定为上述分数条件。这里的N例如可以包括10、20等,此处不作限制。
在本实现方式中,可以通过像素对评价函数计算每个像素对的评价分数,继而可以筛选出满足评价条件的像素对,得到精英像素对。
在一些可选的实现方式中,在上述步骤101中所述的针对待处理图像中的每一个目标未知像素点,确定该目标未知像素点对应的多个精英像素对之前,所述方法还包括:针对每一个所述目标未知像素点,从所述待处理图像的三分图对应的前景区域提取其前景像素颜色值;以及从所述三分图对应的背景区域提取其背景像素颜色值。
在一些应用场景中,对于一幅自然图像,其像素点的颜色值由红绿蓝(也即RGB三原色)三种颜色组合而成,继而基于上述计算公式可以得到方程组:,可见,虽然像素点/>处的颜色值/>、/>、/>是已知的,但像素点/>处的透明度遮罩/>以及各个位置的前景像素颜色值/>、/>、/>以及背景像素颜色值/>、/>、/>均是未知的。这样,未知变量的个数大于方程的个数,造成了该方程组的求解困难问题。因此,可以引入待处理图像的三分图,以降低上述方程组的求解难度。
在这些应用场景中,上述三分图例如可以如图2所示。其中,U表征未知区域、F表征前景区域、B表征背景区域。从而,服务器可以从F中提取前景像素颜色值,从B中提取背景像素颜色值,组成精英像素对。
在本实现方式中,可以从三分图的前景区域提取前景像素颜色值,从其背景区域提取背景像素颜色值。继而,避免了从未知区域提取到任一像素颜色值的情况,从而改善了目标模型的最优解出现越界的情况。
在一些可选的实现方式中,在上述步骤102中所述的基于所述多个精英像素对对应的颜色值,估计目标模型的未知参数,以构建所述目标模型之前,所述方法还包括确定出目标模型的过程,该过程包括:
步骤1,针对每一个待选模型,计算该待选模型的预测样本像素对与真实样本像素对之间的欧式距离;
上述待选模型例如可以包括上述的高斯过程代理模型、高斯混合模型、支持向量机模型、多项式模型等;
在一些应用场景中,服务器可以利用每一个待选模型计算出对应的预测样本像素对。在这些应用场景中,例如可以将某个自然图像中所有样本像素对输入该待选模型中,然后利用待选模型输出高质量的像素对,该高质量的像素对也即上述预测样本像素对。
针对每一个预测样本像素对,服务器可以通过欧式距离计算公式计算该预测样本像素对与其对应的真实样本像素对之间的欧式距离。
步骤2,计算小于距离阈值的欧式距离所对应的预测样本像素对数量;
上述距离阈值可以视为实质上表征预测样本像素对接近于真实样本像素对的欧式距离阈值。
服务器可以筛选出小于距离阈值的一个或多个欧式距离,继而可以确定出这一个或者多个欧式距离所对应的预测样本像素对数量。
步骤3,计算所述预测样本像素对数量占预测样本像素对总数的比例;
步骤4,将最高比例所对应的待选模型确定为所述目标模型。
服务器计算出预测样本像素对数量占预测样本像素对总数的比例之后,可以比较多个比例的大小关系,继而确定出最高比例。此时,即可将最高比例对应的候选模型确定为目标模型。
在本实现方式中,可以通过待选模型的预测准确性筛选出目标模型,这样筛选出的目标模型具有较高的计算准确性,在一定程度上提高了目标像素对的准确性。
在一些应用场景中,当待选模型为高斯过程代理模型、高斯混合模型、支持向量机模型、多项式模型时,例如可以得到以下最高比例对应的数据。
在上表中,Model表示待选模型,GP表示高斯过程代理模型,GM表示高斯混合模型,SVM表示支持向量机模型,P表示多项式模型,GT表示自然图像。
从上表可知,服务器获取了27张待处理的自然图像,并一一利用每个待选模型计算了每一张自然图像所对应的上述最高比例。可见,利用高斯过程代理模型时,其计算出的平均比例明显大于其他模型,其多个比例大于0.5,可见有一半以上的预测样本像素对是高质量的,并且可以视为基于高斯过程代理模型的最优解逼近于像素对评价函数的最优解。此时,可以将高斯过程代理模型确定为目标模型。这样,利用高斯过程代理模型可以在一定程度上提高目标像素对的准确性。
在一些可选的实现方式中,在上述步骤101所述的针对待处理图像中的每一个目标未知像素点,确定该目标未知像素点对应的多个精英像素对之前,所述方法还包括:
步骤A,按照第一预设分组规则将所述待处理图像的未知像素点划分为多个像素组;所述第一预设分组规则用于将相邻的多个未知像素点划分为一个像素组;
在一些应用场景中,对于待处理图像中的所有未知像素点,可以基于第一预设分组规则将相邻的多个未知像素点划分为一个像素组,从而得到多个像素组。上述第一预设分组规则例如可以为按照矩阵、/>矩阵等划分未知像素点。
步骤B,针对每一个所述像素组,从该像素组中任意挑选一个未知像素点,并将该未知像素点作为所述目标未知像素点。
针对划分出的每一个像素组,服务器可以从中任意挑选一个未知像素点作为目标未知像素点。例如,可以将上述矩阵中位于第2行第2列的未知像素点作为目标未知像素点。
在本实现方式中,通过将待处理图像的所有未知像素点划分为多个像素组,以从中选择一个未知像素点作为目标未知像素点。这样,由于相邻未知像素点的颜色值是相近的,因此从相邻的多个未知像素点中选择一个作为目标未知像素点即可,这样可以不用构建每一个未知像素点对应的目标模型,在一定程度上降低了计算资源。
在一些可选的实现方式中,上述步骤105中所述的根据所述目标未知像素点对应的透明度遮罩值,抠取所述待处理图像的前景对象,包括:
步骤1051,按照第二预设分组规则将所述目标未知像素点划分为多个像素组;所述第二预设分组规则用于将相邻的多个目标未知像素点划分为一个像素组;
在一些应用场景中,对于待处理图像中的所有目标未知像素点,可以基于第二预设分组规则将相邻的多个目标未知像素点划分为一个像素组,从而得到多个像素组。上述第二预设分组规则例如可以为按照矩阵、/>矩阵等划分目标未知像素点。
步骤1052,针对每一个所述像素组,从该像素组中任意挑选一个目标未知像素点;
针对划分出的每一个像素组,服务器可以从中任意挑选一个目标未知像素点。例如,可以将上述矩阵中位于第2行第3列的目标未知像素点。
步骤1053,根据挑选的目标未知像素点对应的透明度遮罩值,抠取所述待处理图像的前景对象。
然后,服务器挑选出目标未知像素点之后,可以计算其对应的透明度遮罩值,继而可以根据该透明度遮罩值抠图。
在本实现方式中,通过将待处理图像的所有目标未知像素点划分为多个像素组,以从中选择一个目标未知像素点计算其对应的透明度遮罩值。这样,由于相邻未知像素点的颜色值是相近的,因此从相邻的多个目标未知像素点中选择一个计算出透明度遮罩值即可,这样可以不用计算每一个目标未知像素点对应的透明度遮罩值,在一定程度上降低了计算资源。
本领域技术人员可以理解,在具体实施例的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
请参考图3,其示出了本申请实施例提供的一种抠图装置的结构框图,该抠图装置可以是电子设备上的模块、程序段或代码。应理解,该装置与上述图1方法实施例对应,能够执行图1方法实施例涉及的各个步骤,该装置具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。
可选地,上述抠图装置包括精英像素对确定模块301、目标模型构建模块302、目标像素对确定模块303、透明度遮罩值计算模块304以及抠图模块305。其中,精英像素对确定模块301,用于针对待处理图像中的每一个目标未知像素点,确定该目标未知像素点对应的多个精英像素对;所述精英像素对包括所述待处理图像中满足评价条件的前景像素颜色值、背景像素颜色值;目标模型构建模块302,用于基于所述多个精英像素对对应的颜色值,估计目标模型的未知参数,以构建所述目标模型;目标像素对确定模块303,用于利用所述目标模型从所述待处理图像的所有像素对中确定出目标像素对;透明度遮罩值计算模块304,用于将所述目标像素对对应的颜色值代入透明度遮罩计算公式中,计算得到所述目标未知像素点对应的透明度遮罩值;抠图模块305,用于根据所述目标未知像素点对应的透明度遮罩值,抠取所述待处理图像的前景对象。
可选地,所述评价条件包括利用像素对评价函数计算得到的评价分数满足分数条件;以及精英像素对确定模块301进一步用于:针对每一个目标未知像素点,确定与该目标未知像素点对应的像素对集合;针对所述像素对集合中的每一个像素对,通过像素对评价函数计算该像素对的评价分数;将满足分数条件的评价分数对应的像素对确定为所述精英像素对。
可选地,所述装置还包括提取模块,上述提取模块用于:在所述针对待处理图像中的每一个目标未知像素点,确定该目标未知像素点对应的多个精英像素对之前,针对每一个所述目标未知像素点,从所述待处理图像的三分图对应的前景区域提取其前景像素颜色值;以及从所述三分图对应的背景区域提取其背景像素颜色值。
可选地,所述装置还包括目标模型确定模块,上述目标模型确定模块用于:在所述基于所述多个精英像素对对应的颜色值,估计目标模型的未知参数,以构建所述目标模型之前,针对每一个待选模型,计算该待选模型的预测样本像素对与真实样本像素对之间的欧式距离;计算小于距离阈值的欧式距离所对应的预测样本像素对数量;计算所述预测样本像素对数量占预测样本像素对总数的比例;将最高比例所对应的待选模型确定为所述目标模型。
可选地,所述目标模型包括以下任一模型:高斯过程代理模型、高斯混合模型、支持向量机模型、多项式模型。
可选地,所述装置还包括第一划分模块,上述第一划分模块用于:在所述针对待处理图像中的每一个目标未知像素点,确定该目标未知像素点对应的多个精英像素对之前,按照第一预设分组规则将所述待处理图像的未知像素点划分为多个像素组;所述第一预设分组规则用于将相邻的多个未知像素点划分为一个像素组;针对每一个所述像素组,从该像素组中任意挑选一个未知像素点,并将该未知像素点作为所述目标未知像素点。
可选地,所述抠图模块305进一步用于:按照第二预设分组规则将所述目标未知像素点划分为多个像素组;所述第二预设分组规则用于将相邻的多个目标未知像素点划分为一个像素组;针对每一个所述像素组,从该像素组中任意挑选一个目标未知像素点;根据挑选的目标未知像素点对应的透明度遮罩值,抠取所述待处理图像的前景对象。
需要说明的是,本领域技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再重复描述。
请参照图4,图4为本申请实施例提供的一种用于执行抠图方法的电子设备的结构示意图,所述电子设备可以包括:至少一个处理器401,例如CPU,至少一个通信接口402,至少一个存储器403和至少一个通信总线404。其中,通信总线404用于实现这些组件直接的连接通信。其中,本申请实施例中设备的通信接口402用于与其他节点设备进行信令或数据的通信。存储器403可以是高速RAM存储器,也可以是非易失性的存储器(non-volatilememory),例如至少一个磁盘存储器。存储器403可选的还可以是至少一个位于远离前述处理器的存储装置。存储器403中存储有计算机可读取指令,当所述计算机可读取指令由所述处理器401执行时,电子设备可以执行上述图1所示方法过程。
可以理解,图4所示的结构仅为示意,所述电子设备还可包括比图4中所示更多或者更少的组件,或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,可以执行如图1所示方法实施例中电子设备所执行的方法过程。
本申请实施例提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如,该方法可以包括:针对待处理图像中的每一个目标未知像素点,确定该目标未知像素点对应的多个精英像素对;所述精英像素对包括所述待处理图像中满足评价条件的前景像素颜色值、背景像素颜色值;基于所述多个精英像素对对应的颜色值,估计目标模型的未知参数,以构建所述目标模型;利用所述目标模型从所述待处理图像的所有像素对中确定出目标像素对;将所述目标像素对对应的颜色值代入透明度遮罩计算公式中,计算得到所述目标未知像素点对应的透明度遮罩值;根据所述目标未知像素点对应的透明度遮罩值,抠取所述待处理图像的前景对象。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种抠图方法,其特征在于,包括:
针对待处理图像中的每一个目标未知像素点,确定该目标未知像素点对应的多个精英像素对;所述精英像素对包括所述待处理图像中满足评价条件的前景像素颜色值、背景像素颜色值;
基于所述多个精英像素对对应的颜色值,估计目标模型的未知参数,以构建所述目标模型;
利用所述目标模型从所述待处理图像的所有像素对中确定出目标像素对;
将所述目标像素对对应的颜色值代入透明度遮罩计算公式中,计算得到所述目标未知像素点对应的透明度遮罩值;
根据所述目标未知像素点对应的透明度遮罩值,抠取所述待处理图像的前景对象。
2.根据权利要求1所述的方法,其特征在于,所述评价条件包括利用像素对评价函数计算得到的评价分数满足分数条件;以及
所述针对待处理图像中的每一个目标未知像素点,确定该目标未知像素点对应的多个精英像素对,包括:
针对每一个目标未知像素点,确定与该目标未知像素点对应的像素对集合;
针对所述像素对集合中的每一个像素对,通过像素对评价函数计算该像素对的评价分数;
将满足分数条件的评价分数对应的像素对确定为所述精英像素对。
3.根据权利要求1所述的方法,其特征在于,在所述针对待处理图像中的每一个目标未知像素点,确定该目标未知像素点对应的多个精英像素对之前,所述方法还包括:
针对每一个所述目标未知像素点,从所述待处理图像的三分图对应的前景区域提取其前景像素颜色值;以及从所述三分图对应的背景区域提取其背景像素颜色值。
4.根据权利要求1-3任一项所述的方法,其特征在于,在所述基于所述多个精英像素对对应的颜色值,估计目标模型的未知参数,以构建所述目标模型之前,所述方法还包括:
针对每一个待选模型,计算该待选模型的预测样本像素对与真实样本像素对之间的欧式距离;
计算小于距离阈值的欧式距离所对应的预测样本像素对数量;
计算所述预测样本像素对数量占预测样本像素对总数的比例;
将最高比例所对应的待选模型确定为所述目标模型。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述目标模型包括以下任一模型:高斯过程代理模型、高斯混合模型、支持向量机模型、多项式模型。
6.根据权利要求1所述的方法,其特征在于,在所述针对待处理图像中的每一个目标未知像素点,确定该目标未知像素点对应的多个精英像素对之前,所述方法还包括:
按照第一预设分组规则将所述待处理图像的未知像素点划分为多个像素组;所述第一预设分组规则用于将相邻的多个未知像素点划分为一个像素组;
针对每一个所述像素组,从该像素组中任意挑选一个未知像素点,并将该未知像素点作为所述目标未知像素点。
7.根据权利要求1所述的方法,其特征在于,所述根据所述目标未知像素点对应的透明度遮罩值,抠取所述待处理图像的前景对象,包括:
按照第二预设分组规则将所述目标未知像素点划分为多个像素组;所述第二预设分组规则用于将相邻的多个目标未知像素点划分为一个像素组;
针对每一个所述像素组,从该像素组中任意挑选一个目标未知像素点;
根据挑选的目标未知像素点对应的透明度遮罩值,抠取所述待处理图像的前景对象。
8.一种抠图装置,其特征在于,包括:
精英像素对确定模块,用于针对待处理图像中的每一个目标未知像素点,确定该目标未知像素点对应的多个精英像素对;所述精英像素对包括所述待处理图像中满足评价条件的前景像素颜色值、背景像素颜色值;
目标模型构建模块,用于基于所述多个精英像素对对应的颜色值,估计目标模型的未知参数,以构建所述目标模型;
目标像素对确定模块,用于利用所述目标模型从所述待处理图像的所有像素对中确定出目标像素对;
透明度遮罩值计算模块,用于将所述目标像素对对应的颜色值代入透明度遮罩计算公式中,计算得到所述目标未知像素点对应的透明度遮罩值;
抠图模块,用于根据所述目标未知像素点对应的透明度遮罩值,抠取所述待处理图像的前景对象。
9.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如权利要求1-7任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时运行如权利要求1-7任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311190837.2A CN116912284A (zh) | 2023-09-15 | 2023-09-15 | 抠图方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311190837.2A CN116912284A (zh) | 2023-09-15 | 2023-09-15 | 抠图方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116912284A true CN116912284A (zh) | 2023-10-20 |
Family
ID=88360763
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311190837.2A Pending CN116912284A (zh) | 2023-09-15 | 2023-09-15 | 抠图方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116912284A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140301639A1 (en) * | 2013-04-09 | 2014-10-09 | Thomson Licensing | Method and apparatus for determining an alpha value |
CN106952276A (zh) * | 2017-03-20 | 2017-07-14 | 成都通甲优博科技有限责任公司 | 一种图像抠图方法及装置 |
CN112926601A (zh) * | 2021-03-18 | 2021-06-08 | 佛山市太火红鸟科技有限公司 | 基于深度学习的图像识别方法、装置、设备及存储介质 |
WO2022109922A1 (zh) * | 2020-11-26 | 2022-06-02 | 广州视源电子科技股份有限公司 | 抠图实现方法、装置、设备及存储介质 |
CN114937050A (zh) * | 2022-06-28 | 2022-08-23 | 北京字跳网络技术有限公司 | 绿幕抠图方法、装置及电子设备 |
CN116342466A (zh) * | 2022-07-27 | 2023-06-27 | 贵州民族大学 | 一种图像抠图的方法及相关装置 |
CN116645567A (zh) * | 2023-05-19 | 2023-08-25 | 华中科技大学 | 基于像素单点结构和多元配对逻辑的无监督异常检测方法 |
-
2023
- 2023-09-15 CN CN202311190837.2A patent/CN116912284A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140301639A1 (en) * | 2013-04-09 | 2014-10-09 | Thomson Licensing | Method and apparatus for determining an alpha value |
CN106952276A (zh) * | 2017-03-20 | 2017-07-14 | 成都通甲优博科技有限责任公司 | 一种图像抠图方法及装置 |
WO2022109922A1 (zh) * | 2020-11-26 | 2022-06-02 | 广州视源电子科技股份有限公司 | 抠图实现方法、装置、设备及存储介质 |
CN112926601A (zh) * | 2021-03-18 | 2021-06-08 | 佛山市太火红鸟科技有限公司 | 基于深度学习的图像识别方法、装置、设备及存储介质 |
CN114937050A (zh) * | 2022-06-28 | 2022-08-23 | 北京字跳网络技术有限公司 | 绿幕抠图方法、装置及电子设备 |
CN116342466A (zh) * | 2022-07-27 | 2023-06-27 | 贵州民族大学 | 一种图像抠图的方法及相关装置 |
CN116645567A (zh) * | 2023-05-19 | 2023-08-25 | 华中科技大学 | 基于像素单点结构和多元配对逻辑的无监督异常检测方法 |
Non-Patent Citations (1)
Title |
---|
YIHUI LIANG 等: "Natural image matting based on surrogate model", 《APPLIED SOFT COMPUTING》, vol. 143, pages 1 - 9 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11120254B2 (en) | Methods and apparatuses for determining hand three-dimensional data | |
CN110097086B (zh) | 图像生成模型训练方法、图像生成方法、装置、设备及存储介质 | |
CN106952269B (zh) | 近邻可逆的视频前景物体序列检测分割方法及*** | |
CN108765423B (zh) | 一种卷积神经网络训练方法及装置 | |
JP6213745B2 (ja) | 画像処理方法及び装置 | |
CN107465911B (zh) | 一种深度信息提取方法及装置 | |
CN107506792B (zh) | 一种半监督的显著对象检测方法 | |
CN112183501A (zh) | 深度伪造图像检测方法及装置 | |
CN110992366B (zh) | 一种图像语义分割方法、装置及存储介质 | |
CN112989995B (zh) | 文本检测方法、装置及电子设备 | |
CN109377552B (zh) | 图像遮挡计算方法、装置、计算设备及存储介质 | |
CN111179276B (zh) | 一种图像处理方法和装置 | |
CN111414938B (zh) | 一种板式换热器内气泡的目标检测方法 | |
CN111260655A (zh) | 基于深度神经网络模型的图像生成方法与装置 | |
CN112802081A (zh) | 一种深度检测方法、装置、电子设备及存储介质 | |
CN115760870A (zh) | 一种图像重点区域的分割方法、装置、设备及存储介质 | |
CN104268845A (zh) | 极值温差短波红外图像的自适应双局部增强方法 | |
CN113610016A (zh) | 视频帧特征提取模型的训练方法、***、设备及存储介质 | |
CN117557784A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN116188917B (zh) | 缺陷数据生成模型训练方法、缺陷数据生成方法及装置 | |
CN111161289B (zh) | 图像中物体轮廓精度提升方法、装置 | |
CN109242750B (zh) | 图片签名方法、图片匹配方法、装置、设备及存储介质 | |
CN116912284A (zh) | 抠图方法、装置、电子设备和计算机可读存储介质 | |
CN115019057A (zh) | 图像特征提取模型确定方法及装置、图像识别方法及装置 | |
CN112419407B (zh) | 基于云团边缘识别的云团位移矢量计算方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |