CN113469903A - 图像处理方法、装置、电子设备及可读存储介质 - Google Patents
图像处理方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113469903A CN113469903A CN202110653986.2A CN202110653986A CN113469903A CN 113469903 A CN113469903 A CN 113469903A CN 202110653986 A CN202110653986 A CN 202110653986A CN 113469903 A CN113469903 A CN 113469903A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- sub
- target
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 144
- 238000000034 method Methods 0.000 claims abstract description 47
- 230000009466 transformation Effects 0.000 claims description 27
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 20
- 210000000697 sensory organ Anatomy 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 7
- 238000007667 floating Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 7
- 238000013508 migration Methods 0.000 description 7
- 230000005012 migration Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000036548 skin texture Effects 0.000 description 5
- 230000003698 anagen phase Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 208000002874 Acne Vulgaris Diseases 0.000 description 3
- 206010000496 acne Diseases 0.000 description 3
- 229940021231 clearskin Drugs 0.000 description 3
- 230000037303 wrinkles Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005498 polishing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 208000003351 Melanosis Diseases 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、装置、电子设备及可读存储介质,属于图像处理领域。该方法包括:获取第一图像中的人脸区域的目标蒙版图像;基于目标蒙版图像的二值化人脸蒙版图像,获取参考人脸图像集合中与目标蒙版图像相匹配的参考人脸图像;针对参考人脸图像以及目标蒙版图像进行图像处理,获得N个参考人脸子图像和N个目标蒙版子图像;将参考人脸子图像的目标区域的图像与目标蒙版子图像的对应区域的图像进行融合,生成与第一图像对应的第二图像;其中,参考人脸图像集合包括多个经过肤质处理的人脸蒙版图像;目标区域的人脸肤质值大于目标蒙版图像中与目标区域对应区域的人脸肤质值。
Description
技术领域
本申请实施例涉及图像处理领域,尤其涉及一种图像处理方法、装置、电子设备及可读存储介质。
背景技术
随着电子设备技术的发展,用户使用电子设备进行拍摄的频率越来越高,用户对电子设备拍摄图像的质量的要求也越来越高。
在相关技术中,相机对人像拍照在不同光照成像条件下,受到噪声、运动模糊、高光、后期美颜去噪等多种退化问题影响,成像的人脸缺失良好的肤质和细节,同时脸部的瑕疵(如痘印)、皱纹和噪声过度不均,极大影响成像后的人脸肤感和美观度。
发明内容
本申请实施例的目的是提供一种图像处理方法、装置、电子设备及可读存储介质,能够解决人脸成像肤质较差的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供一种图像处理方法,该方法包括:获取第一图像中的人脸区域的目标蒙版图像;基于目标蒙版图像的二值化人脸蒙版图像,获取参考人脸图像集合中与目标蒙版图像相匹配的参考人脸图像;针对参考人脸图像以及目标蒙版图像进行图像处理,获得N个参考人脸子图像和N个目标蒙版子图像;将参考人脸子图像的目标区域的图像与目标蒙版子图像的对应区域的图像进行融合,生成与第一图像对应的第二图像;其中,参考人脸图像集合包括多个经过肤质处理的人脸蒙版图像;目标区域的人脸肤质值大于目标蒙版图像中与目标区域对应区域的人脸肤质值。
第二方面,本申请实施例还提供了一种图像处理装置,该装置包括:获取模块和图像处理模块;获取模块,用于获取第一图像中的人脸区域的目标蒙版图像;获取模块,还用于基于目标蒙版图像的二值化人脸蒙版图像,获取参考人脸图像集合中与目标蒙版图像相匹配的参考人脸图像;获取模块,还用于针对参考人脸图像以及目标蒙版图像进行图像处理,获得N个参考人脸子图像和N个目标蒙版子图像;图像处理模块,用于将获取模块获取的参考人脸子图像的目标区域的图像与获取模块获取的目标蒙版子图像的对应区域的图像进行融合,生成与第一图像对应的第二图像;其中,参考人脸图像集合包括多个经过肤质处理的人脸蒙版图像;目标区域的人脸肤质值高于目标蒙版图像中与目标区域对应区域的人脸肤质值。
第三方面,本申请实施例提供了一种电子设备,包括处理器、存储器及存储在该存储器上并可在该处理器上运行的程序或指令,该程序或指令被该处理器执行时实现如第一方面所述的图像处理方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
在本申请实施例中,在获取到包含人脸的第一图像之后,获取第一图像中的人脸区域的目标蒙版图像,并基于目标蒙版图像的二值化人脸蒙版图像,获取参考人脸图像集合中与目标蒙版图像相匹配的参考人脸图像。之后,针对参考人脸图像以及目标蒙版图像进行图像处理,获得N个参考人脸子图像和N个目标蒙版子图像,并将参考人脸子图像的目标区域的图像与目标蒙版子图像的对应区域的图像进行融合,去除脸部不佳纹理和过度,恢复细腻、清晰的皮肤质感,得到肤质更好的第二图像,极大提升了成像后人脸皮肤的质量。
附图说明
图1是本申请实施例提供的一种图像处理方法所应用的界面的示意图;
图2是本申请实施例提供的一种图像金字塔的结构示意图;
图3是本申请实施例提供的一种图像处理装置结构示意图;
图4是本申请实施例提供的一种电子设备的结构示意图之一;
图5是本申请实施例提供的一种电子设备的结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
本申请实施例提供的图像处理方法可以应用于对包含人脸的图像进行美化的场景中。
示例性的,针对对包含人脸的图像进行美化的场景,在相关技术中,电子设备在成像时,由于受到噪声、运动模糊、高光、后期美颜去噪等多种退化问题影响,成像的人脸缺失良好的肤质和细节,同时脸部的瑕疵、皱纹和噪声造成过度不均,极度影响成像的人脸肤感和美观度。
针对这一问题,在本申请实施例提供的技术方案中,通过基于多层图像金字塔融合的人脸肤质迁移方法,将拍摄好的图像中存在瑕疵的人脸皮肤与肤质较好的图像进行图像融合,可以有效去除人像脸部的不佳纹理和过渡,使得成像后的人脸皮肤细腻、清晰,极大的提升了成像后的人脸的肤质。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
如图1所示,本申请实施例提供的一种图像处理方法,该方法可以包括下述步骤201至步骤204:
步骤201、图像处理装置获取第一图像中的人脸区域的目标蒙版图像。
示例性地,上述第一图像可以是电子设备拍摄得到的图像,也可以是电子设备读取的电子设备中存储的图像。
示例性地,图像处理装置在获取到上述第一图像之后,在红绿蓝(red greenblue,RGB)颜色空间中获取该第一图像的人脸区域的图像。并在获取到的人脸区域内通过人脸解析算法,生成人脸区域的蒙版图像,即上述目标蒙版图像。
需要说明的是,上述目标蒙版图像可以理解为,在获取到第一图像中包含的人脸的轮廓之后,将该人脸轮廓范围之外的所有图像全部进行遮盖,例如,设置为同一种颜色,进而使图像处理装置只能识别出人脸区域的图像。
可以理解的是,仅获取第一图像的人脸区域的图像,是为了排除其他区域图像的干扰,方便对人脸区域的图像进行优化。
步骤202、图像处理装置基于上述目标蒙版图像的二值化人脸蒙版图像,获取参考人脸图像集合中与该目标蒙版图像相匹配的参考人脸图像。
示例性地,图像二值化(image binarization)就是将图像上的像素点的灰度值设置为0或255,也就是将整个图像呈现出明显的黑白效果的过程。上述二值化人脸蒙版图像可以理解为人脸图像的黑白图像。即若上述目标蒙版图像的五官区域全部设置为黑色,而所有的非五官区域全部设置为白色。
示例性地,上述二值化人脸图像为仅包括五官的图像,即该二值化人脸图像为包括人脸区域的眼睛、鼻子、眉毛、嘴巴等区域的图像。该二值化人脸蒙版图像主要用于与参考人脸图像合集中的人脸图像进行匹配。
示例性地,上述步骤202中使用的匹配算法为额日志华模板匹配算法。
步骤203、图像处理装置针对上述参考人脸图像以及上述目标蒙版图像进行图像处理,获得N个参考人脸子图像和N个目标蒙版子图像。
示例性地,上述针对上述参考人脸图像以及上述目标蒙版图像进行图像处理,可以包括对参考人脸图像进行格式化处理,之后,对经过格式化处理后的参考人脸图像进行退化处理及缩放操作,生成N个参考人脸子图像。其中,每两个相邻的参考人脸子图像之间的缩放比例相同,且分辨率较小的图像是分辨率较大的图像经过退化处理后得到的图像。
需要说明的是,目标蒙版图像经过处理后得到N个目标蒙版子图像的处理方式与上述针对参考人脸图像进行处理的方式相似,可以基于上述针对参考人脸图像进行处理的方式对目标蒙版图像进行处理,得到N个目标蒙版子图像。
示例性地,上述N个参考人脸子图像与上述N个目标蒙版子图像存在一一对应的关系。例如,以上述N为5为例,5个编号为0~4的参考人脸子图像,与5个编号为0~4的目标蒙版子图像之间,编号相同的图像存在对应关系。其中,随着编号的增加,图像的分辨率逐渐降低。
步骤204、图像处理装置将上述参考人脸子图像的目标区域的图像与目标蒙版子图像的对应区域的图像进行融合,生成与第一图像对应的第二图像。
其中,上述参考人脸图像合集包括多个经过肤质处理的人脸蒙版图像。上述目标区域的人脸肤质值高于目标蒙版图像中与目标区域对应区域的人脸肤质值。
示例性地,图像处理装置基于上述二值化人脸蒙版图像,从参考人脸图像合集中找到匹配的参考人脸图像。之后,可以将目标蒙版图像中肤质较差区域的图像与该参考人脸图像中对应区域的肤质较好的图像进行图像融合,进而得到肤质较好的第二图像。
在一种可能的实现方式中,图像处理装置可以根据参考人脸图像生成第一图像金字塔,以及根据目标蒙版图像生成第二图像金字塔,之后,基于该第一图像金字塔以及第二图像金字塔,对目标蒙版图像进行处理,将参考人脸图像的皮肤进行肤质迁移,得到第一图像肤质较好的人脸图像。
如此,在获取到包含人脸的第一图像之后,获取第一图像中的人脸区域的目标蒙版图像,并基于目标蒙版图像的二值化人脸蒙版图像,获取参考人脸图像集合中与目标蒙版图像相匹配的参考人脸图像。之后,针对参考人脸图像以及目标蒙版图像进行图像处理,获得N个参考人脸子图像和N个目标蒙版子图像,并将参考人脸子图像的目标区域的图像与目标蒙版子图像的对应区域的图像进行融合,去除脸部不佳纹理和过度,恢复细腻、清晰的皮肤质感,得到肤质更好的第二图像,极大提升了成像后人脸皮肤的质量。
可选地,在本申请实施例中,图像处理装置可以基于图像金字塔来实现将参考人脸图像中的肤质较好的图像迁移到第一图像的肤质较差的区域中。
示例性地,上述步骤202之前,本申请实施例提供的图像处理方法,还可以包括以下步骤201a1至步骤202a3:
步骤202a1、图像处理装置获取N个经过肤质处理的人脸图像,N为正整数。
示例性地,图像处理装置在获取与目标蒙版图像匹配的参考人脸图像之前,还需要创建参考人脸图像集合。可以获取N个经过影像级专业图像处理(包括肤色调整、祛斑祛痘、磨皮、增强等)的肤质较好的人脸图像,该集合中包括N个人脸图像。
步骤202a2、图像处理装置提取上述N个人脸图像中每个人脸图像的五官信息,并根据所述五官信息构建二值化蒙版。
其中,一个人脸图像对应一个二值化蒙版。
示例性地,上述五官信息包括人脸图像中人脸五官的各种信息,例如、五官所处的区域、具***置坐标等。
示例性地,图像处理装置在获取到上述N个人脸图像后,通过人脸解析模型,分解出每个人脸图像的人脸区域各个部件的逐像素分割蒙版图像,该蒙版图像中仅保留人脸的五官图像。之后,图像处理装置基于该蒙版图像,构建蒙版图像的二值化蒙版图像。每个人脸对象均包括对应的二值化蒙版图像。
步骤202a3、图像处理装置基于上述N个经过肤质处理的人脸图像,以及与每个人脸图像对应的二值化蒙版,生成所述参考人脸图像集合。
示例性地,上述参考人脸图像集合中包括N个经过肤质处理的人脸图像,以及与人脸图像对应的N个二值化蒙版图像。
示例性地,上述经过肤质处理的人脸图像主要用于与目标蒙版图像中肤质较差区域的图像进行图像融合。上述二值化蒙版图像主要用户调整上述参考人脸图像的五官的位置,使其更接近目标蒙版图像中人脸五官的位置,使得参考人脸图像的人物长相在经过调整后,能够尽可能的与目标蒙版图像中人脸的人物长相保持一致,方便后续肤质的迁移。
如此,图像处理装置可以基于经过肤质处理的参考人脸图像以及与其对应的二值化蒙版图像构建参考人脸图像集合,使得图像处理装置在获取到一张需要处理的图像后,能够基于该集合对图像进行处理。
可选地,在本申请实施例中,图像处理装置在得到上述参考人脸图像集合之后,就可以基于该集合对获取到的第一图像进行处理,具体处理过程需要利用图像金字塔来完成。
示例性地,上述步骤203,还可以包括以下步骤203a1和步骤203a2:
步骤203a1、图像处理装置基于上述参考人脸图像,构建第一图像金字塔。
步骤203a2、图像处理装置基于上述目标蒙版图像,构建第二图像金字塔。
其中,上述第一图像金子塔包括上述N个参考人脸子图像,上述第二图像金字塔包括上述N个目标蒙版子图像。
需要说明的是,图像金字塔是图像多尺度表达的一种,是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低,且来源于同一张原始图的图像集合。其通过梯次向下采样获得,直到达到某个终止条件才停止采样。我们将一层一层的图像比喻成金字塔,层级越高,则图像越小,分辨率越低。
示例性地,图像处理装置需要构建上述参考人脸图像集合中的每个人脸图像的图像金字塔。
示例性地,该第一图像金字塔可以为拉普拉斯金字塔。该第一图像金字塔的底层(第0层)可以为上述参考人脸图像,也可以为该参考人脸图像经过格式化处理后的图像。使得参考人脸图像集合中每个人脸图像构建的金字塔的第0层的图像尺寸均相同,且层与层之间的缩放比例也相同。
举例说明,如图2所示,为一种图像金字塔的结构示意图,该图像金字塔包括五层(L0至L4),每层均包含一个图像,层与层之间的图像按照预设缩放比例进行了缩放。
可选地,在本申请实施例中,图像处理装置可以通过基于参考人脸图像以及目标蒙版图像的特征点,对目标蒙版图像进行处理,进而得到第二图像。
示例性地,上述步骤204可以包括以下步骤204a1至步骤204a4:
步骤204a1、图像处理装置提取上述参考人脸图像的第一特征点和上述目标蒙版图像的第二特征点。
步骤204a2、图像处理装置基于上述第一特征点获取上述N个参考人脸子图像每张图像的二值化人脸蒙版图像,以及上述每张图像的二值化人脸蒙版图像所包含的M个三角块中每个三角块的顶点坐标。
步骤204a3、图像处理装置基于上述第二特征点获取上述N个目标蒙版子图像每张图像的二值化人脸蒙版图像所包含的K个三角块中每个三角块的顶点坐标。
步骤204a4、图像处理装置基于上述顶点坐标,将上述参考人脸子图像的目标区域的图像与上述目标蒙版子图像的对应区域的图像进行融合。
示例性地,示例性地,以上述N个参考人脸子图像为第一图像金字塔中的图像、上述N个目标蒙版子图像为上述第二图像金字塔中的图像为例,图像处理装置在成功构建上述第一图像金字塔和第二图像金字塔之后,可以对上述第一图像金字塔和第二图像金字塔进行三角化处理,
示例性地,上述步骤204a1至步骤204a4具体处理步骤可以包括以下步骤204b1至步骤204b3:
步骤204b1、图像处理装置提取上述参考人脸图像的第一特征点,并基于该第一特征点对所述参考人脸图像进行三角剖分,得到M个三角块。
其中,一个第一特征点对应一个三角块、且每个三角块的外接圆的范围内均不包括其他第一特征点,M为正整数。
示例性地,图像处理装置可以从上述参考人脸图像中提取到多个第一特征点,之后,图像处理装置基于每个特征点进行三角剖分(也可称为图像三角化),使得生成的每个三角块的外接圆的范围内均不包括其他任何第一特征点。
可以理解的是,若图像处理装置提取的某个特征点不能满足每个三角块的外接圆的范围内均不包括其他特征点,则该特征点不能作为第一特征点。
需要说明的是,图像三角化可以理解为将图像分成若干个三角形碎片,每块碎片都是三角形,图像上上任何两个三角形,要么不相交,要么恰好相交于一条公共边(不能同时交两条或两条以上的边)。
步骤204b2、图像处理装置获取该第一图像金字塔每层图像的二值化人脸蒙版图像。
步骤204b3、图像处理装置基于该第一图像金字塔每层图像对应的二值化人脸蒙版图像,以及第一目标层与第二目标层之间的缩放比例,确定每层图像的二值化人脸蒙版图像所包含的M个三角块中每个三角块的顶点坐标。
其中,第一目标层与第二目标层为上述第一图像金字塔的两个相邻层。
示例性地,图像处理装置在构建上述参考人脸图像的第一图像金字塔之后,还需要基于该第一图像金字塔每层所包含的图像生成每层图像对应的二值化人脸蒙版图像。
示例性地,图像处理装置在获取到参考人脸图像的M个三角块之后,可以基于该M个三角块中每个三角块的顶点坐标,确定第一图像金字塔每层图像的M个三角块中每个三角块的顶点坐标。
需要说明的是,由于第一图像金字塔中每层图像均为基于上述参考人脸图像得到的,因此,参考人脸图像的每个三角块均可以在每层图像中找到对应的三角块。并且,由于第一图像金字塔层与层之间存在图像缩放,因此,可以基于缩放比例重新计算每层图像的每个三角块的顶点坐标。
如此,图像处理装置在获取到第一图像金字塔每层图像的每个三角块的顶点坐标之后,可以基于每层图像的三角块对每层图像进行调整,使其包含的人物外观更加接近于目标蒙版图像所包含的人物外观。
示例性地,与上述构建参考人脸图像的第一图像金字塔的方法类似,图像处理装置可以依据此方法构建目标蒙版图像的第二图像金字塔。
示例性地,上述步骤204a1至步骤204a4,具体还可以包括以下步骤204c1至步骤204c4:
步骤204c1、图像处理装置基于上述目标蒙版图像构建第二图像金字塔。
示例性地,与上述第一图像金字塔类似,该第二图像金字塔的第0层为目标蒙版图像或者目标蒙版图像进过格式化处理后得到的图像构建的。
需要说明的是,第一图像金字塔的每层图像与第二图像金字塔的每层图像的尺寸均相同。且构建第一图像金字塔与构建第二图像金字塔的图像的尺寸也相同。
可以理解的是,本申请实施例中图像的尺寸可以使用分辨率来表示,也可以使用英寸来表示,本申请实施例对此不做限定。
步骤204c2、图像处理装置提取所述目标蒙版图像的第二特征点,并基于所述第二特征点对所述目标蒙版图像进行三角剖分,得到K个三角块。
其中,一个第二特征点对应一个三角块、且每个三角块的外接圆的范围内均不包括其他第二特征点,K为正整数。
步骤204c3、图像处理装置获取上述第二图像金字塔每层图像的二值化人脸蒙版图像。
步骤204c4、图像处理装置基于上述第二图像金字塔每层图像的二值化人脸蒙版图像,以及第三目标层与第四目标层之间的缩放比例,确定上述第二图像金字塔每层图像的二值化人脸蒙版图像所包含的K个三角块中每个三角块的顶点坐标。
其中,所述第三目标层与所述第四目标层为所述第二图像金字塔的相邻层。
需要说明的是,由于上述步骤204c1至步骤204c4与步骤204b1至步骤204b3相似,对比步骤204c1至步骤204c4的解释说明,可以参照上述步骤204b1至步骤204b3的解释说明。上述步骤204a1至步骤204a4中对N个参考人脸子图像及N个目标蒙版子图像的具体处理过程,可以参考对第一图像金字塔和第二图像金字塔的处理过程的描述,为了防止重复,在此不再赘述。
如此,图像处理装置在获取到参考人脸图像的图像金字塔以及目标蒙版图像的图像金字塔之后,可以基于图像金字塔将参考人脸图像中肤质较好区域的图像迁移到目标蒙版图像中肤质较差区域的图像。
进一步可选地,在本申请实施例中,图像处理装置可以基于上述N个参考人脸子图像以及N个目标蒙版子图像来改善第一图像中人脸区域的人脸肤质。
示例性地,上述步骤204a4可以包括以下步骤204d1至步骤204d3:
步骤204d1、图像处理装置基于K个三角块的顶点坐标,对M个三角块的顶点坐标进行仿射变换。
步骤204d2、图像处理装置将经过仿射变换后的N个参考人脸子图像中第一参考人脸子图像的第一目标区域图像,与上述N个目标蒙版子图像中第一目标蒙版子图像的第二目标区域图像进行图像融合,得到N个处理后的目标蒙版子图像.
步骤204d3、图像处理装置对上述N个经过处理后的目标蒙版子图像进行重建,生成上述第二图像.
其中,上述第一参考人脸子图像为:上述N个参考人脸子图像中的任一个;上述第一目标蒙版子图像为上述N个目标蒙版子图像中与上述第一参考人脸子图像对应的目标蒙版子图像;上述第一目标区域图像为上述第一参考人脸子图像的第一目标区域的图像、且上述第一目标区域与上述第一目标蒙版子图像的第二目标区域对应的图像区域。
示例性地,以上述N个参考人脸子图像为第一图像金字塔中的图像、上述N个目标蒙版子图像为第二图像金字塔中的图像为例,上述步骤204d1至步骤204d3可以包括以下步骤204e1至步骤204e3:
步骤204e1、图像处理装置基于上述第二图像金字塔的每层图像的K个三角块的顶点坐标,对上述第一图像金字塔的每层图像的M个三角块的顶点坐标进行仿射变换。
示例性地,为了使参考人脸图像中的人物的外形长相更加接近与第一图像中的人物外形长相,因此,图像处理装置需要对第二图像金字塔中每层图像进行处理。即对每层图像机械能仿射变换。
需要说明的是,仿射变换,又称仿射映射,是指在几何中,一个向量空间进行一次线性变换并接上一个平移,变换为另一个向量空间。仿射变换是在几何上定义为两个向量空间之间的一个仿射变换或者仿射映射由一个非奇异的线性变换(运用一次函数进行的变换)接上一个平移变换组成。
示例性地,在对第一图像金字塔的每层图像进行仿射变换之前,需要按照目标蒙版图像所包含的三角块的坐标,计算对应的参考人脸图像的每个三角块到目标蒙版图像的每个三角块的仿射变换矩阵。图像处理装置可以基于得到的变换矩阵对第一图像金字塔的每层图像进行仿射变换。
步骤204e2、图像处理装置将经过仿射变换后的第一图像金字塔的第五目标层的第一目标区域图像,与所述第二图像金字塔的第六目标层的第二目标区域图像进行图像融合,得到处理后的第二图像金字塔。
示例性地,由于第一图像金字塔的每一层均与第二图像金字塔的每一层向对应,例如,第一图像金字塔的第0层与第二图像金字塔的第0层对应,第一图像金字塔的第n层与第二图像金字塔的第n层对应。因此,图像处理装置可以将第一图像金字塔的第一目标区域的图像与第二图像金字塔的对应区域(即第二目标区域)的图像进行图像融合,得到经过处理后的第二图像金字塔。
步骤204e3、图像处理装置对经过处理后的第二图像金字塔进行重建,生成所述第二图像。
其中,上述第五目标层为:上述第一图像金字塔的任一层;上述第六目标层为上述第二图像金字塔中与上述第五目标层对应的层;上述第一目标区域图像为上述第五目标层的第一目标区域的图像、且上述第一目标区域与上述第六目标层的第二目标区域对应的图像区域;上述第一图像金字塔与上述第二图像金字塔的层数形同、且每层的缩放比例也相同。
可以理解的是,第六目标层为上述第二图像金字塔中与上述第五目标层对应的层可以理解为,第六目标层在第二图像金字塔中的层数与第五目标层在第一图像金字塔中的层数相同,即同一层。
示例性地,图像处理装置对经过参考图像纹理迁移后的拉普拉斯金字塔,即上述第二图像金字塔,进行重建,得到最终的结果。
需要说明的是,图像处理装置在构建目标蒙版图像或参考人脸图像的拉普拉斯金字塔之前,需要构建高斯金字塔。首先将原图像作为最底层图像G0(高斯金字塔的第0层),利用高斯核(5*5)对其进行卷积,然后对卷积后的图像进行下采样(去除偶数行和列)得到上一层图像G1。之后,将此图像作为输入,重复卷积和下采样操作得到更上一层图像,反复迭代多次,形成一个金字塔形的图像数据结构,即高斯金字塔。
在高斯金字塔的运算过程中,图像经过卷积和下采样操作会丢失部分高频细节信息。为描述这些高频信息,人们定义了拉普拉斯金字塔(Laplacian Pyramid,LP)。用高斯金字塔的每一层图像减去其上一层图像上采样并高斯卷积之后的预测图像,得到一系列的差值图像即为LP分解图像。
示例性地,图像处理装置对进行图像融合后的拉普拉斯金字塔,从其顶层开始逐层从上至下按下式进行递推,可以恢复其对应的高斯金字塔,并最终可得到原图像G0。就是从最高层开始使用内插的方法。
在一种可能的实现方式中,图像处理装置在进行图像融合之前,还可以先对第二图像金字塔的每层图像进行磨皮处理。
示例性地,上述步骤203a2之后,本申请实施例提供的图像处理方法,还可以包括以下步骤203b:
步骤203b、图像处理装置按照预设半径及浮点相对精度,对上述第二图像金字塔的每层图像进行导向滤波磨皮处理。
示例性地,图像处理装置也可以按照预设半径及浮点相对精度,对上述N个目标蒙版子图像中的每个图像进行导向滤波磨皮处理。
示例性地,图像处理装置可以对拉普拉斯金字塔的每一层设置合理的radius半径和eps浮点相对精度,并进行导向滤波磨皮,减轻脸部痘印、皱纹和过度不均等问题。
如此,图像处理装置根据基于参考人脸图像构建的第一图像金字塔以及基于目标蒙版图像构建的第二图像金字塔,对第一图像中的人脸肤质进行优化,得到肤质较好的第二图像。
本申请实施例提供的图像处理方法,通过基于多层图像金字塔融合的人脸肤质迁移方法,将拍摄好的图像中存在瑕疵的人脸皮肤与肤质较好的图像进行图像融合,可以有效去除人像脸部的不佳纹理和过渡,使得成像后的人脸皮肤细腻、清晰,极大的提升了成像后的人脸的肤质。
需要说明的是,本申请实施例提供的图像处理方法,执行主体可以为图像处理装置,或者该图像处理装置中的用于执行图像处理方法的控制模块。本申请实施例中以图像处理装置执行图像处理方法为例,说明本申请实施例提供的图像处理装置。
需要说明的是,本申请实施例中,上述各个方法附图所示的。图像处理方法均是以结合本申请实施例中的一个附图为例示例性的说明的。具体实现时,上述各个方法附图所示的图像处理方法还可以结合上述实施例中示意的其它可以结合的任意附图实现,此处不再赘述。
图3为实现本申请实施例提供的一种图像处理装置的可能的结构示意图,如图3所示,图像处理装置300包括:获取模块301和图像处理模块302;获取模块301,用于获取第一图像中的人脸区域的目标蒙版图像;获取模块301,还用于基于目标蒙版图像的二值化人脸蒙版图像,获取参考人脸图像集合中与目标蒙版图像相匹配的参考人脸图像;获取模块301,还用于针对参考人脸图像以及目标蒙版图像进行图像处理,获得N个参考人脸子图像和N个目标蒙版子图像;图像处理模块302,用于将获取模块301获取的参考人脸子图像的目标区域的图像与获取模块301获取的目标蒙版子图像的对应区域的图像进行融合,生成与第一图像对应的第二图像;其中,参考人脸图像集合包括多个经过肤质处理的人脸蒙版图像;目标区域的人脸肤质值高于目标蒙版图像中与目标区域对应区域的人脸肤质值。
可选地,装置300还包括:生成模块303;获取模块301,还用于获取N个经过肤质处理的人脸图像,N为正整数;获取模块301,还用于提取N个人脸图像中每个人脸图像的五官信息,并根据五官信息构建二值化蒙版图像;一个人脸图像对应一个二值化蒙版图像;生成处理模块303,用于基于获取模块301获取的N个经过肤质处理的人脸图像,以及与获取模块301获取的每个人脸图像对应的二值化蒙版图像,生成参考人脸图像集合。
可选地,装置300还包括:构建模块304;构建模块304,用于基于参考人脸图像,构建第一图像金字塔,第一图像金字塔包括N个参考人脸子图像;构建模块304,还用于基于目标蒙版图像,构建第二图像金字塔,第二图像金字塔包括N个目标蒙版子图像。
可选地,获取模块301,还用于提取参考人脸图像的第一特征点和目标蒙版图像的第二特征点;获取模块301,还用于基于第一特征点获取N个参考人脸子图像每张图像的二值化人脸蒙版图像,以及每张图像的二值化人脸蒙版图像所包含的M个三角块中每个三角块的顶点坐标;获取模块301,还用于基于第二特征点获取N个目标蒙版子图像每张图像的二值化人脸蒙版图像所包含的K个三角块中每个三角块的顶点坐标;图像处理模块302,具体用于基于顶点坐标,将参考人脸子图像的目标区域的图像与目标蒙版子图像的对应区域的图像进行融合。
可选地,装置还300包括:变换模块305;变换模块305,用于基于获取模块301获取的K个三角块的顶点坐标,对获取模块301获取的M个三角块的顶点坐标进行仿射变换;图像处理模块302,具体用于将经过仿射变换后的N个参考人脸子图像中第一参考人脸子图像的第一目标区域图像,与N个目标蒙版子图像中第一目标蒙版子图像的第二目标区域图像进行图像融合,得到N个处理后的目标蒙版子图像;图像处理模块302,具体还用于对N个经过处理后的目标蒙版子图像进行重建,生成第二图像;其中,第一参考人脸子图像为:N个参考人脸子图像中的任一个;第一目标蒙版子图像为N个目标蒙版子图像中与第一参考人脸子图像对应的目标蒙版子图像;第一目标区域图像为第一参考人脸子图像的第一目标区域的图像、且第一目标区域与第一目标蒙版子图像的第二目标区域对应的图像区域。
可选地,图像处理模块302,还用于按照预设半径及浮点相对精度,对构建模块304构建的第二图像金字塔的每层图像进行导向滤波磨皮处理。
本申请实施例中的图像处理装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***,可以为iOS操作***,还可以为其他可能的操作***,本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1至图2的方法实施例中图像处理装置实现的各个过程,为避免重复,这里不再赘述。
本实施例中各种实现方式具有的有益效果具体可以参见上述方法实施例中相应实现方式所具有的有益效果,为避免重复,此处不再赘述。
本申请实施例提供的图像处理装置,通过图像处理方法,将拍摄好的图像中存在瑕疵的人脸皮肤与肤质较好的图像进行图像融合,可以有效去除人像脸部的不佳纹理和过渡,使得成像后的人脸皮肤细腻、清晰,极大的提升了成像后的人脸的肤质。
可选地,如图4所示,本申请实施例还提供一种电子设备M00,包括处理器M01,存储器M02,存储在存储器M02上并可在所述处理器M01上运行的程序或指令,该程序或指令被处理器M01执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图5为实现本申请各个实施例的一种电子设备的硬件结构示意图。
该电子设备100包括但不限于:射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。
本领域技术人员可以理解,电子设备100还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理***与处理器110逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,输入单元104,用于获取第一图像中的人脸区域的目标蒙版图像;获处理器110,还用于基于目标蒙版图像的二值化人脸蒙版图像,获取参考人脸图像集合中与目标蒙版图像相匹配的参考人脸图像;处理器110,还用于针对参考人脸图像以及目标蒙版图像进行图像处理,获得N个参考人脸子图像和N个目标蒙版子图像;处理器110用于将获取的参考人脸子图像的目标区域的图像与获取的目标蒙版子图像的对应区域的图像进行融合,生成与第一图像对应的第二图像;其中,参考人脸图像集合包括多个经过肤质处理的人脸蒙版图像;目标区域的人脸肤质值高于目标蒙版图像中与目标区域对应区域的人脸肤质值。
如此,在获取到包含人脸的第一图像之后,获取第一图像中的人脸区域的目标蒙版图像,并基于目标蒙版图像的二值化人脸蒙版图像,获取参考人脸图像集合中与目标蒙版图像相匹配的参考人脸图像。之后,将参考人脸图像的目标区域的图像与目标蒙版图像的对应区域的图像进行融合,去除脸部不佳纹理和过度,恢复细腻、清晰的皮肤质感,得到肤质更好的第二图像,极大提升了成像后人脸皮肤的质量。
可选地,输入单元104,还用于获取N个经过肤质处理的人脸图像,N为正整数;处理器110,还用于提取N个人脸图像中每个人脸图像的五官信息,并根据五官信息构建二值化蒙版图像;一个人脸图像对应一个二值化蒙版图像;处理器110,用于基于输入单元104获取的N个经过肤质处理的人脸图像,以及与获取的每个人脸图像对应的二值化蒙版图像,生成参考人脸图像集合。
如此,图像处理装置可以基于经过肤质处理的参考人脸图像以及与其对应的二值化蒙版图像构建参考人脸图像集合,使得图像处理装置在获取到一张需要处理的图像后,能够基于该集合对图像进行处理。
可选地,处理器110,用于基于参考人脸图像,构建第一图像金字塔,第一图像金字塔包括N个参考人脸子图像;处理器110,还用于基于目标蒙版图像,构建第二图像金字塔,第二图像金字塔包括N个目标蒙版子图像。
可选地,处理器110,还用于提取参考人脸图像的第一特征点和目标蒙版图像的第二特征点;处理器110,还用于基于第一特征点获取N个参考人脸子图像每张图像的二值化人脸蒙版图像,以及每张图像的二值化人脸蒙版图像所包含的M个三角块中每个三角块的顶点坐标;处理器110,还用于基于第二特征点获取N个目标蒙版子图像每张图像的二值化人脸蒙版图像所包含的K个三角块中每个三角块的顶点坐标;处理器110,具体用于基于顶点坐标,将参考人脸子图像的目标区域的图像与目标蒙版子图像的对应区域的图像进行融合。
如此,图像处理装置在获取到第一图像金字塔每层图像的每个三角块的顶点坐标之后,可以基于每层图像的三角块对每层图像进行调整,使其包含的人物外观更加接近于目标蒙版图像所包含的人物外观。
可选地,处理器110,用于基于获取的K个三角块的顶点坐标,对获取的M个三角块的顶点坐标进行仿射变换;处理器110,具体用于将经过仿射变换后的N个参考人脸子图像中第一参考人脸子图像的第一目标区域图像,与N个目标蒙版子图像中第一目标蒙版子图像的第二目标区域图像进行图像融合,得到N个处理后的目标蒙版子图像;处理器110,具体还用于对N个经过处理后的目标蒙版子图像进行重建,生成第二图像;其中,第一参考人脸子图像为:N个参考人脸子图像中的任一个;第一目标蒙版子图像为N个目标蒙版子图像中与第一参考人脸子图像对应的目标蒙版子图像;第一目标区域图像为第一参考人脸子图像的第一目标区域的图像、且第一目标区域与第一目标蒙版子图像的第二目标区域对应的图像区域。
如此,图像处理装置可以基于图像特征点,对三角化后的N个参考人脸图像进行仿射变换,得到与目标参考人脸图像的人物相似的图像,之后,再进行肤质迁移,进而得到肤质较好的第二图像。
可选地,图像处处理器110,还用于按照预设半径及浮点相对精度,对构处理器110构建的第二图像金字塔的每层图像进行导向滤波磨皮处理。
如此,图像处理装置根据基于参考人脸图像构建的第一图像金字塔以及基于目标蒙版图像构建的第二图像金字塔,对第一图像中的人脸肤质进行优化,得到肤质较好的第二图像。
本申请实施例提供的电子设备,通过图像处理方法,将拍摄好的图像中存在瑕疵的人脸皮肤与肤质较好的图像进行图像融合,可以有效去除人像脸部的不佳纹理和过渡,使得成像后的人脸皮肤细腻、清晰,极大的提升了成像后的人脸的肤质。
应理解的是,本申请实施例中,输入单元104可以包括图形处理器(GraphicsProcessing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器109可用于存储软件程序以及各种数据,包括但不限于应用程序和操作***。处理器110可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台电子设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (14)
1.一种图像处理方法,其特征在于,所述方法包括:
获取第一图像中的人脸区域的目标蒙版图像;
基于所述目标蒙版图像的二值化人脸蒙版图像,获取参考人脸图像集合中与所述目标蒙版图像相匹配的参考人脸图像;
针对所述参考人脸图像以及所述目标蒙版图像进行图像处理,获得N个参考人脸子图像和N个目标蒙版子图像;
将所述参考人脸子图像的目标区域的图像与所述目标蒙版子图像的对应区域的图像进行融合,生成与所述第一图像对应的第二图像;
其中,所述参考人脸图像集合包括多个经过肤质处理的人脸蒙版图像;所述目标区域的人脸肤质值大于所述目标蒙版图像中与所述目标区域对应区域的人脸肤质值。
2.根据权利要求1所述的方法,其特征在于,所述基于所述目标蒙版图像的二值化人脸蒙版图像,获取参考人脸图像集合中与所述目标蒙版图像相匹配的参考人脸图像之前,所述方法还包括:
获取N个经过肤质处理的人脸图像,N为正整数;
提取所述N个人脸图像中每个人脸图像的五官信息,并根据所述五官信息构建二值化蒙版图像;一个人脸图像对应一个二值化蒙版图像;
基于所述N个经过肤质处理的人脸图像,以及与每个人脸图像对应的二值化蒙版图像,生成所述参考人脸图像集合。
3.根据权利要求1所述的方法,其特征在于,所述针对所述参考人脸图像以及所述目标蒙版图像进行图像处理,获得N个参考人脸子图像和N个目标蒙版子图像,包括:
基于所述参考人脸图像,构建第一图像金字塔,所述第一图像金字塔包括N个参考人脸子图像;
基于所述目标蒙版图像,构建第二图像金字塔,所述第二图像金字塔包括N个目标蒙版子图像。
4.根据权利要求1所述的方法,其特征在于,所述将所述参考人脸子图像的目标区域的图像与所述目标蒙版子图像的对应区域的图像进行融合,生成与所述第一图像对应的第二图像,包括:
提取所述参考人脸图像的第一特征点和所述目标蒙版图像的第二特征点;
基于所述第一特征点获取所述N个参考人脸子图像每张图像的二值化人脸蒙版图像,以及所述每张图像的二值化人脸蒙版图像所包含的M个三角块中每个三角块的顶点坐标;
基于所述第二特征点获取所述N个目标蒙版子图像每张图像的二值化人脸蒙版图像所包含的K个三角块中每个三角块的顶点坐标;
基于所述顶点坐标,将所述参考人脸子图像的目标区域的图像与所述目标蒙版子图像的对应区域的图像进行融合。
5.根据权利要求4所述的方法,其特征在于,所述基于所述顶点坐标,将所述参考人脸子图像的目标区域的图像与所述目标蒙版子图像的对应区域的图像进行融合,包括:
基于K个三角块的顶点坐标,对M个三角块的顶点坐标进行仿射变换;
将经过仿射变换后的N个参考人脸子图像中第一参考人脸子图像的第一目标区域图像,与所述N个目标蒙版子图像中第一目标蒙版子图像的第二目标区域图像进行图像融合,得到N个处理后的目标蒙版子图像;
对所述N个经过处理后的目标蒙版子图像进行重建,生成所述第二图像;
其中,所述第一参考人脸子图像为:所述N个参考人脸子图像中的任一个;所述第一目标蒙版子图像为所述N个目标蒙版子图像中与所述第一参考人脸子图像对应的目标蒙版子图像;所述第一目标区域图像为所述第一参考人脸子图像的第一目标区域的图像、且所述第一目标区域与所述第一目标蒙版子图像的第二目标区域对应的图像区域。
6.根据权利要求3所述的方法,其特征在于,所述基于所述目标蒙版图像构建第二图像金字塔之后,所述方法还包括:
按照预设半径及浮点相对精度,对所述第二图像金字塔的每层图像进行导向滤波磨皮处理。
7.一种图像处理装置,其特征在于,所述装置包括:获取模块和图像处理模块;
所述获取模块,用于获取第一图像中的人脸区域的目标蒙版图像;
所述获取模块,还用于基于所述目标蒙版图像的二值化人脸蒙版图像,获取参考人脸图像集合中与所述目标蒙版图像相匹配的参考人脸图像;
所述获取模块,还用于针对所述参考人脸图像以及所述目标蒙版图像进行图像处理,获得N个参考人脸子图像和N个目标蒙版子图像;
所述图像处理模块,用于将所述获取模块获取的参考人脸子图像的目标区域的图像与所述获取模块获取的目标蒙版子图像的对应区域的图像进行融合,生成与所述第一图像对应的第二图像;
其中,所述参考人脸图像集合包括多个经过肤质处理的人脸蒙版图像;所述目标区域的人脸肤质值高于所述目标蒙版图像中与所述目标区域对应区域的人脸肤质值。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:生成模块:
所述获取模块,还用于获取N个经过肤质处理的人脸图像,N为正整数;
所述获取模块,还用于提取所述N个人脸图像中每个人脸图像的五官信息,并根据所述五官信息构建二值化蒙版图像;一个人脸图像对应一个二值化蒙版图像;
所述生成模块,用于基于所述获取模块获取的N个经过肤质处理的人脸图像,以及与所述获取模块获取的每个人脸图像对应的二值化蒙版图像,生成所述参考人脸图像集合。
9.根据权利要求7所述的装置,其特征在于,所述装置还包括:构建模块;
所述构建模块,用于基于所述参考人脸图像,构建第一图像金字塔,所述第一图像金字塔包括N个参考人脸子图像;
所述构建模块,还用于基于所述目标蒙版图像,构建第二图像金字塔,所述第二图像金字塔包括N个目标蒙版子图像。
10.根据权利要求7所述的装置,其特征在于,
所述获取模块,还用于提取所述参考人脸图像的第一特征点和所述目标蒙版图像的第二特征点;
所述获取模块,还用于基于所述第一特征点获取所述N个参考人脸子图像每张图像的二值化人脸蒙版图像,以及所述每张图像的二值化人脸蒙版图像所包含的M个三角块中每个三角块的顶点坐标;
所述获取模块,还用于基于所述第二特征点获取所述N个目标蒙版子图像每张图像的二值化人脸蒙版图像所包含的K个三角块中每个三角块的顶点坐标;
所述图像处理模块,具体用于基于所述顶点坐标,将所述参考人脸子图像的目标区域的图像与所述目标蒙版子图像的对应区域的图像进行融合。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括:变换模块;
所述变换模块,用于基于所述获取模块获取的K个三角块的顶点坐标,对所述获取模块获取的M个三角块的顶点坐标进行仿射变换;
所述图像处理模块,具体用于将经过仿射变换后的N个参考人脸子图像中第一参考人脸子图像的第一目标区域图像,与所述N个目标蒙版子图像中第一目标蒙版子图像的第二目标区域图像进行图像融合,得到N个处理后的目标蒙版子图像;
所述图像处理模块,具体还用于对所述N个经过处理后的目标蒙版子图像进行重建,生成所述第二图像;
其中,所述第一参考人脸子图像为:所述N个参考人脸子图像中的任一个;所述第一目标蒙版子图像为所述N个目标蒙版子图像中与所述第一参考人脸子图像对应的目标蒙版子图像;所述第一目标区域图像为所述第一参考人脸子图像的第一目标区域的图像、且所述第一目标区域与所述第一目标蒙版子图像的第二目标区域对应的图像区域。
12.根据权利要求9所述的装置,其特征在于,
所述图像处理模块,还用于按照预设半径及浮点相对精度,对所述构建模块构建的第二图像金字塔的每层图像进行导向滤波磨皮处理。
13.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至6中任一项所述的图像处理方法的步骤。
14.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至6中任一项所述的图像处理方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110653986.2A CN113469903A (zh) | 2021-06-11 | 2021-06-11 | 图像处理方法、装置、电子设备及可读存储介质 |
PCT/CN2022/097859 WO2022258013A1 (zh) | 2021-06-11 | 2022-06-09 | 图像处理方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110653986.2A CN113469903A (zh) | 2021-06-11 | 2021-06-11 | 图像处理方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113469903A true CN113469903A (zh) | 2021-10-01 |
Family
ID=77869884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110653986.2A Pending CN113469903A (zh) | 2021-06-11 | 2021-06-11 | 图像处理方法、装置、电子设备及可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113469903A (zh) |
WO (1) | WO2022258013A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022258013A1 (zh) * | 2021-06-11 | 2022-12-15 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017026839A1 (ko) * | 2015-08-12 | 2017-02-16 | 트라이큐빅스 인크. | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 |
CN107146199A (zh) * | 2017-05-02 | 2017-09-08 | 厦门美图之家科技有限公司 | 一种人脸图像的融合方法、装置及计算设备 |
CN108289141A (zh) * | 2017-12-27 | 2018-07-17 | 努比亚技术有限公司 | 一种移动终端的锁屏解锁方法及移动终端 |
CN109948526A (zh) * | 2019-03-18 | 2019-06-28 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、检测设备及存储介质 |
CN109978754A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN111445564A (zh) * | 2020-03-26 | 2020-07-24 | 腾讯科技(深圳)有限公司 | 人脸纹理图像生成方法、装置、计算机设备和存储介质 |
CN111583154A (zh) * | 2020-05-12 | 2020-08-25 | Oppo广东移动通信有限公司 | 图像处理方法、肤质美化模型训练方法及相关装置 |
CN111836058A (zh) * | 2019-04-22 | 2020-10-27 | 腾讯科技(深圳)有限公司 | 用于实时视频播放方法、装置、设备以及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108509846B (zh) * | 2018-02-09 | 2022-02-11 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备、存储介质及计算机程序产品 |
CN112215776B (zh) * | 2020-10-20 | 2024-05-07 | 咪咕文化科技有限公司 | 人像磨皮方法、电子设备和计算机可读存储介质 |
CN113469903A (zh) * | 2021-06-11 | 2021-10-01 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
-
2021
- 2021-06-11 CN CN202110653986.2A patent/CN113469903A/zh active Pending
-
2022
- 2022-06-09 WO PCT/CN2022/097859 patent/WO2022258013A1/zh unknown
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017026839A1 (ko) * | 2015-08-12 | 2017-02-16 | 트라이큐빅스 인크. | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 |
CN107146199A (zh) * | 2017-05-02 | 2017-09-08 | 厦门美图之家科技有限公司 | 一种人脸图像的融合方法、装置及计算设备 |
CN108289141A (zh) * | 2017-12-27 | 2018-07-17 | 努比亚技术有限公司 | 一种移动终端的锁屏解锁方法及移动终端 |
CN109978754A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN109948526A (zh) * | 2019-03-18 | 2019-06-28 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、检测设备及存储介质 |
CN111836058A (zh) * | 2019-04-22 | 2020-10-27 | 腾讯科技(深圳)有限公司 | 用于实时视频播放方法、装置、设备以及存储介质 |
CN111445564A (zh) * | 2020-03-26 | 2020-07-24 | 腾讯科技(深圳)有限公司 | 人脸纹理图像生成方法、装置、计算机设备和存储介质 |
CN111583154A (zh) * | 2020-05-12 | 2020-08-25 | Oppo广东移动通信有限公司 | 图像处理方法、肤质美化模型训练方法及相关装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022258013A1 (zh) * | 2021-06-11 | 2022-12-15 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2022258013A1 (zh) | 2022-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
Liu et al. | Knowledge-driven deep unrolling for robust image layer separation | |
CN113205568B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
Wang et al. | Laplacian pyramid adversarial network for face completion | |
CN109840881B (zh) | 一种3d特效图像生成方法、装置及设备 | |
Xu et al. | Structure-texture aware network for low-light image enhancement | |
An et al. | TR-MISR: Multiimage super-resolution based on feature fusion with transformers | |
CN109993824B (zh) | 图像处理方法、智能终端及具有存储功能的装置 | |
CN105488771B (zh) | 光场图像编辑方法及装置 | |
Yang et al. | Joint-feature guided depth map super-resolution with face priors | |
KR102311796B1 (ko) | 지역적 신체영역 정보를 이용한 휴먼 모션 디블러링 방법 및 장치 | |
WO2020192706A1 (zh) | 物体三维模型重建方法及装置 | |
CN112767281A (zh) | 图像鬼影消除方法、装置、电子设备及存储介质 | |
CN116612015A (zh) | 模型训练方法、图像去摩尔纹方法、装置及电子设备 | |
CN111199169A (zh) | 图像处理方法和装置 | |
CN113052923B (zh) | 色调映射方法、装置、电子设备和存储介质 | |
WO2022258013A1 (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
CN117011493B (zh) | 基于符号距离函数表示的三维人脸重建方法、装置及设备 | |
CN110852934A (zh) | 图像处理方法及装置、图像设备及存储介质 | |
US20240013358A1 (en) | Method and device for processing portrait image, electronic equipment, and storage medium | |
CN110675413B (zh) | 三维人脸模型构建方法、装置、计算机设备及存储介质 | |
US20210241430A1 (en) | Methods, devices, and computer program products for improved 3d mesh texturing | |
CN116342377A (zh) | 一种降质场景下伪装目标图像自适应生成方法与*** | |
CN113379623B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN114049473A (zh) | 图像处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |