CN110992493A - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110992493A CN110992493A CN201911150663.0A CN201911150663A CN110992493A CN 110992493 A CN110992493 A CN 110992493A CN 201911150663 A CN201911150663 A CN 201911150663A CN 110992493 A CN110992493 A CN 110992493A
- Authority
- CN
- China
- Prior art keywords
- image
- virtual makeup
- key points
- face
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 29
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000001514 detection method Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 abstract description 23
- 238000010586 diagram Methods 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
- A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开是关于一种图像处理方法、装置、电子设备及存储介质,属于图像处理领域。方法包括:获取待处理的目标图像;检测目标图像中三维人脸的多个人脸关键点;获取虚拟妆容图像,虚拟妆容图像根据二维人脸生成,多个基准关键点为二维人脸的人脸关键点;根据多个人脸关键点的位置和多个基准关键点的位置,将虚拟妆容图像与目标图像融合,当将虚拟妆容图像与目标图像融合时,由于虚拟妆容图像的基准关键点与对应的目标图像中的人脸关键点重合,因此该虚拟妆容图像可以与目标图像的三维人脸完全贴合,防止出现虚拟妆容图像与目标图像的三维人脸不贴合的情况,且融合的虚拟妆容图像为三维效果,提高了融合虚拟妆容图像后的目标图像的显示效果。
Description
技术领域
本公开涉及图像处理领域,尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着图像处理技术的快速发展,越来越多的图像处理功能涌现出来,目前,不仅对图像的处理功能要求越来越多,而且对图像的处理效果要求也越来越高,导致在图像中添加虚拟妆容成为常用的图像处理方式。
相关技术中,将目标图像与虚拟妆容图像融合时,可以对虚拟妆容图像的尺寸进行调整,以使调整后的虚拟妆容图像的尺寸与目标图像中的人脸尺寸匹配,再将调整后的虚拟妆容图像与目标图像融合。
但是,该虚拟妆容图像为二维图像,而目标图像中的人脸为三维人脸,虚拟妆容图像无法与三维人脸完全贴合,导致融合虚拟妆容图像后的目标图像的显示效果差。
发明内容
本公开提供了一种图像处理方法、装置、电子设备及存储介质,可以克服相关技术中显示效果差的问题。
根据本公开实施例的第一方面,提供一种图像处理方法,所述方法包括:
获取待处理的目标图像;
检测所述目标图像中三维人脸的多个人脸关键点;
获取虚拟妆容图像,所述虚拟妆容图像包括多个基准关键点,所述虚拟妆容图像根据二维人脸生成,所述多个基准关键点为所述二维人脸的人脸关键点;
根据所述多个人脸关键点的位置和所述多个基准关键点的位置,将所述虚拟妆容图像与所述目标图像融合,以使所述虚拟妆容图像中的每个基准关键点与对应的人脸关键点重合,得到融合所述虚拟妆容图像后的目标图像。
在一种可能实现方式中,所述获取虚拟妆容图像之前,所述方法还包括:
检测第一模板图像中三维人脸的多个人脸关键点;
对所述第一模板图像中的三维人脸进行平铺处理,得到第二模板图像,所述第二模板图像中包括由所述三维人脸平铺得到的二维人脸以及所述二维人脸的多个人脸关键点;
根据所述第二模板图像中的二维人脸,生成所述虚拟妆容图像,将所述二维人脸的多个人脸关键点作为所述虚拟妆容图像的基准关键点。
在另一种可能实现方式中,所述根据所述多个人脸关键点的位置和所述多个基准关键点的位置,将所述虚拟妆容图像与所述目标图像融合,以使所述虚拟妆容图像中的每个基准关键点与对应的人脸关键点匹配,得到融合所述虚拟妆容图像后的目标图像,包括:
按照所述多个人脸关键点之间的预设顺序,多次对所述多个人脸关键点中任意的至少三个人脸关键点进行组合,得到互不重合的多个第一组合区域;
按照所述多个基准关键点之间的预设顺序,多次对所述多个基准关键点中任意的至少三个基准关键点进行组合,得到互不重合的多个第二组合区域;
根据所述多个第一组合区域的位置和所述多个第二组合区域的位置,将所述虚拟妆容图像与所述目标图像融合,以使所述虚拟妆容图像中的每个第一组合区域与对应的第二组合区域重合,得到融合所述虚拟妆容图像后的目标图像。
在另一种可能实现方式中,所述根据所述多个人脸关键点的位置和所述多个基准关键点的位置,将所述虚拟妆容图像与所述目标图像融合,以使所述虚拟妆容图像中的每个基准关键点与对应的人脸关键点重合,得到融合所述虚拟妆容图像后的目标图像,包括:
获取所述多个人脸关键点的第一顺序标识以及所述多个基准关键点的第二顺序标识;
根据所述多个人脸关键点的位置和第一顺序标识,以及所述多个基准关键点的位置和第二顺序标识,将所述虚拟妆容图像与所述目标图像融合,以使所述虚拟妆容图像中的每个基准关键点与顺序标识相同的人脸关键点重合,得到融合所述虚拟妆容图像后的目标图像。
在另一种可能实现方式中,所述获取虚拟妆容图像,包括:
获取虚拟妆容图像集,所述虚拟妆容图像集中包括按照顺序排列的多个虚拟妆容图像;
按照所述多个虚拟妆容图像的排列顺序,每次从所述多个虚拟妆容图像中选取一个虚拟妆容图像。
在另一种可能实现方式中,所述获取待处理的目标图像,包括:
获取视频帧序列,所述视频帧序列包括按照顺序排列的多个视频帧;
按照所述多个视频帧的排列顺序,每次从所述多个视频帧中选取一个视频帧,作为所述目标图像。
在另一种可能实现方式中,所述获取虚拟妆容图像,包括:
获取虚拟妆容图像集,所述虚拟妆容图像集中包括按照顺序排列的多个虚拟妆容图像;
按照所述多个虚拟妆容图像的排列顺序,每次从所述多个虚拟妆容图像中选取与当前获取的目标图像排列顺序相同的虚拟妆容图像。
根据本公开实施例的第二方面,提供一种图像处理装置,所述装置包括:
图像获取单元,被配置为获取待处理的目标图像;
检测单元,被配置为检测所述目标图像中三维人脸的多个人脸关键点;
妆容获取单元,被配置为获取虚拟妆容图像,所述虚拟妆容图像包括多个基准关键点,所述虚拟妆容图像根据二维人脸生成,所述多个基准关键点为所述二维人脸的人脸关键点;
融合单元,被配置为根据所述多个人脸关键点的位置和所述多个基准关键点的位置,将所述虚拟妆容图像与所述目标图像融合,以使所述虚拟妆容图像中的每个基准关键点与对应的人脸关键点重合,得到融合所述虚拟妆容图像后的目标图像。
在一种可能实现方式中,所述装置还包括:
所述检测单元,还被配置为检测第一模板图像中三维人脸的多个人脸关键点;
平铺单元,被配置为对所述第一模板图像中的三维人脸进行平铺处理,得到第二模板图像,所述第二模板图像中包括由所述三维人脸平铺得到的二维人脸以及所述二维人脸的多个人脸关键点;
生成单元,被配置为根据所述第二模板图像中的二维人脸,生成所述虚拟妆容图像,将所述二维人脸的多个人脸关键点作为所述虚拟妆容图像的基准关键点。
在另一种可能实现方式中,所述融合单元,包括:
组合子单元,被配置为按照所述多个人脸关键点之间的预设顺序,多次对所述多个人脸关键点中任意的至少三个人脸关键点进行组合,得到互不重合的多个第一组合区域;
所述组合子单元,还被配置为按照所述多个基准关键点之间的预设顺序,多次对所述多个基准关键点中任意的至少三个基准关键点进行组合,得到互不重合的多个第二组合区域;
融合子单元,被配置为根据所述多个第一组合区域的位置和所述多个第二组合区域的位置,将所述虚拟妆容图像与所述目标图像融合,以使所述虚拟妆容图像中的每个第一组合区域与对应的第二组合区域重合,得到融合所述虚拟妆容图像后的目标图像。
在另一种可能实现方式中,所述融合单元,包括:
标识获取子单元,被配置为获取所述多个人脸关键点的第一顺序标识以及所述多个基准关键点的第二顺序标识;
融合子单元,被配置为根据所述多个人脸关键点的位置和第一顺序标识,以及所述多个基准关键点的位置和第二顺序标识,将所述虚拟妆容图像与所述目标图像融合,以使所述虚拟妆容图像中的每个基准关键点与顺序标识相同的人脸关键点重合,得到融合所述虚拟妆容图像后的目标图像。
在另一种可能实现方式中,所述妆容获取单元,包括:
妆容集获取子单元,被配置为获取虚拟妆容图像集,所述虚拟妆容图像集中包括按照顺序排列的多个虚拟妆容图像;
妆容选取子单元,被配置为按照所述多个虚拟妆容图像的排列顺序,每次从所述多个虚拟妆容图像中选取一个虚拟妆容图像。
在另一种可能实现方式中,所述图像获取单元,包括:
序列获取子单元,被配置为获取视频帧序列,所述视频帧序列包括按照顺序排列的多个视频帧;
视频帧选取子单元,被配置为按照所述多个视频帧的排列顺序,每次从所述多个视频帧中选取一个视频帧,作为所述目标图像。
在另一种可能实现方式中,所述妆容获取单元,包括:
妆容集获取子单元,被配置为获取虚拟妆容图像集,所述虚拟妆容图像集中包括按照顺序排列的多个虚拟妆容图像;
妆容选取子单元,被配置为按照所述多个虚拟妆容图像的排列顺序,每次从所述多个虚拟妆容图像中选取与当前获取的目标图像排列顺序相同的虚拟妆容图像。
根据本公开实施例的第三方面,提供一种电子设备,所述电子设备包括:
一个或多个处理器;
用于存储所述一个或多个处理器可执行命令的易失性或非易失性存储器;
其中,所述一个或多个处理器被配置为执行如第一方面所述的图像处理方法。
根据本公开实施例提供的第四方面,提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如第一方面所述的图像处理方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,当所述计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备能够执行如第一方面所述的图像处理方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开实施例提供的方法,获取待处理的目标图像,检测目标图像中三维人脸的多个人脸关键点,获取包括多个基准点的虚拟妆容图像,根据多个人脸关键点的位置和多个基准关键点的位置,将虚拟妆容图像与目标图像融合,以使虚拟妆容图像中的每个基准关键点与对应的人脸关键点重合,得到融合虚拟妆容图像后的目标图像,由于该虚拟妆容图像根据二维人脸生成,且该虚拟妆容图像中的多个基准关键点为二维人脸的人脸关键点,当将虚拟妆容图像与目标图像融合时,由于虚拟妆容图像的基准关键点与对应的目标图像中的人脸关键点重合,因此可以使虚拟妆容图像的尺寸与目标图像中三维人脸的尺寸匹配,并且该虚拟妆容图像可以与目标图像的三维人脸完全贴合,防止出现虚拟妆容图像与目标图像的三维人脸不贴合的情况,且融合的虚拟妆容图像为三维效果,提高了融合虚拟妆容图像后的目标图像的显示效果。
并且,根据目标图像中的人脸关键点,可以确定出多个第一组合区域,根据虚拟妆容图像中的基准关键点可以确定出多个第二组合区域,根据第一组合区域和第二组合区域即可对虚拟妆容图像的尺寸和角度进行调整,以使虚拟妆容图像贴合目标图像中的三维人脸,当终端显示融合虚拟妆容图像的目标图像时,提高了显示效果。
并且,可以将目标图像与多个虚拟妆容图像融合,该多个虚拟妆容图像可以构成动态的虚拟妆容图像,则可以将目标图像与动态的虚拟妆容图像融合,提高显示效果。还可以将视频帧序列与多个虚拟妆容图像融合,实现了在视频帧序列中融合动态虚拟妆容图像的效果,在播放视频帧序列的过程中能够显示动态虚拟妆容图像,提高了播放效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种实施环境的结构示意图。
图2是根据一示例性实施例示出的一种图像处理方法的流程图。
图3是根据一示例性实施例示出的一种图像处理方法的流程图。
图4是根据一示例性实施例示出的一种第二模板图像的示意图。
图5是根据一示例性实施例示出的一种虚拟妆容图像的示意图。
图6是根据一示例性实施例示出的一种图像处理装置的结构示意图。
图7是根据一示例性实施例示出的另一种图像处理装置的结构示意图。
图8是根据一示例性实施例示出的一种终端的框图。
图9是根据一示例性实施例示出的一种服务器的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开实施例提供了一种图像处理方法,能够在图像的人脸区域中融合虚拟妆容图像,可以应用于多种场景下。
例如,本公开实施例提供的方法,应用于视频直播场景中,当用户在直播时,采用本公开实施例提供的方法,即可在直播界面中的人脸上融合虚拟妆容图像。
或者,本公开实施例提供的方法,应用于图片美化场景中,当用户对任一人脸图片进行美化时,采用本公开实施例提供的方法,即可在该人脸图片中融合虚拟妆容图像。
本公开实施例提供的图像处理方法应用于图像处理设备,该图像处理设备用于当获取待处理的目标图像时,检测该目标图像中三维人脸的多个人脸关键点,获取虚拟妆容图像,根据三维人脸的多个人脸关键点的位置和虚拟妆容图像中多个基准关键点的位置,将虚拟妆容图像与该目标图像融合,以使虚拟妆容图像中的每个基准关键点与对应的人脸关键点重合,得到融合虚拟妆容图像后的目标图像。
其中,该图像处理设备可以为服务器、终端或者其他具有处理功能的设备。该终端可以为手机、平板电脑、计算机等多种类型的终端,该服务器可以为一台服务器,或者由若干服务器组成的服务器集群,或者是一个云计算服务中心。
在一种可能实现方式中,当该图像处理设备为服务器101时,如图1所示,服务器101与终端102通过通信网络连接,终端102将待处理的目标图像发送给服务器101,服务器101将虚拟妆容图像与目标图像融合后,将融合虚拟妆容后的目标图像发送给终端102,由终端102显示融合虚拟妆容图像的目标图像。
图2是根据一示例性实施例示出的一种图像处理方法的流程图,参见图2,该方法包括:
在步骤201中,获取待处理的目标图像。
在步骤202中,检测目标图像中三维人脸的多个人脸关键点。
在步骤203中,获取虚拟妆容图像。
虚拟妆容图像包括多个基准关键点,虚拟妆容图像根据二维人脸生成,多个基准关键点为二维人脸的人脸关键点。
在步骤204中,根据多个人脸关键点的位置和多个基准关键点的位置,将虚拟妆容图像与目标图像融合,以使虚拟妆容图像中的每个基准关键点与对应的人脸关键点重合,得到融合虚拟妆容图像后的目标图像。
本公开实施例提供的方法,获取待处理的目标图像,检测目标图像中三维人脸的多个人脸关键点,获取包括多个基准点的虚拟妆容图像,根据多个人脸关键点的位置和多个基准关键点的位置,将虚拟妆容图像与目标图像融合,以使虚拟妆容图像中的每个基准关键点与对应的人脸关键点重合,得到融合虚拟妆容图像后的目标图像,由于该虚拟妆容图像根据二维人脸生成,且该虚拟妆容图像中的多个基准关键点为二维人脸的人脸关键点,当将虚拟妆容图像与目标图像融合时,由于虚拟妆容图像的基准关键点与对应的目标图像中的人脸关键点重合,因此可以使虚拟妆容图像的尺寸与目标图像的尺寸匹配,并且该虚拟妆容图像可以与目标图像的三维人脸完全贴合,防止出现虚拟妆容图像与目标图像的三维人脸不贴合的情况,且融合的虚拟妆容图像为三维效果,提高了融合虚拟妆容图像后的目标图像的显示效果。
在一种可能实现方式中,获取虚拟妆容图像之前,方法还包括:
检测第一模板图像中三维人脸的多个人脸关键点;
对第一模板图像中的三维人脸进行平铺处理,得到第二模板图像,第二模板图像中包括由三维人脸平铺得到的二维人脸以及二维人脸的多个人脸关键点;
根据第二模板图像中的二维人脸,生成虚拟妆容图像,将二维人脸的多个人脸关键点作为虚拟妆容图像的基准关键点。
在另一种可能实现方式中,根据多个人脸关键点的位置和多个基准关键点的位置,将虚拟妆容图像与目标图像融合,以使虚拟妆容图像中的每个基准关键点与对应的人脸关键点匹配,得到融合虚拟妆容图像后的目标图像,包括:
按照多个人脸关键点之间的预设顺序,多次对多个人脸关键点中任意的至少三个人脸关键点进行组合,得到互不重合的多个第一组合区域;
按照多个基准关键点之间的预设顺序,多次对多个基准关键点中任意的至少三个基准关键点进行组合,得到互不重合的多个第二组合区域;
根据多个第一组合区域的位置和多个第二组合区域的位置,将虚拟妆容图像与目标图像融合,以使虚拟妆容图像中的每个第一组合区域与对应的第二组合区域重合,得到融合虚拟妆容图像后的目标图像。
在另一种可能实现方式中,根据多个人脸关键点的位置和多个基准关键点的位置,将虚拟妆容图像与目标图像融合,以使虚拟妆容图像中的每个基准关键点与对应的人脸关键点重合,得到融合虚拟妆容图像后的目标图像,包括:
获取多个人脸关键点的第一顺序标识以及多个基准关键点的第二顺序标识;
根据多个人脸关键点的位置和第一顺序标识,以及多个基准关键点的位置和第二顺序标识,将虚拟妆容图像与目标图像融合,以使虚拟妆容图像中的每个基准关键点与顺序标识相同的人脸关键点重合,得到融合虚拟妆容图像后的目标图像。
在另一种可能实现方式中,获取虚拟妆容图像,包括:
获取虚拟妆容图像集,虚拟妆容图像集中包括按照顺序排列的多个虚拟妆容图像;
按照多个虚拟妆容图像的排列顺序,每次从多个虚拟妆容图像中选取一个虚拟妆容图像。
在另一种可能实现方式中,获取待处理的目标图像,包括:
获取视频帧序列,视频帧序列包括按照顺序排列的多个视频帧;
按照多个视频帧的排列顺序,每次从多个视频帧中选取一个视频帧,作为目标图像。
在另一种可能实现方式中,获取虚拟妆容图像,包括:
获取虚拟妆容图像集,虚拟妆容图像集中包括按照顺序排列的多个虚拟妆容图像;
按照多个虚拟妆容图像的排列顺序,每次从多个虚拟妆容图像中选取与当前获取的目标图像排列顺序相同的虚拟妆容图像。
图3是根据一示例性实施例示出的一种图像处理方法的流程图,参见图3,应用于终端中,该方法包括:
在步骤301中,检测第一模板图像中三维人脸的多个人脸关键点。
其中,该第一模板图像为终端拍摄的人脸图像,或者为从服务器下载的人脸图像,或者为采用其他方式获取的图像。该第一模板图像中包括三维人脸。该三维人脸为正面人脸,且该三维人脸的眼睛直视的方向与该第一模板图像垂直。
获取第一模板图像后,即可检测该第一模板图像中三维人脸的多个人脸关键点。
其中,由于该三维人脸包括嘴巴区域、鼻子区域、眼睛区域、耳部区域等,因此,检测该三维人脸的人脸关键点时,可以检测得到该三维人脸的嘴巴关键点、鼻子关键点、眼睛关键点、耳部关键点、人脸轮廓关键点等,这些关键点均属于该三维人脸的人脸关键点。
当对该三维人脸的人脸关键点进行检测时,可以采用人脸关键点检测算法,检测到三维人脸中的人脸关键点。
其中,该人脸关键点检测算法可以为神经网络算法、卷积神经网络算法或者其他类型的算法等。
在一种可能实现方式中,当对该三维人脸的人脸关键点进行检测时,可以将该包含该三维人脸的第一模板图像输入至关键点检测模型中,基于该关键点检测模型,获取该第一模板图像中三维人脸的多个人脸关键点。
其中,该关键点检测模型可以由终端训练,将训练好的关键点检测模型存储,或者该关键点检测模型可以由训练设备训练,将训练好的关键点检测模型发送给终端,由终端存储。
该关键点检测模型可以为神经网络模型、卷积神经网络模型或者其他类型的模型等。
在一种可能实现方式中,获取多个样本人脸图像,根据多个样本人脸图像和样本图像中的样本人脸关键点,进行模型训练,得到关键点检测模型。
在训练关键点检测模型的过程中,对于该多个样本人脸图像中的每个样本人脸图像,将该样本人脸图像输入至关键点检测模型中,基于该关键点检测模型,获取该样本人脸图像的测试人脸关键点,再获取样本人脸关键点和测试人脸关键点之间的误差,根据获取的误差对关键点检测模型的模型参数进行调整,得到训练后的关键点检测模型,以提高训练后的关键点检测模型的准确性。
在步骤302中,对第一模板图像中的三维人脸进行平铺处理,得到第二模板图像。
其中,该第二模板图像中包括由三维人脸平铺得到的二维人脸以及二维人脸的多个人脸关键点。
由于第一模板图像中的三维人脸存在侧面区域,该侧面区域的任两个人脸关键点在第一模板图像中的距离小于该任两个人脸关键点在实际的三维人脸中的距离,因此,将该第一模板图像中的三维人脸进行平铺处理,得到第二模板图像。
例如,如图4所示,将第一模板图像中的三维人脸进行平铺处理得到第二模板图像,该第二模板图像为将该三维人脸展开后得到的图像。
该第一模板图像中三维人脸的人脸关键点已经被检测出来,因此在对该第一模板图像中的三维人脸进行平铺处理时,该三维人脸中的人脸关键点也会随着三维人脸的展开而移动,当该第一模板图像中的三维人脸进行平铺处理得到第二模板图像后,该第二模板图像中也会包括多个人脸关键点,也即是该第二模板图像中包括有三维人脸平铺得到的二维人脸以及二维人脸的多个人脸关键点。
由于在对第一模板图像的三维人脸进行平铺处理的过程中,是将该三维人脸转换为二维人脸,该二维人脸中仍然存在多个人脸关键点,也即是三维人脸中的多个人脸关键点均会转换为二维人脸中的人脸关键点,因此第一模板图像中的多个人脸关键点分别与第二模板图像的多个人脸关键点匹配。
在一种可能实现方式中,采用人脸重建算法对该第一模板图像中的三维人脸进行平铺处理,或者采用其他算法对该三维人脸进行平铺处理。
在步骤303中,根据第二模板图像中的二维人脸,生成虚拟妆容图像,将二维人脸的多个人脸关键点作为虚拟妆容图像的基准关键点。
该第二模板图像中的二维人脸为第一模板图像的三维人脸平铺后得到的二维人脸,基于该第二模板图像中的二维人脸,在该二维人脸上融合虚拟妆容图像后,也即是生成了与该二维人脸匹配的虚拟妆容图像,由于该虚拟妆容图像为根据该二维人脸生成的,且该第二模板图像中包括多个人脸关键点,因此可以将该第二模板图像中的多个人脸关键点作为虚拟妆容图像的基准关键点,后续根据该虚拟妆容图像的基准关键点,将该虚拟妆容图像与人脸图像融合。
其中,该虚拟妆容图像由开发人员在二维人脸中进行描绘得到,或者由终端根据二维人脸自动生成,或者采用其他方式生成。
例如,对第一模板图像中的三维人脸进行平铺处理后,得到如图4所示的第二模板图像,再根据该第二模板图像,生成如图5所示的虚拟妆容图像。
在一种可能实现方式中,终端生成虚拟妆容图像后,将该虚拟妆容图像进行存储。或者,终端生成虚拟妆容图像后,将该虚拟妆容图像发送给服务器,由服务器存储。
需要说明的是,本公开实施例仅是以通过执行步骤301-303生成虚拟妆容图像后继续执行步骤304为例进行说明,但并不限定执行步骤304的时机。
另外,本公开实施例仅是以通过执行步骤301-303生成虚拟妆容图像为例进行说明,在另一实施例中,还可以采用其他方式获取虚拟妆容图像。
在步骤304中,获取待处理的目标图像。
其中,该目标图像中包括三维人脸。且该目标图像的三维人脸可以为任意角度。
例如,当三维人脸的眼睛直视的方向与目标图像垂直时,该三维人脸的角度为0度,而该三维人脸的眼睛直视的方向向右且该三维人脸的眼睛直视的方向与目标图像的夹角为80度时,则表示该三维人脸的角度为向右偏转10度,另外该三维人脸的角度还可以为向右偏转20度或者其他角度,也可以为向左偏转10度、20度或者其他数值,而当该三维人脸的眼睛直视的方向与目标图像平行时,则该三维人脸的角度为90度,目标图像显示的为三维人脸的侧面区域。
其中,该目标图像可以由终端拍摄得到,或者由终端下载得到,或者通过其他方式得到。
在一种可能实现方式中,目标图像可以为视频帧序列中的视频帧,从而能够将视频帧序列中的每个视频帧作为目标图像,将每个视频帧与虚拟妆容图像融合。不同的视频帧中,三维人脸的角度可以相同也可以不同。
在步骤305中,检测目标图像中三维人脸的多个人脸关键点。
为了后续能将虚拟妆容图像与该目标图像融合,先检测目标图像中三维人脸的多个人脸关键点。
其中,该步骤305中检测人脸关键点的过程与步骤302中检测人脸关键点的过程类似,在此不再赘述。
在步骤306中,获取虚拟妆容图像。
其中,该虚拟妆容图像包括多个基准关键点,且该虚拟妆容图像根据二维人脸生成,该虚拟妆容图像中的多个基准关键点为二维人脸的人脸关键点。
在一种可能实现方式中,该虚拟妆容图像存储在服务器中,则终端从服务器中获取该虚拟妆容图像。
终端向服务器发送虚拟妆容图像获取请求,当服务器接收到该虚拟妆容图像获取请求时,将该虚拟妆容图像获取请求对应的虚拟妆容图像发送给终端,终端接收服务器发送的虚拟妆容图像即可。
在另一种可能实现方式中,虚拟妆容图像存储在终端中,则终端直接获取该虚拟妆容图像即可。
需要说明的是,当虚拟妆容图像存储在服务器中时,终端从服务器中获取多个虚拟妆容图像或者直接获取自身存储的多个虚拟妆容图像后,显示获取的多个虚拟妆容图像,则用户即可查看已显示的多个虚拟妆容图像,且还可以触发任一虚拟妆容图像的选中操作,当终端检测到对任一虚拟妆容图像的选中操作时,则确定选中该虚拟妆容图像,后续将该虚拟妆容图像与目标图像融合。
在步骤307中,根据多个人脸关键点的位置和多个基准关键点的位置,将虚拟妆容图像与目标图像融合,以使虚拟妆容图像中的每个基准关键点与对应的人脸关键点重合,得到融合虚拟妆容图像后的目标图像。
当根据多个人脸关键点的位置和多个基准关键点的位置,将虚拟妆容图像与目标图像融合,该虚拟妆容图像中的每个基准关键点与目标图像中对应的人脸关键点重合,则得到融合虚拟妆容图像后的目标图像,且该虚拟妆容图像与目标图像中的三维人脸完全贴合,保证了显示融合虚拟妆容图像后的目标图像的效果。
也即是,将该虚拟妆容图像与目标图像中的三维人脸融合时,对于该虚拟妆容图像中的每个基准关键点,当根据该基准关键点的位置和目标图像中对应的人脸关键点的位置,将该基准关键点与对应的人脸关键点重合,之后根据该虚拟妆容图像中的下一个基准关键点的位置和目标图像中对应的人脸关键点的位置,将该虚拟妆容图像中的下一个基准关键点与对应的人脸关键点重合,在此过程中,可能会对该虚拟妆容图像的尺寸和角度进行调整,以达到下一个基准关键点与目标图像中对应的人脸关键点重合的目的。以此类推,即可将该虚拟妆容图像的多个基准关键点分别与目标图像中的人脸关键点重合。
在一种可能实现方式中,按照多个人脸关键点之间的预设顺序,多次对多个人脸关键点中任意的至少三个人脸关键点进行组合,得到互不重合的多个第一组合区域,按照多个基准关键点之间的预设顺序,多次对多个基准关键点中任意的至少三个基准关键点进行组合,得到互不重合的多个第二组合区域,根据多个第一组合区域的位置和多个第二组合区域的位置,将虚拟妆容图像与目标图像融合,以使虚拟妆容图像中的每个第一组合区域与对应的第二组合区域重合,得到融合虚拟妆容图像后的目标图像。
其中,该预设顺序可以为从左到右的顺序、从上到下的顺序或者为其他顺序。并且,每次进行组合时采用的人脸关键点的数量与基准关键点的数量相同。
当进行组合时,先按照预设顺序,每次从多个人脸关键点中抽取至少三个人脸关键点,得到多组人脸关键点,也即是每组中包括至少三个人脸关键点,再将每组中的人脸关键点进行组合,构成多个第一组合区域,且该多个第一组合区域互不重合,再按照相同的方式,每次从多个基准关键点中抽取至少三个基准关键点,得到多组基准关键点,也即是每组中包括至少三个基准关键点,再将每组中的基准关键点进行组合,构成多个第二组合区域,且该多个第二组合区域互不重合。并且,组合得到的多个第一组合区域之间具有排列顺序,多个第二组合区域之间也具有排列顺序。
之后,根据多个第一组合区域的位置,以及多个第二组合区域的位置,分别确定与每个第一组合区域对应的第二组合区域,对每个第二组合区域的尺寸和角度进行调整,使调整后的第二组合区域与对应的第一组合区域重合,得到融合虚拟妆容图像后的目标图像。
也即是,将多个第二组合区域与目标图像中的三维人脸融合时,对于每个第二组合区域,当根据该第二组合区域的位置和目标图像中对应的第一组合区域的位置,将该第二组合区域与对应的第一组合区域重合,之后根据下一个第二组合区域的位置和目标图像中对应的第一组合区域的位置,将下一个第二组合区域与对应的第一组合区域重合,在此过程中,可能会对该该虚拟妆容图像的尺寸和角度进行调整,以达到下一个第二组合区域与目标图像中对应的第一组合区域重合的目的。以此类推,即可将该多个第二组合区域分别与目标图像中对应的第一组合区域重合。
例如,按照多个人脸关键点从左到右的顺序,每次对多个人脸关键点中的三个关键点进行组合,得到一个第一组合区域,进行多次组合后即可得到互不重合的多个第一组合区域,按照多个基准关键点从左到右的顺序,每次对多个基准关键点中的三个关键点进行组合,得到一个第二组合区域,根据多个第一组合区域的位置和多个第二组合区域的位置,将虚拟妆容图像与目标图像融合,以使虚拟妆容图像中的每个第一组合区域与对应的第二组合区域重合,得到融合虚拟妆容图像后的目标图像。
在另一种可能实现方式中,获取多个人脸关键点的第一顺序标识以及多个基准关键点的第二顺序标识,根据多个人脸关键点的位置和第一顺序标识,以及多个基准关键点的位置和第二顺序标识,将虚拟妆容图像与目标图像融合,以使虚拟妆容图像中的每个基准关键点与顺序标识相同的人脸关键点重合,得到融合虚拟妆容图像后的目标图像。
其中,第一顺序标识用于表示多个人脸关键点的顺序,第二顺序标识用于表示多个基准关键点的顺序。例如,该第一顺序标识可以为1、2、3或者其他数值,该第二顺序标识也可以为1、2、3或者其他数值。
该多个人脸关键点和该多个基准关键点均具有顺序标识,当将目标图像与虚拟妆容图像融合时,根据多个人脸关键点的第一顺序标识和多个基准关键点的第二顺序标识,
对于该虚拟妆容图像中的每个基准关键点,确定该基准关键点的位置和与该基准关键点的顺序标识相同的人脸关键点的位置,将该基准关键点与对应的人脸关键点重合,之后确定该虚拟妆容图像中的下一个基准关键点的位置和与该下一个基准关键点的顺序标识相同的人脸关键点的位置,将该虚拟妆容图像中的下一个基准关键点与对应的人脸关键点重合,在此过程中,可能会对该虚拟妆容图像的尺寸和角度进行调整,以达到下一个基准关键点与目标图像中对应的人脸关键点重合的目的。以此类推,即可将该虚拟妆容图像的多个基准关键点分别与目标图像中的人脸关键点重合。
例如,目标图像中包括第一顺序标识分别为1、2、3、4的人脸关键点,虚拟妆容图像中包括第二顺序标识分别为1、2、3、4的基准关键点,确定顺序标识为1的人脸关键点和顺序标识为1的基准关键点对应,顺序标识为2的人脸关键点和顺序标识为2的基准关键点对应,顺序标识为3的人脸关键点和顺序标识为3的基准关键点对应,顺序标识为4的人脸关键点和顺序标识为4的基准关键点对应。
在另一种可能实现方式中,获取多个人脸关键点的第一顺序标识以及多个基准关键点的第二顺序标识,按照多个人脸关键点之间的预设顺序,多次对多个人脸关键点中任意的至少三个人脸关键点进行组合,得到多个第一组合区域,对于该多个第一组合区域中的每个区域,确定构成该区域的人脸关键点的第一顺序标识,再根据确定的第一顺序标识获取与该第一顺序标识相同的第二顺序标识,获取第二顺序标识对应的基准关键点构成的第二组合区域,得到的第二组合区域与该第一组合区域对应,再根据多个第一组合区域的位置和多个第二组合区域的位置,将虚拟妆容图像与目标图像融合,以使虚拟妆容图像中的每个第一组合区域与对应的第二组合区域重合,得到融合虚拟妆容图像后的目标图像。
本公开实施例根据目标图像中的人脸关键点,可以确定出多个第一组合区域,根据虚拟妆容图像中的基准关键点可以确定出多个第二组合区域,根据第一组合区域和第二组合区域即可对虚拟妆容图像的尺寸和角度进行调整,以使虚拟妆容图像的尺寸与目标图像中三维人脸的尺寸匹配,且虚拟妆容图像贴合目标图像中的三维人脸,当终端显示融合虚拟妆容图像的目标图像时,提高了显示效果。
需要说明的是,本公开实施例仅是以将一个虚拟妆容图像与目标图像融合为例进行说明。在另一实施例中,还可以将多个虚拟妆容图像与目标图像融合。
其中,该多个虚拟妆容图像按照顺序排列,该多个虚拟妆容图像即可构成动态的虚拟妆容图像,通过将该多个虚拟妆容图像与目标图像融合,可以实现在目标图像中融合动态的虚拟妆容图像的效果。
在一种可能实现方式中,可以将一个目标图像与动态的虚拟妆容图像融合,则步骤306包括:获取虚拟妆容图像集,该虚拟妆容图像集中包括按照顺序排列的多个虚拟妆容图像,按照该多个虚拟妆容图像的排列顺序,每次从多个虚拟妆容图像中选取一个虚拟妆容图像。则步骤307包括:每次获取到虚拟妆容图像后,根据多个人脸关键点的位置和该虚拟妆容图像中的多个基准关键点的位置,将每次获取的虚拟妆容图像与目标图像融合。由于该多个虚拟妆容图像为动态的虚拟妆容图像,因此分别将该多个虚拟妆容图像与目标图像融合后,实现了将动态虚拟妆容图像与目标图像的融合。
在另一种可能实现方式中,步骤304包括:获取视频帧序列,再按照多个视频帧的排列顺序,每次从多个视频帧中选取一个视频帧,作为目标图像。步骤305包括:获取虚拟妆容图像集,按照虚拟妆容图像集中多个虚拟妆容图像的排列顺序,每次从多个虚拟妆容图像中选取与当前获取的目标图像排列顺序相同的虚拟妆容图像。
该视频帧序列中包括按照顺序排列的多个视频帧,该视频帧序列中的每个视频帧均为独立的,当该视频帧序列中的多个视频帧连续播放时,该多个视频帧即可形成一个视频。且该虚拟妆容图像集中包括按照顺序排列的多个虚拟妆容图像,该多个虚拟妆容图像可以构成一个动态的虚拟妆容图像。
由于将目标图像与虚拟妆容图像融合时,均为将一个虚拟妆容图像与一个目标图像融合,因此,按照视频帧序列中多个视频帧的排列顺序,每次从多个视频帧中选取一个视频帧,再按照虚拟妆容图像集中多个虚拟妆容图像的排列顺序,每次从该多个虚拟妆容图像中选取一个虚拟妆容图像,因此按照选取的顺序,依次将虚拟妆容图像与目标图像融合,可以实现视频在播放过程中,虚拟妆容图像也在动态播放。
例如,当视频帧序列中包括3个视频帧,虚拟妆容图像集中包括3个虚拟妆容图像时,则当获取到视频帧序列中的第1个视频帧时,获取虚拟妆容图像集中的第1个虚拟妆容图像,将第1个虚拟妆容图像与第1个视频帧融合,再获取视频帧序列中的第2个视频帧以及虚拟妆容图像集中的第2个虚拟妆容图像,将第2个虚拟妆容图像与第2个视频帧融合,再获取视频帧序列中的第3个视频帧以及虚拟妆容图像集中的第3个虚拟妆容图像,将第3个虚拟妆容图像与第3个视频帧融合。
另外,当视频帧序列中视频帧的数量与虚拟妆容图像集中虚拟妆容图像的数量不同时,则步骤304包括:获取视频帧序列,再按照多个视频帧的排列顺序,每次从多个视频帧中选取一个视频帧,作为目标图像。步骤305包括:获取虚拟妆容图像集,按照虚拟妆容图像集中多个虚拟妆容图像的排列顺序,每次从多个虚拟妆容图像中选取上一次选取的虚拟妆容图像的下一个虚拟妆容图像。
当上一次选取的虚拟妆容图像为虚拟妆容图像集中的最后一个虚拟妆容图像时,则将虚拟妆容图像集中的第一个虚拟妆容图像作为下一个虚拟妆容图像。
例如,当视频帧序列中包括3个视频帧,虚拟妆容图像集中包括2个虚拟妆容图像时,则当获取到视频帧序列中的第1个视频帧时,获取虚拟妆容图像集中的第1个虚拟妆容图像,将第1个虚拟妆容图像与第1个视频帧融合,再获取视频帧序列中的第2个视频帧以及虚拟妆容图像集中的第2个虚拟妆容图像,将第2个虚拟妆容图像与第2个视频帧融合,再获取视频帧序列中的第3个视频帧以及虚拟妆容图像集中的第1个虚拟妆容图像,将第1个虚拟妆容图像与第3个视频帧融合。
在步骤308中,显示融合虚拟妆容图像后的目标图像。
将虚拟妆容图像与目标图像融合后,终端即可显示融合虚拟妆容图像后的目标图像,由用户查看融合虚拟妆容图像后的目标图像。
在一种可能实现方式中,用户还可以通过终端将融合虚拟妆容图像后的目标图像分享给其他用户,则其他用户也可以查看融合虚拟妆容图像后的目标图像。
在另一种可能实现方式中,当终端显示融合虚拟妆容图像后的目标图像时,采用帧动画的方式显示,或者采用骨骼动画的方式显示,或者采用粒子***动画的方式显示,或者采用其他方式显示。
需要说明的是,本公开实施例仅是以终端为执行主体为例进行说明。在另一实施例中,还可以以服务器为执行主体,且执行过程与上述实施例类似,在此不再赘述。
当以服务器为执行主体执行上述步骤301-303时,服务器生成虚拟妆容图像后,直接存储该虚拟妆容图像。服务器将虚拟妆容图像与目标图像融合后,将融合虚拟妆容图像后的目标图像发送给终端,由终端展示融合虚拟妆容图像后的目标图像。
本公开实施例提供的方法,获取待处理的目标图像,检测目标图像中三维人脸的多个人脸关键点,获取包括多个基准点的虚拟妆容图像,根据多个人脸关键点的位置和多个基准关键点的位置,将虚拟妆容图像与目标图像融合,以使虚拟妆容图像中的每个基准关键点与对应的人脸关键点重合,得到融合虚拟妆容图像后的目标图像,由于该虚拟妆容图像根据二维人脸生成,且该虚拟妆容图像中的多个基准关键点为二维人脸的人脸关键点,当将虚拟妆容图像与目标图像融合时,由于虚拟妆容图像的基准关键点与对应的目标图像中的人脸关键点重合,因此可以使虚拟妆容图像的尺寸与目标图像中三维人脸的尺寸匹配,并且该虚拟妆容图像可以与目标图像的三维人脸完全贴合,防止出现虚拟妆容图像与目标图像的三维人脸不贴合的情况,且虚拟妆容图像为三维效果,提高了融合虚拟妆容图像后的目标图像的显示效果。
并且,根据目标图像中的人脸关键点,可以确定出多个第一组合区域,根据虚拟妆容图像中的基准关键点可以确定出多个第二组合区域,根据第一组合区域和第二组合区域即可对虚拟妆容图像的尺寸和角度进行调整,以使融合的虚拟妆容图像贴合目标图像中的三维人脸,当终端显示融合虚拟妆容图像的目标图像时,提高了显示效果。
并且,可以将目标图像与多个虚拟妆容图像融合,该多个虚拟妆容图像可以构成动态的虚拟妆容图像,则将目标图像与动态的虚拟妆容图像融合,提高显示效果。还可以将视频帧序列与多个虚拟妆容图像融合,实现了在视频帧序列中融合动态虚拟妆容图像的效果,在播放视频帧序列的过程中能够显示动态虚拟妆容图像,提高了播放效果。
图6是根据一示例性实施例示出的一种图像处理装置的结构示意图。参见图6,该装置包括:
图像获取单元601,被配置为获取待处理的目标图像;
检测单元602,被配置为检测目标图像中三维人脸的多个人脸关键点;
妆容获取单元603,被配置为获取虚拟妆容图像,虚拟妆容图像包括多个基准关键点,虚拟妆容图像根据二维人脸生成,多个基准关键点为二维人脸的人脸关键点;
融合单元604,被配置为根据多个人脸关键点的位置和多个基准关键点的位置,将虚拟妆容图像与目标图像融合,以使虚拟妆容图像中的每个基准关键点与对应的人脸关键点重合,得到融合虚拟妆容图像后的目标图像。
本公开实施例提供的装置,获取待处理的目标图像,检测目标图像中三维人脸的多个人脸关键点,获取包括多个基准点的虚拟妆容图像,根据多个人脸关键点的位置和多个基准关键点的位置,将虚拟妆容图像与目标图像融合,以使虚拟妆容图像中的每个基准关键点与对应的人脸关键点重合,得到融合虚拟妆容图像后的目标图像,由于该虚拟妆容图像根据二维人脸生成,且该虚拟妆容图像中的多个基准关键点为二维人脸的人脸关键点,当将虚拟妆容图像与目标图像融合时,由于虚拟妆容图像的基准关键点与对应的目标图像中的人脸关键点重合,因此可以使虚拟妆容图像的尺寸与目标图像中三维人脸的尺寸匹配,并且该虚拟妆容图像可以与目标图像的三维人脸完全贴合,防止出现虚拟妆容图像与目标图像的三维人脸不贴合的情况,且融合的虚拟妆容图像为三维效果,提高了融合虚拟妆容图像后的目标图像的显示效果。
在一种可能实现方式中,参见图7,装置还包括:
检测单元602,还被配置为检测第一模板图像中三维人脸的多个人脸关键点;
平铺单元605,被配置为对第一模板图像中的三维人脸进行平铺处理,得到第二模板图像,第二模板图像中包括由三维人脸平铺得到的二维人脸以及二维人脸的多个人脸关键点;
生成单元606,被配置为根据第二模板图像中的二维人脸,生成虚拟妆容图像,将二维人脸的多个人脸关键点作为虚拟妆容图像的基准关键点。
在另一种可能实现方式中,参见图7,融合单元604,包括:
组合子单元6041,被配置为按照多个人脸关键点之间的预设顺序,多次对多个人脸关键点中任意的至少三个人脸关键点进行组合,得到互不重合的多个第一组合区域;
组合子单元6041,还被配置为按照多个基准关键点之间的预设顺序,多次对多个基准关键点中任意的至少三个基准关键点进行组合,得到互不重合的多个第二组合区域;
融合子单元6042,被配置为根据多个第一组合区域的位置和多个第二组合区域的位置,将虚拟妆容图像与目标图像融合,以使虚拟妆容图像中的每个第一组合区域与对应的第二组合区域重合,得到融合虚拟妆容图像后的目标图像。
在另一种可能实现方式中,参见图7,融合单元604,包括:
标识获取子单元6043,被配置为获取多个人脸关键点的第一顺序标识以及多个基准关键点的第二顺序标识;
融合子单元6042,被配置为根据多个人脸关键点的位置和第一顺序标识,以及多个基准关键点的位置和第二顺序标识,将虚拟妆容图像与目标图像融合,以使虚拟妆容图像中的每个基准关键点与顺序标识相同的人脸关键点重合,得到融合虚拟妆容图像后的目标图像。
在另一种可能实现方式中,参见图7,妆容获取单元603,包括:
妆容集获取子单元6031,被配置为获取虚拟妆容图像集,虚拟妆容图像集中包括按照顺序排列的多个虚拟妆容图像;
妆容选取子单元6032,被配置为按照多个虚拟妆容图像的排列顺序,每次从多个虚拟妆容图像中选取一个虚拟妆容图像。
在另一种可能实现方式中,参见图7,图像获取单元601,包括:
序列获取子单元6011,被配置为获取视频帧序列,视频帧序列包括按照顺序排列的多个视频帧;
视频帧选取子单元6012,被配置为按照多个视频帧的排列顺序,每次从多个视频帧中选取一个视频帧,作为目标图像。
在另一种可能实现方式中,参见图7,妆容获取单元603,包括:
妆容集获取子单元6031,被配置为获取虚拟妆容图像集,虚拟妆容图像集中包括按照顺序排列的多个虚拟妆容图像;
妆容选取子单元6032,被配置为按照多个虚拟妆容图像的排列顺序,每次从多个虚拟妆容图像中选取与当前获取的目标图像排列顺序相同的虚拟妆容图像。
图8是根据一示例性实施例示出的一种终端的框图。该终端800可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group AudioLayer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端800包括有:一个或多个处理器801和一个或多个存储器802。
处理器801可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器801可以在集成有GPU(Graphics Processing Unit,数据推荐器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器801还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器802还可包括易失性存储器或非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器801所具有以实现本申请中方法实施例提供的图像处理方法。
在一些实施例中,终端800还可选包括有:***设备接口803和至少一个***设备。处理器801、存储器802和***设备接口803之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口803相连。具体地,***设备包括:射频电路804、触摸显示屏805、摄像头806、音频电路807、定位组件808和电源809中的至少一种。
***设备接口803可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器801和存储器802。在一些实施例中,处理器801、存储器802和***设备接口803被集成在同一芯片或电路板上;在一些其他实施例中,处理器801、存储器802和***设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路804包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路804还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏805用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时,显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时,显示屏805还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏805可以为一个,设置终端800的前面板;在另一些实施例中,显示屏805可以为至少两个,分别设置在终端800的不同表面或呈折叠设计;在再一些实施例中,显示屏805可以是柔性显示屏,设置在终端800的弯曲表面上或折叠面上。甚至,显示屏805还可以设置成非矩形的不规则图形,也即异形屏。显示屏805可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地,摄像头组件806包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器801进行处理,或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路807还可以包括耳机插孔。
定位组件808用于定位终端800的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件808可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于:加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号,控制触摸显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测终端800的机体方向及转动角度,陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3D动作。处理器801根据陀螺仪传感器812采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在终端800的侧边框和/或触摸显示屏805的下层。当压力传感器813设置在终端800的侧边框时,可以检测用户对终端800的握持信号,由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在触摸显示屏805的下层时,由处理器801根据用户对触摸显示屏805的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹,由处理器801根据指纹传感器814采集到的指纹识别用户的身份,或者,由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器801授权该用户具有相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置终端800的正面、背面或侧面。当终端800上设置有物理按键或厂商Logo时,指纹传感器814可以与物理按键或厂商标志集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中,处理器801可以根据光学传感器815采集的环境光强度,控制触摸显示屏805的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏805的显示亮度;当环境光强度较低时,调低触摸显示屏805的显示亮度。在另一个实施例中,处理器801还可以根据光学传感器815采集的环境光强度,动态调整摄像头组件806的拍摄参数。
接近传感器816,也称距离传感器,通常设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中,当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时,由处理器801控制触摸显示屏805从亮屏状态切换为息屏状态;当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时,由处理器801控制触摸显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图8中示出的结构并不构成对终端800的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图9是根据一示例性实施例示出的一种服务器的结构示意图,该服务器900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(CentralProcessing Units,CPU)901和一个或一个以上的存储器902,其中,存储器902中存储有至少一条指令,至少一条指令由处理器901加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
服务器900可以用于执行上述图像处理方法中服务器所执行的步骤。
在示例性实施例中,还提供了一种非临时性计算机可读存储介质,当存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述图像处理方法中电子设备所执行的步骤。
在示例性实施例中,还提供了一种计算机程序产品,当计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备能够执行上述图像处理方法中电子设备所执行的步骤。
本领域技术人员在考虑说明书及实践这里的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图像处理方法,其特征在于,所述方法包括:
获取待处理的目标图像;
检测所述目标图像中三维人脸的多个人脸关键点;
获取虚拟妆容图像,所述虚拟妆容图像包括多个基准关键点,所述虚拟妆容图像根据二维人脸生成,所述多个基准关键点为所述二维人脸的人脸关键点;
根据所述多个人脸关键点的位置和所述多个基准关键点的位置,将所述虚拟妆容图像与所述目标图像融合,以使所述虚拟妆容图像中的每个基准关键点与对应的人脸关键点重合,得到融合所述虚拟妆容图像后的目标图像。
2.根据权利要求1所述的方法,其特征在于,所述获取虚拟妆容图像之前,所述方法还包括:
检测第一模板图像中三维人脸的多个人脸关键点;
对所述第一模板图像中的三维人脸进行平铺处理,得到第二模板图像,所述第二模板图像中包括由所述三维人脸平铺得到的二维人脸以及所述二维人脸的多个人脸关键点;
根据所述第二模板图像中的二维人脸,生成所述虚拟妆容图像,将所述二维人脸的多个人脸关键点作为所述虚拟妆容图像的基准关键点。
3.根据权利要求1所述的方法,其特征在于,所述根据所述多个人脸关键点的位置和所述多个基准关键点的位置,将所述虚拟妆容图像与所述目标图像融合,以使所述虚拟妆容图像中的每个基准关键点与对应的人脸关键点匹配,得到融合所述虚拟妆容图像后的目标图像,包括:
按照所述多个人脸关键点之间的预设顺序,多次对所述多个人脸关键点中任意的至少三个人脸关键点进行组合,得到互不重合的多个第一组合区域;
按照所述多个基准关键点之间的预设顺序,多次对所述多个基准关键点中任意的至少三个基准关键点进行组合,得到互不重合的多个第二组合区域;
根据所述多个第一组合区域的位置和所述多个第二组合区域的位置,将所述虚拟妆容图像与所述目标图像融合,以使所述虚拟妆容图像中的每个第一组合区域与对应的第二组合区域重合,得到融合所述虚拟妆容图像后的目标图像。
4.根据权利要求1所述的方法,其特征在于,所述根据所述多个人脸关键点的位置和所述多个基准关键点的位置,将所述虚拟妆容图像与所述目标图像融合,以使所述虚拟妆容图像中的每个基准关键点与对应的人脸关键点重合,得到融合所述虚拟妆容图像后的目标图像,包括:
获取所述多个人脸关键点的第一顺序标识以及所述多个基准关键点的第二顺序标识;
根据所述多个人脸关键点的位置和第一顺序标识,以及所述多个基准关键点的位置和第二顺序标识,将所述虚拟妆容图像与所述目标图像融合,以使所述虚拟妆容图像中的每个基准关键点与顺序标识相同的人脸关键点重合,得到融合所述虚拟妆容图像后的目标图像。
5.根据权利要求1所述的方法,其特征在于,所述获取虚拟妆容图像,包括:
获取虚拟妆容图像集,所述虚拟妆容图像集中包括按照顺序排列的多个虚拟妆容图像;
按照所述多个虚拟妆容图像的排列顺序,每次从所述多个虚拟妆容图像中选取一个虚拟妆容图像。
6.根据权利要求1所述的方法,其特征在于,所述获取待处理的目标图像,包括:
获取视频帧序列,所述视频帧序列包括按照顺序排列的多个视频帧;
按照所述多个视频帧的排列顺序,每次从所述多个视频帧中选取一个视频帧,作为所述目标图像。
7.根据权利要求6所述的方法,其特征在于,所述获取虚拟妆容图像,包括:
获取虚拟妆容图像集,所述虚拟妆容图像集中包括按照顺序排列的多个虚拟妆容图像;
按照所述多个虚拟妆容图像的排列顺序,每次从所述多个虚拟妆容图像中选取与当前获取的目标图像排列顺序相同的虚拟妆容图像。
8.一种图像处理装置,其特征在于,所述装置包括:
图像获取单元,被配置为获取待处理的目标图像;
检测单元,被配置为检测所述目标图像中三维人脸的多个人脸关键点;
妆容获取单元,被配置为获取虚拟妆容图像,所述虚拟妆容图像包括多个基准关键点,所述虚拟妆容图像根据二维人脸生成,所述多个基准关键点为所述二维人脸的人脸关键点;
融合单元,被配置为根据所述多个人脸关键点的位置和所述多个基准关键点的位置,将所述虚拟妆容图像与所述目标图像融合,以使所述虚拟妆容图像中的每个基准关键点与对应的人脸关键点重合,得到融合所述虚拟妆容图像后的目标图像。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
用于存储所述一个或多个处理器可执行命令的易失性或非易失性存储器;
其中,所述一个或多个处理器被配置为执行如权利要求1-7任一项权利要求所述的图像处理方法。
10.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1-7任一项权利要求所述的图像处理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911150663.0A CN110992493B (zh) | 2019-11-21 | 2019-11-21 | 图像处理方法、装置、电子设备及存储介质 |
US17/100,720 US11517099B2 (en) | 2019-11-21 | 2020-11-20 | Method for processing images, electronic device, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911150663.0A CN110992493B (zh) | 2019-11-21 | 2019-11-21 | 图像处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110992493A true CN110992493A (zh) | 2020-04-10 |
CN110992493B CN110992493B (zh) | 2023-10-31 |
Family
ID=70085763
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911150663.0A Active CN110992493B (zh) | 2019-11-21 | 2019-11-21 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11517099B2 (zh) |
CN (1) | CN110992493B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111507890A (zh) * | 2020-04-13 | 2020-08-07 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN111539882A (zh) * | 2020-04-17 | 2020-08-14 | 华为技术有限公司 | 辅助化妆的交互方法、终端、计算机存储介质 |
CN111768478A (zh) * | 2020-07-13 | 2020-10-13 | 腾讯科技(深圳)有限公司 | 一种图像合成方法、装置、存储介质和电子设备 |
CN113642481A (zh) * | 2021-08-17 | 2021-11-12 | 百度在线网络技术(北京)有限公司 | 识别方法、训练方法、装置、电子设备以及存储介质 |
WO2022057576A1 (zh) * | 2020-09-17 | 2022-03-24 | 北京字节跳动网络技术有限公司 | 人脸图像显示方法、装置、电子设备及存储介质 |
US20230334801A1 (en) * | 2020-05-29 | 2023-10-19 | Beijing Bytedance Network Technology Co., Ltd. | Facial model reconstruction method and apparatus, and medium and device |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113313085B (zh) * | 2021-07-28 | 2021-10-15 | 北京奇艺世纪科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN114220063B (zh) * | 2021-11-17 | 2023-04-07 | 浙江大华技术股份有限公司 | 目标检测方法及装置 |
CN114120414B (zh) * | 2021-11-29 | 2022-11-01 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和介质 |
CN116527993A (zh) * | 2022-01-24 | 2023-08-01 | 脸萌有限公司 | 视频的处理方法、装置、电子设备、存储介质和程序产品 |
CN114399622A (zh) * | 2022-03-23 | 2022-04-26 | 荣耀终端有限公司 | 图像处理方法和相关装置 |
CN115239860B (zh) * | 2022-09-01 | 2023-08-01 | 北京达佳互联信息技术有限公司 | 表情数据生成方法、装置、电子设备及存储介质 |
CN115578762A (zh) * | 2022-09-07 | 2023-01-06 | 浙江大华技术股份有限公司 | 侧脸矫正的方法、矫正装置及计算机可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120183238A1 (en) * | 2010-07-19 | 2012-07-19 | Carnegie Mellon University | Rapid 3D Face Reconstruction From a 2D Image and Methods Using Such Rapid 3D Face Reconstruction |
CN105069830A (zh) * | 2015-08-14 | 2015-11-18 | 广州市百果园网络科技有限公司 | 表情动画生成方法及装置 |
CN107993216A (zh) * | 2017-11-22 | 2018-05-04 | 腾讯科技(深圳)有限公司 | 一种图像融合方法及其设备、存储介质、终端 |
CN109584145A (zh) * | 2018-10-15 | 2019-04-05 | 深圳市商汤科技有限公司 | 卡通化方法和装置、电子设备和计算机存储介质 |
CN109675315A (zh) * | 2018-12-27 | 2019-04-26 | 网易(杭州)网络有限公司 | 游戏角色模型的生成方法、装置、处理器及终端 |
CN110443230A (zh) * | 2019-08-21 | 2019-11-12 | 北京百度网讯科技有限公司 | 人脸融合方法、装置以及电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10467793B2 (en) * | 2018-02-08 | 2019-11-05 | King.Com Ltd. | Computer implemented method and device |
-
2019
- 2019-11-21 CN CN201911150663.0A patent/CN110992493B/zh active Active
-
2020
- 2020-11-20 US US17/100,720 patent/US11517099B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120183238A1 (en) * | 2010-07-19 | 2012-07-19 | Carnegie Mellon University | Rapid 3D Face Reconstruction From a 2D Image and Methods Using Such Rapid 3D Face Reconstruction |
CN105069830A (zh) * | 2015-08-14 | 2015-11-18 | 广州市百果园网络科技有限公司 | 表情动画生成方法及装置 |
CN107993216A (zh) * | 2017-11-22 | 2018-05-04 | 腾讯科技(深圳)有限公司 | 一种图像融合方法及其设备、存储介质、终端 |
CN109584145A (zh) * | 2018-10-15 | 2019-04-05 | 深圳市商汤科技有限公司 | 卡通化方法和装置、电子设备和计算机存储介质 |
CN109675315A (zh) * | 2018-12-27 | 2019-04-26 | 网易(杭州)网络有限公司 | 游戏角色模型的生成方法、装置、处理器及终端 |
CN110443230A (zh) * | 2019-08-21 | 2019-11-12 | 北京百度网讯科技有限公司 | 人脸融合方法、装置以及电子设备 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111507890A (zh) * | 2020-04-13 | 2020-08-07 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN111507890B (zh) * | 2020-04-13 | 2022-04-19 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
US11908237B2 (en) | 2020-04-13 | 2024-02-20 | Beijing Bytedance Network Technology Co., Ltd. | Image processing method and apparatus, electronic device, and computer-readable storage medium |
CN111539882A (zh) * | 2020-04-17 | 2020-08-14 | 华为技术有限公司 | 辅助化妆的交互方法、终端、计算机存储介质 |
US20230334801A1 (en) * | 2020-05-29 | 2023-10-19 | Beijing Bytedance Network Technology Co., Ltd. | Facial model reconstruction method and apparatus, and medium and device |
CN111768478A (zh) * | 2020-07-13 | 2020-10-13 | 腾讯科技(深圳)有限公司 | 一种图像合成方法、装置、存储介质和电子设备 |
WO2022057576A1 (zh) * | 2020-09-17 | 2022-03-24 | 北京字节跳动网络技术有限公司 | 人脸图像显示方法、装置、电子设备及存储介质 |
US11935176B2 (en) | 2020-09-17 | 2024-03-19 | Beijing Bytedance Network Technology Co., Ltd. | Face image displaying method and apparatus, electronic device, and storage medium |
CN113642481A (zh) * | 2021-08-17 | 2021-11-12 | 百度在线网络技术(北京)有限公司 | 识别方法、训练方法、装置、电子设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US11517099B2 (en) | 2022-12-06 |
CN110992493B (zh) | 2023-10-31 |
US20210153629A1 (en) | 2021-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110992493B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN108401124B (zh) | 视频录制的方法和装置 | |
CN110427110B (zh) | 一种直播方法、装置以及直播服务器 | |
CN110971930A (zh) | 虚拟形象直播的方法、装置、终端及存储介质 | |
CN111464749B (zh) | 进行图像合成的方法、装置、设备及存储介质 | |
CN112907725B (zh) | 图像生成、图像处理模型的训练、图像处理方法和装置 | |
CN108965922B (zh) | 视频封面生成方法、装置和存储介质 | |
CN109558837B (zh) | 人脸关键点检测方法、装置及存储介质 | |
CN109522863B (zh) | 耳部关键点检测方法、装置及存储介质 | |
CN112533017B (zh) | 直播方法、装置、终端及存储介质 | |
CN110533585B (zh) | 一种图像换脸的方法、装置、***、设备和存储介质 | |
CN109947338B (zh) | 图像切换显示方法、装置、电子设备及存储介质 | |
CN111028144B (zh) | 视频换脸方法及装置、存储介质 | |
CN109922356B (zh) | 视频推荐方法、装置和计算机可读存储介质 | |
CN111083526B (zh) | 视频转场方法、装置、计算机设备及存储介质 | |
CN113763228B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN109978996B (zh) | 生成表情三维模型的方法、装置、终端及存储介质 | |
CN111144365A (zh) | 活体检测方法、装置、计算机设备及存储介质 | |
CN111142838A (zh) | 音频播放方法、装置、计算机设备及存储介质 | |
CN110769313A (zh) | 视频处理方法及装置、存储介质 | |
CN108848405B (zh) | 图像处理方法和装置 | |
CN110839174A (zh) | 图像处理的方法、装置、计算机设备以及存储介质 | |
CN112581358A (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
CN110956580A (zh) | 图像换脸的方法、装置、计算机设备以及存储介质 | |
CN110837300B (zh) | 虚拟交互的方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |