CN114972010A - 图像处理方法、装置、计算机设备、存储介质及程序产品 - Google Patents

图像处理方法、装置、计算机设备、存储介质及程序产品 Download PDF

Info

Publication number
CN114972010A
CN114972010A CN202210334052.7A CN202210334052A CN114972010A CN 114972010 A CN114972010 A CN 114972010A CN 202210334052 A CN202210334052 A CN 202210334052A CN 114972010 A CN114972010 A CN 114972010A
Authority
CN
China
Prior art keywords
image
face
sample
target
changed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210334052.7A
Other languages
English (en)
Inventor
贺珂珂
朱俊伟
张昕昳
邰颖
汪铖杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210334052.7A priority Critical patent/CN114972010A/zh
Priority to PCT/CN2022/111774 priority patent/WO2023184817A1/zh
Priority to EP22934637.4A priority patent/EP4394690A1/en
Priority to JP2022565680A priority patent/JP7479507B2/ja
Priority to KR1020227040870A priority patent/KR20230141429A/ko
Publication of CN114972010A publication Critical patent/CN114972010A/zh
Priority to US17/984,110 priority patent/US20230316607A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供一种图像处理方法、装置、计算机设备、存储介质及程序产品，涉及人工智能、计算机视觉、地图、智慧交通领域。通过获取待换脸图像的属性参数，基于待换脸图像的属性参数和预存储的目标脸部的属性参数确定目标属性参数；基于目标属性参数和目标脸部的脸部特征得到目标综合特征；将待换脸图像编码为图像编码特征，得到待换脸图像在像素级的细化特征；将目标综合特征通过自适应实例正则化方式迁移至该图像编码特征，得到融合编码特征。本申请将像素级的编码特征和综合特征混合、且图像编码特征的特征分布向目标综合特征对齐，基于融合编码特征得到包括融合脸部的目标脸部图像，使得融合脸部的感官更接近于目标脸部，从而提高换脸的精确度。

Description

图像处理方法、装置、计算机设备、存储介质及程序产品
技术领域
本申请涉及人工智能、计算机视觉等技术领域，本申请涉及一种图像处理方法、装置、计算机设备、存储介质及程序产品。
背景技术
换脸是计算机视觉领域的一项重要技术，换脸被广泛用于内容生产、影视人像制作、娱乐视频制作等场景。换脸是指给定图像A和图像B，将图像A中的脸部特征迁移到图像B中得到换脸图像。
相关技术中，图像处理方法可以包括：通常基于形状拟合的方式实现换脸；例如，可以基于检测到的图像A中脸部关键点与图像B中脸部关键点，计算两个图像之间关于脸部五官、轮廓等区域的形状变化关系，根据形状变换关系将图像A和图像B中脸部进行融合，得到换脸图像。
上述形状拟合过程是通过对脸部形变、融合过程实现换脸。然而，当图像A和图像B之间姿态存在较大差异时，简单的形状拟合无法满足差异较大的换脸需求，容易使得换脸图像中脸部形变不自然，换脸图像与图像A中脸部的相似度较低，导致换脸的精确度较低。
发明内容
本申请提供了一种图像处理方法、装置、计算机设备、存储介质及程序产品，可以解决相关技术中换脸图像中脸部相似度低、换脸方法精确度较低的问题。所述技术方案如下：
一方面，提供了一种图像处理方法，所述方法包括：
响应于接收到的换脸请求，获取待换脸图像的属性参数，所述换脸请求用于请求将所述待换脸图像中脸部替换为目标脸部，所述待换脸图像的属性参数指示所述待换脸图像中脸部的三维属性；
基于所述待换脸图像的属性参数和预存储的目标脸部的属性参数，确定目标属性参数；
基于所述目标属性参数和预存储的目标脸部的脸部特征，确定目标综合特征；
将所述待换脸图像进行编码，得到所述待换脸图像的图像编码特征；
将所述目标综合特征通过自适应实例正则化方式迁移至所述待换脸图像的图像编码特征中，得到融合编码特征；
将所述融合编码特征进行解码，得到包括融合脸部的目标换脸图像，所述融合脸部是对所述待换脸图像中脸部和所述目标脸部的融合。
另一方面，提供了一种图像处理装置，所述装置包括：
属性参数获取模块，用于响应于接收到的换脸请求，获取待换脸图像的属性参数，所述换脸请求用于请求将所述待换脸图像中脸部替换为目标脸部，所述待换脸图像的属性参数指示所述待换脸图像中脸部的三维属性；
目标属性参数确定模块，用于基于所述待换脸图像的属性参数和预存储的目标脸部的属性参数，确定目标属性参数；
综合特征确定模块，用于基于所述目标属性参数和预存储的目标脸部的脸部特征，确定目标综合特征；
编码模块，用于将所述待换脸图像进行编码，得到所述待换脸图像的图像编码特征；
迁移模块，用于将所述目标综合特征通过自适应实例正则化方式迁移至所述待换脸图像的图像编码特征中，得到融合编码特征；
解码模块，用于将所述融合编码特征进行解码，得到包括融合脸部的目标换脸图像，所述融合脸部是对所述待换脸图像中脸部和所述目标脸部的融合。
在一个可能实现方式中，所述图像的属性参数包括形状系数、表情系数、角度系数、纹理系数或光照系数中的至少一项；
所述目标属性参数确定模块，用于将所述目标脸部的形状系数和所述待换脸图像的预配置参数，确定为所述目标属性参数，所述预配置参数包括表情系数、角度系数、纹理系数或光照系数中的至少一项。
在一个可能实现方式中，所述迁移模块，用于：
获取所述图像编码特征在至少一个特征通道的均值和标准差，以及获取所述目标综合特征在至少一个特征通道的均值和标准差；
将所述图像编码特征在每个特征通道的均值和标准差，与所述目标综合特征在对应特征通道的均值和标准差进行对齐，得到所述融合编码特征。
在一个可能实现方式中，所述目标换脸图像是通过预训练的换脸模型得到的；所述换脸模型用于基于预存储的目标脸部的属性数据和脸部特征将所述目标脸部换至任一脸部图像中；
所述装置还包括模型训练模块，所述模型训练模块，包括：
获取单元，用于获取第一样本图像的脸部特征和属性参数，以及获取第二样本图像的属性参数，所述第一样本图像包括所述目标脸部，所述第二样本图像包括待被替换的脸部；
样本属性参数确定单元，用于基于所述第一样本图像的属性参数和所述第二样本图像的属性参数，确定样本属性参数，所述样本属性参数用于指示待生成的样本换脸图像中脸部的期望属性；
样本综合特征获取单元，用于基于所述样本属性参数和所述第一样本图像的脸部特征，确定样本综合特征；
编码单元，用于将所述第二样本图像输入初始模型的编码器进行编码，得到样本编码特征；
迁移单元，用于将所述样本综合特征通过自适应实例正则化方式迁移至所述第二样本图像的样本编码特征中，得到样本融合特征；
解码单元，用于将所述样本融合特征输入所述初始网络的解码器进行解码，得到样本换脸图像；
训练单元，用于基于所述样本换脸图像分别与所述样本属性参数、所述第一样本图像的脸部特征、所述第二样本图像之间的差异，确定所述初始模型的总损失，并基于所述总损失对所述初始模型进行训练，直至符合目标条件时停止训练，得到所述换脸模型。
在一个可能实现方式中，所述训练单元，具体用于：
获取所述样本换脸图像的属性参数和所述样本属性参数之间的第一相似度；
获取所述样本换脸图像的脸部特征和所述第一样本图像的脸部特征之间的第二相似度；
通过所述初始网络的判别器，获取所述第二样本图像和所述样本换脸图像之间的第三相似度；
基于所述第一相似度、第二相似度和所述第三相似度，确定所述总损失。
在一个可能实现方式中，所述训练单元，还用于：
将所述第二样本图像作为真实图输入所述判别器，将所述样本换脸图像输入所述判别器；
通过所述判别器，分别获取所述第二样本图像在至少一个尺度的尺度图像，以及所述样本换脸图像在对应至少一个尺度的尺度图像；
获取所述第二样本图像的至少一个尺度图像对应的判别概率，以及，获取所述样本换脸图像的至少一个尺度图像对应的判别概率，图像的判别概率用于指示所述图像为真实图的概率；
基于所述第二样本图像对应的至少一个判别概率、以及所述样本换脸图像对应的至少一个判别概率，确定所述第三相似度。
在一个可能实现方式中，所述获取单元，具体用于：
获取至少两个姿态图像作为所述第一样本图像，所述至少两个姿态图像包括所述目标脸部的至少两种脸部姿态；
基于所述至少两个姿态图像，获取所述至少两种脸部姿态对应的脸部特征和属性参数；
将所述至少两种脸部姿态对应的脸部特征的均值，作为所述第一样本图像的脸部特征，将所述至少两种脸部姿态对应的属性参数的均值，作为所述第一样本图像的属性参数；
相应的，所述装置还包括存储单元，所述存储单元用于存储所述第一样本图像的脸部特征和属性参数。
在一个可能实现方式中，所述获取单元，还用于：
对目标对象的视频所包括的至少两个图像帧进行脸部识别，得到包括所述目标脸部的至少两个图像帧，所述目标脸部是所述目标对象的脸部；
对所述至少两个图像帧进行脸部裁剪，得到所述至少两个姿态图像，并将所述至少两个姿态图像作为所述第一样本图像。
另一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现上述的图像处理方法。
另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像处理方法。
另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述的图像处理方法。
本申请实施例提供的技术方案带来的有益效果是：
本申请提供的图像处理方法，通过获取待换脸图像的属性参数，该属性参数用于指示图像中脸部的三维属性，并基于该待换脸图像的属性参数和预存储的目标脸部的属性参数，确定目标属性参数，从而定位出期望生成的图像中脸部的三维属性特征；以及，基于该目标属性参数和预存储的目标脸部的脸部特征，得到了能够综合表征待换脸图像和目标脸部的目标综合特征；并将该待换脸图像进行编码，得到该待换脸图像的图像编码特征，从而通过该图像编码特征得到该待换脸图像在像素级的细化特征；进一步的将该目标综合特征通过自适应实例正则化方式、迁移至该待换脸图像的图像编码特征中，得到融合编码特征，本申请将细化至像素级的编码特征和全局的综合特征之间的混合，且使得图像编码特征的特征分布向目标综合特征对齐，从而提高了所生成的融合编码特征的精确度；通过将该融合编码特征进行解码，得到包括融合脸部的目标换脸图像，达到解码的图像能够细化至各个像素点来展现目标综合特征的效果，使得所解码图像中融合脸部的感官更接近于目标脸部，提高了融合脸部与目标脸部之间感官的相似度，从而提高换脸的精确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种实现图像处理方法的实施环境示意图；
图2为本申请实施例提供的一种换脸模型的训练方法的流程示意图；
图3为本申请实施例提供的一种换脸模型的训练过程框架示意图；
图4为本申请实施例提供的一种图像处理方法的信令交互图；
图5为本申请实施例提供的一种图像处理装置的结构示意图；
图6为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。
可以理解的是，在本申请的具体实施方式中，涉及到的脸部图像，如换脸模型训练时使用的第一样本图像、第二样本图像、姿态图像、目标对象的视频等任何与对象相关的数据，以及，利用换脸模型进行换脸时使用的待换脸图像、目标脸部的脸部特征、属性参数等任何与对象相关的数据，上述任何与对象相关的数据均为经过相关对象同意或许可之后获取的；当本申请以下实施例运用到具体产品或技术中时，需要获得对象许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。另外，采用本申请的图像处理方法对任一对象的脸部图像进行的换脸过程，均是基于相关对象所触发的换脸服务或换脸请求、经过相关对象许可或同意之后再执行的换脸过程。
下面对本申请涉及的技术术语进行介绍：
换脸：是将一个脸部图像中的目标脸部换到另一个图像中的脸部。
换脸模型：用于基于预存储的目标脸部的属性数据和脸部特征将目标脸部换至任一脸部图像中；本申请提供的图像处理方法可以是使用该换脸模型以将待换脸图像中脸部替换为专属的目标脸部。
待换脸图像：待被替换脸部的图像，例如，可将目标脸部换到待换脸图像中脸部；需要说明的是，采用本申请的图像处理方法对待换脸图像进行换脸得到目标换脸图像，该目标换脸图像所包括的融合脸部是对待换脸图像中脸部和目标脸部的融合，融合脸部与目标脸部的感官相似度更高，融合脸部还融合了待换脸图像中脸部的表情、角度等姿态，从而使得目标脸部图像更形象、逼真。
属性参数：图像的属性参数用于指示图像中脸部的三维属性，可以表示脸部在三维空间的姿态、空间环境等属性。
脸部特征：表征图像中脸部在二维平面的特征，例如，双眼之间的间距、鼻子大小；脸部特征可以表征具备该脸部特征的对象的身份。
目标脸部：用于替换图像中脸部的专属脸部；本申请提供有以该目标脸部作为专属脸部的换脸服务，也即是，可以将专属的目标脸部换到任意脸部图像；例如，目标脸部A可以换到图像B的脸部，A也可以换到图像C的脸部。
第一样本图像：该第一样本图像包括该目标脸部，是换脸模型训练时使用的图像。
第二样本图像：该第二样本图像包括待被替换的脸部，是换脸模型训练时使用的图像。训练过程中，可以将第一样本图像中目标脸部作为专属的脸部，将第一样本图像中目标脸部换到第二样本图像中，基于此过程来训练得到换脸模型。
图1为本申请提供的一种图像处理方法的实施环境示意图。如图1所示，该实施环境包括：服务器11和终端12。
该服务器11配置有预训练的换脸模型，该服务器11可基于该换脸模型向终端12提供换脸功能。该换脸服务是指基于目标脸部对待换脸图像中脸部进行换脸，使得生成的目标脸部图像中融合脸部可融合该图像中原有脸部和目标脸部。在一种可能场景中，该终端12可以向该服务器11发送换脸请求，该换脸请求可以携带待换脸图像，该服务器11可以基于该换脸请求，执行本申请的图像处理方法以生成目标换脸图像，并向该终端12返回该目标换脸图像。一场景示例中，该服务器11可以为应用程序的后台服务器。该终端12安装有应用程序，该终端12和该服务器11可以基于该应用程序进行数据交互，以实现换脸过程。其中，该应用程序可以配置有换脸功能。该应用程序为任一支持换脸功能的应用，例如，该应用程序包括但不限于：视频剪辑应用、图像处理工具、视频应用、直播应用、社交应用、内容交互平台、游戏应用等等。
服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器或服务器集群。上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、Wi-Fi及其他实现无线通信的网络。终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、笔记本电脑、数字广播接收器、MID(Mobile Internet Devices，移动互联网设备)、PDA(个人数字助理)、台式计算机、车载终端(例如车载导航终端、车载电脑等)、智能家电、飞行器、智能音箱、智能手表等，终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，但并不局限于此。具体也可基于实际应用场景需求确定，在此不作限定。
本申请实施例提供的图像处理方法，涉及以下人工智能、计算机视觉等技术示例性的，例如，利用人工智能技术中的云计算、大数据处理等技术，实现第一样本图像中属性参数提取、换脸模型训练等过程。例如，利用计算机视觉技术，对视频中图像帧进行脸部识别，以裁剪出包括目标脸部的第一样本图像。
应理解，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
应理解，计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图2为本申请实施例提供的一种换脸模块训练方法的流程示意图。该方法的执行主体可以为计算机设备。如图2所示，该方法包括以下步骤。
步骤201、计算机设备获取第一样本图像的脸部特征和属性参数，以及获取第二样本图像的属性参数。
该第一样本图像包括该目标脸部，该第二样本图像包括待被替换的脸部。该计算机设备可以收集包括任意脸部的数据作为第二样本图像；以及，收集包括目标脸部的多种姿态角度的图像作为第一样本图像。该计算机设备可以通过脸部参数估计模型，获取该第一样本图像的属性参数、以及第二样本图像的属性参数。该计算机设备可以通过脸部识别模型获取第一样本图像的脸部特征。
该脸部参数估计模型用于基于所输入的二维的脸部图像估计该脸部的三维的属性参数。其中，该脸部参数估计模型可以是CNN网络结构的模型，例如，该脸部参数估计模型可以是3DMM(3D Morphable models，三维可变形人脸模型)，本申请可以通过3DMM中的ResNet(Residual Network，残差网络)部分回归出所输入的二维脸部图像的三维的属性参数。当然，该脸部参数估计模型也可以是具备提取二维图像中脸部的三维属性参数的功能的任意其它模型，此处仅以3DMM模型为例说明。
该属性参数用于指示图像中脸部的三维属性，可以表征脸部在三维空间的姿态、空间环境等属性；属性参数包括但不限于：形状系数(id_coeff)、表情系数(expression_coeff)、纹理系数(texture_coeff)、角度系数(angles_coeff)、光照系数(gamma_coeff)等。形状系数表示了脸部形状、脸部五官的形状等；该角度系数表示了脸部的俯仰角、左右偏转角等角度；该纹理系数可以表示脸部的皮肤、毛发等情况；该光照系数可以表示图像中脸部所处的周围环境的光照情况。
本申请中，该计算机设备可以提取形状系数、表情系数、纹理系数、角度系数、光照系数中指定的其中一项或几项，作为各个样本图像的属性参数，也可以提取全部项作为对应样本图像的属性参数。相应的，该第一样本图像和第二样本图像的属性参数的获取方式可以包括以下三种方式。
方式1、该计算机设备提取该第一样本图像中目标脸部的形状系数作为该第一样本图像的属性参数，以及，该计算机设备提取第二样本图像中表情系数和角度系数作为该第二样本图像的属性参数。
在方式1中，第一样本图像的属性参数包括该第一样本图像中目标脸部的形状系数。该第二样本图像的属性参数包括第二样本图像中脸部的表情系数和角度系数。通过获取第一样本图像的形状系数以及第二样本图像的表情系数和角度系数，以便后续利用目标脸部的形状特征和待被替换的脸部的表情、角度等特征进行融合，使得融合得到的样本换脸图像中脸部能够具备目标脸部的五官形状、以及待被替换的脸部的表情、角度等，从而提高了所融合的脸部与目标脸部之间在五官形状上的相似度。
方式2、对于第二样本图像，该计算机设备可以获取该第二样本图像的预配置参数作为该第二样本图像的属性参数。对于第一样本图像，该计算机设备提取该第一样本图像中目标脸部的形状系数作为该第一样本图像的属性参数。
在方式2中，该计算机设备基于需要来配置该第二样本图像中属性参数可包括哪几项，也即是，该第二样本图像的属性参数可以包括预配置参数。一示例中，该预配置参数可以包括表情系数、纹理系数、角度系数、光照系数中的至少一项。该预配置参数是基于需要进行预先配置的参数，例如，通过配置该预配置参数包括光照系数、表情系数，使得最终融合得到的脸部具备待被替换的脸部的周围环境的光照、表情等特征；当然，也可以配置该预配置参数包括纹理系数、角度系数等，此处不再一一赘述。
方式3、该计算机设备也可以提取第一样本图像和第二样本图像的多项参数作为对应的属性参数，后续步骤中可以从该多项参数中进一步提取所需参数。
一示例中，该第一样本图像的属性参数可以包括第一样本图像中目标脸部的形状系数、表情系数、纹理系数、角度系数、光照系数等五项参数。例如，该属性参数可以采用向量表示，则该第一样本图像的属性参数包括上述五项参数时，该第一样本图像的属性参数可以表示为257维的特征向量。该第二样本图像的属性参数也可以包括该第二样本图像的形状系数、表情系数、纹理系数、角度系数、光照系数等五项参数，相应的，该第二样本图像的属性参数也可以表示为257维的特征向量。
在一种可能实现方式中，该计算机设备可以获取该目标脸部在多种在姿态角度的姿态图像，基于多张姿态图像提取第一样本图像的脸部特征和属性参数。示例性的，该计算机设备获取第一样本图像的脸部特征和属性参数的过程可以包括：该计算机设备获取至少两个姿态图像作为该第一样本图像，该至少两个姿态图像包括该目标脸部的至少两种脸部姿态；该计算机设备基于该至少两个姿态图像，获取该至少两种脸部姿态对应的脸部特征和属性参数；该计算机设备将该至少两种脸部姿态对应的脸部特征的均值，作为该第一样本图像的脸部特征，将该至少两种脸部姿态对应的属性参数的均值，作为该第一样本图像的属性参数。一示例中，该计算机设备可以将该至少两个姿态图像输入脸部参数估计模型，通过该脸部参数模型提取每个姿态图像的属性参数，并计算该至少两个姿态图像的属性参数的均值，将该至少两个姿态图像的属性参数的均值作为该第一样本图像的属性参数。一示例中，该计算机设备可以将该至少两个姿态图像输入脸部识别模型，通过该脸部识别模型提取每个姿态图像在二维平面的脸部特征，并计算该至少两个姿态图像的脸部特征的均值，将该至少两个姿态图像的脸部特征的均值作为该第一样本图像的脸部特征；例如，该第一样本图像的脸部特征可以为512维的特征向量。该脸部特征表征了目标对象的身份，该目标脸部是目标对象的脸部。
在一个可能示例中，该计算机设备可以从视频中提取包括该目标脸部的多个姿态图像。示例性的，该计算机设备获取该至少两个姿态图像作为第一样本图像的步骤包括：该计算机设备对目标对象的视频所包括的至少两个图像帧进行脸部识别，得到包括该目标脸部的至少两个图像帧，该目标对象的脸部为该目标脸部；该计算机设备对该至少两个图像帧进行脸部裁剪，得到该至少两个姿态图像，并将该至少两个姿态图像作为该第一样本图像。其中，脸部姿态可以包括但不限于：脸部的表情、角度、脸部五官的形状、动作、脸部所戴的眼镜、脸部妆容等任一属性，该计算机设备可以该脸部姿态中任一属性进行姿态区分；例如，微笑表情的脸部和愤怒表情的脸部可以作为两种姿态的脸部；戴眼镜的脸部和不戴眼镜的脸部也可作为两种姿态的脸部；目标脸部俯仰角为向上偏45°、闭眼的脸部和向下偏30°、睁眼的脸部也可以作为两种姿态的脸部。在另一可能示例中，该计算机设备也可以获取该目标脸部的多个各自独立的静止图像，从该多个各自独立的静止图像中提取该多个姿态图像。则该计算机设备也可以对该多个静止图像进行脸部裁剪，得到该至少两个姿态图像，并将该至少两个姿态图像作为该第一样本图像。
在一种可能技术实现中，该计算机设备可以通过以下步骤a至步骤c的流程，对图像帧进行脸部裁剪得到姿态图像。
步骤a、该计算机设备对该图像帧进行脸部检测，得到该图像帧的脸部坐标框。
通过该脸部坐标框圈出了该图像帧中目标脸部所在的脸部区域。
步骤b、该计算机设备根据该图像帧的脸部坐标框，对该图像帧进行脸部配准，得到该图像帧中的目标脸部关键点。
该目标脸部关键点可以包括图像帧中目标脸部的五官关键点、脸部轮廓关键点，当然还可以包括头发关键点等。
需要说明的是，该计算机设备可以通过脸部配置算法，对该图像帧进行脸部配置，脸部配置算法的输入信息为脸部图像和脸部坐标框，输出的信息为包括目标脸部关键点的脸部关键点坐标序列，其中，该脸部关键点坐标序列所包括的关键点数量可以基于需要进行预先配置，例如，脸部关键点坐标序列所包括的关键点数量可以为5点、68点、90点等固定值。
步骤c、该计算机设备基于该目标脸部关键点，对该图像帧进行脸部裁剪，得到该姿态图像。
一示例中，对于第二样本图像的获取过程，该计算机设备也可以采用与获取第一样本图像同理的过程。例如，该计算机设备可以获取包括任意对象的对象图像，并对该对象图像进行脸部裁剪，得到包括该对象的脸部的图像，并将脸部裁剪后的图像作为第二样本图像。其中，该脸部裁剪方式，为与对图像帧进行脸部裁剪得到姿态图像的步骤a至步骤c同理的过程，此处不再一一赘述。此外，该计算机设备可以将该第二样本图像输入脸部参数估计模型，通过该脸部参数估计模型提取该第二样本图像的属性参数。
在一种可能实现方式中，该计算机设备可以存储该第一样本图像的脸部特征和属性参数；该过程可以包括：该计算机设备将该第一样本图像的脸部特征和属性参数存储至目标地址。通过固定存储该目标脸部的脸部特征和属性参数，可以方便后续使用时直接从该目标地址中进行数据提取；例如，在使用已训练好的换脸模型对外提供专属的换脸服务时，通过该固定存储的方式，使得计算机设备可直接提取已存储的目标脸部的脸部特征和属性参数，实现将专属的目标脸部换至任一脸部图像中的专属换脸过程；又例如，在迭代训练阶段可以直接从该目标地址中提取该目标脸部的脸部特征和属性参数进行训练。
步骤202、计算机设备基于该第一样本图像的属性参数和该第二样本图像的属性参数，确定样本属性参数。
该样本属性参数用于指示待生成的样本换脸图像中脸部的期望属性。
对应于步骤201中方式1，本步骤中，该计算机设备可以将第一样本图像的形状系数和第二样本图像的表情系数、角度系数，确定为该样本属性参数。
对应于步骤201中方式2、方式3，本步骤中，该计算机设备可以基于需要选取第一样本图像和第二样本图像的各项属性参数，作为样本属性参数。步骤202可以包括：该计算机设备将该第一样本图像的形状系数和该第二样本图像的预配置参数，确定为该目标属性参数，该第二样本图像的预配置参数包括表情系数、角度系数、纹理系数或光照系数中的至少一项。其中，对应于步骤201中方式2，该预配置参数可以是201中方式2中已获取的预配置参数，则本步骤中，该计算机设备可以直接获取该第二样本图像的预配置参数。对应于步骤201中方式3，该预配置参数也可以是从包括五项系数的属性参数中提取的预配置参数；则本步骤中，该计算机设备可以按照预配置的参数标识，从该第二样本图像中提取该预配置的参数标识所对应的预配置参数。例如，预配置的参数标识可以包括表情系数、角度系数、纹理系数或光照系数中至少一项参数的参数标识。例如，该预配置参数可以包括表情系数和角度，也即是，待生成的样本换脸图像中脸部期望有目标脸部的脸部、五官等的形状、以及第二样本图像中脸部的表情、角度等；则计算机设备可以将该目标脸部的形状系数、以及该第二样本图像的表情系数和角度，确定为该目标属性参数。又例如，该预配置参数也可以包括纹理和光照，也即是，样本换脸图像中脸部期望有目标脸部的形状、以及第二样本图像中脸部的纹理、光照等；则该计算机设备也可以将该目标脸部的形状系数、以及该第二样本图像的纹理系数和光照系数，确定为该样本属性参数。
步骤203、计算机设备基于该样本属性参数和该第一样本图像的脸部特征，确定样本综合特征。
该计算机设备可以将该样本属性参数和该第一样本图像的脸部特征进行拼接，将拼接得到的拼接特征作为该样本综合特征。该样本综合特征可以表征期望生成的样本脸部特征中脸部的综合特征。例如，该样本属性参数、该脸部特征可以表示为特征向量的形式，该计算机设备可以将该样本属性参数对应的第一特征向量、与该脸部特征对应的第二特征向量进行合并操作，得到该样本综合特征对应的第三特征向量。
步骤204、计算机设备将该第二样本图像输入初始模型的编码器进行编码，得到样本编码特征。
该计算机设备将该第二样本图像输入初始模型的编码器，通过该编码器对该第二样本图像进行编码，得到该第二样本图像对应的编码向量，将该编码向量作为该样本编码特征。需要说明的是，通过对该第二样本图像进行编码得到样本编码特征，从而精准的细化出该第二样本图像所包括的各个像素点的像素级信息。
步骤205、计算机设备将该样本综合特征通过自适应实例正则化方式迁移至该第二样本图像的样本编码特征中，得到样本融合特征。
该计算机设备可以采用步骤205，实现对样本综合特征和该样本编码特征的融合。本步骤中，该计算机设备可以采用该自适应实例正则化方式，将该样本综合特征的特征分布与该第二样本图像的特征分布进行对齐，得到该样本融合特征。在一种可能实现方式中，该特征分布可以包括均值和标准差。相应的，步骤205可以包括：该计算机设备获取该样本编码特征在至少一个特征通道的均值和标准差，以及获取该样本综合特征在至少一个特征通道的均值和标准差；该计算机设备将该样本编码特征在每个特征通道的均值和标准差，与该样本综合特征在对应特征通道的均值和标准差进行对齐，得到该样本融合特征。示例性的，该计算机设备可以将该样本编码特征的每个特征通道进行归一化，并将归一化后的样本编码特征的均值、标准差与该样本综合特征的均值、标准差进行对齐，生成该样本融合特征。
在一个可能示例中，该计算机设备可以基于该样本编码特征、样本综合特征，通过以下公式一，计算得到该样本融合特征。
公式一：
Figure BDA0003573935070000171
其中，x表示样本编码特征，y表示样本综合特征，σ(x)、μ(x)分别表示样本编码特征的均值和标准差，σ(y)、μ(y)分别表示样本综合特征的均值和标准差。其中，AdaIN(Adaptive Instance Normalization，自适应实例正则化)算法，AdaIN(x,y)表示基于该自适应实例正则化方式所生成的样本融合特征。
步骤206、计算机设备将该样本融合特征输入该初始网络的解码器进行解码，得到样本换脸图像。
该计算机设备将该样本融合特征经过解码器，还原出该样本融合特征对应的图像，该计算机设备将该解码器输出的图像作为该样本换脸图像。该解码器可以基于所注入的特征还原出所注入特征所对应的图像。该计算机设备通过该解码器对该样本融合图像进行解码，得到样本换脸图像；例如，编码器可对所输入图像进行卷积操作，因此解码器在运行时可将按照编码器的运行原理进行反向操作，也即是反卷积操作，以还原出样本融合特征所对应的图像。例如，该编码器可以为自编码器(Autoencoder，AE)，则该解码器可以为自编码器对应的解码器。
需要说明的是，通过上述步骤205，利用该自适应实例正则化的方式进行特征迁移，能够支持将样本综合特征迁移至任意图像的编码特征中，实现对样本综合特征和样本编码特征的混合；并且，样本编码特征可以表征第二样本图像中各个像素点的特征，样本综合特征从全局角度综合了第一样本图像和第二样本图像的特征。因此，通过自适应实例正则化的方式，实现将细化至像素级的编码特征和全局的综合特征之间的混合，且使得样本编码特征的特征分布向样本综合特征对齐，从而提高了所生成的样本融合特征的精确度；通过步骤206，实用该样本融合特征进行解码出图像，达到解码的图像能够细化至各个像素点来展现样本综合特征的效果，提高了解码图像中脸部与目标脸部之间感官的相似度，提高了换脸的精确度。
步骤207、计算机设备基于该样本换脸图像分别与该样本属性参数、该第一样本图像的脸部特征、该第二样本图像之间的差异，确定该初始模型的总损失，并基于该总损失对该初始模型进行训练，直至符合目标条件时停止训练，得到该换脸模型。
该计算机设备可分别确定样本换脸图像分别与样本属性参数、第一样本图像的脸部特征、第二样本图像之间的多个相似度，基于该多个相似度得到该总损失。在一种可能实现方式中，该初始网络可以包括判别器，该计算机设备可以利用该判别器判断该样本换脸图像的真实性。示例性的，该计算机确定该总损失的过程可以包括以下步骤：该计算机设备获取该样本换脸图像的属性参数和该样本属性参数之间的第一相似度；该计算机设备获取该样本换脸图像的脸部特征和该第一样本图像的脸部特征之间的第二相似度；该计算机设备通过该初始网络的判别器，获取该第二样本图像和该样本换脸图像之间的第三相似度；该计算机设备基于该第一相似度、第二相似度和该第三相似度，确定该总损失。
一示例中，该计算机设备可以提取该样本换脸图像的属性参数，通过以下公式二，基于该样本换脸图像的属性参数和该样本属性参数之间的第一相似度。
公式二：3dfeatureloss＝abs(gt3dfeature–result3dfeature)；
其中，3d feature loss表示第一相似度，第一相似度的值越小，说明样本换脸图像的属性参数与样本属性参数之间越接近。result 3d feature表示样本换脸图像的属性参数，gt 3d feature表示样本属性参数；abs表示取值为(gt 3d feature–result 3dfeature)的绝对值。一可能示例中，该样本属性参数可以是目标脸部的形状系数以及第二样本图像的表情系数和角度，相应的，gt 3d feature可表示为以下公式三：
公式三：gt 3d feature＝source 3d feature id+target 3d featureexpression+target 3d feature angles；
其中，source 3d feature id表示第一样本图像的形状像数，target 3d featureexpression表示第二样本图像的表情系数，target 3d feature angles表示第二样本图像的角度。
一示例中，该计算机设备可以提取该样本换脸图像的脸部特征，通过以下公式四，基于该样本换脸图像的脸部特征和该第一样本图像的脸部特征之间的第二相似度。
公式四：id loss＝1–cosine similarity(result id feature,Mean SourceID)；
其中，id loss表示第二相似度，第二相似度的值越小，说明样本换脸图像的脸部特征与第一样本图像的脸部特征之间越接近。result id feature表示样本换脸图像的脸部特征，Mean Source ID表示第一样本图像的脸部特征。cosine similarity(result idfeature,Mean Source ID)表示result id feature和Mean Source ID之间的余弦相似度；其中，该预先相似度的确定方式可以如以下公式五对应的过程：
公式五：
Figure BDA0003573935070000191
其中，A、B可以分别表示样本换脸图像的脸部特征对应的特征向量、第一样本图像的脸部特征对应的特征向量；θ表示向量A、向量B这两个特征向量之间的夹角；Ai表示样本换脸图像的脸部特征中第i个特征通道的分量；Bi表示第一样本图像的脸部特征中第i个特征通道的分量。similarity以及cos(θ)表示余弦相似度。
一示例中，该计算机设备可以将该第二样本图像作为真实图输入该判别器，将该样本换脸图像输入该判别器；该计算机设备通过该判别器，分别获取该第二样本图像在至少一个尺度的尺度图像，以及该样本换脸图像在对应至少一个尺度的尺度图像；该计算机设备获取该第二样本图像的至少一个尺度图像对应的判别概率，以及，获取该样本换脸图像的至少一个尺度图像对应的判别概率，图像的判别概率用于指示该图像为真实图的概率；该计算机设备基于该第二样本图像对应的至少一个判别概率、以及该样本换脸图像对应的至少一个判别概率，确定该第三相似度。例如，该初始网络可以包括生成器和判别器，该计算机设备获取该判别器对应的判别损失值，以及获取该生成器对应的生成损失值，基于该生成损失值和该判别损失值，确定第三相似度。其中，该生成器用于基于第二样本图像和第一样本图像生成该样本换脸图像，例如，该生成器可以包括上述步骤204至步骤206使用的编码器和解码器。一示例中，该第三相似度可以包括生成损失值和判别损失值；其中，该计算机设备可以采用样本换脸图像的的判别概率表示该生成损失值，例如，该计算机设备基于该样本换脸图像的判别概率，通过以下公式六，计算得到该生成损失值。
公式六：Gloss＝log(1–D(result))；
其中，D(result)表示样本换脸图像的判别概率，该样本换脸图像的判别概率是指样本换脸图像属于真实图的概率，G loss表示生成损失值。
一示例中，该判别器可以为多尺度判别器，该计算机设备可以通过该判别器对样本换脸图像进行尺度变换，得到多个尺度的尺度图像，例如得到样本换脸图像分别在第一尺度的尺度图像、在第二尺度的尺度图像以及在第三尺度的尺度图像；同理，该计算机设备可以通过判别器获取第二样本图像的分别在第一尺度的尺度图像、在第二尺度的尺度图像以及在第三尺度的尺度图像。其中，第一尺度、第二尺度以及第三尺度可以根据需要设置，例如第一尺度可以是样本换脸图像或第二样本图像的原始尺度，第二尺度可以是原始尺度的1/2，第三尺度可以是原始尺度的1/4。该计算机设备可以通过该多尺度判别器获取各个尺度的尺度图像对应的判别概率，并基于该多个尺度的尺度图像的判别概率计算得到该判别损失值。例如，该计算机设备基于该第二样本图像对应的至少一个判别概率、以及该样本换脸图像对应的至少一个判别概率，通过以下公式七，获取该判别损失值：
公式七：
D loss＝1/3*{–logD(template img)–log(1–D(result))–logD(template img1/2)–log(1–D(result1/2))–logD(template img1/4)–log(1–D(result1/4))}；
其中，D(template img)、D(template img1/2)、D(template img1/4)分别表示第二样本图像在原始尺度的图像的判别概率、第二样本图像在1/2尺度的尺度图像的判别概率、第二样本图像在1/4尺度的尺度图像的判别概率；D(result)、D(result1/2)、D(result1/4)分别表示样本换脸图像在原始尺度的图像的判别概率、样本换脸图像在1/2尺度的尺度图像的判别概率、样本换脸图像在1/4尺度的尺度图像的判别概率。本申请中可将该第二样本图像帧作为真实图。
该计算机设备可以基于上述判别损失值和生成损失值，确定第三相似度，例如，第三相似度＝G loss+D loss。其中，对于判别器，当生成损失值和判别损失值之间达到平衡时，可以认为判别器已达到训练停止的条件，无需再训练。
进一步的，该计算机设备可以基于上述的第一相似度、第二相似度和第三相似度，通过以下公式八，确定该总损失：
公式八：loss＝id loss+3d feature loss+D loss+G loss；
其中，loss表示总损失，3d feature loss表示第一相似度，id loss表示第二相似度，(D loss+G loss)表示第三相似度。
该计算机设备可以基于以上步骤201至步骤206，对初始模型进行迭代训练，并获取每次迭代训练对应的总损失，基于每次迭代训练的总损失对该初始模型的参数进行调整，例如，对初始模型中编码器、解码器、判别器等包括的参数进行多次优化，直至该总损失符合目标条件时，该计算机设备停止训练，并将最后一次优化得到的初始模型作为换脸模型。该目标条件可以是总损失的数值大小位于目标数值范围内，例如，总损失小于0.5；或者，多次迭代训练的所消耗的时间超过最大时长等。
图3为本申请实施例提供的一种专属的换脸模型训练过程的框架示意图，如图3所示，该计算机设备可以对象A的脸部为专属的目标脸部，获取对象A的脸部的多个姿态的脸部图像作为第一样本图像，并通过3D脸部参数估计模型提取第一样本图像的属性参数，通过脸部识别模型提取第一样本图像的脸部特征，以及通过3D脸部参数估计模型提取第二样本图像的属性参数。该计算机设备将第一样本图像的脸部特征和形状系数、以及第二样本图像的预配置参数(例如表情系数和角度系数)整合为样本属性参数。该计算机设备可以将第二样本图像输入初始的换脸网络，该初始的换脸网络可以包括编码器和解码器，该计算机设备可以通过该编码器对第二样本图像进行编码，得到第二样本图像的编码特征，例如，将第二样本图像编码为对应的特征向量。该计算机设备基于该样本属性参数和第二样本图像的编码特征得到样本融合特征，将该样本融合特征注入初始的换脸网络中的解码器，该解码器可以基于所注入的特征还原出所注入特征所对应的图像。该计算机设备通过该解码器对该样本融合图像进行解码，得到样本换脸图像；例如，编码器按照编码器的运行原理进行反卷积操作，以还原出样本融合特征所对应的图像。
进一步的，该计算机设备通过多尺度判别器获取第三相似度，以及基于提取的样本换脸图像的脸部特征和属性参数，获取第一相似度、第二相似度，基于该第一相似度、第二相似度、第三相似度，计算总损失loss，以根据总损失优化模型参数；该计算机设备并以上过程进行迭代训练，直至得到符合目标条件时停止训练，得到可将任意图像中脸部替换为专属的目标脸部的换脸模型。
图4为本申请提供的一种图像处理方法的信令交互图。如图4所示，该图像处理方法可以由服务器和终端交互实现。该图像处理方法的交互过程如下：
步骤401、终端显示目标应用的应用页面，该应用页面包括目标触发控件，该目标触发控件用于触发针对待换脸图像的换脸请求。
该目标应用可以提供换脸功能，该换脸功能可以是将待换脸图像中脸部换为专属的目标脸部的功能。一示例中，该目标应用的应用页面中可以提供有目标触发控件，终端可基于对象对该目标触发控件的触发操作，向服务器发送换脸请求。例如，该目标应用可以为图像处理应用、直播应用、拍照工具、视频剪辑应用等。该服务器可以为该目标应用的后台服务器，或者，该服务器也可以用于提供该换脸功能的任一计算机设备，例如，配置有换脸模型的云计算中心设备。
步骤402、终端响应于接收到的该应用页面中针对该目标触发控件的触发操作，获取待换脸图像，并基于该待换脸图像向服务器发送换脸请求。
场景示例一，该目标应用可以提供有针对单张图像的换脸功能，例如，该目标应用可以为图像处理应用、直播应用、社交应用等，该待换脸图像可以为终端从本地存储空间中获取的被选中的图像，或者，也可以为终端获取的实时对对象进行拍摄得到的图像。场景示例二，该目标应用可以提供有针对一段视频所包括的每帧图像帧的脸部进行换脸的功能，例如，该目标应用可以为视频剪辑应用、直播应用等。服务器可将视频中包括A对象的脸部的图像帧整体替换为目标脸部。则该待换脸图像可以包括视频中的每个图像帧，或者，该终端可以对该视频中每个图像帧进行初始的脸部检测，将视频中包括A对象的脸部的每个图像帧，作为该待换脸图像。
步骤403、服务器接收该终端发送的换脸请求，并响应于接收到的换脸请求，获取待换脸图像的属性参数。
该换脸请求用于请求将该待换脸图像中脸部替换为目标脸部，待换脸图像的属性参数用于指示该待换脸图像中脸部的三维属性；其中，该服务器可以通过3D脸部参数估计模型，获取待换脸图像的属性参数。示例性的，该图像的属性参数包括形状系数、表情系数、角度系数、纹理系数或光照系数中的至少一项。
步骤404、服务器基于该待换脸图像的属性参数和预存储的目标脸部的属性参数，确定目标属性参数。
在一个可能实现方式中，该服务器可以将该目标脸部的形状系数和该待换脸图像的预配置参数，确定为该目标属性参数，该预配置参数包括表情系数、角度系数、纹理系数或光照系数中的至少一项。例如，该预配置参数可以包括表情系数、角度系数。或者，该预配置参数也可以包括纹理系数、光照系数等。
步骤405、服务器基于该目标属性参数和预存储的目标脸部的脸部特征，确定目标综合特征。
该服务器可以对该目标属性参数和该目标脸部的脸部特征进行拼接，得到该目标综合特征。
需要说明的是，该服务器可以配置有预训练的换脸模型，该服务器可以通过该换脸模型，执行上述步骤404至步骤405的过程。该换脸模型是基于上述步骤201至步骤207进行训练得到的。该服务器在训练得到该换脸模型时，便可将该目标脸部的脸部特征和属性参数进行固定存储，例如，可存储至目标地址。则执行步骤404、405时，该服务器可以从目标地址中提取该目标脸部的属性参数，并执行该步骤404，以及，该服务器从目标地址中提取目标脸部的脸部特征，并执行步骤405。此外，该服务器可以通过该换脸模型执行以下步骤406至步骤408的过程。
步骤406、服务器将该待换脸图像进行编码，得到该待换脸图像的图像编码特征。
步骤407、服务器将该目标综合特征通过自适应实例正则化方式迁移至该待换脸图像的图像编码特征中，得到融合编码特征。
在一种可能实现方式中，该计算机设备可以将图像编码特征的均值、标准差与该目标综合特征进行对齐。示例性的，步骤407可以包括：该服务器获取该图像编码特征在至少一个特征通道的均值和标准差，以及获取该目标综合特征在至少一个特征通道的均值和标准差；该服务器将该图像编码特征在每个特征通道的均值和标准差，与该目标综合特征在对应特征通道的均值和标准差进行对齐，得到该融合编码特征。例如，该服务器也可以采用上述步骤205中的公式一，计算得到该融合编码特征。
步骤408、服务器将该融合编码特征进行解码，得到包括融合脸部的目标换脸图像，该融合脸部是对该待换脸图像中脸部和该目标脸部的融合。
需要说明的是，服务器执行上述步骤403至步骤408以得到目标换脸图像的实现方式，是与计算机设备执行上述步骤201至步骤206中以生成样本换脸图像的过程同理的方式，此处不再一一赘述。
步骤409、服务器向终端返回该目标换脸图像。
当该待换脸图像为单张图像时，该服务器可以向终端返回该单张待换脸图像对应的目标换脸图像。当该待换脸图像为视频中所包括的多个图像帧时，该服务器可以针对视频中每个待换脸的图像帧，通过上述步骤403至步骤408，生成待换脸的图像帧所对应的目标换脸图像，该服务器可以向终端返回该视频对应的换脸视频，该换脸视频包括了每个图像帧所对应的目标换脸图像。
步骤410、终端接收服务器返回的目标换脸图像，并显示该目标换脸图像。
该终端可以在应用页面中显示该目标换脸图像。或者，该终端也可以在应用页面中播放换脸视频中每个目标换脸图像。
本申请提供的图像处理方法，通过获取待换脸图像的属性参数，该属性参数用于指示图像中脸部的三维属性，并基于该待换脸图像的属性参数和预存储的目标脸部的属性参数，确定目标属性参数，从而定位出期望生成的图像中脸部的三维属性特征；以及，基于该目标属性参数和预存储的目标脸部的脸部特征，得到了能够综合表征待换脸图像和目标脸部的目标综合特征；并将该待换脸图像进行编码，得到该待换脸图像的图像编码特征，从而通过该图像编码特征得到该待换脸图像在像素级的细化特征；进一步的将该目标综合特征通过自适应实例正则化方式、迁移至该待换脸图像的图像编码特征中，得到融合编码特征。本申请将细化至像素级的编码特征和全局的综合特征之间的混合，且使得图像编码特征的特征分布向目标综合特征对齐，从而提高了所生成的融合编码特征的精确度；通过将该融合编码特征进行解码，得到包括融合脸部的目标换脸图像，达到解码的图像能够细化至各个像素点来展现目标综合特征的效果，使得所解码图像中融合脸部的感官更接近于目标脸部，提高了融合脸部与目标脸部之间感官的相似度，从而提高换脸的精确度。
图5为本申请实施例提供的一种图像处理装置的结构示意图。如图5所示，该装置包括：
属性参数获取模块501，用于响应于接收到的换脸请求，获取待换脸图像的属性参数，该换脸请求用于请求将该待换脸图像中脸部替换为目标脸部，该待换脸图像的属性参数用于指示该待换脸图像中脸部的三维属性；
目标属性参数确定模块502，用于基于该待换脸图像的属性参数和预存储的目标脸部的属性参数，确定目标属性参数；
综合特征确定模块503，用于基于该目标属性参数和预存储的目标脸部的脸部特征，确定目标综合特征；
编码模块504，用于将该待换脸图像进行编码，得到该待换脸图像的图像编码特征；
迁移模块505，用于将该目标综合特征通过自适应实例正则化方式迁移至该待换脸图像的图像编码特征中，得到融合编码特征；
解码模块506，用于将该融合编码特征进行解码，得到包括融合脸部的目标换脸图像，该融合脸部是对该待换脸图像中脸部和该目标脸部的融合。
在一个可能实现方式中，该图像的属性参数包括形状系数、表情系数、角度系数、纹理系数或光照系数中的至少一项；
该目标属性参数确定模块，用于将该目标脸部的形状系数和该待换脸图像的预配置参数，确定为该目标属性参数，该预配置参数包括表情系数、角度系数、纹理系数或光照系数中的至少一项。
在一个可能实现方式中，该迁移模块，用于：
获取该图像编码特征在至少一个特征通道的均值和标准差，以及获取该目标综合特征在至少一个特征通道的均值和标准差；
将该图像编码特征在每个特征通道的均值和标准差，与该目标综合特征在对应特征通道的均值和标准差进行对齐，得到该融合编码特征。
在一个可能实现方式中，该目标换脸图像是通过预训练的换脸模型得到的；该换脸模型用于基于预存储的目标脸部的属性数据和脸部特征将该目标脸部换至任一脸部图像中；
该装置还包括模型训练模块，该模型训练模块，包括：
获取单元，用于获取第一样本图像的脸部特征和属性参数，以及获取第二样本图像的属性参数，该第一样本图像包括该目标脸部，该第二样本图像包括待被替换的脸部；
样本属性参数确定单元，用于基于该第一样本图像的属性参数和该第二样本图像的属性参数，确定样本属性参数，该样本属性参数用于指示待生成的样本换脸图像中脸部的期望属性；
样本综合特征获取单元，用于基于该样本属性参数和该第一样本图像的脸部特征，确定样本综合特征；
编码单元，用于将该第二样本图像输入初始模型的编码器进行编码，得到样本编码特征；
迁移单元，用于将该样本综合特征通过自适应实例正则化方式迁移至该第二样本图像的样本编码特征中，得到样本融合特征；
解码单元，用于将该样本融合特征输入该初始网络的解码器进行解码，得到样本换脸图像；
训练单元，用于基于该样本换脸图像分别与该样本属性参数、该第一样本图像的脸部特征、该第二样本图像之间的差异，确定该初始模型的总损失，并基于该总损失对该初始模型进行训练，直至符合目标条件时停止训练，得到该换脸模型。
在一个可能实现方式中，该训练单元，具体用于：
获取该样本换脸图像的属性参数和该样本属性参数之间的第一相似度；
获取该样本换脸图像的脸部特征和该第一样本图像的脸部特征之间的第二相似度；
通过该初始网络的判别器，获取该第二样本图像和该样本换脸图像之间的第三相似度；
基于该第一相似度、第二相似度和该第三相似度，确定该总损失。
在一个可能实现方式中，该训练单元，还用于：
将该第二样本图像作为真实图输入该判别器，将该样本换脸图像输入该判别器；
通过该判别器，分别获取该第二样本图像在至少一个尺度的尺度图像，以及该样本换脸图像在对应至少一个尺度的尺度图像；
获取该第二样本图像的至少一个尺度图像对应的判别概率，以及，获取该样本换脸图像的至少一个尺度图像对应的判别概率，图像的判别概率用于指示该图像为真实图的概率；
基于该第二样本图像对应的至少一个判别概率、以及该样本换脸图像对应的至少一个判别概率，确定该第三相似度。
在一个可能实现方式中，该获取单元，具体用于：
获取至少两个姿态图像作为该第一样本图像，该至少两个姿态图像包括该目标脸部的至少两种脸部姿态；
基于该至少两个姿态图像，获取该至少两种脸部姿态对应的脸部特征和属性参数；
将该至少两种脸部姿态对应的脸部特征的均值，作为该第一样本图像的脸部特征，将该至少两种脸部姿态对应的属性参数的均值，作为该第一样本图像的属性参数；
相应的，该装置还包括存储单元，该存储单元用于存储该第一样本图像的脸部特征和属性参数。
在一个可能实现方式中，该获取单元，还用于：
对目标对象的视频所包括的至少两个图像帧进行脸部识别，得到包括该目标脸部的至少两个图像帧，该目标脸部是该目标对象的脸部；
对该至少两个图像帧进行脸部裁剪，得到该至少两个姿态图像，并将该至少两个姿态图像作为该第一样本图像。
本申请提供的图像处理装置，通过获取待换脸图像的属性参数，该属性参数用于指示图像中脸部的三维属性，并基于该待换脸图像的属性参数和预存储的目标脸部的属性参数，确定目标属性参数，从而定位出期望生成的图像中脸部的三维属性特征；以及，基于该目标属性参数和预存储的目标脸部的脸部特征，得到了能够综合表征待换脸图像和目标脸部的目标综合特征；并将该待换脸图像进行编码，得到该待换脸图像的图像编码特征，从而通过该图像编码特征得到该待换脸图像在像素级的细化特征；进一步的将该目标综合特征通过自适应实例正则化方式、迁移至该待换脸图像的图像编码特征中，得到融合编码特征。本申请将细化至像素级的编码特征和全局的综合特征之间的混合，且使得图像编码特征的特征分布向目标综合特征对齐，从而提高了所生成的融合编码特征的精确度；通过将该融合编码特征进行解码，得到包括融合脸部的目标换脸图像，达到解码的图像能够细化至各个像素点来展现目标综合特征的效果使得所解码图像中融合脸部的感官更接近于目标脸部，提高了融合脸部与目标脸部之间感官的相似度，从而提高换脸的精确度。
本申请实施例的装置可执行本申请实施例所提供的图像处理方法，其实现原理相类似，本申请各实施例的图像处理装置中的各模块所执行的动作是与本申请各实施例的图像处理方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应图像处理方法中的描述，此处不再赘述。
图6是本申请实施例中提供了一种计算机设备的结构示意图。如图6所示，该计算机设备包括：存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现图像处理方法的步骤，与相关技术相比可实现：
本申请提供的图像处理装置，通过获取待换脸图像的属性参数，该属性参数用于指示图像中脸部的三维属性，并基于该待换脸图像的属性参数和预存储的目标脸部的属性参数，确定目标属性参数，从而定位出期望生成的图像中脸部的三维属性特征；以及，基于该目标属性参数和预存储的目标脸部的脸部特征，得到了能够综合表征待换脸图像和目标脸部的目标综合特征；并将该待换脸图像进行编码，得到该待换脸图像的图像编码特征，从而通过该图像编码特征得到该待换脸图像在像素级的细化特征；进一步的将该目标综合特征通过自适应实例正则化方式、迁移至该待换脸图像的图像编码特征中，得到融合编码特征。本申请将细化至像素级的编码特征和全局的综合特征之间的混合，且使得图像编码特征的特征分布向目标综合特征对齐，从而提高了所生成的融合编码特征的精确度；通过将该融合编码特征进行解码，得到包括融合脸部的目标换脸图像，达到解码的图像能够细化至各个像素点来展现目标综合特征的效果，使得所解码图像中融合脸部的感官更接近于目标脸部，提高了融合脸部与目标脸部之间感官的相似度，从而提高换脸的精确度。
在一个可选实施例中提供了一种计算机设备，如图6所示，图6所示的计算机设备600包括：处理器601和存储器603。其中，处理器601和存储器603相连，如通过总线602相连。可选地，计算机设备600还可以包括收发器604，收发器604可以用于该计算机设备与其他计算机设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器604不限于一个，该计算机设备600的结构并不构成对本申请实施例的限定。
处理器601可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器601也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线602可包括一通路，在上述组件之间传送信息。总线602可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线602可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器603可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质\其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
存储器603用于存储执行本申请实施例的计算机程序，并由处理器601来控制执行。处理器601用于执行存储器603中存储的计算机程序，以实现前述方法实施例所示的步骤。
其中，电子设备包括但不限于：服务器或云计算中心设备等。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作等。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。
应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。
以上所述仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：
响应于接收到的换脸请求，获取待换脸图像的属性参数，所述换脸请求用于请求将所述待换脸图像中脸部替换为目标脸部，所述待换脸图像的属性参数指示所述待换脸图像中脸部的三维属性；
基于所述待换脸图像的属性参数和预存储的目标脸部的属性参数，确定目标属性参数；
基于所述目标属性参数和预存储的目标脸部的脸部特征，确定目标综合特征；
将所述待换脸图像进行编码，得到所述待换脸图像的图像编码特征；
将所述目标综合特征通过自适应实例正则化方式迁移至所述待换脸图像的图像编码特征中，得到融合编码特征；
将所述融合编码特征进行解码，得到包括融合脸部的目标换脸图像，所述融合脸部是对所述待换脸图像中脸部和所述目标脸部的融合。
2.根据权利要求1所述的图像处理方法，其特征在于，所述图像的属性参数包括形状系数、表情系数、角度系数、纹理系数或光照系数中的至少一项；
所述基于所述待换脸图像的属性参数和预存储的目标脸部的属性参数，确定目标属性参数，包括：
将所述目标脸部的形状系数和所述待换脸图像的预配置参数，确定为所述目标属性参数，所述预配置参数包括表情系数、角度系数、纹理系数或光照系数中的至少一项。
3.根据权利要求1所述的图像处理方法，其特征在于，所述将所述目标综合特征通过自适应实例正则化方式迁移至所述待换脸图像的图像编码特征中，得到融合编码特征，包括：
获取所述图像编码特征在至少一个特征通道的均值和标准差，以及获取所述目标综合特征在至少一个特征通道的均值和标准差；
将所述图像编码特征在每个特征通道的均值和标准差，与所述目标综合特征在对应特征通道的均值和标准差进行对齐，得到所述融合编码特征。
4.根据权利要求1所述的图像处理方法，其特征在于，所述目标换脸图像是通过预训练的换脸模型得到的；所述换脸模型用于基于预存储的目标脸部的属性数据和脸部特征将所述目标脸部换至任一脸部图像中；
所述换脸模型的训练方式，包括：
获取第一样本图像的脸部特征和属性参数，以及获取第二样本图像的属性参数，所述第一样本图像包括所述目标脸部，所述第二样本图像包括待被替换的脸部；
基于所述第一样本图像的属性参数和所述第二样本图像的属性参数，确定样本属性参数，所述样本属性参数用于指示待生成的样本换脸图像中脸部的期望属性；
基于所述样本属性参数和所述第一样本图像的脸部特征，确定样本综合特征；
将所述第二样本图像输入初始模型的编码器进行编码，得到样本编码特征；
将所述样本综合特征通过自适应实例正则化方式迁移至所述第二样本图像的样本编码特征中，得到样本融合特征；
将所述样本融合特征输入所述初始网络的解码器进行解码，得到样本换脸图像；
基于所述样本换脸图像分别与所述样本属性参数、所述第一样本图像的脸部特征、所述第二样本图像之间的差异，确定所述初始模型的总损失，并基于所述总损失对所述初始模型进行训练，直至符合目标条件时停止训练，得到所述换脸模型。
5.根据权利要求4所述的图像处理方法，其特征在于，所述基于所述样本换脸图像分别与所述样本属性参数、所述第一样本图像的脸部特征、所述第二样本图像之间的差异，确定所述初始模型的总损失，包括：
获取所述样本换脸图像的属性参数和所述样本属性参数之间的第一相似度；
获取所述样本换脸图像的脸部特征和所述第一样本图像的脸部特征之间的第二相似度；
通过所述初始网络的判别器，获取所述第二样本图像和所述样本换脸图像之间的第三相似度；
基于所述第一相似度、第二相似度和所述第三相似度，确定所述总损失。
6.根据权利要求5所述的图像处理方法，其特征在于，所述通过所述初始网络的判别器，获取所述第二样本图像和所述样本换脸图像之间的第三相似度，包括：
将所述第二样本图像作为真实图输入所述判别器，将所述样本换脸图像输入所述判别器；
通过所述判别器，分别获取所述第二样本图像在至少一个尺度的尺度图像，以及所述样本换脸图像在对应至少一个尺度的尺度图像；
获取所述第二样本图像的至少一个尺度图像对应的判别概率，以及，获取所述样本换脸图像的至少一个尺度图像对应的判别概率，图像的判别概率用于指示所述图像为真实图的概率；
基于所述第二样本图像对应的至少一个判别概率、以及所述样本换脸图像对应的至少一个判别概率，确定所述第三相似度。
7.根据权利要求4所述的图像处理方法，其特征在于，所述获取第一样本图像的脸部特征和属性参数，包括：
获取至少两个姿态图像作为所述第一样本图像，所述至少两个姿态图像包括所述目标脸部的至少两种脸部姿态；
基于所述至少两个姿态图像，获取所述至少两种脸部姿态对应的脸部特征和属性参数；
将所述至少两种脸部姿态对应的脸部特征的均值，作为所述第一样本图像的脸部特征，将所述至少两种脸部姿态对应的属性参数的均值，作为所述第一样本图像的属性参数；
相应的，所述获取第一样本图像的脸部特征和属性参数之后，所述方法还包括：
存储所述第一样本图像的脸部特征和属性参数。
8.根据权利要求7所述的图像处理方法，其特征在于，所述获取至少两个姿态图像作为所述第一样本图像，包括：
对目标对象的视频所包括的至少两个图像帧进行脸部识别，得到包括所述目标脸部的至少两个图像帧，所述目标脸部是所述目标对象的脸部；
对所述至少两个图像帧进行脸部裁剪，得到所述至少两个姿态图像，并将所述至少两个姿态图像作为所述第一样本图像。
9.一种图像处理装置，其特征在于，所述装置包括：
属性参数获取模块，用于响应于接收到的换脸请求，获取待换脸图像的属性参数，所述换脸请求用于请求将所述待换脸图像中脸部替换为目标脸部，所述待换脸图像的属性参数用于指示所述待换脸图像中脸部的三维属性；
目标属性参数确定模块，用于基于所述待换脸图像的属性参数和预存储的目标脸部的属性参数，确定目标属性参数；
综合特征确定模块，用于基于所述目标属性参数和预存储的目标脸部的脸部特征，确定目标综合特征；
编码模块，用于将所述待换脸图像进行编码，得到所述待换脸图像的图像编码特征；
迁移模块，用于将所述目标综合特征通过自适应实例正则化方式迁移至所述待换脸图像的图像编码特征中，得到融合编码特征；
解码模块，用于将所述融合编码特征进行解码，得到包括融合脸部的目标换脸图像，所述融合脸部是对所述待换脸图像中脸部和所述目标脸部的融合。
10.一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1至8任一项所述的图像处理方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述的图像处理方法。
12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述的图像处理方法。
CN202210334052.7A 2022-03-30 2022-03-30 图像处理方法、装置、计算机设备、存储介质及程序产品 Pending CN114972010A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202210334052.7A CN114972010A (zh) 2022-03-30 2022-03-30 图像处理方法、装置、计算机设备、存储介质及程序产品
PCT/CN2022/111774 WO2023184817A1 (zh) 2022-03-30 2022-08-11 图像处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品
EP22934637.4A EP4394690A1 (en) 2022-03-30 2022-08-11 Image processing method and apparatus, computer device, computer-readable storage medium, and computer program product
JP2022565680A JP7479507B2 (ja) 2022-03-30 2022-08-11 画像処理方法及び装置、コンピューター機器、並びにコンピュータープログラム
KR1020227040870A KR20230141429A (ko) 2022-03-30 2022-08-11 이미지 프로세싱 방법 및 장치, 컴퓨터 디바이스, 컴퓨터-판독가능 저장 매체, 및 컴퓨터 프로그램 제품
US17/984,110 US20230316607A1 (en) 2022-03-30 2022-11-09 Image processing method and apparatus, computer device, computer-readable storage medium, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210334052.7A CN114972010A (zh) 2022-03-30 2022-03-30 图像处理方法、装置、计算机设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN114972010A true CN114972010A (zh) 2022-08-30

Family

ID=82976353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210334052.7A Pending CN114972010A (zh) 2022-03-30 2022-03-30 图像处理方法、装置、计算机设备、存储介质及程序产品

Country Status (2)

Country Link
CN (1) CN114972010A (zh)
WO (1) WO2023184817A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117540789B (zh) * 2024-01-09 2024-04-26 腾讯科技（深圳）有限公司 模型训练方法、面部表情迁移方法、装置、设备及介质
CN117808854B (zh) * 2024-02-29 2024-05-14 腾讯科技（深圳）有限公司 图像生成方法、模型训练方法、装置及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11003892B2 (en) * 2018-11-09 2021-05-11 Sap Se Landmark-free face attribute prediction
CN111080511B (zh) * 2019-11-18 2020-12-25 杭州时光坐标影视传媒股份有限公司 一种端到端的高分辨率多特征提取的人脸交换方法
CN113762022A (zh) * 2021-02-09 2021-12-07 北京沃东天骏信息技术有限公司 人脸图像的融合方法和装置
CN113642491A (zh) * 2021-08-20 2021-11-12 北京百度网讯科技有限公司 人脸融合方法、人脸融合模型的训练方法及装置

Also Published As

Publication number Publication date
WO2023184817A1 (zh) 2023-10-05

Similar Documents

Publication Publication Date Title
CN111401216B (zh) 图像处理、模型训练方法、装置、计算机设备和存储介质
CN111553267B (zh) 图像处理方法、图像处理模型训练方法及设备
CN111768425B (zh) 图像处理方法、装置及设备
CN110599395A (zh) 目标图像生成方法、装置、服务器及存储介质
WO2023184817A1 (zh) 图像处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品
CN113392270A (zh) 视频处理方法、装置、计算机设备以及存储介质
CN115565238B (zh) 换脸模型的训练方法、装置、设备、存储介质和程序产品
CN113705290A (zh) 图像处理方法、装置、计算机设备和存储介质
US20230143452A1 (en) Method and apparatus for generating image, electronic device and storage medium
CN112036284B (zh) 图像处理方法、装置、设备及存储介质
CN113591566A (zh) 图像识别模型的训练方法、装置、电子设备和存储介质
CN115171199B (zh) 图像处理方法、装置及计算机设备、存储介质
CN114239717A (zh) 模型训练方法、图像处理方法及装置、电子设备、介质
WO2023231182A1 (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
WO2023279799A1 (zh) 对象识别方法、装置和电子***
CN116977463A (zh) 图像处理方法、装置、计算机设备、存储介质及产品
CN111259700B (zh) 用于生成步态识别模型的方法和装置
WO2024104144A1 (zh) 图像合成方法和装置、存储介质及电子设备
CN113822114A (zh) 一种图像处理方法、相关设备及计算机可读存储介质
US20230316607A1 (en) Image processing method and apparatus, computer device, computer-readable storage medium, and computer program product
CN111325252B (zh) 图像处理方法、装置、设备、介质
CN117252947A (zh) 图像处理方法、装置、计算机、存储介质及程序产品
CN112950641B (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN111461091B (zh) 万能指纹生成方法和装置、存储介质及电子装置
CN117011449A (zh) 三维面部模型的重构方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40073937

Country of ref document: HK