CN114943799A - 一种面部图像处理方法、装置和计算机可读存储介质 - Google Patents
一种面部图像处理方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN114943799A CN114943799A CN202110648608.5A CN202110648608A CN114943799A CN 114943799 A CN114943799 A CN 114943799A CN 202110648608 A CN202110648608 A CN 202110648608A CN 114943799 A CN114943799 A CN 114943799A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- sample
- features
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例公开了一种面部图像处理方法、装置和计算机可读存储介质；本发明实施例在获取源面部的面部图像和模板面部的面部模板图像后，对面部图像和面部模板图像进行特征提取，得到源对象的图像纹理特征和面部模板图像中对象的属性特征，然后，对源对象和面部模板图像中对象进行面部建模，以得到源对象的第一三维建模参数和对象的第二三维建模参数，并将第一三维建模参数和第二三维建模参数进行融合，得到目标三维建模参数，根据目标三维建模参数构建三维面部图像，得到三维面部图像的三维面部特征，基于图像纹理特征、三维面部特征和属性特征，将面部模板图像中的对象替换为源对象，得到目标面部图像；该方案可以提升面部图像处理的准确性。
Description
技术领域
本发明涉及通信技术领域，具体涉及一种面部图像处理方法、装置和计算机可读存储介质。
背景技术
近年来，随着技术的发展，在电影特效和互联网社交等应用中，存在保持将面部图像中对象的风格的情况下，将对象的面部替换为其他对象的面部的需求，针对这种需求，就需要对面部图像进行处理，现有的面部图像处理方法主要通过三维建模的方式或者生成对抗网络的来实现对象的面部替换。
在对现有技术的研究和实践过程中，本发明的发明人发现基于三维建模的方式无法处理复杂场景和纹理细节，采用生成对抗网络的方式得到的替换后面部的形状误差较大，因此，导致面部图像处理的准确性大大降低。
发明内容
本发明实施例提供一种面部图像处理方法、装置和计算机可读存储介质，可以提高面部图像处理的准确性。
一种面部图像处理方法，包括：
获取源面部的面部图像和模板面部的面部模板图像，所述面部图像包括源对象；
对所述面部图像和所述面部模板图像进行特征提取，得到所述源对象的图像纹理特征和所述面部模板图像中对象的属性特征；
根据所述面部图像和所述面部模板图像，对所述源对象和所述面部模板图像中对象进行面部建模，以得到所述源对象的第一三维建模参数和所述面部模板图像中对象的第二三维建模参数，并将第一三维建模参数和第二三维建模参数进行融合，得到目标三维建模参数；
根据所述目标三维建模参数构建三维面部图像，得到所述三维面部图像的三维面部特征；
基于所述图像纹理特征、所述三维面部特征和所述属性特征，将所述面部模板图像中的对象替换为所述源对象，得到目标面部图像。
相应的，本发明实施例提供一种面部图像处理装置，包括：
获取单元，用于获取源面部的面部图像和模板面部的面部模板图像，所述面部图像包括源对象；
提取单元，用于对所述面部图像和所述面部模板图像进行特征提取，得到所述源对象的图像纹理特征和所述面部模板图像中对象的属性特征；
融合单元，用于根据所述面部图像和所述面部模板图像，对所述源对象和所述面部模板图像中对象进行面部建模，以得到所述源对象的第一三维建模参数和所述面部模板图像中对象的第二三维建模参数，并将第一三维建模参数和第二三维建模参数进行融合，得到目标三维建模参数；
构建单元，用于根据所述目标三维建模参数构建三维面部图像，得到所述三维面部图像的三维面部特征；
替换单元，用于基于所述图像纹理特征、所述三维面部特征和所述属性特征，将所述面部模板图像中的对象替换为所述源对象，得到目标面部图像。
可选的，在一些实施例中，所述融合单元，具体可以用于在所述第一三维建模参数中提取出所述面部图像对应的面部形状参数；在所述第二三维建模参数中提取出所述面部模板图像对应的面部动作参数；将所述面部形状参数和面部动作参数进行融合，得到目标三维建模参数。
可选的，在一些实施例中，所述替换单元，具体可以用于将所述图像纹理特征和三维面部特征进行拼接，得到面部特征；采用训练后图像处理模型将所述面部特征和属性特征进行融合，得到融合后面部特征；基于所述融合后面部特征生成目标面部图像，所述目标面部图像为将所述面部模板图像中的对象替换为所述源对象的图像。
可选的，在一些实施例中，所述替换单元，具体可以用于构建所述融合后面部特征对应的面部蒙版，得到初始面部蒙版；将所初始面部蒙版、融合后面部特征和属性特征进行融合，得到目标面部特征；对所述目标面部特征进行调整，并构建调整后面部特征对应的面部蒙版，得到目标面部蒙版；基于所述目标面部蒙版和调整后面部特征生成目标面部图像。
可选的，在一些实施例中，所述替换单元，具体可以用于对所述属性特征进行特征转换，得到所述面部模板图像中对象的目标属性特征；根据所述初始面部蒙版，确定所述融合后面部特征和目标属性特征的加权参数；根据所述加权参数，对所述融合后面部特征和目标属性特征进行加权，并将加权后面部特征和加权后属性特征进行融合，得到目标面部特征。
可选的，在一些实施例中，所述替换单元，具体可以用于根据所述调整后面部特征生成初始面部图像，并在所述初始面部图像中筛选出所述目标面部蒙版内的图像，得到基础面部图像；在所述面部模板图像中识别出所述目标面部蒙版以外的图像，得到背景图像；将所述基础面部图像和背景图像进行融合，得到目标面部图像。
可选的，在一些实施例中，所述面部图像处理装置还可以包括训练单元，所述训练单元，具体可以用于获取面部图像样本集合，并在所述面部图像样本集合中筛选出至少一个图像样本对，所述图像样本对包括面部图像样本和面部模板图像样本；采用预设图像处理模型将所述面部模板图像样本中的对象替换为所述面部图像样本中的对象，得到预测面部图像；基于所述图像样本对和预测面部图像对所述预设图像处理模型进行收敛，得到训练后图像处理模型。
可选的，在一些实施例中，所述训练单元，具体可以用于采用预设图像处理模型对所述面部图像样本和面部模板图像进行特征提取，得到所述面部图像样本的图像样本纹理特征和所述面部模板图像样本中对象的样本属性特征；在所述面部图像样本和面部模板图像样本中分别识别出样本三维建模参数，并将识别到的所述样本三维建模参数进行融合，得到目标样本三维建模参数；根据所述目标样本三维建模参数构建样本三维面部图像，得到样本三维面部图像的样本三维面部特征，并将所述样本三维面部特征、图像样本纹理特征和样本属性特征进行融合，得到融合后样本面部特征；构建所述融合后样本面部特征对应的面部蒙版，得到初始样本面部蒙版，并基于所述初始样本面部蒙版、融合后样本面部特征和样本属性特征，生成预测面部图像。
可选的，在一些实施例中，所述训练单元，具体可以用于将所述初始样本面部蒙版、融合后样本面部特征和样本属性特征进行融合，得到目标样本面部特征；对所述目标样本面部特征进行调整，并构建调整后样本面部特征对应的面部蒙版，得到目标样本面部蒙版；基于所述目标样本面部蒙版和调整后样本面部特征生成预测面部图像。
可选的，在一些实施例中，所述训练单元，具体可以用于基于所述目标样本面部特征和初始样本面部蒙版生成初始预测面部图像；根据所述样本三维面部图像、初始预测面部图像和预测面部图像，确定所述图像样本对的形状损失信息；分别计算所述图像样本对中的面部图像样本与所述预测面部图像和初始预测面部图像的面部相似度，以得所述图像样本对的图像损失信息；基于所述初始样本面部蒙版和目标样本面部蒙版，确定所述图像样本对的分割损失信息；根据所述图像样本对、预测面部图像和初始预测面部图像，确定所述图像样本对的面部损失信息；将所述形状损失信息、图像损失信息、分割损失信息和面部损失信息进行融合，并基于融合后损失信息对预设图像处理模型进行收敛，得到训练后图像处理模型。
可选的，在一些实施例中，所述训练单元，具体可以用于获取所述样本三维面部图像的第一投影信息，并在所述第一投影信息中提取出面部轮廓的第一位置信息；构建所述初始预测面部图像和预测面部图像对应的目标三维面部图像，并获取所述目标三维面部图像的第二投影信息；在所述第二投影信息中提取出所述初始预测面部图像中面部轮廓的第二位置信息和预测面部图像中面部轮廓的第三位置信息，并根据第一位置信息、第二位置信息和第三位置信息，分别计算面部轮廓之间的距离，以得到所述图像样对的形状损失信息。
可选的，在一些实施例中，所述训练单元，具体可以用于获取所述图像样本对中面部模板图像样本的模板图蒙版；对所述模板图蒙版的尺寸进行调整，得到调整后模板图蒙版；分别计算所述调整后模板图蒙版与初始样本面部蒙版和目标样本面部蒙版的尺寸差值，并将所述尺寸差值进行融合，得到所述图像样本对的分割损失信息。
可选的，在一些实施例中，所述训练单元，具体可以用于分别计算所述图像样本对与所述预测面部图像和初始预测面部图像的相似度，以得到所述图像样本对的相似度损失信息；根据所述图像样本对中的面部模板图像样本、预测面部图像和初始预测面部图像，确定所述图像样本对的对抗损失信息和周期损失信息；将所述相似度损失信息、对抗损失信息和周期损失信息作为所述图像样本对的面部损失信息。
可选的，在一些实施例中，所述训练单元，具体可以用于当所述面部图像样本和面部模板图像样本中的对象为同一对象时，分别计算所述面部模板图像样本与预测面部图像和初始预测面部图像的空间相似度，以得到所述图像样本对的空间相似度损失信息；提取所述面部模板图像样本、预测面部图像和初始预测面部图像的图像特征，并计算所述图像特征之间的特征相似度，以得到所述图像样本对的特征相似度损失信息；将所述空间相似度损失信息和特征相似度损失信息作为所述图像样本对的相似度损失信息。
此外，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序实现本发明实施例提供的面部图像处理方法。
此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种面部图像处理方法中的步骤。
本申请实施例在获取源面部的面部图像和模板面部的面部模板图像后，对面部图像和面部模板图像进行特征提取，得到源对象的图像纹理特征和面部模板图像中对象的属性特征，然后，根据面部图像和面部模板图像，对源对象和面部模板图像中对象进行面部建模，以得到源对象的第一三维建模参数和面部模板图像中对象的第二三维建模参数，并将第一三维建模参数和第二三维建模参数进行融合，得到目标三维建模参数，根据目标三维建模参数构建三维面部图像，得到三维面部图像的三维面部特征；基于图像纹理特征、三维面部特征和属性特征，将面部模板图像中的对象替换为源对象，得到目标面部图像；由于该方案可以在面部图像和面部模板图像中识别出三维建模参数，并基于三维建模参数构建三维面部图像，从而得到三维面部特征，使得面部特征获得几何上的约束，而且，将三维面部特征、图像纹理特征和属性特征进行融合，可以使得替换后面部的结果更加真实，因此，可以提升面部图像处理的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像处理方法的场景示意图；
图2是本发明实施例提供的图像处理方法的流程示意图；
图3是本发明实施例提供的目标三维建模参数重组的示意图；
图4是本发明实施例提供的面部特征拼接的示意图；
图5是本发明实施例提供的生成目标面部图像的示意图；
图6是本发明实施例提供的确定形状损失信息的示意图；
图7是本发明实施例提供的训练后图像处理模型的整体示意图；
图8是本发明实施例提供的目标换脸后图像与现有技术的换脸后图像的效果对比示意图；
图9是本发明实施例提供的图像处理方法的另一流程示意图；
图10是本发明实施例提供的图像处理方法结构示意图；
图11是本发明实施例提供的图像处理方法的另一结构示意图；
图12是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种面部图像处理方法、装置和计算机可读存储介质。其中，该面部图像处理装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
例如，参见图1，以面部图像处理装置集成在电子设备中为例，电子设备在获取源面部的面部图像和模板面部的面部模板图像后，对面部图像和面部模板图像进行特征提取，得到源对象的图像纹理特征和面部模板图像中对象的属性特征，然后，根据面部图像和面部模板图像，对源对象和面部模板图像中对象进行面部建模，以得到源对象的第一三维建模参数和面部模板图像中对象的第二三维建模参数，并将第一三维建模参数和第二三维建模参数进行融合，得到目标三维建模参数，根据目标三维建模参数构建三维面部图像，得到三维面部图像的三维面部特征；基于图像纹理特征、三维面部特征和属性特征，将面部模板图像中的对象替换为源对象，得到目标面部图像，进而提升面部图像处理的准确性。
其中，面部图像处理的过程可以看作是将面部模板图像中的对象替换为源亮，可以理解为对面部模板图像中脸部对象进行换脸，以面部为人脸为例，所谓换脸指的是将面部模板图中人脸身份换成源图中的人，同时保持面部模板图中的人脸的姿态、表情、妆容和背景等元素不变。通常可以应用在影视制作、游戏娱乐和电商销售等场景下。
其中，需说明的是，本申请实施例提供的图像处理方法涉及到人工智能领域的计算机视觉技术，即在本申请实施例中，可以利用人工智能的计算机视觉技术将面部模板图像中的对象替换为面部图像的源对象，得到目标面部图像。
所谓人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
其中，计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
以下分别进行详细说明。需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从面部图像处理装置的角度进行描述，该面部图像处理装置具体可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备；其中，该终端可以包括平板电脑、笔记本电脑、以及个人计算机(PC，Personal Computer)、可穿戴设备、虚拟现实设备或其他可以进行面部图像处理的智能设备等设备。
一种面部图像处理方法，包括：
获取源面部的面部图像和模板面部的面部模板图像，该面部图像包括源对象，对面部图像和面部模板图像进行特征提取，得到源对象的图像纹理特征和面部模板图像中对象的属性特征，根据面部图像和面部模板图像，对源对象和面部模板图像中对象进行面部建模，以得到源对象的第一三维建模参数和面部模板图像中对象的第二三维建模参数，并将第一三维建模参数和第二三维建模参数进行融合，得到目标三维建模参数；根据目标三维建模参数构建三维面部图像，得到三维面部图像的三维面部特征；基于图像纹理特征、三维面部特征和属性特征，将面部模板图像中的对象替换为源对象，得到目标面部图像。
如图2所示，该图像处理方法的具体流程如下：
101、获取源面部的面部图像和模板面部的面部模板图像。
其中，面部图像包括源对象，所谓源对象可以为面部图像中包含对象，以面部图像为人脸图像为例，则源对象就可以为该人脸图像对应的人。源面部为提供面部对象替换的面部对象源，与之相对应的是模板面部，该模板面部中包含了需要替换的面部对象以及需要保持的面部背景等其他元素。
其中，获取面部图像和面部模板图像的方式可以有多种，比如，可以直接获取面部图像和面部模板图像，或者，当面部图像和面部模板图像的数量较多或者内存较大时，还可以间接获取面部图像和面部模板图像，具体可以如下：
(1)直接获取面部图像和面部模板图像
例如，可以直接接收用户上传的原始面部图像和原始面部图像对应的图像处理信息，根据图像处理信息，在原始面部图像中筛选出源面部的面部图像和模板面部的面部模板图像，或者，在图像数据库或者网络上获取面部图像对，在面部图像对中任意筛选出一个面部图像作为源面部的面部图像，将面部图像对中的另一个面部图像作为面部模板图像。
(2)间接获取面部图像和面部模板图像
例如，可以接收终端发送的图像处理请求，该图像处理请求中携带原始面部图像的存储地址和图像处理信息，根据存储地址，在内存、缓存或第三方数据库中获取原始面部图像，根据图像处理信息，在原始面部图像中筛选出源面部的面部图像和模板面部的面部模板图像。
可选的，在成功获取到原始面部图像之后，还可以向终端发送提示信息，以提示终端成功获取到原始面部图像。
可选的，在成功获取到原始面部图像之后，还可以对原始面部图像中进行预处理，从而得到面部图像和面部模板图像，预处理的方式可以有多种，比如，可以将原始面部图像的尺寸调整为预设尺寸，或者，还可以使用面部关键点配准将原始面部图像中面部对象对齐到统一位置。
102、对面部图像和面部模板图像进行特征提取，得到源对象的图像纹理特征和面部模板图像中对象的属性特征。
其中，图像纹理特征可以为面部图像纹理上的身份特征。
其中，特征提取的方式可以有多种，具体可以如下：
例如，可以采用训练后图像处理模型的编码器网络对面部模板图像进行特征编码，得到面部模板图像中对象的属性特征，采用训练后图像处理模型的面部识别网络对面部图像进行特征提取，得到源对象的图像纹理特征。
其中，编码器网络的结构可以有多种，比如，可以为多个残差块(Res-Block)堆叠起来的残差网络，具体的堆叠数量可以根据实际应用来进行设定，譬如，可以为8个或者任意数值，或者，还可以为多个卷积层和激活层组成的编码块。
103、根据面部图像和面部模板图像，对源对象和面部模板图像中对象进行面部建模，以得到源对象的第一三维建模参数和面部模板图像中对象的第二三维建模参数，并将第一三维建模参数和第二三维建模参数进行融合，得到目标三维建模参数。
其中，三维建模参数可以为构建面部三维图像(模型)的参数，三维建模参数包括面部形状参数和面部动作参数，面部动作参数可以包括表情参数和姿态参数。基于该三维建模参数可以通过3DMM(三维面部重建模型)或者其他三维面部重建模型来构建面部的三维模型。
其中，对源对象和面部模板图像中对象进行面部建模并融合三维建模参数的方式可以有多种，具体可以如下：
例如，可以采用三维面部重建模型对面部图像和面部模板图像进行回归，从而对源对象和面部模板图像中对象进行面部建模，并在构建好的面部模型中获取源对象的第一三维建模参数和面部模板图像中对象的第二三维建模参数，在第一三维建模参数中提取出面部图像对应的面部形状参数，在第二三维建模参数中提取出面部模板图像对应的面部动作参数，将面部形状参数和面部动作参数进行融合，得到目标三维建模参数。
其中，在构建好的面部模型中获取第一三维建模参数和第二三维建模参数的方式可以有多种，比如，可以直接在源对象的面部模型中提取出第一三维建模参数，在面部模板图像中对象的面部模型中提取出第二三维建模参数，或者，还可以将面部模型转换为三维建模参数，从而得到第一三维建模参数和第二三维建模参数。
在获取第一三维建模参数和第二三维建模参数之后，便可以将第一三维建模参数和第二三维建模参数进行融合，融合的过程其实可以看作是将三维建模参数进行重组，在面部图像的第一三维建模参数中提取出面部形状参数，在面部模板图像的第二三维建模参数中提取出面部动作参数，将面部形状参数和面部动作参数进行融合，融合的过程可以有多种，比如，可以直接进行拼接和组合，或者，还可以获取面部形状参数和面部动作参数的加权参数和基础建模参数，根据加权参数，对面部形状参数和面部动作参数进行加权，并将加权后的面部形状参数和面部动作参数与基础建模参数进行融合，从而得到目标三维建模参数，具体可以如公式(1)所示：
其中，S为目标三维建模参数，α和β为加权参数，
为基础建模参数。
其中，目标三维建模参数可以看作是将面部图像中源对象的面部形状和面部模板图像中对象的表情和姿态进行重组，具体可以如图3所示，重组后的目标三维建模参数在几何特征中兼顾了面部图像中的源对象的面部形状和面部模板图像中对象的表情和姿态，从而可以提升面部形状的相似度。
104、根据目标三维建模参数构建三维面部图像，得到三维面部图像的三维面部特征。
其中，三维面部图像可以为基于目标三维建模参数构建的三维模型的面部图像。
其中，三维面部特征可以为三维面部图像中包含的面部图像的形状特征和面部模板图像的动作(表情和姿态)特征。
其中，构建三维面部图像的方式可以有多种，具体可以如下：
例如，可以通过三维面部重建模型构建目标三维建模参数对应的三维面部模型，得到三维面部图像，获取三维面部模型的三维特征，将三维特征作为三维面部图像的三维面部特征，或者，可以通过三维面部重建模型构建目标三维建模参数对应的三维面部模型，对三维面部模型进行调整，譬如，可以进行局部拟合或者优化等，得到三维面部图像，获取调整后的三维面部模型的三维特征，将三维特征作为三维面部图像的三维面部特征。
105、基于图像纹理特征、三维面部特征和属性特征，将面部模板图像中的对象替换为源对象，得到目标面部图像。
例如，可以将图像纹理特征和三维面部特征进行拼接，得到面部特征，采用训练后图像处理模型将面部特征和属性特征进行融合，得到融合后面部特征，基于融合后面部特征生成目标面部图像，该目标面部图像为将面部模板图像中的对象替换为源对象的图像，具体可以如下：
S1、将图像纹理特征和三维面部特征进行拼接，得到面部特征。
例如，可以直接将图像纹理特征和三维面部特征进行拼接，从而得到面部特征，或者，可以获取图像纹理特征和三维面部特征的加权参数，根据加权参数对图像纹理特征和三维面部特征进行加权，并将加权后的图像纹理特征和三维面部特征进行融合，得到面部特征，或者，还可以获取图像纹理特征和三维面部特征的特征深度，将特征深度调整为统一的目标特征深度，基于目标特征深度，将图像纹理特征和三维面部特征进行拼接，得到面部特征。
其中，拼接得到的面部特征可以为对面部形状(脸型)敏感的身份特征，主要是因为三维面部特征中添加了面部形状的几何约束，如图4所示，三维面部特征中的面部形状的约束为源面部的面部图像中的面部形状的约束。
S2、采用训练后图像处理模型将面部特征和属性特征进行融合，得到融合后面部特征。
例如，可以采用训练后图像处理模型的解码器网络对面部特征和属性特征进行解码，并将解码后的面部特征和属性特征进行融合，得到融合后面部特征。
其中，解码器网络的结构可以有多种，比如，可以为多个Res-Block堆叠的残差网络，或者，可以为包含AdaIN(风格迁移)层的多个Res-Block堆叠的网络，或者，还可以为多个卷积层和激活层组成的解码块。
其中，Res-Block或者包含AdaIN层的Res-Block的堆叠数量可以根据实际应用来进行设定，比如，可以为5个或者任意数量。
S3、基于融合后面部特征生成目标面部图像。
例如，可以构建融合后面部特征对应的面部蒙版，得到初始面部蒙版，将初始面部蒙版、融合后面部特征和属性特征进行融合，得到目标面部特征，对目标面部特征进行调整，并构建调整后面部特征对应的面部蒙版，得到目标面部蒙版，基于目标面部蒙版和调整后面部特征生成目标面部图像，具体可以如下：
(1)构建融合后面部特征对应的面部蒙版，得到初始面部蒙版。
例如，可以采用语义分割网络对融合后面部特征进行特征提取，并基于提取出的语义特征，在面部图像或面部模板图像中识别出分割区域，并基于分割区域，对面部图像或面部模板图像进行分割，并将分割出面部图像进行遮挡处理，从而得到初始面部蒙版，或者，可以采用语义分割网络对融合后面部特征进行特征提取，并基于提取出的语义特征，直接生成初始面部蒙版。
(2)将初始面部蒙版、融合后面部特征和属性特征进行融合，得到目标面部特征。
例如，可以对属性特征进行特征转换，得到面部模板图像中对象的目标属性特征，根据初始面部蒙版，确定融合后面部特征和目标属性特征的加权参数，根据加权参数，对融合后面部特征和目标属性特征进行加权，并将加权后面部特征和加权后属性特征进行融合，得到目标面部特征。
其中，对属性特征进行特征转换的方式可以有多种，比如，可以采用一个或多个Res-Block对属性特征进行特征转换，得到面部模板图像中对象的目标属性特征。
在对属性特征进行特征转换之后，便可以确定加权参数，确定的方式可以有多种，比如，在面部图像或面部模板图像中筛选出初始面部蒙版以外的区域，得到目标图像区域，根据初始面部蒙版和目标图像区域确定加权参数。
其中，将加权后面部特征和加权后属性特征进行融合，融合的过程可以多种，比如，可以直接将加权后面部特征和加权后属性特征相加，得到目标面部特征，具体可以公式(2)所示：
zfuse＝Mlow⊙zdec+(1-Mlow)⊙σ(zenc) (2)
其中，Mlow为初始面部蒙版，zdec为融合后面部特征，zenc为属性特征，σ为一个Res-Block结构。
(3)对目标面部特征进行调整，并构建调整后面部特征对应的面部蒙版，得到目标面部蒙版。
例如，可以采用上采样结构对目标面部特征进行调整，得到调整后面部特征，采用语义分割网络构建调整后面部特征对应的面部蒙版，得到目标面部蒙版。
其中，采用上采样结构对目标面部特征进行调整的方式可以有多种，比如，可以采用一个或多个Res-Block组成的上采样结构对目标面部特征的尺寸进行放大，放大至预设尺寸，得到调整后面部特征，从而可以提升目标面部特征的分辨率。
在对目标面部特征进行调整之后，便可以构建调整后面部特征对应的面部蒙版，构建的方式可以有多种，比如，可以采用语义分割网络对调整后面部特征进行特征提取，并基于提取出的语义特征，在面部图像或面部模板图像中识别出分割区域，并基于分割区域，对面部图像或面部模板图像进行分割，并将分割出面部图像进行遮挡处理，从而得到目标面部蒙版，或者，可以采用语义分割网络对调整后面部特征进行特征提取，并基于提取出的语义特征，直接生成目标面部蒙版。
(4)基于目标面部蒙版和调整后面部特征生成目标面部图像。
例如，可以根据调整后面部特征生成初始面部图像，并在初始面部图像中筛选出目标面部蒙版内的图像，得到基础面部图像，在面部模板图像中识别出目标面部蒙版以外的图像，得到背景图像，将基础面部图像和背景图像进行融合，得到目标面部图像。
其中，将基础面部图像和背景图像进行融合的过程可以有多种，比如，可以将基础面部图像和背景图像进行拼接，从而得到目标面部图像，具体可以如公式(3)所示：
Ir＝Mr⊙Iout+(1-Mr)⊙It (3)
其中，Ir为目标面部图像，Mr为目标面部蒙版，Iout为初始面部图像，It为面部模板图像。
可选的，还可以将基础面部图像和背景图像的尺寸进行调整，将调整尺寸后的基础面部图像和背景图像进行叠加，从而得到目标面部图像。
其中，基于融合后面部特征生成目标面部图像的过程可以如图5所示，通过训练后图像处理模型中的面部语义融合模块将解码器网络输出的融合后面部特征、浅层编码特征(属性特征)和融合后面部特征对应的初始面部蒙版进行语义融合，从而目标面部特征，在对目标面部特征进行上采样的尺寸调整，基于调整后面部特征生成目标面部蒙版，基于目标面部蒙版和调整后面部特征就可以生成目标面部图像。
其中，该训练后图像处理模型可以根据实际应用的需求进行设置，另外，需要说明的是，该训练后图像处理模型可以由维护人员预先进行设置，也可以由图像处理装置自行进行训练，即步骤“采用训练后图像处理模型将所述面部特征和属性特征进行融合，得到融合后面部特征”之前，该图像处理方法还可以包括：
获取面部图像样本集合，并在面部图像样本集合中筛选出至少一个图像样本对，该图像样本对包括面部图像样本和面部模板图像样本，采用预设图像处理模型将面部模板图像样本中的对象替换为面部图像样本中的对象，得到预测面部图像，基于图像样本对和预测面部图像对预设图像处理模型进行收敛，得到训练后图像处理模型，具体可以如下：
(1)获取面部图像样本集合，并在面部图像样本集合中筛选出至少一个图像样本对。
其中，图像样本对包括面部图像样本和面部模板图像样本。
其中，获取面部图像样本集合的方式可以有多种，具体可以如下：
例如，可以获取多张原始面部图像样本，对原始图像样本进行预处理，得到面部图像样本集合，在面部图像样本集合中任意筛选出两个面部图像样本，并在面部图像样本中指定任一图像为面部图像样本，则另一张图像样本就可以为面部模板图像样本，从而得到图像样本对。
其中，预处理方式可以有多种，比如，可以采用面部关键点配准将原始突显样本中的面部对齐到统一位置，并将对齐后的原始图像样本的尺寸调整为预设尺寸，从而得到图像样本集合，预设尺寸可以根据实际应用进行设定，比如，可以为256×256或者其他尺寸。
(2)采用预设图像处理模型将面部模板图像样本中的对象替换为面部图像样本中的对象，得到预测面部图像。
例如，可以采用预设图像处理模型对面部图像样本和面部模板图像进行特征提取，得到面部图像样本的图像样本纹理特征和面部模板图像样本中对象的样本属性特征，在面部图像样本和面部模板图像样本中分别识别出样本三维建模参数，并将识别到的样本三维建模参数进行融合，得到目标样本三维检测参数，根据目标样本三维建模参数构建样本三维面部图像，得到样本三维面部图像的样板三维面部特征，并将样本三维面部特征、图像样本纹理特征和样本属性特征进行融合，得到融合后样本面部特征，构建融合后样本面部特征对应的面部蒙版，得到初始样本面部蒙版，并基于初始样本面部蒙版、融合后样本面部特征和样本属性特征，生成预测面部图像。
其中，对面部图像样本和面部模板图像进行特征提取、别出样本三维建模参数、融合样板三维建模参数、将样本三维面部特征、图像样本纹理特征和样本属性特征进行融合和构建融合后样本面部特征对应的面部蒙版等步骤可以参见上文，在此就不再一一赘述。
其中，生成预测面部图像的方式可以有多种，比如，可以将初始样本面部蒙版、融合后样本面部特征和样本属性特征进行融合，得到目标样本面部特征，对目标样本面部特征进行调整，并构建调整后样本面部特征对应的面部蒙版，得到目标样本面部蒙版，基于目标样本面部蒙版和调整后样本面部特征生成预测面部图像，具体可以参见上文，在此就不再一一赘述。
(3)基于图像样本对和预测面部图像对预设图像处理模型进行收敛，得到训练后图像处理模型。
例如，可以基于目标样本面部特征和初始样本面部蒙版生成初始预测面部图像，根据样本三维面部图像、初始预测面部图像和预测面部图像，确定图像样本对的形状损失信息，分别计算图像样本对中的面部图像样本与预测面部图像和初始预测面部图像的面部相似度，以得图像样本对的图像损失信息，基于初始样本面部蒙版和目标样本面部蒙版，确定图像样本对的分割损失信息，根据图像样本对、预测面部图像和初始预测面部图像，确定图像样本对的面部损失信息，将形状损失信息、图像损失信息、分割损失信息和面部损失信息进行融合，并基于融合后损失信息对预设图像处理模型进行收敛，得到训练后图像处理模型，具体可以如下：
C1、基于目标样本面部特征和初始样本面部蒙版生成初始预测面部图像。
例如，可以根据目标样本面部特征生成初始面部样本图像，并在候选面部图像中筛选出初始样本面部蒙版内的图像，得到基础面部样本图像，在面部模板图像样本中筛选出初始样本面部蒙版以外的图像，得到背景样本图像，将背景样本图像和基础面部样本图像进行融合，得到初始预测面部图像，具体可以参见上文，在此就不再一一赘述。
C2、根据样本三维面部图像、初始预测面部图像和预测面部图像，确定图像样本对的形状损失信息。
例如，可以获取样本三维面部图像的第一投影信息，并在第一投影信息中提取出面部轮廓的第一位置信息，构建初始预测面部图像和预测面部图像对应的目标三维面部图像，并获取目标三维面部图像的第二投影信息，在第二投影信息中提取出初始预测面部图像中面部轮廓的第二位置信息和预测面部图像中面部轮廓的第三位置信息，并根据第一位置信息、第二位置信息和第三位置信息，分别计算面部轮廓之间的距离，以得到图像样本对的形状损失信息。
其中，获取样本三维面部图像的第一投影信息的方式，可以有多种，比如，可以利用三维渲染器获取样本三维面部图像在预设角度系数下的2D投影，得到第一投影信息，其中，三维渲染器可以有多种，比如，可以为pytorch3d(一种三维渲染器)或者其他三维渲染器。
获取第一投影信息之后，便可以在第一投影信息中提取出面部轮廓的第一位置信息，提取的方式可以有多种，比如，可以在2D投影中获取面部轮廓的多个轮廓点的位置，从而得到面部轮廓的第一位置信息，轮廓点的数量可以为18或者其他数量。
其中，构建目标三维面部图像的方式可以有多种，比如，可以采用面部三维重建模型重建初始预测面部图像和预测面部图像对应的目标三维面部图像，重建方式可以参见上文，在此就不再一一赘述。
在构建目标三维面部图像之后，便可以获取目标三维面部图像的第二投影信息，并在第二投影信息中提取出初始预测面部图像中面部轮廓的第二位置信息和在第三投影信息中提取出预测面部图像中面部轮廓的第三位置信息，具体可以参见上文，在此就不再一一赘述。
在提取后面部轮廓的第二位置信息和第三位置信息之后，便可以计算面部轮廓之间的距离，从而得到图像样本对的形状损失信息，计算的方式可以有多种，比如，可以根据第一位置信息、第二位置信息和第三位置信息，分别计算面部轮廓之间的距离，譬如，计算第一位置信息和第二位置信息中同一个面部轮廓的轮廓点之间的位置差值，并计算第一位置信息和第三位置信息中同一面部轮廓的轮廓点之间的位置差值，然后，再计算位置差值的平均值，从而得到图像样本对的形状损失信息，具体可以如公式(4)所示：
其中，Lshape为第一形状损失信息，N为面部轮廓的轮廓点的数量，
为第一位置信息中面部轮廓的轮廓点的位置，
为第二位置信息中同一轮廓点的位置，
为第三位置信息中同一轮廓点的位置。
其中，图像样本对的形状损失信息可以看作是三维面部图像与初始预测面部和预测面部图像对应的三维面部模型对应的面部轮廓之间的距离，具体可以如图6所示。
C3、分别计算图像样本对中的面部图像样本与预测面部图像和初始预测面部图像的面部相似度，以得图像样本对的图像损失信息。
例如，可以采用预训练的面部识别特征抽取器抽取面部图像样本、预测面部图像和初始预测面部图像中的面部特征，计算面部图像样本与预测面部图像的面部特征之间的余弦相似度，从而得到面部图像样本与预测面部图像之间的第一面部相似度，具体可以如公式(5)所示：
Lid1＝1-cos(vid(Is),vid(Ir)) (5)
其中，Lid1为第一面部相似度，vid为预训练的面部识别特征抽取器，Is为面部图像样本，Ir为预测面部图像。
计算面部图像样本与初始预测面部图像之间的第二面部相似度，具体计算过程参见上文，在此就不再一一赘述。然后，将第一面部相似度和第二面部相似度进行融合，从而得到图像损失信息，融合的方式可以有多种，比如，可以直接将第一面部相似度和第二面部相似度相加，从而得到图像损失信息，具体可以如公式(6)所示：
Lid＝(1-cos(vid(Is),vid(Ir)))+(1-cos(vid(Is),vid(Ilow)))(6)
其中，Lid为图像损失信息，vid为预训练的面部识别特征抽取器，Is为面部图像样本，Ir为预测面部图像，Ilow为初始预测图像。
可选的，融合的方式还可以为获取第一面部相似度和第二面部相似度的加权参数，根据加权参数对第一面部相似度和第二面部相似度进行加权，并将加权后的第一面部相似度和第二面部相似度进行融合，得到图像损失信息。
C4、基于初始样本面部蒙版和目标样本面部蒙版，确定图像样本对的分割损失信息。
例如，获取图像样本对中面部模板图像样本的模板图蒙版，对模板图蒙版的尺寸进行调整，得到调整后模板图蒙版，分别计算调整后模板图蒙版与初始样本面部蒙版和目标样本面部蒙版的尺寸差值，并将尺寸差值进行融合，得到图像样本对的分割损失信息。
其中，获取图像样本对中面部模板图像样本的模板图蒙版的方式可以有多种，比如，可以采用训练后的语义分割网络预测图像样本对中面部模板图像样本的模板图蒙版，或者，还可以在面部模板图像中提取出蒙版特征，根据蒙版特征，在预设蒙版集合中筛选出面部模板图像样本对应的蒙版，得到模板图蒙版。
在获取到模板图蒙版之后，便可以对模板图蒙版的尺寸进行调整，调整的方式可以有多种，比如，为了能满足面部的脸型的变化需求，可以将模板图蒙版向外膨胀预设数量的像素，譬如，可以为15个像素或者其他数量的像素。
在得到调整后模板图蒙版之后，就可以分别计算调整后模板图蒙版与初始样本面部蒙版和目标样本面部蒙版的尺寸差值，并将尺寸差值进行融合，从而得到图像样本对的分割损失信息，具体可以如公式(7)所示：
Lseg＝‖R(Mtar)-Mlow‖1+‖Mtar-Mr‖1 (7)
其中，Lseg为分割损失信息，R(Mtar)为调整后模板图蒙版，Mtar为模板图蒙版，Mlow为初始样本面部蒙版，Mr为目标样本面部蒙版。
C5、根据图像样本对、预测面部图像和初始预测面部图像，确定图像样本对的面部损失信息。
例如，可以分别计算图像样本对于预测面部图像和初始预测面部图像的相似度，以得到图像样本对的相似度损失信息，根据图像样本对中的面部模板图像样本、预测面部图像和初始预测面部图像，确定图像样本对的对抗损失信息和周期损失信息，将相似度损失信息、对抗损失信息和周期损失信息作为图像样本对的面部损失信息。
其中，计算图像样本对的相似度损失信息的方式可以有多种，比如，当面部图像样本和面部模板图像样本中的对象为同一对象时，分别计算面部模板图像样本与预测面部图像和初始预测面部图像的空间相似度，以得到图像样本对的空间损失信息，提取面部模板图像样本、预测面部图像和初始预测面部图像的图像特征，并计算图像特征之间的特征相似度，以得到图像样本对的特征相似度损失信息，将空间相似度损失信息和特征相似度损失信息作为图像样本对的相似度损失信息。
其中，空间相似度可以理解为面部图像样本与预测面部图像和初始预测面部图像在图像RGB(颜色通道)空间的相似度约束，计算该空间相似度的方式可以有多种，比如，可以采用L1范数计算面部图像样本与预测面部图像的第一空间相似度，以及面部图像样本与初始预测面部图像的第二空间相似度，将第一空间相似度和第二空间相似度进行融合，得到图像样本对的空间相似度损失信息具体可以如公式(8)所示：
Lrec＝||Ir-It||1+||Ilow-R(It)||1 (8)
其中，Lrec为空间相似度损失信息，Ir为预测面部图像，It为面部图像样本，Ilow为初始预测面部图像，R(It)为缩放后的面部图像，其尺寸(分辨率)与初始预测面部图像的尺寸(分辨率)相同。
其中，特征相似度也可以称为感知相似度，主要用于表示同一个对象在不同图像的在每一个特征层输入的特征之间的相似度，计算该特征相似度的方式可以有多种，比如，可以采用特征提取网络提取面部模板图像样本、预测面部图像和初始预测面部图像的图像特征，得到特征提取网络的每一个特征层输出的图像特征，计算面部模板图像样本和预测面部图像在同一个特征层输出的图像特征的特征差值，然后，将该特征差值和图像特征的特征尺寸进行融合，从而得到第一特征相似度，具体可以如公式(9)所示：
其中，Lperceptual为第一特征相似度，CiHiWi为第i层图像特征的尺寸，Fi(Ir)为预测面部图像在第i层的图像特征，Fi(It)为面部模板图像样本在第i层的图像特征。
计算面部模板图像样本和初始预测面部图像在同一特征层输出的图像特征的特征差值，从而得到第二特征相似度，具体过程可以参见上文，在此就不再一一赘述。将第一特征相似度和第二特征相似度进行融合，得到图像样本对的特征相似度损失信息，融合的方式可以有多种，比如，可以直接将第一特征相似度和第二特征相似度相加，得到特征相似度损失信息，或者，还可以获取第一特征相似度和第二特征相似度的加权系数，根据加权系数将第一特征相似度和第二特征相似度进行加权，并将加权后的第一特征相似度和第二特征相似度进行融合，得到特征相似度损失信息。
其中，对抗损失信息的计算方式可以有多种，比如，可以采用对抗网络分别计算面部模板图像和预测面部图像的第一对抗参数，基于第一对抗参数，确定第一对抗损失信息，具体可以如公式(10)所示：
其中，Ladv为第一对抗损失信息，
为面部模板图像的期望值，It为面部模板图像样本，
为生成的预测面部图像的期望值，G(It,Is)为预测面部图像，D(It)和D(G(It,Is)为第一对抗参数。
采用对抗网络分别计算面部模板图像和初始预测面部图像的第二对抗参数，基于第二对抗参数，确定第二对抗损失信息，确定过程参见上文。将第一对抗损失信息和第二对抗损失信息进行融合，得到对抗损失信息，融合的过程可以有多种，比如，可以直接将第一对抗损失信息和第二对抗损失信息相加，得到对抗损失信息，或者，还可以获取第一对抗损失信息和第二对抗损失信息的加权参数，根据加权参数，将第一对抗损失信息和第二对抗损失信息进行加权，并将加权后的第一对抗损失信息和第二对抗损失信息进行融合，得到对抗损失信息。
其中，周期损失信息的计算方式也可以有多种，比如，可以采用L1范数计算面部模板图像样本与图像处理后得到的预测面部图像的范数，从而得到图像样本对的周期损失信息，具体可以如公式(11)所示：
Lcyc＝||It-G(Ir,It)||1 (11)
其中，Lcyc为周期损失信息，It为面部模板图像样本，Ir为预测面部图像，G为图像处理函数。
C6、将形状损失信息、图像损失信息、分割损失信息和面部损失信息进行融合，并基于融合后损失信息对预设图像处理模型进行收敛，得到训练后图像处理模型。
例如，将形状损失信息和图像损失信息进行融合，得到第一损失信息，将分割损失信息和面部损失信息进行融合，得到第二损失信息，将第一损失信息和第二损失信息进行融合，得到融合后损失信息。基于融合后损失信息对预设图像处理模型进行收敛，得到训练后图像处理模型。
其中，将形状损失信息和图像损失信息进行融合的方式可以有多种，比如，可以获取形状损失信息和图像损失信息的第一加权参数，根据第一加权参数对形状损失信息和图像损失信息进行加权，并将加权后的形状损失信息和图像损失信息进行融合，得到第一损失信息，具体可以如公式(12)所示：
Lsid＝λshapeLshape+λidLid (12)
其中，Lsid为第一损失信息，λshape和λid为第一加权参数，Lshape为形状损失信息，Lid为图像损失信息。第一加权参数可以根据实际应用进行设定，比如，形状损失信息的第一加权参数可以为5或者其他任意数值，图像损失信息的第一加权参数可以为0.5或者其他数值。
其中，将分割损失信息和面部损失信息进行融合的方式也可以有多种，比如，可以获取分割损失信息和面部损失信息的第二加权参数，根据第二加权参数对分割损失信息和面部损失信息进行加权，并将加权后的分割损失信息和面部损失信息进行融合，得到第二损失信息，具体可以如公式(13)所示：
Lreal＝Ladv+λ0Lseg+λ1Lrec+λ2Lcyc+λ3Llpips (13)
其中，Lreal为第二损失信息，Ladv为对抗损失信息，Lseg为分割损失信息，Lrec为空间相似度损失信息，Lcyc为周期损失信息，Lkpips为特征相似度损失信息，λ0、λ1、λ2、λ3分别为第二加权参数，第二加权参数可以根据实际应用进行设定，比如，λ0可以为100，λ1为20，λ2为1，λ3为5，也可以为其他任意值。
在得到第一损失信息和第二损失信息之后，便可以将第一损失信息和第二损失信息进行融合，得到融合后损失信息，融合的方式也可以有多种，比如，可以直接将第一损失信息和第二损失信息相加，得到融合后损失信息，具体可以如公式(14)所示：
L＝Lsid+Lreal (14)
其中，L为融合后损失信息，Lsid为第一损失信息，Lreal为第二损失信息。
在得到融合后损失信息之后，便可以基于融合后损失信息对预设图像处理模型进行收敛，得到训练后图像处理模型，收敛的方式可以有多种，比如，可以采用梯度下降算法根据融合后损失信息对预设图像处理模型的网络参数进行更新，以收敛预设图像处理模型，得到训练后图像处理模型，或者，还可以采用其他收敛算法根据融合后损失信息对预设图像处理模型的网络参数进行更新，以收敛预设图像处理模型，得到训练后图像处理模型。
其中，需要说明的是，训练后图像处理模型整体采用基于生成对抗网络的方案，并在基础上为生成器提出了两个新的模块，利用三维方法与语义分割来加强脸型变化与真实感。如图7所示，该模型的生成器主要由四个部分构成，分别是编码器，解码器，脸型敏感的面部特征提取器和面部语义融合模块，编码器用于提取面部模板图像的属性特征，解码器用于将面部特征和属性特征进行融合。脸型敏感的面部特征提取器用于生成面部特征，面部语义融合模块用于生成目标面部图像，完成将面部模板图像中的对象替换为源对象的换脸过程。
以面部图像为人脸为例，通过本方案对面部图像和面部模板图像的处理，得到目标换脸后图像，将目标换脸后图像与现有技术(FaceSwap、FaceShifter和SimSwap)得到的换脸后图像的图像效果可以直接进行对比，对比结果可以如图8所示。将目标换脸后图像与现有技术的换脸后图像进行面部鉴定定量实验，实验数据如表(1)所示，通过实验可以发现，本方案得到的目标换脸后图像可以很好地保留源面部的形状、目标属性，并具有更高的图像质量。
表(1)
| 方法 | ID↑ | 姿态↓ | 形状↓ |
| 现有技术1 | 54.19 | 2.51 | 0.610 |
| 现有技术2 | 97.38 | 2.96 | 0.511 |
| 现有技术3 | 92.83 | 1.53 | 0.540 |
| 本方案 | 98.48 | 2.63 | 0.540 |
由以上可知，本申请实施例在获取源面部的面部图像和模板面部的面部模板图像后，对面部图像和面部模板图像进行特征提取，得到源对象的图像纹理特征和面部模板图像中对象的属性特征，然后，根据面部图像和面部模板图像，对源对象和面部模板图像中对象进行面部建模，以得到源对象的第一三维建模参数和面部模板图像中对象的第二三维建模参数，并将第一三维建模参数和第二三维建模参数进行融合，得到目标三维建模参数，根据目标三维建模参数构建三维面部图像，得到三维面部图像的三维面部特征，然后，基于图像纹理特征、三维面部特征和属性特征，将面部模板图像中的对象替换为源对象，得到目标面部图像；由于该方案可以在面部图像和面部模板图像中识别出三维建模参数，并基于三维建模参数构建三维面部图像，从而得到三维面部特征，使得面部特征获得几何上的约束，而且，将三维面部特征、图像纹理特征和属性特征进行融合，可以使得替换后面部的结果更加真实，因此，可以提升面部图像处理的准确性。
根据上面实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，将以该图像处理装置具体集成在电子设备，电子设备为服务器，面部图像为人脸图像为例进行说明。
(一)服务器对预设图像处理模型进行训练，得到训练后图像处理模型
(1)服务器获取人脸图像样本集合，并在人脸图像样本集合中筛选出至少一个图像样本对。
例如，可以获取多张原始人脸图像样本，采用面部关键点配准将原始突显样本中的面部对齐到统一位置，并将对齐后的原始人脸图像样本的尺寸调整为256×256，从而得到人脸图像样本集合。在人脸图像样本集合中任意筛选出两张图像样本，并在图像样本中指定任一图像为人脸图像样本，则另一张图像样本就可以为人脸模板图像样本，从而得到图像样本对。
(2)服务器采用预设图像处理模型将人脸模板图像样本中的对象替换为人脸图像样本中的对象，得到预测人脸图像。
例如，服务器可以采用预设图像处理模型对人脸图像样本和人脸模板图像样本进行特征提取，得到人脸图像样本的图像样本纹理特征和人脸模板图像样本中对象的样本属性特征，在人脸图像样本和人脸模板图像样本中分别识别出样本三维建模参数，并将识别到的样本三维建模参数进行融合，得到目标样本三维检测参数，根据目标样本三维建模参数构建样本三维人脸图像，得到样本三维人脸图像的样板三维面部特征，并将样本三维面部特征、图像样本纹理特征和样本属性特征进行融合，得到融合后样本面部特征，构建融合后样本面部特征对应的面部蒙版，得到初始样本面部蒙版。将初始样本面部蒙版、融合后样本面部特征和样本属性特征进行融合，得到目标样本面部特征，对目标样本面部特征进行调整，并构建调整后样本面部特征对应的面部蒙版，得到目标样本面部蒙版，基于目标样本面部蒙版和调整后样本面部特征生成预测人脸图像。
(3)服务器基于图像样本对和预测人脸图像对预设图像处理模型进行收敛，得到训练后图像处理模型。
例如，服务器可以基于目标样本面部特征和初始样本面部蒙版生成初始预测人脸图像，根据样本三维人脸图像、初始预测人脸图像和预测人脸图像，确定图像样本对的形状损失信息，基于初始样本面部蒙版和目标样本面部蒙版，确定图像样本对的分割损失信息，根据图像样本对、预测人脸图像和初始预测人脸图像，确定图像样本对的面部损失信息，将形状损失信息、分割损失信息和面部损失信息进行融合，并基于融合后损失信息对预设图像处理模型进行收敛，得到训练后图像处理模型，具体可以如下：
D1、服务器基于目标样本面部特征和初始样本面部蒙版生成初始预测人脸图像。
例如，服务器可以根据目标样本面部特征生成初始面部样本图像，并在候选人脸图像中筛选出初始样本面部蒙版内的图像，得到基础面部样本图像，在人脸模板图像样本中筛选出初始样本面部蒙版以外的图像，得到背景样本图像，将背景样本图像和基础面部样本图像进行融合，得到初始预测人脸图像。
D2、服务器根据样本三维人脸图像、初始预测人脸图像和预测人脸图像，确定图像样本对的形状损失信息。
例如，服务器可以利用三维渲染器pytorch3d获取样本三维人脸图像在预设角度系数下的2D投影，得到第一投影信息，在2D投影中获取面部轮廓的18个轮廓点的位置，从而得到面部轮廓的第一位置信息。
服务器采用面部三维重建模型重建初始预测人脸图像和预测人脸图像对应的目标三维人脸图像，获取目标三维人脸图像的第二投影信息，并在第二投影信息中提取出初始预测人脸图像中面部轮廓的第二位置信息和在第三投影信息中提取出预测人脸图像中面部轮廓的第三位置信息。
服务器计算第一位置信息和第二位置信息中同一个面部轮廓的轮廓点之间的位置差值，并计算第一位置信息和第三位置信息中同一面部轮廓的轮廓点之间的位置差值，然后，再计算位置差值的平均值，从而得到图像样本对的形状损失信息，具体可以如公式(4)所示。
D3、服务器分别计算图像样本对中的面部图像样本与预测面部图像和初始预测面部图像的面部相似度，以得图像样本对的图像损失信息。
例如，服务器可以采用预训练的面部识别特征抽取器抽取面部图像样本、预测面部图像和初始预测面部图像中的面部特征，计算面部图像样本与预测面部图像的面部特征之间的余弦相似度，从而得到面部图像样本与预测面部图像之间的第一面部相似度，并计算面部图像样本与初始预测面部图像之间的第二面部相似度，直接将第一面部相似度和第二面部相似度相加，从而得到图像损失信息，具体可以如公式(6)所示。
D4、服务器基于初始样本面部蒙版和目标样本面部蒙版，确定图像样本对的分割损失信息。
例如，服务器可以采用训练后的语义分割网络预测图像样本对中人脸模板图像样本的模板图蒙版，或者，还可以在人脸模板图像样本中提取出蒙版特征，根据蒙版特征，在预设蒙版集合中筛选出人脸模板图像样本对应的蒙版，得到模板图蒙版。将模板图蒙版向外膨胀15个像素，得到调整后模板图蒙版。分别计算调整后模板图蒙版与初始样本面部蒙版和目标样本面部蒙版的尺寸差值，并将尺寸差值进行融合，从而得到图像样本对的分割损失信息，具体可以如公式(7)所示。
D5、服务器根据图像样本对、预测人脸图像和初始预测人脸图像，确定图像样本对的面部损失信息。
例如，当面部图像样本和面部模板图像样本中的对象为同一对象时，服务器可以采用L1范数计算人脸图像样本与预测人脸图像的第一空间相似度，以及面部图像样本与初始预测面部图像的第二空间相似度，将第一空间相似度和第二空间相似度进行融合，得到图像样本对的空间相似度损失信息具体可以如公式(8)所示。
服务器还可以采用特征提取网络提取人脸模板图像样本、预测人脸图像和初始预测人脸图像的图像特征，得到特征提取网络的每一个特征层输出的图像特征，计算人脸模板图像样本和预测人脸图像在同一个特征层输出的图像特征的特征差值，然后，将该特征差值和图像特征的特征尺寸进行融合，从而得到第一特征相似度，具体可以如公式(9)所示，并计算人脸模板图像样本和初始预测人脸图像在同一特征层输出的图像特征的特征差值，从而得到第二特征相似度，直接将第一特征相似度和第二特征相似度相加，得到特征相似度损失信息，或者，还可以获取第一特征相似度和第二特征相似度的加权系数，根据加权系数将第一特征相似度和第二特征相似度进行加权，并将加权后的第一特征相似度和第二特征相似度进行融合，得到特征相似度损失信息。将面部相似度损失信息、空间相似度损失信息和特征相似度损失信息进行融合，得到图像样本对的相似度损失信息。
服务器可以采用对抗网络分别计算面部模板图像和预测人脸图像的第一对抗参数，基于第一对抗参数，确定第一对抗损失信息，具体可以如公式(10)所示，并采用对抗网络分别计算人脸模板图像样本和初始预测人脸图像的第二对抗参数，基于第二对抗参数，确定第二对抗损失信息。将第一对抗损失信息和第二对抗损失信息相加，得到对抗损失信息，或者，还可以获取第一对抗损失信息和第二对抗损失信息的加权参数，根据加权参数，将第一对抗损失信息和第二对抗损失信息进行加权，并将加权后的第一对抗损失信息和第二对抗损失信息进行融合，得到对抗损失信息。
服务器还可以采用L1范数计算面部模板图像样本与图像处理后得到的预测面部图像的范数，从而得到图像样本对的周期损失信息，具体可以如公式(11)所示。
在得到空间相似度损失信息、特征相似度损失信息、对抗损失信息和周期损失信息之后，便可以将空间相似度损失信息、特征相似度损失信息、对抗损失信息和周期损失信息作为图像样本对的面部损失信息。
D6、服务器将形状损失信息、图像损失信息、分割损失信息和面部损失信息进行融合，并基于融合后损失信息对预设图像处理模型进行收敛，得到训练后图像处理模型。
例如，服务器获取形状损失信息和图像损失信息的第一加权参数，根据第一加权参数对形状损失信息和图像损失信息进行加权，并将加权后的形状损失信息和图像损失信息进行融合，得到第一损失信息，具体可以如公式(12)所示。
服务器获取分割损失信息和面部损失信息的第二加权参数，根据第二加权参数对分割损失信息和面部损失信息进行加权，并将加权后的分割损失信息和面部损失信息进行融合，得到第二损失信息，具体可以如公式(13)所示。
将第一损失信息和第二损失信息相加，得到融合后损失信息，具体可以如公式(14)所示。
服务器在得到融合后损失信息之后，可以采用梯度下降算法根据融合后损失信息对预设图像处理模型的网络参数进行更新，以收敛预设图像处理模型，得到训练后图像处理模型，或者，还可以采用其他收敛算法根据融合后损失信息对预设图像处理模型的网络参数进行更新，以收敛预设图像处理模型，得到训练后图像处理模型。
如图9所示，一种图像处理方法，具体流程如下：
201、服务器获取源脸部的人脸图像和模板脸部的人脸模板图像。
例如，服务器可以直接接收用户上传的原始人脸图像和原始人脸图像对应的图像处理信息，根据图像处理信息，在原始人脸图像中筛选出源面部的人脸图像和模板面部的人脸模板图像，或者，在图像数据库或者网络上获取人脸图像对，在人脸图像对中任意筛选出一个人脸图像作为源脸部的人脸图像，将人脸图像对中的另一个人脸图像作为模板脸部的人脸模板图像。
当人脸图像和人脸模板图像的数量较多或者内存较大时，服务器可以接收终端发送的图像处理请求，该图像处理请求中携带原始人脸图像的存储地址和图像处理信息，根据存储地址，在内存、缓存或第三方数据库中获取原始人脸图像，将原始人脸图像的尺寸调整为预设尺寸，或者，还可以使用面部关键点配准将原始人脸图像中面部对象对齐到统一位置，得到处理后人脸图像，根据图像处理信息，在处理后人脸图像中筛选出源脸部的人脸图像和模板脸部的人脸模板图像。
202、服务器对人脸图像和人脸模板图像进行特征提取，得到源对象的图像纹理特征和人脸模板图像中对象的属性特征。
例如，服务器可以采用训练后图像处理模型的编码器网络(8个Res-Block堆叠而成)对人脸模板图像进行特征编码，得到人脸模板图像中对象的属性特征，采用训练后图像处理模型的面部识别网络对人脸图像进行特征提取，得到源对象的图像纹理特征。
203、服务器根据面部图像和面部模板图像，对源对象和面部模板图像中对象进行面部建模，以得到源对象的第一三维建模参数和面部模板图像中对象的第二三维建模参数，并将第一三维建模参数和第二三维建模参数进行融合，得到目标三维建模参数。
例如，服务器采用三维面部重建模型对面部图像和面部模板图像进行回归，从而对源对象和面部模板图像中对象进行面部建模，直接在源对象的面部模型中提取出第一三维建模参数，在面部模板图像中对象的面部模型中提取出第二三维建模参数，或者，还可以将面部模型转换为三维建模参数，从而得到第一三维建模参数和第二三维建模参数。
服务器在第一三维建模参数中提取出面部图像对应的面部形状参数，在第二三维建模参数中提取出面部模板图像对应的面部动作参数，直接将面部形状参数和面部动作参数进行拼接和组合，或者，还可以获取面部形状参数和面部动作参数的加权参数和基础建模参数，根据加权参数，对面部形状参数和面部动作参数进行加权，并将加权后的面部形状参数和面部动作参数与基础建模参数进行融合，从而得到目标三维建模参数，具体可以如公式(1)所示。
204、服务器根据目标三维建模参数构建三维人脸图像，得到三维人脸图像的三维面部特征。
例如，服务器可以通过三维面部重建模型构建目标三维建模参数对应的三维面部模型，得到三维人脸图像，获取三维面部模型的三维特征，将三维特征作为三维人脸图像的三维面部特征，或者，可以通过三维面部重建模型构建目标三维建模参数对应的三维面部模型，对三维面部模型进行局部拟合或者优化等，得到三维人脸图像，获取调整后的三维面部模型的三维特征，将三维特征作为三维人脸图像的三维面部特征。
205、服务器将图像纹理特征和三维面部特征进行拼接，得到面部特征。
例如，服务器可以直接将图像纹理特征和三维面部特征进行拼接，从而得到面部特征，或者，可以获取图像纹理特征和三维面部特征的加权参数，根据加权参数对图像纹理特征和三维面部特征进行加权，并将加权后的图像纹理特征和三维面部特征进行融合，得到面部特征，或者，还可以获取图像纹理特征和三维面部特征的特征深度，将特征深度调整为统一的目标特征深度，基于目标特征深度，将图像纹理特征和三维面部特征进行拼接，得到面部特征。
206、服务器采用训练后图像处理模型将面部特征和属性特征进行融合，得到融合后面部特征。
例如，服务器可以采用训练后图像处理模型的解码器网络(包含AdaIN的5个Res-Block堆叠而成)对面部特征和属性特征进行解码，并将解码后的面部特征和属性特征进行融合，得到融合后面部特征。
207、服务器基于融合后面部特征生成目标人脸图像。
例如，服务器可以构建融合后面部特征对应的面部蒙版，得到初始面部蒙版，将初始面部蒙版、融合后面部特征和属性特征进行融合，得到目标面部特征，对目标面部特征进行调整，并构建调整后面部特征对应的面部蒙版，得到目标面部蒙版，基于目标面部蒙版和调整后面部特征生成目标人脸图像，具体可以如下：
(1)服务器构建融合后面部特征对应的面部蒙版，得到初始面部蒙版。
例如，服务器可以采用语义分割网络对融合后面部特征进行特征提取，并基于提取出的语义特征，在人脸图像或人脸模板图像中识别出分割区域，并基于分割区域，对人脸图像或人脸模板图像进行分割，并将分割出人脸图像进行遮挡处理，从而得到初始面部蒙版，或者，可以采用语义分割网络对融合后面部特征进行特征提取，并基于提取出的语义特征，直接生成初始面部蒙版。
(2)服务器将初始面部蒙版、融合后面部特征和属性特征进行融合，得到目标面部特征。
例如，服务器可以采用一个或多个Res-Block对属性特征进行特征转换，得到人脸模板图像中对象的目标属性特征。在人脸图像或人脸模板图像中筛选出初始面部蒙版以外的区域，得到目标图像区域，根据初始面部蒙版和目标图像区域确定加权参数。直接将加权后面部特征和加权后属性特征相加，得到目标面部特征，具体可以公式(2)所示。
(3)服务器对目标面部特征进行调整，并构建调整后面部特征对应的面部蒙版，得到目标面部蒙版。
例如，服务器可以采用一个或多个Res-Block组成的上采样结构对目标面部特征的尺寸进行放大，放大至预设尺寸，得到调整后面部特征。采用语义分割网络对调整后面部特征进行特征提取，并基于提取出的语义特征，在人脸图像或人脸模板图像中识别出分割区域，并基于分割区域，对人脸图像或人脸模板图像进行分割，并将分割出人脸图像进行遮挡处理，从而得到目标面部蒙版，或者，可以采用语义分割网络对调整后面部特征进行特征提取，并基于提取出的语义特征，直接生成目标面部蒙版。
(4)服务器基于目标面部蒙版和调整后面部特征生成目标人脸图像。
例如，服务器可以根据调整后面部特征生成初始人脸图像，并在初始人脸图像中筛选出目标面部蒙版内的图像，得到基础人脸图像，在人脸模板图像中识别出目标面部蒙版以外的图像，得到背景图像。将基础人脸图像和背景图像进行拼接，从而得到目标人脸图像，或者，还可以将基础人脸图像和背景图像的尺寸进行调整，将调整尺寸后的基础人脸图像和背景图像进行叠加，从而得到目标人脸图像，具体可以如公式(3)所示。
由以上可知，本申请实施例在获取源脸部的人脸图像和模板脸部的人脸模板图像后，对人脸图像和人脸模板图像进行特征提取，得到源对象的图像纹理特征和人脸模板图像中对象的属性特征，然后，根据面部图像和面部模板图像，对源对象和面部模板图像中对象进行面部建模，以得到源对象的第一三维建模参数和面部模板图像中对象的第二三维建模参数，并将第一三维建模参数和第二三维建模参数进行融合，得到目标三维建模参数，根据目标三维建模参数构建三维面部图像，得到三维面部图像的三维面部特征，然后，基于图像纹理特征、三维面部特征和属性特征，将人脸模板图像中的对象替换为源对象，得到目标人脸图像；由于该方案可以在人脸图像和人脸模板图像中识别出三维建模参数，并基于三维建模参数构建三维人脸像，从而得到三维面部特征，使得面部特征获得几何上的约束，而且，将三维面部特征、图像纹理特征和属性特征进行融合，可以使得替换后人脸的结果更加真实，因此，可以提升人脸图像处理的准确性。
为了更好地实施以上方法，本发明实施例还提供一种图像处理装置，该图像处理装置可以集成在电子设备，比如服务器或终端等设备中，该终端可以包括平板电脑、笔记本电脑和/或个人计算机等。
例如，如图10所示，该图像处理装置可以包括获取单元301、提取单元302、融合单元303、构建单元304和替换单元305，如下：
(1)获取单元301；
获取单元301，用于获取源面部的面部图像和模板面部的面部模板图像，该面部图像包括源对象。
例如，获取单元301，具体可以用于直接获取面部图像和面部模板图像，或者，当面部图像和面部模板图像的数量较多或者内存较大时，间接获取面部图像和面部模板图像。
(2)提取单元302；
提取单元302，用于对面部图像和面部模板图像进行特征提取，得到源对象的图像纹理特征和面部模板图像中对象的属性特征。
例如，提取单元302，具体可以用于采用训练后图像处理模型的编码器网络对面部模板图像进行特征编码，得到面部模板图像中对象的属性特征，采用训练后图像处理模型的面部识别网络对面部图像进行特征提取，得到源对象的图像纹理特征。
(3)融合单元303；
融合单元303，用于根据面部图像和面部模板图像，对源对象和面部模板图像中对象进行面部建模，以得到源对象的第一三维建模参数和面部模板图像中对象的第二三维建模参数，并将第一三维建模参数和第二三维建模参数进行融合，得到目标三维建模参数。
例如，融合单元303，具体可以用于采用三维面部重建模型对面部图像和面部模板图像进行回归，从而对源对象和面部模板图像中对象进行面部建模，并在构建好的面部模型中获取源对象的第一三维建模参数和面部模板图像中对象的第二三维建模参数，在第一三维建模参数中提取出面部图像对应的面部形状参数，在第二三维建模参数中提取出面部模板图像对应的面部动作参数，将面部形状参数和面部动作参数进行融合，得到目标三维建模参数。
(4)构建单元304；
构建单元304，用于根据目标三维建模参数构建三维面部图像，得到三维面部图像的三维面部特征。
例如，构建单元304，具体可以用于通过三维面部重建模型构建目标三维建模参数对应的三维面部模型，得到三维面部图像，获取三维面部模型的三维特征，将三维特征作为三维面部图像的三维面部特征，或者，可以通过三维面部重建模型构建目标三维建模参数对应的三维面部模型，对三维面部模型进行调整，譬如，可以进行局部拟合或者优化等，得到三维面部图像，获取调整后的三维面部模型的三维特征，将三维特征作为三维面部图像的三维面部特征。
(5)替换单元305；
替换单元305，用于基于图像纹理特征、三维面部特征和属性特征，将面部模板图像中的对象替换为源对象，得到目标面部图像。
例如，替换单元305，具体可以用于将图像纹理特征和三维面部特征进行拼接，得到面部特征，采用训练后图像处理模型将面部特征和属性特征进行融合，得到融合后面部特征，基于融合后面部特征生成目标面部图像，该目标面部图像为将面部模板图像中的对象替换为源对象的图像。
可选的，图像处理装置还可以包括训练单元306，如图11所示，具体可以如下：
训练单元306，具体可以用于对预设图像处理模型进行训练，得到训练后图像处理模型。
例如，训练单元306，具体可以用于获取面部图像样本集合，并在面部图像样本集合中筛选出至少一个图像样本对，该图像样本对包括面部图像样本和面部模板图像样本，采用预设图像处理模型将面部模板图像样本中的对象替换为面部图像样本中的对象，得到预测面部图像，基于图像样本对和预测面部图像对预设图像处理模型进行收敛，得到训练后图像处理模型。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由以上可知，本实施例在获取单元301获取源面部的面部图像和模板面部的面部模板图像后，提取单元302对面部图像和面部模板图像进行特征提取，得到源对象的图像纹理特征和面部模板图像中对象的属性特征，然后，融合单元303根据面部图像和面部模板图像，对源对象和面部模板图像中对象进行面部建模，以得到源对象的第一三维建模参数和面部模板图像中对象的第二三维建模参数，并将第一三维建模参数和第二三维建模参数进行融合，得到目标三维建模参数，构建单元304根据目标三维建模参数构建三维面部图像，得到三维面部图像的三维面部特征，然后，替换单元305基于图像纹理特征、三维面部特征和属性特征，将面部模板图像中的对象替换为源对象，得到目标面部图像；由于该方案可以在面部图像和面部模板图像中识别出三维建模参数，并基于三维建模参数构建三维面部图像，从而得到三维面部特征，使得面部特征获得几何上的约束，而且，将三维面部特征、图像纹理特征和属性特征进行融合，可以使得替换后面部的结果更加真实，因此，可以提升面部图像处理的准确性。
本发明实施例还提供一种电子设备，如图12所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图12中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理***与处理器401逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取源面部的面部图像和模板面部的面部模板图像，该面部图像包括源对象，对面部图像和面部模板图像进行特征提取，得到源对象的图像纹理特征和面部模板图像中对象的属性特征，根据面部图像和面部模板图像，对源对象和面部模板图像中对象进行面部建模，以得到源对象的第一三维建模参数和面部模板图像中对象的第二三维建模参数，并将第一三维建模参数和第二三维建模参数进行融合，得到目标三维建模参数；根据目标三维建模参数构建三维面部图像，得到三维面部图像的三维面部特征；基于图像纹理特征、三维面部特征和属性特征，将面部模板图像中的对象替换为源对象，得到目标面部图像。
例如，电子设备获取面部图像和面部模板图像，或者，当面部图像和面部模板图像的数量较多或者内存较大时，间接获取面部图像和面部模板图像。采用训练后图像处理模型的编码器网络对面部模板图像进行特征编码，得到面部模板图像中对象的属性特征，采用训练后图像处理模型的面部识别网络对面部图像进行特征提取，得到源对象的图像纹理特征。采用三维面部重建模型对面部图像和面部模板图像进行回归，从而对源对象和面部模板图像中对象进行面部建模，并在构建好的面部模型中获取源对象的第一三维建模参数和面部模板图像中对象的第二三维建模参数，在第一三维建模参数中提取出面部图像对应的面部形状参数，在第二三维建模参数中提取出面部模板图像对应的面部动作参数，将面部形状参数和面部动作参数进行融合，得到目标三维建模参数。通过三维面部重建模型构建目标三维建模参数对应的三维面部模型，得到三维面部图像，获取三维面部模型的三维特征，将三维特征作为三维面部图像的三维面部特征，或者，可以通过三维面部重建模型构建目标三维建模参数对应的三维面部模型，对三维面部模型进行调整，譬如，可以进行局部拟合或者优化等，得到三维面部图像，获取调整后的三维面部模型的三维特征，将三维特征作为三维面部图像的三维面部特征。将图像纹理特征和三维面部特征进行拼接，得到面部特征，采用训练后图像处理模型将面部特征和属性特征进行融合，得到融合后面部特征，基于融合后面部特征生成目标面部图像，该目标面部图像为将面部模板图像中的对象替换为源对象的图像。
以上各个操作的具体实施可参见前面的实施例，在此不作赘述。
由以上可知，本申请实施例在获取源脸部的人脸图像和模板脸部的人脸模板图像后，对人脸图像和人脸模板图像进行特征提取，得到源对象的图像纹理特征和人脸模板图像中对象的属性特征，然后，根据面部图像和面部模板图像，对源对象和面部模板图像中对象进行面部建模，以得到源对象的第一三维建模参数和面部模板图像中对象的第二三维建模参数，并将第一三维建模参数和第二三维建模参数进行融合，得到目标三维建模参数，根据目标三维建模参数构建三维面部图像，得到三维面部图像的三维面部特征，然后，基于图像纹理特征、三维面部特征和属性特征，将人脸模板图像中的对象替换为源对象，得到目标人脸图像；由于该方案可以在人脸图像和人脸模板图像中识别出三维建模参数，并基于三维建模参数构建三维人脸像，从而得到三维面部特征，使得面部特征获得几何上的约束，而且，将三维面部特征、图像纹理特征和属性特征进行融合，可以使得替换后人脸的结果更加真实，因此，可以提升人脸图像处理的准确性。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法中的步骤。例如，该指令可以执行如下步骤：
获取源面部的面部图像和模板面部的面部模板图像，该面部图像包括源对象，对面部图像和面部模板图像进行特征提取，得到源对象的图像纹理特征和面部模板图像中对象的属性特征，根据面部图像和面部模板图像，对源对象和面部模板图像中对象进行面部建模，以得到源对象的第一三维建模参数和面部模板图像中对象的第二三维建模参数，并将第一三维建模参数和第二三维建模参数进行融合，得到目标三维建模参数；根据目标三维建模参数构建三维面部图像，得到三维面部图像的三维面部特征；基于图像纹理特征、三维面部特征和属性特征，将面部模板图像中的对象替换为源对象，得到目标面部图像。
例如，电子设备获取面部图像和面部模板图像，或者，当面部图像和面部模板图像的数量较多或者内存较大时，间接获取面部图像和面部模板图像。采用训练后图像处理模型的编码器网络对面部模板图像进行特征编码，得到面部模板图像中对象的属性特征，采用训练后图像处理模型的面部识别网络对面部图像进行特征提取，得到源对象的图像纹理特征。采用三维面部重建模型对面部图像和面部模板图像进行回归，从而对源对象和面部模板图像中对象进行面部建模，并在构建好的面部模型中获取源对象的第一三维建模参数和面部模板图像中对象的第二三维建模参数，在第一三维建模参数中提取出面部图像对应的面部形状参数，在第二三维建模参数中提取出面部模板图像对应的面部动作参数，将面部形状参数和面部动作参数进行融合，得到目标三维建模参数。通过三维面部重建模型构建目标三维建模参数对应的三维面部模型，得到三维面部图像，获取三维面部模型的三维特征，将三维特征作为三维面部图像的三维面部特征，或者，可以通过三维面部重建模型构建目标三维建模参数对应的三维面部模型，对三维面部模型进行调整，譬如，可以进行局部拟合或者优化等，得到三维面部图像，获取调整后的三维面部模型的三维特征，将三维特征作为三维面部图像的三维面部特征。将图像纹理特征和三维面部特征进行拼接，得到面部特征，采用训练后图像处理模型将面部特征和属性特征进行融合，得到融合后面部特征，基于融合后面部特征生成目标面部图像，该目标面部图像为将面部模板图像中的对象替换为源对象的图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像处理方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
其中，根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像处理方面或者图像换脸方面的各种可选实现方式中提供的方法。
以上对本发明实施例所提供的一种图像处理方法、装置和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (16)
1.一种面部图像处理方法，其特征在于，包括：
获取源面部的面部图像和模板面部的面部模板图像，所述面部图像包括源对象；
对所述面部图像和所述面部模板图像进行特征提取，得到所述源对象的图像纹理特征和所述面部模板图像中对象的属性特征；
根据所述面部图像和所述面部模板图像，对所述源对象和所述面部模板图像中对象进行面部建模，以得到所述源对象的第一三维建模参数和所述面部模板图像中对象的第二三维建模参数，并将第一三维建模参数和第二三维建模参数进行融合，得到目标三维建模参数；
根据所述目标三维建模参数构建三维面部图像，得到所述三维面部图像的三维面部特征；
基于所述图像纹理特征、所述三维面部特征和所述属性特征，将所述面部模板图像中的对象替换为所述源对象，得到目标面部图像。
2.根据权利要求1所述的面部图像处理方法，其特征在于，所述将识别到的所述三维建模参数进行融合，得到目标三维建模参数，包括：
在所述第一三维建模参数中提取出所述面部图像对应的面部形状参数；
在所述第二三维建模参数中提取出所述面部模板图像对应的面部动作参数；
将所述面部形状参数和面部动作参数进行融合，得到目标三维建模参数。
3.根据权利要求1所述的面部图像处理方法，其特征在于，所述基于所述图像纹理特征、所述三维面部特征和所述属性特征，将所述面部模板图像中的对象替换为所述源对象，得到目标面部图像，包括：
将所述图像纹理特征和三维面部特征进行拼接，得到面部特征；
采用训练后图像处理模型将所述面部特征和属性特征进行融合，得到融合后面部特征；
基于所述融合后面部特征生成目标面部图像，所述目标面部图像为将所述面部模板图像中的对象替换为所述源对象的图像。
4.根据权利要求3所述的面部图像处理方法，其特征在于，所述基于所述融合后面部特征生成目标面部图像，包括：
构建所述融合后面部特征对应的面部蒙版，得到初始面部蒙版；
将所初始面部蒙版、融合后面部特征和属性特征进行融合，得到目标面部特征；
对所述目标面部特征进行调整，并构建调整后面部特征对应的面部蒙版，得到目标面部蒙版；
基于所述目标面部蒙版和调整后面部特征生成目标面部图像。
5.根据权利要求4所述的面部图像处理方法，其特征在于，所述将所初始面部蒙版、融合后面部特征和属性特征进行融合，得到目标面部特征，包括：
对所述属性特征进行特征转换，得到所述面部模板图像中对象的目标属性特征；
根据所述初始面部蒙版，确定所述融合后面部特征和目标属性特征的加权参数；
根据所述加权参数，对所述融合后面部特征和目标属性特征进行加权，并将加权后面部特征和加权后属性特征进行融合，得到目标面部特征。
6.根据权利要求4所述的面部图像处理方法，其特征在于，所述基于所述目标面部蒙版和调整后面部特征生成目标面部图像，包括：
根据所述调整后面部特征生成初始面部图像，并在所述初始面部图像中筛选出所述目标面部蒙版内的图像，得到基础面部图像；
在所述面部模板图像中识别出所述目标面部蒙版以外的图像，得到背景图像；
将所述基础面部图像和背景图像进行融合，得到目标面部图像。
7.根据权利要求3所述的面部图像处理方法，其特征在于，所述采用训练后图像处理模型将所述面部特征和属性特征进行融合，得到融合后面部特征之前，还包括：
获取面部图像样本集合，并在所述面部图像样本集合中筛选出至少一个图像样本对，所述图像样本对包括面部图像样本和面部模板图像样本；
采用预设图像处理模型将所述面部模板图像样本中的对象替换为所述面部图像样本中的对象，得到预测面部图像；
基于所述图像样本对和预测面部图像对所述预设图像处理模型进行收敛，得到训练后图像处理模型。
8.根据权利要求7所述的面部图像处理方法，其特征在于，所述采用预设图像处理模型将所述面部模板图像样本中的对象替换为所述面部图像样本中的对象，得到预测面部图像，包括：
采用预设图像处理模型对所述面部图像样本和面部模板图像进行特征提取，得到所述面部图像样本的图像样本纹理特征和所述面部模板图像样本中对象的样本属性特征；
在所述面部图像样本和面部模板图像样本中分别识别出样本三维建模参数，并将识别到的所述样本三维建模参数进行融合，得到目标样本三维建模参数；
根据所述目标样本三维建模参数构建样本三维面部图像，得到样本三维面部图像的样本三维面部特征，并将所述样本三维面部特征、图像样本纹理特征和样本属性特征进行融合，得到融合后样本面部特征；
构建所述融合后样本面部特征对应的面部蒙版，得到初始样本面部蒙版，并基于所述初始样本面部蒙版、融合后样本面部特征和样本属性特征，生成预测面部图像。
9.根据权利要求8所述的面部图像处理方法，其特征在于，所述基于所述初始样本面部蒙版、融合后样本面部特征和样本属性特征，生成预测图像，包括：
将所述初始样本面部蒙版、融合后样本面部特征和样本属性特征进行融合，得到目标样本面部特征；
对所述目标样本面部特征进行调整，并构建调整后样本面部特征对应的面部蒙版，得到目标样本面部蒙版；
基于所述目标样本面部蒙版和调整后样本面部特征生成预测面部图像。
10.根据权利要求9所述的面部图像处理方法，其特征在于，所述基于所述图像样本对和预测面部图像对所述预设图像处理模型进行收敛，得到训练后图像处理模型，包括：
基于所述目标样本面部特征和初始样本面部蒙版生成初始预测面部图像；
根据所述样本三维面部图像、初始预测面部图像和预测面部图像，确定所述图像样本对的形状损失信息；
分别计算所述图像样本对中的面部图像样本与所述预测面部图像和初始预测面部图像的面部相似度，以得所述图像样本对的图像损失信息；
基于所述初始样本面部蒙版和目标样本面部蒙版，确定所述图像样本对的分割损失信息；
根据所述图像样本对、预测面部图像和初始预测面部图像，确定所述图像样本对的面部损失信息；
将所述形状损失信息、图像损失信息、分割损失信息和面部损失信息进行融合，并基于融合后损失信息对预设图像处理模型进行收敛，得到训练后图像处理模型。
11.根据权利要求10所述的面部图像处理方法，其特征在于，所述根据所述样本三维面部图像、初始预测面部图像和预测面部图像，确定所述图像样本对的形状损失信息，包括：
获取所述样本三维面部图像的第一投影信息，并在所述第一投影信息中提取出面部轮廓的第一位置信息；
构建所述初始预测面部图像和预测面部图像对应的目标三维面部图像，并获取所述目标三维面部图像的第二投影信息；
在所述第二投影信息中提取出所述初始预测面部图像中面部轮廓的第二位置信息和预测面部图像中面部轮廓的第三位置信息，并根据第一位置信息、第二位置信息和第三位置信息，分别计算面部轮廓之间的距离，以得到所述图像样对的形状损失信息。
12.根据权利要求10所述的面部图像处理方法，其特征在于，所述基于所述初始样本面部蒙版和目标样本面部蒙版，确定所述图像样本对的分割损失信息，包括：
获取所述图像样本对中面部模板图像样本的模板图蒙版；
对所述模板图蒙版的尺寸进行调整，得到调整后模板图蒙版；
分别计算所述调整后模板图蒙版与初始样本面部蒙版和目标样本面部蒙版的尺寸差值，并将所述尺寸差值进行融合，得到所述图像样本对的分割损失信息。
13.根据权利要求10所述的面部图像处理方法，其特征在于，所述根据所述图像样本对、预测面部图像和初始预测面部图像，确定所述图像样本对的面部损失信息，包括：
分别计算所述图像样本对与所述预测面部图像和初始预测面部图像的相似度，以得到所述图像样本对的相似度损失信息；
根据所述图像样本对中的面部模板图像样本、预测面部图像和初始预测面部图像，确定所述图像样本对的对抗损失信息和周期损失信息；
将所述相似度损失信息、对抗损失信息和周期损失信息作为所述图像样本对的面部损失信息。
14.根据权利要求13所述的面部图像处理方法，其特征在于，所述分别计算所述图像样本对与所述预测面部图像和初始预测面部图像的相似度，以得到所述图像样本对的相似度损失信息，包括：
当所述面部图像样本和面部模板图像样本中的对象为同一对象时，分别计算所述面部模板图像样本与预测面部图像和初始预测面部图像的空间相似度，以得到所述图像样本对的空间相似度损失信息；
提取所述面部模板图像样本、预测面部图像和初始预测面部图像的图像特征，并计算所述图像特征之间的特征相似度，以得到所述图像样本对的特征相似度损失信息；
将所述空间相似度损失信息和特征相似度损失信息作为所述图像样本对的相似度损失信息。
15.一种面部图像处理装置，其特征在于，包括：
获取单元，用于获取源面部的面部图像和模板面部的面部模板图像，所述面部图像包括源对象；
提取单元，用于对所述面部图像和所述面部模板图像进行特征提取，得到所述源对象的图像纹理特征和所述面部模板图像中对象的属性特征；
融合单元，用于根据所述面部图像和所述面部模板图像，对所述源对象和所述面部模板图像中对象进行面部建模，以得到所述源对象的第一三维建模参数和所述面部模板图像中对象的第二三维建模参数，并将第一三维建模参数和第二三维建模参数进行融合，得到目标三维建模参数；
构建单元，用于根据所述目标三维建模参数构建三维面部图像，得到所述三维面部图像的三维面部特征；
替换单元，用于基于所述图像纹理特征、所述三维面部特征和所述属性特征，将所述面部模板图像中的对象替换为所述源对象，得到目标面部图像。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至14任一项所述的面部图像处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110648608.5A CN114943799A (zh) | 2021-06-10 | 2021-06-10 | 一种面部图像处理方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110648608.5A CN114943799A (zh) | 2021-06-10 | 2021-06-10 | 一种面部图像处理方法、装置和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114943799A true CN114943799A (zh) | 2022-08-26 |
Family
ID=82906041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110648608.5A Pending CN114943799A (zh) | 2021-06-10 | 2021-06-10 | 一种面部图像处理方法、装置和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114943799A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993576A (zh) * | 2023-06-21 | 2023-11-03 | 北京开普云信息科技有限公司 | 视频换脸方法、装置、存储介质及设备 |
-
2021
- 2021-06-10 CN CN202110648608.5A patent/CN114943799A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993576A (zh) * | 2023-06-21 | 2023-11-03 | 北京开普云信息科技有限公司 | 视频换脸方法、装置、存储介质及设备 |
| CN116993576B (zh) * | 2023-06-21 | 2024-03-08 | 北京开普云信息科技有限公司 | 视频换脸方法、装置、存储介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111489287B (zh) | 图像转换方法、装置、计算机设备和存储介质 | |
| WO2021238595A1 (zh) | 基于人工智能的图像生成方法、装置、设备及存储介质 | |
| KR102477794B1 (ko) | 이미지 처리 방법, 디바이스 및 장치, 그리고 저장 매체 | |
| CN115205949B (zh) | 图像生成方法以及相关设备 | |
| US8624901B2 (en) | Apparatus and method for generating facial animation | |
| CN111353546B (zh) | 图像处理模型的训练方法、装置、计算机设备和存储介质 | |
| CN111709497B (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
| CN111696028A (zh) | 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质 | |
| CN111401216A (zh) | 图像处理、模型训练方法、装置、计算机设备和存储介质 | |
| CN112085835B (zh) | 三维卡通人脸生成方法、装置、电子设备及存储介质 | |
| Chen et al. | Face swapping: realistic image synthesis based on facial landmarks alignment | |
| WO2023020358A1 (zh) | 面部图像处理方法、面部图像处理模型的训练方法、装置、设备、存储介质及程序产品 | |
| CN113343878A (zh) | 基于生成对抗网络的高保真人脸隐私保护方法和*** | |
| Sun et al. | Masked lip-sync prediction by audio-visual contextual exploitation in transformers | |
| CN115131849A (zh) | 图像生成方法以及相关设备 | |
| CN113706577A (zh) | 一种图像处理方法、装置和计算机可读存储介质 | |
| RU2755396C1 (ru) | Нейросетевой перенос выражения лица и позы головы с использованием скрытых дескрипторов позы | |
| CN113822114A (zh) | 一种图像处理方法、相关设备及计算机可读存储介质 | |
| CN114943799A (zh) | 一种面部图像处理方法、装置和计算机可读存储介质 | |
| CN116012550A (zh) | 人脸变形目标修正方法及其装置、设备、介质、产品 | |
| CN113706399A (zh) | 人脸图像美化方法、装置、电子设备以及存储介质 | |
| CN116704097B (zh) | 基于人体姿态一致性和纹理映射的数字化人形象设计方法 | |
| CN112439200B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| CN116958451B (zh) | 模型处理、图像生成方法、装置、计算机设备和存储介质 | |
| US20240169701A1 (en) | Affordance-based reposing of an object in a scene |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40073936 Country of ref document: HK |