CN107909640B - 基于深度学习的人脸重光照方法及装置 - Google Patents
基于深度学习的人脸重光照方法及装置 Download PDFInfo
- Publication number
- CN107909640B CN107909640B CN201711078324.7A CN201711078324A CN107909640B CN 107909640 B CN107909640 B CN 107909640B CN 201711078324 A CN201711078324 A CN 201711078324A CN 107909640 B CN107909640 B CN 107909640B
- Authority
- CN
- China
- Prior art keywords
- face
- network
- relighting
- picture
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的人脸重光照方法及装置，其中，方法包括：获得人脸图片对应的人脸区域图、法向图和表征光照分布图；利用相机参数矩阵、人脸三维模型与光照模型处理照片集，获得网络训练数据集；通过深度学习方法构建人脸重光照网络，其中，利用网络训练数据集进行训练，生成人脸重光照网络；利用相机参数矩阵、人脸三维模型与光照模型处理人脸图片，并利用人脸重光照网络处理输出结果，得到人脸重光照结果。该方法可以利用深度学习方法构建人脸重光照网络，并利用人脸逆重光照正则项和人脸识别网络特征正则项对人脸重光照网络进行训练，且利用人脸重光照网络对人脸进行重光照，从而可以有效提高人脸重光照的真实感和可靠性。
Description
技术领域
本发明涉及计算机视觉、计算机图形学、深度学习技术领域，特别涉及一种基于深度学习的人脸重光照方法及装置。
背景技术
在人们拍摄图像时，拍摄的内容以及拍摄时的条件(如时间、视角、光照)等都被记录在照片之中，一些图像处理技术可以避免重新拍照直接利用技术手段改变照片拍摄时的条件，得到新的照片。重光照技术就是改变照片拍摄时的光照得到相应新照片的方法，而人脸重光照技术针对的对象是人脸照片，其中，在图片的后期处理，电影的后期制作中，人脸重光照技术非常重要。
在相关技术中，人脸重光照往往是建立人脸光照模型对人脸进行重光照处理，但是人脸与光照之间的作用非常复杂，一个人为构建的模型往往很难表达人脸在各个光照下的真实表现，可靠性差，有待解决。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于深度学习的人脸重光照方法，该方法可以有效提高人脸重光照的真实感和可靠性。
本发明的另一个目的在于提出一种基于深度学习的人脸重光照装置。
为达到上述目的，本发明一方面实施例提出了一种基于深度学习的人脸重光照方法，包括以下步骤：利用相机参数矩阵、人脸三维模型与光照模型，并通过迭代优化方法确定所述人脸三维模型的顶点与人脸图片二维像素的位置与颜色对应关系，获得人脸图片对应的人脸区域图、法向图和表征光照分布图；利用所述相机参数矩阵、人脸三维模型与光照模型处理照片集，获得网络训练数据集；通过深度学习方法构建人脸重光照网络，其中，利用所述网络训练数据集进行训练，生成人脸重光照网络；利用所述相机参数矩阵、人脸三维模型与光照模型处理人脸图片，并利用所述人脸重光照网络处理输出结果，得到人脸重光照结果。
本发明实施例的基于深度学习的人脸重光照方法，可以利用三维人脸模型拟合图片中的人脸，计算得到用以表征人脸上光照分布的原光照估计图片和目标光照估计图片，并利用深度学习方法构建人脸重光照网络，利用人脸逆重光照正则项和人脸识别网络特征正则项对人脸重光照网络进行训练，对于不同的人脸图片，只需用人脸三维重建方法拟合图片中的人脸模型，就可以利用人脸重光照网络对人脸进行重光照，从而可以有效提高人脸重光照的真实感和可靠性。
另外，根据本发明上述实施例的基于深度学习的人脸重光照方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述通过迭代优化方法确定所述人脸三维模型的顶点与人脸图片二维像素的位置与颜色对应关系，进一步包括：通过人脸特征点检测方法得到人脸图片中特征点位置；利用所述相机参数矩阵与所述光照模型渲染得到人脸渲染图片；迭代优化所述人脸渲染图片与人脸真实图片的像素值之差，获取所述人脸三维模型上特征点在二维图片上投影点的距离。
进一步地，在本发明的一个实施例中，所述利用所述网络训练数据集进行训练，生成人脸重光照网络，进一步包括：利用所述光照模型以及训练集中的人脸真实图片对应的法向图，得到原光照估计图和目标光照估计图；构建生成对抗网络，其中，所述对抗网络的生成网络是所述人脸重光照网络；将所述网络训练数据集的人脸真实图片与对应的所述原光照估计图以和目标光照估计图作为所述生成网络的输入，所述生成网络输出与所述目标光照估计图作为对所述抗网络的虚假输入，所述网络训练数据集的人脸真实图片与所述原光照估计图作为所述对抗网络的真实输入；将所述对抗网络的输出与逆重光照正则项误差、人脸识别网络特征正则项误差之和作为误差，对生成对抗网络进行训练。
进一步地，在本发明的一个实施例中，所述将所述对抗网络的输出与逆重光照正则项误差、人脸识别网络特征正则项误差之和作为误差，进一步包括：通过所述生成网络输出与所述目标光照估计图和所述原光照估计图作为输入，得到输出图片；根据所述输出图片对应的人脸真实图片各像素之差作为所述逆重光照正则项误差。
进一步地，在本发明的一个实施例中，所述将所述对抗网络的输出与逆重光照正则项误差、人脸识别网络特征正则项误差之和作为误差，进一步包括:获取所述生成网络输出与人所述脸真实图片输出的人脸识别网络特征；获取所述生成网络输出与人所述脸真实图片输出的人脸识别网络特征间的差值，以作为所述人脸识别网络特征正则项误差。
为达到上述目的，本发明另一方面实施例提出了一种基于深度学习的人脸重光照装置，包括：采集模块，用于利用相机参数矩阵、人脸三维模型与光照模型，并通过迭代优化方法确定所述人脸三维模型的顶点与人脸图片二维像素的位置与颜色对应关系，获得人脸图片对应的人脸区域图、法向图和表征光照分布图；获取模块，用于利用所述相机参数矩阵、人脸三维模型与光照模型处理照片集，获得网络训练数据集；构建模块，用于通过深度学习方法构建人脸重光照网络，其中，利用所述网络训练数据集进行训练，生成人脸重光照网络；处理模块，利用所述相机参数矩阵、人脸三维模型与光照模型处理人脸图片，并利用所述人脸重光照网络处理输出结果，得到人脸重光照结果。
本发明实施例的深度学习的人脸重光照装置，可以利用三维人脸模型拟合图片中的人脸，计算得到用以表征人脸上光照分布的原光照估计图片和目标光照估计图片，并利用深度学习方法构建人脸重光照网络，利用人脸逆重光照正则项和人脸识别网络特征正则项对人脸重光照网络进行训练，对于不同的人脸图片，只需用人脸三维重建方法拟合图片中的人脸模型，就可以利用人脸重光照网络对人脸进行重光照，从而可以有效提高人脸重光照的真实感和可靠性。
另外，根据本发明上述实施例的深度学习的人脸重光照装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述采集模块进一步用于通过人脸特征点检测方法得到人脸图片中特征点位置，利用所述相机参数矩阵与所述光照模型渲染得到人脸渲染图片，并且迭代优化所述人脸渲染图片与人脸真实图片的像素值之差，获取所述人脸三维模型上特征点在二维图片上投影点的距离。
进一步地，在本发明的一个实施例中，所述构建模块进一步用于利用所述光照模型以及训练集中的人脸真实图片对应的法向图，得到原光照估计图和目标光照估计图，构建生成对抗网络，其中，所述对抗网络的生成网络是所述人脸重光照网络，并且将所述网络训练数据集的人脸真实图片与对应的所述原光照估计图以和目标光照估计图作为所述生成网络的输入，所述生成网络输出与所述目标光照估计图作为对所述抗网络的虚假输入，所述网络训练数据集的人脸真实图片与所述原光照估计图作为所述对抗网络的真实输入，以及将所述对抗网络的输出与逆重光照正则项误差、人脸识别网络特征正则项误差之和作为误差，对生成对抗网络进行训练。
进一步地，在本发明的一个实施例中，所述构建模块进一步用于通过所述生成网络输出与所述目标光照估计图和所述原光照估计图作为输入，得到输出图片，并且根据所述输出图片对应的人脸真实图片各像素之差作为所述逆重光照正则项误差。
进一步地，在本发明的一个实施例中，所述构建模块还用于获取所述生成网络输出与人所述脸真实图片输出的人脸识别网络特征，并且获取所述生成网络输出与人所述脸真实图片输出的人脸识别网络特征间的差值，以作为所述人脸识别网络特征正则项误差。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于深度学习的人脸重光照方法的流程图；
图2为根据本发明另一个实施例的基于深度学习的人脸重光照方法的流程图；
图3为根据本发明另一个实施例的人脸重光照网络的使用方法的功能示意图；
图4为根据本发明另一个实施例的基于深度学习的人脸重光照装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于深度学习的人脸重光照方法及装置，首先将参照附图描述根据本发明实施例提出的基于深度学习的人脸重光照方法。
图1是本发明一个实施例的基于深度学习的人脸重光照方法的流程图。
如图1所示，该基于深度学习的人脸重光照方法包括以下步骤：
在步骤S101中，利用相机参数矩阵、人脸三维模型与光照模型，并通过迭代优化方法确定人脸三维模型的顶点与人脸图片二维像素的位置与颜色对应关系，获得人脸图片对应的人脸区域图、法向图和表征光照分布图。
也就是说，本发明实施例可以利用相机参数矩阵，人脸三维模型以及光照模型，通过迭代优化方法确定人脸三维模型顶点与人脸图片二维像素的位置以及颜色对应关系，计算得到人脸图片对应的人脸区域图、法向图和一张用于表征光照分布的图片。
进一步地，在本发明的一个实施例中，通过迭代优化方法确定人脸三维模型的顶点与人脸图片二维像素的位置与颜色对应关系，进一步包括：通过人脸特征点检测方法得到人脸图片中特征点位置；利用相机参数矩阵与光照模型渲染得到人脸渲染图片；迭代优化人脸渲染图片与人脸真实图片的像素值之差，获取人脸三维模型上特征点在二维图片上投影点的距离。
可以理解的是，本发明实施例确定人脸三维模型顶点与二维像素对应关系的方法包括以下步骤：
(1)利用人脸特征点检测方法得到人脸图片中特征点位置；
(2)利用相机参数矩阵以及球谐光照模型，渲染得到人脸渲染图片；
(3)迭代优化人脸渲染图片与人脸真实图片的像素值之差，三维模型上特征点在二维图片上投影点的距离。
举例而言，如图2所示，本发明实施例采集人脸数据集。对于一张人脸图片，利用人脸三维模型拟合图片中的人脸，人脸三维模型上顶点v和经过旋转变换R，平移变化t后，通过相机参数矩阵P投影后人脸照片中像素点p的对应位置：
p＝P(Rv)+t，
本发明实施例可以通过人脸特征点检测方法，可以得到人脸图片中特征点的位置，并通过对三维模型特征点和图片特征点的位置，顶点与对应像素点的颜色进行迭代优化后，从而可以得到人脸三维模型中的系数向量和球谐光照模型中的参数l。本发明实施例可以利用球谐光照模型，可以计算得到每个像素点的的光照强度，如下所示：
其中bj与人脸模型上每一顶点的法向有关：
本发明实施例可以利用人脸三维模型可以得到人脸的法向图，并且利用法向图以及上述光照强度公式，渲染得到人脸的原光照分布图，随机产生一组球谐光照系数，渲染得到目标光照估计图，并将人脸三维模型投影到图片上覆盖的区域取出，得到对应的人脸区域图片。
在步骤S102中，利用相机参数矩阵、人脸三维模型与光照模型处理照片集，获得网络训练数据集。
举例而言，如图2所示，本发明实施例可以利用步骤S101中的方法对人脸图片数据集中每一张图片进行处理，从而可以得到人脸重光照网络训练的训练数据库。
在步骤S103中，通过深度学习方法构建人脸重光照网络，其中，利用网络训练数据集进行训练，生成人脸重光照网络。
也就是说，本发明实施例可以通过深度学习的方法，构建人脸重光照网络，利用训练数据集进行训练，从而可以使人脸重光照网络生成人脸重光照结果。
举例而言，本发明实施例构建的人脸重光照网络特征在于：人脸重光照网络有三个图片作为输入；人脸重光照网络输出一张图片。
进一步地，在本发明的一个实施例中，利用网络训练数据集进行训练，生成人脸重光照网络，进一步包括：利用光照模型以及训练集中的人脸真实图片对应的法向图，得到原光照估计图和目标光照估计图；构建生成对抗网络，其中，对抗网络的生成网络是人脸重光照网络；将网络训练数据集的人脸真实图片与对应的原光照估计图以和目标光照估计图作为生成网络的输入，生成网络输出与目标光照估计图作为对抗网络的虚假输入，网络训练数据集的人脸真实图片与原光照估计图作为对抗网络的真实输入；将对抗网络的输出与逆重光照正则项误差、人脸识别网络特征正则项误差之和作为误差，对生成对抗网络进行训练。
可以理解的是，本发明实施例训练人脸重光照网络的方法可以包括以下步骤：
(1)利用光照模型以及训练集中的人脸真实图片对应的法向图，得到原光照估计图和目标光照估计图；
(2)构建生成对抗网络，其生成网络是人脸重光照网络；
(3)将训练集中的人脸真实图片与其对应原光照估计图以及目标光照估计图作为生成网络的输入，生成网络输出与目标光照估计图作为对抗网络的虚假输入，训练集中的人脸真实图片与原光照估计图作为对抗网络的真实输入；
(4)将对抗网络的输出与逆重光照正则项误差、人脸识别网络特征正则项误差之和作为误差，对生成对抗网络进行训练。
进一步地，在本发明的一个实施例中，将对抗网络的输出与逆重光照正则项误差、人脸识别网络特征正则项误差之和作为误差，进一步包括：通过生成网络输出与目标光照估计图和原光照估计图作为输入，得到输出图片；根据输出图片对应的人脸真实图片各像素之差作为逆重光照正则项误差。
可以理解的是，本发明实施例的逆重光照正则项误差计算方法为：
(1)以生成网络输出与目标光照估计图和原光照估计图作为输入，得到其输出图片；
(2)将上述得到的输出图片对应的人脸真实图片各像素之差作为误差。
可选地，在本发明的一个实施例中，将对抗网络的输出与逆重光照正则项误差、人脸识别网络特征正则项误差之和作为误差，进一步包括:获取生成网络输出与人脸真实图片输出的人脸识别网络特征；获取生成网络输出与人脸真实图片输出的人脸识别网络特征间的差值，以作为人脸识别网络特征正则项误差。
具体而言，本发明实施例的人脸识别网络特征正则项误差计算方法为：
(1)计算上述生成网络输出与人脸真实图片输出的人脸识别网络特征；
(2)以这两个人脸识别网络特征之差作为误差。
举例而言，如图2所示，本发明实施例可以进行人脸重光照网络训练，并生成人脸重光照网络。本发明实施例可以设计人脸重光照网络作为生成对抗网络的生成网络
对抗网络为
其输入为人脸真实图片Ii，原光照估计图片
目标光照估计图片
输出为重光照图片Io。在进行人脸重光照网络训练时，采取的误差为：
误差的前两项为对抗网络输出的误差，最后一项为正则项。本发明实施例采取了人脸逆重光照正则项Reg2G与人脸识别网络特征正则项，分别如下所示：
其中，人脸逆重光照正则项要求人脸重光照网络能够把重光照的结果再次进行重光照，得到原本的输入图片。在人脸识别网络特征正则项，本发明实施例采用了VGG(VisualGraphics Generator，目视图像生成器)人脸识别网络的fc6层作为特征F，并通过对误差L进行如下的迭代优化，得到人脸重光照网络
为：
在步骤S104中，利用相机参数矩阵、人脸三维模型与光照模型处理人脸图片，并利用人脸重光照网络处理输出结果，得到人脸重光照结果。
可以理解的是，本发明实施例采用步骤S101中的方法处理人脸图片，其输出结果利用人脸重光照网络进行处理，从而可以得到人脸重光照结果。
举例而言，训练得到人脸重光照网络之后，如图3所示，可以利用相机参数矩阵、人脸三维模型与光照模型对人脸图片进行处理，从而得到原光照分布图和目标光照分布图，并将这三张图片作为人脸重光照网络的输入，从而得到人脸的重光照结果。
综上，本发明实施例的目的是解决图片后期处理中人脸重光照的问题，本发明实施例输入一张人脸图片，然后对该人脸图片的人脸区域进行人脸重光照处理，并利用人脸三维模型重建方法，对人脸上的光照分布进行估计，得到人脸重光照网络的训练数据，同时通过生成对抗网络训练方法对人脸重光照网络进行训练，对抗网络训练的方法利用训练好的人脸重光照网络，以人脸真实图片和人脸三维重建得到的原光照估计图和目标光照估计图作为输入，从而可以得到人脸重光照图片。
根据本发明实施例提出的基于深度学习的人脸重光照方法，可以利用三维人脸模型拟合图片中的人脸，计算得到用以表征人脸上光照分布的原光照估计图片和目标光照估计图片，并利用深度学习方法构建人脸重光照网络，利用人脸逆重光照正则项和人脸识别网络特征正则项对人脸重光照网络进行训练，对于不同的人脸图片，只需用人脸三维重建方法拟合图片中的人脸模型，就可以利用人脸重光照网络对人脸进行重光照，从而可以有效提高人脸重光照的真实感和可靠性。
其次参照附图描述根据本发明实施例提出的基于深度学习的人脸重光照装置。
图4是本发明一个实施例的基于深度学习的人脸重光照装置的结构示意图。
如图4所示，该基于深度学习的人脸重光照装置10包括：采集模块100、获取模块200、构建模块300和处理模块400。
其中，采集模块100用于利用相机参数矩阵、人脸三维模型与光照模型，并通过迭代优化方法确定人脸三维模型的顶点与人脸图片二维像素的位置与颜色对应关系，获得人脸图片对应的人脸区域图、法向图和表征光照分布图。获取模块200用于利用相机参数矩阵、人脸三维模型与光照模型处理照片集，获得网络训练数据集。构建模块300用于通过深度学习方法构建人脸重光照网络，其中，利用网络训练数据集进行训练，生成人脸重光照网络。处理模块400利用相机参数矩阵、人脸三维模型与光照模型处理人脸图片，并利用人脸重光照网络处理输出结果，得到人脸重光照结果。本发明实施例的装置10可以利用深度学习方法构建人脸重光照网络，利用人脸逆重光照正则项和人脸识别网络特征正则项对人脸重光照网络进行训练，利用人脸重光照网络对人脸进行重光照，从而可以有效提高人脸重光照的真实感和可靠性。
进一步地，在本发明的一个实施例中，采集模块100进一步用于通过人脸特征点检测方法得到人脸图片中特征点位置，利用相机参数矩阵与光照模型渲染得到人脸渲染图片，并且迭代优化人脸渲染图片与人脸真实图片的像素值之差，获取人脸三维模型上特征点在二维图片上投影点的距离。
进一步地，在本发明的一个实施例中，构建模块300进一步用于利用光照模型以及训练集中的人脸真实图片对应的法向图，得到原光照估计图和目标光照估计图，构建生成对抗网络，其中，对抗网络的生成网络是人脸重光照网络，并且将网络训练数据集的人脸真实图片与对应的原光照估计图以和目标光照估计图作为生成网络的输入，生成网络输出与目标光照估计图作为对抗网络的虚假输入，网络训练数据集的人脸真实图片与原光照估计图作为对抗网络的真实输入，以及将对抗网络的输出与逆重光照正则项误差、人脸识别网络特征正则项误差之和作为误差，对生成对抗网络进行训练。
进一步地，在本发明的一个实施例中，构建模块300进一步用于通过生成网络输出与目标光照估计图和原光照估计图作为输入，得到输出图片，并且根据输出图片对应的人脸真实图片各像素之差作为逆重光照正则项误差。
进一步地，在本发明的一个实施例中，构建模块300还用于获取生成网络输出与人脸真实图片输出的人脸识别网络特征，并且获取生成网络输出与人脸真实图片输出的人脸识别网络特征间的差值，以作为人脸识别网络特征正则项误差。
需要说明的是，前述对深度学习的人脸重光照方法实施例的解释说明也适用于该实施例的深度学习的人脸重光照装置，此处不再赘述。
根据本发明实施例提出的深度学习的人脸重光照装置，可以利用三维人脸模型拟合图片中的人脸，计算得到用以表征人脸上光照分布的原光照估计图片和目标光照估计图片，并利用深度学习方法构建人脸重光照网络，利用人脸逆重光照正则项和人脸识别网络特征正则项对人脸重光照网络进行训练，对于不同的人脸图片，只需用人脸三维重建方法拟合图片中的人脸模型，就可以利用人脸重光照网络对人脸进行重光照，从而可以有效提高人脸重光照的真实感和可靠性。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种基于深度学习的人脸重光照方法，其特征在于，包括以下步骤：
利用相机参数矩阵、人脸三维模型与光照模型，并通过迭代优化方法确定所述人脸三维模型的顶点与人脸图片二维像素的位置与颜色对应关系，获得人脸图片对应的人脸区域图、法向图和表征光照分布图；
利用所述相机参数矩阵、人脸三维模型与光照模型处理照片集，获得网络训练数据集；
通过深度学习方法构建人脸重光照网络，其中，利用所述网络训练数据集进行训练，生成人脸重光照网络，进一步包括：利用所述光照模型以及训练集中的人脸真实图片对应的法向图，得到原光照估计图和目标光照估计图；构建生成对抗网络，其中，所述对抗网络的生成网络是所述人脸重光照网络；将所述网络训练数据集的人脸真实图片与对应的所述原光照估计图以和目标光照估计图作为所述生成网络的输入，所述生成网络输出与所述目标光照估计图作为对所述抗网络的虚假输入，所述网络训练数据集的人脸真实图片与所述原光照估计图作为所述对抗网络的真实输入；将所述对抗网络的输出与逆重光照正则项误差、人脸识别网络特征正则项误差之和作为误差，对生成对抗网络进行训练；以及
利用所述相机参数矩阵、人脸三维模型与光照模型处理人脸图片，并利用所述人脸重光照网络处理输出结果，得到人脸重光照结果。
2.根据权利要求1所述的基于深度学习的人脸重光照方法，其特征在于，所述通过迭代优化方法确定所述人脸三维模型的顶点与人脸图片二维像素的位置与颜色对应关系，进一步包括：
通过人脸特征点检测方法得到人脸图片中特征点位置；
利用所述相机参数矩阵与所述光照模型渲染得到人脸渲染图片；
迭代优化所述人脸渲染图片与人脸真实图片的像素值之差，获取所述人脸三维模型上特征点在二维图片上投影点的距离。
3.根据权利要求1所述的基于深度学习的人脸重光照方法，其特征在于，所述将所述对抗网络的输出与逆重光照正则项误差、人脸识别网络特征正则项误差之和作为误差，进一步包括：
通过所述生成网络输出与所述目标光照估计图和所述原光照估计图作为输入，得到输出图片；
根据所述输出图片对应的人脸真实图片各像素之差作为所述逆重光照正则项误差。
4.根据权利要求1或3或所述的基于深度学习的人脸重光照方法，其特征在于，所述将所述对抗网络的输出与逆重光照正则项误差、人脸识别网络特征正则项误差之和作为误差，进一步包括:
获取所述生成网络输出与人所述脸真实图片输出的人脸识别网络特征；
获取所述生成网络输出与人所述脸真实图片输出的人脸识别网络特征间的差值，以作为所述人脸识别网络特征正则项误差。
5.一种基于深度学习的人脸重光照装置，其特征在于，包括：
采集模块，用于利用相机参数矩阵、人脸三维模型与光照模型，并通过迭代优化方法确定所述人脸三维模型的顶点与人脸图片二维像素的位置与颜色对应关系，获得人脸图片对应的人脸区域图、法向图和表征光照分布图；
获取模块，用于利用所述相机参数矩阵、人脸三维模型与光照模型处理照片集，获得网络训练数据集；
构建模块，用于通过深度学习方法构建人脸重光照网络，其中，利用所述网络训练数据集进行训练，生成人脸重光照网络，所述构建模块进一步用于利用所述光照模型以及训练集中的人脸真实图片对应的法向图，得到原光照估计图和目标光照估计图，构建生成对抗网络，其中，所述对抗网络的生成网络是所述人脸重光照网络，并且将所述网络训练数据集的人脸真实图片与对应的所述原光照估计图以和目标光照估计图作为所述生成网络的输入，所述生成网络输出与所述目标光照估计图作为对所述抗网络的虚假输入，所述网络训练数据集的人脸真实图片与所述原光照估计图作为所述对抗网络的真实输入，以及将所述对抗网络的输出与逆重光照正则项误差、人脸识别网络特征正则项误差之和作为误差，对生成对抗网络进行训练；以及
处理模块，用于利用所述相机参数矩阵、人脸三维模型与光照模型处理人脸图片，并利用所述人脸重光照网络处理输出结果，得到人脸重光照结果。
6.根据权利要求5所述的基于深度学习的人脸重光照装置，其特征在于，所述采集模块进一步用于通过人脸特征点检测方法得到人脸图片中特征点位置，利用所述相机参数矩阵与所述光照模型渲染得到人脸渲染图片，并且迭代优化所述人脸渲染图片与人脸真实图片的像素值之差，获取所述人脸三维模型上特征点在二维图片上投影点的距离。
7.根据权利要求5所述的基于深度学习的人脸重光照装置，其特征在于，所述构建模块进一步用于通过所述生成网络输出与所述目标光照估计图和所述原光照估计图作为输入，得到输出图片，并且根据所述输出图片对应的人脸真实图片各像素之差作为所述逆重光照正则项误差。
8.根据权利要求5或7或所述的基于深度学习的人脸重光照装置，其特征在于，所述构建模块还用于获取所述生成网络输出与人所述脸真实图片输出的人脸识别网络特征，并且获取所述生成网络输出与人所述脸真实图片输出的人脸识别网络特征间的差值，以作为所述人脸识别网络特征正则项误差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711078324.7A CN107909640B (zh) | 2017-11-06 | 2017-11-06 | 基于深度学习的人脸重光照方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711078324.7A CN107909640B (zh) | 2017-11-06 | 2017-11-06 | 基于深度学习的人脸重光照方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107909640A CN107909640A (zh) | 2018-04-13 |
| CN107909640B true CN107909640B (zh) | 2020-07-28 |
Family
ID=61842581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711078324.7A Active CN107909640B (zh) | 2017-11-06 | 2017-11-06 | 基于深度学习的人脸重光照方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107909640B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493408A (zh) * | 2018-11-21 | 2019-03-19 | 深圳阜时科技有限公司 | 图像处理装置、图像处理方法和设备 |
| CN111382618B (zh) | 2018-12-28 | 2021-02-05 | 广州市百果园信息技术有限公司 | 一种人脸图像的光照检测方法、装置、设备和存储介质 |
| CN109815893B (zh) * | 2019-01-23 | 2021-03-26 | 中山大学 | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 |
| CN110032927A (zh) * | 2019-02-27 | 2019-07-19 | 视缘(上海)智能科技有限公司 | 一种人脸识别方法 |
| CN110633608A (zh) * | 2019-03-21 | 2019-12-31 | 广州中科凯泽科技有限公司 | 一种姿态图像的人体肢体相似度评估方法 |
| CN110322548B (zh) * | 2019-06-11 | 2023-04-18 | 北京工业大学 | 一种基于几何图像参数化的三维网格模型生成方法 |
| CN110706152B (zh) * | 2019-09-25 | 2021-09-17 | 中山大学 | 基于生成对抗网络的人脸光照迁移方法 |
| CN111951373B (zh) * | 2020-06-30 | 2024-02-13 | 重庆灵翎互娱科技有限公司 | 一种人脸图像的处理方法和设备 |
| CN112686202B (zh) * | 2021-01-12 | 2023-04-25 | 武汉大学 | 一种基于3d重建的人头识别方法及*** |
| US11587528B2 (en) * | 2021-02-12 | 2023-02-21 | Microsoft Technology Licensing, Llc | Optimized facial illumination from adaptive screen content |
| CN112966670A (zh) * | 2021-04-08 | 2021-06-15 | 北京的卢深视科技有限公司 | 人脸识别方法、电子设备及存储介质 |
| CN114331823A (zh) * | 2021-12-29 | 2022-04-12 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN117541478A (zh) * | 2022-02-28 | 2024-02-09 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
| US20230290108A1 (en) * | 2022-03-10 | 2023-09-14 | Samsung Electronics Co., Ltd. | Machine-Learning Models Trained to Modify Image Illumination Without Ground-Truth Images |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872491A (zh) * | 2010-05-21 | 2010-10-27 | 清华大学 | 基于光度立体的自由视角重光照方法和*** |
| WO2015066628A1 (en) * | 2013-11-04 | 2015-05-07 | Facebook, Inc. | Systems and methods for facial representation |
| CN105447906A (zh) * | 2015-11-12 | 2016-03-30 | 浙江大学 | 基于图像和模型计算光照参数进行重光照渲染的方法 |
| CN106570928A (zh) * | 2016-11-14 | 2017-04-19 | 河海大学 | 一种基于图像的重光照方法 |
-
2017
- 2017-11-06 CN CN201711078324.7A patent/CN107909640B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872491A (zh) * | 2010-05-21 | 2010-10-27 | 清华大学 | 基于光度立体的自由视角重光照方法和*** |
| WO2015066628A1 (en) * | 2013-11-04 | 2015-05-07 | Facebook, Inc. | Systems and methods for facial representation |
| CN105447906A (zh) * | 2015-11-12 | 2016-03-30 | 浙江大学 | 基于图像和模型计算光照参数进行重光照渲染的方法 |
| CN106570928A (zh) * | 2016-11-14 | 2017-04-19 | 河海大学 | 一种基于图像的重光照方法 |
Non-Patent Citations (1)
| Title |
|---|
| 提高人脸识别率的重光照算法;罗光明;《计算机与现代化》;20150630(第238期);第51-54页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107909640A (zh) | 2018-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107909640B (zh) | 基于深度学习的人脸重光照方法及装置 | |
| Koch et al. | Evaluation of cnn-based single-image depth estimation methods | |
| US10225473B2 (en) | Threshold determination in a RANSAC algorithm | |
| JP6057298B2 (ja) | 迅速な３ｄモデリング | |
| CN103247075B (zh) | 基于变分机制的室内环境三维重建方法 | |
| CN111340944B (zh) | 基于隐式函数和人体模板的单图像人体三维重建方法 | |
| CN101916454B (zh) | 基于网格变形和连续优化的高分辨率人脸重建方法 | |
| CN106447601B (zh) | 一种基于投影-相似变换的无人机遥感影像拼接方法 | |
| CN108053437B (zh) | 基于体态的三维模型获取方法及装置 | |
| US20170278302A1 (en) | Method and device for registering an image to a model | |
| CN103106688A (zh) | 基于双层配准方法的室内三维场景重建方法 | |
| CN106023230B (zh) | 一种适合变形图像的稠密匹配方法 | |
| JP2005308553A (ja) | 三次元画像計測装置及び方法 | |
| CN113689539B (zh) | 基于隐式光流场的动态场景实时三维重建方法 | |
| CN110246161B (zh) | 一种360度全景图像无缝拼接的方法 | |
| CN111062866A (zh) | 一种基于变换矩阵的全景图像拼接的方法 | |
| CN112862683B (zh) | 一种基于弹性配准和网格优化的邻接图像拼接方法 | |
| JP2012185772A (ja) | 非固定ズームカメラを用いた自由視点映像の合成画質高精度化方法およびプログラム | |
| CN117036569B (zh) | 三维模型颜色生成网络训练方法、颜色生成方法及装置 | |
| CN109472752A (zh) | 基于航拍图像的多曝光融合*** | |
| CN114049464A (zh) | 一种三维模型的重建方法及设备 | |
| CN117542122B (zh) | 人***姿估计与三维重建方法、网络训练方法及装置 | |
| CN116958434A (zh) | 多视图三维重建方法、测量方法及*** | |
| CN112802186A (zh) | 基于二值化特征编码匹配的动态场景实时三维重建方法 | |
| CN112750155A (zh) | 基于卷积神经网络的全景深度估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |