CN111091492B - 一种基于卷积神经网络的人脸图像光照迁移方法 - Google Patents
一种基于卷积神经网络的人脸图像光照迁移方法 Download PDFInfo
- Publication number
- CN111091492B CN111091492B CN201911335861.4A CN201911335861A CN111091492B CN 111091492 B CN111091492 B CN 111091492B CN 201911335861 A CN201911335861 A CN 201911335861A CN 111091492 B CN111091492 B CN 111091492B
- Authority
- CN
- China
- Prior art keywords
- illumination
- image
- face
- migration
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 214
- 238000013508 migration Methods 0.000 title claims abstract description 91
- 230000005012 migration Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 36
- 238000013145 classification model Methods 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000000694 effects Effects 0.000 claims description 24
- 230000001537 neural effect Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 12
- 238000002474 experimental method Methods 0.000 description 9
- 238000011160 research Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
一种基于卷积神经网络的人脸图像光照迁移方法，通过使用卷积神经网络CNN实现对人脸图像的光照迁移。该方法主要是由两个部分来实现：光照模型训练和光照分类、光照匹配以及在借鉴图像风格迁移的基础上实现的光照迁移。首先通过结合卷积神经网络VGG19和VGG16在Yale Face人脸数据集和PIE人脸数据集上完成光照的分类，得到能够分类人脸图像光照的模型；然后利用该模型，实现了对单幅人脸图像的光照匹配，能够从人脸图像光照数据集中，得到与给定的人脸图像光照相似的图像；最后通过光照分类模型，对给定的参考人脸光照图像提取并处理相关光照特征便于迁移到输入人脸图像，实现了对单幅人脸图像光照的整体迁移。
Description
技术领域
本发明是一种基于卷积神经网络的人脸图像光照迁移方法，属于计算机视觉领域。
背景技术
图像的光照效果在计算机视觉领域内的多个研究方向都是研究热点，对人像图像自身也很重要。光影的效果在现代数字影视制作、人像摄影美化、广告等艺术设计方面都有广泛的应用需求。影视制作中的难题之一即如何捕捉到演员最佳镜头表现的同时，场景中的光照效果为最理想的效果。从改进拍摄工艺方面解决这一难题，面临昂贵的成本费用，从后期制作方面解决这一难题，面临复杂的技术处理手段。在人像摄影美化方面，面临与影视制作类似的难题，专业摄像设置理想的摄像光照场景成本过高，也受摄像师个人能力等因素的影响，而后期使用专业的图像处理软件也需要时间和人力成本，十分复杂。
人脸图像光照迁移将为上述难题提供一个简单的解决方案。在图像光照问题上，它只需给定理想光照效果的图像，即可将该光照效果迁移到目标图像上，使目标图像获得理想的光照效果。在视频图像问题上，它需要给定理想光照效果的图像或者视频，将该光照迁移到目标图像或视频中，两者中有一方或两方为视频文件。光照迁移旨在只需提供理想的光照效果，即可一步生成有理想光照效果的目标图像或视频，无需复杂的操作手段和方式，节省时间、人力、资源成本。目前人脸图像光照迁移方法均只改变了人脸图像面部的光照，没有处理人脸图像脖子和背景部分的光照。而实际应用场景中，人脸部分和非人脸部分密不可分，只改变人脸部分的光照不完全符合实际应用需求。本发明针对该问题，研究能够对整幅人脸图像做光照迁移的方法。它能使目标图像获得理想光照效果的同时，更接近实际的光照迁移应用场景。
发明内容
本发明的技术解决问题：在传统的人脸妆容和风格迁移的基础上提出基于卷积神经网络的人脸图像光照迁移。在结合了深度神经网络之后使光照迁移的效果更好、更接近真实图像光照效果，流程简单功能更强大。
本发明的技术解决方案：一种基于卷积神经网络的人脸图像光照迁移方法，包括如下步骤：
步骤1、数据集的准备及建立；
步骤2、预训练模型的准备；
步骤3、得到光照分类模型；
步骤4、基于光照分类模型的光照匹配；
步骤5、基于光照分类模型的光照迁移，具体如下：
其中，所述步骤1、数据集的准备及建立：目前光照分类比较详细的数据集有YaleFace数据集和PIE数据集。Yale Face数据集B包含10个摄影对象，9名男性1名女性，均为黑白图像。每位摄像对象包含9种姿势，每种姿势下有64种光照效果，总5760张包含背景的人脸光照图像。两个数据集共21888张人脸图像。PIE人脸数据集是彩色人脸数据集，共68个摄影对象，包含男性、女性和所有人种。其中，包含13种姿势的没有背景灯光的人脸光照图像，3种姿势的包含背景灯光的人脸光照图像，每种姿势下包含21种光照，以摄像机的x方向、y方向、z方向的位置来分类。该数据集的人脸光照图像部分共22848张图片，采用包含背景灯光且姿势为面对摄像机的图片，共1428张图片。
以上两种数据集都较小，对Yale Face人脸数据集，采用28个摄影对象的人脸数据用于训练，10个摄影对象的人脸数据用于测试。对PIE人脸数据集，使用50个摄影对象的人脸数据用于训练，18个摄影对象的人脸数据用于测试。PIE数据集中包含背景灯光的所有图像的背景光照相近，对学习分类人脸光照造成干扰，因此对图像数据做了抠图处理。
其中，所述步骤2、预训练模型的准备：目前有两种训练分类任务的方法，一种是从初始状态开始训练，另一种是迁移学习。在小数据集的基础上，使用预训练模型迁移学习获得的模型效果要比随机初始化的效果更好。因此本发明采用的是迁移学习的方式训练光照分类模型。针对于Yale Face人脸数据集，采用VGG19卷积神经网络，Matconvnet提供的物体分类数据集ImageNet的预训练模型。对PIE人脸数据集，使用卷积神经网络VGG16，Matconvnet提供的人脸识别模型Vgg Face的预训练模型。Matconvnet是Matlab中可使用卷积神经网络的工具箱，有丰富的预训练模型资源。
其中，所述步骤3、得到光照分类模型：训练光照分类模型首先按照分类任务去掉原网络的最后一层全连接层，添加新的用于训练的softmax层、top1-error层和top5-error层，根据数据集的类别数添加新的全连接层，Yale Face数据集为64类，PIE数据集为21类。然后fine tune整个网络，微调网络前几层的权重，学***均准确率为62.8571％。由VGG19网络和ImageNet预训练模型训练出的光照分类模型，在Yale Face人脸数据集测试集上的平均准确率为94.375％，共64类光照中，有48类的光照效果分类准确率达到100％。
其中，所述步骤4、基于光照分类模型的光照匹配：光照匹配即给定人脸光照输入图像，在人脸光照图像数据集中寻找与输入图像光照效果相同的图像，输出该光照相同的图像。光照匹配的关键在于如何计算表示图像的光照信息。本发明采用的VGG神经网络由卷积层、全连接层、池化层、softmax层构成。卷积层运算的输出为数据较大的图像特征信息，从中提取光照信息较为困难，尚不能明确卷积神经网络对图像做处理后所得信息的内涵。VGG网络最后一层全连接层，输出数据维度与图像的类别数一致，较为容易与图像光照信息找出关联。因此，在光照分类模型的基础上，使用光照分类准确率较高且类别较详细的YaleFace数据集训练出的模型，寻找光照信息与模型最后一层全连接层的输出之间的关联，完成对人脸光照图像的光照匹配。通过观察大量图像经过网络全连接层的输出和图像类别的标签，发现两者之间存在某种规律，输出的64维数据中最大值对应的维度序号与图像类别标签的序号相同。因此，本发明创造性的提出基于光照分类模型的光照匹配算法如图3所示。
其中，所述步骤5、基于光照分类模型的光照迁移：在光照分类模型的基础上，受Neural Style启发，结合传统光照迁移研究的商图像方法完成端到端的单幅人脸图像光照迁移。传统的Neural Style采用的是输入内容图和风格图，分别计算出内容图和风格图的损失，最后将内容图和风格图的损失线性组合得到最终的风格迁移图。基于此思想，本发明提出了基于光照分类模型的光照迁移，同样也是准备光照迁移所需的输入图像和参考图像，输入图像一般为均匀正面光照图像，参考图像一般为有明显光影差异的图像，将输入图像和参考图像输入到光照迁移网络(VGG19)中，得出两幅图像的特征矩阵值，然后根据特征矩阵值求解出光影商。将光影商和期望结果图像返回到迁移网络中最小化迁移损失函数，迭代1000轮后输出结果图像。在具体实验中发现传统的Neural Style中风格迁移部分并不能迁移学习光照信息，故最终只使用了其内容迁移部分来迁移图像的光照信息。
进一步的，所述光影商求解过程如下：
基于光照分类模型的光照迁移方法计算光影商之前先计算参考图像和目标图像经过VGG网络学习后的比率，其公式如下：
其中，Fl[I]是输入图像I的在l层卷积层处的特征矩阵，Fl[E]是参考图像E在l层卷积层处的特征矩阵；ε为一个常数，设定为0.0001，参考图像的特征矩阵值除输入图像的特征值，获得参考图像和目标图像经过VGG网络学习后的比率Sl，输入图像特征矩阵乘该比率来获得光影商，公式如下：
Fl[M]＝Fl[I]×Sl
其中，本发明对Fl[M](Fl[M]是图像M的在l层卷积层处的光影商)做了如公式
所示的约束改进。其中，约束值rij为0.4、5经实验得出，在该约束范围内即能较好的迁移光照信息，也不会过多的把参考图像的结构和内容迁移到输入图像上。
进一步的，所述迁移损失函数计算过程如下：
Neural Style创造性地提出了图片的content loss(内容损失)和style loss(风格损失)，用来表示卷积神经网络学习图像的内容和风格的迁移损失，其公式为：
其中，l表示在第l层卷积层处，存在尺寸为Dl的向量化特征映射的Nl个滤波器(Dl是滤波器响应中元素的数量)。Fl[.]∈RNl×Dl是得到的特征矩阵，(i,j)为特征矩阵的索引。(Fl[I],Fl[E],Fl[O])分别是输入图像I的特征矩阵、参考绘画风格图像E的特征矩阵和第l层卷积层的期望输出的结果图像O的特征矩阵。L是被检查网络中的总层数，其中(αl，βl)是配置好的权重参数。Γ是在输入图像内容的完整性和绘画风格迁移量之间调和的权重。
本发明迁移方法的迁移损失函数为：
Fl[O]为期望得到的结果图像，Fl[M]为光影商，计算两者的光影商的距离并不断缩小两者间的差距，获得自然的光照迁移。经实验后保留Neural Style中内容迁移部分来迁移图像的光照信息。经实验确定用于光照迁移的卷积层为卷积1_2层和卷积2_1层，较低的卷积层对于图像的内容、结构信息比较敏感，能够保留输入图像的内容信息。基于光照分类模型的光照迁移方法在同一个摄像对象上，能够迁移多种方向的光照，包括正光源、左光源、右光源，能够迁移光照，且光照自然。
本发明与现有技术相比的优点在于：
(1)深度学习的兴起为计算机视觉领域的很多研究带来了突破。风格迁移就是其中的典型，本发明在风格迁移的启发下，提供一种使用卷积神经网络进行光照迁移的方法，相比于传统的方法完成人脸妆容迁移和风格迁移的效果更好并且使得人脸图像的光照迁移效果更接近真实图像光照效果的结果。
(2)本发明在光照分类比较详细的数据集Yale Face数据集和PIE数据集上面采用预训练模型进行迁移学习的光照分类模型训练。针对不同的数据集使用不同的预训练模型并对预训练模型的神经结构进行了改进，微调之后再训练以达到较好的光照分类模型。
(3)本发明在基于光照分类模型的基础上进行了光照匹配，对给定人脸光照输入图像，在人脸光照图像数据集中寻找与输入图像光照效果相同的图像，输出该光照相同的图像。为得到以上目标经过大量实验发现神经网络中的光照信息与模型最后一层全连接层的输出之间的关联，完成对人脸光照图像的光照匹配并且提出光照匹配算法。
(4)本发明在得到训练较好的光照分类模型基础上进行光照分类模型的光照匹配并且结合图像风格迁移创新性的提出了光照迁移，并且提出改进了传统风格迁移的损失值函数，只取其内容迁移部分来迁移图像的光照信息，最终得到基于卷积神经网络的人脸图像光照迁移方法。
附图说明
图1为本发明框架图；
图2为本发明使用的卷积神经网络VGG16和VGG19的网络结构图；
图3为本发明的基于光照分类模型的光照匹配算法流程图；
图4为本发明的基于光照分类模型的光照迁移算法流程图。
具体实施方式
为了更好地理解本发明，先对一些基本概念进行一下解释说明。
卷积神经网络：Convolutional Nerual Networks，CNN是一类包含卷积计算且常用于深度学习的神经网络。
卷积层：通过卷积计算提取图像特征；
池化层：对输入的特征图像进行压缩，简化网络计算复杂度；
全连接层：连接所有的特征，将输出值送给softmax层；
迁移学习：将经过训练能够完成某种分类任务的网络模型中的权重，迁移到另一个目标分类训练的全新网络模型中，而不是从初始状态开始训练。
光照匹配：光照匹配即给定人脸光照输入图像，在人脸光照图像数据集中寻找与输入图像光照效果相同的图像，输出该光照相同的图像。
Matconvnet：Matlab中可使用卷积神经网络的工具箱，有丰富的预训练模型资源。
参见图1，本发明整个实现过程如下：
(1)首先是数据集的准备及建立，选择Yale Face数据集与PIE数据集。对YaleFace人脸数据集，采用28个摄影对象的人脸数据用于训练，10个摄影对象的人脸数据用于测试。对PIE人脸数据集，使用50个摄影对象的人脸数据用于训练，18个摄影对象的人脸数据用于测试。
(2)针对选择的两个数据集使用不同的预训练模型。其中Yale Face数据集使用卷积神经网络VGG19，Matconvnet提供的为ImageNet预训练模型，对于PIE数据集使用卷积神经网络VGG16，Matconvnet提供的为Vgg Face预训练模型，如图2所示为VGG16和VGG19的神经网络结构图。
(3)得到光照分类模型。修改VGG16和VGG19的网络结构，按照分类任务去掉原网络的最后一层全连接层，添加新的用于训练的softmax层、top1-error层和top5-error层，根据数据集的类别数添加新的全连接层，Yale Face数据集为64类，PIE数据集为21类。然后fine tune整个网络，微调网络前几层的权重，学***均准确率为62.8571％。由VGG19网络和ImageNet预训练模型训练出的光照分类模型，在Yale Face人脸数据集测试集上的平均准确率为94.375％，共64类光照中，有48类的光照效果分类准确率达到100％。
(4)在光照分类模型基础上进行光照匹配。进行光照匹配的关键在于如何计算表示图像的光照信息。在大量的实验后发现图像经过网络全连接层的输出和图像类别的标签存在某种规律，输出的64维数据中最大值对应的维度序号与图像类别标签的序号相同。因此，提出基于光照分类模型的光照匹配算法，具体算法流程如图3所示。
(5)受Neural Style启发，结合传统光照迁移研究的商图像方法，修改其损失函数，仅保留其内容迁移部分来迁移图像的光照信息，完成端到端的单幅人脸图像光照迁移，具体算法流程如图4所示。
上述各步骤的具体实现过程如下：
所述步骤(1)中所使用的卷积神经网络VGG16和卷积神经网络VGG19的网络结构图本发明中使用的核心神经网络结构图如图2所示：
(1.1)VGG16含有16个权重层，VGG19含有19个权重层，其中权重层包含卷积层和全连接层；
(1.2)VGG16与VGG19输入224*224RGB图像；
(1.3)VGG16含有13个卷积层，分别用conv3-xxx表示，其中3表示卷积核大小为3*3，-xxx表示卷积次数；3个全连接层，分别用FC-xxx；5个池化层，用maxpool表示；1个sofmax层；
(1.4)VGG19含有16个卷积层，分别用conv3-xxx表示，其中3表示卷积核大小为3*3，-xxx表示卷积次数；3个全连接层，分别用FC-xxx；5个池化层，用maxpool表示；1个sofmax层。
所述步骤(4)中基于光照分类模型的光照匹配具体算法流程
在训练得到光照分类模型的基础上实现关照匹配，该光照匹配算法流程如图3所示：
(4.1)开始；
(4.2)将人脸光照图像输入到光照分类模型：训练光照分类模型首先按照分类任务去掉原网络的最后一层全连接层，添加新的用于训练的softmax层、top1-error层和top5-error层，根据数据集的类别数添加新的全连接层，Yale Face数据集为64类，PIE数据集为21类。然后fine tune整个网络，微调网络前几层的权重，学习率设置为，迭代300轮，完成人脸图像光照分类任务；
(4.3)取出模型最后一层全连接层的输出值：本发明采用的VGG神经网络由卷积层、全连接层、池化层、softmax层构成。卷积层运算的输出为数据较大的图像特征信息，从中提取光照信息较为困难，尚不能明确卷积神经网络对图像做处理后所得信息的内涵。VGG网络最后一层全连接层，输出数据维度与图像的类别数一致，较为容易与图像光照信息找出关联。因此，在光照分类模型的基础上，使用光照分类准确率较高且类别较详细的YaleFace数据集训练出的模型，寻找光照信息与模型最后一层全连接层的输出之间的关联，完成对人脸光照图像的光照匹配；
(4.4)得出最大值及所在维度的序号：通过观察大量图像经过网络全连接层的输出和图像类别的标签，发现两者之间存在某种规律，输出的64维数据中最大值对应的维度序号与图像类别标签的序号相同，因此得到最大值及所在维度的序号为后面找到与输入图像维度序号相同的图像；
(4.5)在人脸数据集中寻找与输入图像维度序号相同的图像：基于上述的步骤后，在人脸数据集中找到与输入图像的维度序号相同的图像以便达到光照的匹配；
(4.6)对比所有维度序号相同图像的最大值：在人脸数据集中寻找到的与输入图像维度序号相同的图像中对比所有维度序号相同图像的最大值得到的最大值图像即为人脸数据集中图像与输入图像光照最匹配的图像；
(4.7)输出最大值与输入图像最接近的图像为匹配图像；
(4.8)结束。
所述步骤5中基于光照分类模型的光照迁移具体算法流程
在光照分类模型的基础上，受Neural Style启发，结合传统光照迁移研究的商图像方法完成端到端的单幅人脸图像光照迁移。传统的Neural Style采用的是输入内容图和风格图，分别计算出内容图和风格图的损失，最后将内容图和风格图的损失线性组合得到最终的风格迁移图。基于此思想，本发明提出了基于光照分类模型的光照迁移，具体算法的实现过程如图4所示：
(5.1)开始；
(5.2)输入参考图像和输入图像到迁移网络中：输入图像一般为均匀正面光照图像，参考图像一般为有明显光影差异的图像，将输入图像和参考图像输入到光照迁移网络(VGG19)中；
(5.3)得出输入图像和参考图像的特征值：输入图像和参考图像通过光照迁移网络的计算得到图像的特征值，便于计算图像的光影商；
(5.4)求解光影商：计算光影商之前先计算参考图像和目标图像经过VGG网络学习后的比率，其公式如下：
其中，Fl[I]是输入图像I的在l层卷积层处的特征矩阵，Fl[E]是参考图像E在l层卷积层处的特征矩阵；ε为一个常数，设定为0.0001，参考图像的特征矩阵值除输入图像的特征值，获得参考图像和目标图像经过VGG网络学习后的比率Sl，输入图像特征矩阵乘该比率来获得光影商，公式如下：
Fl[M]＝Fl[I]×Sl
其中本发明对Fl[M](Fl[M]是图像M的在l层卷积层处的光影商)做了如公式
所示的约束改进。其中，约束值rij为0.4、5经实验得出，在该约束范围内即能较好的迁移光照信息，也不会过多的把参考图像的结构和内容迁移到输入图像上；
(5.5)通过迁移损失函数求得结果图像：Neural Style创造性地提出了图片的contentloss(内容损失)和style loss(风格损失)，用来表示卷积神经网络学习图像的内容和风格的迁移损失，其公式为：
其中，l表示在第l层卷积层处，存在尺寸为Dl的向量化特征映射的Nl个滤波器(Dl是滤波器响应中元素的数量)。Fl[.]∈RNl×Dl是得到的特征矩阵，(i,j)为特征矩阵的索引。(Fl[I],Fl[E],Fl[O])分别是输入图像I的特征矩阵、参考绘画风格图像E的特征矩阵和第l层卷积层的期望输出的结果图像O的特征矩阵。L是被检查网络中的总层数，其中(αl，βl)是配置好的权重参数。Γ是在输入图像内容的完整性和绘画风格迁移量之间调和的权重。
光照迁移方法的迁移损失函数为：
Fl[O]为期望得到的结果图像，Fl[M]为光影商，计算两者的光影商的距离并不断缩小两者间的差距，获得自然的光照迁移。经实验后保留Neural Style中内容迁移部分来迁移图像的光照信息。经实验确定用于光照迁移的卷积层为卷积1_2层和卷积2_1层，较低的卷积层对于图像的内容、结构信息比较敏感，能够保留输入图像的内容信息。基于光照分类模型的光照迁移方法在同一个摄像对象上，能够迁移多种方向的光照，包括正光源、左光源、右光源，能够迁移光照，且光照自然；
(5.6)返回结果图像；
(5.7)结束。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (7)
1.一种基于卷积神经网络的人脸图像光照迁移方法，其特征在于，包括如下步骤：
步骤1、数据集的准备及建立；
步骤2、预训练模型的准备；
步骤3、得到光照分类模型；
步骤4、基于光照分类模型的光照匹配；
步骤5、基于光照分类模型的光照迁移；
步骤(4)基于光照分类模型的光照匹配具体包括如下步骤：
(4.1)开始；
(4.2)将人脸光照图像输入到光照分类模型：训练光照分类模型首先按照分类任务去掉原网络的最后一层全连接层，添加新的用于训练的softmax层、top1-error层和top5-error层，根据数据集的类别数添加新的全连接层，Yale Face数据集为64类，PIE数据集为21类；然后微调fine tune整个网络，微调网络前几层的权重，学习率设置为1*10-4，迭代300轮，完成人脸图像光照分类任务；
(4.3)取出模型最后一层全连接层的输出值：采用的VGG神经网络由卷积层、全连接层、池化层、softmax层构成，卷积层运算的输出图像特征信息，在光照分类模型的基础上，使用Yale Face数据集训练出的模型，寻找光照信息与模型最后一层全连接层的输出之间的关联，完成对人脸光照图像的光照匹配；
(4.4)得出最大值及所在维度的序号：图像经过网络全连接层的输出和图像类别的标签，输出的64维数据中最大值对应的维度序号与图像类别标签的序号相同，得到最大值及所在维度的序号；
(4.5)利用步骤(4.4)得到最大值及所在维度的序号在人脸数据集中寻找与输入图像维度序号相同的图像：在人脸数据集中找到与输入图像的维度序号相同的图像以便达到光照的匹配；
(4.6)对比所有维度序号相同图像的最大值：在人脸数据集中寻找到的与输入图像维度序号相同的图像中，对比所有维度序号相同图像的最大值得到的最大值图像即为人脸数据集中图像与输入图像光照最匹配的图像；
(4.7)输出最大值图像作为与输入图像最接近的图像的匹配图像；
(4.8)结束。
2.根据权利要求1所述的一种基于卷积神经网络的人脸图像光照迁移方法，其特征在于，步骤(1)数据集的准备及建立，包括如下步骤：
对Yale Face人脸数据集，采用28个摄影对象的人脸数据用于训练，10个摄影对象的人脸数据用于测试；
对PIE人脸数据集，使用50个摄影对象的人脸数据用于训练，18个摄影对象的人脸数据用于测试；对图像数据做抠图处理。
3.根据权利要求1所述的一种基于卷积神经网络的人脸图像光照迁移方法，其特征在于，步骤(2)预训练模型的准备，包括：
针对于Yale Face人脸数据集，采用VGG19卷积神经网络，Matconvnet提供的物体分类数据集ImageNet的预训练模型；
对PIE人脸数据集，使用卷积神经网络VGG16，Matconvnet提供的人脸识别模型VggFace的预训练模型。
4.根据权利要求1所述的一种基于卷积神经网络的人脸图像光照迁移方法，其特征在于，步骤(3)得到光照分类模型如下：
训练光照分类模型首先按照分类任务去掉原网络的最后一层全连接层，添加新的用于训练的softmax层、top1-error层和top5-error层，根据数据集的类别数添加新的全连接层，Yale Face数据集为64类，PIE数据集为21类；然后fine tune整个网络，微调网络前几层的权重，学习率设置为1*10-4，迭代300轮，完成人脸图像光照分类任务，由VGG16网络和VGGFace预训练模型训练出光照分类模型。
5.根据权利要求1所述的一种基于卷积神经网络的人脸图像光照迁移方法，其特征在于，步骤(4)基于光照分类模型的光照匹配如下：
在人脸光照图像数据集中寻找与输入图像光照效果相同的图像，输出该光照相同的图像，在光照分类模型的基础上，使用Yale Face数据集训练出的模型，完成对人脸光照图像的光照匹配。
6.根据权利要求1所述的一种基于卷积神经网络的人脸图像光照迁移方法，其特征在于，步骤(5)基于光照分类模型的光照迁移：
首先准备光照迁移所需的输入图像和参考图像，输入图像为均匀正面光照图像，参考图像为有明显光影差异的图像，将输入图像和参考图像输入到光照迁移网络中，得出两幅图像的特征矩阵值，然后根据特征矩阵值求解出光影商；将光影商和期望结果图像返回到迁移网络中最小化迁移损失函数，迭代多轮后输出结果图像。
7.根据权利要求6所述的一种基于卷积神经网络的人脸图像光照迁移方法，其特征在于，步骤(5)基于光照分类模型的光照迁移具体包括：
(5.1)开始；
(5.2)输入参考图像和输入图像到迁移网络中：输入图像为均匀正面光照图像，参考图像为有明显光影差异的图像，将输入图像和参考图像输入到光照迁移网络VGG19中；
(5.3)得出输入图像和参考图像的特征值：输入图像和参考图像通过光照迁移网络的计算得到图像的特征值，便于计算图像的光影商；
(5.4)求解光影商：计算光影商之前先计算参考图像和目标图像经过VGG网络学习后的比率，其公式如下：
其中，Fl[I]是输入图像I的在l层卷积层处的特征矩阵，Fl[E]是参考图像E在l层卷积层处的特征矩阵；ε为一个常数，设定为0.0001，参考图像的特征矩阵值除输入图像的特征值，获得参考图像和目标图像经过VGG网络学习后的比率Sl，输入图像特征矩阵乘该比率来获得光影商，公式如下：
Fl[M]＝Fl[I]×Sl
Fl[M]是图像M的在第l层卷积层处的光影商，其中对Fl[M]作约束改进如下：
其中，约束值rij为0.4～5的范围内；
(5.5)通过迁移损失函数求得结果图像：Neural Style方法中图片的内容损失contentloss和风格损失style loss，用来表示卷积神经网络学习图像的内容和风格的迁移损失，其公式为：
其中，l表示在第l层卷积层处，存在尺寸为Dl的向量化特征映射的Nl个滤波器，Dl是滤波器响应中元素的数量，Fl[.]∈RNl×Dl是得到的特征矩阵，(i,j)为特征矩阵的索引，Fl[I],Fl[E],Fl[O]分别是输入图像I的特征矩阵、参考绘画风格图像E的特征矩阵和第l层卷积层的期望输出的结果图像O的特征矩阵；L是被检查网络中的总层数，其中αl，βl是配置好的权重参数；Γ是在输入图像内容的完整性和绘画风格迁移量之间调和的权重；
光照迁移方法的迁移损失函数为：
Fl[O]为期望得到的结果图像，Fl[M]为光影商，计算两者的光影商的距离并不断缩小两者间的差距，获得自然的光照迁移；
(5.6)返回结果图像；
(5.7)结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911335861.4A CN111091492B (zh) | 2019-12-23 | 2019-12-23 | 一种基于卷积神经网络的人脸图像光照迁移方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911335861.4A CN111091492B (zh) | 2019-12-23 | 2019-12-23 | 一种基于卷积神经网络的人脸图像光照迁移方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111091492A CN111091492A (zh) | 2020-05-01 |
| CN111091492B true CN111091492B (zh) | 2020-09-04 |
Family
ID=70395905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911335861.4A Active CN111091492B (zh) | 2019-12-23 | 2019-12-23 | 一种基于卷积神经网络的人脸图像光照迁移方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111091492B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111951373B (zh) * | 2020-06-30 | 2024-02-13 | 重庆灵翎互娱科技有限公司 | 一种人脸图像的处理方法和设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103186774A (zh) * | 2013-03-21 | 2013-07-03 | 北京工业大学 | 一种基于半监督学习的多姿态人脸表情识别方法 |
| CN106599863A (zh) * | 2016-12-21 | 2017-04-26 | 中国科学院光电技术研究所 | 一种基于迁移学习技术的深度人脸识别方法 |
| CN108629380A (zh) * | 2018-05-11 | 2018-10-09 | 西北大学 | 一种基于迁移学习的跨场景无线信号感知方法 |
| CN110427965A (zh) * | 2019-06-25 | 2019-11-08 | 重庆邮电大学 | 基于进化策略的卷积神经网络结构简约及图像分类方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2532075A (en) * | 2014-11-10 | 2016-05-11 | Lego As | System and method for toy recognition and detection based on convolutional neural networks |
| CN107527334A (zh) * | 2017-08-28 | 2017-12-29 | 北京小米移动软件有限公司 | 人脸光照迁移方法及装置 |
| CN110570435B (zh) * | 2018-09-10 | 2020-06-26 | 阿里巴巴集团控股有限公司 | 用于对车辆损伤图像进行损伤分割的方法及装置 |
| CN110458844B (zh) * | 2019-07-22 | 2022-02-15 | 大连理工大学 | 一种低光照场景的语义分割方法 |
| CN110503711B (zh) * | 2019-08-22 | 2023-02-21 | 三星电子（中国）研发中心 | 在增强现实中渲染虚拟物体的方法及装置 |
-
2019
- 2019-12-23 CN CN201911335861.4A patent/CN111091492B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103186774A (zh) * | 2013-03-21 | 2013-07-03 | 北京工业大学 | 一种基于半监督学习的多姿态人脸表情识别方法 |
| CN106599863A (zh) * | 2016-12-21 | 2017-04-26 | 中国科学院光电技术研究所 | 一种基于迁移学习技术的深度人脸识别方法 |
| CN108629380A (zh) * | 2018-05-11 | 2018-10-09 | 西北大学 | 一种基于迁移学习的跨场景无线信号感知方法 |
| CN110427965A (zh) * | 2019-06-25 | 2019-11-08 | 重庆邮电大学 | 基于进化策略的卷积神经网络结构简约及图像分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111091492A (zh) | 2020-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Qi et al. | Geonet: Geometric neural network for joint depth and surface normal estimation | |
| Laffont et al. | Transient attributes for high-level understanding and editing of outdoor scenes | |
| Zhang et al. | Cross-domain correspondence learning for exemplar-based image translation | |
| Wang et al. | Deep cropping via attention box prediction and aesthetics assessment | |
| Fu et al. | Deep ordinal regression network for monocular depth estimation | |
| Deng et al. | Image aesthetic assessment: An experimental survey | |
| WO2020228525A1 (zh) | 地点识别及其模型训练的方法和装置以及电子设备 | |
| CN109815826B (zh) | 人脸属性模型的生成方法及装置 | |
| CN108682017B (zh) | 基于Node2Vec算法的超像素图像边缘检测方法 | |
| Eigen et al. | Nonparametric image parsing using adaptive neighbor sets | |
| CN111625667A (zh) | 一种基于复杂背景图像的三维模型跨域检索方法及*** | |
| CN110276753B (zh) | 基于特征空间统计信息映射的目标自适应隐藏方法 | |
| Ren et al. | A deep and structured metric learning method for robust person re-identification | |
| Liu et al. | Very lightweight photo retouching network with conditional sequential modulation | |
| Shu et al. | Eyeopener: Editing eyes in the wild | |
| CN114694089A (zh) | 一种新型的多模态融合的行人重识别算法 | |
| CN111091492B (zh) | 一种基于卷积神经网络的人脸图像光照迁移方法 | |
| Qian et al. | A benchmark for burst color constancy | |
| CN113011438B (zh) | 基于节点分类和稀疏图学习的双模态图像显著性检测方法 | |
| CN112860936A (zh) | 一种基于稀疏图相似度迁移的视觉行人重识别方法 | |
| Li et al. | Facial age estimation by deep residual decision making | |
| CN116883751A (zh) | 基于原型网络对比学习的无监督领域自适应图像识别方法 | |
| CN115018729A (zh) | 一种面向内容的白盒图像增强方法 | |
| CN113962846A (zh) | 图像对齐方法及装置、计算机可读存储介质及电子设备 | |
| Lu et al. | Image aesthetic assessment via deep semantic aggregation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |