CN109300170B - 肖像照片光影传递方法 - Google Patents

Abstract

本发明提供了肖像照片光影传递方法，涉及计算机视觉技术领域，包括：根据目标图像将参考图像进行人脸对齐，获得参考图像的对齐图像；根据参考图像的光影特点，采用匹配的光影检测算法将对齐图像进行图像分割，获得对应的光影掩膜的引导；基于光影掩膜，并采用卷积神经网络的不同层分别提取目标图像亮度通道和参考图像亮度通道的结构特征和光影信息；根据结构特征、光影信息，并采用目标损失函数和光影掩膜将对齐图像的大面积光影传递到目标图像上，再进一步结合加权空间控制算法，将小面积光影传递到目标图像上。本发明通过采用上述方法可以提高光影传递效果，使得肤色和图像细节更好地保留，光影传递更自然，提高了用户体验。

Description

肖像照片光影传递方法

技术领域

本发明涉及计算机视觉技术领域，尤其是涉及肖像照片光影传递方法。

背景技术

随着手机、平板等电子设备和互联网的普及，图像数量呈现井喷式增长，每时每刻都有大量的肖像照片被分享到各种社交平台上，而大部分人由于场地、设备以及摄影技巧等的限制，所拍摄的肖像照片大都不具有美感。当前越来越多的人对于照片的美感要求越来越高，而在艺术照片美感评价中，光与影组合的效果只要拿捏得恰到好处，就可以体现人脸的空间感和层次感，突出人物的性格，使一幅肖像照片的美感大大增强。随着计算机图形学、数字图像处理技术以及计算机视觉研究的逐步深入，对人脸光影的计算机处理开始在各行各业延伸，并且在电影、艺术照和肖像照等方面得到了广泛的应用，而光影处理的其中一方面就是将一幅具有艺术光影的参考人脸图像中的光影传递到另一幅没有艺术光影的目标人脸图像上，使目标图像具有艺术光影从而具有美感。简而言之就是从参考图像中提取光影信息特征，并与从目标图像提取的内容特征进行组合生成一幅新的艺术照。

现有技术中，虽然提出了很多肖像照片光影传递的方法，但在细节保留程度、传递结果光影的自然度以及与参考图像的相似度方面效果较差，从而影响传递结果的整体效果，不能给用户完美的体验。

发明内容

有鉴于此，本发明的目的在于提供肖像照片光影传递方法，以提高光影传递效果，使得图像细节更好地保留，光影更自然，提高了用户体验。

第一方面，本发明实施例提供了一种肖像照片光影传递方法，其中，所述方法包括：

对齐步骤：采用局部二值特征LBF和基于特征线的图像变换算法，并根据目标图像将参考图像进行人脸对齐，获得所述参考图像的对齐图像；

分割步骤：根据所述参考图像的光影特点，采用匹配的光影检测算法将所述对齐图像进行图像分割，获得对应的光影掩膜；

提取步骤：基于所述光影掩膜的引导，并采用卷积神经网络的不同层分别提取目标图像亮度通道和参考图像亮度通道的结构特征和光影信息；

第一传递步骤：根据所述结构特征、所述光影信息，并采用目标损失函数和光影掩膜将所述对齐图像的大面积光影传递到所述目标图像上，获得第一光影传递结果；

第二传递步骤：基于所述第一光影传递结果并结合加权空间控制算法，将所述对齐图像的小面积光影传递到所述目标图像上，获得第二光影传递结果。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述对齐步骤包括：

采用所述LBF将所述目标图像和所述参考图像分别进行特征标注，获得对应的目标人脸特征点和参考人脸特征点；

采用所述基于特征线的图像变换算法将所述参考图像进行形变，并将所述参考人脸特征点对齐到所述目标人脸特征点上，获得所述对齐图像。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述光影掩膜包括二分光影掩膜和三分光影掩膜，所述分割步骤包括：

根据所述参考图像的光影特点对光影区域进行分割，并根据分割结果划分第一类光影和第二类光影；

当所述参考图像为所述第一类光影时，采用基于感知颜色空间的光影检测算法，将所述对齐图像进行图像分割，获得所述二分光影掩膜；

当所述参考图像为所述第二类光影时，采用基于马尔科夫随机场MRF-MAP的光影检测算法，将所述对齐图像进行图像分割，获得所述三分光影掩膜。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述提取步骤包括：

将所述目标图像和所述对齐图像转化到Lab色彩空间，并通过分离亮度层和颜色层，提取所述目标图像亮度通道和所述参考图像亮度通道；

基于所述光影掩膜，并采用卷积神经网络的不同层分别提取所述目标图像亮度通道和所述参考图像亮度通道的结构特征和光影信息。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，在对第一类光影执行所述第一传递步骤中，所述目标损失函数为施加有照片真实感正则项的损失函数，根据下式获得：

其中，L_total是所述目标损失函数，

是内容损失，α_l是

的权重值，

是光影损失，β_l是

的权重值，Γ是平衡内容损失和光影损失的权重，L_m是照片真实感正则项，λ用于控制正则化程度，L为卷积神经网络卷积层的总数。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述内容损失根据下式获得：

其中，

是内容损失，F_l[x]是参考图像在卷积神经网络第l层的内容表示，F_l[p]是目标图像在卷积神经网络第l层的内容表示，N_l为卷积神经网络第l层的特征向量个数，M_l是每个特征向量的维度，i为第l层的第i个特征向量，j为第i个特征向量中的第j个值。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述光影损失根据下式获得：

其中，

是光影损失，C是光影掩膜被划分的语义区域的数量，G_l,c[x]是参考图像对应的格拉姆矩阵，G_l,c[p]是目标图像对应的格拉姆矩阵，N_l,c为格拉姆矩阵的阶数，i为第l层的第i个特征向量，j为第i个特征向量中的第j个值。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述照片真实感正则项根据下式获得：

L_m＝V[x]^TM_pV[x]，

其中，L_m是照片真实感正则项，V[x]是输出图像在亮度通道的矢量化表示，M_p为目标图像经拉普拉斯抠图产生的掩膜矩阵。

结合第一方面，本发明实施例提供了第一方面的第八种可能的实施方式，其中，所述第二传递步骤包括：

当光影为第二类光影时，在所述目标损失函数中的所述光影损失上增加光影强化权重，将所述对齐图像的对应的小面积光影进行强化，获得所述第二类光影对应的所述第二光影传递结果。

结合第一方面的第八种可能的实施方式，本发明实施例提供了第一方面的第九种可能的实施方式，其中，结合光影强化权重的光影损失根据下式获得：

其中，

为结合光影强化权重的光影损失，w_c是所述光影强化权重参数，C是光影掩膜被划分的语义区域的数量，G_l,c[x]是参考图像对应的格拉姆矩阵，G_l,c[p]是目标图像对应的格拉姆矩阵，N_l,c为格拉姆矩阵的阶数，i为第l层的第i个特征向量，j为第i个特征向量中的第j个值。

本发明实施例带来了以下有益效果：

本发明提供的肖像照片光影传递方法，包括：采用LBF和基于特征线的图像变换算法，并根据目标图像将参考图像进行人脸对齐，获得参考图像的对齐图像；根据参考图像的光影特点，采用匹配的光影检测算法将对齐图像进行图像分割，获得对应的光影掩膜；基于光影掩膜，并采用卷积神经网络的不同层分别提取目标图像亮度通道和参考图像亮度通道的结构特征和光影信息；根据结构特征、光影信息，并采用目标损失函数和光影掩膜将对齐图像的大面积光影传递到目标图像上，获得第一光影传递结果；基于第一光影传递结果并结合加权空间控制算法，将对齐图像的小面积光影传递到目标图像上，获得第二光影传递结果。本发明通过采用LBF提高人脸特征标注的精准性；利用卷积神经网络提取结构特征和光影信息，使得光影传递更加彻底；采用目标损失函数和光影掩膜，避免发生光影溢出的情况，从而使传递结果具有更逼真的光影效果，同时，还降低了参考图像对目标图像的人脸细节的影响；结合加权空间控制算法，可以有效保留传递结果的肤色，改善小光影传递后变淡的问题。可见，本发明采用上述方法可以提高光影传递效果，使得图像细节更好地保留，光影更自然，极大的提高了用户体验。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的肖像照片光影传递方法流程图；

图2为本发明实施例二提供的人脸对齐方法流程图；

图3为本发明实施例二提供的图像分割流程图；

图4为本发明实施例二提供的光影掩膜示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

当前越来越多的人对于照片的美感要求越来越高，而在艺术照片美感评价中，光与影组合的效果只要拿捏得恰到好处，就可以体现人脸的空间感和层次感，突出人物的性格，使一幅肖像照片的美感大大增强。随着计算机图形学、数字图像处理技术以及计算机视觉研究的逐步深入，对人脸光影的计算机处理开始在各行各业延伸，并且在电影、艺术照和肖像照等方面得到了广泛的应用，而光影处理的其中一方面就是将一幅具有艺术光影的参考人脸图像中的光影传递到另一幅没有艺术光影的目标人脸图像上，使目标图像具有艺术光影从而具有美感。简而言之就是从参考图像中提取光影信息特征，并与从目标图像提取的内容特征进行组合生成一幅新的艺术照。现有技术中，虽然提出了很多肖像照片光影传递的方法，但在细节保留程度、传递结果光影的自然度以及与参考图像的相似度方面效果较差，从而影响传递结果的整体效果，不能给用户完美的体验。

基于此，本发明实施例提供的肖像照片光影传递方法，可以提高光影传递效果，使得图像细节更好地保留，光影更自然，提高了用户体验。

为便于对本实施例进行理解，首先对本发明实施例所公开的肖像照片光影传递方法进行详细介绍。

实施例一：

图1为本发明实施例一提供的肖像照片光影传递方法流程图。

在本实施例中，肖像照片光影传递方法应用于用户终端上，用户终端可以包括但不限于：智能手机、个人电脑、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、移动上网设备(Mobile Internet Device，MID)等。

参照图1，肖像照片光影传递方法主要包括以下步骤：

对齐步骤S110，采用LBF(Local binary feature，局部二值特征)和基于特征线的图像变换算法，并根据目标图像将参考图像进行人脸对齐，获得参考图像的对齐图像。

分割步骤S120，根据参考图像的光影特点，采用匹配的光影检测算法将对齐图像进行图像分割，获得对应的光影掩膜。

提取步骤S130，基于光影掩膜，并采用卷积神经网络的不同层分别提取目标图像亮度通道和参考图像亮度通道的结构特征和光影信息。

第一传递步骤S140，根据结构特征、光影信息，并采用目标损失函数和光影掩膜将对齐图像的大面积光影传递到目标图像上，获得第一光影传递结果。

第二传递步骤S150，基于第一光影传递结果并结合加权空间控制算法，将对齐图像的小面积光影传递到目标图像上，获得第二光影传递结果。

实施例二：

图2为本发明实施例二提供的人脸对齐方法流程图。

本实施例将对上述的肖像照片光影传递方法做展开描述。

参照图2，对齐步骤S110的具体实现过程如下：

步骤S210，采用LBF将目标图像和参考图像分别进行特征标注，获得对应的目标人脸特征点和参考人脸特征点。

具体的，采用LBF的算法分别将目标图像和参考图像进行特征点的提取，LBF算法是一种快速高效的特征点标注方法，该方法不仅可以快速的找到人脸特征点的位置，而且所标注人脸特征点的位置也较为精准。

步骤S220，采用基于特征线的图像变换算法将参考图像进行形变，并将参考人脸特征点对齐到目标人脸特征点上，获得对齐图像。

具体的，为得到较好的人脸对齐结果，以人脸特征点作为控制顶点，采用基于特征线的图像变形算法，把参考图像的参考人脸特征点对齐到目标图像的目标人脸特征点上，从而获得参考图像的对齐图像。

参照图3，分割步骤S120的具体实现过程如下：

步骤S310，根据参考图像的光影特点对光影区域进行分割，并根据分割结果划分第一类光影和第二类光影。

具体的，通过观察参考图像的光影的特点，可以发现光影区域可以大致分为两类，一种是光影区和非光影区对比较分明的光影，如图4(a)所示，对其采用二分光影掩膜，即分割出光影区域和非光影区域，称为第一类光影；另一种是光影区域存在过渡感的光影，如图4(b)所示，对其采用三分光影掩膜，即分割出光影区域、过渡区域和非光影区域，称为第二类光影。结合光影传递的目的，针对不同种类的光影采用不同形式的光影掩膜。

步骤S320，当参考图像为第一类光影时，采用基于感知颜色空间的光影检测算法，将对齐图像进行图像分割，获得二分光影掩膜。

具体的，采用基于感知颜色空间的光影检测算法来提取对齐图像的二分光影掩膜。首先将对齐图像转化到PCS(Picture Coding Symposium，图像编码研讨会)空间；然后通过基于PCS空间的阴影检测算法来确立阴影种子像素；最后使用MRF和信任传导算法来对阴影区进行扩充检测得到二分光影掩膜。

步骤S330，当参考图像为第二类光影时，采用基于马尔科夫随机场MRF-MAP的光影检测算法，将对齐图像进行图像分割，获得三分光影掩膜。

具体的，使用基于MRF-MAP的光影检测方法来提取对齐图像的三分光影掩膜。首先使用阈值法对图像进行初始分割得到三分的初始分割结果，然后使用MRF-MAP方法对初始分割结果进行迭代更新得到三分光影掩膜。

进一步的，提取步骤S130的具体实现过程如下：

首先，将目标图像和对齐图像转化到Lab色彩空间，并通过分离亮度层和颜色层，提取目标图像亮度通道和参考图像亮度通道。

在提取对应的亮度通道的过程中，由于光影传递中光影信息主要存在于图像的亮度层中，因此，通过分离亮度层和颜色层，仅在亮度通道中执行光影传递，以避免参考图像肤色的影响，保留目标图像的肤色。

然后，基于光影掩膜，并采用卷积神经网络的不同层分别提取目标图像亮度通道和参考图像亮度通道的结构特征和光影信息。

具体的，目标图像亮度通道经过卷积神经网络的不同层后，在每个卷积层会提取到许多特征图，每一层的特征图构成了其在该层的人脸结构表示(属于结构特征)；同样的参考图像亮度通道在卷积神经网络每一层的特征图构成了其在该层的光影表示(属于光影信息)。

随机初始化一张参考图像，参考图像通过卷积神经网络时也会提取到很多特征图，每层的特征图分别构成参考图像在该层的人脸结构表示和光影表示。

进一步的，基于提取到的结构特征和光影信息进入光影传递过程。在对第一类光影执行第一传递步骤S140中，通过不断的迭代、优化目标损失函数，使目标图像亮度通道的人脸结构表示与噪声图像的人脸结构表示、以及参考图像亮度通道的光影表示与噪声图像的光影表示的差异性最小，最终使噪声图像优化为既保持目标图像亮度通道的人脸结构信息，又具有参考图像亮度通道的光影信息。

这里，目标损失函数为施加有照片真实感正则项的损失函数，施加照片真实感正则项可以确保不会丢失人脸结构信息、不会发生光影溢出，从而产生更逼真的光影效果。目标损失函数如公式(1)所示：

其中，L_total是目标损失函数，

是内容损失，α_l是

的权重值，

是光影损失，β_l是

的权重值，Γ是平衡内容损失和光影损失的权重，L_m是照片真实感正则项，λ用于控制正则化程度，L为卷积神经网络卷积层的总数。如卷积神经网络选用VGG-19，内容表示层选择conv4_2(α＝1，其他层α＝0)，风格表示层选择conv1_1，conv2_1，conv3_1，conv4_1，conv5_1(β＝1/5，其他层β＝0)，参数Γ设置为10³比较合适，λ一般设置10³。

内容损失

可由参考图像x在网络中第l层的内容表示F_l[x]和目标图像p在l层的内容表示F_l[p]之间的均方误差损失函数来定义，如公式(2)所示：

其中，

是内容损失，F_l[x]是参考图像在卷积神经网络第l层的内容表示，F_l[p]是目标图像在卷积神经网络第l层的内容表示，N_l为卷积神经网络第l层的特征向量个数，M_l是每个特征向量的维度，i表示第l层的第i个特征向量，j表示第i个特征向量中的第j个值。

图像的光影表示由卷积层中不同滤波器之间特征响应的相关关系

表示，其中G_l[·]＝F_l[·]F_l[·]^T是图像在l层中特征向量间的格拉姆矩阵。为了精准的传递光影，在传递之前会对图像进行语义分割以生成掩膜，然后以掩膜上对应相同的语义区域来引导光影的传递。假设掩膜被划分为C个语义区域，则定义第l层中掩膜的c通道为M_l,c[·]，对应的格拉姆矩阵重新定义为G_l,c[·]＝F_l[·]M_l,c[·]，此时光影损失

可由公式(3)表示：

其中，N_l,c为格拉姆矩阵的阶数。

假设目标图像p中有N个像素，则目标图像p经过拉普拉斯抠图产生的掩膜矩阵M_p是N×N的。将输出参考图像x在亮度通道的矢量化版本(N×1)定义为V[x]，照片真实感正则项L_m以公式(4)表示：

L_m＝V[x]^TM_pV[x] (4)；

在光影传递的过程中，添加在损失函数上照片真实感正则项L_m是与图像扭曲相关的惩罚项，用来确保不会丢失人脸结构信息。

进一步的，第二传递步骤S140在具体实现时包括：

当光影为第二类光影时，通过在光影损失上增加光影强化权重，将对齐图像的对应的小面积光影进行强化，获得对应的第二光影传递结果。

具体的，在传递一些光影区域面积较小的小光影时，会存在传递后光影区域较淡的问题，在基于颜色保持的光影传递算法中语义分割思想的基础上，提出了基于语义分割的加权空间控制方法，来调节光影的浓淡。在第二类光影传递时，使用的光影掩膜最多存在三类标签区域，即代表光影区域的黑色标签，过渡区域的灰色标签和非光影区域的白色标签。通过在相关的光影损失上添加权重以控制此区域中的光影化强度，此时，结合有光影强化权重的光影损失根据公式(5)获得：

其中，

为结合光影强化权重的光影损失，w_c是光影强化权重参数。由于只是调节光影区域的光影化强度，仅在检测到标签为黑色时设置权值w_c为10⁴，灰色标签和白色标签权值w_c设置为1。

应注意到：相似的标号和字母在上述实施例中表示类似项，因此，一旦某一项在一个公式中被定义，则在随后的公式中不需要对其进行进一步定义和解释。

综上所述，本发明实施例带来了以下有益效果：

本发明提供的肖像照片光影传递方法，包括：采用LBF和基于特征线的图像变换算法，并根据目标图像将参考图像进行人脸对齐，获得参考图像的对齐图像；根据参考图像的光影特点，采用匹配的光影检测算法将对齐图像进行图像分割，获得对应的光影掩膜；基于光影掩膜，并采用卷积神经网络的不同层分别提取目标图像亮度通道和参考图像亮度通道的结构特征和光影信息；根据结构特征、光影信息，并采用目标损失函数和光影掩膜将对齐图像的大面积光影传递到目标图像上，获得第一光影传递结果；基于第一光影传递结果并结合加权空间控制算法，将对齐图像的小面积光影传递到目标图像上，获得第二光影传递结果。本发明通过采用LBF提高人脸特征标注的精准性；利用卷积神经网络提取结构特征和光影信息，使得光影传递更加彻底；采用目标损失函数和光影掩膜，避免发生光影溢出的情况，从而使传递结果具有更逼真的光影效果，同时，还降低了参考图像对目标图像的人脸细节的影响；结合加权空间控制算法，可以有效保留传递结果的肤色，改善小光影传递后变淡的问题。可见，本发明采用上述方法可以提高光影传递效果，使得图像细节更好地保留，光影更自然，极大的提高了用户体验。

本发明实施例还提供一种电子设备，包括存储器、处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的肖像照片光影传递方法的步骤。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例的肖像照片光影传递方法的步骤。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种肖像照片光影传递方法，其特征在于，所述方法包括：

对齐步骤：采用局部二值特征LBF和基于特征线的图像变换算法，并根据目标图像将参考图像进行人脸对齐，获得所述参考图像的对齐图像；

分割步骤：根据所述参考图像的光影特点，采用匹配的光影检测算法将所述对齐图像进行图像分割，获得对应的光影掩膜；

提取步骤：基于所述光影掩膜的引导，并采用卷积神经网络的不同层分别提取目标图像亮度通道和参考图像亮度通道的结构特征和光影信息；

第一传递步骤：根据所述结构特征、所述光影信息，并采用目标损失函数和所述光影掩膜将所述对齐图像的大面积光影传递到所述目标图像上，获得第一光影传递结果；

第二传递步骤：基于所述第一光影传递结果并结合加权空间控制算法，将所述对齐图像的小面积光影传递到所述目标图像上，获得第二光影传递结果。

2.根据权利要求1所述的方法，其特征在于，所述对齐步骤包括：

采用所述LBF将所述目标图像和所述参考图像分别进行特征标注，获得对应的目标人脸特征点和参考人脸特征点；

采用所述基于特征线的图像变换算法将所述参考图像进行形变，并将所述参考人脸特征点对齐到所述目标人脸特征点上，获得所述对齐图像。

3.根据权利要求1所述的方法，其特征在于，所述光影掩膜包括二分光影掩膜和三分光影掩膜，所述分割步骤包括：

根据所述参考图像的光影特点对光影区域进行分割，并根据分割结果划分第一类光影和第二类光影；

当所述参考图像为所述第一类光影时，采用基于感知颜色空间的光影检测算法，将所述对齐图像进行图像分割，获得所述二分光影掩膜；

当所述参考图像为所述第二类光影时，采用基于马尔科夫随机场MRF-MAP的光影检测算法，将所述对齐图像进行图像分割，获得所述三分光影掩膜。

4.根据权利要求1所述的方法，其特征在于，所述提取步骤包括：

将所述目标图像和所述对齐图像转化到Lab色彩空间，并通过分离亮度层和颜色层，提取所述目标图像亮度通道和所述参考图像亮度通道；

基于所述光影掩膜，并采用卷积神经网络的不同层分别提取所述目标图像亮度通道和所述参考图像亮度通道的结构特征和光影信息。

5.根据权利要求3所述的方法，其特征在于，在对第一类光影执行所述第一传递步骤中，所述目标损失函数为施加有照片真实感正则项的损失函数，根据下式获得：

其中，L_total是所述目标损失函数，

是内容损失，α_l是

的权重值，

是光影损失，β_l是

的权重值，Γ是平衡内容损失和光影损失的权重，L_m是照片真实感正则项，λ用于控制正则化程度，L为卷积神经网络卷积层的总数。

6.根据权利要求5所述的方法，其特征在于，所述内容损失根据下式获得：

其中，

是内容损失，F_l[x]是参考图像在卷积神经网络第l层的内容表示，F_l[p]是目标图像在卷积神经网络第l层的内容表示，N_l为卷积神经网络第l层的特征向量个数，M_l是每个特征向量的维度，i为第l层的第i个特征向量，j为第i个特征向量中的第j个值。

7.根据权利要求5所述的方法，其特征在于，所述光影损失根据下式获得：

其中，

是光影损失，C是光影掩膜被划分的语义区域的数量，G_l,c[x]是参考图像对应的格拉姆矩阵，G_l,c[p]是目标图像对应的格拉姆矩阵，N_l,c为格拉姆矩阵的阶数，i为第l层的第i个特征向量，j为第i个特征向量中的第j个值。

8.根据权利要求5所述的方法，其特征在于，所述照片真实感正则项根据下式获得：

L_m＝V[x]^TM_pV[x]，

其中，L_m是照片真实感正则项，V[x]是输出图像在亮度通道的矢量化表示，M_p为目标图像经拉普拉斯抠图产生的掩膜矩阵。

9.根据权利要求3所述的方法，其特征在于，所述第二传递步骤包括：

当光影为第二类光影时，在所述目标损失函数中的光影损失上增加光影强化权重，将所述对齐图像的对应的小面积光影进行强化，获得所述第二类光影对应的所述第二光影传递结果。

10.根据权利要求9所述的方法，其特征在于，结合光影强化权重的光影损失根据下式获得：

其中，

为结合光影强化权重的光影损失，w_c是所述光影强化权重参数，C是光影掩膜被划分的语义区域的数量，G_l,c[x]是参考图像对应的格拉姆矩阵，G_l,c[p]是目标图像对应的格拉姆矩阵，N_l,c为格拉姆矩阵的阶数，i为第l层的第i个特征向量，j为第i个特征向量中的第j个值。

Images