CN109829353A - 一种基于空间约束的人脸图像风格化方法 - Google Patents
一种基于空间约束的人脸图像风格化方法 Download PDFInfo
- Publication number
- CN109829353A CN109829353A CN201811389750.7A CN201811389750A CN109829353A CN 109829353 A CN109829353 A CN 109829353A CN 201811389750 A CN201811389750 A CN 201811389750A CN 109829353 A CN109829353 A CN 109829353A
- Authority
- CN
- China
- Prior art keywords
- characteristic
- image
- face
- style
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于空间约束的人脸图像风格化方法，该方法包括如下步骤，首先，将输入的风格图像和原始图像进行归一化，通过特征编码器提取人脸的多层深度特征图，并通过人脸建模网络提取人脸空间特征点；然后，在深度特征图的每一层，利用人脸空间特征点的空间约束和普氏变换，执行特征块匹配方法，获得从风格图像到原始图像的映射；将映射后的风格图像与原始图像进行特征融合得到新的深度特征图，通过预先训练的特征解码器，最终获得风格化的原始图像。本发明属于计算机视觉领域，充分利用了人脸的空间对应关系，设计出快速的特征块匹配方法，能有效提升人脸图像风格化的速度和准确性。
Description
技术领域
本发明属于计算机视觉与图像处理领域，尤其涉及一种基于空间约束的人脸图像风格化方法。
背景技术
人脸图像风格迁移是一种图像处理方法，对输入图像进行预处理、分析编码、特征融合和解码可以将给定的风格特征作用到原始人脸图像，从而得到风格化的人脸图像。以往的风格迁移方法需要耗费大量的计算资源用于在风格图像和参考图像之间求解数值优化问题，近年出现了一些快速风格迁移方法，这些方法多是基于大量的同类型风格图像进行长时间训练，提取出特定的风格模型再将其渲染在参考图像上，这种类型的方法只能对图像整体的颜色纹理特征进行无差别的迁移，不具备语义级别的风格迁移能力。到目前为止，能够实现快速、准确、语义级别的任意风格迁移方法还没有出现。
发明内容
发明目的：针对以上现有技术存在的问题，本发明提出一种基于空间约束的人脸图像风格化方法，该方法旨在基于图像中的人脸空间特征点对应关系，在语义信息的指导下逐步进行快速准确的特征匹配与融合，从而实现快速的人脸图像风格化。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于空间约束的人脸图像风格化方法，该方法包括以下步骤：
(1)对风格图像a、原始人脸图像b进行裁剪；
(2)通过神经网络提取风格图像a、原始人脸图像b的人脸多层深度特征图以及人脸空间特征点；
(3)根据神经网络最后一层的输出特征图，对人脸五官区域执行空间约束的特征块匹配；
(4)根据特征块匹配结果，计算从风格图像a到原始人脸图像b的局部映射矩阵；
(5)根据上述局部映射矩阵，将映射作用于整张图像；
(6)将映射后的风格特征图与原始人脸特征图像融合，并将融合后的特征图放大到上一层尺寸；
(7)返回上一层，迭代执行步骤(3)-(6)，得到风格化的人脸图像。
进一步的，步骤(1)中，输入的风格图像、原始人脸图像进行裁剪，方法如下：给定两张风格不同的人脸图像，选取其中一张为风格图像，另外一张为将要执行风格化的原始图像，对输入的风格图像和原始图像进行裁剪获得人脸矩形图像，而且图像宽度和高度范围为200-600像素之间。
进一步的，步骤(2)中，通过神经网络提取人脸的多层深度特征图以及人脸空间特征点，方法如下：
(2.1)删除VGG19模型最后三层全连接层，保存VGG19前五层，设计和构造了用于人脸特征编码网络；
(2.2)每层N中均包含卷积层、激活层、池化层，N＝1,2,3,4,5；
(2.2)卷积层中，采用3*3的卷积核对上一层的输出执行卷积操作，卷积层用于提取图像的局部特征以及放大图像维度，各个大层经过卷积层后，维度分别为32、64、128、256、512；
(2.3)激活层中，采用分段线性函数，将卷积层的输出归一化到指定范围内；
(2.4)池化层中，通过2*2的最大值滤波器，使得图像长宽减小到原来的一半，各个层经过池化层后，尺寸分别为原图的1/1、1/2、1/4、1/8、1/16；
(2.5)将五层按照串联形式首尾相连，就得到了用于特征提取的人脸特征编码网络；
(2.6)采用五层中的池化层的输出作为深度特征图；
(2.7)根据人脸特征点检测方法获取风格图像以及原始图像的3D人脸空间特征点。
进一步的，步骤(3)中，对人脸五官区域执行空间约束的特征块匹配，获得从风格图到原始人脸图像的局部映射矩阵，方法如下：
(3.1)将风格图像以及原始图像的3D人脸空间特征点空间坐标相连，分割出五官区域；
(3.2)将风格图像a、原始图像b在本层的深度特征图分割为多个3*3的矩形特征块pa、pb；
(3.2)定义从pa到pb的映射函数为即特征块pa是风格图像a的特征图中中与pb最相似特征块；
(3.3)在原始图像b的人脸五官区域，为每一个特征块pb随机分配一个处于相同五官区域的特征块pa，即假设与pb最相似特征块是pa，即初始化映射函数为
(3.4)在初始值的基础之上，搜索与特征块pb最相似的特征块pa，令Na(p)为风格图像a五官区域的所有特征块，Nb(p)为原始图像b五官区域的所有特征块，为原始图像b中特征块pb的特征值，在Na(p)中，找到能够使得下列能量函数最小的特征块pa的位置：
pa∈Na(p)，pb∈Nb(p)
上式最小，也即说明pa是与特征块pb最为相似的特征块，即pa与pb相互匹配，每次比较时，遍历当前匹配到的特征块pa周围的8个相邻的特征块pa1～pa8，依次计算他们的能量函数，如果找到更相似的特征块pai，就更新现在的匹配结果，将当前的pa设定为pai
进一步的，步骤(4)中，获得从风格图到原始人脸图像的局部映射矩阵，方法如下：
(4.1)求解局部特征块集合的重心：在局部特征匹配中得到了N对两两匹配的特征块集合，他们的的坐标集合记为{Pa,Pb}，分别求取这些坐标的均值得到质心的坐标{Ca,Cb}，令N(p)为风格图像a五官区域的所有特征块，N为这些特征块的总对数，Pa表示特征块的位置；则质心坐标的计算方式为，把所有五官区域的特征块的坐标相加，然后除以总个数N，即如下式：
(4.2)求解局部特征块集合的标准差：在深度特征域，分别计算风格图像b和原始人脸图像a匹配完毕的所有特征块{Pa,Pb}坐标的标准差{Sa,Sb}，计算方法为，将所有五官区域的特征块位置减去质心位置，得到的差平方后相加，最后除以总个数N，即如下式：
(4.3)SVD分解：直接应用Eigen矩阵运算库自带的奇异值分解函数对进行奇异值分解，得到三个矩阵U,S,Vt；U是由左奇异向量矩阵，S是对角线上的元素都为奇异值的矩阵,Vt是由右奇异向量矩阵；
(4.4)计算旋转矩阵：将上面求得的矩阵U,Vt相乘后转置，得到旋转矩阵；即如下式：
R＝(U*Vt)T
(4.5)计算仿射矩阵：根据如下公式获得仿射矩阵M：
M代表了从pa到pb的位置映射，pb∈Nb(p)，pa∈Na(p)也即风格图像a到原始图像b的特征图映射矩阵。
进一步的，步骤(5)中，根据上述局部映射矩阵，将映射作用于整张图像，方法如下：将上一步计算得到的仿射矩阵M与所有尚未匹配的特征块pb的坐标相乘，结果作为剩余未匹配特征块的初始匹配值，令Mb(p)为图b中所有尚未匹配特征块集合，则即如下式：
pb∈Mb(p)
同样执行与步骤(3.4)中相同的迭代搜索策略，即每次遍历pb周围的8个相邻的特征块pa1～pa8，依次计算他们的能量函数，如果找到更相似的特征块pai，就更新现在的匹配结果，将当前的pa设定为pai，在深度特征域，按照映射函数将风格图a的所有特征块映射到原始人脸b中。
进一步的，步骤(6)中，映射后的风格特征图与人脸特征图像融合，方法如下：
(6.1)映射后的风格特征图与人脸特征图像融合，将两者按照如下公式加权相加：
上式中，为第L层风格特征的权重，为第L层原始人脸特征的权重，不同层的上述权重值可以根据实际需要设置不同的值；表示将特征图中所有的特征块进行位置映射后得到的新的特征图，也即映射后的风格特征图；为原始人脸特征图；
(6.2)将上述相加结果经过反卷积操作放大一倍，恢复到与上一层深度特征图相同的尺寸，反卷积放大得到的深度特征图记为
进一步的，步骤(7)中，返回上一层，迭代执行步骤(3)-(6)，得到风格化的人脸图像，方法如下：
(7.1)在网络第L层，将风格图像的特征图与原始人脸的特征图进行特征匹配和融合，并进行卷积放大得到L-1层的深度特征图记为在第L-1层，令：
(7.2)在第L-1层，将融合特征图作为新的参考风格特征图并执行步骤(3)-(5)计算得到然后执行步骤(6)计算得到：
(7.3)在网络第L-1层，将经过反卷积操作放大一倍，得到第L-2层融合特征图
(7.4)以此类推，迭代执行步骤(3)-(6)，直到得到也即恢复到了图像域，也即风格化的人脸图像。。
有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：
1、本发明充分利用了人脸图像的空间特征点对应关系，使用自动生成的人脸语义信息来指导特征块的搜索，保证了特征匹配的准确性，提升了人脸图像风格化的视觉效果。
2、本发明限定了局部特征块搜索的范围，并且采用普氏变换来预测全局特征块搜索结果，大大提高了能量函数收敛的速度，避免了在全局范围内的长时间搜索，使得人脸风格化的耗时远远少于以往的方法。
附图说明
图1是本发明一种基于空间约束的人脸图像风格化方法流程图；
图2是本发明中人脸特征编码网络DeepFace-Net的模型结构；
图3是本发明中快速特征块匹配方法的详细流程图；
图4是本发明的人脸风格化结果示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明公开的一种基于空间约束的人脸图像风格化方法，如图1所示，其中快速特征块匹配方法的步骤如图2所示，人脸风格化的结果如图3所示，详细步骤如下：
(1)输入图像归一化
首先，给定两张风格不同的人脸图像，选取其中一张为风格图像，另外一张为将要执行风格化的原始图像。对输入的风格图像和原始图像进行预处理，诸如可以使用图像处理库opencv提供的人脸检测和裁剪函数将两幅图中的人脸部分裁剪为矩形图像，图像宽度和高度范围为200-600像素之间。
(2)提取特征图与特征点
首先，为了提取风格图像以及原始图像的深度特征图，需要定义和设计人脸图像编码网络，基于VGG19模型，我们设计和构造了用于人脸特征编码网络。VGG19是牛津大学计算机视觉组和Google公司的一起研发的深度卷积神经网络，VGG19的最后三层为全连接层。全连接层适用于输出一维的分类结果，而本算法不需要最后三层全连接层，所以我们删掉了VGG19的最后三层，保存VGG19前面的五个大层，使得网络更加的精简，并且获得了更快的运行速度。人脸特征编码网络结构如下：
(2.1)网络分为五层，每层N(N＝1,2,3,4,5)中均包含卷积层、激活层、池化层。
(2.2)卷积层(convN-1)中，采用3*3的卷积核对上一层的输出执行卷积操作，卷积层用于提取图像的局部特征以及放大图像维度，各个大层经过卷积层后，维度分别为32、64、128、256、512。
(2.3)激活层(reluN-1)中，采用分段线性函数，将卷积层的输出归一化到指定范围内。
(2.4)池化层(poolN)中，通过2*2的最大值滤波器，使得图像长宽减小到原来的一半，各个层经过池化层后，尺寸分别为原图的1/1、1/2、1/4、1/8、1/16。
(2.5)将五层按照串联形式首尾相连，就得到了用于特征提取的人脸特征编码网络。
方法采用五层中的池化层relu1-1、relu2-1、relu3-1、relu4-1以及relu5-1层的输出作为深度特征图(记为以及)，这些层的特征图尺寸分别为原图的1/1、1/2、1/4、1/8、1/16，维度分别为32、64、128、256、512，这些特征图由浅层到深层、由纹理到结构地详细描述了图像特征。人脸特征编码网络的网络结构展示在图2中，其中标注*的为可以输出深度特征图的网络层，即relu1-1、relu2-1、relu3-1、relu4-1以及relu5-1。
在提取深度特征图的同时，根据人脸特征点检测方法获取风格图像以及原始图像的3D人脸空间特征点，并存储下来以备下面的方法使用。人脸空间特征点是位于位于图像中人脸区域固定位置的一组特征点，这些点标记了人脸中重要区域(比如鼻子，嘴巴，眼睛等等)的位置。人脸特征点检测可以采用当前被广泛使用的Dlib框架，opencv框架或最新的深度学习方法，如PRN方法等。
(3)局部特征匹配
首先在对应的五官区域执行特征块匹配，即局部特征匹配。上面得到了人脸3D人脸空间特征点，也即获得了人脸关键的五官区域(在算法中具体为左眼、右眼、鼻子和嘴巴)的空间坐标，把这些五官区域的空间坐标相连，就可以实现对两张图像中人脸五官区域的语义分割。接下来，在分割出的五官区域，执行特征匹配。执行特征匹配只在本层进行操作。
在当前层执行特征匹配的方法如下，以下操作均只在当前层深度特征图上进行：
(3.1)将风格图像a、原始图像b在本层的深度特征图分割为许多个3*3的矩形特征块pa、pb。
(3.2)定义从pa到pb的映射函数为即特征块pa是风格图像a的特征图中中与pb最相似特征块。
(3.3)在原始图像b的人脸五官区域，为每一个特征块pb随机分配一个处于相同五官区域的特征块pa，即假设与pb最相似特征块是pa，即初始化映射函数为
(3.4)在初始值的基础之上，搜索与特征块pb最相似的特征块pa。令Na(p)为风格图像a五官区域的所有特征块，Nb(p)为原始图像b五官区域的所有特征块，为原始图像b中特征块pb的特征值，如(2)中所述，特征值的维度在第1-5层分别为32、64、128、256、512，为风格图像a中特征块pa的特征值。值得注意的是：特征匹配只在本层进行，不涉及网络中其他层，以上的参数Na(p)，Nb(p)，均仅代表本层的参数。
在Na(p)中，找到能够使得下列能量函数最小的特征块pa的位置：
pa∈Na(p)，pb∈Nb(p)
上式最小，也即说明pa是与特征块pb最为相似的特征块，即pa与pb相互匹配。每次比较时，会遍历当前匹配到的特征块pa周围的8个相邻的特征块pa1～pa8，依次计算他们的能量函数，如果找到更相似的特征块pai，就更新现在的匹配结果，将当前的pa设定为pai。根据实验，只需通过这样不到8次的比较就可以得到较好的结果，综合考虑准确性与速度，方法设定：通过5次比较，找到的能够使得能量函数最小的pa即作为pb的匹配结果。
(4)普氏变换求解仿射变换矩阵
根据上一步得到的局部特征对匹配结果建立仿射变换矩阵，假设从风格图像到原始人脸的所有变换都是仿射变换，比如旋转、平移和缩放，则可以通过普氏变换获得从风格图像到原始人脸的仿射变换矩阵。求解的方法如下：
(4.1)求解局部特征块集合的重心：在局部特征匹配中得到了N对两两匹配的特征块集合，他们的的坐标集合记为{Pa,Pb}，分别求取这些坐标的均值得到质心的坐标{Ca,Cb}。令N(p)为风格图像a五官区域的所有特征块，N为这些特征块的总对数，Pa表示特征块的位置；则质心坐标的计算方式为，把所有五官区域的特征块的坐标相加，然后除以总个数N。即如下式：
(4.2)求解局部特征块集合的标准差：在深度特征域，分别计算风格图像b和原始人脸图像a匹配完毕的所有特征块{Pa,Pb}坐标的标准差{Sa,Sb}。计算方法为，将所有五官区域的特征块位置减去质心位置，得到的差平方后相加，最后除以总个数N；即如下式：
(4.3)SVD分解：直接应用Eigen矩阵运算库自带的奇异值分解函数对进行奇异值分解，得到三个矩阵U,S,Vt；U是左奇异向量矩阵，S是对角线上的元素都为奇异值的矩阵,Vt是右奇异向量矩阵。
(4.4)计算旋转矩阵：将上面求得的矩阵U,Vt相乘后转置，得到旋转矩阵；即如下式：
R＝(U*Vt)T
(4.5)计算仿射矩阵：根据如下公式获得仿射矩阵M：
M代表了从pa到pb的位置映射，pb∈Nb(p)，pa∈Na(p)也即风格图像a到原始图像b的特征图映射矩阵。这个M是由人脸五官区域的特征块匹配结果计算而来的，是对风格图像a到原始图像b的特征图映射的一个粗略的估计，接下来需要在这个映射矩阵的基础之上，求解整个人脸区域特征块的准确映射结果。
(5)全局特征匹配
将上一步计算得到的仿射矩阵M与所有尚未匹配的特征块pb的坐标相乘，结果作为剩余未匹配特征块的初始匹配值，令Mb(p)为图b中所有尚未匹配特征块集合，则即如下式：
pb∈Mb(p)
由于这个初始匹配值只是一个粗略的估计，为了得到精确的匹配结果，需要进行全局特征匹配。因而，接下来，同样执行与步骤(3.4)中相同的迭代搜索策略，即每次遍历pb周围的8个相邻的特征块pa1～pa8，依次计算他们的能量函数，如果找到更相似的特征块pai，就更新现在的匹配结果，将当前的pa设定为pai。经过5次这样的迭代遍历搜索，从而得到最终的匹配结果。在深度特征域，按照映射函数将风格图a的所有特征块映射到原始人脸b中。
(6)特征融合与反卷积放大
在深度特征域，映射后的风格特征图具有与人脸特征图像相同的空间结构，因而可以直接与人脸特征图像融合，将两者按照如下公式加权相加：
上式中，为第L层风格特征的权重，为第L层原始人脸特征的权重，不同层的上述权重值可以根据实际需要设置不同的值；表示将特征图中所有的特征块进行位置映射后得到的新的特征图，也即映射后的风格特征图；为原始人脸特征图。融合相加后的结果同时具有着人脸图像和风格图像的特征。在不同的卷积层，两者相加时将会乘以不同的权重。
如步骤(2)中所述，由于每一层的深度特征图的尺寸不同，例如，相比的长宽要大一倍，所以这个相加结果需要经过反卷积操作放大一倍，才能恢复到与上一层深度特征图相同的尺寸，反卷积放大得到的深度特征图记为
(7)逐层运算，得到最终结果
通过步骤(3)-(6)，在网络第L层，将风格图像的特征图与原始人脸的特征图进行特征匹配和融合，并进行卷积放大得到L-1层的深度特征图记为由于融合特征图同时兼具风格特征和原始人脸结构，相比于在步骤(2)中由人脸编码网络直接输出的也更加适合在第L-1层与进行特征匹配和融合。因而，在第L-1层，令：
也即，在第L-1层，将融合特征图作为新的参考风格特征图并执行步骤(3)-(5)计算得到然后执行步骤(6)计算得到：
根据上述，在网络第L-1层，将风格图像的特征图与人脸的特征图进行特征匹配和融合得到这个相加结果需要经过反卷积操作放大一倍，才能恢复到L-2层深度特征图相同的尺寸，反卷积放大到第L-2层得到融合特征图
以此类推，迭代执行步骤(3)-(7)共计五次，直到得到也即恢复到了图像域，得到了融合了风格与人脸结构的新图像，也即风格化的人脸图像。图4展示了人脸风格化的结果。新的人脸图像融合了语义级别的风格特征，同时保留了原始人脸的结构，因而实现了对原始人脸的风格化。
Claims (8)
1.一种基于空间约束的人脸图像风格化方法，其特征在于，该方法包括以下步骤：
(1)对风格图像a、原始人脸图像b进行裁剪；
(2)通过神经网络提取风格图像a、原始人脸图像b的人脸多层深度特征图以及人脸空间特征点；
(3)根据神经网络最后一层的输出特征图，对人脸五官区域执行空间约束的特征块匹配；
(4)根据特征块匹配结果，计算从风格图像a到原始人脸图像b的局部映射矩阵；
(5)根据上述局部映射矩阵，将映射作用于整张图像；
(6)将映射后的风格特征图与原始人脸特征图像融合，并将融合后的特征图放大到上一层尺寸；
(7)返回上一层，迭代执行步骤(3)-(6)，得到风格化的人脸图像。
2.根据权利要求1所述的一种基于空间约束的人脸图像风格化方法，其特征在于，步骤(1)中，对风格图像a、原始人脸图像b进行裁剪，方法如下：给定两张风格不同的人脸图像，选取其中一张为风格图像，另外一张为将要执行风格化的原始人脸图像，对输入的风格图像和原始图像进行裁剪获得矩形人脸图像，而且图像宽度和高度范围为200-600像素之间。
3.根据权利要求2所述的一种基于空间约束的人脸图像风格化方法，其特征在于，步骤(2)中，通过神经网络提取风格图像a、原始人脸图像b的人脸多层深度特征图以及人脸空间特征点，方法如下：
(2.1)删除VGG19模型最后三层全连接层，保存VGG19模型前五层，设计和构造人脸特征编码网络；
(2.2)每层N中均包含卷积层、激活层、池化层，N＝1，2，3，4，5；
(2.2)卷积层，采用3*3的卷积核对上一层的输出执行卷积操作，卷积层用于提取图像的局部特征以及放大图像维度，各个层经过卷积层后，维度分别为32、64、128、256、512；
(2.3)激活层，采用分段线性函数，将卷积层的输出归一化到指定范围内；
(2.4)池化层，通过2*2的最大值滤波器，使得图像长宽减小到原来的一半，各个层经过池化层后，尺寸分别为原图的1/1、1/2、1/4、1/8、1/16；
(2.5)将五层按照串联形式首尾相连，得到用于特征提取的人脸特征编码网络；
(2.6)采用五层中的各层的池化层输出作为深度特征图；
(2.7)根据人脸特征点检测方法获取风格图像a以及原始图像b的3D人脸空间特征点。
4.根据权利要求3所述的一种基于空间约束的人脸图像风格化方法，其特征在于，步骤(3)中，根据神经网络最后一层的输出特征图，对人脸五官区域执行空间约束的特征块匹配，方法如下：
(3.1)将风格图像a以及原始图像b的3D人脸空间特征点空间坐标相连，分割出五官区域；
(3.2)将风格图像a、原始图像b在最后一层的深度特征图分割为多个3*3的矩形特征块pa、pb；
(3.2)定义从pa到pb的映射函数为即特征块pa是风格图像a的特征图中与pb最相似特征块；
(3.3)在原始图像b的人脸五官区域，为每一个特征块pb随机分配一个处于相同五官区域的特征块pa，即假设与pb最相似特征块是pa，即初始化映射函数为
(3.4)在初始值的基础之上，搜索与特征块pb最相似的特征块pa，令Na(p)为风格图像a五官区域的所有特征块，Nb(p)为原始图像b五官区域的所有特征块，为风格图像a中特征块pa的特征值，为原始图像b中特征块pb的特征值，在Na(p)中，找到能够使得下列能量函数最小的特征块pa：
pa∈Na(p)，pb∈Nb(p)
上式最小，也即说明pa是与特征块pb最为相似的特征块，即pa与pb相互匹配，每次比较时，遍历当前匹配到的特征块pa周围的8个相邻的特征块pa1～pa8，依次计算他们的能量函数，如果找到更相似的特征块pai，就更新现在的匹配结果，即将当前的pa设定为pai。
5.根据权利要求4所述的一种基于空间约束的人脸图像风格化方法，其特征在于，步骤(4)中，根据特征块匹配结果，计算从风格图像a到原始人脸图像b的局部映射矩阵，方法如下：
(4.1)求解局部特征块集合的重心：在局部特征匹配中得到了N对两两匹配的特征块集合，坐标集合记为{Pa，Pb}，分别求取这些坐标的均值得到质心的坐标{Ca，Cb}，令N(p)为风格图像a五官区域的所有特征块，N为这些特征块的总对数，Pa表示特征块的位置；则质心坐标的计算方式为，把所有五官区域的特征块的坐标相加，然后除以总个数N，即如下式：
(4.2)求解局部特征块集合的标准差：在深度特征域，分别计算风格图像b和原始人脸图像a匹配完毕的所有特征块{Pa，Pb}坐标的标准差{Sa，Sb}，计算方法为，将所有五官区域的特征块位置减去质心位置，得到的差平方后相加，最后除以总个数N，即如下式：
(4.3)sVD分解：直接应用Eigen矩阵运算库自带的奇异值分解函数对进行奇异值分解，得到三个矩阵U，S，Vt；U是左奇异向量矩阵，S是对角线上的元素都为奇异值的矩阵，Vt是右奇异向量矩阵；
(4.4)计算旋转矩阵：将上面求得的矩阵U，Vt相乘后转置，得到旋转矩阵；即如下式：
R＝(U*Vt)T
(4.5)计算仿射矩阵：根据如下公式获得仿射矩阵M：
M代表了从pa到pb的位置映射，pb∈Nb(p)，pa∈Na(p)，也即风格图像a到原始人脸图像b的特征图映射矩阵。
6.根据权利要求5所述的一种基于空间约束的人脸图像风格化方法，其特征在于，步骤(5)中，根据上述局部映射矩阵，将映射作用于整张图像，方法如下：将上一步计算得到的仿射矩阵M与所有尚未匹配的特征块pb的坐标相乘，结果作为剩余未匹配特征块的初始匹配值，令Ob(p)为图b中所有尚未匹配特征块集合，则即如下式：
pb∈Ob(p)
同样执行与步骤(3.4)中相同的迭代搜索策略，即每次遍历pb周围的8个相邻的特征块pa1～pa8，依次计算他们的能量函数，如果找到更相似的特征块pai，就更新现在的匹配结果，将当前的pa设定为pai，在深度特征域，按照映射函数将风格图像a的所有特征块映射到原始人脸图像b中。
7.根据权利要求6所述的一种基于空间约束的人脸图像风格化方法，其特征在于，步骤(6)中，将映射后的风格特征图与人脸特征图像融合，并将融合后的特征图放大到上一层尺寸，方法如下：
(6.1)映射后的风格特征图与人脸特征图像融合，将两者按照如下公式加权相加：
其中，为第L层风格特征的权重，为第L层原始人脸特征的权重，不同层的上述权重值可以根据实际需要设置不同的值；表示将特征图中所有的特征块进行位置映射后得到的新的特征图，也即映射后的风格特征图，为原始人脸特征图；
(6.2)将上述相加结果经过反卷积操作放大一倍，恢复到与上一层深度特征图相同的尺寸，反卷积放大得到的深度特征图记为
8.根据权利要求7所述的一种基于空间约束的人脸图像风格化方法，其特征在于，步骤(7)中，返回上一层，迭代执行步骤(3)-(6)，得到风格化的人脸图像，方法如下：
(7.1)在网络第L层，将风格图像的特征图与原始人脸的特征图进行特征匹配和融合，并进行卷积放大得到L-1层的深度特征图记为在第L-1层，令：
(7.2)在第L-1层，将融合特征图作为新的参考风格特征图并执行步骤(3)-(5)计算得到然后执行步骤(6)计算得到：
(7.3)在网络第L-1层，将经过反卷积操作放大一倍，得到第L-2层融合特征图
(7.4)以此类推，迭代执行步骤(3)-(6)，直到得到也即恢复到了图像域，也即风格化的人脸图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811389750.7A CN109829353B (zh) | 2018-11-21 | 2018-11-21 | 一种基于空间约束的人脸图像风格化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811389750.7A CN109829353B (zh) | 2018-11-21 | 2018-11-21 | 一种基于空间约束的人脸图像风格化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109829353A true CN109829353A (zh) | 2019-05-31 |
| CN109829353B CN109829353B (zh) | 2023-04-18 |
Family
ID=66859858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811389750.7A Active CN109829353B (zh) | 2018-11-21 | 2018-11-21 | 一种基于空间约束的人脸图像风格化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109829353B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111160279A (zh) * | 2019-12-31 | 2020-05-15 | 武汉星巡智能科技有限公司 | 利用小样本生成目标识别模型的方法、装置、设备及介质 |
| CN111223039A (zh) * | 2020-01-08 | 2020-06-02 | 广东博智林机器人有限公司 | 图像风格转换方法、装置、电子设备及存储介质 |
| CN111815509A (zh) * | 2020-09-02 | 2020-10-23 | 北京邮电大学 | 一种图像风格转换及模型训练的方法及装置 |
| CN113255813A (zh) * | 2021-06-02 | 2021-08-13 | 北京理工大学 | 一种基于特征融合的多风格图像生成方法 |
| CN113689324A (zh) * | 2021-07-06 | 2021-11-23 | 清华大学 | 一种基于二分类标签的人像物件的自动增删方法及装置 |
| CN115272146A (zh) * | 2022-07-27 | 2022-11-01 | 天翼爱音乐文化科技有限公司 | 一种风格化图像生成方法、***、设备及介质 |
| WO2023072015A1 (zh) * | 2021-10-25 | 2023-05-04 | 北京字节跳动网络技术有限公司 | 人物风格形象图的生成方法、装置、设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805803A (zh) * | 2018-06-13 | 2018-11-13 | 衡阳师范学院 | 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法 |
-
2018
- 2018-11-21 CN CN201811389750.7A patent/CN109829353B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805803A (zh) * | 2018-06-13 | 2018-11-13 | 衡阳师范学院 | 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111160279A (zh) * | 2019-12-31 | 2020-05-15 | 武汉星巡智能科技有限公司 | 利用小样本生成目标识别模型的方法、装置、设备及介质 |
| CN111160279B (zh) * | 2019-12-31 | 2023-05-30 | 武汉星巡智能科技有限公司 | 利用小样本生成目标识别模型的方法、装置、设备及介质 |
| CN111223039A (zh) * | 2020-01-08 | 2020-06-02 | 广东博智林机器人有限公司 | 图像风格转换方法、装置、电子设备及存储介质 |
| CN111815509A (zh) * | 2020-09-02 | 2020-10-23 | 北京邮电大学 | 一种图像风格转换及模型训练的方法及装置 |
| CN113255813A (zh) * | 2021-06-02 | 2021-08-13 | 北京理工大学 | 一种基于特征融合的多风格图像生成方法 |
| CN113255813B (zh) * | 2021-06-02 | 2022-12-02 | 北京理工大学 | 一种基于特征融合的多风格图像生成方法 |
| CN113689324A (zh) * | 2021-07-06 | 2021-11-23 | 清华大学 | 一种基于二分类标签的人像物件的自动增删方法及装置 |
| CN113689324B (zh) * | 2021-07-06 | 2024-04-26 | 清华大学 | 一种基于二分类标签的人像物件的自动增删方法及装置 |
| WO2023072015A1 (zh) * | 2021-10-25 | 2023-05-04 | 北京字节跳动网络技术有限公司 | 人物风格形象图的生成方法、装置、设备及存储介质 |
| CN115272146A (zh) * | 2022-07-27 | 2022-11-01 | 天翼爱音乐文化科技有限公司 | 一种风格化图像生成方法、***、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109829353B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829353A (zh) | 一种基于空间约束的人脸图像风格化方法 | |
| Shi et al. | Hyperspectral image denoising using a 3-D attention denoising network | |
| CN111795704B (zh) | 一种视觉点云地图的构建方法、装置 | |
| CN106778502B (zh) | 一种基于深度残差网络的人群计数方法 | |
| Peng et al. | Detecting heads using feature refine net and cascaded multi-scale architecture | |
| WO2020063527A1 (zh) | 基于多特征检索和形变的人体发型生成方法 | |
| Liu et al. | Matching-cnn meets knn: Quasi-parametric human parsing | |
| CN110853026B (zh) | 一种融合深度学习与区域分割的遥感影像变化检测方法 | |
| Wang et al. | Fully contextual network for hyperspectral scene parsing | |
| CN108549873A (zh) | 三维人脸识别方法和三维人脸识别*** | |
| CN105493078B (zh) | 彩色草图图像搜索 | |
| CN106951840A (zh) | 一种人脸特征点检测方法 | |
| CN108961675A (zh) | 基于卷积神经网络的跌倒检测方法 | |
| CN109598234A (zh) | 关键点检测方法和装置 | |
| CN106295613A (zh) | 一种无人机目标定位方法及*** | |
| CN103971122B (zh) | 基于深度图像的三维人脸描述方法 | |
| CN110047081A (zh) | 胸部x光图像的实例分割方法、装置、设备及介质 | |
| CN109886153A (zh) | 一种基于深度卷积神经网络的实时人脸检测方法 | |
| CN114511452B (zh) | 融合多尺度空洞卷积和三元组注意力的遥感图像检索方法 | |
| Li et al. | A fast level set algorithm for building roof recognition from high spatial resolution panchromatic images | |
| Wang et al. | Study on the method of transmission line foreign body detection based on deep learning | |
| CN107506792A (zh) | 一种半监督的显著对象检测方法 | |
| CN107609571A (zh) | 一种基于lark特征的自适应目标跟踪方法 | |
| CN107451595A (zh) | 基于混合算法的红外图像显著性区域检测方法 | |
| Qu et al. | Visual cross-image fusion using deep neural networks for image edge detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |