CN110782408A - 一种基于卷积神经网络的智能美型方法及*** - Google Patents
一种基于卷积神经网络的智能美型方法及*** Download PDFInfo
- Publication number
- CN110782408A CN110782408A CN201910996425.5A CN201910996425A CN110782408A CN 110782408 A CN110782408 A CN 110782408A CN 201910996425 A CN201910996425 A CN 201910996425A CN 110782408 A CN110782408 A CN 110782408A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- key points
- beautified
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000003796 beauty Effects 0.000 claims abstract description 65
- 238000011176 pooling Methods 0.000 claims description 20
- 238000010606 normalization Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 239000002537 cosmetic Substances 0.000 claims 13
- 238000013135 deep learning Methods 0.000 abstract description 14
- 210000000697 sensory organ Anatomy 0.000 abstract description 6
- 230000000694 effects Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 210000000887 face Anatomy 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于卷积神经网络的智能美型方法及***，智能美型方法包括步骤：S1、检测待美型图像的人脸关键点；S2、构建卷积神经网络CNN人脸美型网络；S3、将所述待美型图像、人脸关键点输入所述CNN人脸美型网络，获取美型后的人脸关键点；S4、基于所述待美型图像的人脸关键点、美型后的人脸关键点对所述待美型图像进行变形，生成美型图像。本发明采用深度学习算法，提取海量美型人脸的五官比例特征信息，从海量数据中深度理解美型细节与人脸的关系，实现智能化的人脸美型。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种基于卷积神经网络的智能美型方法及***。
背景技术
随着人工智能AI技术领域的发展，智能终端设备也得到了不断深入的发展。使用相机拍照也越来越被人们喜爱，其中美颜拍照是使用频率最高的相机使用场景。人像美颜、美妆、滤镜现在来看，几乎成为了人们生活拍照、摄影的刚需。目前移动端人像照片美颜或者PC图像处理软件中的人像美型算法多数是基于传统变形算法进行的参数调节，由于参数固定，变形效果单一且千篇一律，无法基于不同人脸的个性特征做出完美的自适应美型调节，处理过程中依赖人为干预。
为了避免人为设定参数的主观影响，目前出现利用深度学习的智能美颜方法。公开号为CN 107730442 A的发明专利申请公开了一种人脸美颜方法及装置，应用于云端服务器，包括：通过客户端获取目标用户的个人信息；根据所述个人信息，确定所述目标用户的个人标签；通过所述客户端获取所述目标用户的特征照片；根据所述特征照片，确定所述目标用户的个人喜好参数；结合所述个人标签和所述个人喜好参数，利用深度学习算法确定所述目标用户的第一美颜参数，以使所述客户端在所述目标用户拍照时使用所述第一美颜参数对所述目标用户进行人脸美颜操作。
上述美颜方法利用深度学习算法，虽然能根据个人标签和个人喜好参数智能确定目标用户的美颜参数，避免了人为输入参数。但是该美颜方法需要对目标用户的个人标签及个人喜好参数进行识别，根据个人喜好确定美颜参数，当用户首次拍照或者拍照数量样本很少的情况下，所确定的目标用户个人喜好参数误差较大，不能准确反映用户人脸脸型美化的真实需求，人脸脸型的美化不等同于用户喜好的标签，该方法也就缺乏客观性和真实性。不能确定目标用户的个人喜好参数，就不能根据深度学习确定目标用户的美颜参数。同时，在云端配置，需要用户联网使用，在无网络环境中则无法给出美颜参数。因此，如何在用户首次拍照时就能为用户实现智能美型，如何以人脸结构信息为基础，将客观真实的五官结构美反映到每个用户人像中，达到用户人像的智能美型，避免用户手动干预调节，不受任何环境条件限制，这是本领域亟待解决的问题。
发明内容
本发明的目的是针对现有技术的缺陷，提供了一种基于卷积神经网络的智能美型方法及***。基于深度学习CNN卷积神经网络，设计一种人脸形状自动美化、优化算法，根据海量美型人脸形状数据信息，自动优化当前用户照片人脸形状，进而达到用户照片的自动美型，整个过程不需要任何参数调节，针对不同的人脸个性会自动生成对应的美型效果，远远优于目前市面上的传统变形算法效果。
为了实现以上目的，本发明采用以下技术方案：
一种基于卷积神经网络的智能美型方法，包括步骤：
S1、检测待美型图像的人脸关键点；
S2、构建卷积神经网络CNN人脸美型网络；
S3、将所述待美型图像、人脸关键点输入所述CNN人脸美型网络，获取美型后的人脸关键点；
S4、基于所述待美型图像的人脸关键点、美型后的人脸关键点对所述待美型图像进行变形，生成美型图像。
进一步地，所述CNN人脸美型网络包括：
若干层卷积、分批归一化层、极大池化层、若干个全连接层。
进一步地，所述步骤S2包括：
S2.1、获取大量样本人脸图像；
S2.2、检测每张人脸图像的人脸关键点；
S2.3、通过美型软件对样本人脸图像进行修图，检测修图后的人脸关键点；
S2.4、将所述样本人脸图像、样本人脸图像关键点作为输入，修图后的人脸关键点作为输出，对CNN人脸美型网络进行训练。
进一步地，所述步骤S3为：
通过所述若干层卷积、分批归一化层、极大池化层实现对所述待美型图像进行特征提取；通过全连接层输出张量Tensor，将待美型图像的人脸关键点信息与所述张量Tensor进行Add操作，得到新的张量Tensor；通过全连接层使用softmax激活函数得到美型后的人脸关键点。
进一步地，采用最小二乘法变形算法对待美型图像进行变形。
本发明还提出一种基于卷积神经网络的智能美型***，包括：
检测模块，用于检测待美型图像的人脸关键点；
CNN网络构建模块，用于构建卷积神经网络CNN人脸美型网络；
美型关键点生成模块，用于将所述待美型图像、人脸关键点输入所述CNN人脸美型网络，获取美型后的人脸关键点；
变形模块，用于基于所述待美型图像的人脸关键点、美型后的人脸关键点对所述待美型图像进行变形，生成美型图像。
进一步地，所述CNN人脸美型网络包括：
若干层卷积、分批归一化层、极大池化层、若干个全连接层。
进一步地，所述CNN网络构建模块包括：
采样模块，用于获取大量样本人脸图像；
关键点提取模块，用于检测每张人脸图像的人脸关键点；
美型模块，用于通过美型软件对样本人脸图像进行修图，检测修图后的人脸关键点；
训练模块，用于将所述样本人脸图像、样本人脸图像关键点作为输入，修图后的人脸关键点作为输出，对CNN人脸美型网络进行训练。
进一步地，所述美型关键点生成模块包括：
通过所述若干层卷积、分批归一化层、极大池化层实现对所述待美型图像进行特征提取；通过全连接层输出张量Tensor，将待美型图像的人脸关键点信息与所述张量Tensor进行Add操作，得到新的张量Tensor；通过全连接层使用softmax激活函数得到美型后的人脸关键点。
进一步地，采用最小二乘法变形算法对待美型图像进行变形。
本发明与现有技术相比，具有如下效果：
(1)本发明采用深度学习CNN卷积神经网络，提取海量美型人脸的五官比例特征信息，从海量数据中深度理解美型细节与人脸的关系，比传统算法更加智能化；
(2)本发明将用户人脸形状点位信息输入神经网络算法，进行自动优化，输出对应优化美型后的用户人脸形状点位信息，整个过程避免了繁冗的参数调节和用户干预，美型效果依赖于海量数据信息与用户人脸的个性特征，有较强的针对性，避免了效果的千篇一律化。
(3)本发明基于海量数据信息与用户人脸的个性特征进行个性化美化，不需要通过大量的用户信息确定用户的喜好，因此，即使是用户初次使用拍照功能，也能获得很好的美型效果。
附图说明
图1是实施例一提供的一种基于卷积神经网络的智能美型方法流程图；
图2是实施例二提供的一种基于卷积神经网络的智能美型***结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
实施例一
如图1所示，本实施例提出了一种基于卷积神经网络的智能美型方法，包括：
S1、检测待美型图像的人脸关键点；
对人脸图像进行美型的核心是对人脸的各个特征进行美型，因此，对于输入的人脸图像，本发明先进行人脸关键点的检测。人脸关键点包括鼻子、嘴巴、眼睛等关键特征，本发明不对具体的人脸关键点检测方法进行限定，可以使用任意一种人脸关键点检测算法，如基于先验规则的方法、基于几何形状的方法、基于灰度信息的方法等，也可以使用第三方人脸SDK。例如，当使用虹软科技公司的人脸SDK时，检测得到101个人脸关键点数组A。进行人脸关键点检测时，首先需要对人脸进行检测，若无人脸，则返回原图。本发明所检测的人脸关键点并不局限于101个，可以是106个或者83个等，具体跟人脸关键点检测SDK相关，或者跟人脸关键点检测算法相关。待美型图像为bgra32格式或者其他格式。
S2、构建卷积神经网络CNN人脸美型网络；
为了基于不同人脸的个性特征做出完美的自适应美型调节，本发明利用深度学习算法，提取海量模特人脸的五官比例特征信息，从海量数据中深度理解美型细节与人脸的关系，比传统算法更加智能化。
本发明利用卷积神经网络(Convolutional Neural Networks,CNN)作为深度学习算法。CNN人脸美型网络主体部分分为以下几个部分：若干层卷积、分批归一化层(BatchNormalization,BN)、极大池化层、若干个全连接层(dense)。
卷积层是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量。本发明通过卷积层将图像进行深度卷积和下采样，以提取图像的特征数据。此外，通过在卷积层之后引入分批归一化层，能够加速训练人脸美型网络收敛，并且能够控制过拟合。同时，通过池化来降低卷积层输出的特征向量，同时改善结果，降低过拟合的出现概率。最大池化保留图像的背景和纹理信息，但会损失特征图的部分信息或尺寸。因此，本发明通过若干层卷积、分批归一化层、极大池化层实现对人脸对象进行特征提取。
全连接层位于卷积神经网络隐含层的最后部分，并只向其它全连接层传递信号。人脸图像特征图在全连接层中会失去空间拓扑结构，被展开为向量并通过激励函数。全连接层用于对提取的人脸对象特征进行非线性组合以得到输出，即全连接层本身不被期望具有特征提取能力，而是试图利用现有的高阶特征完成学习目标。
基于上述CNN人脸美型网络的结构，其对人脸图像的处理为：
通过若干层卷积、分批归一化层、极大池化层实现对人脸对象进行特征提取。通过全连接层输出张量Tensor，例如，当使用虹软科技公司的人脸SDK检测得到101个人脸关键点数组A时，若干个全连接层得到101×2的张量Tensor。将原始图像人脸关键点信息与全连接层输出张量Tensor进行Add操作，得到新的张量Tensor，例如，原始图像101人脸关键点信息与全连接层Dense输出的101×2的张量进行Add操作，得到新的张量Tensor。通过全连接层Dense使用softmax激活函数得到预测的新的人脸关键点，例如得到预测的新的人脸101关键点数组B。也就是说，人脸美型网络输入为128×128×3大小彩色人脸图像和101人脸关键点点位数组，输出为新的美型后的101人脸关键点数组B。
对于构建的人脸美型网络结构，需要不断对网络进行训练，以优化人脸美型网络的性能。具体为：
关于网络训练样本部分，步骤如下：
S2.1、获取大量样本人脸图像；
通常情况下，样本数量越多，网络训练的效果越好。因此，为了优化人脸美型网络的性能，需要准备大量的样本，例如可以挑选N张人像照片(N>10000)。
S2.2、检测每张人脸图像的人脸关键点；
对于大量的人脸图像，需要依此进行处理。因此，与待美型图像一样，需要对每张人脸图像进行检测，以检测人脸关键点，到关键点数组A。
S2.3、通过美型软件对样本人脸图像进行修图，检测修图后的人脸关键点；
为了构建美型数据，本发明对样本进行人工美型，通过Photoshop等软件进行人工修图，将修过的人像图像作为标准美型数据样本，同时进行人脸关键点的标定，得到新的人脸关键点数组B。
S2.4、将所述样本人脸图像、样本人脸图像关键点作为输入，修图后的人脸关键点作为输出，对CNN人脸美型网络进行训练。
本发明将N张人像照片、键点数组A作为输入，关键点数组B作为输出，送到CNN人脸美型网络进行训练，迭代M(M>1000)次后，得到人脸美型网络数据。
S3、将所述待美型图像、人脸关键点输入所述CNN人脸美型网络，获取美型后的人脸关键点；
构建好CNN人脸美型网络后，本发明将待美型的图像、待美型的图像人脸关键点输入CNN人脸美型网络，输出美型后的人脸关键点。具体为：通过若干层卷积、分批归一化层、极大池化层实现对待美型图像进行特征提取。通过全连接层输出张量Tensor，再将待美型图像的人脸关键点信息与全连接层输出张量Tensor进行Add操作，得到新的张量Tensor。通过全连接层Dense使用softmax激活函数得到美型后的人脸关键点。
S4、基于所述待美型图像的人脸关键点、美型后的人脸关键点对所述待美型图像进行变形，生成美型图像。
本发明采用最小二乘法(Moving Least Squares,MLS)变形算法对待美型图像进行变形。通过对待美型图像进行变形，使生成的美型图像进而产生平滑、逼真、自然的变形效果。MLS的具体处理本发明不再赘述。一切MLS变形算法及其改进都适用于本申请。将待美型图像S的人脸关键点A和CNN网络输出的人脸关键点B作为变形前和变形后的两组点位，送入MLS变形算法，将原图S进行变形，得到最终美型效果图。
实施例二
如图2所示，本实施例提出了一种基于深度学习的智能美型***，包括：
检测模块，用于检测待美型图像的人脸关键点；
对人脸图像进行美型的核心是对人脸的各个特征进行美型，因此，对于输入的人脸图像，本发明先进行人脸关键点的检测。人脸关键点包括鼻子、嘴巴、眼睛等关键特征，本发明不对具体的人脸关键点检测方法进行限定，可以使用任意一种人脸关键点检测算法，如基于先验规则的方法、基于几何形状的方法、基于灰度信息的方法等，也可以使用第三方人脸SDK。例如，当使用虹软科技公司的人脸SDK时，检测得到101个人脸关键点数组A。进行人脸关键点检测时，首先需要对人脸进行检测，若无人脸，则返回原图。本发明所检测的人脸关键点并不局限于101个，可以是106个或者83个等，具体跟人脸关键点检测SDK相关，或者跟人脸关键点检测算法相关。待美型图像为bgra32格式或者其他格式。
CNN网络构建模块，用于构建卷积神经网络CNN人脸美型网络；
为了基于不同人脸的个性特征做出完美的自适应美型调节，本发明利用深度学习算法，提取海量模特人脸的五官比例特征信息，从海量数据中深度理解美型细节与人脸的关系，比传统算法更加智能化。
本发明利用卷积神经网络(Convolutional Neural Networks,CNN)作为深度学习算法。CNN人脸美型网络主体部分分为以下几个部分：若干层卷积、分批归一化层(BatchNormalization,BN)、极大池化层、若干个全连接层(dense)。
卷积层是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量。本发明通过卷积层将图像进行深度卷积和下采样，以提取图像的特征数据。此外，通过在卷积层之后引入分批归一化层，能够加速训练人脸美型网络收敛，并且能够控制过拟合。同时，通过池化来降低卷积层输出的特征向量，同时改善结果，降低过拟合的出现概率。最大池化保留图像的背景和纹理信息，但会损失特征图的部分信息或尺寸。因此，本发明通过若干层卷积、分批归一化层、极大池化层实现对人脸对象进行特征提取。
全连接层位于卷积神经网络隐含层的最后部分，并只向其它全连接层传递信号。人脸图像特征图在全连接层中会失去空间拓扑结构，被展开为向量并通过激励函数。全连接层用于对提取的人脸对象特征进行非线性组合以得到输出，即全连接层本身不被期望具有特征提取能力，而是试图利用现有的高阶特征完成学习目标。
基于上述CNN人脸美型网络的结构，其对人脸图像的处理为：
通过若干层卷积、分批归一化层、极大池化层实现对人脸对象进行特征提取。通过全连接层输出张量Tensor，例如，当使用虹软科技公司的人脸SDK检测得到101个人脸关键点数组A时，若干个全连接层得到101×2的张量Tensor。将原始图像人脸关键点信息与全连接层输出张量Tensor进行Add操作，得到新的张量Tensor，例如，原始图像101人脸关键点信息与全连接层Dense输出的101×2的张量进行Add操作，得到新的张量Tensor。通过全连接层Dense使用softmax激活函数得到预测的新的人脸关键点，例如得到预测的新的人脸101关键点数组B。也就是说，人脸美型网络输入为128×128×3大小彩色人脸图像和101人脸关键点点位数组，输出为新的美型后的101人脸关键点数组B。
对于构建的人脸美型网络结构，需要不断对网络进行训练，以优化人脸美型网络的性能。具体为：
关于网络训练样本部分，步骤包括：
采样模块，用于获取大量样本人脸图像；
通常情况下，样本数量越多，网络训练的效果越好。因此，为了优化人脸美型网络的性能，需要准备大量的样本，例如可以挑选N张人像照片(N>10000)。
关键点提取模块，用于检测每张人脸图像的人脸关键点；
对于大量的人脸图像，需要依此进行处理。因此，与待美型图像一样，需要对每张人脸图像进行检测，以检测人脸关键点，到关键点数组A。
美型模块，用于通过美型软件对样本人脸图像进行修图，检测修图后的人脸关键点；
为了构建美型数据，本发明对样本进行人工美型，通过Photoshop等软件进行人工修图，将修过的人像图像作为标准美型数据样本，同时进行人脸关键点的标定，得到新的人脸关键点数组B。
训练模块，用于将所述样本人脸图像、样本人脸图像关键点作为输入，修图后的人脸关键点作为输出，对CNN人脸美型网络进行训练。
本发明将N张人像照片、键点数组A作为输入，关键点数组B作为输出，送到CNN人脸美型网络进行训练，迭代M(M>1000)次后，得到人脸美型网络数据。
美型关键点生成模块，用于将所述待美型图像、人脸关键点输入所述CNN人脸美型网络，获取美型后的人脸关键点；
构建好CNN人脸美型网络后，本发明将待美型的图像、待美型的图像人脸关键点输入CNN人脸美型网络，输出美型后的人脸关键点。具体为：通过若干层卷积、分批归一化层、极大池化层实现对待美型图像进行特征提取。通过全连接层输出张量Tensor，再将待美型图像的人脸关键点信息与全连接层输出张量Tensor进行Add操作，得到新的张量Tensor。通过全连接层Dense使用softmax激活函数得到美型后的人脸关键点。
变形模块，用于基于所述待美型图像的人脸关键点、美型后的人脸关键点对所述待美型图像进行变形，生成美型图像。
本发明采用最小二乘法(Moving Least Squares,MLS)变形算法对待美型图像进行变形。通过对待美型图像进行变形，使生成的美型图像进而产生平滑、逼真、自然的变形效果。MLS的具体处理本发明不再赘述。一切MLS变形算法及其改进都适用于本申请。将待美型图像S的人脸关键点A和CNN网络输出的人脸关键点B作为变形前和变形后的两组点位，送入MLS变形算法，将原图S进行变形，得到最终美型效果图。
由此可知，本发明提出的基于深度学习的智能美型方法及***，采用深度学习CNN卷积神经网络，提取海量美型人脸的五官比例特征信息，从海量数据中深度理解美型细节与人脸的关系，实现人脸的智能美型。美型效果依赖于海量数据信息与用户人脸的个性特征，有较强的针对性，避免了效果的千篇一律化。此外，不依赖于用户的历史美型信息，即使是用户初次使用拍照功能，也能获得很好的美型效果。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种基于卷积神经网络的智能美型方法，其特征在于，包括步骤：
S1、检测待美型图像的人脸关键点；
S2、构建卷积神经网络CNN人脸美型网络；
S3、将所述待美型图像、人脸关键点输入所述CNN人脸美型网络，获取美型后的人脸关键点；
S4、基于所述待美型图像的人脸关键点、美型后的人脸关键点对所述待美型图像进行变形，生成美型图像。
2.根据权利要求1所述的智能美型方法，其特征在于，所述CNN人脸美型网络包括：
若干层卷积、分批归一化层、极大池化层、若干个全连接层。
3.根据权利要求2所述的智能美型方法，其特征在于，所述步骤S2包括：
S2.1、获取大量样本人脸图像；
S2.2、检测每张人脸图像的人脸关键点；
S2.3、通过美型软件对样本人脸图像进行修图，检测修图后的人脸关键点；
S2.4、将所述样本人脸图像、样本人脸图像关键点作为输入，修图后的人脸关键点作为输出，对CNN人脸美型网络进行训练。
4.根据权利要求2所述的智能美型方法，其特征在于，所述步骤S3为：
通过所述若干层卷积、分批归一化层、极大池化层实现对所述待美型图像进行特征提取；通过全连接层输出张量Tensor，将待美型图像的人脸关键点信息与所述张量Tensor进行Add操作，得到新的张量Tensor；通过全连接层使用softmax激活函数得到美型后的人脸关键点。
5.根据权利要求1所述的智能美型方法，其特征在于，采用最小二乘法变形算法对待美型图像进行变形。
6.一种基于卷积神经网络的智能美型***，其特征在于，包括：
检测模块，用于检测待美型图像的人脸关键点；
CNN网络构建模块，用于构建卷积神经网络CNN人脸美型网络；
美型关键点生成模块，用于将所述待美型图像、人脸关键点输入所述CNN人脸美型网络，获取美型后的人脸关键点；
变形模块，用于基于所述待美型图像的人脸关键点、美型后的人脸关键点对所述待美型图像进行变形，生成美型图像。
7.根据权利要求6所述的智能美型***，其特征在于，所述CNN人脸美型网络包括：
若干层卷积、分批归一化层、极大池化层、若干个全连接层。
8.根据权利要求7所述的智能美型***，其特征在于，所述CNN网络构建模块包括：
采样模块，用于获取大量样本人脸图像；
关键点提取模块，用于检测每张人脸图像的人脸关键点；
美型模块，用于通过美型软件对样本人脸图像进行修图，检测修图后的人脸关键点；
训练模块，用于将所述样本人脸图像、样本人脸图像关键点作为输入，修图后的人脸关键点作为输出，对CNN人脸美型网络进行训练。
9.根据权利要求7所述的智能美型***，其特征在于，所述美型关键点生成模块包括：
通过所述若干层卷积、分批归一化层、极大池化层实现对所述待美型图像进行特征提取；通过全连接层输出张量Tensor，将待美型图像的人脸关键点信息与所述张量Tensor进行Add操作，得到新的张量Tensor；通过全连接层使用softmax激活函数得到美型后的人脸关键点。
10.根据权利要求6所述的智能美型***，其特征在于，采用最小二乘法变形算法对待美型图像进行变形。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910996425.5A CN110782408B (zh) | 2019-10-18 | 2019-10-18 | 一种基于卷积神经网络的智能美型方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910996425.5A CN110782408B (zh) | 2019-10-18 | 2019-10-18 | 一种基于卷积神经网络的智能美型方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110782408A true CN110782408A (zh) | 2020-02-11 |
| CN110782408B CN110782408B (zh) | 2022-04-08 |
Family
ID=69386054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910996425.5A Active CN110782408B (zh) | 2019-10-18 | 2019-10-18 | 一种基于卷积神经网络的智能美型方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110782408B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113065408A (zh) * | 2021-03-09 | 2021-07-02 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113743243A (zh) * | 2021-08-13 | 2021-12-03 | 厦门大学 | 一种基于深度学习的人脸美颜方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103761536A (zh) * | 2014-01-28 | 2014-04-30 | 五邑大学 | 基于无监督最优美丽特征和深度评价模型的人脸美化方法 |
| CN105139007A (zh) * | 2015-09-30 | 2015-12-09 | 小米科技有限责任公司 | 人脸特征点定位方法和装置 |
| CN108460343A (zh) * | 2018-02-06 | 2018-08-28 | 北京达佳互联信息技术有限公司 | 图像处理方法、***及服务器 |
| CN108876732A (zh) * | 2018-05-25 | 2018-11-23 | 北京小米移动软件有限公司 | 人脸美颜方法及装置 |
| CN109146808A (zh) * | 2018-08-01 | 2019-01-04 | 成都品果科技有限公司 | 一种人像美型方法和*** |
| CN109858445A (zh) * | 2019-01-31 | 2019-06-07 | 北京字节跳动网络技术有限公司 | 用于生成模型的方法和装置 |
-
2019
- 2019-10-18 CN CN201910996425.5A patent/CN110782408B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103761536A (zh) * | 2014-01-28 | 2014-04-30 | 五邑大学 | 基于无监督最优美丽特征和深度评价模型的人脸美化方法 |
| CN105139007A (zh) * | 2015-09-30 | 2015-12-09 | 小米科技有限责任公司 | 人脸特征点定位方法和装置 |
| CN108460343A (zh) * | 2018-02-06 | 2018-08-28 | 北京达佳互联信息技术有限公司 | 图像处理方法、***及服务器 |
| CN108876732A (zh) * | 2018-05-25 | 2018-11-23 | 北京小米移动软件有限公司 | 人脸美颜方法及装置 |
| CN109146808A (zh) * | 2018-08-01 | 2019-01-04 | 成都品果科技有限公司 | 一种人像美型方法和*** |
| CN109858445A (zh) * | 2019-01-31 | 2019-06-07 | 北京字节跳动网络技术有限公司 | 用于生成模型的方法和装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113065408A (zh) * | 2021-03-09 | 2021-07-02 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113743243A (zh) * | 2021-08-13 | 2021-12-03 | 厦门大学 | 一种基于深度学习的人脸美颜方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110782408B (zh) | 2022-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106778928B (zh) | 图像处理方法及装置 | |
| CN111632374B (zh) | 游戏中虚拟角色的脸部处理方法、装置及可读存储介质 | |
| US11501563B2 (en) | Image processing method and system | |
| CN108900769A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN110490252B (zh) | 一种基于深度学习的室内人数检测方法及*** | |
| CN112446302B (zh) | 一种人体姿态检测方法、***、电子设备和存储介质 | |
| CN110415184B (zh) | 一种基于正交元空间的多模态图像增强方法 | |
| CN109685713B (zh) | 化妆模拟控制方法、装置、计算机设备及存储介质 | |
| CN111368672A (zh) | 一种用于遗传病面部识别模型的构建方法及装置 | |
| CN111832437A (zh) | 建筑图纸识别方法、电子设备及相关产品 | |
| CN108734677B (zh) | 一种基于深度学习的盲去模糊方法及*** | |
| CN110782408B (zh) | 一种基于卷积神经网络的智能美型方法及*** | |
| CN114743080A (zh) | 图像处理方法及装置、终端、存储介质 | |
| US20230306685A1 (en) | Image processing method, model training method, related apparatuses, and program product | |
| CN111862278B (zh) | 一种动画获得方法、装置、电子设备及存储介质 | |
| CN111127309A (zh) | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 | |
| CN115239857B (zh) | 图像生成方法以及电子设备 | |
| CN114202615A (zh) | 人脸表情的重建方法、装置、设备和存储介质 | |
| CN112651333A (zh) | 静默活体检测方法、装置、终端设备和存储介质 | |
| KR102274581B1 (ko) | 개인화된 hrtf 생성 방법 | |
| CN114266693A (zh) | 图像处理方法、模型生成方法及设备 | |
| CN111080754B (zh) | 一种头部肢体特征点连线的人物动画制作方法及装置 | |
| CN110866866B (zh) | 图像仿色处理方法、装置、电子设备及存储介质 | |
| CN113221695A (zh) | 训练肤色识别模型的方法、识别肤色的方法及相关装置 | |
| WO2020187029A1 (zh) | 图像处理方法及装置、神经网络的训练方法、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 22nd floor, block a, Huaxing Times Square, 478 Wensan Road, Xihu District, Hangzhou, Zhejiang 310000 Applicant after: Hangzhou Xiaoying Innovation Technology Co.,Ltd. Address before: 16 / F, HANGGANG Metallurgical Science and technology building, 294 Tianmushan Road, Xihu District, Hangzhou City, Zhejiang Province, 310012 Applicant before: HANGZHOU QUWEI SCIENCE & TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |