CN111062260B - 一种面部整容推荐方案自动生成方法 - Google Patents
一种面部整容推荐方案自动生成方法 Download PDFInfo
- Publication number
- CN111062260B CN111062260B CN201911167636.4A CN201911167636A CN111062260B CN 111062260 B CN111062260 B CN 111062260B CN 201911167636 A CN201911167636 A CN 201911167636A CN 111062260 B CN111062260 B CN 111062260B
- Authority
- CN
- China
- Prior art keywords
- face
- model
- photo
- user
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 239000013598 vector Substances 0.000 claims abstract description 97
- 230000001815 facial effect Effects 0.000 claims abstract description 52
- 230000000694 effects Effects 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims description 48
- 230000002980 postoperative effect Effects 0.000 claims description 38
- 210000000697 sensory organ Anatomy 0.000 claims description 30
- 238000007493 shaping process Methods 0.000 claims description 19
- 210000000056 organ Anatomy 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 239000002537 cosmetic Substances 0.000 claims description 5
- 210000000887 face Anatomy 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000009193 crawling Effects 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 210000004709 eyebrow Anatomy 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007711 solidification Methods 0.000 claims description 3
- 230000008023 solidification Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000003796 beauty Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000002316 cosmetic surgery Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种面部整容推荐方案自动生成方法。本发明的主要流程如下：首先，获取一张用户的高清晰人脸正面照片，将人脸照片输入人脸特征参数化模型，得到用户的人脸参数化数据；其次比对用户人脸参数与构建的人脸库中脸的面部特征和五官参数，得到最相似的脸以及与用户五官参数的变形向量。再将用户的照片和变形向量，输入人脸整容效果模型，自动生成用户对应的整容后效果和量化的方案。本发明整个过程用户只需配合拍摄一张高清人脸照片，就可以自动化地完成整个面部整容推荐方案的生成，具有操作方便，耗时短，精度高的优点，并为用户提供了参数化的五官整容前后数据差异和高精度的整容后人像效果。
Description
技术领域
本发明在深度卷积神经网络的研究基础之上，结合实际业务数据训练得到多个深度学习网络模型，并建立了一种基于人工智能的面部整容推荐方案自动生成方法。
背景技术
爱美之心人皆有之，随着人们的生活水平和社会对整容接受度的不断提高，美体整容成为近几年来人们追求更美的一种常用手段。虽然美是主观的，但很多女性又希望能通过一定技术手段客观和定量评价自身五官的相关指标，能够更加直观的看到整容后的效果和人脸五官参数的变化。
现有的整形技术有了一定程度的提升，部分整形医院已有专业整形模拟设备，但使用频率很低。其原因一是传统设备模拟效率低，需要测量时间较长，无法满足机构快速推销的需求；二是模拟效果不尽人意，扫描得到的模型效果逼真度不高。三是不能满足用户对定量指标输出的需求，没有直观的整容推荐方案，整形方案生成主要依托于整形医生的专家经验，具有很大的主观因素和偏差性。另一方面人工智能领域计算机视觉技术的快速发展和大型面部图像数据集的逐步完善，AI可以帮助医生规划整容手术，为客户提供整容后的效果展示和指标化的数据支撑，指导客户选择最佳手术，自动生成推荐整容方案。用户可以提前感知美容效果，有效帮助用户达成理性预期；降低信息不对称，降低行业获客成本，提高用户的整容意愿。
发明内容
本发明基于人工智能的技术手段，通过收集到的用户整容照片和对应的实测数据，训练多个不同功能的深度卷积网络模型，实现了一种面部整容推荐方案自动生成方法。
本发明采用的技术方案具体如下：
基于深度卷积网络，生成对抗网络，结合用户人脸数据训练得到相应的最佳功能模型，完成用户面部整容推荐方案的自动化生成，整个技术实现过程分五个阶段，每个阶段由一系列的步骤组成，五个阶段如下：
阶段一：人脸样本数据收集和预处理，完成模型样本库创建；
阶段二：训练人脸特征参数化模型，参数化用户人脸照片；
阶段三：高颜值人脸库构建，相似高颜值人脸计算；
阶段四：根据整容的变形量和术前术后照片，训练人脸术后效果生成模型；
阶段五：功能模型部署，输入用户正脸照片，生成人脸整形后效果，并输出推荐的五官整形方案；
阶段一人脸样本数据收集和预处理，具体实现如下：
1-1.从合作机构获取去除客户信息后的匿名术前术后人像照片，以及每张人像照片对应的实测五官指标定量数据，五官指标定量数据包含56个人脸参数指标，具体分为六大类特征：鼻子5个特征、脸型22个特征、眉毛7个特征、下巴4个特征、眼睛11个特征、嘴巴7个特征；将照片数据按照不同的命名格式进行区分，术前照片与术后照片设为图片id相同，术前照片命名以图片id_bef为图片名称，术后照片命名以图片id_aft命名，可用于人脸术后效果生成模型训练；
1-2.利用开源的人脸检测模型insightface截取人像照片中的人脸部分，剔除人脸无法识别、脸部五官模糊的样本，获得最终剩余合格样本，并做图像尺寸转换，最后保证图像大小都是256*256像素；
1-3.使用标注工具，对处理后的人像照片中的人脸部分进行标记，将实测五官指标定量数据与图像数据通过图片id建立起映射关系，构建出基础数据集。
阶段二训练人脸特征参数化模型具体步骤如下：
基于实测用户五官数据和对应的人脸照片，构建样本数据集，训练深层的人脸参数化模型；模型输入为用户正脸照片，输出为人脸的五官数据向量和人脸特征向量；模型基于Inception ResNet V1网络进行迁移学习的训练，将主网络的输出层替换为全连接层，再将全连接层输入到softmax层输出1*1*56的向量；通过人脸检测模型获取到人脸的特征向量和关键点信息，再将人脸特征向量和五官关键点信息输入后序五官特征提取网络，得到最佳参数化人脸模型；模型训练优化函数采用adam，激活函数采用relu,模型的目标函数采用均方根误差RMSE，RMSE计算公式如下：
其中，N-表示每批次训练的图片数量；observed-表示输入图片真实五官参数；predicted-表示根据输入图片，模型预测出的五官参数；
通过人脸关键点检测模型获取人脸的81个关键点，依据关键点的坐标定位到具体的五官位置，按照五官对人脸照片进行切割，将整张人脸照片和切割后的五官照片分别训练，整张人脸照片主要负责五官空间关系的参数预测，最终输出56个五官特征指标。
阶段三：高颜值人脸库构建，具体如下：
3-1.高颜值人脸库构建
3-1-1.通过互联网公开数据爬取人像照片；
3-1-2.利用人脸检测模型insightface，剪切出爬取照片中的人像照片，并检测图片质量，保留清晰正脸人像照片；
3-1-3.将有清晰正脸人像照片通过一种基于深度卷积网络的亚洲女性颜值评分模型，输出爬取正脸人像照片的颜值评分结果；
3-1-4.选取颜值评分前5％的人像照片作为高颜值人脸库；
3-2.相似高颜值人脸计算，具体实现如下：
在阶段二获取用户人脸的五官数据向量和人脸特征向量，需要给用户寻找最相似的人脸，确定人脸整容的方向；
首先就需要将高颜值人脸库中的照片输入阶段二中的人脸参数化模型，得到高颜值人脸库对应的五官数据向量和人脸特征向量，将计算结果向量拼接，并固化为特定的文件；
当获取到用户人脸照片后，用户与人脸库中的人脸相似度计算，通过阶段二得到人脸五官数据向量和人脸特征向量，再取人脸固化文件中的拼接向量，通过计算向量之间的余弦相似度，将相似度最高的人脸作为用户的整形意向人脸；余弦相似度计算方法如下：
公示中向量A,B分别代表用户和相似度最高的脸的拼接向量。
阶段四：根据整容的变形量和术前术后照片，训练人脸术后效果生成模型，具体实现如下：
4-1.人脸变相量计算：
人脸图片参数化后，任意新的一张人脸都能够由人脸特征向量组合生成，因此用户术前和术后人脸的关系可表示为：
从公式中观察到通过在术前人脸模型Sbef上添加变形量aisi，就可以生成特定人脸模型Saft；公式中，Si表示人脸参数化模型生成的特征向量；例如用户整形后的人脸模型Saft相对于整形前的人脸模型Sbef只是整形了下巴，则变形量aisi就代表用户下巴的整形程度；变形量可由人脸参数化模型输出向量得出，人脸的属性向量由人脸参数化模型输出的人脸特征和五官参数组成，假设人脸目标属性向量为Attaft，源人脸的属性向量为Attbef；将变形量aisi表示为属性向量之间的差：
aisi＝Attaft-Attbef
通过计算得出aisi，为面部整容以及整容后人脸生成提供更有价值的信息；
4-2人脸术后效果生成模型训练：
目标人脸生成模型训练，将阶段一中按照术前和术后人脸照片进行区分的样本数据，通过阶段二训练好的人脸参数化模型，得到源人脸照片属性向量Attbef和术后人脸的属性为Attaft,计算出人脸属性的变形量人脸术后效果生成模型的输入端包括源人脸照片和属性变形量的向量，输出为整容后的人脸照片；术后目标人脸生成模型基于STGAN，将用户的术前术后图片及对应的人脸特征向量构建为样本数据，训练得到最佳的模型参数；整个生成模型逻辑上比较清晰，在编码器和解码器过程中，加入STU选择单元，从而获得人脸属性整容后的输出；编码器的输入端包括术前源人脸照片x和差分属性标签Attdfiff；对于判别器，也是判别生成器输出真假和对应的属性标签；对抗损失采用WGAN-GP来实现生成优化，对应着LDadv LGadv；对于属性标签和生成器的属性优化通过源真实样本和标签优化判别器，再通过判别器去判别目标生成的属性结果来优化生成器：
为源域和目标域属性标签，最终的损失为：
其中Lrec为不使用标签的重构误差：
Lrec＝||x-G(x,0)||1
人脸术后效果生成模型训练，术前术后的56个五官参数数据向量做差，得到整容前后的变形量，与用户的术前和术后照片构成整体的样本数据集，将样本数据集分为训练集、验证集、测试集，训练得到最佳的人脸术后效果生成模型。
阶段五输入用户正脸照片，生成人脸整形后效果，并输出推荐的五官整形方案，具体实现如下：
步骤1：用户在人像采集终端设备前采集高清晰正面人脸照片；
步骤2：将步骤1中的人脸照片输入阶段二中训练好的人脸参数化模型，得到对应的人脸特征向量；
步骤3：将人脸特征向量与库中的固化的人脸特征计算得出相似度最高的脸，得到用户人脸特征与相似度最高的脸之间的变形量；
步骤4：将原人脸照片和变形量输入阶段四训练好的人脸术后生成模型，得到推荐整容方案对应的整形后效果，并输出变相量对应的人脸五官参数的变化量，自动生成整体的推荐整容方案。
本发明有益效果如下：
本发明整个过程用户只需配合拍摄一张高清人脸照片，就可以自动化地完成整个面部整容推荐方案的生成，具有操作方便，耗时短，精度高的优点，并为用户提供了参数化的五官整容前后数据差异和高精度的整容后人像效果。
附图说明
图1为本发明流程图；
图2为本发明人脸特征点示意图；
图3为本发明人脸五官参数模型训练过程示意图；
图4为本发明效果生成模型图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
本发明主要的深度学习模型包含人脸参数化模型和人脸术后效果效果生成模型。人脸参数化模型，通过输入的用户正面人脸照片，快速便捷的为用户输出量化后的五官参数；人脸术后效果生成模型，通过输入用户整容前后的变相量和整容前照片，可自动将整容后的效果照片直观地展示给用户。
如图1-4所示，本发明的主要流程如下：首先，获取一张用户的高清晰人脸正面照片，获取的人脸照片是经过客户允许的，且用于合法的目的；将人脸照片输入人脸特征参数化模型，得到用户的人脸参数化数据；其次比对用户人脸参数与构建的人脸库中脸的面部特征和五官参数，得到最相似的脸以及与用户五官参数的变形向量。再将用户的照片和变形向量，输入人脸整容效果模型，自动生成用户对应的整容后效果和量化的方案。整个过程用户只需配合拍摄一张高清人脸照片，就可以自动化地完成整个面部整容推荐方案的生成，具有操作方便，耗时短，精度高的优点，并为用户提供了参数化的五官整容前后数据差异和高精度的整容后人像效果。
阶段一：人脸样本数据收集和预处理，完成模型样本库创建；
阶段二：训练人脸特征参数化模型，参数化用户人脸照片；
阶段三：高颜值人脸库构建，相似高颜值人脸计算；
阶段四：根据整容的变形量和术前术后照片，训练人脸术后效果生成模型；
阶段五：功能模型部署，输入用户正脸照片，生成人脸整形后效果，并输出推荐的五官整形方案。
阶段一人脸样本数据收集和预处理，具体实现如下：
1-1.从合作机构获取去除客户信息后的匿名术前术后人像照片，以及每张人像照片对应的实测五官指标定量数据，五官指标定量数据包含56个人脸参数指标，具体分为六大类特征：鼻子5个特征、脸型22个特征、眉毛7个特征、下巴4个特征、眼睛11个特征、嘴巴7个特征；将照片数据按照不同的命名格式进行区分，术前照片与术后照片设为图片id相同，术前照片命名以图片id_bef为图片名称，术后照片命名以图片id_aft命名，可用于人脸术后效果生成模型训练。
1-2.利用开源的人脸检测模型insightface截取人像照片中的人脸部分，剔除人脸无法识别、脸部五官模糊的样本，获得最终剩余合格样本，并做图像尺寸转换，最后保证图像大小都是256*256像素；
1-3.使用标注工具，对处理后的人像照片中的人脸部分进行标记，将实测五官指标定量数据与图像数据通过图片id建立起映射关系，构建出基础数据集。
阶段二训练人脸特征参数化模型具体步骤如下：
传统的人脸模型采用简单公式化的方式表示，不能很好地表达五官参数与人脸之间的复杂非线性关系。本发明基于实测用户五官数据和对应的人脸照片，构建样本数据集，训练深层的人脸参数化模型；模型输入为用户正脸照片，输出为人脸的五官数据向量和人脸特征向量；模型基于Inception ResNet V1网络进行迁移学习的训练，将主网络的输出层替换为全连接层，再将全连接层输入到softmax层输出1*1*56的向量；通过人脸检测模型获取到人脸的特征向量和关键点信息，再将人脸特征向量和五官关键点信息输入后序五官特征提取网络，得到最佳参数化人脸模型。模型训练优化函数采用adam，激活函数采用relu,模型的目标函数采用均方根误差RMSE，RMSE计算公式如下：
其中，N-表示每批次训练的图片数量；observed-表示输入图片真实五官参数；predicted-表示根据输入图片，模型预测出的五官参数；
人脸参数化模型中用到的人脸关键点如附图2所示，通过人脸关键点检测模型获取人脸的81个关键点。为了提高五官参数的测量精度，依据关键点的坐标定位到具体的五官位置，按照五官对人脸照片进行切割，将整张人脸照片和切割后的五官照片分别训练，整张人脸照片主要负责五官空间关系的参数预测，如黄金三角、脸长高比等参数，切割后的五官照片预测得到精细的五官参数化模型，最终输出56个五官特征指标。上述训练过程如图3所示。
阶段三：高颜值人脸库构建，具体如下：
3-1.高颜值人脸库构建
3-1-1.通过互联网公开数据爬取人像照片；
3-1-2.利用人脸检测模型insightface，剪切出爬取照片中的人像照片，并检测图片质量，保留清晰正脸人像照片；
3-1-3.采用时，将有清晰正脸人像照片通过一种基于深度卷积网络的亚洲女性颜值评分模型，输出爬取正脸人像照片的颜值评分结果；
3-1-4.选取颜值评分前5％的人像照片作为高颜值人脸库。
3-2.相似高颜值人脸计算，具体实现如下：
在阶段二获取用户人脸的五官数据向量和人脸特征向量，需要给用户寻找最相似的人脸，确定人脸整容的方向。
首先就需要将高颜值人脸库中的照片输入阶段二中的人脸参数化模型，得到高颜值人脸库对应的五官数据向量和人脸特征向量，将计算结果向量拼接，并固化为特定的文件。
当获取到用户人脸照片后，用户与人脸库中的人脸相似度计算，通过阶段二得到人脸五官数据向量和人脸特征向量，再取人脸固化文件中的拼接向量，通过计算向量之间的余弦相似度，将相似度最高的脸作为用户的整形意向人脸。余弦相似度计算方法如下：
公示中向量A,B分别代表用户和相似度最高的脸的拼接向量；
阶段四：根据整容的变形量和术前术后照片，训练人脸术后效果生成模型，具体实现如下：
4-1.人脸变相量计算：
人脸图片参数化后，任意新的一张人脸都能够由人脸特征向量组合生成，因此用户术前和术后人脸的关系可表示为：
Saft＝Sbef+∑aisi
从公式中观察到通过在术前人脸模型Sbef上添加变形量aisi，就可以生成特定人脸模型Saft；公式中，Si表示人脸参数化模型生成的特征向量。例如用户整形后的人脸模型Saft相对于整形前的人脸模型Sbef只是整形了下巴，则变形量aisi就代表用户下巴的整形程度。变形量可由人脸参数化模型输出向量得出，人脸的属性向量由人脸参数化模型输出的人脸特征和五官参数组成，假设人脸目标属性向量为Attaft，源人脸的属性向量为Attbef；将变形量aisi表示为属性向量之间的差：
aisi＝Attaft-Attbef
通过计算得出aisi，为面部整容以及整容后人脸生成提供更有价值的信息，包括哪些人脸特征属性需要编辑，以及属性应该改变的大小和方向。更重要的是我们可以利用该差异信息来设计合适的模型，基于源人脸图片和人脸属性变形量，在不牺牲属性操纵精度的情况下提高整容后图像生成质量。该方法相较于用术后面部目标属性向量生成完整术后面部照片，保留了术前源图像的更多信息，生成的图片更加逼真。
4-2人脸术后效果生成模型训练：
目标人脸生成模型训练，将阶段一中按照术前和术后人脸照片进行区分的样本数据，通过阶段二训练好的人脸参数化模型，得到源人脸照片属性向量Attbef和术后人脸的属性为Attaft,计算出人脸属性的变形量人脸术后效果生成模型的输入端包括源人脸照片和属性变形量的向量，输出为整容后的人脸照片。术后目标人脸生成模型基于STGAN，将用户的术前术后图片及对应的人脸特征向量构建为样本数据，训练得到最佳的模型参数。整个生成模型逻辑上比较清晰，在编码器和解码器过程中，加入STU选择单元，从而获得人脸属性整容后的输出。编码器的输入端包括术前源人脸照片x和差分属性标签Attdiff。对于判别器，也是判别生成器输出真假和对应的属性标签。对抗损失采用WGAN-GP来实现生成优化，对应着LDadv LGadv。对于属性标签和生成器的属性优化通过源真实样本和标签优化判别器，再通过判别器去判别目标生成的属性结果来优化生成器：
为源域和目标域属性标签，最终的损失为：
其中Lrec为不使用标签的重构误差：
Lrec＝||x-G(x,0)||1
人脸术后效果生成模型训练，术前术后的56个五官参数数据向量做差，得到整容前后的变形量，与用户的术前和术后照片构成整体的样本数据集，将样本数据集分为训练集、验证集、测试集，训练得到最佳的人脸术后效果生成模型。流程见附图4。
阶段五输入用户正脸照片，生成人脸整形后效果，并输出推荐的五官整形方案，具体实现如下：
本发明最终是通过采集一张用户正面人脸照片，获取用户人脸正面照片后，生成推荐的面部整容方案。
步骤1：用户在人像采集终端设备前采集高清晰正面人脸照片；
步骤2：将步骤1中的人脸照片输入阶段二中训练好的人脸参数化模型，得到对应的人脸特征向量；
步骤3：将人脸特征向量与库中的固化的人脸特征计算得出相似度最高的脸，得到用户人脸特征与脸之间的变形量；
步骤4：将原人脸照片和变形量输入阶段四训练好的人脸术后生成模型，得到推荐整容方案对应的整形后效果，并输出变相量对应的人脸五官参数的变化量，自动生成整体的推荐整容方案。
Claims (1)
1.一种面部整容推荐方案自动生成方法，其特征在于包括如下五个阶段：
阶段一：人脸样本数据收集和预处理，完成模型样本库创建；
阶段二：训练人脸特征参数化模型，参数化用户人脸照片；
阶段三：高颜值人脸库构建，相似高颜值人脸计算；
阶段四：根据整容的变形量和术前术后照片，训练人脸术后效果生成模型；
阶段五：功能模型部署，输入用户正脸照片，生成人脸整形后效果，并输出推荐的五官整形方案；
阶段一人脸样本数据收集和预处理，具体实现如下：
1-1.获取去除客户信息后的匿名术前术后人像照片，以及每张人像照片对应的实测五官指标定量数据，五官指标定量数据包含56个人脸参数指标，具体分为六大类特征：鼻子5个特征、脸型22个特征、眉毛7个特征、下巴4个特征、眼睛11个特征、嘴巴7个特征；将照片数据按照不同的命名格式进行区分，术前照片与术后照片设为图片id相同，术前照片命名以图片id_bef为图片名称，术后照片命名以图片id_aft命名，可用于人脸术后效果生成模型训练；
1-2.利用开源的人脸检测模型insightface截取人像照片中的人脸部分，剔除人脸无法识别、脸部五官模糊的样本，获得最终剩余合格样本，并做图像尺寸转换，最后保证图像大小都是256*256像素；
1-3.使用标注工具，对处理后的人像照片中的人脸部分进行标记，将实测五官指标定量数据与图像数据通过图片id建立起映射关系，构建出基础数据集；
阶段二训练人脸特征参数化模型具体步骤如下：
基于实测用户五官数据和对应的人脸照片，构建样本数据集，训练深层的人脸参数化模型；模型输入为用户正脸照片，输出为人脸的五官数据向量和人脸特征向量；模型基于Inception ResNet V1网络进行迁移学习的训练，将主网络的输出层替换为全连接层，再将全连接层输入到softmax层输出1*1*56的向量；通过人脸检测模型获取到人脸的特征向量和关键点信息，再将人脸特征向量和五官关键点信息输入后序五官特征提取网络，得到最佳参数化人脸模型；模型训练优化函数采用adam，激活函数采用relu,模型的目标函数采用均方根误差RMSE，RMSE计算公式如下：
其中，N-表示每批次训练的图片数量；observed-表示输入图片真实五官参数；predicted-表示根据输入图片，模型预测出的五官参数；
通过人脸关键点检测模型获取人脸的81个关键点，依据关键点的坐标定位到具体的五官位置，按照五官对人脸照片进行切割，将整张人脸照片和切割后的五官照片分别训练，整张人脸照片主要负责五官空间关系的参数预测，最终输出56个五官特征指标；
高颜值人脸库构建，具体如下：
3-1.高颜值人脸库构建
3-1-1.通过互联网公开数据爬取人像照片；
3-1-2.利用人脸检测模型insightface，剪切出爬取照片中的人像照片，并检测图片质量，保留清晰正脸人像照片；
3-1-3.将有清晰正脸人像照片通过一种基于深度卷积网络的亚洲女性颜值评分模型，输出爬取正脸人像照片的颜值评分结果；
3-1-4.选取颜值评分前5％的人像照片作为高颜值人脸库；
3-2.相似高颜值人脸计算，具体实现如下：
在阶段二获取用户人脸的五官数据向量和人脸特征向量，需要给用户寻找最相似的人脸，确定人脸整容的方向；
首先就需要将高颜值人脸库中的照片输入阶段二中的人脸参数化模型，得到高颜值人脸库对应的五官数据向量和人脸特征向量，将计算结果向量拼接，并固化为特定的文件；
当获取到用户人脸照片后，用户与人脸库中的人脸相似度计算，通过阶段二得到人脸五官数据向量和人脸特征向量，再取人脸固化文件中的拼接向量，通过计算向量之间的余弦相似度，将相似度最高的脸作为用户的整形意向人脸；余弦相似度计算方法如下：
公示中向量A,B分别代表用户和相似度最高的脸的拼接向量；
阶段四：根据整容的变形量和术前术后照片，训练人脸术后效果生成模型，具体实现如下：
4-1.人脸变相量计算：
人脸图片参数化后，任意新的一张人脸都能够由人脸特征向量组合生成，因此用户术前和术后人脸的关系可表示为：
从公式中观察到通过在术前人脸模型Sbef上添加变形量aisi，就可以生成特定人脸模型Saft；公式中，Si表示人脸参数化模型生成的特征向量；用户整形后的人脸模型Saft相对于整形前的人脸模型Sbef只是整形了下巴，则变形量aisi就代表用户下巴的整形程度；变形量可由人脸参数化模型输出向量得出，人脸的属性向量由人脸参数化模型输出的人脸特征和五官参数组成，假设人脸目标属性向量为Attaft，源人脸的属性向量为Attbef；将变形量aisi表示为属性向量之间的差：
aisi＝Attaft-Attbef
通过计算得出aisi，为面部整容以及整容后人脸生成提供更有价值的信息；
4-2人脸术后效果生成模型训练：
目标人脸生成模型训练，将阶段一中按照术前和术后人脸照片进行区分的样本数据，通过阶段二训练好的人脸参数化模型，得到源人脸照片属性向量Attbef和术后人脸的属性为Attaft,计算出人脸属性的变形量人脸术后效果生成模型的输入端包括源人脸照片和属性变形量的向量，输出为整容后的人脸照片；术后目标人脸生成模型基于STGAN，将用户的术前术后图片及对应的人脸特征向量构建为样本数据，训练得到最佳的模型参数；整个生成模型逻辑上比较清晰，在编码器和解码器过程中，加入STU选择单元，从而获得人脸属性整容后的输出；编码器的输入端包括术前源人脸照片x和差分属性标签Attdiff；对于判别器，也是判别生成器输出真假和对应的属性标签；对抗损失采用WGAN-GP来实现生成优化，对应着LDadv LGadv；对于属性标签和生成器的属性优化通过源真实样本和标签优化判别器，再通过判别器去判别目标生成的属性结果来优化生成器：
为源域和目标域属性标签，最终的损失为：
其中Lrec为不使用标签的重构误差：
Lrec＝||x-G(x,0)||1
人脸术后效果生成模型训练，术前术后的56个五官参数数据向量做差，得到整容前后的变形量，与用户的术前和术后照片构成整体的样本数据集，将样本数据集分为训练集、验证集、测试集，训练得到最佳的人脸术后效果生成模型；
阶段五输入用户正脸照片，生成人脸整形后效果，并输出推荐的五官整形方案，具体实现如下：
步骤1：用户在人像采集终端设备前采集高清晰正面人脸照片；
步骤2：将步骤1中的人脸照片输入阶段二中训练好的人脸参数化模型，得到对应的人脸特征向量；
步骤3：将人脸特征向量与库中的固化的人脸特征计算得出相似度最高的脸，得到用户人脸特征与相似度最高的脸之间的变形量；
步骤4：将原人脸照片和变形量输入阶段四训练好的人脸术后生成模型，得到推荐整容方案对应的整形后效果，并输出变相量对应的人脸五官参数的变化量，自动生成整体的推荐整容方案。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911167636.4A CN111062260B (zh) | 2019-11-25 | 2019-11-25 | 一种面部整容推荐方案自动生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911167636.4A CN111062260B (zh) | 2019-11-25 | 2019-11-25 | 一种面部整容推荐方案自动生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111062260A CN111062260A (zh) | 2020-04-24 |
| CN111062260B true CN111062260B (zh) | 2024-03-05 |
Family
ID=70298210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911167636.4A Active CN111062260B (zh) | 2019-11-25 | 2019-11-25 | 一种面部整容推荐方案自动生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111062260B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111581926B (zh) * | 2020-05-15 | 2023-09-01 | 抖音视界有限公司 | 文案生成方法、装置、设备和计算机可读存储介质 |
| CN111833240B (zh) * | 2020-06-03 | 2023-07-25 | 北京百度网讯科技有限公司 | 人脸图像转换方法、装置、电子设备及存储介质 |
| CN111966852B (zh) * | 2020-06-28 | 2024-04-09 | 北京百度网讯科技有限公司 | 基于人脸的虚拟整容的方法和装置 |
| CN115909470B (zh) * | 2022-11-24 | 2023-07-07 | 浙江大学 | 基于深度学习的全自动眼睑疾病术后外观预测***和方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012014544A (ja) * | 2010-07-02 | 2012-01-19 | Nippon Telegr & Teleph Corp <Ntt> | コーディネート推薦装置、コーディネート推薦方法及びそのプログラム |
| CN104850825A (zh) * | 2015-04-18 | 2015-08-19 | 中国计量学院 | 一种基于卷积神经网络的人脸图像颜值计算方法 |
| CN105160312A (zh) * | 2015-08-27 | 2015-12-16 | 南京信息工程大学 | 基于人脸相似度匹配的明星脸装扮推荐方法 |
| CN106548156A (zh) * | 2016-10-27 | 2017-03-29 | 江西瓷肌电子商务有限公司 | 一种根据人脸图像提供整容建议的方法 |
| CN106940880A (zh) * | 2016-01-04 | 2017-07-11 | 中兴通讯股份有限公司 | 一种美颜处理方法、装置和终端设备 |
| CN107506559A (zh) * | 2017-09-08 | 2017-12-22 | 廖海斌 | 基于人脸相似度分析的明星脸整形化妆推荐方法和装置 |
| CN108629336A (zh) * | 2018-06-05 | 2018-10-09 | 北京千搜科技有限公司 | 基于人脸特征点识别的颜值计算方法 |
| CN109214298A (zh) * | 2018-08-09 | 2019-01-15 | 盈盈（杭州）网络技术有限公司 | 一种基于深度卷积网络的亚洲女性颜值评分模型方法 |
| WO2019200749A1 (zh) * | 2018-04-17 | 2019-10-24 | 平安科技（深圳）有限公司 | 识别人脸的方法、装置、计算机设备和存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10339685B2 (en) * | 2014-02-23 | 2019-07-02 | Northeastern University | System for beauty, cosmetic, and fashion analysis |
| WO2019014646A1 (en) * | 2017-07-13 | 2019-01-17 | Shiseido Americas Corporation | REMOVAL OF VIRTUAL FACIAL MAKE-UP, FAST FACIAL DETECTION AND TRACK POINT TRACKING |
-
2019
- 2019-11-25 CN CN201911167636.4A patent/CN111062260B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012014544A (ja) * | 2010-07-02 | 2012-01-19 | Nippon Telegr & Teleph Corp <Ntt> | コーディネート推薦装置、コーディネート推薦方法及びそのプログラム |
| CN104850825A (zh) * | 2015-04-18 | 2015-08-19 | 中国计量学院 | 一种基于卷积神经网络的人脸图像颜值计算方法 |
| CN105160312A (zh) * | 2015-08-27 | 2015-12-16 | 南京信息工程大学 | 基于人脸相似度匹配的明星脸装扮推荐方法 |
| CN106940880A (zh) * | 2016-01-04 | 2017-07-11 | 中兴通讯股份有限公司 | 一种美颜处理方法、装置和终端设备 |
| CN106548156A (zh) * | 2016-10-27 | 2017-03-29 | 江西瓷肌电子商务有限公司 | 一种根据人脸图像提供整容建议的方法 |
| CN107506559A (zh) * | 2017-09-08 | 2017-12-22 | 廖海斌 | 基于人脸相似度分析的明星脸整形化妆推荐方法和装置 |
| WO2019200749A1 (zh) * | 2018-04-17 | 2019-10-24 | 平安科技（深圳）有限公司 | 识别人脸的方法、装置、计算机设备和存储介质 |
| CN108629336A (zh) * | 2018-06-05 | 2018-10-09 | 北京千搜科技有限公司 | 基于人脸特征点识别的颜值计算方法 |
| CN109214298A (zh) * | 2018-08-09 | 2019-01-15 | 盈盈（杭州）网络技术有限公司 | 一种基于深度卷积网络的亚洲女性颜值评分模型方法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种具有迁移学习的MF和DNN的组合推荐算法;申远;黄志良;蒋苏蓉;胡彪;;空军预警学院学报;20190415(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111062260A (zh) | 2020-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062260B (zh) | 一种面部整容推荐方案自动生成方法 | |
| CN108629338B (zh) | 一种基于lbp和卷积神经网络的人脸美丽预测方法 | |
| CN107247971B (zh) | 一种超声甲状腺结节风险指标的智能分析方法及*** | |
| CN106652025B (zh) | 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置 | |
| DE112007001775B4 (de) | Bildverwaltungsverfahren und Bildverwaltungssystem | |
| CN105844706B (zh) | 一种基于单幅图像的全自动三维头发建模方法 | |
| CN108537191B (zh) | 一种基于结构光摄像头的三维人脸识别方法 | |
| CN1475969B (zh) | 用于增强人像图像的方法和*** | |
| CN107358648A (zh) | 基于单张人脸图像的实时全自动高质量三维人脸重建方法 | |
| CN110930297B (zh) | 人脸图像的风格迁移方法、装置、电子设备及存储介质 | |
| US20110292051A1 (en) | Automatic Avatar Creation | |
| CN109214298B (zh) | 一种基于深度卷积网络的亚洲女性颜值评分模型方法 | |
| CN105354248A (zh) | 基于灰度的分布式图像底层特征识别方法及*** | |
| Carlier et al. | The 2d shape structure dataset: A user annotated open access database | |
| CN112015934B (zh) | 基于神经网络和Unity的智能发型推荐方法、装置及*** | |
| CN109685713A (zh) | 化妆模拟控制方法、装置、计算机设备及存储介质 | |
| CN111652273A (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN107506362A (zh) | 基于用户群优化的图像分类仿脑存储方法 | |
| CN115641323A (zh) | 医学图像自动标注的方法及装置 | |
| CN115147261A (zh) | 图像处理方法、装置、存储介质、设备及产品 | |
| CN113763498A (zh) | 一种面向工业制造的肖像简笔画区域自适应颜色匹配方法及*** | |
| CN116612339A (zh) | 一种核性白内障图像分级模型的构建装置及分级装置 | |
| JP4893968B2 (ja) | 顔画像の合成方法 | |
| Strezoski et al. | OmniEyes: Analysis and synthesis of artistically painted eyes | |
| CN110348406A (zh) | 参数推断方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |