CN108229296B - 人脸皮肤属性识别方法和装置、电子设备、存储介质 - Google Patents

人脸皮肤属性识别方法和装置、电子设备、存储介质 Download PDF

Info

Publication number
CN108229296B
CN108229296B CN201710927454.7A CN201710927454A CN108229296B CN 108229296 B CN108229296 B CN 108229296B CN 201710927454 A CN201710927454 A CN 201710927454A CN 108229296 B CN108229296 B CN 108229296B
Authority
CN
China
Prior art keywords
face
feature
convolutional layer
neural network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710927454.7A
Other languages
English (en)
Other versions
CN108229296A (zh
Inventor
罗思伟
张展鹏
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201710927454.7A priority Critical patent/CN108229296B/zh
Publication of CN108229296A publication Critical patent/CN108229296A/zh
Application granted granted Critical
Publication of CN108229296B publication Critical patent/CN108229296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种人脸皮肤属性识别方法和装置、电子设备、计算机存储介质，包括：通过神经网络中的各卷积层对待识别图像中的人脸图像进行特征提取；对所述神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取特征进行融合，获得融合特征；基于所述融合特征对所述人脸图像进行皮肤属性的预测，获得皮肤属性的预测标签。本发明上述实施例通过对神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取的特征进行融合，获得神经网络的浅层特征和深层特征，实现了对皮肤属性的全面判断；基于融合特征对人脸图像进行皮肤属性的预测；实现对人脸皮肤的不同皮肤属性的预测。

Description

人脸皮肤属性识别方法和装置、电子设备、存储介质
技术领域
本发明涉及计算机视觉技术领域，尤其是一种人脸属性识别方法和装置、电子设备、计算机存储介质。
背景技术
近年来，深度学习在图像处理的各个领域都取得了很好的成绩，例如：图片分类、图片分割等。人脸皮肤属性识别在手机美颜、视频直播等一些娱乐应用上有很重要的意义，人脸皮肤属性一般包括但不限于人脸的肤质和肤色属性。根据皮肤属性，美颜应用可以自动选择美颜的程度，以避免美颜程度不足或者过分美颜的情况发生。
发明内容
本发明实施例提供一种用于人脸皮肤属性识别的技术方案。
本发明实施例提供的一种人脸皮肤属性识别方法，包括：
通过神经网络中的各卷积层对待识别图像中的人脸图像进行特征提取；
对所述神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取特征进行融合，获得融合特征；所述较浅卷积层为所述神经网络中除所述最后一个卷积层之外的其他卷积层；
基于所述融合特征对所述人脸图像进行皮肤属性的预测，获得皮肤属性的预测标签。
在基于本发明上述方法的另一个实施例中，对所述神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取特征进行融合，获得融合特征，包括：
基于所述神经网络各较浅卷积层输出至少一个特征，将基于所述较浅卷积层输出的所述至少一个特征进行尺度变换，得到与最后一个卷积层输出的特征尺度大小相同的特征；
将尺度大小相同的各特征堆叠获得融合特征。
在基于本发明上述方法的另一个实施例中，所述将基于所述较浅卷积层输出的所述至少一个特征进行尺度变换，得到与最后一个卷积层输出的特征尺度大小相同的特征，包括：
将基于所述较浅卷积层输出的所述至少一个特征进行池化操作，得到与最后一个卷积层输出的特征尺度大小相同的特征。
在基于本发明上述方法的另一个实施例中，所述将基于所述较浅卷积层输出的所述至少一个特征进行池化操作，包括：
按照平均池化和最大池化交替的池化策略，对所述各较浅卷积层提取的特征依次进行池化操作。
在基于本发明上述方法的另一个实施例中，所述将尺度大小相同的各特征堆叠获得融合特征，包括：
将所述尺度大小相同的各特征以通道为轴依次堆叠在一起，获得融合特征，所述融合特征的维度对应各所述卷积层输出通道之和。
在基于本发明上述方法的另一个实施例中，所述基于所述融合特征对所述人脸图像进行皮肤属性的预测，包括：
通过神经网络中的全连接层，基于所述融合特征对所述人脸图像进行皮肤属性的预测；
所述基于所述融合特征对所述人脸图像进行皮肤属性的预测之前，还包括：
通过一个降维卷积层对所述融合特征进行降维。
在基于本发明上述方法的另一个实施例中，所述降维卷积层中的卷积核数目小于预设值，所述卷积核的大小为1；
通过降维卷积层对所述融合特征进行降维，包括：基于卷积核数目小于预设值的降维卷积层对所述融合特征执行卷积操作，获得维度为所述卷积核数目的融合特征图。
在基于本发明上述方法的另一个实施例中，所述通过神经网络中的各卷积层对待识别图像中的人脸图像进行特征提取之前，还包括：
对所述待识别图像进行人脸检测，获得所述人脸图像，并从所述待识别图像中提取所述人脸图像。
在基于本发明上述方法的另一个实施例中，对所述待识别图像进行人脸检测，包括：
利用人脸检测网络从所述待识别图像中获得至少一个人脸位置特征和对应所述待识别图像的人脸置信度阈值，所述人脸位置特征包括人脸位置矩形框和人脸置信度；
基于所述获得的人脸位置特征获得人脸置信度大于所述人脸置信度阈值的人脸位置矩形框；
基于人脸关键点网络对所述人脸位置矩形框执行人脸关键点检测，获得人脸关键点，基于所述人脸关键点从所述人脸位置图中获得人脸图像。
在基于本发明上述方法的另一个实施例中，所述人脸位置特征还包括人脸角度；
基于人脸关键点网络对所述人脸位置矩形框执行人脸关键点检测之前，还包括：基于所述人脸角度对人脸位置矩形框进行调整，得到正向放置的人脸位置矩形框。
在基于本发明上述方法的另一个实施例中，所述皮肤属性的预测标签包括以下任意一项或多项：
皮肤质量，皮肤颜色，皮肤亮度。
在基于本发明上述方法的另一个实施例中，还包括：
基于所述皮肤属性的预测标签，对所述人脸图像进行美化处理操作。
在基于本发明上述方法的另一个实施例中，还包括：
将待识别图像置为样本图像，对所述神经网络进行训练：
通过神经网络中的各卷积层对样本图像中的人脸图像进行特征提取；所述样本图像标注有至少一个已知标注标签；
对所述神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取特征进行融合，获得融合特征；所述较浅卷积层为所述神经网络中除所述最后一个卷积层之外的其他卷积层；
基于所述融合特征对所述人脸图像进行皮肤属性的预测，获得皮肤属性的预测标签；
基于所述获得的预测标签和已知标注标签训练所述神经网络。
在基于本发明上述方法的另一个实施例中，基于所述获得的预测标签和已知标注标签训练所述神经网络，包括：
基于所述获得的预测标签和已知标注标签通过损失函数计算得到误差值；
基于误差值通过反向梯度算法对所述神经网络的各卷积层中的参数进行更新。
在基于本发明上述方法的另一个实施例中，还包括：
将更新参数后的神经网络作为所述神经网络，迭代通过神经网络中的各卷积层对样本图像中的人脸图像进行特征提取；所述样本图像标注有至少一个已知标注标签；对所述神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取特征进行融合，获得融合特征；基于所述融合特征对所述人脸图像进行皮肤属性的预测，获得皮肤属性的预测标签；基于所述获得的预测标签和已知标注标签通过损失函数计算得到误差值；基于误差值通过反向梯度算法对所述神经网络的各卷积层中的参数进行更新；直到所述神经网络满足预设条件。
在基于本发明上述方法的另一个实施例中，所述预设条件包括以下任意一项：
所述损失函数收敛、所述迭代次数达到预设次数和所述误差值小于预设值。
在基于本发明上述方法的另一个实施例中，基于所述获得的预测标签和已知标注标签训练所述神经网络，包括：
基于所述获得的预测标签和已知标注标签通过损失函数计算得到误差值；
将所述误差值直接反向传播到所述神经网络中获得融合特征的至少一个较浅卷积层和最后一个卷积层中，将误差值通过反向梯度算法反向传播到所述神经网络的各卷积层；
基于传播到所述各卷积层中的误差值对所述各卷积层中的参数进行更新。
在基于本发明上述方法的另一个实施例中，还包括：
将更新参数后的神经网络作为所述神经网络，迭代通过神经网络中的各卷积层对样本图像中的人脸图像进行特征提取；所述样本图像标注有至少一个已知标注标签；对所述神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取特征进行融合，获得融合特征；基于所述融合特征对所述人脸图像进行皮肤属性的预测，获得皮肤属性的预测标签；基于所述获得的预测标签和已知标注标签通过损失函数计算得到误差值；将所述误差值直接反向传播到所述神经网络中获得融合特征的至少一个较浅卷积层和最后一个卷积层中，将误差值通过反向梯度算法反向传播到所述神经网络的各卷积层；基于传播到所述各卷积层中的误差值对所述各卷积层中的参数进行更新；直到所述神经网络满足预设条件。
在基于本发明上述方法的另一个实施例中，所述预设条件包括以下任意一项：
所述损失函数收敛、所述迭代次数达到预设次数和所述误差值小于预设值。
根据本发明实施例的一个方面，提供的一种人脸皮肤属性识别装置，包括：
特征提取单元，用于通过神经网络中的各卷积层对待识别图像中的人脸图像进行特征提取；
特征融合单元，用于对所述神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取的特征进行融合，获得融合特征；所述较浅卷积层为所述神经网络中除所述最后一个卷积层之外的其他卷积层；
属性预测单元，用于基于所述融合特征对所述人脸图像进行皮肤属性的预测，获得皮肤属性的预测标签。
在基于本发明上述装置的另一个实施例中，所述特征融合单元，包括：
尺度变换模块，用于基于所述神经网络各较浅卷积层输出至少一个特征，将基于所述较浅卷积层输出的所述至少一个特征进行尺度变换，得到与最后一个卷积层输出的特征尺度大小相同的特征；
特征堆叠模块，用于将尺度大小相同的各特征堆叠获得融合特征。
在基于本发明上述装置的另一个实施例中，所述尺度变换模块，具体用于将基于所述较浅卷积层输出的所述至少一个特征进行池化操作，得到与最后一个卷积层输出的特征尺度大小相同的特征。
在基于本发明上述装置的另一个实施例中，所述尺度变换模块进行的池化操作包括：
按照平均池化和最大池化交替的池化策略，对所述各较浅卷积层提取的特征依次进行池化操作。
在基于本发明上述装置的另一个实施例中，所述特征堆叠模块，具体用于将所述尺度大小相同的各特征以通道为轴依次堆叠在一起，获得融合特征，所述融合特征的维度对应各所述卷积层输出通道之和。
在基于本发明上述装置的另一个实施例中，所述属性预测单元，具体用于通过神经网络中的全连接层，基于所述融合特征对所述人脸图像进行皮肤属性的预测；
所述人脸皮肤属性识别装置，还包括：
降维单元，用于通过一个降维卷积层对所述融合特征进行降维。
在基于本发明上述装置的另一个实施例中，所述降维卷积层中的卷积核数目小于预设值，所述卷积核的大小为1；
所述降维单元，具体用于基于卷积核数目小于预设值的降维卷积层对所述融合特征执行卷积操作，获得维度为所述卷积核数目的融合特征图。
在基于本发明上述装置的另一个实施例中，还包括：
人脸识别单元，用于对所述待识别图像进行人脸检测，获得所述人脸图像，并从所述待识别图像中提取所述人脸图像。
在基于本发明上述装置的另一个实施例中，所述人脸识别单元，包括：
位置获取模块，用于利用人脸检测网络从所述待识别图像中获得至少一个人脸位置特征和对应所述待识别图像的人脸置信度阈值，所述人脸位置特征包括人脸位置矩形框和人脸置信度；
位置确定模块，用于基于所述获得的人脸位置特征获得人脸置信度大于所述人脸置信度阈值的人脸位置矩形框；
人脸获取模块，用于基于人脸关键点网络对所述人脸位置矩形框执行人脸关键点检测，获得人脸关键点，基于所述人脸关键点从所述人脸位置图中获得人脸图像。
在基于本发明上述装置的另一个实施例中，所述人脸位置特征还包括人脸角度；
所述人脸皮肤属性识别装置，还包括：角度调整单元，基于所述人脸角度对人脸位置矩形框进行调整，得到正向放置的人脸位置矩形框。
在基于本发明上述装置的另一个实施例中，所述皮肤属性的预测标签包括以下任意一项或多项：
皮肤质量，皮肤颜色，皮肤亮度。
在基于本发明上述装置的另一个实施例中，还包括：
美化单元，用于基于所述皮肤属性的预测标签，对所述人脸图像进行美化处理操作。
在基于本发明上述装置的另一个实施例中，还包括：
样本预测单元，用于将待识别图像置为样本图像，基于特征提取单元、特征融合单元和属性预测单元获得对应所述样本图像的皮肤属性的预测标签；所述样本图像标注有至少一个已知标注标签；
网络训练单元，用于基于所述获得的预测标签和已知标注标签训练所述神经网络。
在基于本发明上述装置的另一个实施例中，所述网络训练单元，包括：
误差计算模块，用于基于所述获得的预测标签和已知标注标签通过损失函数计算得到误差值；
参数更新模块，用于基于误差值通过反向梯度算法对所述神经网络的各卷积层中的参数进行更新。
在基于本发明上述装置的另一个实施例中，所述网络训练单元，还包括：
迭代更新模块，用于将更新参数后的神经网络作为所述神经网络，迭代基于特征提取单元、特征融合单元和属性预测单元获得对应所述样本图像的皮肤属性的预测标签；基于误差计算模块和参数更新模块对各卷积层中的参数进行更新；直到所述神经网络满足预设条件。
在基于本发明上述装置的另一个实施例中，所述预设条件包括以下任意一项：
所述损失函数收敛、所述迭代次数达到预设次数和所述误差值小于预设值。
在基于本发明上述装置的另一个实施例中，所述网络训练单元，包括：
误差计算模块，用于基于所述获得的预测标签和已知标注标签通过损失函数计算得到误差值；
误差传播模块，用于将所述误差值直接反向传播到所述神经网络中获得融合特征的至少一个较浅卷积层和最后一个卷积层中，将误差值通过反向梯度算法反向传播到所述神经网络的各卷积层；
参数更新模块，用于基于传播到所述各卷积层中的误差值对所述各卷积层中的参数进行更新。
在基于本发明上述装置的另一个实施例中，所述网络训练单元，还包括：
迭代更新模块，将更新参数后的神经网络作为所述神经网络，迭代基于特征提取单元、特征融合单元和属性预测单元获得对应所述样本图像的皮肤属性的预测标签；基于误差计算模块、误差传播模块和参数更新模块对各卷积层中的参数进行更新；直到所述神经网络满足预设条件。
在基于本发明上述装置的另一个实施例中，所述预设条件包括以下任意一项：
所述损失函数收敛、所述迭代次数达到预设次数和所述误差值小于预设值。
根据本发明实施例的一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上所述的人脸皮肤属性识别装置。
根据本发明实施例的一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上所述人脸皮肤属性识别方法的操作。
根据本发明实施例的一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上所述人脸皮肤属性识别方法的操作。
基于本发明上述实施例提供的一种人脸皮肤属性识别方法和装置、电子设备、计算机存储介质，通过神经网络中的各卷积层对待识别图像中的人脸图像进行特征提取；对神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取的特征进行融合，获得融合特征；通过融合特征可以获得神经网络的浅层特征和深层特征，利用较浅卷积层提取的特征与最后一个卷积层提取的特征实现对皮肤属性的全面判断；克服了现有技术中只获得最后一个卷积层的特征而导致的一些细节丢失，导致皮肤属性判断不准确的问题；基于融合特征对人脸图像进行皮肤属性的预测；实现对人脸皮肤的不同皮肤属性的预测。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1为本发明人脸皮肤属性识别方法一个实施例的流程图。
图2为本发明人脸皮肤属性识别方法上述各实施例的一个具体示例的结构示意图。
图3为本发明人脸皮肤属性识别装置一个实施例的结构示意图。
图4为用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于计算机***/服务器，其可与众多其它通用或专用计算***环境或配置一起操作。适于与计算机***/服务器一起使用的众所周知的计算***、环境和/或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***、大型计算机***和包括上述任何***的分布式云计算技术环境，等等。
计算机***/服务器可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。
现有技术中，对人脸皮肤属性的识别过程包括：对获取的图片的预处理(包括图片大小和灰度的归一化，头部姿态矫正，图像分割)之后，经过特征提取(包括：几何特征、统计特征、频率域特征和运动特征等)，最后进行分类。然而，该识别过程需要设计手工特征和特征的选择，并且对于不同的光照以及人脸角度旋转，需要进行不同的特征设计，也就是说，这种方法的鲁棒性有待提高，难以在实际中应用。通常来说，对于人脸皮肤属性的识别，可以通过建立一个神经网络模型，基于训练数据，分别训练一个肤质模型和肤色模型，对于一张给定的测试图片，通过人脸检测和对齐等方法抠出人脸部分，再放入肤色或者肤质神经网络中进行人脸皮肤属性的识别。但是分别训练的模型会导致模型的体积随着属性种类的增加而线性增大。
图1为本发明人脸皮肤属性识别方法一个实施例的流程图。如图1所示，该实施例方法包括：
步骤101，通过神经网络中的各卷积层对待识别图像中的人脸图像进行特征提取。
具体地，神经网络中的各卷积层依次对待识别图像中的人脸图像进行特征提取。
步骤102，对神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取的特征进行融合，获得融合特征。
其中，较浅卷积层为神经网络中除最后一个卷积层之外的其他卷积层；较浅卷积层提取的特征能够体现出人脸皮肤的肤质问题(如：痘痘、疤痕)，克服了现有技术中神经网络只利用最后一个卷积层的输出特征，而导致的只能识别部分皮肤属性的问题；将多层特征融合，并使用融合特征进行人脸皮肤属性的判断，对皮肤属性的识别效果得到提升。
步骤103，基于融合特征对人脸图像进行皮肤属性的预测，获得皮肤属性的预测标签。
基于本发明上述实施例提供的一种人脸皮肤属性识别方法，通过神经网络中的各卷积层对待识别图像中的人脸图像进行特征提取；对神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取的特征进行融合，获得融合特征；通过融合特征可以获得神经网络的浅层特征和深层特征，利用较浅卷积层提取的特征与最后一个卷积层提取的特征实现对皮肤属性的全面判断，通过共享神经网络中的多个中间层参数，使得每增加一个额外的属性识别任务时，只需要在神经网络最后针对该认识添加几个层，不会导致参数数目成倍上升；克服了现有技术中只获得最后一个卷积层的特征而导致的一些细节丢失，导致皮肤属性判断不准确的问题；基于融合特征对人脸图像进行皮肤属性的预测；实现对人脸皮肤的不同皮肤属性的预测。
在本发明人脸皮肤属性识别方法上述实施例的一个具体示例中，操作102包括：
基于神经网络各较浅卷积层输出至少一个特征，将基于所述较浅卷积层输出的所述至少一个特征进行尺度变换，得到与最后一个卷积层输出的特征尺度大小相同的特征；
将尺度大小相同的各特征堆叠获得融合特征。
在本实施例中，在进行特征融合之前，首先将需要融合的特征转换为最后一个卷积层输出的特征尺度大小，为特征融合提供了融合基础；通常一个卷积层通过至少一个通道输出至少一个特征，每个通道输出一个特征，每个卷积层输出的特征尺度大小相同，堆叠的过程中是将转换为尺度大小相同的特征按照通道进行堆叠。
在本发明人脸皮肤属性识别方法上述各实施例的一个具体示例中，将基于较浅卷积层输出的至少一个特征进行尺度变换，得到与最后一个卷积层输出的特征尺度大小相同的特征，包括：
将基于较浅卷积层输出的至少一个特征进行池化操作，得到与最后一个卷积层输出的特征尺度大小相同的特征。
本实施例中，为了将需要与最后一个卷积层输出的特征融合的特征的大小得到转换，可以通过池化操作(包括：最大池化，和/或平均池化等)将特征转换为所需大小。
在本发明人脸皮肤属性识别方法上述各实施例的一个具体示例中，将基于较浅卷积层输出的至少一个特征进行池化操作，包括：按照平均池化和最大池化交替的池化策略，对各较浅卷积层提取的特征依次进行池化操作。
图2为本发明人脸皮肤属性识别方法上述各实施例的一个具体示例的结构示意图。如图2所示，对特征图一直线进行平均池化和最大池化操作，对特征图二进行平均池化和最大池化操作，对特征图三进行最大池化操作，对特征图四进行最大池化操作；通过这些池化操作使所有特征图的大小调整到相同尺寸，选择哪种池化操作或池化操作的顺序不受限制，本实施例中所指平均池化和最大池化交替是指需要采用平均池化和最大池化共同进行池化操作时采用二者交替。
在本发明人脸皮肤属性识别方法上述各实施例的一个具体示例中，将尺度大小相同的各特征堆叠获得融合特征，包括：
将尺度大小相同的各特征以通道为轴依次堆叠在一起，获得融合特征，融合特征的维度对应各卷积层输出通道之和。
每个所述卷积层包括至少一个通道，每个通道输出一个特征，将各特征以通道为轴堆叠在一起获得的融合特征，其维度将等于所有卷积层输出的通道数之和。
本发明人脸皮肤属性识别方法另一个实施例中，在上述各实施例的基础上，操作103包括：
通过神经网络中的全连接层，基于融合特征对人脸图像进行皮肤属性的预测；
基于融合特征对人脸图像进行皮肤属性的预测之前，还包括：
通过一个降维卷积层对融合特征进行降维。
在本实施例中，由于融合特征的维度对应至少两个卷积层输出的通道数之和，因此，融合特征的维度较大，为了便于后续识别，通过该降维卷积层对融合特征进行降维。
在本发明人脸皮肤属性识别方法上述各实施例的一个具体示例中，降维卷积层中的卷积核数目小于预设值，卷积核的大小为1；
通过降维卷积层对融合特征进行降维，包括：基于卷积核数目小于预设值的降维卷积层对融合特征执行卷积操作，获得维度为卷积核数目的融合特征图。
本实施例中，通过限制降维卷积层的卷积核数目和卷积核大小限制降维之后融合特征图的维度，通过卷积核为1的卷积层能够实现降维是由卷积操作的特征决定的。
本发明人脸皮肤属性识别方法的又一个实施例，在上述各实施例的基础上，操作101之前，还包括：
对待识别图像进行人脸检测，获得人脸图像，并从待识别图像中提取人脸图像。
本实施例中，由于本发明人脸皮肤属性识别方法主要是针对人脸皮肤进行的，所以首先需要从待识别图像中将人脸图像提取出来，提取人脸图像的过程可以通过现有技术中的神经网络进行人脸检测，基于检测结果将人脸图像提取出来。
在本发明人脸皮肤属性识别方法上述实施例的一个具体示例中，对待识别图像进行人脸检测，包括：
利用人脸检测网络从待识别图像中获得至少一个人脸位置特征和对应待识别图像的人脸置信度阈值，人脸位置特征包括人脸位置矩形框和人脸置信度；
基于获得的人脸位置特征获得人脸置信度大于人脸置信度阈值的人脸位置矩形框；
基于人脸关键点网络对人脸位置矩形框执行人脸关键点检测，获得人脸关键点，基于人脸关键点从人脸位置图中获得人脸图像。
本实施例提供了一种获取人脸图像的具体过程，在该实施例中，首先从待识别图像中获得一个人脸位置特征和人脸置信度阈值，每个待识别图像包括一个人脸置信度阈值和至少一个人脸位置特征，基于该人脸置信度阈值即可判断哪些人脸位置矩形框中包括人脸，这些包括人脸的矩形框为人脸位置矩形框，再将人脸关键点叠加到人脸位置矩形框中，得到人脸图像。
在本发明人脸皮肤属性识别方法上述实施例的一个具体示例中，人脸位置特征还包括人脸角度；
基于人脸关键点网络对人脸位置矩形框执行人脸关键点检测之前，还包括：基于人脸角度对人脸位置矩形框进行调整，得到正向放置的人脸位置矩形框。
本实施例中所指人脸角度是指针对图像的水平角度人脸位置矩形框的倾斜角度，并不是指人脸图像中人脸的倾斜角度，通过对人脸位置矩形框的角度调整，得到的人脸位置矩形框中人脸是正向放置的，以便于后续对人脸图像进行提取和处理。
在本发明人脸皮肤属性识别方法上述实施例的一个具体示例中，皮肤属性的预测标签包括以下任意一项或多项：
皮肤质量，皮肤颜色，皮肤亮度。
通过本实施例多层卷积层获得的特征，可以从多角度对皮肤属性进行识别，可以包括：皮肤质量、皮肤颜色和皮肤亮度等，基于这些皮肤属性可以对人脸皮肤有更加全面的了解，以便于后续对人脸皮肤进行更准确的操作。
在本发明人脸皮肤属性识别方法上述实施例的一个具体示例中，还包括：
基于皮肤属性的预测标签，对人脸图像进行美化处理操作。
本实施例中，通过识别出的人脸皮肤的肤质好坏和肤色亮度等皮肤属性，根据算法对这个用户肤质的评价和肤色的亮度估计，美颜算法再对用户的图像进行合理程度的美颜操作，包括磨皮、美白等肤质提升；例如：用户的脸上较多痘痘，肤质较差，皮肤较黑，那么在美颜程序进行美颜操作时，会对皮肤进行较强的磨皮以及美白；而如果用户的肤质本来就很好，人也白，那么美颜程序进行肤质的磨皮和皮肤的美白的程度就会比较低，这样得到的美颜结果会显得更为真实。
本发明人脸皮肤属性识别方法的还一个实施例，在上述各实施例的基础上，还包括：
将待识别图像置为样本图像，对神经网络进行训练：
通过神经网络中的各卷积层对样本图像中的人脸图像进行特征提取；样本图像标注有至少一个已知标注标签；
对神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取特征进行融合，获得融合特征；较浅卷积层为神经网络中除最后一个卷积层之外的其他卷积层；
基于融合特征对人脸图像进行皮肤属性的预测，获得皮肤属性的预测标签；
基于获得的预测标签和已知标注标签训练神经网络。
通过本实施例提供的训练方法训练获得的神经网络，可以应用到本发明上述任一实施例中，以得到更准确的皮肤属性的预测标签。
在本发明人脸皮肤属性识别方法上述实施例的一个具体示例中，基于获得的预测标签和已知标注标签训练神经网络，包括：
基于获得的预测标签和已知标注标签通过损失函数计算得到误差值；
基于误差值通过反向梯度算法对神经网络的各卷积层中的参数进行更新。
本实施例中提供的训练方法是通过常用的反向梯度方法对各卷积层中的参数进行更新，当然本实施例并不用于限制本发明的训练方法，具体的训练还可以通过现有技术中的其他训练方法实现。
在本发明人脸皮肤属性识别方法上述实施例的一个具体示例中，还包括：
将更新参数后的神经网络作为神经网络，迭代通过神经网络中的各卷积层对样本图像中的人脸图像进行特征提取；样本图像标注有至少一个已知标注标签；对神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取特征进行融合，获得融合特征；基于融合特征对人脸图像进行皮肤属性的预测，获得皮肤属性的预测标签；基于获得的预测标签和已知标注标签通过损失函数计算得到误差值；基于误差值通过反向梯度算法对神经网络的各卷积层中的参数进行更新；直到神经网络满足预设条件。
预设条件包括以下任意一项：
损失函数收敛、迭代次数达到预设次数和误差值小于预设值。
本实施例中，针对更新参数后的神经网络迭代执行皮肤属性的预测过程，知道得到的神经网络满足预设条件，预设条件包括但不限于损失函数收敛、迭代次数达到预设次数或误差值小于预设值。
本发明人脸皮肤属性识别方法的再一个实施例，在上述各实施例的基础上，基于获得的预测标签和已知标注标签训练神经网络，包括：
基于获得的预测标签和已知标注标签通过损失函数计算得到误差值；
将误差值直接反向传播到神经网络中获得融合特征的至少一个较浅卷积层和最后一个卷积层中，将误差值通过反向梯度算法反向传播到神经网络的各卷积层；
基于传播到各卷积层中的误差值对各卷积层中的参数进行更新。
本实施例中，结合浅层卷积层与损失函数层之间直接连接的短连接可以使误差值在梯度回传过程中损失少，模型会更快的收敛，但仅采用短连接之间回传误差值时，容易产生各个卷积层之间的参数不统一的问题，因此，本实施例在通过短连接梯度回传的同时，结合反向梯度算法之间按神经网络的卷积层顺序回传误差，在提升训练速度的同时，保证了参数的统一；克服了现有技术中的训练方法在训练中进行梯度反向传导时，在网络的层数较深时，会造成梯度回传时产生梯度衰减，进而导致浅层的卷积核参数更新较慢的问题。
在本发明人脸皮肤属性识别方法上述实施例的一个具体示例中，还包括：
将更新参数后的神经网络作为神经网络，迭代通过神经网络中的各卷积层对样本图像中的人脸图像进行特征提取；样本图像标注有至少一个已知标注标签；对神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取特征进行融合，获得融合特征；基于融合特征对所述人脸图像进行皮肤属性的预测，获得皮肤属性的预测标签；基于获得的预测标签和已知标注标签通过损失函数计算得到误差值；将误差值直接反向传播到神经网络中获得融合特征的至少一个较浅卷积层和最后一个卷积层中，将误差值通过反向梯度算法反向传播到神经网络的各卷积层；基于传播到各卷积层中的误差值对各卷积层中的参数进行更新；直到神经网络满足预设条件。
预设条件包括以下任意一项：
损失函数收敛、迭代次数达到预设次数和误差值小于预设值。
本实施例中，针对更新参数后的神经网络迭代执行皮肤属性的预测过程，知道得到的神经网络满足预设条件，预设条件包括但不限于损失函数收敛、迭代次数达到预设次数或误差值小于预设值。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图3为本发明人脸皮肤属性识别装置一个实施例的结构示意图。该实施例的装置可用于实现本发明上述各方法实施例。如图3所示，该实施例的装置包括：
特征提取单元31，用于通过神经网络中的各卷积层对待识别图像中的人脸图像进行特征提取。
具体地，神经网络中的各卷积层依次对待识别图像中的人脸图像进行特征提取。
特征融合单元32，用于对神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取的特征进行融合，获得融合特征。
其中，较浅卷积层为神经网络中除最后一个卷积层之外的其他卷积层；较浅卷积层提取的特征能够体现出人脸皮肤的肤质问题(如：痘痘、疤痕)，克服了现有技术中神经网络只利用最后一个卷积层的输出特征，而导致的只能识别部分皮肤属性的问题；将多层特征融合，并使用融合特征进行人脸皮肤属性的判断，对皮肤属性的识别效果得到提升。
属性预测单元33，用于基于融合特征对人脸图像进行皮肤属性的预测，获得皮肤属性的预测标签。
基于本发明上述实施例提供的一种人脸皮肤属性识别装置，通过神经网络中的各卷积层对待识别图像中的人脸图像进行特征提取；对神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取的特征进行融合，获得融合特征；通过融合特征可以获得神经网络的浅层特征和深层特征，利用较浅卷积层提取的特征与最后一个卷积层提取的特征实现对皮肤属性的全面判断，通过共享神经网络中的多个中间层参数，使得每增加一个额外的属性识别任务时，只需要在神经网络最后针对该认识添加几个层，不会导致参数数目成倍上升；克服了现有技术中只获得最后一个卷积层的特征而导致的一些细节丢失，导致皮肤属性判断不准确的问题；基于融合特征对人脸图像进行皮肤属性的预测；实现对人脸皮肤的不同皮肤属性的预测。
在本发明人脸皮肤属性识别装置上述实施例的一个具体示例中，特征融合单元32，包括：
尺度变换模块，用于基于神经网络各较浅卷积层输出至少一个特征，将基于较浅卷积层输出的至少一个特征进行尺度变换，得到与最后一个卷积层输出的特征尺度大小相同的特征；
特征堆叠模块，用于将尺度大小相同的各特征堆叠获得融合特征。
在本发明人脸皮肤属性识别装置上述实施例的一个具体示例中，尺度变换模块，具体用于将基于较浅卷积层输出的至少一个特征进行池化操作，得到与最后一个卷积层输出的特征尺度大小相同的特征。
在本发明人脸皮肤属性识别装置上述实施例的一个具体示例中，尺度变换模块进行的池化操作包括：
按照平均池化和最大池化交替的池化策略，对各较浅卷积层提取的特征依次进行池化操作。
在本发明人脸皮肤属性识别装置上述实施例的一个具体示例中，特征堆叠模块，具体用于将尺度大小相同的各特征以通道为轴依次堆叠在一起，获得融合特征，融合特征的维度对应各卷积层输出通道之和。
本发明人脸皮肤属性识别装置另一个实施例中，在上述各实施例的基础上，属性预测单元33，具体用于通过神经网络中的全连接层，基于融合特征对人脸图像进行皮肤属性的预测；
本实施例人脸皮肤属性识别装置，还包括：
降维单元，用于通过一个降维卷积层对融合特征进行降维。
在本实施例中，由于融合特征的维度对应至少两个卷积层输出的通道数之和，因此，融合特征的维度较大，为了便于后续识别，通过该降维卷积层对融合特征进行降维。
在本发明人脸皮肤属性识别装置上述各实施例的一个具体示例中，降维卷积层中的卷积核数目小于预设值，卷积核的大小为1；
降维单元，具体用于基于卷积核数目小于预设值的降维卷积层对融合特征执行卷积操作，获得维度为卷积核数目的融合特征图。
本发明人脸皮肤属性识别装置的又一个实施例，在上述各实施例的基础上，还包括：
人脸识别单元，用于对待识别图像进行人脸检测，获得人脸图像，并从待识别图像中提取人脸图像。
本实施例中，由于本发明人脸皮肤属性识别方法主要是针对人脸皮肤进行的，所以首先需要从待识别图像中将人脸图像提取出来，提取人脸图像的过程可以通过现有技术中的神经网络进行人脸检测，基于检测结果将人脸图像提取出来。
在本发明人脸皮肤属性识别装置上述各实施例的一个具体示例中，人脸识别单元，包括：
位置获取模块，用于利用人脸检测网络从待识别图像中获得至少一个人脸位置特征和对应待识别图像的人脸置信度阈值，人脸位置特征包括人脸位置矩形框和人脸置信度；
位置确定模块，用于基于获得的人脸位置特征获得人脸置信度大于人脸置信度阈值的人脸位置矩形框；
人脸获取模块，用于基于人脸关键点网络对人脸位置矩形框执行人脸关键点检测，获得人脸关键点，基于人脸关键点从人脸位置图中获得人脸图像。
在本发明人脸皮肤属性识别装置上述各实施例的一个具体示例中，人脸位置特征还包括人脸角度；
本实施例人脸皮肤属性识别装置，还包括：角度调整单元，基于人脸角度对人脸位置矩形框进行调整，得到正向放置的人脸位置矩形框。
在本发明人脸皮肤属性识别装置上述各实施例的一个具体示例中，皮肤属性的预测标签包括以下任意一项或多项：
皮肤质量，皮肤颜色，皮肤亮度。
在本发明人脸皮肤属性识别装置上述各实施例的一个具体示例中，还包括：
美化单元，用于基于所述皮肤属性的预测标签，对所述人脸图像进行美化处理操作。
本发明人脸皮肤属性识别装置的还一个实施例，在上述各实施例的基础上，还包括：
样本预测单元，用于将待识别图像置为样本图像，基于特征提取单元、特征融合单元和属性预测单元获得对应样本图像的皮肤属性的预测标签。
其中，样本图像标注有至少一个已知标注标签。
网络训练单元，用于基于获得的预测标签和已知标注标签训练神经网络。
通过本实施例提供的训练方法训练获得的神经网络，可以应用到本发明上述任一实施例中，以得到更准确的皮肤属性的预测标签。
在本发明人脸皮肤属性识别装置上述各实施例的一个具体示例中，网络训练单元，包括：
误差计算模块，用于基于获得的预测标签和已知标注标签通过损失函数计算得到误差值；
参数更新模块，用于基于误差值通过反向梯度算法对神经网络的各卷积层中的参数进行更新。
在本发明人脸皮肤属性识别装置上述各实施例的一个具体示例中，网络训练单元，还包括：
迭代更新模块，用于将更新参数后的神经网络作为神经网络，迭代基于特征提取单元、特征融合单元和属性预测单元获得对应样本图像的皮肤属性的预测标签；基于误差计算模块和参数更新模块对各卷积层中的参数进行更新；直到神经网络满足预设条件。
在本发明人脸皮肤属性识别装置上述各实施例的一个具体示例中，预设条件包括以下任意一项：
损失函数收敛、迭代次数达到预设次数和误差值小于预设值。
本发明人脸皮肤属性识别装置的再一个实施例，在上述各实施例的基础上，网络训练单元，包括：
误差计算模块，用于基于获得的预测标签和已知标注标签通过损失函数计算得到误差值；
误差传播模块，用于将误差值直接反向传播到所述神经网络中获得融合特征的至少一个较浅卷积层和最后一个卷积层中，将误差值通过反向梯度算法反向传播到神经网络的各卷积层；
参数更新模块，用于基于传播到各卷积层中的误差值对各卷积层中的参数进行更新。
本实施例中，结合浅层卷积层与损失函数层之间直接连接的短连接可以使误差值在梯度回传过程中损失少，模型会更快的收敛，但仅采用短连接之间回传误差值时，容易产生各个卷积层之间的参数不统一的问题，因此，本实施例在通过短连接梯度回传的同时，结合反向梯度算法之间按神经网络的卷积层顺序回传误差，在提升训练速度的同时，保证了参数的统一；克服了现有技术中的训练方法在训练中进行梯度反向传导时，在网络的层数较深时，会造成梯度回传时产生梯度衰减，进而导致浅层的卷积核参数更新较慢的问题。
在本发明人脸皮肤属性识别装置上述各实施例的一个具体示例中，网络训练单元，还包括：
迭代更新模块，将更新参数后的神经网络作为神经网络，迭代基于特征提取单元、特征融合单元和属性预测单元获得对应样本图像的皮肤属性的预测标签；基于误差计算模块、误差传播模块和参数更新模块对各卷积层中的参数进行更新；直到神经网络满足预设条件。
在本发明人脸皮肤属性识别装置上述各实施例的一个具体示例中，预设条件包括以下任意一项：
损失函数收敛、迭代次数达到预设次数和误差值小于预设值。
根据本发明实施例的一个方面，提供的一种电子设备，包括处理器，处理器包括本发明上述任一实施例所述的人脸皮肤属性识别装置。
根据本发明实施例的一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与存储器通信以执行可执行指令从而完成本发明人脸皮肤属性识别方法上述任一实施例的操作。
根据本发明实施例的一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行本发明人脸皮肤属性识别方法上述任一实施例的操作。
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图4，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备400的结构示意图：如图4所示，计算机***400包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)401，和/或一个或多个图像处理器(GPU)413等，处理器可以根据存储在只读存储器(ROM)402中的可执行指令或者从存储部分408加载到随机访问存储器(RAM)403中的可执行指令而执行各种适当的动作和处理。通信部412可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，
处理器可与只读存储器402和/或随机访问存储器430中通信以执行可执行指令，通过总线404与通信部412相连、并经通信部412与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，通过神经网络中的各卷积层对待识别图像中的人脸图像进行特征提取；对神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取的特征进行融合，获得融合特征；基于融合特征对人脸图像进行皮肤属性的预测，获得皮肤属性的预测标签。
此外，在RAM 403中，还可存储有装置操作所需的各种程序和数据。CPU401、ROM402以及RAM403通过总线404彼此相连。在有RAM403的情况下，ROM402为可选模块。RAM403存储可执行指令，或在运行时向ROM402中写入可执行指令，可执行指令使处理器401执行上述通信方法对应的操作。输入/输出(I/O)接口405也连接至总线404。通信部412可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
需要说明的，如图4所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图4的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明公开的保护范围。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，通过神经网络中的各卷积层对待识别图像中的人脸图像进行特征提取；对神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取的特征进行融合，获得融合特征；基于融合特征对人脸图像进行皮肤属性的预测，获得皮肤属性的预测标签。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。
可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (29)

1.一种人脸皮肤属性识别方法，其特征在于，包括：
利用人脸检测网络从待识别图像中获得至少一个人脸位置特征；其中，所述人脸位置特征包括人脸角度，所述人脸角度指针对图像的水平角度人脸位置矩形框的倾斜角度；
基于所述人脸角度对人脸位置矩形框进行调整，得到正向放置的人脸位置矩形框；并将人脸关键点叠加到所述人脸位置矩形框中，得到人脸图像；
通过神经网络中的各卷积层对所述待识别图像中的人脸图像进行特征提取；
对所述神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取的特征进行融合，获得融合特征；所述较浅卷积层为所述神经网络中除所述最后一个卷积层之外的其他卷积层；
基于所述融合特征对所述人脸图像进行皮肤属性的预测，获得皮肤属性的预测标签；
还包括：基于所述神经网络对样本图像进行处理获得的预测标签和所述样本图像对应的已知标注标签通过损失函数计算得到误差值；
将所述误差值直接反向传播到所述神经网络中获得融合特征的至少一个较浅卷积层和最后一个卷积层中，将误差值通过反向梯度算法反向传播到所述神经网络的各卷积层；
基于传播到所述各卷积层中的误差值对所述各卷积层中的参数进行更新。
2.根据权利要求1所述的方法，其特征在于，对所述神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取特征进行融合，获得融合特征，包括：
基于所述神经网络各较浅卷积层输出至少一个特征，将基于所述较浅卷积层输出的所述至少一个特征进行尺度变换，得到与最后一个卷积层输出的特征尺度大小相同的特征；
将尺度大小相同的各特征堆叠获得融合特征。
3.根据权利要求2所述的方法，其特征在于，所述将基于所述较浅卷积层输出的所述至少一个特征进行尺度变换，得到与最后一个卷积层输出的特征尺度大小相同的特征，包括：
将基于所述较浅卷积层输出的所述至少一个特征进行池化操作，得到与最后一个卷积层输出的特征尺度大小相同的特征。
4.根据权利要求3所述的方法，其特征在于，所述将基于所述较浅卷积层输出的所述至少一个特征进行池化操作，包括：
按照平均池化和最大池化交替的池化策略，对所述各较浅卷积层提取的特征依次进行池化操作。
5.根据权利要求2所述的方法，其特征在于，所述将尺度大小相同的各特征堆叠获得融合特征，包括：
将所述尺度大小相同的各特征以通道为轴依次堆叠在一起，获得融合特征，所述融合特征的维度对应各所述卷积层输出通道之和。
6.根据权利要求1-5任一所述的方法，其特征在于，所述基于所述融合特征对所述人脸图像进行皮肤属性的预测，包括：
通过神经网络中的全连接层，基于所述融合特征对所述人脸图像进行皮肤属性的预测；
所述基于所述融合特征对所述人脸图像进行皮肤属性的预测之前，还包括：
通过一个降维卷积层对所述融合特征进行降维。
7.根据权利要求6所述的方法，其特征在于，所述降维卷积层中的卷积核数目小于预设值，所述卷积核的大小为1；
通过降维卷积层对所述融合特征进行降维，包括：基于卷积核数目小于预设值的降维卷积层对所述融合特征执行卷积操作，获得维度为所述卷积核数目的融合特征图。
8.根据权利要求1-5任一项所述的方法，其特征在于，所述通过神经网络中的各卷积层对待识别图像中的人脸图像进行特征提取之前，还包括：
对所述待识别图像进行人脸检测，获得所述人脸图像，并从所述待识别图像中提取所述人脸图像；
所述对所述待识别图像进行人脸检测，包括：
利用人脸检测网络从所述待识别图像中获得至少一个人脸位置特征和对应所述待识别图像的人脸置信度阈值，所述人脸位置特征包括人脸位置矩形框和人脸置信度；
基于所述获得的人脸位置特征获得人脸置信度大于所述人脸置信度阈值的人脸位置矩形框；
基于人脸关键点网络对所述人脸位置矩形框执行人脸关键点检测，获得人脸关键点，基于所述人脸关键点从所述人脸位置矩形框中获得人脸图像。
9.根据权利要求1-5任一所述的方法，其特征在于，所述皮肤属性的预测标签包括以下任意一项或多项：
皮肤质量，皮肤颜色，皮肤亮度。
10.根据权利要求1-5任一所述的方法，其特征在于，还包括：
基于所述皮肤属性的预测标签，对所述人脸图像进行美化处理操作。
11.根据权利要求1-5任一所述的方法，其特征在于，还包括：
将待识别图像置为样本图像，对所述神经网络进行训练：
通过神经网络中的各卷积层对样本图像中的人脸图像进行特征提取；所述样本图像标注有至少一个已知标注标签；
对所述神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取特征进行融合，获得融合特征；所述较浅卷积层为所述神经网络中除所述最后一个卷积层之外的其他卷积层；
基于所述融合特征对所述人脸图像进行皮肤属性的预测，获得皮肤属性的预测标签；
基于所述获得的预测标签和已知标注标签训练所述神经网络。
12.根据权利要求1所述的方法，其特征在于，还包括：
将更新参数后的神经网络作为所述神经网络，迭代通过神经网络中的各卷积层对样本图像中的人脸图像进行特征提取；所述样本图像标注有至少一个已知标注标签；对所述神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取特征进行融合，获得融合特征；基于所述融合特征对所述人脸图像进行皮肤属性的预测，获得皮肤属性的预测标签；基于所述获得的预测标签和已知标注标签通过损失函数计算得到误差值；将所述误差值直接反向传播到所述神经网络中获得融合特征的至少一个较浅卷积层和最后一个卷积层中，将误差值通过反向梯度算法反向传播到所述神经网络的各卷积层；基于传播到所述各卷积层中的误差值对所述各卷积层中的参数进行更新；直到所述神经网络满足预设条件。
13.根据权利要求12所述的方法，其特征在于，所述预设条件包括以下任意一项：
所述损失函数收敛、迭代次数达到预设次数和所述误差值小于预设值。
14.一种人脸皮肤属性识别装置，其特征在于，包括：
人脸识别单元，用于利用人脸检测网络从待识别图像中获得至少一个人脸位置特征；其中，所述人脸位置特征包括人脸角度，所述人脸角度指针对图像的水平角度人脸位置矩形框的倾斜角度；
角度调整单元，用于基于所述人脸角度对人脸位置矩形框进行调整，得到正向放置的人脸位置矩形框；并将人脸关键点叠加到所述人脸位置矩形框中，得到人脸图像；
特征提取单元，用于通过神经网络中的各卷积层对所述待识别图像中的人脸图像进行特征提取；
特征融合单元，用于对所述神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取的特征进行融合，获得融合特征；所述较浅卷积层为所述神经网络中除所述最后一个卷积层之外的其他卷积层；所述特征融合单元，具体用于将基于所述神经网络中至少一个较浅卷积层提取的特征与最后一个卷积层提取的特征得到的多个尺度大小相同的特征按照通道进行堆叠，获得所述融合特征；
属性预测单元，用于基于所述融合特征对所述人脸图像进行皮肤属性的预测，获得皮肤属性的预测标签；
还包括：网络训练单元，所述网络训练单元包括：误差计算模块，用于基于所述神经网络对样本图像进行处理获得的预测标签和所述样本图像对应的已知标注标签通过损失函数计算得到误差值；
误差传播模块，用于将所述误差值直接反向传播到所述神经网络中获得融合特征的至少一个较浅卷积层和最后一个卷积层中，将误差值通过反向梯度算法反向传播到所述神经网络的各卷积层；
参数更新模块，用于基于传播到所述各卷积层中的误差值对所述各卷积层中的参数进行更新。
15.根据权利要求14所述的装置，其特征在于，所述特征融合单元，包括：
尺度变换模块，用于基于所述神经网络各较浅卷积层输出至少一个特征，将基于所述较浅卷积层输出的所述至少一个特征进行尺度变换，得到与最后一个卷积层输出的特征尺度大小相同的特征；
特征堆叠模块，用于将尺度大小相同的各特征堆叠获得融合特征。
16.根据权利要求15所述的装置，其特征在于，所述尺度变换模块，具体用于将基于所述较浅卷积层输出的所述至少一个特征进行池化操作，得到与最后一个卷积层输出的特征尺度大小相同的特征。
17.根据权利要求16所述的装置，其特征在于，所述尺度变换模块进行的池化操作包括：
按照平均池化和最大池化交替的池化策略，对所述各较浅卷积层提取的特征依次进行池化操作。
18.根据权利要求15所述的装置，其特征在于，所述特征堆叠模块，具体用于将所述尺度大小相同的各特征以通道为轴依次堆叠在一起，获得融合特征，所述融合特征的维度对应各所述卷积层输出通道之和。
19.根据权利要求14-18任一所述的装置，其特征在于，所述属性预测单元，具体用于通过神经网络中的全连接层，基于所述融合特征对所述人脸图像进行皮肤属性的预测；
所述人脸皮肤属性识别装置，还包括：
降维单元，用于通过一个降维卷积层对所述融合特征进行降维。
20.根据权利要求19所述的装置，其特征在于，所述降维卷积层中的卷积核数目小于预设值，所述卷积核的大小为1；
所述降维单元，具体用于基于卷积核数目小于预设值的降维卷积层对所述融合特征执行卷积操作，获得维度为所述卷积核数目的融合特征图。
21.根据权利要求14-18任一项所述的装置，其特征在于，所述人脸识别单元，用于对所述待识别图像进行人脸检测，获得所述人脸图像，并从所述待识别图像中提取所述人脸图像；
所述人脸识别单元，包括：
位置获取模块，用于利用人脸检测网络从所述待识别图像中获得至少一个人脸位置特征和对应所述待识别图像的人脸置信度阈值，所述人脸位置特征包括人脸位置矩形框和人脸置信度；
位置确定模块，用于基于所述获得的人脸位置特征获得人脸置信度大于所述人脸置信度阈值的人脸位置矩形框；
人脸获取模块，用于基于人脸关键点网络对所述人脸位置矩形框执行人脸关键点检测，获得人脸关键点，基于所述人脸关键点从所述人脸位置矩形框中获得人脸图像。
22.根据权利要求14-18任一所述的装置，其特征在于，所述皮肤属性的预测标签包括以下任意一项或多项：
皮肤质量，皮肤颜色，皮肤亮度。
23.根据权利要求14-18任一所述的装置，其特征在于，还包括：
美化单元，用于基于所述皮肤属性的预测标签，对所述人脸图像进行美化处理操作。
24.根据权利要求14-18任一所述的装置，其特征在于，还包括：
样本预测单元，用于将待识别图像置为样本图像，基于特征提取单元、特征融合单元和属性预测单元获得对应所述样本图像的皮肤属性的预测标签；所述样本图像标注有至少一个已知标注标签；
网络训练单元，用于基于所述获得的预测标签和已知标注标签训练所述神经网络。
25.根据权利要求14所述的装置，其特征在于，所述网络训练单元，还包括：
迭代更新模块，将更新参数后的神经网络作为所述神经网络，迭代基于特征提取单元、特征融合单元和属性预测单元获得对应所述样本图像的皮肤属性的预测标签；基于误差计算模块、误差传播模块和参数更新模块对各卷积层中的参数进行更新；直到所述神经网络满足预设条件。
26.根据权利要求25所述的装置，其特征在于，所述预设条件包括以下任意一项：
所述损失函数收敛、迭代次数达到预设次数和所述误差值小于预设值。
27.一种电子设备，其特征在于，包括处理器，所述处理器包括权利要求14至26任意一项所述的人脸皮肤属性识别装置。
28.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至13任意一项所述人脸皮肤属性识别方法的操作。
29.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至13任意一项所述人脸皮肤属性识别方法的操作。
CN201710927454.7A 2017-09-30 2017-09-30 人脸皮肤属性识别方法和装置、电子设备、存储介质 Active CN108229296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710927454.7A CN108229296B (zh) 2017-09-30 2017-09-30 人脸皮肤属性识别方法和装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710927454.7A CN108229296B (zh) 2017-09-30 2017-09-30 人脸皮肤属性识别方法和装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN108229296A CN108229296A (zh) 2018-06-29
CN108229296B true CN108229296B (zh) 2021-04-02

Family

ID=62655496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710927454.7A Active CN108229296B (zh) 2017-09-30 2017-09-30 人脸皮肤属性识别方法和装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN108229296B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165666A (zh) * 2018-07-05 2019-01-08 南京旷云科技有限公司 多标签图像分类方法、装置、设备及存储介质
CN109614900B (zh) * 2018-11-29 2021-04-02 深圳和而泰数据资源与云技术有限公司 图像检测方法及装置
WO2020124390A1 (zh) * 2018-12-18 2020-06-25 华为技术有限公司 一种面部属性的识别方法及电子设备
CN111353349B (zh) * 2018-12-24 2023-10-17 杭州海康威视数字技术股份有限公司 人体关键点检测方法、装置、电子设备及存储介质
CN109730637B (zh) * 2018-12-29 2021-04-23 中国科学院半导体研究所 一种人脸面部图像定量分析***及方法
CN110069994B (zh) * 2019-03-18 2021-03-23 中国科学院自动化研究所 基于人脸多区域的人脸属性识别***、方法
CN110046577B (zh) * 2019-04-17 2022-07-26 北京迈格威科技有限公司 行人属性预测方法、装置、计算机设备和存储介质
CN110321778B (zh) * 2019-04-26 2022-04-05 北京市商汤科技开发有限公司 一种人脸图像处理方法、装置和存储介质
CN110348358B (zh) * 2019-07-03 2021-11-23 网易（杭州）网络有限公司 一种肤色检测***、方法、介质和计算设备
CN112288345A (zh) * 2019-07-25 2021-01-29 顺丰科技有限公司 装卸口状态检测方法、装置、服务器及存储介质
CN110599554A (zh) * 2019-09-16 2019-12-20 腾讯科技（深圳）有限公司 人脸肤色的识别方法和装置、存储介质及电子装置
CN111339813B (zh) * 2019-09-30 2022-09-27 深圳市商汤科技有限公司 人脸属性识别方法、装置、电子设备和存储介质
CN110633700B (zh) * 2019-10-21 2022-03-25 深圳市商汤科技有限公司 视频处理方法及装置、电子设备和存储介质
CN111191527B (zh) * 2019-12-16 2024-03-12 北京迈格威科技有限公司 属性识别方法、装置、电子设备及可读存储介质
CN111144310A (zh) * 2019-12-27 2020-05-12 创新奇智(青岛)科技有限公司 一种基于多层信息融合的人脸检测方法及***
CN111325732B (zh) * 2020-02-20 2023-07-11 深圳数联天下智能科技有限公司 面部残留物检测方法及相关设备
CN111598131B (zh) 2020-04-17 2023-08-25 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
CN113796826A (zh) * 2020-06-11 2021-12-17 懿奈(上海)生物科技有限公司 一种用于检测华人人脸皮肤年龄的方法
CN111860169B (zh) * 2020-06-18 2024-04-30 北京旷视科技有限公司 皮肤分析方法、装置、存储介质及电子设备
CN113469950A (zh) * 2021-06-08 2021-10-01 海南电网有限责任公司电力科学研究院 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
CN113128526B (zh) * 2021-06-17 2021-08-27 腾讯科技（深圳）有限公司 图像识别方法、装置、电子设备和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9454714B1 (en) * 2013-12-09 2016-09-27 Google Inc. Sequence transcription with deep neural networks
CN106228162A (zh) * 2016-07-22 2016-12-14 王威 一种基于深度学习的移动机器人快速物体识别方法
CN107169504A (zh) * 2017-03-30 2017-09-15 湖北工业大学 一种基于扩展非线性核残差网络的手写字符识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9454714B1 (en) * 2013-12-09 2016-09-27 Google Inc. Sequence transcription with deep neural networks
CN106228162A (zh) * 2016-07-22 2016-12-14 王威 一种基于深度学习的移动机器人快速物体识别方法
CN107169504A (zh) * 2017-03-30 2017-09-15 湖北工业大学 一种基于扩展非线性核残差网络的手写字符识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Facial Skin Classification Using Convolutional Neural Networks;Jhan S. Alarifi et.al;《ICIAR 2017：Image Analysis and Recognition》;20170602;第479-484页 *
Facial skin image classification system using Convolutional Neural Networks deep learning algorithm;Chiun-Li Chin et.al;《2018 9th International Conference on Awareness Science and Technology (iCAST)》;20181101;第1657-1661页 *
GLOBAL AND LOCAL INFORMATION BASED DEEP NETWORK FOR SKIN LESION SEGMENTATION;Jin Qi et.al;《arXiv:1703.05467v1 [cs.CV]》;20170331;第1-3页 *

Also Published As

Publication number Publication date
CN108229296A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN108229296B (zh) 人脸皮肤属性识别方法和装置、电子设备、存储介质
CN108460338B (zh) 人体姿态估计方法和装置、电子设备、存储介质、程序
CN108898186B (zh) 用于提取图像的方法和装置
US11068697B2 (en) Methods and apparatus for video-based facial recognition, electronic devices, and storage media
US11227147B2 (en) Face image processing methods and apparatuses, and electronic devices
CN108229479B (zh) 语义分割模型的训练方法和装置、电子设备、存储介质
CN107330439B (zh) 一种图像中物体姿态的确定方法、客户端及服务器
CN108227912B (zh) 设备控制方法和装置、电子设备、计算机存储介质
US11062453B2 (en) Method and system for scene parsing and storage medium
WO2018019126A1 (zh) 视频类别识别方法和装置、数据处理装置和电子设备
CN108154222B (zh) 深度神经网络训练方法和***、电子设备
US11380017B2 (en) Dual-view angle image calibration method and apparatus, storage medium and electronic device
CN107679466B (zh) 信息输出方法和装置
CN108765261B (zh) 图像变换方法和装置、电子设备、计算机存储介质
CN107609506B (zh) 用于生成图像的方法和装置
US10521919B2 (en) Information processing device and information processing method for applying an optimization model
CN108229301B (zh) 眼睑线检测方法、装置和电子设备
CN113688907B (zh) 模型训练、视频处理方法，装置，设备以及存储介质
CN113177449B (zh) 人脸识别的方法、装置、计算机设备及存储介质
CN108062544A (zh) 用于人脸活体检测的方法和装置
CN110516598B (zh) 用于生成图像的方法和装置
CN114511041B (zh) 模型训练方法、图像处理方法、装置、设备和存储介质
CN108154153B (zh) 场景分析方法和***、电子设备
CN111553838A (zh) 模型参数的更新方法、装置、设备及存储介质
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant