CN117333928B - 一种人脸特征点检测方法、装置、电子设备及存储介质 - Google Patents

一种人脸特征点检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117333928B
CN117333928B CN202311630749.XA CN202311630749A CN117333928B CN 117333928 B CN117333928 B CN 117333928B CN 202311630749 A CN202311630749 A CN 202311630749A CN 117333928 B CN117333928 B CN 117333928B
Authority
CN
China
Prior art keywords
convolution
current
image
result
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311630749.XA
Other languages
English (en)
Other versions
CN117333928A (zh
Inventor
王念欧
郦轲
刘文华
万进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Accompany Technology Co Ltd
Original Assignee
Shenzhen Accompany Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Accompany Technology Co Ltd filed Critical Shenzhen Accompany Technology Co Ltd
Priority to CN202311630749.XA priority Critical patent/CN117333928B/zh
Publication of CN117333928A publication Critical patent/CN117333928A/zh
Application granted granted Critical
Publication of CN117333928B publication Critical patent/CN117333928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸特征点检测方法、装置、电子设备及存储介质；该方法包括：获取原始人脸图像；对原始人脸图像进行多尺度变换，得到至少一个备选图像，多尺度变换至少包括如下一种：尺寸变换、亮度变换、角度变换以及噪声变换；将原始人脸图像和各备选图像依次作为待识别图像，将待识别图像作为输入，输入到目标特征点检测网络中进行全局特征提取和多尺度特征提取，得到特征点坐标集合；每个特征点坐标集合中包括至少一个特征点坐标及特征点坐标对应的特征点标识；对于每个特征点标识，基于特征点标识对应的各特征点坐标进行运算，得到人脸特征点坐标，解决人脸特征点检测不准确的问题，提高人脸特征点识别的准确性。

Description

一种人脸特征点检测方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种人脸特征点检测方法、装置、电子设备及存储介质。
背景技术
随着科技的发展以及生活水平的提高，越来越多的人通过使用美容仪器进行护肤。一些美容仪器在协助用户进行脸部护肤时，需要检测用户的皮肤状态和用户的脸部特征点，通过脸部特征点对用户的脸部进行区域划分，对每个区域分别进行检测和针对性护肤。
现有技术中在进行人脸特征点检测时均是直接对拍摄得到的图像进行检测，但是拍摄过程中，设备的内部因素（例如，设备分辨率）、环境等外部因素（例如，光线、角度等）均会对拍摄得到的图像产生一定影响，影响识别精度。因此，用户在每次护肤时进行人脸特征识别由于识别精度较低，会导致每次根据识别结果划分脸部区域时区域划分不准确，对部分皮肤无法针对性护肤。并且现有的特征点坐标检测模型检测精度较低，无法准确对人脸特征点进行检测。如何提高人脸特征点识别的准确性，有效对皮肤进行护理成为有待解决的问题。
发明内容
本发明提供了一种人脸特征点检测方法、装置、电子设备及存储介质，以解决人脸特征点检测准确性较低的问题。
根据本发明的一方面，提供了一种人脸特征点检测方法，包括：
获取原始人脸图像；
对所述原始人脸图像进行多尺度变换，得到至少一个备选图像，所述多尺度变换至少包括如下一种：尺寸变换、亮度变换、角度变换以及噪声变换；
将所述原始人脸图像和各所述备选图像依次作为待识别图像；
将所述待识别图像作为输入，输入到预训练的目标特征点检测网络中顺次连接的卷积层、批标准化层以及激活函数和最大池化层中进行全局特征提取，得到第一提取结果，其中，所述卷积层为11×11的大卷积层；
将所述第一提取结果作为输入，输入到所述目标特征点检测网络中顺次连接的三个多尺度模块中进行多尺度特征提取，得到第二提取结果；
将所述第二提取结果作为输入，输入到所述目标特征点检测网络中顺次连接的平均池化层、全连接层和输出层，得到特征点坐标集合；每个所述特征点坐标集合中包括至少一个特征点坐标及所述特征点坐标对应的特征点标识；
对于每个特征点标识，基于所述特征点标识对应的各所述特征点坐标进行运算，得到人脸特征点坐标。
根据本发明的另一方面，提供了一种人脸特征点检测装置，包括：
图像获取模块，用于获取原始人脸图像；
图像变换模块，用于对所述原始人脸图像进行多尺度变换，得到至少一个备选图像，所述多尺度变换至少包括如下一种：尺寸变换、亮度变换、角度变换以及噪声变换；
待识别图像确定模块，用于将所述原始人脸图像和各所述备选图像依次作为待识别图像；
全局特征提取模块，用于将所述待识别图像作为输入，输入到预训练的目标特征点检测网络中顺次连接的卷积层、批标准化层以及激活函数和最大池化层中进行全局特征提取，得到第一提取结果，其中，所述卷积层为11×11的大卷积层；
多尺度特征提取模块，用于将所述第一提取结果作为输入，输入到所述目标特征点检测网络中顺次连接的三个多尺度模块中进行多尺度特征提取，得到第二提取结果；
坐标集合确定模块，用于将所述第二提取结果作为输入，输入到所述目标特征点检测网络中顺次连接的平均池化层、全连接层和输出层，得到特征点坐标集合；每个所述特征点坐标集合中包括至少一个特征点坐标及所述特征点坐标对应的特征点标识；
特征点坐标确定模块，用于对于每个特征点标识，基于所述特征点标识对应的各所述特征点坐标进行运算，得到人脸特征点坐标。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的人脸特征点检测方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的人脸特征点检测方法。
本发明实施例的技术方案，解决了人脸特征点检测不准确的问题，在获取到原始人脸图像后，通过尺寸变换、亮度变换、角度变换和噪声变换中的至少一种方式对原始人脸图像进行变换，实现原始人脸图像的多尺度变换，得到备选图像，将原始人脸图像和备选图像作为待识别图像进行特征点检测，确定人脸特征点坐标，避免仅用原始人脸图像进行检测时检测结果准确性较低的情况发生，通过各备选图像从不同角度对人脸特征点进行更好的描述，通过不同的备选图像模拟用户不同情况下对应的图像，在每次的特征点识别过程中考虑同一用户在不同次测量时的相对误差，对特征点进行识别，减少不同次特征点识别时的误差，提高人脸特征点识别的相对准确性，使用户在多次识别特征点时可以保持高度一致性，进而保证区域划分的准确性和一致性，实现精准护肤，提高用户体验。并且本申请实施例所提供的目标特征点检测网络，通过11×11的大卷积层进行特征提取，结果更加准确，同时可以从全局以及多尺度共多个维度对人脸特征点坐标进行检测，可以在更细粒度的级别提升网络的多尺度表达能力，进一步提高检测结果的准确性。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种人脸特征点检测方法的流程图；
图2是根据本发明实施例一提供的一种目标特征点检测网络的结构示意图；
图3是根据本发明实施例二提供的一种人脸特征点检测方法的流程图；
图4是根据本发明实施例二提供的一种多尺度模块的结构示意图；
图5是根据本发明实施例三提供的一种人脸特征点检测装置的结构示意图；
图6是实现本发明实施例的人脸特征点检测方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供的一种人脸特征点检测方法的流程图，本实施例可适用于对人脸特征点进行准确检测的情况，该方法可以由人脸特征点检测装置来执行，该人脸特征点检测装置可以采用硬件和/或软件的形式实现，该人脸特征点检测装置可配置于电子设备中。
需要说明的是，本实施例实现人脸特征点检测方法的应用环境可以描述为：用户佩戴美容仪器进行皮肤状态检测，美容仪器通过设置的摄像头采集原始人脸图像，并识别人脸特征点，根据人脸特征点进行连线，进而实现对人脸的区域划分，例如，额头为一个区域，左脸为一个区域，右脸为一个区域，对每个区域针对性选择护肤方式，例如，额头有比较多的痘痘，每次护肤时选择祛痘产品。但是，现有技术直接对原始人脸图像进行识别进而进行区域划分，由于设备的内部或者外部因素导致识别结果不够精准，进而导致每次划分的区域不同。对于同一块皮肤，每次被划分到不同的区域，容易出现采用不同且不合适的护肤方式进行护肤。
如图1所示，该方法包括：
S101、获取原始人脸图像。
在本实施例中，原始人脸图像具体可以理解为用于进行人脸识别的原始图像，原始人脸图像可以由图像采集装置采集，图像采集装置可以是照相机、录像机等。图像采集装置可以设置在固定位置进行图像采集，也可以设置在可移动设备上，随时随地进行图像采集，实际设置位置可以根据实际需求设置。
原始人脸图像可以由图像采集装置周期性采集、触发采集条件后采集等，具体的采集时机可以根据具体的应用场景设定，每采集一次后可以发送给本执行设备，也可以在数据量达到一定程度或者满足其他条件后发送给本执行设备；图像采集装置还可以在采集图像后保存，在满足人脸特征点识别时，本执行设备从存储器、云端等存储空间获取图像作为原始人脸图像。
S102、对原始人脸图像进行多尺度变换，得到至少一个备选图像，多尺度变换至少包括如下一种：尺寸变换、亮度变换、角度变换以及噪声变换。
在本实施例中，备选图像具体可以理解为经尺度变换处理后得到的图像，用于进行人脸特征点检测。尺寸变换为改变图像尺寸的一种处理方式，亮度变换为改变图像的亮度的一种处理方式；角度变换为改变图像的角度的一种处理方式；噪声变换为向图像添加噪声或者去噪声的一种处理方式。
对原始人脸图像从多个尺度进行变换处理，得到至少一个备选图像。备选图像可以是通过一种多尺度变换对原始人脸图像进行处理得到的，也可以是由两种或者两种以上的多尺度变换同时处理得到的，例如，先进行尺寸变换然后进行角度变换，或者依次进行尺寸变换、亮度变换和噪声变换。可以预先设定本次进行多尺度变换的数量和类型，或者根据原始人脸图像的应用场景类型、精度要求等图像所关联的信息选择多尺度变换的数量和类型，在得到原始人脸图像后，根据预先设定多尺度变换的类型对原始人脸图像进行多尺度变换。例如，预先设置高精度的图像的多尺度变换的数量为4，类型为尺寸变换、亮度变换、角度变换和噪声变换，在获取到原始人脸图像后，根据原始人脸图像所关联的信息确定精度要求为高精度，通过精度与多尺度变换的类型和数量的关联关系，确定对本次获取到的原始人脸图像进行尺寸变换、亮度变换、角度变换和噪声变换，尺寸变换、亮度变换、角度变换和噪声变换对原始人脸图像进行单独处理还是组合处理（组合处理时包括先后处理顺序）也可以在设定多尺度变换类型时设定好，等等，本申请实施例对此不进行限定。通过对原始人脸图像进行多尺度变换，弥补原始人脸图像中存在的误差。
S103、将原始人脸图像和各备选图像依次作为待识别图像。
在本实施例中，待识别图像具体可以理解为具有特征点识别需求的图像。将原始人脸图像和每个备选图像分别作为待识别图像，即，原始人脸图像和每个备选图像均会作为待识别图像进行特征点检测。
S104、将待识别图像作为输入，输入到预训练的目标特征点检测网络中顺次连接的卷积层、批标准化层以及激活函数和最大池化层中进行全局特征提取，得到第一提取结果，其中，卷积层为11×11的大卷积层。
在本实施例中，目标特征点检测网络具体可以理解为可以对图像中的人脸特征点进行检测的神经网络模型。第一提取结果具体可以理解为经过卷积层、批标准化层、激活函数和最大池化层处理所输出的特征数据。卷积层用于提取图像中主要的特征信息，本实施例选择11×11的大卷积层进行特征提取，结果更加准确；批标准化层即归一化BachNormalization，可以对数据进行归一化处理；激活函数和最大池化层用于与提取到的特征信息进行非线性处理，激活函数可以选择Relu函数。
预先根据训练样本训练神经网络模型，得到目标特征点检测网络，目标特征点检测网络在训练完成后可以根据模型参数对输入的图像进行特征点识别，并输出识别到的特征点坐标。本申请实施例中的目标特征点检测网络可以对输入到网络中的图像进行全局特征提取和多尺度特征提取。目标特征点检测网络的损失函数可以是WingLoss。目标特征点检测网络的结构为顺次连接的卷积层、批标准化层、激活函数和最大池化层、三个多尺度模块、平均池化层、全连接层和输出层。
卷积层、批标准化层、激活函数和最大池化层依次连接，待识别图像先输入到卷积层，经卷积层进行全局特征提取后输入到批标准化层进行归一化处理，然后输入到激活函数和最大池化层进行处理，得到第一提取结果。即，待识别图像依次经过卷积层、批标准化层、激活函数和最大池化层的处理，得到第一提取结果。
S105、将第一提取结果作为输入，输入到目标特征点检测网络中顺次连接的三个多尺度模块中进行多尺度特征提取，得到第二提取结果。
在本实施例中，第二提取结果具体可以理解为经过三个多尺度模块从多尺度进行特征提取后得到的数据。多尺度模块Mutil scale module可以对数据从多尺度进行特征提取。
目标特征点检测网络中包括三个多尺度模块GL(Global,local)，三个多尺度模块依次连接，第一提取结果输入到多尺度模块中，依次经过三个多尺度模块的处理，通过多尺度模块从不同尺度进行特征提取，得到第二提取结果。
S106、将第二提取结果作为输入，输入到目标特征点检测网络中顺次连接的平均池化层、全连接层和输出层，得到特征点坐标集合；每个特征点坐标集合中包括至少一个特征点坐标及特征点坐标对应的特征点标识。
在本实施例中，特征点坐标集合具体可以理解为由特征点坐标所构成的集合，每张图像均对应一个特征点坐标集合；由于人脸的特征点的数量可以是多个，因此每个特征点坐标集合中包括至少一个特征点坐标，为了方便在特征点坐标的数量为多个时区分不同特征点坐标代表的特征点的类型，可以通过特征点标识对每个特征点坐标进行标识，特征点标识可以是1,2，3…等字符，也可以是特征点类型，特征点类型可以是左眉峰、右眉峰、左瞳孔、右瞳孔等等，只要可以区分不同的特征点即可。
目标特征点检测网络中还包括平均池化层、全连接层和输出层，平均池化层与最后一个多尺度模块连接，将最后一个多尺度模块输出的第二提取结果输入到平均池化层进行池化处理，通过平均池化处理可以降维和减少参数量、保证平移不变性、减少参数量、降低过拟合的风险；经平均池化层处理后输出的数据输入到全连接层进行处理，最后将处理结果输入到输出层，通过输出层输出特征点坐标集合。
示例性的，图2提供了一种目标特征点检测网络的结构示意图，目标特征点检测网络包括：卷积层、批标准化层、激活函数和最大池化层、三个多尺度模块、平均池化层、全连接层和输出层；其中，多尺度模块分别为多尺度block-1、多尺度block-2、多尺度block-3。待识别图像在输入到目标特征点检测网络中，依次经过图中各层的处理，得到特征点坐标集合。其中，卷积层、批标准化层、激活函数和最大池化层、三个多尺度模块、平均池化层为一个全新GLNET(Global,local)模块，可以有效识别全局信息和局部信息。输出层可以输出的特征点坐标的数量可以预先设置，图中的每个圆代表一个特征点坐标。
需要知道的是，原始人脸图像和各备选图像均作为待识别图像，通过S104-S106的步骤进行特征点检测，确定其对应的特征点坐标集合。
S107、对于每个特征点标识，基于特征点标识对应的各特征点坐标进行运算，得到人脸特征点坐标。
在本实施例中，人脸特征点坐标可以是二维坐标或者三维坐标等等，人脸特征点坐标的数量可以是一个或者多个，通常为多个，可以更好的对人脸特征进行表示；人脸特征点坐标可以是五官、眉毛等的坐标，例如，双眼的瞳孔坐标、鼻尖坐标、鼻翼坐标、眉峰坐标。
对于每种特征点标识，基于所有的特征点坐标集合中的特征点坐标，确定此特征点标识对应的所有特征点坐标；对此特征点标识对应的所有特征点坐标进行综合运算，例如，求平均值、最大值、最小值、加权等方式确定其对应的人脸特征点坐标。
优选的，可以根据每个特征点标识对应的所有特征点坐标进行加权运算，得到对应的人脸特征点坐标，加权系数可以预先设置，例如，根据不同尺度变换得到的备选图像的误差进行设置，误差越小，加权系数越高。将同一标识的特征点坐标进行加权求和，得到对应的人脸特征点坐标，例如，对特征点标识为左瞳孔的所有特征点坐标进行加权运算。
示例性的，人脸特征点坐标=0.6×原始人脸图像的特征点坐标+0.1×放大特征点坐标+0.1×缩小特征点坐标+0.05×亮度变化特征点坐标+0.05×随机噪声特征点坐标+0.1×角度变换特征点坐标。
其中，放大特征点坐标为对尺寸放大后得到的备选图像识别所得到的特征点坐标；缩小特征点坐标为对尺寸缩小后得到的备选图像识别所得到的特征点坐标；亮度变化特征点坐标为对亮度变换后得到的备选图像识别所得到的特征点坐标；随机噪声特征点坐标为对噪声变换后得到的备选图像识别所得到的特征点坐标；角度变换特征点坐标为对角度变换后得到的备选图像识别所得到的特征点坐标。
本实施例提供的人脸特征点检测方法可以考虑到设备的内部或者环境的外部因素影响，对原始人脸图像数据进行多尺度变换，模拟用户不同情况下对应的图像，在每次的特征点识别过程中考虑同一用户在不同次测量时的相对误差，对特征点进行识别，使多次识别的结果保持相对稳定，进而提高识别结果的准确性。
本发明实施例提供的人脸特征点检测方法，解决了人脸特征点检测不准确的问题，在获取到原始人脸图像后，通过尺寸变换、亮度变换、角度变换和噪声变换中的至少一种方式对原始人脸图像进行变换，实现原始人脸图像的多尺度变换，得到备选图像，将原始人脸图像和备选图像作为待识别图像进行特征点检测，避免仅用原始人脸图像进行检测时检测结果准确性较低的情况发生，通过各备选图像从不同角度对人脸特征点进行更好的描述，通过不同的备选图像模拟用户不同情况下对应的图像，在每次的特征点识别过程中考虑同一用户在不同次测量时的相对误差，对特征点进行识别，减少不同次特征点识别时的误差，提高人脸特征点识别的相对准确性，使用户在多次识别特征点时可以保持高度一致性，进而保证区域划分的准确性和一致性，实现精准护肤，提高用户体验。并且本申请实施例所提供的目标特征点检测网络，通过11×11的大卷积层进行特征提取，结果更加准确，同时可以从全局以及多尺度共多个维度对人脸特征点坐标进行检测，可以在更细粒度的级别提升网络的多尺度表达能力，进一步提高检测结果的准确性。
实施例二
图3为本发明实施例二提供的一种人脸特征点检测方法的流程图，本实施例在上述实施例的基础上进行细化。如图3所示，该方法包括：
S201、获取原始人脸图像。
S202、对原始人脸图像进行多尺度变换，得到至少一个备选图像，多尺度变换至少包括如下一种：尺寸变换、亮度变换、角度变换以及噪声变换。
作为本实施例的一个可选实施例，本可选实施例进一步将对原始人脸图像进行多尺度变换，得到至少一个备选图像优化为A1和/或A2：
A1、根据尺寸放大倍数对原始人脸图像进行尺寸放大处理，将放大后的图像作为备选图像；
在本实施例中，尺寸放大倍数为放大后的图像与原始人脸图像的比例，例如，1.2倍，即放大后的图像的大小为原始人脸图像的大小的1.2倍。尺寸放大倍数可以预先设置为固定值，也可以根据原始人脸图像的分辨率、尺寸、应用场景类型等相关信息确定。在确定原始人脸图像后，其对应的尺寸放大倍数相应确定，将尺寸放大倍数与原始人脸图像的尺寸进行相乘，得到放大后的尺寸，放大后的图像中各像素点的像素值可以通过差值等方式确定，通过对原始人脸图像进行放大处理，得到的放大后的图像即为备选图像。
A2、根据尺寸缩小倍数对原始人脸图像进行尺寸缩小处理，将缩小后的图像作为备选图像。
在本实施例中，尺寸缩小倍数为缩小后的图像与原始人脸图像的比例，例如，0.8倍，即缩小后的图像的大小为原始人脸图像的大小的0.8倍。尺寸缩小倍数同样可以预先设置为固定值，也可以根据原始人脸图像的分辨率、尺寸、应用场景类型等相关信息确定。在确定原始人脸图像后，其对应的尺寸缩小倍数相应确定，将尺寸缩小倍数与原始人脸图像的尺寸进行相乘，得到缩小后的尺寸，缩小后的图像中各像素点的像素值可以通过计算均值、最大值、最小值等方式确定，通过对原始人脸图像进行缩小处理，得到的缩小后的图像即为备选图像。
可选的，尺寸放大倍数和/或尺寸缩小倍数根据原始人脸图像的分辨率确定。
本申请实施例中，在对原始人脸图像进行尺寸变换时，可以仅进行放大变换或者缩小变换，也可以同时进行放大变换和缩小变换，本申请实施例对此不进行限定。
作为本实施例的一个可选实施例，本可选实施例进一步将对原始人脸图像进行多尺度变换，得到至少一个备选图像，优化为：
B1、根据原始人脸图像的采集时间和地理位置确定亮度调节参数。
在本实施例中，亮度调节参数具体可以理解为对亮度进行调节的参数值，例如，亮度调高n，亮度调低n，亮度调节至N，等等。地理位置可以是南方、北方、华东地区等涵盖较大范围的地理位置，也可以是具体的省、市、区、街道等地理位置，地理位置可以由用户设置，也可以在取得用户的授权后自动定位获取。
在采集原始人脸图像时，图像采集装置可以自动记录原始人脸图像的采集时间，同时将用户设置的地址确定为原始人脸图像对应的地理位置，或者在图像采集装置上设置定位模块，经用户授权后通过定位模块进行定位，将定位结果作为原始人脸图像的地理位置。在采集原始人脸图像后，将采集时间和地理位置作为图像信息与原始人脸图像进行关联，在获取到原始人脸图像后，相应获取其图像信息，解析图像信息确定原始人脸图像对应的采集时间和地理位置。由于不同地区在不同时间的光照情况不同，其对图像的影响也不同，预先设置不同时间和地理位置对应的调节参数，形成参数表，在确定采集时间和地理位置后，根据采集时间和地理位置查询参数表，确定与其匹配的时间和地理位置对应的调节参数，将此调节参数确定为原始人脸图像对应的亮度调节参数。
B2、根据亮度调节参数对原始人脸图像进行亮度变换，将亮度变换后的图像作为备选图像。
根据亮度调节参数对原始人脸图像中的亮度进行调节，例如，将各像素点的亮度调高n，降低n，等等，得到亮度变换后的图像，将亮度变换后的图像作为备选图像。通过亮度变换弥补由于亮度导致的识别误差。
本申请实施例还可以对原始人脸图像进行颜色变换，将其从原始的颜色变换到另一种颜色，将颜色变换后的图像作为备选图像。变换后的颜色可以预先设置，也可以根据地理位置进行选择，等等。
作为本实施例的一个可选实施例，本可选实施例进一步将对原始人脸图像进行多尺度变换，得到至少一个备选图像，优化为：
C1、在预设的角度区间内随机选择旋转角度。
在本实施例中，角度区间为由角度构成的区间，其最大值和最小值可以根据图像的维度确定，例如，二维图像的角度区间的最大值为180°，最小值为-180°；三维图像的角度区间的最大值为360°，最小值为-360°。角度区间可以是弧度制，也可以是角度制，在计算时可以互相进行转换，示例性的，角度区域为[-20°，20°]。
预先设置好角度区间，在对原始人脸图像进行角度的多尺度变换时，通过随机函数在角度区域内随机选择一个角度作为旋转角度。
C2、根据旋转角度对原始人脸图像进行角度旋转，将旋转后的图像作为备选图像。
根据旋转角度对原始人脸图像中的每个像素点分别进行角度旋转，得到旋转后的坐标，基于每个旋转后的坐标及其对应的像素值形成旋转后的图像，将旋转后的图像作为备选图像。
作为本实施例的一个可选实施例，本可选实施例进一步将根据旋转角度对原始人脸图像进行角度旋转，优化为：
D1、根据旋转角度确定旋转矩阵，并确定原始人脸图像的中心点坐标。
在本实施例中，旋转矩阵具体可以理解为用于对图像进行旋转的矩阵；中心点坐标具体可以理解为原始人脸图像中的中心点的坐标。
旋转矩阵的表达式可以预先确定，将旋转角度代入到表达式中即可确定旋转矩阵。同时，根据原始人脸图像中各像素点的坐标确定中心点坐标。
D2、对于原始人脸图像中的每个像素点，基于旋转矩阵和中心点坐标对像素点的坐标进行坐标转换，得到转换后的像素坐标。
对于原始人脸图像中的每个像素点，均进行旋转，分别对像素点的每个坐标进行坐标转换，坐标至少包括横坐标和纵坐标；以横坐标的坐标转换为例，像素点的横坐标减去中心点坐标的横坐标得到第一差值，将第一差值与旋转矩阵中对应的元素相乘，得到第一乘积，像素点的纵坐标减去中心点坐标的纵坐标得到第二差值，将第二差值与旋转矩阵中对应的元素相乘，得到第二乘积，第一乘积减去第二乘积得到的第三差值，第三差值与中心点坐标的横坐标的和作为旋转后的横坐标。
D3、基于各像素点所对应的转换后的像素坐标形成旋转后的图像。
确定各像素点转换后的像素坐标后，转换后的像素坐标的像素值为转换前的像素值，基于转换后的各像素坐标及对应的像素值形成旋转后的图像。通过对原始人脸图像进行旋转，避免单一角度导致的人脸识别误差。
示例性的，本申请实施例提供了一种旋转矩阵的表达式，以及坐标转换公式：
旋转矩阵：
其中，θ为旋转角度，本申请实施例中旋转矩阵中的θ为弧度制，若随机生成的旋转角度为角度制，需将其转换为弧度制。
对图像进行旋转操作。对于原始人脸图像的每个像素点（x，y），可以使用以下公式进行旋转：
x’=(x-cx)×cos(θ)-(y-cy)×sin(θ)+cx；
y’=(x-cx)×sin(θ)+(y-cy)×cos(θ)+cy；
其中，x’为旋转后的像素坐标中的横坐标；y’为旋转后的像素坐标中的纵坐标；x为原始人脸图像中的像素点的横坐标；y为原始人脸图像中像素点的纵坐标；cx为中心点坐标的横坐标，cy为中心点坐标的纵坐标。
通过上述公式，可以基于中心点坐标（cx，cy）计算原始人脸图像中每个像素点（x，y）经过旋转，得到的旋转后的像素坐标（x’， y’）。
作为本实施例的一个可选实施例，本可选实施例进一步将对原始人脸图像进行多尺度变换，得到至少一个备选图像，优化为：对原始人脸图像添加噪声，将添加噪声后的图像作为备选图像。
对原始人脸图像添加的噪声可以是随机噪声，例如，椒盐噪声、高斯噪声等。预设设置添加的噪声类型，根据噪声类型随机生成噪声并添加至原始人脸图像中，得到添加噪声后的图像，将此图像作为备选图像。
本申请实施例可以根据需求选择一种或者多种变换方式对原始人脸图像进行变换处理，得到相应的备选图像。
不同的图像在进行人脸特征点检测时对应的误差不同，示例性的，表1提供了一种误差表，对不同图像对检测结果的误差进行示例性展示。
表1
其中，表1中的Img1为原始人脸图像，Img2为对图像进行亮度变换后得到的备选图像，Img3为对图像进行噪声变换后得到的备选图像，Img4为对图像进行尺寸放大后得到的备选图像，Img5为对图像进行尺寸缩小后得到的备选图像，Img6为对图像进行角度变换后得到的备选图像。
S203、将原始人脸图像和各备选图像依次作为待识别图像。
S204、将待识别图像作为输入，输入到预训练的目标特征点检测网络中顺次连接的卷积层、批标准化层以及激活函数和最大池化层中进行全局特征提取，得到第一提取结果，其中，卷积层为11×11的大卷积层。
S205、将第一提取结果作为当前输入数据，第一个多尺度模块作为当前多尺度模块。
在本实施例中，当前输入数据具体可以理解为当前输入到多尺度模块进行处理的数据；当前多尺度模块具体可以理解为当前对数据进行处理的多尺度模块；当前多尺度模块为三个多尺度模块中的一个。首先将第一提取结果作为当前输入数据，第一个多尺度模块作为当前多尺度模块。
S206、将当前输入数据输入到当前多尺度模块中进行特征提取，得到输出数据。
将当前输入数据输入到当前多尺度模块，当前多尺度模块通过对特征图从不同维度进行滤波处理，得到对应的输出数据。
S207、判断当前多尺度模块是否为最后一个多尺度模块，若否，执行S208；若是，执行S209。
S208、将输出数据作为新的当前输入数据，当前多尺度模块的下一个多尺度模块作为新的当前多尺度模块，返回执行S206的步骤。
S209、将最后一个多尺度模块的输出数据作为第二提取结果。
判断当前多尺度模块是否为最后一个多尺度模块，若是，则将最后一个多尺度模块的输出数据作为第二提取结果；若不是，则将输出数据作为新的当前输入数据，当前多尺度模块的下一个多尺度模块作为新的当前多尺度模块，重复执行S206步骤，通过当前多尺度模块对当前输入数据进行特征提取。
本申请实施例中，依次将每个多尺度模块作为当前多尺度模块进行特征提取，通过三个多尺度模块依次进行特征提取，得到第二提取结果。
作为本实施例的一个可选实施例，本可选实施例进一步对将所述当前输入数据输入到所述当前多尺度模块中进行特征提取，得到输出数据进行优化，包括：
E1、将当前输入数据输入到当前多尺度模块的第一卷积层进行卷积处理，得到第一卷积结果，将第一卷积结果分为至少三个特征图。
在本实施例中，第一卷积层具体可以理解为多尺度模块中的一个卷积层，第一卷积层的卷积核为1×1。第一卷积结果具体可以理解为数据在当前多尺度模块中经过第一卷积层处理时得到的数据。
将当前输入数据输入到当前多尺度模块的第一卷积层，第一卷积层基于卷积核进行卷积处理，得到第一卷积结果，将第一卷积结果分为至少三个特征图。
E2、将第一个特征图直接作为第一个特征图的输出结果。
各特征图可以按照一定规则或者随机排序，第一个特征图不进行处理，直接进行输出，作为输出结果。
E3、将第二个特征图输入到对应的第二卷积层中进行卷积处理，得到卷积结果并作为第二个特征图的输出结果。
多尺度模块中包括多个第二卷积层，第二卷积层的数量等于特征图的数量减1，以N个特征图为例，第2-N个特征图分别对应一个第二卷积层，第二卷积层的卷积核的大小优选为3×3。将第二个特征图输入到与其对应的第二卷积层中进行卷积处理，得到卷积结果，并将此卷积结果作为第二个特征图的输出结果进行输出。
E4、将第三个特征图作为当前特征图，第二个特征图的输出结果作为当前卷积输入数据，将当前特征图和当前卷积输入数据输入到对应的第二卷积层中进行卷积处理，得到的卷积结果作为当前特征图的输出结果。
在本实施例中，当前特征图具体可以理解为当前需要进行处理的特征图；当前卷积输入数据具体可以理解为当前需要输入到卷积层进行卷积处理的数据。第2-N个特征图具有与其对应的一个第二卷积层，将当前特征图和当前卷积输入数据输入到对应的第二卷积层中，经过第二卷积层的卷积核进行卷积处理，得到的卷积结果作为当前特征图的输出结果。
E5、将当前特征图的下一个特征图作为新的当前特征图，当前特征图对应的输出结果作为新的当前卷积输入数据，重新执行将当前特征图和当前卷积输入数据输入到对应的第二卷积层中进行卷积处理，得到的卷积结果作为当前特征图的输出结果的步骤，直到所有特征图均完成遍历。
判断是否所有特征图均完成遍历，即是否所有特征图均被选中进行卷积处理，若是，则结束卷积处理，执行E6；否则，将当前特征图的下一个特征图作为新的当前特征图，当前特征图对应的输出结果作为新的当前卷积输入数据，对当前特征图和当前卷积输入数据进行更新。以当前特征图为第三个特征图为例，将第四个特征图作为新的当前特征图，将第三个特征图的输出结果作为新的当前卷积输入数据，继续进行卷积处理，本实施例可以实现从第3个特征图开始，每个特征图结合上一个特征图的卷积结果进行卷积处理。
E6、将所有的特征图对应的输出结果进行拼接，并将拼接后的数据输入到第三卷积层进行融合，得到融合结果。
在本实施例中，第三卷积层具体可以理解为多尺度模块中的另一个卷积层，第三卷积层的卷积核为1×1。融合结果为多个输出数据进行融合得到的数据。将所有的特征图对应的输出结果依次进行拼接，并将拼接后的数据输入到第三卷积层，通过1×1的卷积核进行信息融合处理，得到融合结果。
E7、将当前输入数据输入到当前多尺度模块的第四卷积层进行卷积处理，得到第二卷积结果，并对第二卷积结果进行最大池化处理，得到池化结果。
在本实施例中，第四卷积层具体可以理解为多尺度模块中的一个卷积层，第四卷积层的卷积核为5×5。第二卷积结果具体可以理解为当前输入数据经过第四卷积层处理后得到的数据。
将当前输入数据输入到当前多尺度模块的第四卷积层中，通过5×5的卷积核进行全局关键特征的提取，得到第二卷积结果；对第二卷积结果进行最大池化处理，得到池化结果，本步骤的最大池化处理可以是经过3×3的池化层进行池化处理。
E8、将融合结果与池化结果进行融合，得到当前多尺度模块的输出数据。
将融合结果与池化结果再次进行融合，得到当前多尺度模块的输出数据，此输出数据同时包括了局部特征和全局特征。
示例性的，图4提供了一种多尺度模块的结构示意图，以特征图的数量为5个为例。多尺度模块包括：第一卷积层31、4个第二卷积层32、第三卷积层33、第四卷积层34、最大池化层35。当前输入数据36输入到第一卷积层31中进行卷积处理，得到第一卷积结果，并将第一卷积结果分为5个特征图in1-in5，第一个特征图in1直接作为输出结果out1输出，将第二个特征图in2输入到其对应的第二卷积层32中进行卷积处理，并将卷积结果作为输出结果out2输出，同时将输出结果out2作为当前卷积输入数据，与第三个特征图in3同时输入到其对应的第二卷积层32中进行卷积处理，即从第三个特征图in3开始，将其与上一个特征图对应的输出结果out同时由第二卷积层32进行卷积处理，直到所有特征图均被处理完毕。最终，所有特征图对应的输出结果将被拼接在一起并被送到卷积核为1×1的第三卷积层33中进行信息融合，得到融合结果；当前输入数据36同时还依次经过卷积核为5×5的第四卷积层34，以及3×3的最大池化层35，得到池化结果。在任意可能的将输入特征图转化为输出特征图的路径上，相等的感受野在经过3×3的卷积核后总会增多，最终会因组合效应生成出许多等价的特征尺度。进一步融合多尺度模块全局5×5的卷积提取关键特征，得到多尺度模块的输出数据37。
图4展示出了本申请实施例提出的目标特征点检测网络中的GLNET 模块和普通瓶颈层的差别。在 1×1 的第一卷积层后面，将第一卷积结果分为s个特征图， 通过ini表示，其中 i ∈ {1, 2, ..., s}。特征图除了通道数是原来的第一卷积结果的 1/s 外，每个特征图都有着和原始图像相同的空间大小。除了in1，每个特征图都有其对应的3×3 的第二卷积层，用Ki()表示。定义Ki()的输出为outi。特征图ini和Ki-1()相加后被一同送入Ki()进行处理。为了减少参数并增加s的数量，结构中s=5，in1不需要进行3×3卷积。outi可以被表示为：
outi=ini，i=1
outi= Ki(ini)，i=2
outi= Ki(ini+out(i-1)），2<i<=s
本申请实施例中的三个多尺度模块在进行数据处理时，第一个多尺度模块的输入通道为64，输出通道为64；第二个多尺度模块的输入通道为64，输出通道为128；第三个多尺度模块的输入通道为128，输出通道为256。
本申请实施例提供的多尺度模块，在进行特征点检测时，可以在更细粒度的级别提升网络的多尺度表达能力；在更细粒度的尺度上通过多个感受野来提升网络的多尺度表达能力。
S210、将第二提取结果作为输入，输入到目标特征点检测网络中顺次连接的平均池化层、全连接层和输出层，得到特征点坐标集合；每个特征点坐标集合中包括至少一个特征点坐标及特征点坐标对应的特征点标识。
S211、对于每个特征点标识，基于特征点标识对应的各特征点坐标进行运算，得到人脸特征点坐标。
本发明实施例提供的人脸特征点检测方法，解决了人脸特征点检测不准确的问题，避免仅用原始人脸图像进行检测时检测结果准确性较低的情况发生，通过各备选图像从不同角度对人脸特征点进行更好的描述，通过不同的备选图像模拟用户不同情况下对应的图像，在每次的特征点识别过程中考虑同一用户在不同次测量时的相对误差，对特征点进行识别，减少不同次特征点识别时的误差，提高人脸特征点识别的相对准确性，使用户在多次识别特征点时可以保持高度一致性，进而保证区域划分的准确性和一致性，实现精准护肤，提高用户体验。并且，本申请实施例提供了一种新的目标特征点检测网络，可以在更细粒度的级别提升网络的多尺度表达能力，进一步提高检测结果的准确性。
实施例三
图5为本发明实施例三提供的一种人脸特征点检测装置的结构示意图。如图5所示，该装置包括：图像获取模块41、图像变换模块42、待识别图像确定模块43、全局特征提取模块44、多尺度特征提取模块45、坐标集合确定模块46和特征点坐标确定模块47。
其中，图像获取模块41，用于获取原始人脸图像；
图像变换模块42，用于对所述原始人脸图像进行多尺度变换，得到至少一个备选图像，所述多尺度变换至少包括如下一种：尺寸变换、亮度变换、角度变换以及噪声变换；
待识别图像确定模块43，用于将所述原始人脸图像和各所述备选图像依次作为待识别图像；
全局特征提取模块44，用于将所述待识别图像作为输入，输入到预训练的目标特征点检测网络中顺次连接的卷积层、批标准化层以及激活函数和最大池化层中进行全局特征提取，得到第一提取结果，其中，所述卷积层为11×11的大卷积层；
多尺度特征提取模块45，用于将所述第一提取结果作为输入，输入到所述目标特征点检测网络中顺次连接的三个多尺度模块中进行多尺度特征提取，得到第二提取结果；
坐标集合确定模块46，用于将所述第二提取结果作为输入，输入到所述目标特征点检测网络中顺次连接的平均池化层、全连接层和输出层，得到特征点坐标集合；每个所述特征点坐标集合中包括至少一个特征点坐标及所述特征点坐标对应的特征点标识；
特征点坐标确定模块47，用于对于每个特征点标识，基于所述特征点标识对应的各所述特征点坐标进行运算，得到人脸特征点坐标。
本发明实施例提供的人脸特征点检测装置，解决了人脸特征点检测不准确的问题，在获取到原始人脸图像后，通过尺寸变换、亮度变换、角度变换和噪声变换中的至少一种方式对原始人脸图像进行变换，实现原始人脸图像的多尺度变换，得到备选图像，将原始人脸图像和备选图像作为待识别图像进行特征点检测，避免仅用原始人脸图像进行检测时检测结果准确性较低的情况发生，通过各备选图像从不同角度对人脸特征点进行更好的描述，通过不同的备选图像模拟用户不同情况下对应的图像，在每次的特征点识别过程中考虑同一用户在不同次测量时的相对误差，对特征点进行识别，减少不同次特征点识别时的误差，提高人脸特征点识别的相对准确性，使用户在多次识别特征点时可以保持高度一致性，进而保证区域划分的准确性和一致性，实现精准护肤，提高用户体验。
可选的，图像变换模块42，包括：
放大单元，用于根据尺寸放大倍数对所述原始人脸图像进行尺寸放大处理，将放大后的图像作为备选图像；和/或，
缩小单元，用于根据尺寸缩小倍数对所述原始人脸图像进行尺寸缩小处理，将缩小后的图像作为备选图像。
其中，所述尺寸放大倍数和/或尺寸缩小倍数根据所述原始人脸图像的分辨率确定。
可选的，图像变换模块42，包括：
参数确定单元，用于根据所述原始人脸图像的采集时间和地理位置确定亮度调节参数；
亮度变换单元，用于根据所述亮度调节参数对所述原始人脸图像进行亮度变换，将亮度变换后的图像作为备选图像。
可选的，图像变换模块42，包括：
角度选择单元，用于在预设的角度区间内随机选择旋转角度；
旋转单元，用于根据所述旋转角度对所述原始人脸图像进行角度旋转，将旋转后的图像作为备选图像。
可选的，旋转单元，具体用于：根据所述旋转角度确定旋转矩阵，并确定所述原始人脸图像的中心点坐标；对于所述原始人脸图像中的每个像素点，基于所述旋转矩阵和所述中心点坐标对所述像素点的坐标进行坐标转换，得到转换后的像素坐标；基于各所述像素点所对应的转换后的像素坐标形成旋转后的图像。
可选的，图像变换模块42，包括：
噪声添加单元，用于对所述原始人脸图像添加噪声，将添加噪声后的图像作为备选图像。
可选的，多尺度特征提取模块45，包括：
特征提取单元，用于将所述第一提取结果作为当前输入数据，第一个多尺度模块作为当前多尺度模块，将所述当前输入数据输入到所述当前多尺度模块中进行特征提取，得到输出数据；
数据更新单元，用于将所述输出数据作为新的当前输入数据，所述当前多尺度模块的下一个多尺度模块作为新的当前多尺度模块，重复执行所述将所述当前输入数据输入到所述当前多尺度模块中进行特征提取，得到输出数据的步骤，直到所述当前多尺度模块为最后一个多尺度模块，将最后一个多尺度模块的输出数据作为第二提取结果。
可选的，特征提取单元，具体用于：将所述当前输入数据输入到所述当前多尺度模块的第一卷积层进行卷积处理，得到第一卷积结果，将所述第一卷积结果分为至少三个特征图；将第一个特征图直接作为第一个特征图的输出结果；将第二个特征图输入到对应的第二卷积层中进行卷积处理，得到卷积结果并作为第二个特征图的输出结果；将第三个特征图作为当前特征图，第二个特征图的输出结果作为当前卷积输入数据，将所述当前特征图和所述当前卷积输入数据输入到对应的第二卷积层中进行卷积处理，得到的卷积结果作为所述当前特征图的输出结果；将所述当前特征图的下一个特征图作为新的当前特征图，所述当前特征图对应的输出结果作为新的当前卷积输入数据，重新执行所述将所述当前特征图和所述当前卷积输入数据输入到对应的第二卷积层中进行卷积处理，得到的卷积结果作为所述当前特征图的输出结果的步骤，直到所有特征图均完成遍历；将所有的特征图对应的输出结果进行拼接，并将拼接后的数据输入到第三卷积层进行融合，得到融合结果；将所述当前输入数据输入到所述当前多尺度模块的第四卷积层进行卷积处理，得到第二卷积结果，并对所述第二卷积结果进行最大池化处理，得到池化结果；将所述融合结果与所述池化结果进行融合，得到所述当前多尺度模块的输出数据。
本发明实施例所提供的人脸特征点检测装置可执行本发明任意实施例所提供的人脸特征点检测方法，具备执行方法相应的功能模块和有益效果。
实施例四
图6示出了可以用来实施本发明的实施例的电子设备50的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图6所示，电子设备50包括至少一个处理器51，以及与至少一个处理器51通信连接的存储器，如只读存储器（ROM）52、随机访问存储器（RAM）53等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器51可以根据存储在只读存储器（ROM）52中的计算机程序或者从存储单元58加载到随机访问存储器（RAM）53中的计算机程序，来执行各种适当的动作和处理。在RAM 53中，还可存储电子设备50操作所需的各种程序和数据。处理器51、ROM 52以及RAM 53通过总线54彼此相连。输入/输出（I/O）接口55也连接至总线54。
电子设备50中的多个部件连接至I/O接口55，包括：输入单元56，例如键盘、鼠标等；输出单元57，例如各种类型的显示器、扬声器等；存储单元58，例如磁盘、光盘等；以及通信单元59，例如网卡、调制解调器、无线通信收发机等。通信单元59允许电子设备50通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器51可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器51的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器51执行上文所描述的各个方法和处理，例如人脸特征点检测方法。
在一些实施例中，人脸特征点检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元58。在一些实施例中，计算机程序的部分或者全部可以经由ROM 52和/或通信单元59而被载入和/或安装到电子设备50上。当计算机程序加载到RAM 53并由处理器51执行时，可以执行上文描述的人脸特征点检测方法的一个或多个步骤。备选地，在其他实施例中，处理器51可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行人脸特征点检测方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上***的***（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的***和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***（例如，作为数据服务器）、或者包括中间件部件的计算***（例如，应用服务器）、或者包括前端部件的计算***（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将***的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。
计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (9)

1.一种人脸特征点检测方法，其特征在于，包括：
获取原始人脸图像；
对所述原始人脸图像进行多尺度变换，得到至少一个备选图像，所述多尺度变换至少包括如下一种：尺寸变换、亮度变换、角度变换以及噪声变换；
将所述原始人脸图像和各所述备选图像依次作为待识别图像；
将所述待识别图像作为输入，输入到预训练的目标特征点检测网络中顺次连接的卷积层、批标准化层以及激活函数和最大池化层中进行全局特征提取，得到第一提取结果，其中，所述卷积层为11×11的大卷积层；
将所述第一提取结果作为输入，输入到所述目标特征点检测网络中顺次连接的三个多尺度模块中进行多尺度特征提取，得到第二提取结果；
将所述第二提取结果作为输入，输入到所述目标特征点检测网络中顺次连接的平均池化层、全连接层和输出层，得到特征点坐标集合；每个所述特征点坐标集合中包括至少一个特征点坐标及所述特征点坐标对应的特征点标识；
对于每个特征点标识，基于所述特征点标识对应的各所述特征点坐标进行运算，得到人脸特征点坐标；
所述将所述第一提取结果作为输入，输入到所述目标特征点检测网络中顺次连接的三个多尺度模块中进行多尺度特征提取，得到第二提取结果，包括：
将所述第一提取结果作为当前输入数据，第一个多尺度模块作为当前多尺度模块，将所述当前输入数据输入到所述当前多尺度模块中进行特征提取，得到输出数据；
将所述输出数据作为新的当前输入数据，所述当前多尺度模块的下一个多尺度模块作为新的当前多尺度模块，重复执行所述将所述当前输入数据输入到所述当前多尺度模块中进行特征提取，得到输出数据的步骤，直到所述当前多尺度模块为最后一个多尺度模块，将最后一个多尺度模块的输出数据作为第二提取结果；
相应的，所述将所述当前输入数据输入到所述当前多尺度模块中进行特征提取，得到输出数据，包括：
将所述当前输入数据输入到所述当前多尺度模块的第一卷积层进行卷积处理，得到第一卷积结果，将所述第一卷积结果分为至少三个特征图；
将第一个特征图直接作为第一个特征图的输出结果；
将第二个特征图输入到对应的第二卷积层中进行卷积处理，得到卷积结果并作为第二个特征图的输出结果；
将第三个特征图作为当前特征图，第二个特征图的输出结果作为当前卷积输入数据，将所述当前特征图和所述当前卷积输入数据输入到对应的第二卷积层中进行卷积处理，得到的卷积结果作为所述当前特征图的输出结果；
将所述当前特征图的下一个特征图作为新的当前特征图，所述当前特征图对应的输出结果作为新的当前卷积输入数据，重新执行所述将所述当前特征图和所述当前卷积输入数据输入到对应的第二卷积层中进行卷积处理，得到的卷积结果作为所述当前特征图的输出结果的步骤，直到所有特征图均完成遍历；
将所有的特征图对应的输出结果进行拼接，并将拼接后的数据输入到第三卷积层进行融合，得到融合结果；
将所述当前输入数据输入到所述当前多尺度模块的第四卷积层进行卷积处理，得到第二卷积结果，并对所述第二卷积结果进行最大池化处理，得到池化结果；
将所述融合结果与所述池化结果进行融合，得到所述当前多尺度模块的输出数据。
2.根据权利要求1所述的方法，其特征在于，所述对所述原始人脸图像进行多尺度变换，得到至少一个备选图像，包括：
根据尺寸放大倍数对所述原始人脸图像进行尺寸放大处理，将放大后的图像作为备选图像；和/或，
根据尺寸缩小倍数对所述原始人脸图像进行尺寸缩小处理，将缩小后的图像作为备选图像；
其中，所述尺寸放大倍数和/或尺寸缩小倍数根据所述原始人脸图像的分辨率确定。
3.根据权利要求1所述的方法，其特征在于，所述对所述原始人脸图像进行多尺度变换，得到至少一个备选图像，包括：
根据所述原始人脸图像的采集时间和地理位置确定亮度调节参数；
根据所述亮度调节参数对所述原始人脸图像进行亮度变换，将亮度变换后的图像作为备选图像。
4.根据权利要求1所述的方法，其特征在于，所述对所述原始人脸图像进行多尺度变换，得到至少一个备选图像，包括：
在预设的角度区间内随机选择旋转角度；
根据所述旋转角度对所述原始人脸图像进行角度旋转，将旋转后的图像作为备选图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述旋转角度对所述原始人脸图像进行角度旋转，包括：
根据所述旋转角度确定旋转矩阵，并确定所述原始人脸图像的中心点坐标；
对于所述原始人脸图像中的每个像素点，基于所述旋转矩阵和所述中心点坐标对所述像素点的坐标进行坐标转换，得到转换后的像素坐标；
基于各所述像素点所对应的转换后的像素坐标形成旋转后的图像。
6.根据权利要求1所述的方法，其特征在于，所述对所述原始人脸图像进行多尺度变换，得到至少一个备选图像，包括：
对所述原始人脸图像添加噪声，将添加噪声后的图像作为备选图像。
7.一种人脸特征点检测装置，其特征在于，包括：
图像获取模块，用于获取原始人脸图像；
图像变换模块，用于对所述原始人脸图像进行多尺度变换，得到至少一个备选图像，所述多尺度变换至少包括如下一种：尺寸变换、亮度变换、角度变换以及噪声变换；
待识别图像确定模块，用于将所述原始人脸图像和各所述备选图像依次作为待识别图像；
全局特征提取模块，用于将所述待识别图像作为输入，输入到预训练的目标特征点检测网络中顺次连接的卷积层、批标准化层以及激活函数和最大池化层中进行全局特征提取，得到第一提取结果，其中，所述卷积层为11×11的大卷积层；
多尺度特征提取模块，用于将所述第一提取结果作为输入，输入到所述目标特征点检测网络中顺次连接的三个多尺度模块中进行多尺度特征提取，得到第二提取结果；
坐标集合确定模块，用于将所述第二提取结果作为输入，输入到所述目标特征点检测网络中顺次连接的平均池化层、全连接层和输出层，得到特征点坐标集合；每个所述特征点坐标集合中包括至少一个特征点坐标及所述特征点坐标对应的特征点标识；
特征点坐标确定模块，用于对于每个特征点标识，基于所述特征点标识对应的各所述特征点坐标进行运算，得到人脸特征点坐标；
所述多尺度特征提取模块，包括：
特征提取单元，用于将所述第一提取结果作为当前输入数据，第一个多尺度模块作为当前多尺度模块，将所述当前输入数据输入到所述当前多尺度模块中进行特征提取，得到输出数据；
数据更新单元，用于将所述输出数据作为新的当前输入数据，所述当前多尺度模块的下一个多尺度模块作为新的当前多尺度模块，重复执行所述将所述当前输入数据输入到所述当前多尺度模块中进行特征提取，得到输出数据的步骤，直到所述当前多尺度模块为最后一个多尺度模块，将最后一个多尺度模块的输出数据作为第二提取结果；
所述特征提取单元，具体用于：将所述当前输入数据输入到所述当前多尺度模块的第一卷积层进行卷积处理，得到第一卷积结果，将所述第一卷积结果分为至少三个特征图；将第一个特征图直接作为第一个特征图的输出结果；将第二个特征图输入到对应的第二卷积层中进行卷积处理，得到卷积结果并作为第二个特征图的输出结果；将第三个特征图作为当前特征图，第二个特征图的输出结果作为当前卷积输入数据，将所述当前特征图和所述当前卷积输入数据输入到对应的第二卷积层中进行卷积处理，得到的卷积结果作为所述当前特征图的输出结果；将所述当前特征图的下一个特征图作为新的当前特征图，所述当前特征图对应的输出结果作为新的当前卷积输入数据，重新执行所述将所述当前特征图和所述当前卷积输入数据输入到对应的第二卷积层中进行卷积处理，得到的卷积结果作为所述当前特征图的输出结果的步骤，直到所有特征图均完成遍历；将所有的特征图对应的输出结果进行拼接，并将拼接后的数据输入到第三卷积层进行融合，得到融合结果；将所述当前输入数据输入到所述当前多尺度模块的第四卷积层进行卷积处理，得到第二卷积结果，并对所述第二卷积结果进行最大池化处理，得到池化结果；将所述融合结果与所述池化结果进行融合，得到所述当前多尺度模块的输出数据。
8.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的人脸特征点检测方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的人脸特征点检测方法。
CN202311630749.XA 2023-12-01 2023-12-01 一种人脸特征点检测方法、装置、电子设备及存储介质 Active CN117333928B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311630749.XA CN117333928B (zh) 2023-12-01 2023-12-01 一种人脸特征点检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311630749.XA CN117333928B (zh) 2023-12-01 2023-12-01 一种人脸特征点检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN117333928A CN117333928A (zh) 2024-01-02
CN117333928B true CN117333928B (zh) 2024-03-22

Family

ID=89279756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311630749.XA Active CN117333928B (zh) 2023-12-01 2023-12-01 一种人脸特征点检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117333928B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523645B (zh) * 2024-01-08 2024-03-22 深圳市宗匠科技有限公司 一种人脸关键点检测方法、装置、电子设备及存储介质
CN118135250A (zh) * 2024-05-06 2024-06-04 中电科新型智慧城市研究院有限公司 一种图像识别方法、装置、电子设备及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150561A (zh) * 2013-03-19 2013-06-12 华为技术有限公司 人脸识别方法和设备
CN109389030A (zh) * 2018-08-23 2019-02-26 平安科技（深圳）有限公司 人脸特征点检测方法、装置、计算机设备及存储介质
CN109858433A (zh) * 2019-01-28 2019-06-07 四川大学 一种基于三维人脸模型识别二维人脸图片的方法及装置
CN110991412A (zh) * 2019-12-20 2020-04-10 北京百分点信息科技有限公司 人脸识别的方法、装置、存储介质及电子设备
CN112215179A (zh) * 2020-10-19 2021-01-12 平安国际智慧城市科技股份有限公司 车内人脸识别方法、设备、装置及存储介质
CN112949507A (zh) * 2021-03-08 2021-06-11 平安科技（深圳）有限公司 人脸检测方法、装置、计算机设备及存储介质
WO2021212736A1 (zh) * 2020-04-23 2021-10-28 苏州浪潮智能科技有限公司 特征融合块、卷积神经网络、行人重识别方法及相关设备
CN115115836A (zh) * 2022-06-29 2022-09-27 抖音视界(北京)有限公司 图像识别方法、装置、存储介质以及电子设备
WO2022206202A1 (zh) * 2021-03-29 2022-10-06 Oppo广东移动通信有限公司 图像美颜处理方法、装置、存储介质与电子设备
CN116597020A (zh) * 2023-05-23 2023-08-15 京东方科技集团股份有限公司 外参数标定方法、计算设备、图像采集***和存储介质
CN116883466A (zh) * 2023-07-11 2023-10-13 中国人民解放军国防科技大学 基于位置感知的光学与sar图像配准方法、装置及设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150561A (zh) * 2013-03-19 2013-06-12 华为技术有限公司 人脸识别方法和设备
CN109389030A (zh) * 2018-08-23 2019-02-26 平安科技（深圳）有限公司 人脸特征点检测方法、装置、计算机设备及存储介质
CN109858433A (zh) * 2019-01-28 2019-06-07 四川大学 一种基于三维人脸模型识别二维人脸图片的方法及装置
CN110991412A (zh) * 2019-12-20 2020-04-10 北京百分点信息科技有限公司 人脸识别的方法、装置、存储介质及电子设备
WO2021212736A1 (zh) * 2020-04-23 2021-10-28 苏州浪潮智能科技有限公司 特征融合块、卷积神经网络、行人重识别方法及相关设备
CN112215179A (zh) * 2020-10-19 2021-01-12 平安国际智慧城市科技股份有限公司 车内人脸识别方法、设备、装置及存储介质
CN112949507A (zh) * 2021-03-08 2021-06-11 平安科技（深圳）有限公司 人脸检测方法、装置、计算机设备及存储介质
WO2022206202A1 (zh) * 2021-03-29 2022-10-06 Oppo广东移动通信有限公司 图像美颜处理方法、装置、存储介质与电子设备
CN115115836A (zh) * 2022-06-29 2022-09-27 抖音视界(北京)有限公司 图像识别方法、装置、存储介质以及电子设备
CN116597020A (zh) * 2023-05-23 2023-08-15 京东方科技集团股份有限公司 外参数标定方法、计算设备、图像采集***和存储介质
CN116883466A (zh) * 2023-07-11 2023-10-13 中国人民解放军国防科技大学 基于位置感知的光学与sar图像配准方法、装置及设备

Also Published As

Publication number Publication date
CN117333928A (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN117333928B (zh) 一种人脸特征点检测方法、装置、电子设备及存储介质
WO2018028546A1 (zh) 一种关键点的定位方法及终端、计算机存储介质
CN109522945B (zh) 一种群体情感识别方法、装置、智能设备及存储介质
JP2023520846A (ja) 人工知能に基づく画像処理方法、画像処理装置、コンピュータプログラム及びコンピュータ機器
CN112966725B (zh) 匹配模板图像的方法、装置及终端设备
CN110619334B (zh) 基于深度学习的人像分割方法、架构及相关装置
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN113744268B (zh) 一种裂纹检测方法、电子设备及可读存储介质
CN113344862A (zh) 缺陷检测方法、装置、电子设备及存储介质
CN115239888B (zh) 用于重建三维人脸图像的方法、装置、电子设备和介质
CN112446322A (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
CN114092963A (zh) 关键点检测及模型训练方法、装置、设备和存储介质
CN114463856B (zh) 姿态估计模型的训练与姿态估计方法、装置、设备及介质
CN111199169A (zh) 图像处理方法和装置
CN108447092A (zh) 视觉定位标识物的方法及装置
CN112990213B (zh) 一种基于深度学习的数字万用表字符识别***和方法
CN114998980B (zh) 一种虹膜检测方法、装置、电子设备及存储介质
CN111815748A (zh) 一种动画处理方法、装置、存储介质及电子设备
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置
CN116229130A (zh) 模糊图像的类型识别方法、装置、计算机设备和存储介质
CN114549857A (zh) 图像信息识别方法、装置、计算机设备和存储介质
CN108388859B (zh) 物体检测方法、网络训练方法、装置和计算机存储介质
CN113642425A (zh) 基于多模态的图像检测方法、装置、电子设备及存储介质
CN113781653A (zh) 对象模型生成方法、装置、电子设备及存储介质
CN113763315A (zh) 玻片图像的信息获取方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant