CN110852257A - 一种人脸关键点的检测方法、装置及存储介质 - Google Patents

一种人脸关键点的检测方法、装置及存储介质 Download PDF

Info

Publication number
CN110852257A
CN110852257A CN201911088066.XA CN201911088066A CN110852257A CN 110852257 A CN110852257 A CN 110852257A CN 201911088066 A CN201911088066 A CN 201911088066A CN 110852257 A CN110852257 A CN 110852257A
Authority
CN
China
Prior art keywords
face
image
region
key point
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911088066.XA
Other languages
English (en)
Other versions
CN110852257B (zh
Inventor
张阿强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Original Assignee
Shenzhen H & T Home Online Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen H & T Home Online Network Technology Co ltd filed Critical Shenzhen H & T Home Online Network Technology Co ltd
Priority to CN201911088066.XA priority Critical patent/CN110852257B/zh
Publication of CN110852257A publication Critical patent/CN110852257A/zh
Application granted granted Critical
Publication of CN110852257B publication Critical patent/CN110852257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种人脸关键点的检测方法、装置及存储介质，包括：获取待检测图像，待检测图像包括人脸；使用第一卷积神经网络提取待检测图像中的人脸特征；根据第一回归算法和人脸特征，确定人脸的区域以及人脸中关键点的区域；根据第二回归算法、人脸的区域以及人脸中关键点的区域，获得人脸的人脸轮廓关键点的位置以及人脸中关键点的位置信息；第一卷积神经网络、第一回归算法和第二回归算法属于人脸关键点检测模型。本发明实施例，可以提高人脸关键点检测的精确度。

Description

一种人脸关键点的检测方法、装置及存储介质
技术领域
本发明涉及图像处理领域，具体涉及一种人脸关键点的检测方法、装置及存储介质。
背景技术
人脸关键点检测也称为人脸关键点定位或者人脸对齐，是指给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。人脸关键点检测是人脸识别任务中重要的基础环节，人脸五官特征点检测结果直接关系到人脸识别、人脸美化等多项后端技术的精确度。目前，在人脸关键点检测时，是直接对整个人脸进行关键点的检测，获得的人脸关键点定位往往不够准确。
发明内容
本发明实施例提供了一种人脸关键点的检测方法、装置及存储介质，用于提高人脸关键点检测的精确度。
本发明实施例第一方面提供一种人脸关键点的检测方法，包括：
获取待检测图像，所述待检测图像包括人脸；
使用第一卷积神经网络提取所述待检测图像中的人脸特征；
根据第一回归算法和所述人脸特征，确定人脸的区域以及人脸中关键点的区域；
根据第二回归算法、所述人脸的区域以及所述人脸中关键点的区域，获得人脸的人脸轮廓关键点的位置信息以及人脸中关键点的位置信息；
所述第一卷积神经网络、所述第一回归算法和所述第二回归算法属于人脸关键点检测模型。
作为一种可能的实施方式，所述方法还包括：
获取训练数据，所述训练数据包括多张人脸图像，第一人脸图像包括标注框和人脸关键点标注点，所述第一人脸图像为所述多张人脸图像中任一图像，所述标注框包括人脸标注框和人脸关键点标注框；
将所述第一人脸图像输入初始第一卷积神经网络，得到第一人脸特征；
根据初始第一回归算法和所述第一人脸特征，确定第一人脸关键点所在的第一区域，所述第一人脸关键点为所述第一人脸图像中任一人脸关键点；
根据初始第二回归算法和所述第一区域，确定所述第一人脸关键点；
根据所述第一人脸图像、所述第一区域和所述第一人脸关键点，确定总损失；
根据所述总损失优化初始人脸关键点检测模型的参数，在所述总损失为最小值时，获得所述人脸关键点检测模型。其中，优化所述初始人脸关键点检测模型的参数包括整体优化所述初始第一卷积神经网络所述初始第一回归算法和所述初始第二回归算法的参数。
作为一种可能的实施方式，所述根据所述第一人脸图像、所述第一区域和所述第一人脸关键点，确定总损失包括：
根据所述第一人脸图像和所述第一区域，确定第一损失；
根据所述第一人脸图像和所述第一人脸关键点，确定第二损失；
根据所述第一损失和所述第二损失，确定总损失。
作为一种可能的实施方式，所述根据所述第一人脸图像和所述第一区域框，确定第一损失包括：
提取所述第一人脸图像包括的所述第一人脸关键点对应的标注框，获得第二区域；
根据所述第一区域、所述第二区域和第一损失函数，计算第一损失。
作为一种可能的实施方式，所述根据所述第一人脸图像和所述第一人脸关键点，确定第二损失包括：
提取所述第一人脸图像包括的所述第一人脸关键点对应的人脸关键点标注点，获得第二人脸关键点；
根据所述第一人脸关键点、所述第二人脸关键点和第二损失函数，计算第二损失。
作为一种可能的实施方式，所述方法还包括：
根据所述人脸的关键点的位置信息在所述待检测图像中标注出标注框，所述标注框包括人脸标注框和人脸关键点标注框。
本发明实施例第二方面提供一种人脸关键点的检测装置，包括用于执行第一方面或第一方面的任一实施例提供的人脸关键点的检测方法的单元。
本发明实施例第三方面提供一种人脸关键点的检测装置，包括处理器和存储器，所述处理器和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于调用所述程序指令执行第一方面或第一方面的任一实施例提供的人脸关键点的检测方法。
第四方面提供了一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行第一方面或第一方面的任一实施例提供的人脸关键点的检测方法。
第五方面提供了一种应用程序，该应用程序用于在运行时执行第一方面或第一方面的任一实施例提供的人脸关键点的检测方法。
本发明实施例中，在得到人脸特征之后，经过预测，确定了人脸的区域以及人脸中关键点的区域。在人脸图像中确定区域比在人脸图像中确定人脸关键点的检测难度较低，可以较为准确得到人脸的区域以及人脸中关键点的区域。在确定了人脸的区域以及人脸中关键点的区域之后，分区域进行检测获得各个区域内人脸关键点的位置信息。因为已经将人脸分成若干区域，即检测范围已经从人脸范围缩小到检测各个区域的范围，区域中要求检测关键点的数目也比人脸中要求检测的关键点的数目少，所以，分区域进行关键点检测比人脸直接进行关键点的检测更加简单，精度也更高。可见，先确定了人脸关键点所在区域，再进行人脸关键点检测，可以提高人脸关键点检测的精确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种人脸关键点的检测方法的流程示意图；
图2是本发明实施例提供的另一种人脸关键点的检测方法的流程示意图；
图3是本发明实施例提供的一种人脸关键点的检测装置的结构示意图；
图4是本发明实施例提供的另一种人脸关键点的检测装置的结构示意图；
图5是本发明实施例公开的一种截取的人脸图像的示意图；
图6是本发明实施例公开的一种卷积神经网络确定人脸的区域以及人脸中关键点的区域的结构示意图；
图7是本发明实施例公开的一种卷积神经网络提取人脸特征的示意图；
图8是本发明实施例公开的一种标注框的示意图；
图9是本发明实施例公开的一种标注框及人脸标注点的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种人脸关键点的检测方法、装置及存储介质，用于提高人脸关键点检测的精确度。以下分别进行详细说明。
请参阅图1，图1是本发明实施例提供的一种人脸关键点的检测方法的流程示意图。如图1所示，该人脸关键点的检测方法可以包括以下步骤。
101、获取待检测图像。
当需要识别图像中的人脸关键点时，获取待检测图像。待检测图像可以是本地存储的图像，也可以是从网络或服务器获取的图像，还可以是通过图像采集装置采集的图像，本实施例不作限定。其中，待检测图像为包括人脸的图像。待检测图像可以是需要检测的图像中的所有图像，也可以是需要检测的图像中的部分图像。
获取到待检测图像之后，可以采用人脸检测方法，将人脸从待检测图像中检测并截取出来，截取的图像应能包含全部的人脸并附加部分背景区域，该截取的人脸图像如图5所示。人脸检测方法可以使用dlib，也可以为其他人脸检测方法，本实施例不作限定。
102、使用第一卷积神经网络提取待检测图像中的人脸特征。
获取到待检测图像之后，使用第一卷积神经网络提取待检测图像中的人脸特征。第一卷积神经网络可以为移动端网络(Mobilenet)，也可以为其他卷积神经网络，本实施例不作限定。具体地，使用移动端网络提取人脸特征的过程如图7所示，移动端网络可以通过层层卷积逐步提取人脸深层特征，输出特征图。
103、根据第一回归算法和人脸特征，确定人脸的区域以及人脸中关键点的区域。
使用第一卷积神经网络对待检测图像中进行人脸特征的提取后，根据第一回归算法和人脸特征，确定人脸的区域以及人脸中关键点的区域。具体地，如图6所示，第一回归算法可以采用角网络(Cornernet)，特征提取网络可以采用沙漏网络(Hourglass network)。Hourglass network后为两个预测模块，分别表示左上角点预测分支和右下角点预测分支。每个分支模块包含一个角池化层(corner pooling layer)和3个输出：热力图(heatmap)、嵌入层(embedding)和偏置(offset)，其中，角池化层用于帮助卷积网络更好地定位区域的角点，热力图可以预测得出人脸图像各区域的顶点信息,嵌入层用来找到属于同一个目标区域的左上角的角点和右下角的角点，最后利用偏置对预测框做微调。使用Hourglassnetwork对待检测图像中进行人脸特征的提取后，根据Cornernet的两个预测模块，可以预测得到区域的右下角和左上角，最后可以应用一个简单的后处理算法来获得最终的区域。第一回归算法可以采用Cornernet，也可以采用中心网络(Centernet)，还可以采用其他回归算法，此处不作限定。
104、根据第二回归算法、人脸的区域以及人脸中关键点的区域，获取人脸的人脸轮廓关键点的位置信息以及人脸中关键点的位置信息。
根据第二回归算法、人脸的区域以及人脸中关键点的区域，获得人脸的人脸轮廓关键点的位置信息以及人脸中关键点的位置信息。第一卷积神经网络、第一回归算法和第二回归算法属于人脸关键点检测模型。可以预先训练好人脸关键点检测模型，获取到待检测图像之后，使用人脸关键点检测模型检测人脸的关键点的位置信息。人脸关键点检测模型可以先确定待检测图像中人脸包括的关键点的区域，之后再确定确定的待检测图像中人脸包括的关键点的区域中关键点的位置信息。具体地，第二回归算法可以采用Centernet，Centernet中的中心池化层(Center pooling)用于对目标关键点进行判断，获得中心点，即为人脸关键点。第一回归算法与第二回归算法可以相同，也可以不同，此处不作限定。
在使用人脸关键点检测模型检测人脸的关键点的位置信息时，可以先使用第一卷积神经网络提取待检测图像中的人脸特征，即将待检测图像输入第一卷积神经网络，得到人脸特征，之后根据第一回归算法和人脸特征，确定人脸的区域以及人脸中关键点的区域，最后根据第二回归算法和确定的人脸的区域以及人脸中关键点的区域，获得人脸的人脸轮廓关键点的位置信息以及人脸中关键点的位置信息。在训练过程中，人脸标注框和人脸关键点标注框是用户为人脸图像打的标签，人脸标注框用于标注出人脸图像中属于人脸区域的位置，人脸关键点标注框用于标注出人脸图像中人脸中关键点所在区域的位置，人脸标注框和人脸关键点标注框可以以方框、圆圈等进行标注。在使用人脸关键点检测模型检测人脸的关键点的位置信息的过程中，得到的人脸的区域和人脸中关键点的区域是与训练过程的训练数据标注的人脸标注框和人脸关键点标注框一一对应的。具体地，检测得到的人脸的区域的位置以及人脸中关键点的区域的位置可以如图8所示，包括一个人脸的区域和七个人脸中关键点的区域，其中，七个人脸中关键点的区域的位置在左眉毛、右眉毛、左眼、右眼、鼻子、上嘴唇、下嘴唇。在训练过程中，人脸关键点标注点是用户为人脸图像中的人脸关键点打的标签，人脸关键点标注点包括人脸轮廓关键点标注点和人脸中关键点标注点。使用人脸关键点检测模型检测得到的人脸轮廓关键点和人脸中关键点是与训练过程的训练数据标注的人脸关键点标注点一一对应的。具体地，检测得到的人脸轮廓关键点和人脸中关键点可以如图9所示。可以直接将待检测图像输入人脸关键点检测模型，得到人脸的关键点的位置信息。也可以将截取的图像输入人脸关键点检测模型，得到人脸的关键点的位置信息，人脸关键点模型需要进行检测的范围变小，能够加快人脸关键点检测模型检测人脸关键点的速度，减少人脸关键点检测模型检测人脸关键点的检测时间，从而可以提高人脸关键点检测的速率。
在图1所描述的人脸关键点的检测方法中，在得到人脸特征之后，经过预测，确定了人脸的区域以及人脸中关键点的区域。在人脸图像中确定区域比在人脸图像中确定人脸关键点的检测难度较低，可以较为准确得到人脸的区域以及人脸中关键点的区域。在确定了人脸的区域以及人脸中关键点的区域之后，分区域进行检测获得各个区域内人脸关键点的位置信息。因为已经将人脸分成若干区域，即检测范围已经从人脸范围缩小到检测各个区域的范围，区域中要求检测关键点的数目也比人脸中要求检测的关键点的数目少，所以，分区域进行关键点检测比人脸直接进行关键点的检测更加简单，精度也更高。可见，先确定了人脸关键点所在区域，再进行人脸关键点检测，可以提高人脸关键点检测的精确度。
请参阅图2，图2是本发明实施例提供的另一种人脸关键点的检测方法的流程示意图如图2所示，该人脸关键点的检测方法可以包括以下步骤。
201、获取训练数据。
可以获取用于训练的训练数据，训练数据可以包括多张人脸图像，第一人脸图像包括标注框和人脸关键点标注点，第一人脸图像为多张人脸图像中任一图像，标注框可以包括人脸标注框和人脸关键点标注框。人脸标注框和人脸关键点标注框是用户为人脸图像打的标签，人脸标注框用于标注出人脸图像中属于人脸区域的位置，人脸关键点标注框用于标注出人脸图像中人脸中关键点所在区域，人脸标注框和人脸关键点标注框可以以方框、圆圈等进行标注。训练数据中的所有人脸图像中标注的标注框的个数应该相同。具体地，人脸标注框和人脸关键点标注框的标注方法可以如图8所示，所有人脸图像中的标注框可以为八个，包括人脸标注框和七个人脸关键点标注框，其中，七个人脸关键点标注框的位置在左眉毛、右眉毛、左眼、右眼、鼻子、上嘴唇、下嘴唇。人脸关键点标注点是用户为人脸图像中的人脸关键点打的标签，训练数据中的所有人脸图像中标注的人脸关键点标注点的个数应该相同。具体地，人脸关键点标注点可以如图9所示。人脸关键点标注点的个数如何确定，可以根据需要设置，本实施例不作限定。
202、使用训练数据训练初始人脸关键点检测模型，得到人脸关键点检测模型。
获取到训练数据之后，可以使用训练数据训练初始人脸关键点检测模型得到人脸关键点检测模型。具体地，可以先将第一人脸图像输入初始第一卷积神经网络，得到第一人脸特征，之后可以根据初始第一回归算法和第一人脸特征确定第一人脸关键点所在的第一区域，可以根据初始第二回归算法和第一区域确定第一人脸关键点，最后可以根据第一人脸图像、第一区域和第一人脸关键点确定总损失，根据总损失优化初始人脸关键点检测模型得到人脸关键点检测模型。第一人脸关键点为第一人脸图像中任一人脸关键点，第一卷积神经网络为提取人脸特征的卷积神经网络。其中，优化初始人脸关键点检测模型的参数包括整体优化初始第一卷积神经网络、初始第一回归算法和初始第二回归算法的参数。第一卷积神经网络可以为移动端网络(Mobilenet)，也可以为其他卷积神经网络，本实施例不作限定。具体地，使用移动端网络提取人脸特征的过程如图7所示，移动端网络可以通过层层卷积逐步提取人脸深层特征，输出特征图。
可以提取第一人脸图像包括的第一人脸关键点对应的标注框，获得第二区域。提取标注框位置信息的方法，本实施例不作限定。所获得的第二区域即是用户在训练过程中标注的第一人脸关键点对应的标注框。用户在训练过程中标注的第一人脸关键点对应的标注框与人脸关键点检测模型检测到的第一人脸关键点的区域是对应的，也就是说第一区域与第二区域是对应的。根据第一区域、第二区域和第一损失函数，计算第一损失。具体地，可以使用L2损失函数计算第一损失L，公式如下：
Figure BDA0002266026940000081
Gi表示人脸图像的第i个人脸标注框的位置信息。
Figure BDA0002266026940000091
表示经过人脸关键点模型检测得到第i个人脸标注框对应的人脸区域的位置信息，具体可以根据所使用的第一回归算法来决定。n为具体实施例中的标注框的个数。例如，第一回归算法采用Cornernet，
Figure BDA0002266026940000092
对应的位置信息可以为对应区域的左上角角点和右下角角点的坐标。可以先提取第一人脸图像包括的第一人脸关键点对应的人脸关键点标注点，获得第二人脸关键点。提取人脸关键点标注点的位置信息的方法，本实施例不作限定。根据第一人脸关键点、第二人脸关键点和第二损失函数，计算第二损失。具体地，可以使用L2损失函数计算第二损失L’，公式如下：
Figure BDA0002266026940000093
其中，Yi表示人脸图像的第i个人脸关键点的真实坐标，表示经过人脸关键点模型检测得到第i个人脸关键点的预测坐标，m为具体实施例中人脸关键点标注点的个数。之后根据第一损失和第二损失计算总损失，可以将第一损失和第二损失的加权和确定为总损失，权重可以为1:2，也可以为其他，权重如何分配，可以根据需要设置，本实施不作限定；也可以将第一损失和第二损失的和确定为总损失。第一损失函数与第二损失函数可以相同，也可以不同，本实施例不作限定。第一损失函数和第二损失函数可以为L2损失函数，也可以为摆动(Swing)损失函数，还可以为其它回归损失函数，本实施例不作限定。
203、获取待检测图像。
当需要识别图像中的人脸关键点时，获取待检测图像。待检测图像可以是本地存储的图像，也可以是从网络或服务器获取的图像，还可以是通过图像采集装置采集的图像，本实施例不作限定。其中，待检测图像为包括人脸的图像。待检测图像可以是需要检测的图像中的所有图像，也可以是需要检测的图像中的部分图像。
获取到待检测图像之后，可以采用人脸检测方法，将人脸从待检测图像中检测并截取出来，截取的图像应能包含全部的人脸并附加部分背景区域，该截取的人脸图像如图5所示。人脸检测方法可以使用dlib，也可以为其他人脸检测方法，本实施例不作限定。
204、使用第一卷积神经网络提取待检测图像中的人脸特征。
获取到待检测图像之后，使用第一卷积神经网络提取待检测图像中的人脸特征。第一卷积神经网络可以为移动端网络，也可以为其他卷积神经网络，本实施例不作限定。具体地，使用移动端网络提取人脸特征的过程如图7所示，移动端网络可以通过层层卷积逐步提取人脸深层特征，输出特征图。
205、根据第一回归算法和人脸特征，确定人脸的区域以及人脸中关键点的区域。
使用第一卷积神经网络对待检测图像中进行人脸特征的提取之后，根据第一回归算法和人脸特征，确定人脸的区域以及人脸中关键点的区域。
206、根据第二回归算法、人脸的区域以及人脸中关键点的区域，获取人脸的人脸轮廓关键点的位置信息以及人脸中关键点的位置信息。
根据第二回归算法、人脸的区域以及人脸中关键点的区域，获得人脸的人脸轮廓关键点的位置信息以及人脸中关键点的位置信息。第一卷积神经网络、第一回归算法和第二回归算法属于人脸关键点检测模型。获取到待检测图像之后，使用人脸关键点检测模型检测人脸的关键点的位置信息。人脸关键点检测模型可以先确定待检测图像中人脸包括的关键点的区域，之后再确定确定的待检测图像中人脸包括的关键点的区域中关键点的位置信息。
在使用人脸关键点检测模型检测人脸的关键点的位置信息时，可以先使用第一卷积神经网络提取待检测图像中的人脸特征，即将待检测图像输入第一卷积神经网络，得到人脸特征，之后根据第一回归算法和人脸特征，确定人脸的区域以及人脸中关键点的区域，最后根据第二回归算法和确定的人脸的区域以及人脸中关键点的区域，获得人脸的人脸轮廓关键点的位置信息以及人脸中关键点的位置信息。
可以直接将待检测图像输入人脸关键点检测模型，得到人脸的关键点的位置信息。也可以将截取的图像输入人脸关键点检测模型，得到人脸的关键点的位置信息，人脸关键点模型需要进行检测的范围变小，能够加快人脸关键点检测模型检测人脸关键点的速度，减少人脸关键点检测模型检测人脸关键点的检测时间，从而可以提高人脸关键点检测的速率。
207、根据人脸的关键点的位置信息在待检测图像中标注出标注框。
使用人脸关键点检测模型检测出人脸的关键点的位置信息之后，可以根据人脸的关键点的位置信息在待检测图像中标注出标注框，标注框可以包括人脸标注框和人脸关键点标注框。
在图2所描述的人脸关键点的检测方法中，在得到人脸特征之后，经过预测，确定了人脸的区域以及人脸中关键点的区域。在人脸图像中确定区域比在人脸图像中确定人脸关键点的检测难度较低，可以较为准确得到人脸的区域以及人脸中关键点的区域。在确定了人脸的区域以及人脸中关键点的区域之后，分区域进行检测获得各个区域内人脸关键点的位置信息。因为已经将人脸分成若干区域，即检测范围已经从人脸范围缩小到检测各个区域的范围，区域中要求检测关键点的数目也比人脸中要求检测的关键点的数目少，所以，分区域进行关键点检测比人脸直接进行关键点的检测更加简单，精度也更高。可见，先确定了人脸关键点所在区域，再进行人脸关键点检测，可以提高人脸关键点检测的精确度。
请参阅图3，图3是本发明实施例提供的一种人脸关键点的检测装置的结构示意图。如图3所示，该人脸关键点的检测装置可以包括：
第一获取单元301，用于获取待检测图像，待检测图像包括人脸；
提取单元302，用于将待检测图像输入第一卷积神经网络，得到人脸特征；
第一确定单元303，用于根据第一回归算法和人脸特征，确定人脸的区域以及人脸中关键点的区域；
第二确定单元304，用于根据第二回归算法、人脸的区域以及人脸中关键点的区域，获得人脸的人脸轮廓关键点的位置信息以及人脸中关键点的位置信息；
第一卷积神经网络、第一回归算法和第二回归算法属于人脸关键点检测模型。
在一个实施例中，该人脸关键点的检测装置还可以包括：
第二获取单元305，用于获取训练数据，训练数据包括多张人脸图像，第一人脸图像包括标注框和人脸关键点标注点，标注框包括人脸标注框和人脸关键点标注框；
提取单元302，还用于将第一人脸图像输入初始第一卷积神经网络，得到第一人脸特征；
第一确定单元303，还用于根据初始第一回归算法和第一人脸特征，确定第一人脸关键点所在的第一区域，第一人脸关键点为第一人脸图像中任一人脸关键点；
第二确定单元304，还用于根据初始第二回归算法和第一区域，确定第一人脸关键点；
第三确定单元306，用于根据第一人脸图像、第一区域和第一人脸关键点，确定总损失；
优化单元307，用于根据第三确定单元307接收的总损失优化初始人脸关键点检测模型的参数，在所述总损失为最小值时，得到人脸关键点检测模型。其中，优化初始人脸关键点检测模型的参数包括整体优化初始第一卷积神经网络、初始第一回归算法和初始第二回归算法的参数。
具体地，使用优化单元308优化得到的提取单元302、第一确定单元303和第二确定单元304检测第一获取单元301获取的待检测图像中的人脸关键点。
在一个实施例中，第三确定单元306具体用于：
根据第一人脸图像和第一区域，确定第一损失；
根据第一人脸图像和第一人脸关键点，确定第二损失；
根据第一损失和第二损失，计算总损失。
在一个实施例中，第三确定单元306根据第一人脸图像和第一区域，计算第一损失包括：
提取第一人脸图像包括的第一人脸关键点对应的标注框，获得第二区域；
根据第一区域、第二区域和第一损失函数，计算第一损失。
在一个实施例中，第三确定单元306根据第一人脸图像和第一人脸关键点，计算第二损失包括：
提取第一人脸图像包括的第一人脸关键点对应的人脸关键点标注点，获得第二人脸关键点；
根据第一人脸关键点、第二人脸关键点和第二损失函数，计算第二损失。
在一个实施例中，该人脸关键点的检测装置还可以包括：
标注单元308，用于根据人脸的关键点的位置信息在待检测图像中标注出标注框，标注框包括人脸标注框和人脸关键点标注框。
有关上述第一获取单元301、提取单元302、第一确定单元303、第二确定单元304、第二获取单元305、第三确定单元306、优化单元307、标注单元308更详细的描述可以直接参考上述图1-图2所示的方法实施例中的相关描述直接得到，这里不加赘述。
请参阅图4，图4是本发明实施例提供的另一种人脸关键点的检测装置的结构示意图。如图4所示，该人脸关键点的检测装置可以包括处理器401、存储器402和总线403。处理器401可以是一个通用中央处理器(CPU)或多个CPU，单块或多块图形处理器(GPU),微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。存储器402可以是只读存储器(read-onlymemory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-onlymemory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器402可以是独立存在，也可以和处理器401集成在一起。总线403与处理器401相连接。总线403在上述组件之间传送信息。其中：
存储器402中存储有一组程序代码，处理器401用于调用存储器402中存储的程序代码执行以下操作：
获取待检测图像；
使用第一卷积神经网络提取待检测图像中的人脸特征；
根据第一回归算法和人脸特征，确定人脸的区域以及人脸中关键点的区域；
根据第二回归算法、人脸的区域以及人脸中关键点的区域，获得人脸的人脸轮廓关键点的位置信息以及人脸中关键点的位置信息；
第一卷积神经网络、第一回归算法和第二回归算法属于人脸关键点检测模型。
在一个实施例中，处理器401还用于调用存储器402中存储的程序代码执行以下操作：
获取训练数据，训练数据可以包括多张人脸图像，第一人脸图像包括标注框和人脸关键点标注点，第一人脸图像为多张人脸图像中任一图像，标注框包括人脸标注框和人脸关键点标注框；
将第一人脸图像输入初始第一卷积神经网络，得到第一人脸特征；
根据初始第一回归算法和第一人脸特征，确定第一人脸关键点所在的第一区域，第一人脸关键点为第一人脸图像中任一人脸关键点；
根据初始第二回归算法和第一区域，确定第一人脸关键点；
根据第一人脸图像、第一区域和第一人脸关键点，确定总损失；
根据总损失优化初始人脸关键点检测模型的参数，在所述总损失为最小值时，获得人脸关键点检测模型。其中，优化初始人脸关键点检测模型的参数包括整体优化初始第一卷积神经网络、初始第一回归算法和初始第二回归算法的参数。
在一个实施例中，处理器401根据第一人脸图像、第一区域和第一人脸关键点，计算总损失包括：
根据第一人脸图像和第一区域，确定第一损失；
根据第一人脸图像和第一人脸关键点，确定第二损失；
根据第一损失和第二损失，计算总损失。
在一个实施例中，处理器401根据第一人脸图像和第一区域，确定第一损失包括：
提取第一人脸图像包括的第一人脸关键点对应的标注框，获得第二区域；
根据第一区域、第二区域和第一损失函数，计算第一损失。
在一个实施例中，处理器401根据第一人脸图像和第一人脸关键点包括：
提取第一人脸图像包括的第一人脸关键点对应的人脸关键点标注点，获得第二人脸关键点；
根据第一人脸关键点、第二人脸关键点和第二损失函数，计算第二损失。
在一个实施例中，处理器401还用于调用存储器402中存储的程序代码执行以下操作：
根据人脸的关键点的位置信息在待检测图像中标注出标注框，标注框包括人脸标注框和人脸关键点标注框。
其中，步骤101-步骤104，以及步骤201-步骤207可以由人脸关键点的检测装置中的处理器401和存储器402来执行。
其中，第一获取单元301、提取单元302、第一确定单元303、第二确定单元304、第二获取单元305、第三确定单元306、优化单元307、标注单元308可以由人脸关键点的检测装置中的处理器401和存储器402来实现。
上述人脸关键点的检测装置还可以用于执行前述方法实施例中执行的各种方法，不再赘述。
在一个实施例中提供了一种可读存储介质，该可读存储介质用于存储应用程序，应用程序用于在运行时执行图1或图2的人脸关键点的检测方法。
在一个实施例中提供了一种应用程序，该应用程序用于在运行时执行图1或图2的人脸关键点的检测方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read-only memory，ROM)、随机存取器(random accessmemory，RAM)、磁盘或光盘等。
以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种人脸关键点的检测方法，其特征在于，包括：
获取待检测图像，所述待检测图像包括人脸；
使用第一卷积神经网络提取所述待检测图像中的人脸特征；
根据第一回归算法和所述人脸特征，确定人脸的区域以及人脸中关键点的区域；
根据第二回归算法、所述人脸的区域以及所述人脸中关键点的区域，获得人脸的人脸轮廓关键点的位置信息以及人脸中关键点的位置信息；
所述第一卷积神经网络、所述第一回归算法和所述第二回归算法属于人脸关键点检测模型。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取训练数据，所述训练数据包括多张人脸图像，第一人脸图像包括标注框和人脸关键点标注点，所述第一人脸图像为所述多张人脸图像中任一图像，所述标注框包括人脸标注框和人脸关键点标注框；
将所述第一人脸图像输入初始第一卷积神经网络，得到第一人脸特征；
根据初始第一回归算法和所述第一人脸特征，确定第一人脸关键点所在的第一区域，所述第一人脸关键点为所述第一人脸图像中任一人脸关键点；
根据初始第二回归算法和所述第一区域，确定所述第一人脸关键点；
根据所述第一人脸图像、所述第一区域和所述第一人脸关键点，确定总损失；
根据所述总损失优化初始人脸关键点检测模型的参数，在所述总损失为最小值时，获得所述人脸关键点检测模型。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一人脸图像、所述第一区域和所述第一人脸关键点，确定总损失包括：
根据所述第一人脸图像和所述第一区域，确定第一损失；
根据所述第一人脸图像和所述第一人脸关键点，确定第二损失；
根据所述第一损失和所述第二损失，确定总损失。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一人脸图像和所述第一区域框，确定第一损失包括：
提取所述第一人脸图像包括的所述第一人脸关键点对应的标注框，获得第二区域；
根据所述第一区域、所述第二区域和第一损失函数，计算第一损失。
5.根据权利要求3所述的方法，其特征在于，所述根据所述第一人脸图像和所述第一人脸关键点，确定第二损失包括：
提取所述第一人脸图像包括的所述第一人脸关键点对应的人脸关键点标注点，获得第二人脸关键点；
根据所述第一人脸关键点、所述第二人脸关键点和第二损失函数，计算第二损失。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
根据所述人脸的关键点的位置信息在所述待检测图像中标注出标注框，所述标注框包括人脸标注框和人脸关键点标注框。
7.一种人脸关键点的检测装置，其特征在于，包括：
第一获取单元，用于获取待检测图像，所述待检测图像包括人脸；
提取单元，用于将所述待检测图像输入第一卷积神经网络，得到人脸特征；
第一确定单元，用于根据第一回归算法和所述人脸特征，确定人脸的区域以及人脸中关键点的区域；
第二确定单元，用于根据第二回归算法、所述人脸的区域以及所述人脸中关键点的区域，获得人脸的人脸轮廓关键点的位置信息以及人脸中关键点的位置信息；
所述第一卷积神经网络、所述第一回归算法和所述第二回归算法属于人脸关键点检测模型。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第二获取单元，用于获取训练数据，所述训练数据包括多张人脸图像，第一人脸图像包括标注框和人脸关键点标注点，所述第一人脸图像为所述多张人脸图像中任一图像，所述标注框包括人脸标注框和人脸关键点标注框；
所述提取单元，还用于将所述第一人脸图像输入所述初始第一卷积神经网络，得到第一人脸特征；
所述第一确定单元，还用于根据初始第一回归算法和所述第一人脸特征，确定第一人脸关键点所在的第一区域，所述第一人脸关键点为所述第一人脸图像中任一人脸关键点；
所述第二确定单元，还用于根据初始第二回归算法和所述第一区域，确定所述第一人脸关键点；
第三确定单元，用于根据所述第一人脸图像、所述第一区域和所述第一人脸关键点，确定总损失；
优化单元，用于根据所述总损失优化初始人脸关键点检测模型的参数，在所述总损失为最小值时，获得所述人脸关键点检测模型。
9.一种人脸关键点的检测装置，其特征在于，包括处理器和存储器，所述处理器和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于调用所述程序指令执行如权利要求1-6任一项所述的人脸关键点的检测方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-6任一项所述的人脸关键点的检测方法。
CN201911088066.XA 2019-11-08 2019-11-08 一种人脸关键点的检测方法、装置及存储介质 Active CN110852257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911088066.XA CN110852257B (zh) 2019-11-08 2019-11-08 一种人脸关键点的检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911088066.XA CN110852257B (zh) 2019-11-08 2019-11-08 一种人脸关键点的检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110852257A true CN110852257A (zh) 2020-02-28
CN110852257B CN110852257B (zh) 2023-02-10

Family

ID=69599956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911088066.XA Active CN110852257B (zh) 2019-11-08 2019-11-08 一种人脸关键点的检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110852257B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274930A (zh) * 2020-04-02 2020-06-12 成都鼎安华智慧物联网股份有限公司 一种基于深度学习的安全帽佩戴以及吸烟行为识别方法
CN112215162A (zh) * 2020-10-13 2021-01-12 北京中电兴发科技有限公司 一种基于mcnn网络的多标签多任务人脸属性预测方法
CN112733630A (zh) * 2020-12-28 2021-04-30 深圳市捷顺科技实业股份有限公司 一种通道闸检测方法、装置、设备及存储介质
CN112966561A (zh) * 2021-02-03 2021-06-15 成都职业技术学院 一种便携式大学生创新创业多功能记录方法及装置
CN113256586A (zh) * 2021-05-28 2021-08-13 深圳数联天下智能科技有限公司 人脸图像的模糊判断方法、装置、设备和介质
CN113255627A (zh) * 2021-07-15 2021-08-13 广州市图南软件科技有限公司 一种快速获取尾随人员信息方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824049A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联神经网络的人脸关键点检测方法
CN108764048A (zh) * 2018-04-28 2018-11-06 中国科学院自动化研究所 人脸关键点检测方法及装置
CN109359575A (zh) * 2018-09-30 2019-02-19 腾讯科技（深圳）有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN109584276A (zh) * 2018-12-04 2019-04-05 北京字节跳动网络技术有限公司 关键点检测方法、装置、设备及可读介质
CN109712144A (zh) * 2018-10-29 2019-05-03 百度在线网络技术（北京）有限公司 面部图像的处理方法、训练方法、设备和存储介质
CN109961006A (zh) * 2019-01-30 2019-07-02 东华大学 一种低像素多目标人脸检测和关键点定位方法以及对齐方法
WO2019141104A1 (zh) * 2018-01-19 2019-07-25 北京市商汤科技开发有限公司 人体轮廓关键点检测方法、图像处理方法、装置及设备
CN110348331A (zh) * 2019-06-24 2019-10-18 深圳和而泰家居在线网络科技有限公司 人脸识别方法及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824049A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联神经网络的人脸关键点检测方法
WO2019141104A1 (zh) * 2018-01-19 2019-07-25 北京市商汤科技开发有限公司 人体轮廓关键点检测方法、图像处理方法、装置及设备
CN108764048A (zh) * 2018-04-28 2018-11-06 中国科学院自动化研究所 人脸关键点检测方法及装置
CN109359575A (zh) * 2018-09-30 2019-02-19 腾讯科技（深圳）有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN109712144A (zh) * 2018-10-29 2019-05-03 百度在线网络技术（北京）有限公司 面部图像的处理方法、训练方法、设备和存储介质
CN109584276A (zh) * 2018-12-04 2019-04-05 北京字节跳动网络技术有限公司 关键点检测方法、装置、设备及可读介质
CN109961006A (zh) * 2019-01-30 2019-07-02 东华大学 一种低像素多目标人脸检测和关键点定位方法以及对齐方法
CN110348331A (zh) * 2019-06-24 2019-10-18 深圳和而泰家居在线网络科技有限公司 人脸识别方法及电子设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274930A (zh) * 2020-04-02 2020-06-12 成都鼎安华智慧物联网股份有限公司 一种基于深度学习的安全帽佩戴以及吸烟行为识别方法
CN112215162A (zh) * 2020-10-13 2021-01-12 北京中电兴发科技有限公司 一种基于mcnn网络的多标签多任务人脸属性预测方法
CN112215162B (zh) * 2020-10-13 2023-07-25 北京中电兴发科技有限公司 一种基于mcnn网络的多标签多任务人脸属性预测方法
CN112733630A (zh) * 2020-12-28 2021-04-30 深圳市捷顺科技实业股份有限公司 一种通道闸检测方法、装置、设备及存储介质
CN112966561A (zh) * 2021-02-03 2021-06-15 成都职业技术学院 一种便携式大学生创新创业多功能记录方法及装置
CN112966561B (zh) * 2021-02-03 2024-01-30 成都职业技术学院 一种便携式大学生创新创业多功能记录方法及装置
CN113256586A (zh) * 2021-05-28 2021-08-13 深圳数联天下智能科技有限公司 人脸图像的模糊判断方法、装置、设备和介质
CN113255627A (zh) * 2021-07-15 2021-08-13 广州市图南软件科技有限公司 一种快速获取尾随人员信息方法及装置
CN113255627B (zh) * 2021-07-15 2021-11-12 广州市图南软件科技有限公司 一种快速获取尾随人员信息方法及装置

Also Published As

Publication number Publication date
CN110852257B (zh) 2023-02-10

Similar Documents

Publication Publication Date Title
CN110852257B (zh) 一种人脸关键点的检测方法、装置及存储介质
CN108121986B (zh) 目标检测方法及装置、计算机装置和计算机可读存储介质
CN109117848B (zh) 一种文本行字符识别方法、装置、介质和电子设备
CN109389030B (zh) 人脸特征点检测方法、装置、计算机设备及存储介质
KR102592270B1 (ko) 얼굴 랜드마크 검출 방법과 장치, 컴퓨터 장치, 및 저장 매체
CN111814794B (zh) 文本检测方法、装置、电子设备及存储介质
US20200042770A1 (en) Facial recognition method and apparatus, electronic device, and storage medium
CN108304820B (zh) 一种人脸检测方法、装置及终端设备
CN112633144A (zh) 人脸遮挡检测方法、***、设备及存储介质
CN109960742B (zh) 局部信息的搜索方法及装置
KR20210047920A (ko) 얼굴 모델의 생성
CN108399386A (zh) 饼图中的信息提取方法及装置
CN111126258A (zh) 图像识别方法及相关装置
CN106778453B (zh) 人脸图像中检测眼镜佩戴的方法及装置
CN109829371B (zh) 一种人脸检测方法及装置
CN113490947A (zh) 检测模型训练方法、装置、检测模型使用方法及存储介质
CN109165654B (zh) 一种目标定位模型的训练方法和目标定位方法及装置
CN114049512A (zh) 模型蒸馏方法、目标检测方法、装置及电子设备
CN112633084A (zh) 人脸框确定方法、装置、终端设备及存储介质
CN113689436A (zh) 图像语义分割方法、装置、设备及存储介质
CN110879972A (zh) 一种人脸检测方法及装置
CN113435531B (zh) 零样本图像分类方法、***、电子设备及存储介质
CN111429414B (zh) 基于人工智能的病灶影像样本确定方法和相关装置
CN112749576A (zh) 图像识别方法和装置、计算设备以及计算机存储介质
CN113537187A (zh) 文本识别方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200421

Address after: 1706, Fangda building, No. 011, Keji South 12th Road, high tech Zone, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen shuliantianxia Intelligent Technology Co.,Ltd.

Address before: 518000, building 10, building ten, building D, Shenzhen Institute of Aerospace Science and technology, 6 hi tech Southern District, Nanshan District, Shenzhen, Guangdong 1003, China

Applicant before: SHENZHEN H & T HOME ONLINE NETWORK TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant