CN106909213A - 一种基于人脸识别的控制指令生成方法及电子设备 - Google Patents

一种基于人脸识别的控制指令生成方法及电子设备 Download PDF

Info

Publication number
CN106909213A
CN106909213A CN201510979584.6A CN201510979584A CN106909213A CN 106909213 A CN106909213 A CN 106909213A CN 201510979584 A CN201510979584 A CN 201510979584A CN 106909213 A CN106909213 A CN 106909213A
Authority
CN
China
Prior art keywords
face
point coordinates
dimensional
control instruction
dimensional character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510979584.6A
Other languages
English (en)
Inventor
周世威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhang Ying Information Technology (shanghai) Co Ltd
Original Assignee
Zhang Ying Information Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhang Ying Information Technology (shanghai) Co Ltd filed Critical Zhang Ying Information Technology (shanghai) Co Ltd
Priority to CN201510979584.6A priority Critical patent/CN106909213A/zh
Publication of CN106909213A publication Critical patent/CN106909213A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人脸识别的控制指令生成方法及电子设备，属于图像处理领域。所述方法包括：获取当前视频帧，检测当前视频帧中的人脸；根据检测的人脸，获取人脸的多个二维特征点坐标；根据人脸的多个二维特征点坐标，获取对应的控制指令参数，控制指令参数包括人脸的旋转角度和/或人脸的上嘴唇和下嘴唇之间的距离；根据控制指令参数，控制目标对象的方向和/或速度。通过根据控制指令参数，控制目标对象的方向和/或速度,而该控制指令参数是在人脸检测的基础上，根据人脸的多个二维特征点坐标获取的，从而实现了通过人脸动作控制目标对象，操作简洁方便，同时增加了对目标对象进行控制的操作方式，提高了用户体验，满足了用户需求。

Description

一种基于人脸识别的控制指令生成方法及电子设备
技术领域
本发明涉及图像处理领域，特别涉及一种基于人脸识别的控制指令生成方法及电子设备。
背景技术
随着人脸识别在计算机技术中的普及，通过计算机对人脸进行识别的技术已应用在各个领域，现在，台式电脑、笔记本上的游戏的主要操作方式还是通过鼠标、键盘，移动端应用或移动端的游戏以手指点按滑动等为主要操作方式，为了增强玩家游戏体验的需要，改变传统的键盘、鼠标控制以及手指点按滑动的操作方式，需要提供一种通过人脸识别控制游戏中的目标对象的方式。
现有的体感游戏中，用户通过身体动作能够对游戏对象进行操作，其主要是通过感应器识别人体动作或者通过人体影像分析技术完成。
在现有的体感游戏技术中，进行游戏操作往往需要较大活动空间以进行整体身体的运动，同时，由于为了达到较好的游戏效果，该类游戏适合在配备有较大屏幕的设备中进行，满足不了在移动终端中的应用；另外，传统的通过键盘、鼠标控制以及手指点按滑动的操作方式比较单一，满足不了用户对操作方式多样化以及更加有趣味性的操作方式的需求。
发明内容
为了能够通过人脸动作控制目标对象，简化操作，增加了对目标对象进行控制的操作方式，提高用户体验，满足用户需求，本发明实施例提供了一种基于人脸识别的控制指令生成方法及电子设备。所述技术方案如下：
第一方面，提供了一种基于人脸识别的控制指令生成方法，所述方法包括：
获取当前视频帧，检测所述当前视频帧中的人脸；
根据检测的所述人脸，获取所述人脸的多个二维特征点坐标；
根据所述人脸的多个二维特征点坐标，获取对应的控制指令参数，所述控制指令参数包括所述人脸的旋转角度和/或所述人脸的上嘴唇和下嘴唇之间的距离；
根据所述控制指令参数，控制目标对象的方向和/或速度。
结合第一方面，在第一种可能的实现方式中，所述获取所述人脸的旋转角度包括：
获取所述人脸相对于三维模板人脸的姿态估计矩阵，所述三维模板人脸为处于正面的三维参照人脸；
根据所述姿态估计矩阵，获取所述姿态估计矩阵对应的旋转角度。
结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述获取所述人脸相对于三维模板人脸的姿态估计矩阵包括：
根据所述人脸的多个二维特征点坐标中的部分特征点坐标，在所述三维模板人脸上采集与所述部分特征点坐标对应位置的多个三维特征点坐标；
根据投影映射矩阵，计算所述多个三维特征点坐标对应的多个二维映射坐标；
计算所述部分特征点坐标与所述多个二维映射坐标之间的误差；以及
计算使得所述误差最小的姿态估计矩阵。
结合第一方面，在第三种可能的实现方式中，所述获取所述人脸的上嘴唇和下嘴唇之间的距离包括：
对所述多个二维特征点坐标的角度进行校正；
对所述校正后的所述特征点坐标进行归一化处理；以及
根据所述归一化处理的结果，获取所述人脸的上嘴唇和下嘴唇之间的距离。
结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述对所述多个二维特征点坐标的角度进行校正包括：
根据所述人脸的两只眼睛外角点的夹角，对所述多个二维特征点坐标的角度进行校正；
获取校正后的所述多个二维特征点的坐标。
结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述对所述校正后的所述特征点坐标进行归一化处理包括：
根据所述校正后的所述多个二维特征点的坐标的重心位置，对所述校正后的所述多个二维特征点的坐标进行平移变换。
结合第一方面的第五种可能的实现方式，在第六种可能的实现方式中，所述对所述校正后的所述多个二维特征点的坐标进行平移变换之后，方法还包括：
对所述平移变换后的坐标进行缩放处理。
结合第一方面至第一方面的第六种任一种所述的方式，在第七种可能的实现方式中，所述根据所述控制指令参数，控制目标对象的方向和/或速度包括：
根据所述旋转角度，控制目标对象的方向；和/或
根据所述人脸的上嘴唇和下嘴唇之间的距离的大小，控制所述目标对象的速度的快慢。
第二方面，提供了一种电子设备，所述设备包括：
视频帧获取模块，用于获取当前视频帧；
人脸检测模块，用于检测所述当前视频帧中的人脸；
特征点获取模块，用于根据检测的所述人脸，获取所述人脸的多个二维特征点坐标；
控制指令参数获取模块，用于根据所述人脸的多个二维特征点坐标，获取对应的控制指令参数，所述控制指令参数包括所述人脸的旋转角度和/或所述人脸的上嘴唇和下嘴唇之间的距离；
控制模块，用于根据所述控制指令参数，控制目标对象的方向和/或速度。
结合第二方面，在第一种可能的实现方式中，
所述控制指令参数获取模块包括姿态估计模块和旋转角度模块；
所述姿态估计模块，用于获取所述人脸相对于三维模板人脸的姿态估计矩阵，所述三维模板人脸为处于正面的三维参照人脸；
所述旋转角度模块，用于根据所述姿态估计矩阵，获取所述姿态估计矩阵对应的旋转角度。
结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，
所述姿态估计模块包括采集模块和计算模块；
所述采集模块用于根据所述人脸的多个二维特征点坐标中的部分特征点坐标，在所述三维模板人脸上采集与所述部分特征点坐标对应位置的多个三维特征点坐标；
所述计算模块用于根据投影映射矩阵，计算所述多个三维特征点坐标对应的多个二维映射坐标；
所述计算模块还用于计算所述部分特征点坐标与所述多个二维映射坐标之间的误差；以及
所述计算模块还用于计算使得所述误差最小的姿态估计矩阵。
结合第二方面，在第三种可能的实现方式中，
所述控制指令参数获取模块还包括校正模块、归一化处理模块和嘴唇距离获取模块；
所述校正模块用于对所述多个二维特征点坐标的角度进行校正；
所述归一化处理模块用于对所述校正后的所述特征点坐标进行归一化处理；以及
所述嘴唇距离获取模块用于根据所述归一化处理的结果，获取所述人脸的上嘴唇和下嘴唇之间的距离。
结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，
所述校正模块具体用于根据所述人脸的两只眼睛外角点的夹角，对所述多个二维特征点坐标的角度进行校正，获取校正后的所述多个二维特征点的坐标。
结合第二方面的第四种可能的实现方式，在第五种可能的实现方式中，
所述归一化处理模块包括平移变换模块；
所述平移变换模块用于根据所述校正后的所述多个二维特征点的坐标的重心位置，对所述校正后的所述多个二维特征点的坐标进行平移变换。
结合第二方面的第五种可能的实现方式，在第六种可能的实现方式中，所述归一化处理模块还包括缩放处理模块；
所述缩放处理模块具体用于对所述平移变换后的坐标进行缩放处理。
结合第二方面至第二方面的第六种任一种所述的方式，在第七种可能的实现方式中，所述控制模块具体用于：
根据所述旋转角度，控制目标对象的方向；和/或
根据所述人脸的上嘴唇和下嘴唇之间的距离的大小，控制所述目标对象的速度的快慢。
第三方面，提供了一种电子设备，所述电子设备包括显示屏、摄像头、存储器以及与所述显示屏、所述摄像头、所述存储器连接的处理器，其中，所述存储器用于存储一组程序代码，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
获取当前视频帧，检测所述当前视频帧中的人脸；
根据检测的所述人脸，获取所述人脸的多个二维特征点坐标；
根据所述人脸的多个二维特征点坐标，获取对应的控制指令参数，所述控制指令参数包括所述人脸的旋转角度和/或所述人脸的上嘴唇和下嘴唇之间的距离；
根据所述控制指令参数，控制目标对象的方向和/或速度。
结合第三方面，在第一种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
获取所述人脸相对于三维模板人脸的姿态估计矩阵，所述三维模板人脸为处于正面的三维参照人脸；
根据所述姿态估计矩阵，获取所述姿态估计矩阵对应的旋转角度。
结合第三方面的第一种可能的实现方式，在第二种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
根据所述人脸的多个二维特征点坐标中的部分特征点坐标，在所述三维模板人脸上采集与所述部分特征点坐标对应位置的多个三维特征点坐标；
根据投影映射矩阵，计算所述多个三维特征点坐标对应的多个二维映射坐标；
计算所述部分特征点坐标与所述多个二维映射坐标之间的误差；以及
计算使得所述误差最小的姿态估计矩阵。
结合第三方面，在第三种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
对所述多个二维特征点坐标的角度进行校正；
对所述校正后的所述特征点坐标进行归一化处理；以及
根据所述归一化处理的结果，获取所述人脸的上嘴唇和下嘴唇之间的距离。
结合第三方面的第三种可能的实现方式，在第四种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
根据所述人脸的两只眼睛外角点的夹角，对所述多个二维特征点坐标的角度进行校正；
获取校正后的所述多个二维特征点的坐标。
结合第三方面的第四种可能的实现方式，在第五种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
根据所述校正后的所述多个二维特征点的坐标的重心位置，对所述校正后的所述多个二维特征点的坐标进行平移变换。
结合第三方面的第五种可能的实现方式，在第六种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
对所述平移变换后的坐标进行缩放处理。
结合第三方面至第三方面的第六种任一种所述的方式，在第七种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
根据所述旋转角度，控制目标对象的方向；和/或
根据所述人脸的上嘴唇和下嘴唇之间的距离的大小，控制所述目标对象的速度的快慢。
本发明实施例提供了一种基于人脸识别的控制指令生成方法及电子设备。该方法包括：获取当前视频帧，检测当前视频帧中的人脸；根据检测的人脸，获取人脸的多个二维特征点坐标；根据人脸的多个二维特征点坐标，获取对应的控制指令参数，控制指令参数包括人脸的旋转角度和/或人脸的上嘴唇和下嘴唇之间的距离；根据控制指令参数，控制目标对象的方向和/或速度。本发明实施例在人脸检测的基础上，根据人脸的多个二维特征点坐标，获取对应的控制指令参数，控制指令参数包括人脸的旋转角度和/或人脸的上嘴唇和下嘴唇之间的距离，因为人脸的多个二维特征点能够准确定位人脸的***轮廓以及内部眉毛、眼睛、鼻子、嘴巴轮廓，从而当人脸做出相应的表情动作时，通过特征点能够准确定位出人脸姿态，通过该姿态获取人脸的旋转角度以及上嘴唇和下嘴唇之间的距离，从而提高了获取的控制指令参数的精确度，方便了通过该控制指令参数对目标对象进行控制，提高了用户体验，满足了用户无需动手即可实现对目标对象进行控制的需求；另外，通过根据控制指令参数，控制目标对象的方向和/或速度,因为该控制指令参数是在人脸检测的基础上，根据人脸的多个二维特征点坐标获取的，从而实现了通过人脸动作控制目标对象，该操作方式简洁方便，改变了传统的键盘、鼠标控制以及手指点按滑动的操作方式，提高了用户体验，满足了用户需求；同时，本发明实施例所提供的控制方式相较于传统的通过鼠标、键盘的操作控制方式，更加简洁方便，而且更具有趣味性，进一步提高了用户体验，同时，在一些游戏应用场景中，用户无需通过鼠标键盘或手指点按滑动控制目标对象的方向和/或速度，只需通过鼠标键盘或手指点按滑动进行其他操作并通过脸部动作控制目标对象的方向和/或速度，这样使得人脸动作操作与鼠标键盘或手指点按滑动操作相结合，进一步提高了可玩性，提高了用户体验，满足了用户需求。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于人脸识别的控制指令生成方法流程图；
图2是本发明实施例提供的一种基于人脸识别的控制指令生成方法流程图；
图3是本发明实施例提供的一种人脸特征点定位示意图；
图4是本发明实施例提供的一种人脸特征点定位示意图；
图5是本发明实施例提供的一种基于人脸识别的控制指令生成方法流程图；
图6是本发明实施例提供的一种基于人脸识别的控制指令生成方法流程图；
图7是本发明实施例提供的一种电子设备结构示意图；
图8是本发明实施例提供的一种电子设备结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种基于人脸识别的控制指令生成方法，该方法可以用于一种交互***中，该***可以包括至少一个电子设备以及用户，其中，该电子设备可以是智能手机，也可以是平板电脑或可穿戴设备，还可以是其他移动终端，本发明实施例对具体的电子设备不加以限定；该电子设备至少包括视频输入模块和视频显示模块，视频输入模块可以包括摄像头，视频显示模块可以包括显示屏。
该方法可以应用于对游戏中的目标对象进行控制的场景中，在该场景中电子设备中至少可以运行一种游戏程序，该电子设备通过运行游戏程序，以及通过开启摄像头功能获取用户的脸部动作，以对游戏中的目标对象进行控制操作。
除此之外，该方法也可以应用于其他交互***和应用场景中，本发明实施例对该具体的交互***和应用场景不加以限定。
实施例一
本发明实施例提供了一种基于人脸识别的控制指令生成方法，参照图1所示，该方法流程包括：
101、获取当前视频帧，检测当前视频帧中的人脸。
102、根据检测的人脸，获取人脸的多个二维特征点坐标。
103、根据人脸的多个二维特征点坐标，获取对应的控制指令参数。
其中，控制指令参数包括人脸的旋转角度和/或人脸的上嘴唇和下嘴唇之间的距离。
具体的，获取人脸的旋转角度包括：
获取人脸相对于三维模板人脸的姿态估计矩阵，三维模板人脸为处于正面的三维参照人脸；
根据姿态估计矩阵，获取姿态估计矩阵对应的旋转角度。
获取人脸的上嘴唇和下嘴唇之间的距离包括：
对多个二维特征点坐标的角度进行校正；
对校正后的特征点坐标进行归一化处理；以及
根据归一化处理的结果，获取人脸的上嘴唇和下嘴唇之间的距离。
可选的，该获取人脸相对于三维模板人脸的姿态估计矩阵包括：
根据人脸的多个二维特征点坐标中的部分特征点坐标，在三维模板人脸上采集与部分特征点坐标对应位置的多个三维特征点坐标；
根据投影映射矩阵，计算多个三维特征点坐标对应的多个二维映射坐标；
计算部分特征点坐标与多个二维映射坐标之间的误差；以及
计算使得误差最小的姿态估计矩阵。
可选的，对多个二维特征点坐标的角度进行校正包括：
根据人脸的两只眼睛外角点的夹角，对多个二维特征点坐标的角度进行校正；
获取校正后的多个二维特征点的坐标。
可选的，对校正后的特征点坐标进行归一化处理包括：
根据校正后的多个二维特征点的坐标的重心位置，对校正后的多个二维特征点的坐标进行平移变换。
可选的，对校正后的多个二维特征点的坐标进行平移变换之后，方法还包括：
对平移变换后的坐标进行缩放处理。
104、根据控制指令参数，控制目标对象的方向和/或速度。
具体的，根据旋转角度，控制目标对象的方向；和/或
根据人脸的上嘴唇和下嘴唇之间的距离的大小，控制目标对象的速度的快慢。
本发明实施例提供了一种基于人脸识别的控制指令生成方法，通过在人脸检测的基础上，根据人脸的多个二维特征点坐标，获取对应的控制指令参数，控制指令参数包括人脸的旋转角度和/或人脸的上嘴唇和下嘴唇之间的距离，因为人脸的多个二维特征点能够准确定位人脸的***轮廓以及内部眉毛、眼睛、鼻子、嘴巴轮廓，从而当人脸做出相应的表情动作时，通过特征点能够准确定位出人脸姿态，通过该姿态获取人脸的旋转角度以及上嘴唇和下嘴唇之间的距离，从而提高了获取的控制指令参数的精确度，方便了通过该控制指令参数对目标对象进行控制，提高了用户体验，满足了用户无需动手即可实现对目标对象进行控制的需求；另外，通过根据控制指令参数，控制目标对象的方向和/或速度,因为该控制指令参数是在人脸检测的基础上，根据人脸的多个二维特征点坐标获取的，从而实现了通过人脸动作控制目标对象，该操作方式简洁方便，改变了传统的键盘、鼠标控制以及手指点按滑动的操作方式，提高了用户体验，满足了用户需求；同时，本发明实施例所提供的控制方式相较于传统的通过鼠标、键盘的操作控制方式，更加简洁方便，而且更具有趣味性，进一步提高了用户体验，同时，在一些游戏应用场景中，用户无需通过鼠标键盘或手指点按滑动控制目标对象的方向和/或速度，只需通过鼠标键盘或手指点按滑动进行其他操作并通过脸部动作控制目标对象的方向和/或速度，这样使得人脸动作操作与鼠标键盘或手指点按滑动操作相结合，进一步提高了可玩性，提高了用户体验，满足了用户需求。
实施例二
本发明实施例提供了一种基于人脸识别的控制指令生成方法，在该实施例中控制指令参数包括人脸的旋转角度和人脸的上嘴唇和下嘴唇之间的距离，通过该人脸的旋转角度和该人脸的上嘴唇和下嘴唇之间的距离，控制控制目标对象的方向和速度，参照图2所示，方法流程包括：
201、获取当前视频帧，检测当前视频帧中的人脸。
具体的，可以根据预设的视频帧获取指令，通过摄像头获取当前视频帧，本发明实施例对具体的获取当前即时视频帧的方式不加以限定。
检测人脸的方法可以通过传统的基于特征的人脸检测方法、基于统计的人脸检测方法以及模板匹配人脸检测方法等，也可以通过SVM(Support VectorMachine,支持向量机法)算法，或OpenCV算法检测人脸，除此之外，还可以通过其他方式检测人脸，本发明实施例对具体的检测人脸的方式不加以限定。
202、根据检测的人脸，获取人脸的多个二维特征点坐标。
具体的，可以通过基于形状回归的方法对人脸特征点进行定位，获取人脸的多个二维特征点坐标，也可以通过SDM(Supervised Descent Method，有监督梯度下降法)算法获取人脸的多个二维特征点坐标，还可以通过其他方式获取，本发明实施例对具体的获取人脸的多个二维特征点坐标的方式不加以限定。
其中，人脸的多个二维特征点坐标可以包括用于描述人脸***轮廓的特征点坐标和/或内部的特征点坐标，该内部的特征点坐标包括分别用于描述人脸眉毛、眼睛、鼻子、嘴巴轮廓的特征点坐标，该人脸的多个二维特征点坐标还可以包括其他，本发明实施例对具体的人脸的多个二维特征点坐标不加以限定。
示例性的，该人脸的多个二维特征点坐标可以包括用于描述该人脸***轮廓和内部的66个特征点坐标，也可以包括用于描述该人脸内部的49个特征点坐标，还可以包括用于描述该人脸内部嘴巴轮廓的18个特征点坐标，还可以包括其他，此处不再一一列举。
203、获取人脸相对于三维模板人脸的姿态估计矩阵。
其中，三维模板人脸为处于正面的三维参照人脸。
具体的，该过程可以包括：
A、根据人脸的多个二维特征点坐标中的部分特征点坐标，在三维模板人脸上采集与部分特征点坐标对应位置的多个三维特征点坐标。
具体的，该人脸的多个二维特征点坐标中的部分特征点坐标可以是用于描述该人脸的内部的眉毛、眼睛、鼻子以及嘴巴轮廓的多个特征点坐标。
对应的，在三维模板人脸上采集用于描述模板人脸的内部的眉毛、眼睛、鼻子以及嘴巴的对应位置的多个三维特征点坐标。
其中，多个二维特征点坐标中的部分特征点坐标可以用pi＝(xi,yi)T表示，对应位置的多个三维特征点坐标可以用Pi＝(Xi,Yi,Zi)T表示，该部分特征点坐标与该多个三维特征点坐标的对应关系可以通过以下公式表示：
(pi,Pi)＝(xi,yi,Xi,Yi,Zi)T
示例性的，图3中a所示的是获取用于描述人脸的内部的眉毛、眼睛、鼻子、嘴巴轮廓的49个特征点坐标的示意图，图3中b所示的是对应的在三维模板人脸上采集的与该49个特征点坐标对应位置的49个三维特征点坐标。
因为用于描述人脸的***轮廓的特征点坐标容易受到光照等因素的影响，从而通过人脸的***轮廓的特征点坐标所得的控制指令参数会受到影响，而本发明实施例获取的是人脸的多个二维特征点坐标中的部分特征点坐标，排除了光照等因素对控制指令参数造成的结果影响，从而通过人脸的多个二维特征点坐标中的部分特征点，获取对应的控制指令参数，进一步提高了获取的控制指令参数的精确度，使得控制操作更加准确。
B、根据投影映射矩阵，计算多个三维特征点坐标对应的多个二维映射坐标。
根据计算投影映射矩阵的预设公式，计算多个三维特征点坐标对应的多个二维映射坐标，该预设公式可以是：
M＝A[R,T] (1)
其中，A表示摄像头内参矩阵，R表示旋转矩阵，T表示平移矩阵。
预设旋转角度包括roll,yaw,pitch,其中，roll可称作翻滚角，表示绕z轴的旋转角；yaw可称作偏航角，表示绕y轴的旋转角；pitch可称作俯仰角，表示绕x轴的旋转角，则可以通过预设旋转角度roll,yaw,pitch表示旋转矩阵R，公式如下：
根据摄像头成像原理获取:
其中，f为摄像头焦距，T＝(T1,T2,T3)T，·表示相乘，r1＝R(roll)，r2＝R(yaw)，r3＝R(pitch)。
则通过透视模型，计算多个三维特征点坐标对应的多个二维映射坐标的公式可以表示如下：
p′i＝A·[R(roll，yaw，pitch)·Pi+T]
其中，A是已知的摄像头参数，p′i表示多个三维特征点坐标对应的多个二维映射坐标。
示例性的，通过三维模板人脸的内部49个坐标Pi(i＝1,2,3,..49)，计算得到49个二维映射坐标p′i(i＝1,2,3...49)。
C、计算部分特征点坐标与多个二维映射坐标之间的误差；
具体的，通过以下公式计算：
D、计算使得误差最小的姿态估计矩阵。
可以通过最小二乘法计算公式(2)的最优化解，计算使得误差最小的姿态估计矩阵，也可以通过其他方式计算使得误差最小的姿态估计矩阵。
具体的，通过最小二乘法计算公式(2)的最优化解的过程可以包括：
设x轴和y轴误差分别为α，β,则坐标的误差可以通过以下公式表示：
其中和是即时获取视频帧中的人脸的部分二维点坐标，αi和βi是对应的误差。
同理，旋转角度的误差可以通过以下公式表示：
roll＝roll°+Δroll
yaw＝yaw°+Δyaw (4)
pitch＝pitch°+Δpitch
其中，roll°，yaw°，pitch°为计算所得的旋转角的近似值，Δroll，Δyaw，Δpitch为对应旋转角的误差量。
则根据公式(3)和(4)预设：
其中，Ei1、Ei2分别表示对应的误差。
固定偏移量，T由牛顿第一定律进行线性化后可得：
Ei1＝pi1°+αi+λi1·Δroll+λi2·Δyaw+λi3·Δpitch
Ei2＝Pi2°+βi+ηi1·Δroll+ηi2·Δyaw+ηi3·Δpitch
则：
其中，公式(5)当中的“°”示当roll,yaw,pitch取(roll°，yaw°，pitch°)的时候相对应的函数值，λi1、λi2、λi3、ηi1、ηi2、ηi3表示对应函数的结果，当令Ei1＝Ei2＝0时,公式(5)可以写成如下形式：
公式(6)采用SVD来进行求解，计算误差量Δ＝Δ(Δroll，Δyaw，Δpitch),来更新roll°，yaw°，pitch°,使之迭代到收敛为止，获取该三个旋转角度值。
示例性的，在本发明实施例可以设置迭代次数为100，经100次迭代后能够获取比较稳定的数值。
204、根据姿态估计矩阵，获取姿态估计矩阵对应的旋转角度。
具体的，获取姿态估计矩阵对应的旋转角度roll，yaw以及pitch。
需要说明的是，步骤203和步骤204是实现获取人脸的旋转角度的过程，除了上述方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。
205、获取人脸的上嘴唇和下嘴唇之间的距离。
具体的，该过程包括：
A、对多个二维特征点坐标的角度进行校正。
该过程包括：
根据人脸的两只眼睛外角点的夹角，对多个二维特征点坐标的角度进行校正；
具体的，将两只眼睛外角点的夹角记为θ，多个二维特征点坐标可以是描述人脸***轮廓和内部的多个二维特征点坐标，通过以下公式对多个二维特征点坐标进行旋转以校正：
获取校正后的多个二维特征点的坐标。
示例性的，若多个二维特征点坐标为描述人脸***轮廓和内部的66个二维特征点坐标，则将66个二维特征点坐标通过公式(7)进行旋转，以校正这66个二维特征点位置，获取校正后的66个二维特征点的坐标。
可选的，多个二维特征点坐标也可以是描述人脸内部的49个二维特征点坐标，还可以是描述人脸嘴巴的18个特征点坐标，本发明实施例对具体的多个二维特征点坐标不加以限定。
需要说明的是，在实际应用中可以优选多个二维特征点坐标为描述人脸***轮廓和内部的多个特征点坐标。
因为获取描述人脸***轮廓和内部的多个二维特征点坐标，所以获取的多个二维特征点坐标能够更加准确定位视频中不同远近距离的人脸，避免了由于视频中的人脸的远近距离造成的上嘴唇和下嘴唇之间的距离不同，使得对应的速度控制标准不一的情况，从而进一步提高了获取的人脸的上嘴唇和下嘴唇之间的距离更加精准，提高了用户体验。
B、对校正后的特征点坐标进行归一化处理。
该过程包括：
根据校正后的多个二维特征点的坐标的重心位置，对校正后的多个二维特征点的坐标进行平移变换；
具体的，通过以下公式计算校正后的多个二维特征点的坐标的重心位置：
将校正后的多个二维特征点的坐标平移到该重心位置，得到新的多个二维特征点位置，表示如下：
x′i＝xi-xcenter
y′i＝yi-ycenter
对平移变换后的坐标进行缩放处理；
具体的，因为经过平移变换后的重心坐标位置为(0,0)，计算平移变换后的坐标到该重心位置的平均距离，该平均距离可以是多个平移变换后的坐标点集到重心位置的半径，该半径r表示如下:
对平移变换后的多个坐标归一化到(-1，1)之间，则归一化后的坐标可以表示为：
C、根据归一化处理的结果，获取人脸的上嘴唇和下嘴唇之间的距离。
本发明实施例对具体的方式不加以限定。
示例性的，获取的人脸的上嘴唇和下嘴唇之间的距离可以是图4中a中所指示的位置的上嘴唇和下嘴唇的坐标点位置间的距离，也可以是图4中b中所指示的上嘴唇和下嘴唇的坐标点位置间的距离，还可以是其他用于描述嘴唇的两个坐标点间的距离，本发明实施例对此不加以限定。
因为获取描述人脸***轮廓和内部的多个二维特征点坐标，所以获取的多个二维特征点坐标能够更加准确定位视频中不同远近距离的人脸，从而将不同远近距离的人脸的多个二维特征点坐标进行校正并归一化到预设的数值范围内，避免了由于视频中的人脸的远近距离造成的上嘴唇和下嘴唇之间的距离不同，使得对应的速度控制标准不一的情况，使得获取的人脸的上嘴唇和下嘴唇之间的距离更加精准，从而通过人脸的多个二维特征点坐标中的部分特征点，获取对应的控制指令参数，进一步提高了获取的控制指令参数的精确度，使得控制操作更加准确。
需要说明的是，步骤203和步骤204与步骤205可以按照上述顺序执行，也可以先执行步骤205在执行步骤203和步骤204，还可以同时执行步骤203和步骤204与步骤205，本发明实施例对具体的执行步骤203和步骤204与步骤205的顺序不加以限定。
值得注意的是，步骤203、步骤204以及步骤205是实现根据人脸的多个二维特征点坐标，获取对应的控制指令参数的过程，除了上述方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。
通过在人脸检测的基础上，根据人脸的多个二维特征点坐标，获取对应的控制指令参数，控制指令参数包括人脸的旋转角度和/或人脸的上嘴唇和下嘴唇之间的距离，因为人脸的多个二维特征点能够准确定位人脸的***轮廓以及内部眉毛、眼睛、鼻子、嘴巴轮廓，从而当人脸做出相应的表情动作时，通过特征点能够准确定位出人脸姿态，通过该姿态获取人脸的旋转角度以及上嘴唇和下嘴唇之间的距离，从而提高了获取的控制指令参数的精确度，方便了通过该控制指令参数对目标对象进行控制，提高了用户体验，满足了用户无需动手即可实现对目标对象进行控制的需求。
206、根据旋转角度，控制目标对象的方向。
具体的，可以根据旋转角度中的yaw角度，控制目标对象的左右方向，根据pitch角度，控制目标对象的上下方向，还可以通过其他方式根据旋转角度控制目标对象的方向，本发明实施对具体的方式不加以限定。
207、根据人脸的上嘴唇和下嘴唇之间的距离的大小，控制目标对象的速度的快慢。
具体的，当人脸的上嘴唇和下嘴唇之间的距离越大，则目标对象的速度越快；当人脸的上嘴唇和下嘴唇之间的距离越小，则目标对象的速度越慢。
需要说明的是，步骤206和步骤207是实现根据控制指令参数，控制目标对象的方向和速度的过程，除了上述方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。
通过根据控制指令参数，控制目标对象的方向和/或速度,因为该控制指令参数是在人脸检测的基础上，根据人脸的多个二维特征点坐标获取的，从而实现了通过人脸动作控制目标对象，该操作方式简洁方便，改变了传统的键盘、鼠标控制以及手指点按滑动的操作方式，提高了用户体验，满足了用户需求；同时，本发明实施例所提供的控制方式相较于传统的通过鼠标、键盘的操作控制方式，更加简洁方便，而且更具有趣味性，进一步提高了用户体验，同时，在一些游戏应用场景中，用户无需通过鼠标键盘或手指点按滑动控制目标对象的方向和/或速度，只需通过鼠标键盘或手指点按滑动进行其他操作并通过脸部动作控制目标对象的方向和/或速度，这样使得人脸动作操作与鼠标键盘或手指点按滑动操作相结合，进一步提高了可玩性，提高了用户体验，满足了用户需求。
本发明实施例提供了一种基于人脸识别的控制指令生成方法，通过在人脸检测的基础上，根据人脸的多个二维特征点坐标，获取对应的控制指令参数，控制指令参数包括人脸的旋转角度和/或人脸的上嘴唇和下嘴唇之间的距离，因为人脸的多个二维特征点能够准确定位人脸的***轮廓以及内部眉毛、眼睛、鼻子、嘴巴轮廓，从而当人脸做出相应的表情动作时，通过特征点能够准确定位出人脸姿态，通过该姿态获取人脸的旋转角度以及上嘴唇和下嘴唇之间的距离，从而提高了获取的控制指令参数的精确度，方便了通过该控制指令参数对目标对象进行控制，提高了用户体验，满足了用户无需动手即可实现对目标对象进行控制的需求；另外，通过根据控制指令参数，控制目标对象的方向和/或速度,因为该控制指令参数是在人脸检测的基础上，根据人脸的多个二维特征点坐标获取的，从而实现了通过人脸动作控制目标对象，该操作方式简洁方便，改变了传统的键盘、鼠标控制以及手指点按滑动的操作方式，提高了用户体验，满足了用户需求；同时，本发明实施例所提供的控制方式相较于传统的通过鼠标、键盘的操作控制方式，更加简洁方便，而且更具有趣味性，进一步提高了用户体验，同时，在一些游戏应用场景中，用户无需通过鼠标键盘或手指点按滑动控制目标对象的方向和/或速度，只需通过鼠标键盘或手指点按滑动进行其他操作并通过脸部动作控制目标对象的方向和/或速度，这样使得人脸动作操作与鼠标键盘或手指点按滑动操作相结合，进一步提高了可玩性，提高了用户体验，满足了用户需求。
实施例三
本本发明实施例提供了一种基于人脸识别的控制指令生成方法，在该实施例中控制指令参数包括人脸的旋转角度，通过该人脸的旋转角度，控制目标对象的方向，参照图5所示，方法流程包括：
501、获取当前视频帧，检测当前视频帧中的人脸。
具体的，该步骤与实施例二中的步骤201相同，此处不再加以赘述。
502、根据检测的人脸，获取人脸的多个二维特征点坐标中的部分特征点坐标。
具体的，该步骤中获取特征点坐标的方式与实施例二中的步骤202相同，此处不再加以赘述。
优选的，获取的人脸的多个二维特征点坐标中的部分特征点坐标可以是用于描述人脸内部的眉毛、眼睛、鼻子和嘴巴轮廓的部分二维特征点坐标，示例性的，可以是用于描述人脸内部的眉毛、眼睛、鼻子和嘴巴轮廓的49个二维特征点坐标。
除此之外，也可以获取的人脸的多个二维特征点坐标中的部分特征点坐标也可以是其他，本发明实施例对具体的部分特征点坐标不加以限定。
因为用于描述人脸的***轮廓的特征点坐标容易受到光照等因素的影响，从而通过人脸的***轮廓的特征点坐标所得的控制指令参数会受到影响，而本发明实施例获取的是人脸的多个二维特征点坐标中的部分特征点坐标，排除了光照等因素对控制指令参数造成的结果影响，从而通过人脸的多个二维特征点坐标中的部分特征点，获取对应的控制指令参数，进一步提高了获取的控制指令参数的精确度，使得控制操作更加准确。
503、获取人脸相对于三维模板人脸的姿态估计矩阵。
其中，三维模板人脸为处于正面的三维参照人脸；
具体的，该过程与实施例二中的步骤203相同，此处不再加以赘述。
504、根据姿态估计矩阵，获取姿态估计矩阵对应的旋转角度。
具体的，该过程与实施例二中的步骤204相同，此处不再加以赘述。
需要说明的是，需要说明的是，步骤503和步骤504是实现获取人脸的旋转角度的过程，除了上述方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。
值得注意的是，获取人脸的旋转角度的过程是实现根据人脸的多个二维特征点坐标，获取对应的控制指令参数的过程，除了该方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。
505、根据旋转角度，控制目标对象的方向。
具体的，该步骤与实施例二中的步骤206相同，此处不再加以赘述。
需要说明的是，步骤505是实现根据控制指令参数，控制目标对象的方向和速度的过程，除了上述方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。
本发明实施例提供了一种基于人脸识别的控制指令生成方法，通过在人脸检测的基础上，根据人脸的多个二维特征点坐标中的部分二维特征点坐标，获取对应的控制指令参数，因为人脸的多个二维特征点中的部分特征点坐标能够准确定位人脸的内部眉毛、眼睛、鼻子、嘴巴轮廓，从而当人脸做出相应的表情动作时，通过特征点能够准确定位出人脸姿态，通过该姿态获取人脸的旋转角度，从而提高了获取的控制指令参数的精确度，方便了通过该控制指令参数对目标对象进行控制，提高了用户体验，满足了用户无需动手即可实现对目标对象进行控制的需求；另外，通过根据控制指令参数，控制目标对象的方向,因为该控制指令参数是在人脸检测的基础上，根据人脸的多个二维特征点坐标中的部分二维特征点坐标获取的，从而实现了通过人脸动作控制目标对象，该操作方式简洁方便，改变了传统的键盘、鼠标控制以及手指点按滑动的操作方式，提高了用户体验，满足了用户需求；同时，本发明实施例所提供的控制方式相较于传统的通过鼠标、键盘的操作控制方式，更加简洁方便，而且更具有趣味性，进一步提高了用户体验，同时，在一些游戏应用场景中，用户无需通过鼠标键盘或手指点按滑动控制目标对象的方向，只需通过鼠标键盘或手指点按滑动进行其他操作并通过脸部动作控制目标对象的方向，这样使得人脸动作操作与鼠标键盘或手指点按滑动操作相结合，进一步提高了可玩性，提高了用户体验，满足了用户需求。
实施例四
本发明实施例提供了一种基于人脸识别的控制指令生成方法，在该实施例中控制指令参数包括人脸的上嘴唇和下嘴唇之间的距离，通过该人脸的上嘴唇和下嘴唇之间的距离，控制目标对象的速度，参照图6所示，方法流程包括：
601、获取当前视频帧，检测当前视频帧中的人脸。
具体的，该步骤与实施例二中的步骤201相同，此处不再加以赘述。
602、根据检测的人脸，获取人脸的多个二维特征点坐标。
具体的，该步骤中获取特征点坐标的方式与实施例二中的步骤201相同，此处不再加以赘述。
优选的，获取的人脸的多个二维特征点坐标可以是用于描述人脸***轮廓和内部的眉毛、眼睛、鼻子和嘴巴轮廓的多个二维特征点坐标，示例性的，可以是用于描述人脸***轮廓和内部的眉毛、眼睛、鼻子和嘴巴轮廓的多个二维特征点坐标的66个二维特征点坐标。
因为获取描述人脸***轮廓和内部的多个二维特征点坐标，所以获取的多个二维特征点坐标能够更加准确定位视频中不同远近距离的人脸，避免了由于视频中的人脸的远近距离造成的上嘴唇和下嘴唇之间的距离不同，使得对应的速度控制标准不一的情况，从而进一步提高了获取的人脸的上嘴唇和下嘴唇之间的距离更加精准，提高了用户体验。
603、对多个二维特征点坐标的角度进行校正。
具体的，该步骤与实施例二中的步骤205中步骤A相同，此处不再加以赘述。
604、对校正后的特征点坐标进行归一化处理。
具体的，该步骤与实施例二中的步骤205中步骤B相同，此处不再加以赘述。
605、根据归一化处理的结果，获取人脸的上嘴唇和下嘴唇之间的距离。
具体的，该步骤与实施例二中的步骤205中步骤C相同，此处不再加以赘述。
需要说明的是，步骤603至步骤605是实现获取人脸的上嘴唇和下嘴唇之间的距离的过程，除了上述方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。
因为获取描述人脸***轮廓和内部的多个二维特征点坐标，所以获取的多个二维特征点坐标能够更加准确定位视频中不同远近距离的人脸，从而将不同远近距离的人脸的多个二维特征点坐标进行校正并归一化到预设的数值范围内，避免了由于视频中的人脸的远近距离造成的上嘴唇和下嘴唇之间的距离不同，使得对应的速度控制标准不一的情况，使得获取的人脸的上嘴唇和下嘴唇之间的距离更加精准，从而通过人脸的多个二维特征点坐标中的部分特征点，获取对应的控制指令参数，进一步提高了获取的控制指令参数的精确度，使得控制操作更加准确。
值得注意的是，获取人脸的上嘴唇和下嘴唇之间的距离的过程是实现根据人脸的多个二维特征点坐标，获取对应的控制指令参数的过程，除了该方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。
606、根据人脸的上嘴唇和下嘴唇之间的距离的大小，控制目标对象的速度的快慢。
具体的，该步骤与实施例二中的步骤207相同，此处不再加以赘述。
需要说明的是，步骤606是实现根据控制指令参数，控制目标对象的方向和速度的过程，除了上述方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。
本发明实施例提供了一种基于人脸识别的控制指令生成方法，通过在人脸检测的基础上，根据人脸的多个二维特征点坐标，获取对应的控制指令参数，因为人脸的多个二维特征点能够准确定位人脸的***轮廓以及内部眉毛、眼睛、鼻子、嘴巴轮廓，从而当人脸做出相应的表情动作时，通过特征点能够准确定位出人脸姿态，通过该姿态获取人脸的上嘴唇和下嘴唇之间的距离，从而提高了获取的控制指令参数的精确度，方便了通过该控制指令参数对目标对象进行控制，提高了用户体验，满足了用户无需动手即可实现对目标对象进行控制的需求；另外，通过根据控制指令参数，控制目标对象的速度,因为该控制指令参数是在人脸检测的基础上，根据人脸的多个二维特征点坐标获取的，从而实现了通过人脸动作控制目标对象，该操作方式简洁方便，改变了传统的键盘、鼠标控制以及手指点按滑动的操作方式，提高了用户体验，满足了用户需求；同时，本发明实施例所提供的控制方式相较于传统的通过鼠标、键盘的操作控制方式，更加简洁方便，而且更具有趣味性，进一步提高了用户体验，同时，在一些游戏应用场景中，用户无需通过鼠标键盘或手指点按滑动控制目标对象的速度，只需通过鼠标键盘或手指点按滑动进行其他操作并通过脸部动作控制目标对象的速度，这样使得人脸动作操作与鼠标键盘或手指点按滑动操作相结合，进一步提高了可玩性，提高了用户体验，满足了用户需求。
实施例五
本发明实施例提供了一种电子设备7，参照图7所示，设备7包括：
视频帧获取模块71，用于获取当前视频帧；
人脸检测模块72，用于检测当前视频帧中的人脸；
特征点获取模块73，用于根据检测的人脸，获取人脸的多个二维特征点坐标；
控制指令参数获取模块74，用于根据人脸的多个二维特征点坐标，获取对应的控制指令参数，控制指令参数包括人脸的旋转角度和/或人脸的上嘴唇和下嘴唇之间的距离；
控制模块75，用于根据控制指令参数，控制目标对象的方向和/或速度。
可选的，控制指令参数获取模块74包括姿态估计模块741和旋转角度模块742；
姿态估计模块741，用于获取人脸相对于三维模板人脸的姿态估计矩阵，三维模板人脸为处于正面的三维参照人脸；
旋转角度模块742，用于根据姿态估计矩阵，获取姿态估计矩阵对应的旋转角度。
可选的，姿态估计模块741包括采集模块7411和计算模块7412；
采集模块7411用于根据人脸的多个二维特征点坐标中的部分特征点坐标，在三维模板人脸上采集与部分特征点坐标对应位置的多个三维特征点坐标；
计算模块7412用于根据投影映射矩阵，计算多个三维特征点坐标对应的多个二维映射坐标；
计算模块7412还用于计算部分特征点坐标与多个二维映射坐标之间的误差；以及
计算模块7412还用于计算使得误差最小的姿态估计矩阵。
可选的，控制指令参数获取模块74还包括校正模块743、归一化处理模块744和嘴唇距离获取模块745；
校正模块743用于对多个二维特征点坐标的角度进行校正；
归一化处理模块744用于对校正后的特征点坐标进行归一化处理；以及
嘴唇距离获取模块745用于根据归一化处理的结果，获取人脸的上嘴唇和下嘴唇之间的距离。
可选的，校正模块743具体用于根据人脸的两只眼睛外角点的夹角，对多个二维特征点坐标的角度进行校正，获取校正后的多个二维特征点的坐标。
可选的，归一化处理模块744包括平移变换模块7441；
平移变换模块7441用于根据校正后的多个二维特征点的坐标的重心位置，对校正后的多个二维特征点的坐标进行平移变换。
可选的，归一化处理模块744还包括缩放处理模块7442；
缩放处理模块7442具体用于对平移变换后的坐标进行缩放处理。
可选的，控制模块75具体用于：
根据旋转角度，控制目标对象的方向；和/或
根据人脸的上嘴唇和下嘴唇之间的距离的大小，控制目标对象的速度的快慢。
本发明实施例提供了一种电子设备，该电子设备通过在人脸检测的基础上，根据人脸的多个二维特征点坐标，获取对应的控制指令参数，控制指令参数包括人脸的旋转角度和/或人脸的上嘴唇和下嘴唇之间的距离，因为人脸的多个二维特征点能够准确定位人脸的***轮廓以及内部眉毛、眼睛、鼻子、嘴巴轮廓，从而当人脸做出相应的表情动作时，通过特征点能够准确定位出人脸姿态，通过该姿态获取人脸的旋转角度以及上嘴唇和下嘴唇之间的距离，从而提高了获取的控制指令参数的精确度，方便了通过该控制指令参数对目标对象进行控制，提高了用户体验，满足了用户无需动手即可实现对目标对象进行控制的需求；另外，通过根据控制指令参数，控制目标对象的方向和/或速度,因为该控制指令参数是在人脸检测的基础上，根据人脸的多个二维特征点坐标获取的，从而实现了通过人脸动作控制目标对象，该操作方式简洁方便，改变了传统的键盘、鼠标控制以及手指点按滑动的操作方式，提高了用户体验，满足了用户需求；同时，本发明实施例所提供的控制方式相较于传统的通过鼠标、键盘的操作控制方式，更加简洁方便，而且更具有趣味性，进一步提高了用户体验，同时，在一些游戏应用场景中，用户无需通过鼠标键盘或手指点按滑动控制目标对象的方向和/或速度，只需通过鼠标键盘或手指点按滑动进行其他操作并通过脸部动作控制目标对象的方向和/或速度，这样使得人脸动作操作与鼠标键盘或手指点按滑动操作相结合，进一步提高了可玩性，提高了用户体验，满足了用户需求。
实施例六
本发明实施例提供了一种电子设备8，电子设备8包括显示屏81、摄像头82、存储器83以及与显示屏81、摄像头82、存储器83连接的处理器84，其中，存储器83用于存储一组程序代码，处理器84调用存储器83所存储的程序代码用于执行以下操作：
获取当前视频帧，检测当前视频帧中的人脸；
根据检测的人脸，获取人脸的多个二维特征点坐标；
根据人脸的多个二维特征点坐标，获取对应的控制指令参数，控制指令参数包括人脸的旋转角度和/或人脸的上嘴唇和下嘴唇之间的距离；
根据控制指令参数，控制目标对象的方向和/或速度。
可选的，处理器84调用存储器83所存储的程序代码用于执行以下操作：
获取人脸相对于三维模板人脸的姿态估计矩阵，三维模板人脸为处于正面的三维参照人脸；
根据姿态估计矩阵，获取姿态估计矩阵对应的旋转角度。
可选的，处理器84调用存储器83所存储的程序代码用于执行以下操作：
根据人脸的多个二维特征点坐标中的部分特征点坐标，在三维模板人脸上采集与部分特征点坐标对应位置的多个三维特征点坐标；
根据投影映射矩阵，计算多个三维特征点坐标对应的多个二维映射坐标；
计算部分特征点坐标与多个二维映射坐标之间的误差；以及
计算使得误差最小的姿态估计矩阵。
可选的，处理器84调用存储器83所存储的程序代码用于执行以下操作：
对多个二维特征点坐标的角度进行校正；
对校正后的特征点坐标进行归一化处理；以及
根据归一化处理的结果，获取人脸的上嘴唇和下嘴唇之间的距离。
可选的，处理器84调用存储器83所存储的程序代码用于执行以下操作：
根据人脸的两只眼睛外角点的夹角，对多个二维特征点坐标的角度进行校正；
获取校正后的多个二维特征点的坐标。
可选的，处理器84调用存储器83所存储的程序代码用于执行以下操作：
根据校正后的多个二维特征点的坐标的重心位置，对校正后的多个二维特征点的坐标进行平移变换。
可选的，处理器84调用存储器83所存储的程序代码用于执行以下操作：
对平移变换后的坐标进行缩放处理。
可选的，处理器84调用存储器83所存储的程序代码用于执行以下操作：
根据旋转角度，控制目标对象的方向；和/或
根据人脸的上嘴唇和下嘴唇之间的距离的大小，控制目标对象的速度的快慢。
本发明实施例提供了一种电子设备，该电子设备通过在人脸检测的基础上，根据人脸的多个二维特征点坐标，获取对应的控制指令参数，控制指令参数包括人脸的旋转角度和/或人脸的上嘴唇和下嘴唇之间的距离，因为人脸的多个二维特征点能够准确定位人脸的***轮廓以及内部眉毛、眼睛、鼻子、嘴巴轮廓，从而当人脸做出相应的表情动作时，通过特征点能够准确定位出人脸姿态，通过该姿态获取人脸的旋转角度以及上嘴唇和下嘴唇之间的距离，从而提高了获取的控制指令参数的精确度，方便了通过该控制指令参数对目标对象进行控制，提高了用户体验，满足了用户无需动手即可实现对目标对象进行控制的需求；另外，通过根据控制指令参数，控制目标对象的方向和/或速度,因为该控制指令参数是在人脸检测的基础上，根据人脸的多个二维特征点坐标获取的，从而实现了通过人脸动作控制目标对象，该操作方式简洁方便，改变了传统的键盘、鼠标控制以及手指点按滑动的操作方式，提高了用户体验，满足了用户需求；同时，本发明实施例所提供的控制方式相较于传统的通过鼠标、键盘的操作控制方式，更加简洁方便，而且更具有趣味性，进一步提高了用户体验，同时，在一些游戏应用场景中，用户无需通过鼠标键盘或手指点按滑动控制目标对象的方向和/或速度，只需通过鼠标键盘或手指点按滑动进行其他操作并通过脸部动作控制目标对象的方向和/或速度，这样使得人脸动作操作与鼠标键盘或手指点按滑动操作相结合，进一步提高了可玩性，提高了用户体验，满足了用户需求。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
需要说明的是：上述实施例提供的电子设备在执行基于人脸识别的控制指令生成方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的电子设备与基于人脸识别的控制指令生成方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于人脸识别的控制指令生成方法，其特征在于，所述方法包括：
获取当前视频帧，检测所述当前视频帧中的人脸；
根据检测的所述人脸，获取所述人脸的多个二维特征点坐标；
根据所述人脸的多个二维特征点坐标，获取对应的控制指令参数，所述控制指令参数包括所述人脸的旋转角度和/或所述人脸的上嘴唇和下嘴唇之间的距离；
根据所述控制指令参数，控制目标对象的方向和/或速度。
2.根据权利要求1所述的方法，其特征在于，所述获取所述人脸的旋转角度包括：
获取所述人脸相对于三维模板人脸的姿态估计矩阵，所述三维模板人脸为处于正面的三维参照人脸；
根据所述姿态估计矩阵，获取所述姿态估计矩阵对应的旋转角度。
3.根据权利要求2所述的方法，其特征在于，所述获取所述人脸相对于三维模板人脸的姿态估计矩阵包括：
根据所述人脸的多个二维特征点坐标中的部分特征点坐标，在所述三维模板人脸上采集与所述部分特征点坐标对应位置的多个三维特征点坐标；
根据投影映射矩阵，计算所述多个三维特征点坐标对应的多个二维映射坐标；
计算所述部分特征点坐标与所述多个二维映射坐标之间的误差；以及
计算使得所述误差最小的姿态估计矩阵。
4.根据权利要求1所述的方法，其特征在于，所述获取所述人脸的上嘴唇和下嘴唇之间的距离包括：
对所述多个二维特征点坐标的角度进行校正；
对所述校正后的所述特征点坐标进行归一化处理；以及
根据所述归一化处理的结果，获取所述人脸的上嘴唇和下嘴唇之间的距离。
5.根据权利要求4所述的方法，其特征在于，所述对所述多个二维特征点坐标的角度进行校正包括：
根据所述人脸的两只眼睛外角点的夹角，对所述多个二维特征点坐标的角度进行校正；
获取校正后的所述多个二维特征点的坐标。
6.根据权利要求5所述的方法，其特征在于，所述对所述校正后的所述特征点坐标进行归一化处理包括：
根据所述校正后的所述多个二维特征点的坐标的重心位置，对所述校正后的所述多个二维特征点的坐标进行平移变换。
7.根据权利要求6所述的方法，其特征在于，所述对所述校正后的所述多个二维特征点的坐标进行平移变换之后，方法还包括：
对所述平移变换后的坐标进行缩放处理。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述控制指令参数，控制目标对象的方向和/或速度包括：
根据所述旋转角度，控制目标对象的方向；和/或
根据所述人脸的上嘴唇和下嘴唇之间的距离的大小，控制所述目标对象的速度的快慢。
9.一种电子设备，其特征在于，所述设备包括：
视频帧获取模块，用于获取当前视频帧；
人脸检测模块，用于检测所述当前视频帧中的人脸；
特征点获取模块，用于根据检测的所述人脸，获取所述人脸的多个二维特征点坐标；
控制指令参数获取模块，用于根据所述人脸的多个二维特征点坐标，获取对应的控制指令参数，所述控制指令参数包括所述人脸的旋转角度和/或所述人脸的上嘴唇和下嘴唇之间的距离；
控制模块，用于根据所述控制指令参数，控制目标对象的方向和/或速度。
10.根据权利要求9所述的设备，其特征在于，
所述控制指令参数获取模块包括姿态估计模块和旋转角度模块；
所述姿态估计模块，用于获取所述人脸相对于三维模板人脸的姿态估计矩阵，所述三维模板人脸为处于正面的三维参照人脸；
所述旋转角度模块，用于根据所述姿态估计矩阵，获取所述姿态估计矩阵对应的旋转角度。
11.根据权利要求9所述的设备，其特征在于，
所述控制指令参数获取模块还包括校正模块、归一化处理模块和嘴唇距离获取模块；
所述校正模块用于对所述多个二维特征点坐标的角度进行校正；
所述归一化处理模块用于对所述校正后的所述特征点坐标进行归一化处理；以及
所述嘴唇距离获取模块用于根据所述归一化处理的结果，获取所述人脸的上嘴唇和下嘴唇之间的距离。
CN201510979584.6A 2015-12-23 2015-12-23 一种基于人脸识别的控制指令生成方法及电子设备 Pending CN106909213A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510979584.6A CN106909213A (zh) 2015-12-23 2015-12-23 一种基于人脸识别的控制指令生成方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510979584.6A CN106909213A (zh) 2015-12-23 2015-12-23 一种基于人脸识别的控制指令生成方法及电子设备

Publications (1)

Publication Number Publication Date
CN106909213A true CN106909213A (zh) 2017-06-30

Family

ID=59200255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510979584.6A Pending CN106909213A (zh) 2015-12-23 2015-12-23 一种基于人脸识别的控制指令生成方法及电子设备

Country Status (1)

Country Link
CN (1) CN106909213A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451564A (zh) * 2017-07-31 2017-12-08 上海爱优威软件开发有限公司 一种人脸动作控制方法及***
CN107648846A (zh) * 2017-09-22 2018-02-02 广州帕克西软件开发有限公司 一种人脸跟踪的游戏交互方法及装置
CN109278704A (zh) * 2018-08-18 2019-01-29 荣雄 双模式车辆权限控制机构
CN109692476A (zh) * 2018-12-25 2019-04-30 广州华多网络科技有限公司 游戏交互方法、装置、电子设备及存储介质
CN109954274A (zh) * 2017-12-23 2019-07-02 金德奎 一种基于人脸检测跟踪的交互方法及游戏方法
CN110428492A (zh) * 2019-07-05 2019-11-08 北京达佳互联信息技术有限公司 三维唇部重建方法、装置、电子设备及存储介质
CN113504831A (zh) * 2021-07-23 2021-10-15 电光火石(北京)科技有限公司 基于人脸图像特征识别的iot设备控制方法、iot及终端设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159015A (zh) * 2007-11-08 2008-04-09 清华大学 一种二维人脸图像的识别方法
CN101393599A (zh) * 2007-09-19 2009-03-25 中国科学院自动化研究所 一种基于人脸表情的游戏角色控制方法
CN101968846A (zh) * 2010-07-27 2011-02-09 上海摩比源软件技术有限公司 一种人脸跟踪方法
CN102156537A (zh) * 2010-02-11 2011-08-17 三星电子株式会社 一种头部姿态检测设备及方法
CN104952104A (zh) * 2014-03-26 2015-09-30 联想(北京)有限公司 一种三维人体姿态估计方法和装置
CN105159452A (zh) * 2015-08-28 2015-12-16 成都通甲优博科技有限责任公司 一种基于人脸姿态估计的控制方法与***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393599A (zh) * 2007-09-19 2009-03-25 中国科学院自动化研究所 一种基于人脸表情的游戏角色控制方法
CN101159015A (zh) * 2007-11-08 2008-04-09 清华大学 一种二维人脸图像的识别方法
CN102156537A (zh) * 2010-02-11 2011-08-17 三星电子株式会社 一种头部姿态检测设备及方法
CN101968846A (zh) * 2010-07-27 2011-02-09 上海摩比源软件技术有限公司 一种人脸跟踪方法
CN104952104A (zh) * 2014-03-26 2015-09-30 联想(北京)有限公司 一种三维人体姿态估计方法和装置
CN105159452A (zh) * 2015-08-28 2015-12-16 成都通甲优博科技有限责任公司 一种基于人脸姿态估计的控制方法与***

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451564A (zh) * 2017-07-31 2017-12-08 上海爱优威软件开发有限公司 一种人脸动作控制方法及***
CN107648846A (zh) * 2017-09-22 2018-02-02 广州帕克西软件开发有限公司 一种人脸跟踪的游戏交互方法及装置
CN107648846B (zh) * 2017-09-22 2020-07-10 广州帕克西软件开发有限公司 一种人脸跟踪的游戏交互方法及装置
CN109954274A (zh) * 2017-12-23 2019-07-02 金德奎 一种基于人脸检测跟踪的交互方法及游戏方法
CN109278704A (zh) * 2018-08-18 2019-01-29 荣雄 双模式车辆权限控制机构
CN109692476A (zh) * 2018-12-25 2019-04-30 广州华多网络科技有限公司 游戏交互方法、装置、电子设备及存储介质
CN109692476B (zh) * 2018-12-25 2022-07-01 广州方硅信息技术有限公司 游戏交互方法、装置、电子设备及存储介质
CN110428492A (zh) * 2019-07-05 2019-11-08 北京达佳互联信息技术有限公司 三维唇部重建方法、装置、电子设备及存储介质
CN110428492B (zh) * 2019-07-05 2023-05-30 北京达佳互联信息技术有限公司 三维唇部重建方法、装置、电子设备及存储介质
CN113504831A (zh) * 2021-07-23 2021-10-15 电光火石(北京)科技有限公司 基于人脸图像特征识别的iot设备控制方法、iot及终端设备

Similar Documents

Publication Publication Date Title
CN106909213A (zh) 一种基于人脸识别的控制指令生成方法及电子设备
KR102523512B1 (ko) 얼굴 모델의 생성
JP6742405B2 (ja) 表情検出機能を備えたヘッドマウントディスプレイ
CN111880657B (zh) 一种虚拟对象的控制方法、装置、电子设备及存储介质
CN107704838B (zh) 目标对象的属性识别方法及装置
CN106650630B (zh) 一种目标跟踪方法及电子设备
CN110072046B (zh) 图像合成方法和装置
CN108028871A (zh) 移动设备上的无标记的多用户多对象增强现实
CN110458805A (zh) 一种平面检测方法、计算设备以及电路***
US20220044491A1 (en) Three-dimensional face model generation method and apparatus, device, and medium
CN109242961A (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
CN108830892B (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
CN109993810A (zh) 一种智能素描绘画方法、装置、存储介质及终端设备
CN107341827A (zh) 一种视频处理方法、装置和存储介质
WO2021244172A1 (zh) 图像处理和图像合成方法、装置和存储介质
CN111161395A (zh) 一种人脸表情的跟踪方法、装置及电子设备
CN106201173A (zh) 一种基于投影的用户交互图标的交互控制方法及***
CN107944420A (zh) 人脸图像的光照处理方法和装置
CN108305321B (zh) 一种基于双目彩色成像***的立体人手3d骨架模型实时重建方法和装置
CN109003224A (zh) 基于人脸的形变图像生成方法和装置
CN105107200A (zh) 基于实时深度体感交互与增强现实技术的变脸***及方法
CN107123139A (zh) 基于opengl的2D到3D人脸重建方法
CN109993135A (zh) 一种基于增强现实的手势识别方法、***及装置
CN117789306A (zh) 图像处理方法、装置及存储介质
CN113066125A (zh) 一种增强现实方法及其相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170630

RJ01 Rejection of invention patent application after publication