CN106933339A - 一种眼球驱动方法及电子设备 - Google Patents

一种眼球驱动方法及电子设备 Download PDF

Info

Publication number
CN106933339A
CN106933339A CN201511026866.0A CN201511026866A CN106933339A CN 106933339 A CN106933339 A CN 106933339A CN 201511026866 A CN201511026866 A CN 201511026866A CN 106933339 A CN106933339 A CN 106933339A
Authority
CN
China
Prior art keywords
coordinates
eyeball
eye
left eyes
eyeball position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511026866.0A
Other languages
English (en)
Inventor
周世威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhang Ying Information Technology (shanghai) Co Ltd
Original Assignee
Zhang Ying Information Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhang Ying Information Technology (shanghai) Co Ltd filed Critical Zhang Ying Information Technology (shanghai) Co Ltd
Priority to CN201511026866.0A priority Critical patent/CN106933339A/zh
Publication of CN106933339A publication Critical patent/CN106933339A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种眼球驱动方法及电子设备，属于图像处理领域。方法包括：获取当前视频帧中人脸的多个2D关键点坐标，根据多个2D关键点坐标确定人脸区域；通过左右眼滤波器对人脸区域进行滤波，获取当前视频帧中人脸的眼球位置的2D坐标；根据多个2D关键点坐标与对应的多个3D关键点坐标之间的转换关系，将眼球位置的2D坐标转换为眼球位置的3D坐标；根据眼球位置的3D坐标与眼球的初始位置的3D坐标，驱动目标对象的眼球。从而根据眼球位置的3D坐标与该眼球的初始位置的3D坐标，驱动目标对象的眼球位置，提高了眼球定位的精确度和稳定性，同时能够在移动端高效运行，提高了用户体验，满足了用户通过眼球转动控制目标对象的需求。

Description

一种眼球驱动方法及电子设备
技术领域
本发明涉及图像处理领域，特别涉及一种眼球驱动方法及电子设备。
背景技术
随着人脸识别在计算机技术中的普及，通过计算机对人脸进行识别的技术已应用在各个领域，在人脸识别中眼睛状态的识别至关重要，通过眼睛状态识别对眼球进行定位，能够实现用户对于通过眼睛识别对游戏中的目标进行控制等需求。
现有技术中的人眼球定位方法主要包括以下几种：基于几何特征的方法，如灰度投影法，霍夫曼变换等，是在眼睛感兴趣区域首先用Canny算子计算人眼边缘轮廓，然后利用霍夫曼变换来进行眼球的定位；基于统计的方法,如利用神经网络或支持向量机的方法，基于知识的方法。
但是现有技术中基于几何特征的方法非常容易受光照的影响，稳定性和精度都不够，而基于统计的方法虽然对光照有一定的适应性，但是需要大量的样本来训练分类器，使得使用该方法应用于移动端实时性较差，同时，基于知识的方法，是采用大量先验知识进行人眼定位，通用性不够。
发明内容
为了提高眼球定位的精确度和稳定性，同时使得该方法能够在移动端高效运行，提高用户体验，满足用户通过眼球转动控制游戏等中的目标对象的需求，本发明实施例提供了一种眼球驱动方法及电子设备。所述技术方案如下：
第一方面，提供了一种眼球驱动方法，所述方法包括：
获取当前视频帧中人脸的多个2D关键点坐标，根据所述多个2D关键点坐标确定人脸区域；
通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标；
将所述多个2D关键点坐标转换为对应的多个3D关键点坐标；
根据所述多个2D关键点坐标与所述对应的多个3D关键点坐标之间的转换关系，将所述眼球位置的2D坐标转换为眼球位置的3D坐标；
根据所述眼球位置的3D坐标与所述眼球的初始位置的3D坐标，驱动目标对象的眼球位置；
显示驱动后的所述目标对象的眼球。
结合第一方面，在第一种可能的实现方式中，所述通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标之前，所述方法还包括：
对所述人脸区域的尺寸和/或光照进行归一化处理，得到归一化后的人脸区域；
将所述归一化后的人脸区域转化为频域数据。
结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标包括：
通过左右眼滤波器对所述频域数据进行滤波，根据所述滤波后的输出图分别构建左右眼的感兴趣区域；
分别在所述左右眼的感兴趣区域中，确定滤波输出结果中最大值所在的位置坐标，获取分别与所述左右眼的感兴趣区域对应的所述左右眼的所述位置坐标；
判断所述左眼的所述位置坐标是否在左眼区域内，若是，则确定所述左眼的所述位置坐标为所述左眼的所述眼球位置的2D坐标，若否，则根据所述左眼的关键点信息，计算所述眼球位置的位置坐标，将所述计算所得的位置坐标作为所述左眼的所述眼球位置的2D坐标；以及
判断所述右眼的所述位置坐标是否在右眼区域内，若是，则确定所述右眼的所述位置坐标为所述右眼的所述眼球位置的2D坐标，若否，则根据所述右眼的关键点信息，计算所述眼球位置的位置坐标，将所述计算所得的位置坐标作为所述右眼的所述眼球位置的2D坐标。
结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，在执行所述确定所述位置坐标的步骤或所述计算所述眼球位置的位置坐标的步骤之后，所述方法还包括：
在所述位置坐标的周边预设区域内进行积分投影，根据积分最小值的位置的坐标调整所述左眼的所述眼球位置的2D坐标和/或所述右眼的所述眼球位置的2D坐标。
结合第一方面至第一方面的第三种任意一种可能的实现方式，在第四种可能的实现方式中，所述方法还包括：
获取多个人眼训练样本；
生成与所述多个人眼训练样本分别对应的多个精确滤波器；
根据所述多个精确滤波器，生成所述左右眼滤波器。
结合第一方面，在第五种可能的实现方式中，在将所述多个2D关键点坐标转换为对应的多个3D关键点坐标之前，方法还包括：
根据3D模型数据，计算所述多个2D关键点坐标与所述对应的多个3D关键点坐标之间的转换关系。
结合第一方面或第一方面的第五种可能的实现方式，在第六种可能的实现方式中，所述方法还包括：
获取所述目标对象的多个2D关键点坐标和眼球位置的2D坐标；
计算所述目标对象的多个3D关键点坐标和眼球位置的3D坐标。
结合第一方面至第一方面的第六种任意一种可能的实现方式，在第七种可能的实现方式中，所述根据所述眼球位置的3D坐标与所述眼球的初始位置的3D坐标，驱动目标对象的眼球位置包括：
分别获取所述左右眼的所述眼球位置的所述3D坐标与所述左右眼的所述眼球的初始位置的3D坐标的相对偏移量；
将所述左右眼的所述相对偏移量分别映射到所述目标对象的左右眼的眼球位置的3D坐标；以及
将所述目标对象的左右眼的眼球位置的3D坐标转换为2D坐标，驱动所述目标对象的眼球位置；
其中，所述眼球的初始位置和所述目标对象的眼球初始位置相对应。
结合第一方面的第七种可能的实现方式，在第八种可能的实现方式中，所述分别获取所述左右眼的所述眼球位置的所述3D坐标与所述左右眼的所述眼球的初始位置的3D坐标的相对偏移量包括：
分别将所述左右眼的所述眼球位置的所述3D坐标与所述左右眼的所述眼球的初始位置的3D坐标进行对比，根据对比结果分别获取所述左右眼的偏移量；
根据所述偏移量和对应的左右眼的感兴趣区域的宽和高，分别计算所述相对偏移量。
结合第一方面的第七种可能的实现方式，在第九种可能的实现方式中，所述将所述目标对象的左右眼的眼球位置的3D坐标转换为2D坐标还包括：
根据前一帧获取的转换2D坐标对当前转换的所述2D坐标进行预设比例加权调整，获取调整后的所述2D坐标。
结合第一方面的第九种可能的实现方式，在第十种可能的实现方式中，所述显示驱动后的所述目标对象的眼球包括：
根据调整后的所述2D坐标，显示驱动后的所述目标对象的眼球。
第二方面，提供了一种电子设备，所述电子设备包括：
获取关键点模块，用于获取当前视频帧中人脸的多个2D关键点坐标；
人脸区域确定模块，用于根据所述多个2D关键点坐标确定人脸区域；
滤波模块，用于通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标；
关键点转换模块，用于将所述多个2D关键点坐标转换为对应的多个3D关键点坐标；
所述关键点转换模块还用于根据所述多个2D关键点坐标与所述对应的多个3D关键点坐标之间的转换关系，将所述眼球位置的2D坐标转换为眼球位置的3D坐标；
驱动模块，用于根据所述眼球位置的3D坐标与所述眼球的初始位置的3D坐标，驱动目标对象的眼球位置；
显示模块，用于显示驱动后的所述目标对象的眼球。
结合第二方面，在第一种可能的实现方式中，所述设备还包括：
归一化处理模块，用于对所述人脸区域的尺寸和/或光照进行归一化处理，得到归一化后的人脸区域；
频域转换模块，用于将所述归一化后的人脸区域转化为频域数据。
结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，
所述滤波模块包括构建模块、位置确定模块、判断模块以及计算模块；
所述构建模块用于通过左右眼滤波器对所述频域数据进行滤波，根据所述滤波后的输出图分别构建左右眼的感兴趣区域；
所述位置确定模块用于分别在所述左右眼的感兴趣区域中，确定滤波输出结果中最大值所在的位置坐标，获取分别与所述左右眼的感兴趣区域对应的所述左右眼的所述位置坐标；
所述判断模块用于判断所述左眼的所述位置坐标是否在左眼区域内，当判断是，则触发所述位置确定模块确定所述左眼的所述位置坐标为所述左眼的所述眼球位置的2D坐标，当判定否，则根据所述左眼的关键点信息，触发所述计算模块计算所述眼球位置的位置坐标，将所述计算所得的位置坐标作为所述左眼的所述眼球位置的2D坐标；以及
所述判断模块还用于判断所述右眼的所述位置坐标是否在右眼区域内，当判定是，则触发所述位置确定模块确定所述右眼的所述位置坐标为所述右眼的所述眼球位置的2D坐标，当判定否，则根据所述右眼的关键点信息，触发所述计算模块计算所述眼球位置的位置坐标，将所述计算所得的位置坐标作为所述右眼的所述眼球位置的2D坐标。
结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述设备还包括：
积分确定模块，用于在所述位置坐标的周边预设区域内进行积分投影，根据积分最小值的位置的坐标调整所述左眼的所述眼球位置的2D坐标和/或所述右眼的所述眼球位置的2D坐标。
结合第二方面至第二方面的第三种任意一种可能的实现方式，在第四种可能的实现方式中，所述设备还包括：
样本获取模块，用于获取多个人眼训练样本；
精确滤波器生成模块，用于生成与所述多个人眼训练样本分别对应的多个精确滤波器；
左右眼滤波器生成模块，用于根据所述多个精确滤波器，生成所述左右眼滤波器。
结合第二方面，在第五种可能的实现方式中，所述设备还包括：
转换关系计算模块，用于根据3D模型数据，计算所述多个2D关键点坐标与所述对应的多个3D关键点坐标之间的转换关系。
结合第二方面或第二方面的第五种可能的实现方式，在第六种可能的实现方式中，所述设备还包括：
目标对象关键点获取模块，用于获取所述目标对象的多个2D关键点坐标和眼球位置的2D坐标；
目标对象3D坐标计算模块，用于计算所述目标对象的多个3D关键点坐标和眼球位置的3D坐标。
结合第二方面至第二方面的第六种任意一种可能的实现方式，在第七种可能的实现方式中，所述驱动模块还包括：
偏移量获取模块，用于分别获取所述左右眼的所述眼球位置的所述3D坐标与所述左右眼的所述眼球的初始位置的3D坐标的相对偏移量；
映射模块，用于将所述左右眼的所述相对偏移量分别映射到所述目标对象的左右眼的眼球位置的3D坐标；以及
目标对象坐标转换模块，用于将所述目标对象的左右眼的眼球位置的3D坐标转换为2D坐标，驱动所述目标对象的眼球位置；
其中，所述眼球的初始位置和所述目标对象的眼球初始位置相对应。
结合第二方面的第七种可能的实现方式，在第八种可能的实现方式中，所述偏移量获取模块还包括：
对比模块，用于分别将所述左右眼的所述眼球位置的所述3D坐标与所述左右眼的所述眼球的初始位置的3D坐标进行对比，根据对比结果分别获取所述左右眼的偏移量；
相对偏移量计算模块，用于根据所述偏移量和对应的左右眼的感兴趣区域的宽和高，分别计算所述相对偏移量。
结合第二方面的第七种可能的实现方式，在第九种可能的实现方式中，目标对象坐标转换模块还包括：
调整模块，用于根据前一帧获取的转换2D坐标对当前转换的所述2D坐标进行预设比例加权调整，获取调整后的所述2D坐标。
结合第二方面的第九种可能的实现方式，在第十种可能的实现方式中，所述显示模块具体用于：
根据调整后的所述2D坐标，显示驱动后的所述目标对象的眼球。
第三方面，提供了一种电子设备，所述电子设备包括显示屏、摄像头、存储器以及与所述显示屏、所述摄像头、所述存储器连接的处理器，其中，所述存储器用于存储一组程序代码，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
获取当前视频帧中人脸的多个2D关键点坐标，根据所述多个2D关键点坐标确定人脸区域；
通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标；
将所述多个2D关键点坐标转换为对应的多个3D关键点坐标；
根据所述多个2D关键点坐标与所述对应的多个3D关键点坐标之间的转换关系，将所述眼球位置的2D坐标转换为眼球位置的3D坐标；
根据所述眼球位置的3D坐标与所述眼球的初始位置的3D坐标，驱动目标对象的眼球位置；
显示驱动后的所述目标对象的眼球。
结合第三方面，在第一种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
对所述人脸区域的尺寸和/或光照进行归一化处理，得到归一化后的人脸区域；
将所述归一化后的人脸区域转化为频域数据。
结合第三方面的第一种可能的实现方式，在第二种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
通过左右眼滤波器对所述频域数据进行滤波，根据所述滤波后的输出图分别构建左右眼的感兴趣区域；
分别在所述左右眼的感兴趣区域中，确定滤波输出结果中最大值所在的位置坐标，获取分别与所述左右眼的感兴趣区域对应的所述左右眼的所述位置坐标；
判断所述左眼的所述位置坐标是否在左眼区域内，若是，则确定所述左眼的所述位置坐标为所述左眼的所述眼球位置的2D坐标，若否，则根据所述左眼的关键点信息，计算所述眼球位置的位置坐标，将所述计算所得的位置坐标作为所述左眼的所述眼球位置的2D坐标；以及
判断所述右眼的所述位置坐标是否在右眼区域内，若是，则确定所述右眼的所述位置坐标为所述右眼的所述眼球位置的2D坐标，若否，则根据所述右眼的关键点信息，计算所述眼球位置的位置坐标，将所述计算所得的位置坐标作为所述右眼的所述眼球位置的2D坐标。
结合第三方面的第二种可能的实现方式，在第三种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
在所述位置坐标的周边预设区域内进行积分投影，根据积分最小值的位置的坐标调整所述左眼的所述眼球位置的2D坐标和/或所述右眼的所述眼球位置的2D坐标。
结合第三方面至第三方面的第三种任意一种可能的实现方式，在第四种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
获取多个人眼训练样本；
生成与所述多个人眼训练样本分别对应的多个精确滤波器；
根据所述多个精确滤波器，生成所述左右眼滤波器。
结合第三方面，在第五种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
根据3D模型数据，计算所述多个2D关键点坐标与所述对应的多个3D关键点坐标之间的转换关系。
结合第三方面或第三方面的第五种可能的实现方式，在第六种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
获取所述目标对象的多个2D关键点坐标和眼球位置的2D坐标；
计算所述目标对象的多个3D关键点坐标和眼球位置的3D坐标。
结合第三方面至第三方面的第六种任意一种可能的实现方式，在第七种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
分别获取所述左右眼的所述眼球位置的所述3D坐标与所述左右眼的所述眼球的初始位置的3D坐标的相对偏移量；
将所述左右眼的所述相对偏移量分别映射到所述目标对象的左右眼的眼球位置的3D坐标；以及
将所述目标对象的左右眼的眼球位置的3D坐标转换为2D坐标，驱动所述目标对象的眼球位置；
其中，所述眼球的初始位置和所述目标对象的眼球初始位置相对应。
结合第三方面的第七种可能的实现方式，在第八种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
分别将所述左右眼的所述眼球位置的所述3D坐标与所述左右眼的所述眼球的初始位置的3D坐标进行对比，根据对比结果分别获取所述左右眼的偏移量；
根据所述偏移量和对应的左右眼的感兴趣区域的宽和高，分别计算所述相对偏移量。
结合第三方面的第七种可能的实现方式，在第九种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
根据前一帧获取的转换2D坐标对当前转换的所述2D坐标进行预设比例加权调整，获取调整后的所述2D坐标。
结合第三方面的第九种可能的实现方式，在第十种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
根据调整后的所述2D坐标，显示驱动后的所述目标对象的眼球。
本发明公开了一种眼球驱动方法及电子设备，该方法包括：获取当前视频帧中人脸的多个2D关键点坐标，根据多个2D关键点坐标确定人脸区域；通过左右眼滤波器对人脸区域进行滤波，获取当前视频帧中人脸的眼球位置的2D坐标；将多个2D关键点坐标转换为对应的多个3D关键点坐标；根据多个2D关键点坐标与对应的多个3D关键点坐标之间的转换关系，将眼球位置的2D坐标转换为眼球位置的3D坐标；根据眼球位置的3D坐标与眼球的初始位置的3D坐标，驱动目标对象的眼球位置；显示驱动后的目标对象的眼球。本发明实施例根据眼球位置的3D坐标与该眼球的初始位置的3D坐标，驱动目标对象的眼球位置，提高了眼球定位及驱动的精确度和稳定性，同时能够在移动端高效运行，提高了用户体验，满足了用户通过眼球转动控制目标对象的需求；另外，通过左右眼滤波器对人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标，这样相较于传统的单纯依赖图片纹理信息或者仅通过滤波器定位眼球的方法而言，本发明实施例的方法将滤波器定位眼球和人脸关键点定位技术相结合，从而进一步提高了眼球定位的精确度和稳定性，同时因为滤波器可以是线下训练获得的，使得该方法在移动端运行时无需再占用处理资源，进一步提高了在移动端的运行速度，提高了用户体验，满足了用户需求；另外，将所述多个2D关键点坐标转换为对应的多个3D关键点坐标，这样使得获取的即时视频帧中的人脸的关键点的尺度保持一致，同时进行了正面化，从而避免了人脸处于侧面或尺度不一致时对眼球定位造成的影响，同时，将眼球位置的2D坐标转换为眼球位置的3D坐标，使得在该尺度一致以及正面化后的3D空间中获取该眼球位置的3D坐标，进一步提高了眼球定位的精确度，并通过该3D坐标进行驱动目标对象的眼球位置，进一步提高了眼球驱动的精确度和稳定性；另外，本发明实施例所提供的眼球驱动方法可以应用在对游戏等中的目标对象的眼球控制中，丰富了对游戏中目标对象控制的方式，满足了用户通过眼球转动对目标对象进行控制的需求，从而进一步提高了用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种眼球驱动方法流程图；
图2是本发明实施例提供的一种眼球驱动方法流程图；
图3是本发明实施例提供的一种确定的人脸区域示意图；
图4是本发明实施例提供的一种眼球驱动方法流程图；
图5是本发明实施例提供的一种左右眼感兴趣区域示意图；
图6是本发明实施例提供的一种眼球驱动方法流程图；
图7是本发明实施例提供的一种眼球驱动方法流程图；
图8是本发明实施例提供的一种眼球驱动方法流程图；
图9是本发明实施例提供的电子设备结构示意图；
图10是本发明实施例提供的电子设备结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种眼球驱动方法，该方法可以应用于一种交互***中，该***可以包括至少一个电子设备以及用户，其中，该电子设备可以是智能手机，也可以是平板电脑或可穿戴设备，还可以是其他移动终端，本发明实施例对具体的电子设备不加以限定；该电子设备至少包括视频输入模块和视频显示模块，视频输入模块可以包括摄像头，视频显示模块可以包括显示屏。
该方法可以应用于对游戏中的目标对象的眼球转动进行控制的场景中，在该场景中电子设备中至少可以运行一种游戏程序，该电子设备通过运行游戏程序，以及通过开启摄像头功能获取用户的眼球位置，以对游戏中的目标对象的眼球位置进行控制。
除此之外，该方法也可以应用于其他交互***和应用场景中，本发明实施例对该具体的交互***和应用场景不加以限定。
实施例一
本发明实施例提供了一种眼球驱动方法，参照图1，该方法包括：
101、获取当前视频帧中人脸的多个2D关键点坐标，根据多个2D关键点坐标确定人脸区域。
可选的，在步骤102之前，方法还可包括：
对人脸区域的尺寸和/或光照进行归一化处理，得到归一化后的人脸区域；
将归一化后的人脸区域转化为频域数据。
102、通过左右眼滤波器对人脸区域进行滤波，获取当前视频帧中人脸的眼球位置的2D坐标。
具体的，该过程可以包括：
通过左右眼滤波器对频域数据进行滤波，根据滤波后的输出图分别构建左右眼的感兴趣区域；
分别在左右眼的感兴趣区域中，确定滤波输出结果中最大值所在的位置坐标，获取分别与左右眼的感兴趣区域对应的左右眼的位置坐标；
判断左眼的位置坐标是否在左眼区域内，若是，则确定所述左眼的位置坐标为左眼的眼球位置的2D坐标，若否，则根据左眼的关键点信息，计算眼球位置的位置坐标，将计算所得的位置坐标作为左眼的眼球位置的2D坐标；以及
判断右眼的位置坐标是否在右眼区域内，若是，则确定所述右眼的位置坐标为右眼的眼球位置的2D坐标，若否，则根据右眼的关键点信息，计算眼球位置的位置坐标，将计算所得的位置坐标作为右眼的眼球位置的2D坐标。
优选的，在执行确定位置坐标的步骤或计算眼球位置的位置坐标的步骤之后，方法还包括：
在位置坐标的周边预设区域内进行积分投影，根据积分最小值的位置的坐标调整所述左眼的眼球位置的2D坐标和/或所述右眼的眼球位置的2D坐标。
可选的，本发明实施例的左右眼滤波器可以是预先生成的，其中，生成左右眼滤波器的过程可以包括：
获取多个人眼训练样本；
生成与多个人眼训练样本分别对应的多个精确滤波器；
根据多个精确滤波器，生成左右眼滤波器。
103、将多个2D关键点坐标转换为对应的多个3D关键点坐标。
可选的，在执行步骤104之前，方法还包括：
根据3D模型数据，计算多个2D关键点坐标与对应的多个3D关键点坐标之间的转换关系。
104、根据多个2D关键点坐标与对应的多个3D关键点坐标之间的转换关系，将眼球位置的2D坐标转换为眼球位置的3D坐标。
105、根据眼球位置的3D坐标与眼球的初始位置的3D坐标，驱动目标对象的眼球位置。
具体的，该过程包括：
分别获取左右眼的眼球位置的3D坐标与左右眼的眼球的初始位置的3D坐标的相对偏移量；
将左右眼的相对偏移量分别映射到目标对象的左右眼的眼球位置的3D坐标；以及
将目标对象的左右眼的眼球位置的3D坐标转换为2D坐标，驱动目标对象的眼球位置。
其中，眼球的初始位置和目标对象的眼球初始位置相对应。
可选的，分别获取左右眼的眼球位置的3D坐标与左右眼的眼球的初始位置的3D坐标的相对偏移量包括：
分别将左右眼的眼球位置的3D坐标与左右眼的眼球的初始位置的3D坐标进行对比，根据对比结果分别获取左右眼的偏移量；
根据偏移量和对应的左右眼的感兴趣区域的宽和高，分别计算相对偏移量。
可选的，将目标对象的左右眼的眼球位置的3D坐标转换为2D坐标还包括：
根据前一帧获取的转换2D坐标对当前转换的2D坐标进行预设比例加权调整，获取调整后的2D坐标。
106、显示驱动后的目标对象的眼球。
可选的，方法还包括：
获取目标对象的多个2D关键点坐标和眼球位置的2D坐标；
计算目标对象的多个3D关键点坐标和眼球位置的3D坐标。
可选的，根据调整后的2D坐标，显示驱动后的目标对象的眼球位置。
可选的，显示驱动后的目标对象的眼球可以包括：
根据调整后的2D坐标，显示驱动后的目标对象的眼球。
本发明实施例提供了一种眼球驱动方法，通过根据眼球位置的3D坐标与该眼球的初始位置的3D坐标，驱动目标对象的眼球位置，提高了眼球定位及驱动的精确度和稳定性，同时能够在移动端高效运行，提高了用户体验，满足了用户通过眼球转动控制目标对象的需求；另外，通过左右眼滤波器对人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标，这样相较于传统的单纯依赖图片纹理信息或者仅通过滤波器定位眼球的方法而言，本发明实施例的方法将滤波器定位眼球和人脸关键点定位技术相结合，从而进一步提高了眼球定位的精确度和稳定性，同时因为滤波器可以是线下训练获得的，使得该方法在移动端运行时无需再占用处理资源，进一步提高了在移动端的运行速度，提高了用户体验，满足了用户需求；另外，将所述多个2D关键点坐标转换为对应的多个3D关键点坐标，这样使得获取的即时视频帧中的人脸的关键点的尺度保持一致，同时进行了正面化，从而避免了人脸处于侧面或尺度不一致时对眼球定位造成的影响，同时，将眼球位置的2D坐标转换为眼球位置的3D坐标，使得在该尺度一致以及正面化后的3D空间中获取该眼球位置的3D坐标，进一步提高了眼球定位的精确度，并通过该3D坐标进行驱动目标对象的眼球位置，进一步提高了眼球驱动的精确度和稳定性；另外，本发明实施例所提供的眼球驱动方法可以应用在对游戏等中的目标对象的眼球控制中，丰富了对游戏中目标对象控制的方式，满足了用户通过眼球转动对目标对象进行控制的需求，从而进一步提高了用户体验。
实施例二
本发明实施例提供了一种眼球驱动方法，参照图2所示，该方法包括：
201、获取当前视频帧中人脸的多个2D关键点坐标，根据多个2D关键点坐标确定人脸区域。
具体的，获取当前视频帧中人脸的多个2D关键点坐标可以通过基于形状回归的方法对当前视频帧中的人脸关键点进行定位，获取人脸的多个2D关键点坐标，也可以通过SDM(Supervised Descent Method，有监督梯度下降法)算法获取人脸的多个2D关键点坐标，还可以通过其他方式获取，本发明实施例对具体的获取当前视频帧中人脸的多个2D关键点坐标的方式不加以限定。
其中，人脸的多个2D关键点坐标可以包括用于描述人脸***轮廓的关键点坐标和/或内部的关键点坐标，该内部的关键点坐标包括分别用于描述人脸眉毛、眼睛、鼻子、嘴巴轮廓的关键点坐标，该人脸的多个2D关键点坐标还可以包括其他，本发明实施例对具体的人脸的多个2D关键点坐标不加以限定。
示例性的，该人脸的多个2D关键点坐标可以包括用于描述该人脸***轮廓和内部的66个关键点坐标。
根据多个2D关键点坐标确定人脸区域，可以是根据位于人脸左右的表示水平距离最宽的两个点和人脸上下的表示竖直距离最长的两个点组成的矩形区域，示例性的，参照图3中a所示的人脸区域，是由箭头所指示的左右两侧的两个点和箭头所指示上下的两个点组成的矩形区域；也可以是包含了用于描述人脸的多个2D关键点坐标的预设人脸区域，示例性的，该人脸区域可以参照图3中b所示；除此之外，该根据多个2D关键点坐标确定人脸区域也可以是其他的人脸区域，本发明实施例对具体的人脸区域不加以限定。
需要说明的是，该根据多个2D关键点坐标确定的人脸区域可以是矩形，也可以是椭圆形或其他形状，本发明实施例对具体的人脸区域的形状不加以限定。
202、对人脸区域的尺寸和/或光照进行归一化处理，得到归一化后的人脸区域。
具体的，对人脸区域的尺寸进行归一化的过程可以包括：
将人脸区域的尺寸缩放至预设尺寸，优选的，该预设尺寸可以为128*128；
对人脸区域的光照进行归一化的过程可以为：
对人脸区域的光照进行log变换。
通过对人脸区域的尺寸进行归一化处理，可以避免由于尺寸差异对眼球定位结果所造成的影响，以及对人脸区域的光照进行归一化处理，降低了阴影和光照对眼球定位的影响，从而进一步提高了眼球定位的精确度和稳定性。
需要说明的是，步骤202是可选步骤，在实际应用中，在步骤201之后，可以直接执行步骤203，无需执行步骤202。
203、将归一化后的人脸区域转化为频域数据。
具体的，获取人脸区域的二维高斯分布图像G,若在步骤203之前，执行步骤202，则获取归一化的人脸区域的二维高斯分布图像G；
对二维高斯分布图像G进行快速傅里叶变换，生成与人脸区域对应的F,若在步骤203之前，执行步骤202，则获取与归一化的人脸区域对应的F。
根据G与F，生成与人脸区域对应的H，若在步骤203之前，执行步骤202，则生成与归一化的人脸区域对应的H。
其中，可以根据预设公式生成与人脸区域对应的H，该预设公式可以为：
将H与人脸区域相乘，获取频域数据，若在步骤203之前，执行步骤202，则将H与归一化的人脸区域相乘，获取频域数据。
204、通过左右眼滤波器对人脸区域进行滤波，获取当前视频帧中人脸的眼球位置的2D坐标。
具体的，参照图4所示，该过程可以包括：
2041、通过左右眼滤波器对频域数据进行滤波，根据滤波后的输出图分别构建左右眼的感兴趣区域。
具体的，该过程包括：
将频域数据输入左右眼滤波器，对频域数据中所包括的像素点的灰度值进行滤波，输出滤波结果，该滤波结果包括左右眼兴趣区域以及该左右眼感兴趣区域内所有像素点的灰度值；
其中，可以根据输出图中用于描述左右眼的关键点坐标计算左右眼的中心点以及左右眼的长和宽，分别根据左右眼的中心点和左右眼的长和宽分别构建左右眼的感兴趣区域。
示例性的，参照图5所示，分别根据用于描述左眼的序号为36-41的6个关键点和用于描述右眼的序号为42-47的6个关键点分别计算左右眼的中心点以及左右眼的长和宽，以分别构建左右眼的感兴趣区域。
需要说明的是，此处构建左右眼的感兴趣区域，还可以通过其他方式实现，本发明实施例对具体的方式不加以限定，其中，图5中所示的左右眼的感兴趣区域只是示例性的。
2042、分别在左右眼的感兴趣区域中，确定滤波输出结果中最大值所在的位置坐标，获取分别与左右眼的感兴趣区域对应的左右眼的位置坐标。
具体的，确定滤波输出结果所包括的灰度值最大值的像素点所在的位置为眼球位置坐标，该眼球位置坐标可以为右眼和/或左眼的眼球位置坐标。
在实际应用中，可以先对左眼进行滤波，输出左眼的眼球位置坐标，再对右眼进行滤波，输出右眼的眼球位置坐标，还可以先对右眼进行滤波，输出右眼的眼球位置坐标，再对左眼进行滤波，输出左眼的眼球位置坐标，还可以同时对左眼和右眼进行滤波，同时输出左眼的眼球位置坐标和右眼的眼球位置坐标，本发明实施例对具体的滤波顺序不加以限定。
2043、判断左眼的位置坐标是否在左眼区域内，若判定是，则执行步骤2044；若判定否，则执行步骤2045。
其中，左眼区域是指由用于描述左眼轮廓的关键点构成的左眼轮廓区域。
具体的，判断步骤2043中输出的左眼的眼球位置坐标是否在左眼轮廓区域的范围内，若是，则执行步骤2044；若判定否，则执行步骤2045。
示例性的，参照步骤2041中的示例所述，若左眼轮廓区域是由用于描述左眼轮廓的序号为36-41的6个关键点组成的眼睛轮廓区域，则判断2043中输出的左眼的眼球位置坐标是否在由序号为36-41的6个关键点组成的眼睛轮廓区域内，若是，则执行步骤2044；若判定否，则执行步骤2045。
2044、确定左眼的位置坐标为左眼的眼球位置的2D坐标。
具体的，将步骤2043中输出的左眼的眼球位置坐标作为左眼的眼球位置的2D坐标，本发明实施例对具体的确定方式不加以限定。
2045、根据左眼的关键点信息，计算眼球位置的位置坐标，将计算所得的位置坐标作为左眼的眼球位置的2D坐标。
具体的，根据左眼的关键点信息，通过预设公式计算左眼球位置的位置坐标，该预设公式可以是：
其中，I是指人脸图像的灰度图，表示高斯分布，μ表示均值，δ表示方差。
将通过该预设公式计算所得的位置坐标作为左眼的眼球位置的2D坐标。
2046、判断右眼的位置坐标是否在右眼区域内，若判定是，则执行步骤2047；若判定否，则执行步骤2048。
其中，右眼区域是指由用于描述右眼轮廓的关键点构成的右眼轮廓区域。
具体的，判断步骤2043中输出的右眼的眼球位置坐标是否在右眼轮廓区域的范围内，若是，则执行步骤2047；若判定否，则执行步骤2048。
示例性的，参照步骤2041中的示例所述，若右眼轮廓区域是由用于描述右眼轮廓的序号为42-47的6个关键点组成的眼睛轮廓区域，则判断2043中输出的右眼的眼球位置坐标是否在由序号为42-47的6个关键点组成的眼睛轮廓区域内，若判定是，则执行步骤2047；若判定否，则执行步骤2048。
2047、确定右眼的位置坐标为右眼的眼球位置的2D坐标。
具体的，将步骤2043中输出的左右眼的眼球位置坐标作为右眼的眼球位置的2D坐标，本发明实施例对具体的确定方式不加以限定。
2048、根据右眼的关键点信息，计算眼球位置的位置坐标，将计算所得的位置坐标作为右眼的眼球位置的2D坐标。
具体的，根据右眼的关键点信息，通过预设公式计算右眼球位置的位置坐标，该预设公式与步骤2045中的相同，此处不再加以赘述。
将通过该预设公式计算所得的位置坐标作为右眼的眼球位置的2D坐标。
值得注意的是，在该步骤204中的步骤2043-2045和步骤2046-2048可以按照上述顺序执行，也可以先执行步骤2046-2048再行步骤2043-2045，也可以同时执行步骤2043-2045和步骤2046-2048，本发明实施例对执行步骤2043-2045和步骤2046-2048的顺序不加以限定。
通过判断滤波后获取人脸的左右眼球位置的2D坐标是否分别在左右眼区域内，这样避免了当用户带有黑框眼镜或眼睛周边有类似眼球黑色色彩存在时，对眼球定位的尖峰位置造成的干扰，从而避免了因为错误的尖峰位置造成眼球定位错误的情况，从而进一步提高了眼球定位的准确性，保证了通过眼球定位进行目标对象眼球驱动的准确性，从而进一步提高了用户体验。
可选的，参照图6所示，在执行步骤2044和步骤2045，该方法还包括：
2049、在左眼的位置坐标的周边预设区域内进行积分投影，根据积分最小值的位置的坐标调整左眼的眼球位置的2D坐标。
具体的，为了进一步得到精度更高的定位点，分别在已经得到的左右眼球位置的2D坐标点的周边预设区域内分别在水平和垂直方向对纹理信息进行积分投影，然后确定积分最小值的位置的坐标为最终的眼球位置的2D坐标。
优选的，该预设区域可以是左右眼球位置的2D坐标点的周边7*7的区域。
通过在确定滤波输出结果中最大值所在的位置坐标为眼球位置坐标之后，进一步进行积分投影计算，验证所得到的眼球位置坐标的准确性，从而保证了对眼球位置坐标的准确性，从而进一步提高了眼球定位的精确度。
在执行步骤2047和步骤2048之后，方法还包括：
20410、在右眼的位置坐标的周边预设区域内进行积分投影，根据积分最小值的位置的坐标调整右眼的眼球位置的2D坐标。
具体的，该过程与步骤2049相似，此处不再加以赘述。
205、根据3D模型数据，计算多个2D关键点坐标与对应的多个3D关键点坐标之间的转换关系。
该3D模型数据可以是3D线性形状增益模型，该过程具体包括：
首先训练3D线性形状增益模型，在数据集，例如Multi-PIE数据集中采用“从运动中恢复结构”的3D重构技术，对多个2D关键点坐标数据集计算对应的3D点坐标点，再对用于描述人脸内部的关键点分成三部分，该三个部分分别用于描述眼睛、眉毛、以及嘴巴或鼻子的轮廓的关键点，对于每个部分进行奇异值分解，得到Ψeyes，Ψeyebrows，Ψmouth，再将每个部分进行重组，这样就得到了3D表情形状增益模型Ψ。
根据训练得到了的3D表情形状增益模型Ψ，通过预设公式计算该转换关系，该预设公式可以为：
其中，s表示缩放尺度，R表示旋转矩阵，t表示偏移量，表情中性表情的3D坐标。
对该转换关系的进行计算最小化二乘的最优解，公式如下：
其中,xi，yi为当前视频帧中的人脸的2D关键点坐标点，zi是相对深度值，ε是阈值，ρ表示惩罚项。
通过训练3D线性形状增益模型计算转换关系，以及对转换关系的进行计算最小化二乘的最优解，这样确保了通过转换关系计算的3D坐标的准确性，同时因为计算2D关键点坐标与对应的3D关键点坐标转换关系可以是在线下进行了，避免在移动端运行时对处理资源的占用，从而进一步提高了在移动端的运行速度。
206、将多个2D关键点坐标转换为对应的多个3D关键点坐标。
具体的，根据步骤205中计算的转换关系，将多个2D关键点坐标计算转换为对应的多个3D关键点坐标。
需要说明的是，计算获得的多个3D关键点坐标为归一化以及正面化的坐标。
通过将多个2D关键点坐标转换为对应的多个3D关键点坐标，这样使得获取的即时视频帧中的人脸的关键点的尺度保持一致，同时进行了正面化，从而避免了人脸处于侧面或尺度不一致时对眼球定位造成的影响，从而进一步提高了眼球定位的精确度和准确性，提高了通过该3D坐标进行目标对象眼球位置驱动的准确性。
207、根据多个2D关键点坐标与对应的多个3D关键点坐标之间的转换关系，将眼球位置的2D坐标转换为眼球位置的3D坐标。
具体的，根据步骤205中计算的转换关系，将眼球位置的2D坐标转换为眼球位置的3D坐标。
通过根据转换关系将眼球位置的2D坐标转换为眼球位置的3D坐标，使得在该尺度一致以及正面化后的3D空间中获取该眼球位置的3D坐标，进一步提高了眼球定位的精确度，并通过该3D坐标进行驱动目标对象的眼球位置，进一步提高了眼球驱动的精确度和稳定性。
208、根据眼球位置的3D坐标与眼球的初始位置的3D坐标，驱动目标对象的眼球位置。
其中，眼球的初始位置和目标对象的眼球初始位置相对应。
具体的，该过程包括：
A、分别获取左右眼的眼球位置的3D坐标与左右眼的眼球的初始位置的3D坐标的相对偏移量。
具体的，该过程可以包括：
分别将左右眼的眼球位置的3D坐标与左右眼的眼球的初始位置的3D坐标进行对比，根据对比结果分别获取左右眼的偏移量；
根据偏移量和对应的左右眼的感兴趣区域的宽和高，分别计算相对偏移量。
左右眼的感兴趣区域与步骤2041中构建的左右眼的感兴趣区域可以相同，也可以不同，本发明实施例对此不加以限定。
优选的，根据步骤2041中构建的左右眼的感兴趣区域，分别获取左右眼的感兴趣区域的长和宽。
其中，获取的左右眼的偏移量具有x轴和y轴的分量。
将左右眼的偏移量在x轴和y轴的分量分别除以对应的左右眼的感兴趣区域的长和宽，分别计算x轴和y轴的相对偏移量，从而分别获取相对偏移量。
B、将左右眼的相对偏移量分别映射到目标对象的左右眼的眼球位置的3D坐标。
具体的，将x轴和y轴的相对偏移量分别乘以目标对象的左右眼的感兴趣区域的长和宽，获取目标对象的左右眼的感兴趣区域的长和宽在x轴和y轴的偏移量，再根据x轴和y轴的偏移量，调整目标对象的左右眼的眼球位置的3D坐标。
可选的，执行步骤208的该步骤B之后，还可以包括：
根据前一帧获取的转换2D坐标对当前转换的2D坐标进行预设比例加权调整，获取调整后的2D坐标。
优选的，该预设比例可以为0.4和0.6。
具体的，将前一帧获取的转换2D坐标与当前转换的2D坐标按照预设比例进行加权，获取调整后的2D坐标。
通过将前一帧获取的转换2D坐标与当前转换的2D坐标按照预设比例的进行加权，使得获取的驱动后的2D眼球坐标过度更加自然，从而进行提高了用户体验，满足了用户需求。
C、将目标对象的左右眼的眼球位置的3D坐标转换为2D坐标，驱动目标对象的眼球位置。
具体的，根据步骤205中计算的转换关系，将目标对象的左右眼的眼球位置的3D坐标转换回2D坐标，驱动目标对象的眼球位置。
209、显示驱动后的目标对象的眼球。
具体的，根据步骤208中C步骤中转换回的2D坐标在目标对象中显示左右眼的眼球。
可选的，若执行步骤209之前执行根据前一帧获取的转换2D坐标对当前转换的2D坐标进行预设比例加权调整，获取调整后的2D坐标，则步骤2012的过程还可以为：
根据调整后的2D坐标，显示驱动后的目标对象的眼球。
通过根据调整后的2D坐标，显示驱动后的目标对象的眼球，使得驱动后的目标对象的眼球显示更加自然，从而进行提高了用户体验，满足了用户需求。
可选的，参照图7所示，若本发明实施例的左右眼滤波器是预先生成的，则方法还包括生成左右眼滤波器的过程，则在执行步骤201之前，还包括以下步骤：
701、获取多个人眼训练样本。
具体的，该多个人眼训练样本包括多个右眼训练样本和多个左眼训练样本，在实际应用中，可以根据同一个人眼训练样本，分别生成对应的右眼训练样本和左眼训练样本。
获取多个右眼训练样本和多个左眼训练样本的过程可以为：
从本地的样本库中获取多个人脸图像；或者
从网络侧的数据库中获取多个人脸图像，示例性的，该数据库可以为Bio1D或者MUCT；或者
还可以通过识别从网络侧或者本地的多个图片中识别出多个满足预设条件的图片，并将该多个图片作为人脸图像。
识别该多个人脸图像中的右眼，生成多个右眼训练样本，以及识别该多个人脸图像中的左眼，生成多个左眼训练样本。
对多个右眼训练样本中的人脸进行定位，获取人脸的多个2D关键点坐标，根据多个2D关键点坐标确定人脸区域，以及将右眼训练样本中的确定的人脸区域裁剪为矩形；以及对多个左眼训练样本中的人脸进行定位，获取人脸的多个2D关键点坐标，根据多个2D关键点坐标确定人脸区域，以及将左眼训练样本中的确定的人脸区域裁剪为矩形。
还可以将多个右眼训练样本和多个左眼训练样本的尺寸缩放至预设尺寸，优选的，该预设尺寸可以为128*128；
通过对多个右眼训练样本和多个左眼训练样本的尺寸进行归一化处理，可以避免由于尺寸差异所造成的训练结果差异，进而提高左右眼滤波器识别人眼的准确率，从而进一步提高了眼球定位的精确度。
可选的，为了获取更多的右眼训练样本和左眼训练样本，还可以对多个右眼训练样本和多个左眼训练样本执行以下操作：
对该多个右眼训练样本和多个左眼训练样本分别进行左右旋转±π/20、上下左右平移各4个像素以及将图像缩放1.0±0.1倍中的至少一个，以获取更多的多个右眼训练样本和多个左眼训练样本。
通过根据一个样本生成多个样本，从而除了获取更多的右眼训练样本和左眼训练样本之外，还可以通过比较该一个样本所产生的多个样本之间的训练结果，检验该左右眼滤波器的准确性。
可选的，对多个右眼训练样本和多个左眼训练样本进行log变换。通过对多个右眼训练样本和多个左眼训练样本进行log变换，可以降低阴影和光照的影响，提高左右眼滤波器识别人眼的准确率，从而进一步提高了眼球定位的精确度和稳定性。
此外，还可对多个右眼训练样本和多个左眼训练样本进行归一化，例如归一化至[0,1]。
702、生成与多个人眼训练样本分别对应的多个精确滤波器。
具体的，分别获取与多个右眼训练样本和多个左眼训练样本对应的二维高斯分布图像G,该过程可以是通过第一预设公式实现的，该第一预设公式可以为：
其中xc yc表示左眼或右眼的坐标位置，δ表示控制峰值的范围。
其中，δ的取值直接影响到整个滤波器的检测精确度和抗噪性能，所以通过第二预设公式确定δ的取值：
其中，下标left表示左眼，下标right表示右眼，Test表示通过滤波器定位出来的眼球坐标点，True表示真实地人工标注的眼球坐标点，Error表示测量准则。
对δ分别取正整数，并根据该预设公式进行验证，在实际应用中，δ可以取[2,4]之间的正整数。
对右眼和/或左眼的二维高斯分布图像G进行快速傅里叶变换，生成与多个右眼训练样本和多个左眼训练样本分别对应的F。
利用空间域与频域之间的关系，生成与多个右眼训练样本和多个左眼训练样本分别对应的多个精确滤波器，该过程可以是通过第三预设公式实现的，该第三预设公式可以为：
其中，H*(w，v)即为与多个右眼训练样本和多个左眼训练样本对应的多个精确滤波器，其中，精确滤波器包括精确右眼滤波器和/或精确左眼滤波器。
703、根据多个精确滤波器，生成左右眼滤波器。
具体的，通过傅里叶变换的线性操作特性，将精确右眼滤波器和精确左眼滤波器的平均值，分别生成右眼滤波器和左眼滤波器，该过程可以是通过第四预设公式实现，该第四预设公式可以为：
hava(x，y)＝Hava *(w，v)
其中，是进行反傅里叶变换的过程，hava(x，y)即为右眼或左眼滤波器，将右眼滤波器和左眼滤波器统称为左右眼滤波器。
通过将精确右眼滤波器和精确左眼滤波器的平均值，分别生成右眼滤波器和左眼滤波器，避免了训练样本之间的差异对左右眼滤波器准确性的影响，从而提高了左右眼滤波器识别人眼的准确率。
要说明的是，上述步骤702-703中对左眼和右眼并行操作获取左右眼滤波器仅是示例，也可以先对左眼进行上述相关操作获取左眼滤波器之后，再对右眼进行上述相关操作获取右眼滤波器，从而获取左右眼滤波器，或者也可以先对右眼进行上述相关操作获取右眼滤波器之后，再对左眼进行上述相关操作获取左眼滤波器，从而获取左右眼滤波器，本发明实施例对此不加以限定。
可选的，参照图8所示，在执行步骤208之前，方法还包括：
801、获取目标对象的多个2D关键点坐标和眼球位置的2D坐标。
具体的，获取目标对象的多个2D关键点坐标和眼球位置的2D坐标可以是线下手工标记获取，也可以是对实时获取的目标对象进行步骤201至步骤205的方式进行定位，本发明实施例对此不加以限定。
802、计算目标对象的多个3D关键点坐标和眼球位置的3D坐标。
具体的，通过步骤205计算的转换关系计算目标对象的多个3D关键点坐标和眼球位置的3D坐标，此处再不加以赘述。
值得注意的是，可以是先执行步骤201至步骤207，再执行步骤801和步骤802，也可以先执行步骤801和步骤802，再执行步骤201至步骤207，也可以是在执行步骤201至步骤207的过程中，执行步骤801和步骤802，还可以是线下执行步骤801和步骤802。
本发明实施例提供了一种眼球驱动方法，通过根据眼球位置的3D坐标与该眼球的初始位置的3D坐标，驱动目标对象的眼球位置，提高了眼球定位及驱动的精确度和稳定性，同时能够在移动端高效运行，提高了用户体验，满足了用户通过眼球转动控制目标对象的需求；另外，通过左右眼滤波器对人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标，这样相较于传统的单纯依赖图片纹理信息或者仅通过滤波器定位眼球的方法而言，本发明实施例的方法将滤波器定位眼球和人脸关键点定位技术相结合，从而进一步提高了眼球定位的精确度和稳定性，同时因为滤波器可以是线下训练获得的，使得该方法在移动端运行时无需再占用处理资源，进一步提高了在移动端的运行速度，提高了用户体验，满足了用户需求；另外，将所述多个2D关键点坐标转换为对应的多个3D关键点坐标，这样使得获取的即时视频帧中的人脸的关键点的尺度保持一致，同时进行了正面化，从而避免了人脸处于侧面或尺度不一致时对眼球定位造成的影响，同时，将眼球位置的2D坐标转换为眼球位置的3D坐标，使得在该尺度一致以及正面化后的3D空间中获取该眼球位置的3D坐标，进一步提高了眼球定位的精确度，并通过该3D坐标进行驱动目标对象的眼球位置，进一步提高了眼球驱动的精确度和稳定性；另外，本发明实施例所提供的眼球驱动方法可以应用在对游戏等中的目标对象的眼球控制中，丰富了对游戏中目标对象控制的方式，满足了用户通过眼球转动对目标对象进行控制的需求，从而进一步提高了用户体验。
实施例三
本发明实施例提供了一种电子设备9，参照图9所示，该电子设备包括：
获取关键点模块91，用于获取当前视频帧中人脸的多个2D关键点坐标；
人脸区域确定模块92，用于根据多个2D关键点坐标确定人脸区域；
滤波模块93，用于通过左右眼滤波器对人脸区域进行滤波，获取当前视频帧中人脸的眼球位置的2D坐标；
关键点转换模块94，用于将多个2D关键点坐标转换为对应的多个3D关键点坐标；
关键点转换模块94，还用于根据多个2D关键点坐标与对应的多个3D关键点坐标之间的转换关系，将眼球位置的2D坐标转换为眼球位置的3D坐标；
驱动模块95，用于根据眼球位置的3D坐标与眼球的初始位置的3D坐标，驱动目标对象的眼球位置；
显示模块96，用于显示驱动后的目标对象的眼球。
可选，设备还包括：
归一化处理模块97，用于对人脸区域的尺寸和/或光照进行归一化处理，得到归一化后的人脸区域；
频域转换模块98，用于将归一化后的人脸区域转化为频域数据。
可选的，滤波模块93包括构建模块931、位置确定模块932、判断模块933以及计算模块934；
构建模块931，用于通过左右眼滤波器对频域数据进行滤波，根据滤波后的输出图分别构建左右眼的感兴趣区域；
位置确定模块932，用于分别在左右眼的感兴趣区域中，确定滤波输出结果中最大值所在的位置坐标，获取分别与左右眼的感兴趣区域对应的左右眼的位置坐标；
判断模块933，用于判断左眼的位置坐标是否在左眼区域内，当判断是时，则触发位置确定模块932确定左眼的位置坐标为左眼的眼球位置的2D坐标，当判定否时，则根据左眼的关键点信息，触发计算模块934计算眼球位置的位置坐标，将计算所得的位置坐标作为左眼的眼球位置的2D坐标；以及
判断模块933，还用于判断右眼的位置坐标是否在右眼区域内，当判定是时，则触发位置确定932模块确定右眼的位置坐标为右眼的眼球位置的2D坐标，当判定否时，则根据右眼的关键点信息，触发计算模块934计算眼球位置的位置坐标，将计算所得的位置坐标作为右眼的眼球位置的2D坐标。
可选的，设备还包括：
积分确定模块99，用于在位置坐标的周边预设区域内进行积分投影，根据积分最小值的位置的坐标调整左眼的眼球位置的2D坐标和/或右眼的眼球位置的2D坐标。
可选的，设备还包括：
样本获取模块910，用于获取多个人眼训练样本；
精确滤波器生成模块911，用于生成与多个人眼训练样本分别对应的多个精确滤波器；
左右眼滤波器生成模块912，用于根据多个精确滤波器，生成左右眼滤波器。
可选的，设备还包括：
转换关系计算模块913，用于根据3D模型数据，计算多个2D关键点坐标与对应的多个3D关键点坐标之间的转换关系。
可选的，设备还包括：
目标对象关键点获取模块914，用于获取目标对象的多个2D关键点坐标和眼球位置的2D坐标；
目标对象3D坐标计算模块915，用于计算目标对象的多个3D关键点坐标和眼球位置的3D坐标。
可选的，驱动模块95还包括：
偏移量获取模块951，用于分别获取左右眼的眼球位置的3D坐标与左右眼的眼球的初始位置的3D坐标的相对偏移量；
映射模块952，用于将左右眼的相对偏移量分别映射到目标对象的左右眼的眼球位置的3D坐标；以及
目标对象坐标转换模块953，用于将目标对象的左右眼的眼球位置的3D坐标转换为2D坐标，驱动目标对象的眼球位置；
其中，眼球的初始位置和目标对象的眼球初始位置相对应。
可选的，偏移量获取模块951还包括：
对比模块9511，用于分别将左右眼的眼球位置的3D坐标与左右眼的眼球的初始位置的3D坐标进行对比，根据对比结果分别获取左右眼的偏移量；
相对偏移量计算模块9512，用于根据偏移量和对应的左右眼的感兴趣区域的宽和高，分别计算相对偏移量。
可选的，目标对象坐标转换模块953还包括：
调整模块9531，用于根据前一帧获取的转换2D坐标对当前转换的2D坐标进行预设比例加权调整，获取调整后的2D坐标。
可选的，显示模块96具体用于：
根据调整后的2D坐标，显示驱动后的目标对象的眼球。
本发明实施例提供了一种电子设备，该电子设备通过根据眼球位置的3D坐标与该眼球的初始位置的3D坐标，驱动目标对象的眼球位置，提高了眼球定位及驱动的精确度和稳定性，同时能够在移动端高效运行，提高了用户体验，满足了用户通过眼球转动控制目标对象的需求；另外，通过左右眼滤波器对人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标，这样相较于传统的单纯依赖图片纹理信息或者仅通过滤波器定位眼球的方法而言，本发明实施例的方法将滤波器定位眼球和人脸关键点定位技术相结合，从而进一步提高了眼球定位的精确度和稳定性，同时因为滤波器可以是线下训练获得的，使得该方法在移动端运行时无需再占用处理资源，进一步提高了在移动端的运行速度，提高了用户体验，满足了用户需求；另外，将所述多个2D关键点坐标转换为对应的多个3D关键点坐标，这样使得获取的即时视频帧中的人脸的关键点的尺度保持一致，同时进行了正面化，从而避免了人脸处于侧面或尺度不一致时对眼球定位造成的影响，同时，将眼球位置的2D坐标转换为眼球位置的3D坐标，使得在该尺度一致以及正面化后的3D空间中获取该眼球位置的3D坐标，进一步提高了眼球定位的精确度，并通过该3D坐标进行驱动目标对象的眼球位置，进一步提高了眼球驱动的精确度和稳定性；另外，本发明实施例所提供的眼球驱动方法可以应用在对游戏等中的目标对象的眼球控制中，丰富了对游戏中目标对象控制的方式，满足了用户通过眼球转动对目标对象进行控制的需求，从而进一步提高了用户体验。
实施例四
本发明实施例提供了一种电子设备10，参照图10所示，该电子设备包括显示屏1001、摄像头1002、存储器1003以及与显示屏1001、摄像头1002、存储器1003连接的处理器1004，其中，存储器1003用于存储一组程序代码，处理器1004调用存储器1003所存储的程序代码用于执行以下操作：
获取当前视频帧中人脸的多个2D关键点坐标，根据多个2D关键点坐标确定人脸区域；
通过左右眼滤波器对人脸区域进行滤波，获取当前视频帧中人脸的眼球位置的2D坐标；
将多个2D关键点坐标转换为对应的多个3D关键点坐标；
根据多个2D关键点坐标与对应的多个3D关键点坐标之间的转换关系，将眼球位置的2D坐标转换为眼球位置的3D坐标；
根据眼球位置的3D坐标与眼球的初始位置的3D坐标，驱动目标对象的眼球位置；
显示驱动后的目标对象的眼球。
可选的,处理器1004调用存储器1003所存储的程序代码用于执行以下操作：
对人脸区域的尺寸和/或光照进行归一化处理，得到归一化后的人脸区域；
将归一化后的人脸区域转化为频域数据。
可选的,处理器1004调用存储器1003所存储的程序代码用于执行以下操作：
通过左右眼滤波器对频域数据进行滤波，根据滤波后的输出图分别构建左右眼的感兴趣区域；
分别在左右眼的感兴趣区域中，确定滤波输出结果中最大值所在的位置坐标，获取分别与左右眼的感兴趣区域对应的左右眼的位置坐标；
判断左眼的位置坐标是否在左眼区域内，若是，则确定左眼的位置坐标为左眼的眼球位置的2D坐标，若否，则根据左眼的关键点信息，计算眼球位置的位置坐标，将计算所得的位置坐标作为左眼的眼球位置的2D坐标；以及
判断右眼的位置坐标是否在右眼区域内，若是，则确定右眼的位置坐标为右眼的眼球位置的2D坐标，若否，则根据右眼的关键点信息，计算眼球位置的位置坐标，将计算所得的位置坐标作为右眼的眼球位置的2D坐标。
可选的,处理器1004调用存储器1003所存储的程序代码用于执行以下操作：
在位置坐标的周边预设区域内进行积分投影，根据积分最小值的位置的坐标调整左眼的眼球位置的2D坐标和/或右眼的眼球位置的2D坐标。
可选的,处理器1004调用存储器1003所存储的程序代码用于执行以下操作：
获取多个人眼训练样本；
生成与多个人眼训练样本分别对应的多个精确滤波器；
根据多个精确滤波器，生成左右眼滤波器。
可选的,处理器1004调用存储器1003所存储的程序代码用于执行以下操作：
根据3D模型数据，计算多个2D关键点坐标与对应的多个3D关键点坐标之间的转换关系。
可选的,处理器1004调用存储器1003所存储的程序代码用于执行以下操作：
获取目标对象的多个2D关键点坐标和眼球位置的2D坐标；
计算目标对象的多个3D关键点坐标和眼球位置的3D坐标。
可选的,处理器1004调用存储器1003所存储的程序代码用于执行以下操作：
分别获取左右眼的眼球位置的3D坐标与左右眼的眼球的初始位置的3D坐标的相对偏移量；
将左右眼的相对偏移量分别映射到目标对象的左右眼的眼球位置的3D坐标；以及
将目标对象的左右眼的眼球位置的3D坐标转换为2D坐标，驱动目标对象的眼球位置；
其中，眼球的初始位置和目标对象的眼球初始位置相对应。
可选的,处理器1004调用存储器1003所存储的程序代码用于执行以下操作：
分别将左右眼的眼球位置的3D坐标与左右眼的眼球的初始位置的3D坐标进行对比，根据对比结果分别获取左右眼的偏移量；
根据偏移量和对应的左右眼的感兴趣区域的宽和高，分别计算相对偏移量。
可选的,处理器1004调用存储器1003所存储的程序代码用于执行以下操作：
根据前一帧获取的转换2D坐标对当前转换的2D坐标进行预设比例加权调整，获取调整后的2D坐标。
可选的,处理器1004调用存储器1003所存储的程序代码用于执行以下操作：
根据调整后的2D坐标，显示驱动后的目标对象的眼球。
本发明实施例提供了一种电子设备，该电子设备通过根据眼球位置的3D坐标与该眼球的初始位置的3D坐标，驱动目标对象的眼球位置，提高了眼球定位及驱动的精确度和稳定性，同时能够在移动端高效运行，提高了用户体验，满足了用户通过眼球转动控制目标对象的需求；另外，通过左右眼滤波器对人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标，这样相较于传统的单纯依赖图片纹理信息或者仅通过滤波器定位眼球的方法而言，本发明实施例的方法将滤波器定位眼球和人脸关键点定位技术相结合，从而进一步提高了眼球定位的精确度和稳定性，同时因为滤波器可以是线下训练获得的，使得该方法在移动端运行时无需再占用处理资源，进一步提高了在移动端的运行速度，提高了用户体验，满足了用户需求；另外，将所述多个2D关键点坐标转换为对应的多个3D关键点坐标，这样使得获取的即时视频帧中的人脸的关键点的尺度保持一致，同时进行了正面化，从而避免了人脸处于侧面或尺度不一致时对眼球定位造成的影响，同时，将眼球位置的2D坐标转换为眼球位置的3D坐标，使得在该尺度一致以及正面化后的3D空间中获取该眼球位置的3D坐标，进一步提高了眼球定位的精确度，并通过该3D坐标进行驱动目标对象的眼球位置，进一步提高了眼球驱动的精确度和稳定性；另外，本发明实施例所提供的眼球驱动方法可以应用在对游戏等中的目标对象的眼球控制中，丰富了对游戏中目标对象控制的方式，满足了用户通过眼球转动对目标对象进行控制的需求，从而进一步提高了用户体验。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
值得注意的是，本发明实施例中所涉及的界面仅仅是为了进一步说明本发明实施例的方法，仅仅是示例性的，此处并非特指。
需要说明的是：上述实施例提供的电子设备在实施眼球驱动方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的电子设备与眼球驱动方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种眼球驱动方法，其特征在于，所述方法包括：
获取当前视频帧中人脸的多个2D关键点坐标，根据所述多个2D关键点坐标确定人脸区域；
通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标；
将所述多个2D关键点坐标转换为对应的多个3D关键点坐标；
根据所述多个2D关键点坐标与所述对应的多个3D关键点坐标之间的转换关系，将所述眼球位置的2D坐标转换为眼球位置的3D坐标；
根据所述眼球位置的3D坐标与所述眼球的初始位置的3D坐标，驱动目标对象的眼球位置；
显示驱动后的所述目标对象的眼球。
2.根据权利要求1所述的方法，其特征在于，所述通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标之前，所述方法还包括：
对所述人脸区域的尺寸和/或光照进行归一化处理，得到归一化后的人脸区域；
将所述归一化后的人脸区域转化为频域数据。
3.根据权利要求2所述的方法，其特征在于，所述通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标包括：
通过左右眼滤波器对所述频域数据进行滤波，根据所述滤波后的输出图分别构建左右眼的感兴趣区域；
分别在所述左右眼的感兴趣区域中，确定滤波输出结果中最大值所在的位置坐标，获取分别与所述左右眼的感兴趣区域对应的所述左右眼的所述位置坐标；
判断所述左眼的所述位置坐标是否在左眼区域内，若是，则确定所述左眼的所述位置坐标为所述左眼的所述眼球位置的2D坐标，若否，则根据所述左眼的关键点信息，计算所述眼球位置的位置坐标，将所述计算所得的位置坐标作为所述左眼的所述眼球位置的2D坐标；以及
判断所述右眼的所述位置坐标是否在右眼区域内，若是，则确定所述右眼的所述位置坐标为所述右眼的所述眼球位置的2D坐标，若否，则根据所述右眼的关键点信息，计算所述眼球位置的位置坐标，将所述计算所得的位置坐标作为所述右眼的所述眼球位置的2D坐标。
4.根据权利要求3所述的方法，其特征在于，在执行所述确定所述位置坐标的步骤或所述计算所述眼球位置的位置坐标的步骤之后，所述方法还包括：
在所述位置坐标的周边预设区域内进行积分投影，根据积分最小值的位置的坐标调整所述左眼的所述眼球位置的2D坐标和/或所述右眼的所述眼球位置的2D坐标。
5.根据权利要求1至4任意一项所述的方法，其特征在于，所述方法还包括：
获取多个人眼训练样本；
生成与所述多个人眼训练样本分别对应的多个精确滤波器；
根据所述多个精确滤波器，生成所述左右眼滤波器。
6.根据权利要求1所述的方法，其特征在于，在所述将所述多个2D关键点坐标转换为对应的多个3D关键点坐标之前，方法还包括：
根据3D模型数据，计算所述多个2D关键点坐标与所述对应的多个3D关键点坐标之间的转换关系。
7.根据权利要求1或6所述的方法，其特征在于，所述方法还包括：
获取所述目标对象的多个2D关键点坐标和眼球位置的2D坐标；
计算所述目标对象的多个3D关键点坐标和眼球位置的3D坐标。
8.根据权利要求1至7任意一项所述的方法，其特征在于，所述根据所述眼球位置的3D坐标与所述眼球的初始位置的3D坐标，驱动目标对象的眼球位置包括：
分别获取所述左右眼的所述眼球位置的所述3D坐标与所述左右眼的所述眼球的初始位置的3D坐标的相对偏移量；
将所述左右眼的所述相对偏移量分别映射到所述目标对象的左右眼的眼球位置的3D坐标；以及
将所述目标对象的左右眼的眼球位置的3D坐标转换为2D坐标，驱动所述目标对象的眼球位置；
其中，所述眼球的初始位置和所述目标对象的眼球初始位置相对应。
9.一种电子设备，其特征在于，所述设备包括：
获取关键点模块，用于获取当前视频帧中人脸的多个2D关键点坐标；
人脸区域确定模块，用于根据所述多个2D关键点坐标确定人脸区域；
滤波模块，用于通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标；
关键点转换模块，用于将所述多个2D关键点坐标转换为对应的多个3D关键点坐标；
所述关键点转换模块还用于根据所述多个2D关键点坐标与所述对应的多个3D关键点坐标之间的转换关系，将所述眼球位置的2D坐标转换为眼球位置的3D坐标；
驱动模块，用于根据所述眼球位置的3D坐标与所述眼球的初始位置的3D坐标，驱动目标对象的眼球位置；
显示模块，用于显示驱动后的所述目标对象的眼球。
10.根据权利要求9所述的设备，其特征在于，所述设备还包括：
归一化处理模块，用于对所述人脸区域的尺寸和/或光照进行归一化处理，得到归一化后的人脸区域；
频域转换模块，用于将所述归一化后的人脸区域转化为频域数据。
CN201511026866.0A 2015-12-31 2015-12-31 一种眼球驱动方法及电子设备 Pending CN106933339A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511026866.0A CN106933339A (zh) 2015-12-31 2015-12-31 一种眼球驱动方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511026866.0A CN106933339A (zh) 2015-12-31 2015-12-31 一种眼球驱动方法及电子设备

Publications (1)

Publication Number Publication Date
CN106933339A true CN106933339A (zh) 2017-07-07

Family

ID=59441365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511026866.0A Pending CN106933339A (zh) 2015-12-31 2015-12-31 一种眼球驱动方法及电子设备

Country Status (1)

Country Link
CN (1) CN106933339A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107648846A (zh) * 2017-09-22 2018-02-02 广州帕克西软件开发有限公司 一种人脸跟踪的游戏交互方法及装置
CN110188728A (zh) * 2019-06-06 2019-08-30 四川长虹电器股份有限公司 一种头部姿态估计的方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499128A (zh) * 2008-01-30 2009-08-05 中国科学院自动化研究所 基于视频流的三维人脸动作检测和跟踪方法
CN101739712A (zh) * 2010-01-25 2010-06-16 四川大学 基于视频的3d人脸表情动画驱动方法
CN101893934A (zh) * 2010-06-25 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种智能调整屏幕显示的方法和装置
CN102262724A (zh) * 2010-05-31 2011-11-30 汉王科技股份有限公司 目标图像特征点定位方法和目标图像特征点定位***
CN104573634A (zh) * 2014-12-16 2015-04-29 苏州福丰科技有限公司 一种三维人脸识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499128A (zh) * 2008-01-30 2009-08-05 中国科学院自动化研究所 基于视频流的三维人脸动作检测和跟踪方法
CN101739712A (zh) * 2010-01-25 2010-06-16 四川大学 基于视频的3d人脸表情动画驱动方法
CN102262724A (zh) * 2010-05-31 2011-11-30 汉王科技股份有限公司 目标图像特征点定位方法和目标图像特征点定位***
CN101893934A (zh) * 2010-06-25 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种智能调整屏幕显示的方法和装置
CN104573634A (zh) * 2014-12-16 2015-04-29 苏州福丰科技有限公司 一种三维人脸识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107648846A (zh) * 2017-09-22 2018-02-02 广州帕克西软件开发有限公司 一种人脸跟踪的游戏交互方法及装置
CN107648846B (zh) * 2017-09-22 2020-07-10 广州帕克西软件开发有限公司 一种人脸跟踪的游戏交互方法及装置
CN110188728A (zh) * 2019-06-06 2019-08-30 四川长虹电器股份有限公司 一种头部姿态估计的方法及***

Similar Documents

Publication Publication Date Title
CN110598610B (zh) 一种基于神经选择注意的目标显著性检测方法
CN106650630B (zh) 一种目标跟踪方法及电子设备
CN104954780B (zh) 一种适用于高清2d/3d转换的dibr虚拟图像修复方法
CN107958218A (zh) 一种实时手势识别的方法
CN107403168A (zh) 一种面部识别***
CN103914699A (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
CN104598915A (zh) 一种手势识别方法与装置
CN103810490A (zh) 一种确定人脸图像的属性的方法和设备
CN108694719B (zh) 图像输出方法和装置
CN106067016B (zh) 一种人脸图像眼镜检测方法及装置
CN104036481B (zh) 一种基于深度信息提取的多聚焦图像融合方法
CN103903256B (zh) 一种基于相对高度深度线索的深度估计方法
CN107886558A (zh) 一种基于RealSense的人脸表情动画驱动方法
CN109584153A (zh) 修饰眼部的方法、装置和***
CN109035300A (zh) 一种基于深度特征与平均峰值相关能量的目标跟踪方法
CN110276768A (zh) 图像分割方法、图像分割装置、图像分割设备及介质
CN109816694A (zh) 目标跟踪方法、装置及电子设备
CN110689000A (zh) 一种基于生成复杂环境下车牌样本的车辆车牌识别方法
CN110751730A (zh) 一种基于深度神经网络的穿衣人体体型估计方法
CN105069745A (zh) 基于普通图像传感器及增强现实技术的带表情变脸***及方法
CN104346621A (zh) 创建眼睛模板及检测眼睛状态的方法与装置
CN109344706A (zh) 一种可单人操作的人体特殊姿势照片的获取方法
CN104751406A (zh) 一种用于对图像进行虚化的方法和装置
CN104463080A (zh) 人眼状态的检测方法
CN101286236B (zh) 基于多特征图像和均值漂移的红外目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170707

WD01 Invention patent application deemed withdrawn after publication