CN107193383B - 一种基于人脸朝向约束的二级视线追踪方法 - Google Patents

一种基于人脸朝向约束的二级视线追踪方法 Download PDF

Info

Publication number
CN107193383B
CN107193383B CN201710445278.3A CN201710445278A CN107193383B CN 107193383 B CN107193383 B CN 107193383B CN 201710445278 A CN201710445278 A CN 201710445278A CN 107193383 B CN107193383 B CN 107193383B
Authority
CN
China
Prior art keywords
face
user
eye
point
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710445278.3A
Other languages
English (en)
Other versions
CN107193383A (zh
Inventor
韩鹏
钟颖明
邱健
骆开庆
彭力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN201710445278.3A priority Critical patent/CN107193383B/zh
Publication of CN107193383A publication Critical patent/CN107193383A/zh
Application granted granted Critical
Publication of CN107193383B publication Critical patent/CN107193383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人脸朝向约束的二级视线追踪方法，包括以下步骤：获取图像序列；检测出人脸区域以及眼部区域图像信息；求解出人脸朝向，以人脸朝向作为射线方向，将该射线的方向定义为基准注视方向；将所述基准注视方向的射线与设备屏幕相交获得一个交点，将该交点作为基准注视点；以所述基准注视点为中心划定的一屏幕区域作为约束视场；分析所述眼部区域图像信息，获得用户在所述约束视场上的注视区域。本发明根据人眼观测物体的生理习惯，将头部晃动作为有效视线追踪信息，将头部姿态优先考虑。该方法无需标定步骤，无需进行头动补偿，可实现真正的无约束视线追踪。

Description

一种基于人脸朝向约束的二级视线追踪方法
技术领域
本发明属于人机交互技术领域，特别涉及一种基于人脸朝向约束的二级视线追踪方法。
背景技术
眼动交互是近年新兴的人机交互方式，它通过眼动仪等辅助输入设备，利用用户注视、扫视、眨眼等眼部动作，作为交互***的输入，有效地代替鼠标键盘。眼动交互是人类和机器之间最直接、最自然的交互方式。而视线追踪技术是实现人机眼动交互的关键和核心功能。目前主流的实现方法中，可根据用户是否佩戴特定的光电装置分为两类：侵入式方法与非侵入式方法。侵入式方法主要依靠用户佩戴的特殊的光、电、化学装置，直接获得眼动信息。而非侵入式方法依靠计算机视觉技术，实时地通过视觉算法分析图像序列文件，计算出用户的视线。非侵入式方法是视线追踪的主流方法。
非侵入式方法主要包括三个步骤：在图像序列中提取眼动信息，求解映射方程，以及头动补偿。提取眼动信息：通过图像算法提取瞳孔、眼角等眼部特征点的图像坐标。求解映射方程：实现图像坐标到屏幕坐标的映射变换。头动补偿：用户头部晃动会使得映射方程失效，需要针对头部晃动进行精度补偿。
现阶段非侵入式方法存在一些问题：
非侵入式方法均需要限制用户使用过程中的头部晃动以增加视线追踪精度，部分***甚至要求用户使用支架固定头部，影响了用户体验。用户使用前，需要屏幕定标过程完成映射方程的求解。该步骤繁琐不便，同样影响了用户的体验。
现有的非侵入式视线追踪技术，限制用户头部活动，不单影响用户体验，还违反了人的用眼生理习惯。同时，由于眼球转动方向与屏幕视点轨迹方向为非线性关系，因此，限制头部活动也会引起新的非线性误差。
综上所述，非侵入式方法在解决用户头部晃动的问题上，还存在问题尚需解决。
发明内容
本发明的目的是提出一种基于人脸朝向约束的二级视线追踪方法，以期在非侵入式视线追踪过程中解决用户头部晃动的问题。
本发明是通过以下技术方案来实现的：
一种基于人脸朝向约束的二级视线追踪方法，包括以下步骤：
(1)通过非侵入式的图像采集单元获取图像序列；
(2)基于所述图像序列，在图像序列每一帧图像中，检测出人脸区域以及眼部区域图像信息；
(3)基于所述图像中的人脸区域，求解出人脸朝向，以人脸朝向作为射线方向，将该射线的方向定义为基准注视方向；
(4)基于所述基准注视方向，将所述基准注视方向的射线与设备屏幕相交获得一个交点，将该交点作为基准注视点；
(5)基于所述基准注视点，以所述基准注视点为中心划定的一屏幕区域作为约束视场；
(6)基于所述约束视场，分析所述眼部区域图像信息，获得用户在所述约束视场上的注视区域。
所述步骤(3)包含以下子步骤：
(3.1)在人脸区域上进行人脸特征点检测，标识出至少三个人脸特征点；
(3.2)基于机器学习回归方法，将三维标准人脸模型拟合到所述的人脸特征点上，从而使三维标准人脸模型覆盖到人脸区域上；
(3.3)基于所述三维标准人脸模型，从旋转矩阵中求解出三维标准人脸模型的姿态角，从位移矢量中获得用户头部的空间坐标；
(3.4)以人脸上某特征点为端点作一射线，射线方向为所述姿态角向量的方向，该射线定义为基准注视方向。
所述人脸特征点包括眉毛、眼角、眼睑、鼻子、鼻梁和下巴。
所述步骤(5)包含以下子步骤：
(5.1)设定摄像机坐标系与世界坐标系；
(5.2)固定交互屏幕，获得其世界坐标系参数；
(5.3)获得用户头部空间坐标；
(5.4)经立体几何运算，计算出所述基准注视方向射线和交互屏幕屏幕相交的一点，获得该点摄像机坐标系坐标；
(5.5)将交点的摄像机坐标系坐标(Xpc,Ypc,Zpc)经公式1转换为图像坐标系坐标(up,vp)；
Figure BDA0001319942610000031
(5.6)以坐标(up,vp)为中心在交互屏幕上划定的一屏幕区域作为约束视场。
所述屏幕区域的大小为交互屏幕的1/4～1/10。
所述步骤(6)包含以下子步骤：
(6.1)基于机器学习的方法，在人脸区域内，检测落在所述约束视场内的眼部区域；
(6.2)通过灰度积分函数，获得虹膜位置，然后基于Snake模型，分割人眼区域中的瞳孔边沿，并定位瞳孔中心；
(6.3)基于瞳孔中心与眼角之间的相对位置，构造瞳孔中心-内眼角眼动矢量(Δx,Δy)；
(6.4)设用户在所述约束视场上注视点的坐标为(ux,uy)，通过回归方法，构造二次多项式(2)，从而获得ux和uy的值，即可得用户在所述约束视场上注视点坐标：
Figure BDA0001319942610000032
其中，a0、a1、a2、a3、a4、a5，b0、b1、b2、b3、b4、b5为系数。
所述步骤(6)包含以下子步骤：
(6.1)基于机器学习的方法，在人脸区域内，检测落在所述约束视场内的眼部区域；
(6.2)通过灰度积分函数，获得虹膜位置，然后基于Snake模型，分割人眼区域中的瞳孔边沿，并定位瞳孔中心；
(6.3)基于瞳孔中心与眼角之间的相对位置，构造瞳孔中心-内眼角眼动矢量(Δx,Δy)；
(6.4)通过分类方法实现：将所述约束视场划分为小区间，并对其进行编码；***通过加载预先训练完成的人工神经网络，输入用户当前眼动信息以及头部姿态，即可输出当前用户注视热区。
本发明的优点是：本发明根据人眼观测物体的生理***面的交点为中心，划分出一定面积的视线约束范围，在该视线约束范围上进行二级视线追踪。该方法无需标定步骤，无需进行头动补偿，可实现真正的无约束视线追踪。
附图说明
图1为本发明的逻辑框图；
图2为非侵入式人脸眼部图像视频采集单元的实施方式1；
图3为非侵入式人脸眼部图像视频采集单元的实施方式2；
图4为瞳孔中心-内眼角眼动矢量；
图5为灰度积分函数与Snake模型定位瞳孔中心；
图6为定标过程图；
图7为二级视线追踪分类方法示意图。
具体实施方式
实施例1
如图1所示，一种基于人脸朝向约束的二级视线追踪方法，包括以下步骤：
(1)通过非侵入式的图像采集单元获取图像序列；
所述步骤(1)包含以下步骤：
(1.1)通过摄像头采集用户实时使用的图像，转化为256阶灰度图。
(1.2)采用颜色空间缩减策略，颜色空间缩减为原来的千分之一，减少计算冗余。
(1.3)使用双边滤波器，对图像保边去噪。
(1.4)灰度均衡化增强图像对比度。
人脸眼部图像采集单元是设置在使用者所观察的监控屏幕附近的摄像头，用于拍摄用户脸部区域，获取用户双目区域的图像。同时，用户无需佩戴任何辅助采集器。
本发明摄像头镜头设有红外滤光片，可滤除可见光波段，保留红外波段。摄像头感光元件CCD或CMOS可以对红外波段感光。摄像头镜头附近，布置红外LED光源阵列，成环状分布。可根据现实环境需要，通过PWM调制信号调节光源亮度。本发明可采用一个摄像头完成，亦可采用多个摄像头搭配，增强成像效果。
附图2是非侵入式人脸眼部图像视频采集单元的一种实施方式。其中包括了交互屏幕、摄像头、红外LED光源。摄像头的特点在于其能感光红外LED光源发出的红外波段光，其前端装有红外滤光镜片，其特征参数如截止频率等根据实际使用的LED光源和使用者距离等情况调整。举实例，当LED光源采用800nm波段以上的红外LED光源时，截止频率选择在800nm以上，通常的，带通型滤波比高通型滤波效果更好。
本发明实施例中虽然仅需一个摄像头、一个红外LED光源即可完成图像采样，但为了获得更高的图像信号质量，可采用多光源、多摄像头***，分工搭配。如图3为非侵入式人脸眼部图像视频采集单元的另一种实施方式，本实例提供一个方案，摄像头1装有红外LED光源，用于拍摄广阔场景，捕捉人脸；摄像头2、3用于拍摄眼睛区域的高清图像，交互屏幕左上角和右上角各装有以红外LED光源。
(2)基于所述图像序列，在图像序列每一帧图像中，检测出人脸区域以及眼部区域图像信息。
(3)基于所述图像中的人脸区域，求解出人脸朝向，以人脸朝向作为射线方向，将该射线的方向定义为基准注视方向；
所述步骤(3)包含以下子步骤：
(3.1)在人脸区域上进行人脸特征点检测，标识出至少三个人脸特征点；
(3.2)基于机器学习回归方法，将三维标准人脸模型拟合到所述的人脸特征点上，从而使三维标准人脸模型覆盖到人脸区域上；
(3.3)基于所述三维标准人脸模型，从旋转矩阵中，通过公式(1)
Figure BDA0001319942610000061
求解出三维标准人脸模型的姿态角，从位移矢量中获得用户头部的空间坐标；
(3.4)以人脸上某特征点为端点作一射线，射线方向为所述姿态角向量的方向，该射线定义为基准注视方向。
所述人脸特征点包括眉毛、眼角、眼睑、鼻子、鼻梁和下巴。
本发明实施例通过基准注视方向检测子模块检测出人脸朝向，进一步地，即从二维图像序列文件中，获取三维的人脸姿态信息。通过机器学习的方法，使用人脸分类器检测出人脸区域，在该区域上标识出若干人脸特征点。在根据特征点，拟合三维标准人脸模型，获得人脸朝向。
(4)基于所述基准注视方向，将所述基准注视方向的射线与设备屏幕相交获得一个交点，将该交点作为基准注视点；
(5)基于所述基准注视点，以所述基准注视点为中心划定的一屏幕区域作为约束视场；
所述步骤(5)包含以下子步骤：
(5.1)设定摄像机坐标系与世界坐标系；
(5.2)固定交互屏幕，获得其世界坐标系参数；
(5.3)获得用户头部空间坐标；
(5.4)经立体几何运算，计算出所述基准注视方向射线和交互屏幕屏幕相交的一点，获得该点摄像机坐标系坐标；
(5.5)将交点的摄像机坐标系坐标(Xpc,Ypc,Zpc)经公式(2)转换为图像坐标系坐标(up,vp)；
Figure BDA0001319942610000062
(5.6)以坐标(up,vp)为中心在交互屏幕上划定的一屏幕区域作为约束视场。
所述屏幕区域的大小为交互屏幕的1/4～1/10。约束视场大小取值和用户与交互屏幕之间的距离成正相关，通常情况下，距离屏幕越远，约束视场越大。论述的取值范围是经验值。另外，约束视场也与用户本身的反应能力，视场相关。本发明公开一种方法，即通过限定测试人员注视屏幕某点，然后逐步快速改变附近图案，通过询问测试人员是否获知注视点四周变化，即可测试出该实验人员的注视热区大小。实际上每个人的注视热区大小不一，本发明采用的是大量人群测试结果的中位值，具有普适性。
(6)基于所述约束视场，分析所述眼部区域图像信息，获得用户在所述约束视场上的注视区域。
所述步骤(6)包含以下子步骤：
(6.1)基于机器学习的方法，在人脸区域内，检测落在所述约束视场内的眼部区域；
(6.2)通过灰度积分函数，获得虹膜位置，然后基于Snake模型，分割人眼区域中的瞳孔边沿，并定位瞳孔中心；
(6.3)基于瞳孔中心与眼角之间的相对位置，构造瞳孔中心-内眼角眼动矢量(Δx,Δy)；
(6.4)设用户在所述约束视场上注视点的坐标为(ux,uy)，通过回归方法，构造二次多项式(3)，从而获得ux和uy的值，即可得用户在所述约束视场上注视点坐标：
Figure BDA0001319942610000071
其中，a0、a1、a2、a3、a4、a5，b0、b1、b2、b3、b4、b5为系数。
系数具体获得方式：用户进入屏幕标定步骤。***提示用户观测屏幕中均匀分布的注视点。每当用户观测时，***录入当前用户眼动矢量以及注视点在屏幕的坐标代入式(3)中，组成超定方程组。通过机器学习优化方法，如最小二乘，计算其中各个系数。
本发明实施例通过二级视线追踪子模块检测眼动矢量。进一步地，本实施例中阐述的眼动矢量为瞳孔中心-内眼角向量，见附图4。首先，内眼角属于人脸特征点之一，已通过基准注视方向检测子模块获得。然后，通过机器学习方法，使用人眼分类器划分人眼区域。在人眼区域上，通过灰度积分函数，获得虹膜区域，再使用Snake模型分割出虹膜边缘，拟合出瞳孔中心，过程见附图5。然后，设置摄像机坐标系，世界坐标系，以脸上一点引出外延射线，与交互屏幕交于一点。
若采用回归的方法。用户将首先进入***标定步骤，见附图6。首先，本发明***将在后台中，构建出多项式回归模型，然后通过动画显示，诱导用户注视屏幕上若干特定位置的高亮点。当用户注视后，***将记录该时刻用户的眼动矢量参数。当用户完成注视屏幕上所有高亮点后，通过最小二乘方法等数值优化方法，利用回归手段，求解得多项式系数。当标定过程结束后，保存该多项式为映射方程，结束标定步骤。然后***将加载映射方程，***通过实时采集用户眼动矢量，代入映射方程中，获得用户当前注视的交互屏幕坐标，并在交互屏幕上高亮显示，完成视线追踪功能。
实施例2
与实施例1不同的在于所述步骤(6)包含以下子步骤：
(6.1)基于机器学习的方法，在人脸区域内，检测落在所述约束视场内的眼部区域；
(6.2)通过灰度积分函数，获得虹膜位置，然后基于Snake模型，分割人眼区域中的瞳孔边沿，并定位瞳孔中心；
(6.3)基于瞳孔中心与眼角之间的相对位置，构造瞳孔中心-内眼角眼动矢量(Δx,Δy)；
(6.4)通过分类方法实现：将所述约束视场划分为小区间，并对其进行编码。***通过加载预先训练完成的人工神经网络，输入用户当前眼动信息以及头部姿态，即可输出当前用户注视热区。
若采用分类的方法，进一步地，即是将约束视场均匀等分为若干个带编码的小区域，在本实施例中，所述约束视场等分带编码的九宫格。该方法主要通过人工神经网络，对大量人群进行训练，建立了一个具有普适性，泛化性能优秀的注视区域分类器。神经网络通过输入大量眼动向量以及头部姿态信息，经训练后输出当前用户的注视区域，见附图7。本实施例中，所述的普适性人工神经网络将提前离线训练完成。当***使用时，不需再次要求用户参与标定步骤，只需要直接加载该神经网络即可。***实时输入用户的眼动信息以及头部姿态信息，即可输出用户注视区域，并利用交互屏幕高亮显示，完成视线追踪功能。
上列详细说明是针对本发明可行实施例的具体说明，该实施例并非用以限制本发明的专利范围，凡未脱离本发明所为的等效实施或变更，均应包含于本案的专利范围中。

Claims (6)

1.一种基于人脸朝向约束的二级视线追踪方法，其特征在于，包括以下步骤：
(1)通过非侵入式的图像采集单元获取图像序列；
(2)基于所述图像序列，在图像序列每一帧图像中，检测出人脸区域以及眼部区域图像信息；
(3)基于所述图像中的人脸区域，求解出人脸朝向，以人脸朝向作为射线方向，将该射线的方向定义为基准注视方向；
(4)基于所述基准注视方向，将所述基准注视方向的射线与设备屏幕相交获得一个交点，将该交点作为基准注视点；
(5)基于所述基准注视点，以所述基准注视点为中心划定的一屏幕区域作为约束视场；
(6)基于所述约束视场，分析所述眼部区域图像信息，获得用户在所述约束视场上的注视区域；
所述步骤(6)包含以下子步骤：
(6.1)基于机器学习的方法，在人脸区域内，检测落在所述约束视场内的眼部区域；
(6.2)通过灰度积分函数，获得虹膜位置，然后基于Snake模型，分割人眼区域中的瞳孔边沿，并定位瞳孔中心；
(6.3)基于瞳孔中心与眼角之间的相对位置，构造瞳孔中心-内眼角眼动矢量(Δx,Δy)；
(6.4)设用户在所述约束视场上注视点的坐标为(ux,uy)，通过回归方法，构造二次多项式(2)，从而获得ux和uy的值，即可得用户在所述约束视场上注视点坐标：
Figure FDA0002218510060000011
其中，a0、a1、a2、a3、a4、a5，b0、b1、b2、b3、b4、b5为系数。
2.根据权利要求1所述的基于人脸朝向约束的二级视线追踪方法，其特征在于，所述步骤(3)包含以下子步骤：
(3.1)在人脸区域上进行人脸特征点检测，标识出至少三个人脸特征点；
(3.2)基于机器学习回归方法，将三维标准人脸模型拟合到所述的人脸特征点上，从而使三维标准人脸模型覆盖到人脸区域上；
(3.3)基于所述三维标准人脸模型，从旋转矩阵中求解出三维标准人脸模型的姿态角，从位移矢量中获得用户头部的空间坐标；
(3.4)以人脸上某特征点为端点作一射线，射线方向为所述姿态角向量的方向，该射线定义为基准注视方向。
3.根据权利要求2所述的基于人脸朝向约束的二级视线追踪方法，其特征在于，所述人脸特征点包括眉毛、眼角、眼睑、鼻子、鼻梁和下巴。
4.根据权利要求1所述的基于人脸朝向约束的二级视线追踪方法，其特征在于，所述步骤(5)包含以下子步骤：
(5.1)设定摄像机坐标系与世界坐标系；
(5.2)固定交互屏幕，获得其世界坐标系参数；
(5.3)获得用户头部空间坐标；
(5.4)经立体几何运算，计算出所述基准注视方向射线和交互屏幕屏幕相交的一点，获得该点摄像机坐标系坐标；
(5.5)将交点的摄像机坐标系坐标(Xpc,Ypc,Zpc)经公式1转换为图像坐标系坐标(up,vp)；
Figure FDA0002218510060000021
(5.6)以坐标(up,vp)为中心在交互屏幕上划定的一屏幕区域作为约束视场。
5.根据权利要求1或4所述的基于人脸朝向约束的二级视线追踪方法，其特征在于，所述屏幕区域的大小为交互屏幕的1/4～1/10。
6.根据权利要求1所述的基于人脸朝向约束的二级视线追踪方法，其特征在于，
所述步骤(6)包含的子步骤替换为下面的子步骤：
(6.1)基于机器学习的方法，在人脸区域内，检测落在所述约束视场内的眼部区域；
(6.2)通过灰度积分函数，获得虹膜位置，然后基于Snake模型，分割人眼区域中的瞳孔边沿，并定位瞳孔中心；
(6.3)基于瞳孔中心与眼角之间的相对位置，构造瞳孔中心-内眼角眼动矢量(Δx,Δy)；
(6.4)通过分类方法实现：将所述约束视场划分为小区间，并对其进行编码；***通过加载预先训练完成的人工神经网络，输入用户当前眼动信息以及头部姿态，即可输出当前用户注视热区。
CN201710445278.3A 2017-06-13 2017-06-13 一种基于人脸朝向约束的二级视线追踪方法 Active CN107193383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710445278.3A CN107193383B (zh) 2017-06-13 2017-06-13 一种基于人脸朝向约束的二级视线追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710445278.3A CN107193383B (zh) 2017-06-13 2017-06-13 一种基于人脸朝向约束的二级视线追踪方法

Publications (2)

Publication Number Publication Date
CN107193383A CN107193383A (zh) 2017-09-22
CN107193383B true CN107193383B (zh) 2020-04-07

Family

ID=59878460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710445278.3A Active CN107193383B (zh) 2017-06-13 2017-06-13 一种基于人脸朝向约束的二级视线追踪方法

Country Status (1)

Country Link
CN (1) CN107193383B (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832699A (zh) * 2017-11-02 2018-03-23 北方工业大学 基于阵列镜头的兴趣点关注度测试方法及装置
CN107861625A (zh) * 2017-12-04 2018-03-30 北京易真学思教育科技有限公司 基于3d空间模型的视线跟踪***及方法
CN109993030A (zh) * 2017-12-29 2019-07-09 上海聚虹光电科技有限公司 基于数据统计的注视点预测模型建立方法
CN108875526B (zh) * 2018-01-05 2020-12-25 北京旷视科技有限公司 视线检测的方法、装置、***及计算机存储介质
CN108888487A (zh) * 2018-05-22 2018-11-27 深圳奥比中光科技有限公司 一种眼球训练***及方法
CN108985172A (zh) * 2018-06-15 2018-12-11 北京七鑫易维信息技术有限公司 一种基于结构光的视线追踪方法、装置、设备及存储介质
CN109033960A (zh) * 2018-06-20 2018-12-18 同济大学 一种基于随机森林的视线估计方法
CN108985210A (zh) * 2018-07-06 2018-12-11 常州大学 一种基于人眼几何特征的视线追踪方法及***
CN110853073A (zh) * 2018-07-25 2020-02-28 北京三星通信技术研究有限公司 确定关注点的方法、装置、设备、***及信息处理方法
CN110826367A (zh) * 2018-08-10 2020-02-21 北京魔门塔科技有限公司 一种用于数据分析的人脸图像采集***
CN109044363A (zh) * 2018-09-04 2018-12-21 华南师范大学 基于头部姿态和眼动的驾驶员疲劳检测方法
CN109255329B (zh) * 2018-09-07 2020-04-21 百度在线网络技术（北京）有限公司 确定头部姿态的方法、装置、存储介质和终端设备
CN109271914B (zh) * 2018-09-07 2020-04-17 百度在线网络技术（北京）有限公司 检测视线落点的方法、装置、存储介质和终端设备
CN109034137B (zh) * 2018-09-07 2019-11-19 百度在线网络技术（北京）有限公司 头部姿态标记更新方法、装置、存储介质和终端设备
CN109145864A (zh) * 2018-09-07 2019-01-04 百度在线网络技术（北京）有限公司 确定视线区域的方法、装置、存储介质和终端设备
CN109442254A (zh) * 2018-09-27 2019-03-08 广东小天才科技有限公司 一种基于智能台灯的学习辅助方法及智能台灯
CN109508089B (zh) * 2018-10-30 2022-06-14 上海大学 一种基于层级随机森林的视线控制***与方法
CN109849788B (zh) * 2018-12-29 2021-07-27 北京七鑫易维信息技术有限公司 信息提供方法、装置及***
CN109858384B (zh) * 2019-01-08 2023-10-27 平安科技（深圳）有限公司 人脸图像的捕捉方法、计算机可读存储介质及终端设备
CN110046552A (zh) * 2019-03-21 2019-07-23 南京华捷艾米软件科技有限公司 保护用户视力的方法和保护用户视力的装置
CN110335306B (zh) * 2019-04-23 2022-04-15 华中科技大学 注视点预测方法及装置
CN110059666B (zh) * 2019-04-29 2022-04-01 北京市商汤科技开发有限公司 一种注意力检测方法及装置
CN110191234B (zh) * 2019-06-21 2021-03-26 中山大学 一种基于注视点分析的智能终端解锁方法
CN110320496B (zh) * 2019-06-25 2021-06-11 清华大学 一种室内定位方法及装置
CN110363110A (zh) * 2019-06-26 2019-10-22 成都品果科技有限公司 人脸正向坐标快速建立方法、装置、储存介质和处理器
CN110543813B (zh) * 2019-07-22 2022-03-15 深思考人工智能机器人科技（北京）有限公司 一种基于场景的人脸画像、目光计数方法及***
CN112333900B (zh) * 2019-07-30 2023-06-16 广东小天才科技有限公司 一种智能补光消除阴影的方法及***
CN110633664A (zh) * 2019-09-05 2019-12-31 北京大蛋科技有限公司 基于人脸识别技术追踪用户的注意力方法和装置
CN110568930B (zh) * 2019-09-10 2022-05-17 Oppo广东移动通信有限公司 注视点校准方法及相关设备
CN110969084B (zh) * 2019-10-29 2021-03-05 深圳云天励飞技术有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备
CN112883767B (zh) * 2019-11-29 2024-03-12 Oppo广东移动通信有限公司 眼跳图像的处理方法及相关产品
CN111079740A (zh) * 2019-12-02 2020-04-28 咪咕文化科技有限公司 图像的质量评价方法、电子设备和计算机可读存储介质
CN111178278B (zh) * 2019-12-30 2022-04-08 上海商汤临港智能科技有限公司 视线方向确定方法、装置、电子设备及存储介质
CN111144356B (zh) * 2019-12-30 2021-01-05 华中师范大学 一种远程教学的教师视线跟随方法及装置
CN111144333B (zh) * 2019-12-30 2023-04-28 华南师范大学 基于视线追踪的教师行为监测方法
CN112069986A (zh) * 2020-09-04 2020-12-11 江苏慧明智能科技有限公司 高龄老人眼动机器视觉跟踪方法及装置
CN114422686B (zh) * 2020-10-13 2024-05-31 Oppo广东移动通信有限公司 参数调整方法及相关装置
CN113128417B (zh) * 2021-04-23 2023-04-07 南开大学 一种基于头部姿态的双区域眼动跟踪方法
CN113160260B (zh) * 2021-05-08 2024-05-07 哈尔滨理工大学 一种头眼双通道智能人机交互***及运行方法
CN113505694B (zh) * 2021-07-09 2024-03-26 南开大学 一种基于视线追踪的人机交互方法、装置及计算机设备
CN113900518A (zh) * 2021-09-30 2022-01-07 Oppo广东移动通信有限公司 人眼注视数据采集方法、装置、存储介质与电子设备
CN114022946B (zh) * 2022-01-06 2022-05-03 深圳佑驾创新科技有限公司 一种基于双目摄像头的视线测量方法和装置
CN114415832B (zh) * 2022-01-07 2023-08-04 中山大学 一种战斗机头盔显示瞄准***、方法、设备及终端

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1700242A (zh) * 2005-06-15 2005-11-23 北京中星微电子有限公司 一种判别视线方向的方法和装置
CN101419664A (zh) * 2007-10-25 2009-04-29 株式会社日立制作所 视线方向计测方法和视线方向计测装置
CN101489467A (zh) * 2006-07-14 2009-07-22 松下电器产业株式会社 视线方向检测装置和视线方向检测方法
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法
CN106529409A (zh) * 2016-10-10 2017-03-22 中山大学 一种基于头部姿态的眼睛注视视角测定方法
CN106598221A (zh) * 2016-11-17 2017-04-26 电子科技大学 基于眼部关键点检测的3d视线方向估计方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1700242A (zh) * 2005-06-15 2005-11-23 北京中星微电子有限公司 一种判别视线方向的方法和装置
CN101489467A (zh) * 2006-07-14 2009-07-22 松下电器产业株式会社 视线方向检测装置和视线方向检测方法
CN101419664A (zh) * 2007-10-25 2009-04-29 株式会社日立制作所 视线方向计测方法和视线方向计测装置
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法
CN106529409A (zh) * 2016-10-10 2017-03-22 中山大学 一种基于头部姿态的眼睛注视视角测定方法
CN106598221A (zh) * 2016-11-17 2017-04-26 电子科技大学 基于眼部关键点检测的3d视线方向估计方法

Also Published As

Publication number Publication date
CN107193383A (zh) 2017-09-22

Similar Documents

Publication Publication Date Title
CN107193383B (zh) 一种基于人脸朝向约束的二级视线追踪方法
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
CN109086726B (zh) 一种基于ar智能眼镜的局部图像识别方法及***
CN106056092B (zh) 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
Plopski et al. Corneal-imaging calibration for optical see-through head-mounted displays
EP2929413B1 (en) Eye tracking wearable devices and methods for use
US11715231B2 (en) Head pose estimation from local eye region
EP3608755B1 (en) Electronic apparatus operated by head movement and operation method thereof
WO2016115872A1 (zh) 双目ar头戴显示设备及其信息显示方法
Rantanen et al. A Wearable, Wireless Gaze Tracker with Integrated Selection Command Source for Human‐Computer Interaction
WO2020125499A1 (zh) 一种操作提示方法及眼镜
CN104809424B (zh) 一种基于虹膜特征实现视线追踪的方法
US20150029322A1 (en) Method and computations for calculating an optical axis vector of an imaged eye
KR101255219B1 (ko) 시선 추적 방법 및 이를 적용한 장치
US20220100268A1 (en) Eye tracking device and a method thereof
KR20130107981A (ko) 시선 추적 장치 및 방법
CN105809654A (zh) 目标对象跟踪方法、装置和立体显示设备及方法
WO2009043927A1 (en) Apparatus for acquiring and processing information relating to human eye movements
CN115482574B (zh) 基于深度学习的屏幕注视点估计方法、装置、介质及设备
JP2018196730A (ja) 眼の位置を監視するための方法およびシステム
KR20120060978A (ko) 시선 위치 추적 기반의 3차원 인간-컴퓨터 상호작용 장치 및 방법
CN112183200A (zh) 一种基于视频图像的眼动追踪方法和***
CN110750157A (zh) 基于3d眼球模型的眼控辅助输入装置及方法
JP4682372B2 (ja) 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の検出方法を実行させるためのプログラム
CN106461982B (zh) 用于确定至少一个行为参数的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant