CN109033957B - 一种基于二次多项式的视线估计方法 - Google Patents

一种基于二次多项式的视线估计方法 Download PDF

Info

Publication number
CN109033957B
CN109033957B CN201810638681.2A CN201810638681A CN109033957B CN 109033957 B CN109033957 B CN 109033957B CN 201810638681 A CN201810638681 A CN 201810638681A CN 109033957 B CN109033957 B CN 109033957B
Authority
CN
China
Prior art keywords
sight
sight line
estimation
picture
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810638681.2A
Other languages
English (en)
Other versions
CN109033957A (zh
Inventor
董延超
林敏静
何士波
岳继光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201810638681.2A priority Critical patent/CN109033957B/zh
Publication of CN109033957A publication Critical patent/CN109033957A/zh
Application granted granted Critical
Publication of CN109033957B publication Critical patent/CN109033957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于二次多项式的视线估计方法，包括：步骤S1：建立眼部二维模型和三维模型，并建立视线估计模型；步骤S2：载入多张图片，并导入各图片中视线特征量和视线真实结果；步骤S3：将所有已知视线特征量的图片划分为训练集和测试集；步骤S4：采用训练集图片对视线估计模型进行训练；步骤S5：采用测试集图片对训练后的视线估计模型进行测试，若测试误差小于阈值，则执行步骤S6，若为否，则返回步骤S2；步骤S6：采用视线估计模型对待估计图片进行视线估计。与现有技术相比，本发明利用二次多项式拟合法，来回归视线，只需要利用头部姿态三个角度，以及瞳孔偏离距离EX和EY，就可以进行视线方向的回归，计算效率高。

Description

一种基于二次多项式的视线估计方法
技术领域
本发明涉及一种视线估计方法，尤其是涉及一种基于二次多项式的视线估计方法。
背景技术
“视线跟踪”并不是什么新概念，比如说“眼动鼠标”，我们不用实际的鼠标来控制我们的计算机，而是用我们的眼睛，我们通过眼睛的注视来控制电脑屏幕上的鼠标点的运动，并且通过眼睛注视来打开或者关闭一个窗口程序，而且实验显示，用视线跟踪来完成的操作要比鼠标操作来的要快。
在民用方面的例子如美国弗吉尼亚大学研制成功的Erica***(Eye-gazeResponse Interface Computer Aid)。它用眼睛注视作输入，配上一定的硬件设备，可帮助残疾人较方便的表达自己的思想及控制周围环境。
用在军事上，就是我们常常提到的“眼睛瞄准***”或“视觉跟踪***”。例如配备有用眼睛瞄准的头盔式武器***等。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于二次多项式的视线估计方法。
本发明的目的可以通过以下技术方案来实现：
一种基于二次多项式的视线估计方法，包括：
步骤S1：建立眼部二维模型和三维模型，并建立视线估计模型；
步骤S2：载入多张图片，并导入各图片中视线特征量和视线真实结果；
步骤S3：将所有已知视线特征量的图片划分为训练集和测试集；
步骤S4：采用训练集图片对视线估计模型进行训练；
步骤S5：采用测试集图片对训练后的视线估计模型进行测试，若测试误差小于阈值，则执行步骤S6，若为否，则返回步骤S2；
步骤S6：采用视线估计模型对待估计图片进行视线估计。
二维X轴偏移量EX，用于表征瞳孔偏离眼部二维模型中Y轴的偏移，
二维Y轴偏移量EY，用于表征瞳孔偏离眼部二维模型中X轴的偏移，
头部姿态，由头部俯仰角、方位角和翻滚角组成；
视线结果包括：
第一视线夹角，用于表征瞳孔向量与眼部三维模型中X轴的夹角，
第二视线夹角，用于表征瞳孔向量与眼部三维模型中Y轴的夹角；
其中，所述瞳孔向量为眼部三维模型中坐标系原点至瞳孔位置的向量。
所述视线估计模型为：
Figure BDA0001701675560000021
其中：wj为第j次项的系数，x为视线特征量，M为最高次幂，y为估计结果。
所述步骤S4具体包括：
步骤S41：载入训练集图片的视线特征量和视线真实结果；
步骤S42：利用训练集图片的视线特征量和视线真实结果对视线估计模型进行拟合；
步骤S43：根据损失函数确定使损失函数值最小的各次项的系数。
所述损失函数为：
Figure BDA0001701675560000022
其中：E为损失函数，y(xn,W)为系数为W时第n张测试集图片视线估计结果，tn为第n张测试集图片视线真实结果，
所述步骤S2具体为：通过三维建模软件生成多张已知视线特征量和视线真实结果的图片。
所述M为2。
与现有技术相比，本发明具有以下有益效果：
1)利用二次多项式拟合法，来回归视线，只需要利用头部姿态三个角度，以及瞳孔偏离距离EX和EY，就可以进行视线方向的回归，计算效率高。
2)通过三维建模软件生成多张已知视线特征量和视线真实结果的图片，可以提供可靠的测试集和训练集数据来源。
附图说明
图1为眼部二维模型图；
图2为眼球三维模型图；
图3为头部姿态中三个欧拉角的定义示意图；
图4为本发明方法的主要步骤流程示意图；
图5(a)和(b)为头部姿态为第一种状态下实施例中视线夹角与偏移量的关系示意图；
图6(a)和(b)为头部姿态为第二种状态下实施例中视线夹角与偏移量的关系示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
在介绍视线回归方法之前，我们简单介绍几个定义的符号，分别是EX和EY。如图1所示，是一个眼部的二维模型图，以眼部中心为坐标系原点，自左向右为X轴正向，自下向上为Y轴正向。其中P点为瞳孔，P点到Y轴的距离为ex，到X轴的距离为ey。眼睛宽度为d，则
Figure BDA0001701675560000031
和
Figure BDA0001701675560000032
即：二维X轴偏移量EX，用于表征瞳孔偏离眼部二维模型中Y轴的偏移，二维Y轴偏移量EY，用于表征瞳孔偏离眼部二维模型中X轴的偏移。EX和EY为视线特征量，可以在二维图片中测量得到。
如图2所示，为眼球三维模型图，阴影部分为眼部区域。O点为眼球中心，P点为瞳孔，线段OP为眼球的半径。并且，向量
Figure BDA0001701675560000033
与X轴正向的夹角为α，与Y轴正向的夹角为β。其中α大小的变化与EX有关，β的大小变化与EY有关。α和β为视线结果，即：第一视线夹角α，用于表征瞳孔向量与眼部三维模型中X轴的夹角，第二视线夹角β，用于表征瞳孔向量与眼部三维模型中Y轴的夹角；其中，瞳孔向量为眼部三维模型中坐标系原点至瞳孔位置的向量。
如图3所示，头部姿态由头部俯仰角、方位角和翻滚角组成；具体为三个欧拉角(Eular Angle)，其中，pitch是围绕X轴旋转，也叫做俯仰角。yaw是围绕Y轴旋转，也叫方位角。roll是围绕Z轴旋转，也叫翻滚角。这三个角度可以有现有技术测量得到(例如根据特征点之间的距离、角度等)，本申请不再赘述。
图5和图6给出了EX与α，EY与β的关系图。图5(a)为头部姿态角度都为0°时，EX-α的关系示意图，图5(b)为头部姿态角度都为0°时，EY-β的关系示意图，图6(a)为yaw角度从[-40°,40°]变化时，EX-α的关系示意图，图6(b)为yaw角度从[-40°,40°]变化时，EY-β的关系示意图，从图5中可以看出，当头部姿态角度都为0°时，EX-α，EY-β呈一定的线性关系。当头部发生转动时，如yaw角度从[-40°,40°]变化时，EX-α，EY-β的线性度降低，但仍存在一定的函数关系。
一种基于二次多项式的视线估计方法，具体为根据采集到的二维图片识别出人像在三维坐标系下的视线，如图4所示，包括：
步骤S1：建立眼部二维模型和三维模型，并建立视线估计模型，其中，视线估计模型为：
Figure BDA0001701675560000041
其中：wj为第j次项的系数，x为视线特征量，M为最高次幂，y为估计结果。
优选的，M为2。
步骤S2：载入多张图片，并导入各图片中视线特征量和视线真实结果，具体的：通过三维建模软件生成多张已知视线特征量和视线真实结果的图片。即CG方式，采用blender和Daz3D自动批量渲染出图片以及真值(即上文提到的EX，EY和α，β)。
步骤S3：将所有已知视线特征量的图片划分为训练集和测试集，一般采用8:2比例分割成训练数据和测试数据；
步骤S4：采用训练集图片对视线估计模型进行训练，具体包括：
步骤S41：载入训练集图片的视线特征量和视线真实结果；
步骤S42：利用训练集图片的视线特征量和视线真实结果对视线估计模型进行拟合；
步骤S43：根据损失函数确定使损失函数值最小的各次项的系数。
损失函数为：
Figure BDA0001701675560000042
其中：E为损失函数，y(xn,W)为系数为W时第n张测试集图片视线估计结果，tn为第n张测试集图片视线真实结果，
步骤S5：采用测试集图片对训练后的视线估计模型进行测试，若测试误差小于阈值，则执行步骤S6，若为否，则返回步骤S2；其中，测试误差阈值可以为经验值；
步骤S6：采用视线估计模型对待估计图片进行视线估计。

Claims (3)

1.一种基于二次多项式的视线估计方法，其特征在于，包括：
步骤S1：建立眼部二维模型和三维模型，并建立视线估计模型，
步骤S2：载入多张图片，并导入各图片中视线特征量和视线真实结果，
步骤S3：将所有已知视线特征量的图片划分为训练集和测试集，
步骤S4：采用训练集图片对视线估计模型进行训练，
步骤S5：采用测试集图片对训练后的视线估计模型进行测试，若测试误差小于阈值，则执行步骤S6，若为否，则返回步骤S2，
步骤S6：采用视线估计模型对待估计图片进行视线估计；
所述视线特征量包括：
二维X轴偏移量EX，用于表征X轴的偏移，
二维Y轴偏移量EY，用于表征Y轴的偏移，
头部姿态，由头部俯仰角、方位角和翻滚角组成，
视线结果包括：
第一视线夹角，用于表征瞳孔向量与眼部三维模型中X轴的夹角，
第二视线夹角，用于表征瞳孔向量与眼部三维模型中Y轴的夹角，
其中，所述瞳孔向量为眼部三维模型中坐标系原点至瞳孔位置的向量；
所述视线估计模型为：
Figure FDA0002968650240000011
其中：wj为第j次项的系数，x为视线特征量，M为最高次幂，y为估计结果；
所述步骤S4具体包括：
步骤S41：载入训练集图片的视线特征量和视线真实结果，
步骤S42：利用训练集图片的视线特征量和视线真实结果对视线估计模型进行拟合，
步骤S43：根据损失函数确定使损失函数值最小的各次项的系数；
所述损失函数为：
Figure FDA0002968650240000012
其中：E为损失函数，y(xn,W)为系数为W时第n张测试集图片视线估计结果，tn为第n张测试集图片视线真实结果。
2.根据权利要求1所述的一种基于二次多项式的视线估计方法，其特征在于，所述步骤S2具体为：通过三维建模软件生成多张已知视线特征量和视线真实结果的图片。
3.根据权利要求1所述的一种基于二次多项式的视线估计方法，其特征在于，所述M为2。
CN201810638681.2A 2018-06-20 2018-06-20 一种基于二次多项式的视线估计方法 Active CN109033957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810638681.2A CN109033957B (zh) 2018-06-20 2018-06-20 一种基于二次多项式的视线估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810638681.2A CN109033957B (zh) 2018-06-20 2018-06-20 一种基于二次多项式的视线估计方法

Publications (2)

Publication Number Publication Date
CN109033957A CN109033957A (zh) 2018-12-18
CN109033957B true CN109033957B (zh) 2021-05-11

Family

ID=64609919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810638681.2A Active CN109033957B (zh) 2018-06-20 2018-06-20 一种基于二次多项式的视线估计方法

Country Status (1)

Country Link
CN (1) CN109033957B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209277B (zh) * 2019-05-29 2021-09-21 华南理工大学 一种仅基于瞳孔特征的头戴式视线跟踪方法
CN112183160A (zh) * 2019-07-04 2021-01-05 北京七鑫易维科技有限公司 视线估计方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪***中基于瞳孔-角膜反射的视线估计方法
CN104978548A (zh) * 2014-04-02 2015-10-14 汉王科技股份有限公司 一种基于三维主动形状模型的视线估计方法与装置
CN108171218A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于深度外观注视网络的视线估计方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
US20090290753A1 (en) * 2007-10-11 2009-11-26 General Electric Company Method and system for gaze estimation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪***中基于瞳孔-角膜反射的视线估计方法
CN104978548A (zh) * 2014-04-02 2015-10-14 汉王科技股份有限公司 一种基于三维主动形状模型的视线估计方法与装置
CN108171218A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于深度外观注视网络的视线估计方法

Also Published As

Publication number Publication date
CN109033957A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
US10380413B2 (en) System and method for pose-invariant face alignment
KR101865655B1 (ko) 증강현실 상호 작용 서비스 제공 장치 및 방법
US9264702B2 (en) Automatic calibration of scene camera for optical see-through head mounted display
US11068056B2 (en) Wearable eye tracking system with slippage detection and correction
US20170186165A1 (en) Tracking rigged smooth-surface models of articulated objects
CN102662476A (zh) 一种视线估计方法
CN114186632B (zh) 关键点检测模型的训练方法、装置、设备、存储介质
US11244506B2 (en) Tracking rigged polygon-mesh models of articulated objects
US11514607B2 (en) 3-dimensional reconstruction method, 3-dimensional reconstruction device, and storage medium
CN108932734B (zh) 单目图像的深度恢复方法及装置、计算机设备
KR101320683B1 (ko) 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템
CN107545242B (zh) 一种通过2d图像推断人体动作姿态的方法及装置
CN113298870B (zh) 一种物体的姿态跟踪方法、装置、终端设备和存储介质
CN109033957B (zh) 一种基于二次多项式的视线估计方法
CN113505694B (zh) 一种基于视线追踪的人机交互方法、装置及计算机设备
Augenstein Monocular pose and shape estimation of moving targets, for autonomous rendezvous and docking
EP3667462B1 (en) Screen position estimation
US20170185156A1 (en) Hand tracking for user interface operation at-a-distance
CN112949576B (zh) 姿态估计方法、装置、设备及存储介质
CN111833391B (zh) 图像深度信息的估计方法及装置
US10304258B2 (en) Human feedback in 3D model fitting
US10713847B2 (en) Method and device for interacting with virtual objects
KR20200057572A (ko) 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법
CN111027389B (zh) 人群计数***中基于可变形高斯核的训练数据生成方法
CN113869186A (zh) 模型训练方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant