CN109033957A - 一种基于二次多项式的视线估计方法 - Google Patents

一种基于二次多项式的视线估计方法 Download PDF

Info

Publication number
CN109033957A
CN109033957A CN201810638681.2A CN201810638681A CN109033957A CN 109033957 A CN109033957 A CN 109033957A CN 201810638681 A CN201810638681 A CN 201810638681A CN 109033957 A CN109033957 A CN 109033957A
Authority
CN
China
Prior art keywords
sight
picture
model
quadratic polynomial
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810638681.2A
Other languages
English (en)
Other versions
CN109033957B (zh
Inventor
董延超
林敏静
何士波
岳继光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201810638681.2A priority Critical patent/CN109033957B/zh
Publication of CN109033957A publication Critical patent/CN109033957A/zh
Application granted granted Critical
Publication of CN109033957B publication Critical patent/CN109033957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及一种基于二次多项式的视线估计方法，包括：步骤S1：建立眼部二维模型和三维模型，并建立视线估计模型；步骤S2：载入多张图片，并导入各图片中视线特征量和视线真实结果；步骤S3：将所有已知视线特征量的图片划分为训练集和测试集；步骤S4：采用训练集图片对视线估计模型进行训练；步骤S5：采用测试集图片对训练后的视线估计模型进行测试，若测试误差小于阈值，则执行步骤S6，若为否，则返回步骤S2；步骤S6：采用视线估计模型对待估计图片进行视线估计。与现有技术相比，本发明利用二次多项式拟合法，来回归视线，只需要利用头部姿态三个角度，以及瞳孔偏离距离EX和EY，就可以进行视线方向的回归，计算效率高。

Description

一种基于二次多项式的视线估计方法
技术领域
本发明涉及一种视线估计方法，尤其是涉及一种基于二次多项式的视线估计方法。
背景技术
“视线跟踪”并不是什么新概念，比如说“眼动鼠标”，我们不用实际的鼠标来控制我们的计算机，而是用我们的眼睛，我们通过眼睛的注视来控制电脑屏幕上的鼠标点的运动，并且通过眼睛注视来打开或者关闭一个窗口程序，而且实验显示，用视线跟踪来完成的操作要比鼠标操作来的要快。
在民用方面的例子如美国弗吉尼亚大学研制成功的Erica***(Eye-gazeResponse Interface Computer Aid)。它用眼睛注视作输入，配上一定的硬件设备，可帮助残疾人较方便的表达自己的思想及控制周围环境。
用在军事上，就是我们常常提到的“眼睛瞄准***”或“视觉跟踪***”。例如配备有用眼睛瞄准的头盔式武器***等。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于二次多项式的视线估计方法。
本发明的目的可以通过以下技术方案来实现：
一种基于二次多项式的视线估计方法，包括：
步骤S1：建立眼部二维模型和三维模型，并建立视线估计模型；
步骤S2：载入多张图片，并导入各图片中视线特征量和视线真实结果；
步骤S3：将所有已知视线特征量的图片划分为训练集和测试集；
步骤S4：采用训练集图片对视线估计模型进行训练；
步骤S5：采用测试集图片对训练后的视线估计模型进行测试，若测试误差小于阈值，则执行步骤S6，若为否，则返回步骤S2；
步骤S6：采用视线估计模型对待估计图片进行视线估计。
二维X轴偏移量EX，用于表征瞳孔偏离眼部二维模型中Y轴的偏移，
二维Y轴偏移量EY，用于表征瞳孔偏离眼部二维模型中X轴的偏移，
头部姿态，由头部俯仰角、方位角和翻滚角组成；
视线结果包括：
第一视线夹角，用于表征瞳孔向量与眼部三维模型中X轴的夹角，
第二视线夹角，用于表征瞳孔向量与眼部三维模型中Y轴的夹角；
其中，所述瞳孔向量为眼部三维模型中坐标系原点至瞳孔位置的向量。
所述视线估计模型为：
其中：wj为第j次项的系数，x为视线特征量，M为最高次幂，y为估计结果。
所述步骤S4具体包括：
步骤S41：载入训练集图片的视线特征量和视线真实结果；
步骤S42：利用训练集图片的视线特征量和视线真实结果对视线估计模型进行拟合；
步骤S43：根据损失函数确定使损失函数值最小的各次项的系数。
所述损失函数为：
其中：E为损失函数，y(xn,W)为系数为W时第n张测试集图片视线估计结果，tn为第n张测试集图片视线真实结果，
所述步骤S2具体为：通过三维建模软件生成多张已知视线特征量和视线真实结果的图片。
所述M为2。
与现有技术相比，本发明具有以下有益效果：
1)利用二次多项式拟合法，来回归视线，只需要利用头部姿态三个角度，以及瞳孔偏离距离EX和EY，就可以进行视线方向的回归，计算效率高。
2)通过三维建模软件生成多张已知视线特征量和视线真实结果的图片，可以提供可靠的测试集和训练集数据来源。
附图说明
图1为眼部二维模型图；
图2为眼球三维模型图；
图3为头部姿态中三个欧拉角的定义示意图；
图4为本发明方法的主要步骤流程示意图；
图5(a)和(b)为头部姿态为第一种状态下实施例中视线夹角与偏移量的关系示意图；
图6(a)和(b)为头部姿态为第二种状态下实施例中视线夹角与偏移量的关系示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
在介绍视线回归方法之前，我们简单介绍几个定义的符号，分别是EX和EY。如图1所示，是一个眼部的二维模型图，以眼部中心为坐标系原点，自左向右为X轴正向，自下向上为Y轴正向。其中P点为瞳孔，P点到Y轴的距离为ex，到X轴的距离为ey。眼睛宽度为d，则和即：二维X轴偏移量EX，用于表征瞳孔偏离眼部二维模型中Y轴的偏移，二维Y轴偏移量EY，用于表征瞳孔偏离眼部二维模型中X轴的偏移。EX和EY为视线特征量，可以在二维图片中测量得到。
如图2所示，为眼球三维模型图，阴影部分为眼部区域。O点为眼球中心，P点为瞳孔，线段OP为眼球的半径。并且，向量与X轴正向的夹角为α，与Y轴正向的夹角为β。其中α大小的变化与EX有关，β的大小变化与EY有关。α和β为视线结果，即：第一视线夹角α，用于表征瞳孔向量与眼部三维模型中X轴的夹角，第二视线夹角β，用于表征瞳孔向量与眼部三维模型中Y轴的夹角；其中，瞳孔向量为眼部三维模型中坐标系原点至瞳孔位置的向量。
如图3所示，头部姿态由头部俯仰角、方位角和翻滚角组成；具体为三个欧拉角(Eular Angle)，其中，pitch是围绕X轴旋转，也叫做俯仰角。yaw是围绕Y轴旋转，也叫方位角。roll是围绕Z轴旋转，也叫翻滚角。这三个角度可以有现有技术测量得到(例如根据特征点之间的距离、角度等)，本申请不再赘述。
图5和图6给出了EX与α，EY与β的关系图。图5(a)为头部姿态角度都为0°时，EX-α的关系示意图，图5(b)为头部姿态角度都为0°时，EY-β的关系示意图，图6(a)为yaw角度从[-40°,40°]变化时，EX-α的关系示意图，图6(b)为yaw角度从[-40°,40°]变化时，EY-β的关系示意图，从图5中可以看出，当头部姿态角度都为0°时，EX-α，EY-β呈一定的线性关系。当头部发生转动时，如yaw角度从[-40°,40°]变化时，EX-α，EY-β的线性度降低，但仍存在一定的函数关系。
一种基于二次多项式的视线估计方法，具体为根据采集到的二维图片识别出人像在三维坐标系下的视线，如图4所示，包括：
步骤S1：建立眼部二维模型和三维模型，并建立视线估计模型，其中，视线估计模型为：
其中：wj为第j次项的系数，x为视线特征量，M为最高次幂，y为估计结果。
优选的，M为2。
步骤S2：载入多张图片，并导入各图片中视线特征量和视线真实结果，具体的：通过三维建模软件生成多张已知视线特征量和视线真实结果的图片。即CG方式，采用blender和Daz3D自动批量渲染出图片以及真值(即上文提到的EX，EY和α，β)。
步骤S3：将所有已知视线特征量的图片划分为训练集和测试集，一般采用8:2比例分割成训练数据和测试数据；
步骤S4：采用训练集图片对视线估计模型进行训练，具体包括：
步骤S41：载入训练集图片的视线特征量和视线真实结果；
步骤S42：利用训练集图片的视线特征量和视线真实结果对视线估计模型进行拟合；
步骤S43：根据损失函数确定使损失函数值最小的各次项的系数。
损失函数为：
其中：E为损失函数，y(xn,W)为系数为W时第n张测试集图片视线估计结果，tn为第n张测试集图片视线真实结果，
步骤S5：采用测试集图片对训练后的视线估计模型进行测试，若测试误差小于阈值，则执行步骤S6，若为否，则返回步骤S2；其中，测试误差阈值可以为经验值；
步骤S6：采用视线估计模型对待估计图片进行视线估计。

Claims (7)

1.一种基于二次多项式的视线估计方法，其特征在于，包括：
步骤S1：建立眼部二维模型和三维模型，并建立视线估计模型；
步骤S2：载入多张图片，并导入各图片中视线特征量和视线真实结果；
步骤S3：将所有已知视线特征量的图片划分为训练集和测试集；
步骤S4：采用训练集图片对视线估计模型进行训练；
步骤S5：采用测试集图片对训练后的视线估计模型进行测试，若测试误差小于阈值，则执行步骤S6，若为否，则返回步骤S2；
步骤S6：采用视线估计模型对待估计图片进行视线估计。
2.根据权利要求1所述的一种基于二次多项式的视线估计方法，其特征在于，所述视线特征量包括：
二维X轴偏移量EX，用于表征瞳孔偏离眼部二维模型中Y轴的偏移，
二维Y轴偏移量EY，用于表征瞳孔偏离眼部二维模型中X轴的偏移，
头部姿态，由头部俯仰角、方位角和翻滚角组成；
视线结果包括：
第一视线夹角，用于表征瞳孔向量与眼部三维模型中X轴的夹角，
第二视线夹角，用于表征瞳孔向量与眼部三维模型中Y轴的夹角；
其中，所述瞳孔向量为眼部三维模型中坐标系原点至瞳孔位置的向量。
3.根据权利要求2所述的一种基于二次多项式的视线估计方法，其特征在于，所述视线估计模型为：
其中：wj为第j次项的系数，x为视线特征量，M为最高次幂，y为估计结果。
4.根据权利要求3所述的一种基于二次多项式的视线估计方法，其特征在于，所述步骤S4具体包括：
步骤S41：载入训练集图片的视线特征量和视线真实结果；
步骤S42：利用训练集图片的视线特征量和视线真实结果对视线估计模型进行拟合；
步骤S43：根据损失函数确定使损失函数值最小的各次项的系数。
5.根据权利要求4所述的一种基于二次多项式的视线估计方法，其特征在于，所述损失函数为：
其中：E为损失函数，y(xn,W)为系数为W时第n张测试集图片视线估计结果，tn为第n张测试集图片视线真实结果。
6.根据权利要求1所述的一种基于二次多项式的视线估计方法，其特征在于，所述步骤S2具体为：通过三维建模软件生成多张已知视线特征量和视线真实结果的图片。
7.根据权利要求3所述的一种基于二次多项式的视线估计方法，其特征在于，所述M为2。
CN201810638681.2A 2018-06-20 2018-06-20 一种基于二次多项式的视线估计方法 Active CN109033957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810638681.2A CN109033957B (zh) 2018-06-20 2018-06-20 一种基于二次多项式的视线估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810638681.2A CN109033957B (zh) 2018-06-20 2018-06-20 一种基于二次多项式的视线估计方法

Publications (2)

Publication Number Publication Date
CN109033957A true CN109033957A (zh) 2018-12-18
CN109033957B CN109033957B (zh) 2021-05-11

Family

ID=64609919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810638681.2A Active CN109033957B (zh) 2018-06-20 2018-06-20 一种基于二次多项式的视线估计方法

Country Status (1)

Country Link
CN (1) CN109033957B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209277A (zh) * 2019-05-29 2019-09-06 华南理工大学 一种仅基于瞳孔特征的头戴式视线跟踪方法
CN112183160A (zh) * 2019-07-04 2021-01-05 北京七鑫易维科技有限公司 视线估计方法及装置
CN112597872A (zh) * 2020-12-18 2021-04-02 深圳地平线机器人科技有限公司 视线角度估计方法和装置、存储介质、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040174496A1 (en) * 2003-03-06 2004-09-09 Qiang Ji Calibration-free gaze tracking under natural head movement
US20090290753A1 (en) * 2007-10-11 2009-11-26 General Electric Company Method and system for gaze estimation
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪***中基于瞳孔-角膜反射的视线估计方法
CN104978548A (zh) * 2014-04-02 2015-10-14 汉王科技股份有限公司 一种基于三维主动形状模型的视线估计方法与装置
CN108171218A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于深度外观注视网络的视线估计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040174496A1 (en) * 2003-03-06 2004-09-09 Qiang Ji Calibration-free gaze tracking under natural head movement
US20090290753A1 (en) * 2007-10-11 2009-11-26 General Electric Company Method and system for gaze estimation
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪***中基于瞳孔-角膜反射的视线估计方法
CN104978548A (zh) * 2014-04-02 2015-10-14 汉王科技股份有限公司 一种基于三维主动形状模型的视线估计方法与装置
CN108171218A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于深度外观注视网络的视线估计方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209277A (zh) * 2019-05-29 2019-09-06 华南理工大学 一种仅基于瞳孔特征的头戴式视线跟踪方法
CN110209277B (zh) * 2019-05-29 2021-09-21 华南理工大学 一种仅基于瞳孔特征的头戴式视线跟踪方法
CN112183160A (zh) * 2019-07-04 2021-01-05 北京七鑫易维科技有限公司 视线估计方法及装置
CN112597872A (zh) * 2020-12-18 2021-04-02 深圳地平线机器人科技有限公司 视线角度估计方法和装置、存储介质、电子设备
CN112597872B (zh) * 2020-12-18 2024-06-28 深圳地平线机器人科技有限公司 视线角度估计方法和装置、存储介质、电子设备

Also Published As

Publication number Publication date
CN109033957B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
Zhao et al. Good feature matching: Toward accurate, robust vo/vslam with low latency
US10114456B2 (en) Sight tracking method and device
US20200134868A1 (en) Gaze point determination method and apparatus, electronic device, and computer storage medium
KR102334139B1 (ko) 적응적 호모그래피 매핑에 기초한 눈 시선 추적
US9264702B2 (en) Automatic calibration of scene camera for optical see-through head mounted display
Liu et al. Robust and efficient relative pose with a multi-camera system for autonomous driving in highly dynamic environments
CN109690553A (zh) 执行眼睛注视跟踪的***和方法
CN104317391A (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和***
WO2019011958A1 (en) INVARIANT FACE ALIGNMENT SYSTEM AND METHOD FOR INSTALLATION
CN114297730A (zh) 对抗图像生成方法、装置及存储介质
CN110555426A (zh) 视线检测方法、装置、设备及存储介质
CN105678241A (zh) 一种级联的二维图像人脸姿态估计方法
Xiong et al. Eye control system base on ameliorated hough transform algorithm
US10437342B2 (en) Calibration systems and methods for depth-based interfaces with disparate fields of view
JP2014032623A (ja) 画像処理装置
CN109033957A (zh) 一种基于二次多项式的视线估计方法
EP3667462B1 (en) Screen position estimation
Perra et al. Adaptive eye-camera calibration for head-worn devices
Kang et al. A robust extrinsic calibration method for non-contact gaze tracking in the 3-D space
Perrone Visual–vestibular estimation of the body's curvilinear motion through the world: A computational model
US10832413B2 (en) Curvilinear object segmentation with geometric priors
CN109033960A (zh) 一种基于随机森林的视线估计方法
CN111027389B (zh) 人群计数***中基于可变形高斯核的训练数据生成方法
US20210217228A1 (en) Systems and methods for reconstructing a three-dimensional object
CN109284002B (zh) 一种用户距离估算方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant