CN109344714B - 一种基于关键点匹配的视线估计方法 - Google Patents

一种基于关键点匹配的视线估计方法 Download PDF

Info

Publication number
CN109344714B
CN109344714B CN201811011543.8A CN201811011543A CN109344714B CN 109344714 B CN109344714 B CN 109344714B CN 201811011543 A CN201811011543 A CN 201811011543A CN 109344714 B CN109344714 B CN 109344714B
Authority
CN
China
Prior art keywords
face
key points
pupil
matching
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811011543.8A
Other languages
English (en)
Other versions
CN109344714A (zh
Inventor
李宏亮
颜海强
尹康
袁欢
梁小娟
邓志康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201811011543.8A priority Critical patent/CN109344714B/zh
Publication of CN109344714A publication Critical patent/CN109344714A/zh
Application granted granted Critical
Publication of CN109344714B publication Critical patent/CN109344714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种基于关键点匹配的视线估计方法，属于计算机视觉领域的视线估计。本发明通过深度网络初步定位瞳孔关键点之后，采用SGBM模板匹配方法去进一步修正瞳孔中心位置。相比于现有的视线估计方法能够更精确的定位瞳孔中心位置，尤其是对于头部或眼球偏置较大的情况。本发明的实施，能够有效的提升视线估计的精度，相比于瞳孔角膜反射方法，只采用了单个网络摄像头，大大降低了设备成本。相比于现有基于单图像处理的方法，不需要限制头部的姿态，算法的鲁棒性大大增加。通过于3D人脸模型的匹配，避免的目前已有数据库无法表示所有姿态的局限性，从而增加了该方法的实用性。

Description

一种基于关键点匹配的视线估计方法
技术领域
本发明提出一种基于关键点匹配的视线估计方法，是一种计算机视觉领域的视线估计新型技术。
背景技术
随着计算机科学的发展，人机交互逐渐成为了一个热门的领域。人眼视线能够反映人的关注信息，也属于人机交互中重要的信息输入源。基于视线估计的人机交互在军事、医疗、娱乐等领域有着广阔的发展前景。
目前实用的视线估计技术主要是基于瞳孔角膜反射技术(PCCR)，使用近红外光源使用户眼睛的角膜和瞳孔上产生反射图像，然后使用图像传感器采集眼睛与反射的图像，最后基于三维眼球模型计算眼睛在空间中的位置和视线。这个方法虽然具有较高的精度，但是受限于昂贵的传感器设备难以普及。
针对上述问题，出现了基于3D人脸模型的视线估计方法。它只需要摄像头采集的图片作为输入数据，对采集到的图片进行关键点定位，并结合已知的模型估计头部姿态以及眼球中心位置，然后结合检测到的瞳孔中心位置得到视线角度。
但现有的基于3D人脸模型的视线估计方法在计算瞳孔中心位置时，由于数据库的局限性不能够涵盖所有现实的情况，对于头部姿态或眼部偏置较大的情况下存在较大的误差，导致最终对视线的估计出现极大偏差。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供一种结合深度网络以及模板匹配的方法来精确定位瞳孔中心，增加方案的可行性。
本发明的基于关键点匹配的视线估计方法，包括下列步骤：
步骤一、检测目标人脸：
将摄像头采集的视频流输入训练好的人脸检测网络模型(选择惯用的人脸检测网络模型，例如MobileNet-SSD)进行人脸检测，截取其中尺寸最大的人脸作为视线检测的目标人脸图像；
再对所述目标人脸图像进行尺寸归一化处理后，作为人脸关键点检测网络模型(选择对应的惯用的检测网络模型即可，例如SE-Net)的输入，用于获取目标人脸图像的人脸关键点以及瞳孔中心。
步骤二、人脸关键点检测以及瞳孔中心初步定位：
基于选择的人脸关键点检测网络模型，输入尺寸归一化处理后的目标人脸图像，得到人脸关键点和2个初始瞳孔中心在当前目标人脸图像上的坐标，并将其转换为视频图像上(即归一化之前的)的坐标，所述人脸关键点包括4个眼部关键点，左右眼分别包括两个关键点(眼睛的两个端点)；
步骤三、头部姿态估计及眼球定位：
通过透视n点算法(PNP算法，pespective-n-point)，将检测到的人脸关键点与标准三维人脸关键点相匹配得到人脸相对于摄像头的空间位置和旋转角度；
从而得到2个初始瞳孔中心的三维坐标，以及4个眼部关键点的三维坐标；
在三维坐标下，分别取左右眼的两个眼部关键点的中点沿头部姿态方向后12mm作为左、右眼球中心位置；
步骤四、修正瞳孔中心位置：
在三维坐标下，根据检测到的4个眼部关键点截取左眼和右眼图片，利用半全局匹配SGBM方法重新定位瞳孔中心点，若当前得到的匹配点(重新定位的瞳孔中心点)的置信度大于0.7，则认为该匹配点可信；并取两次可信匹配点的中值作为最终的瞳孔中心位置；
步骤五、视线方向估计：
在三维坐标下，计算眼球中心到瞳孔中心的光轴信息，得到当前视线方向。得到当前视线方向。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明提出的基于关键点匹配的视线估计方法能够有效的提升视线估计的精度，相比于瞳孔角膜反射方法，只采用了单个网络摄像头，大大降低了设备成本。相比于现有基于单图像处理的方法，不需要限制头部的姿态，算法的鲁棒性大大增加。通过于3D人脸模型的匹配，避免的目前已有数据库无法表示所有姿态的局限性，从而增加了该方法的实用性。
附图说明
图1是本发明的处理过程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
现有的视线估计方法对于瞳孔中心定位的误差较大，尤其是对于头部姿态较大的情况。本发明尝试通过SE-Net(Squeeze-and-Excitation Networks)来初步定位人脸关键点和瞳孔中心，然后再采用SGBM匹配算法(半全局匹配)得到的瞳孔中心对结果进行修正，进一步提高瞳孔定位精度。
首先，对摄像头读取的图片进行人脸检测，裁取其中尺度最大的人脸作为需要估计视线的目标，并归一化到标准的大小。基于SE-Net网络检测人脸的人脸特征点(例常用的68个关键点)以及2个瞳孔中心位置。
接着，利用透视n点算法(PNP)将检测到的68个人脸关键点与标准的3D人脸关键点相匹配得到人脸相对与摄像头在空间中的位置以及旋转角度。
然后，采用本发明提出的方法，根据已经得到的眼部关键点分别截取左眼和右眼的图片，采用半全局块匹配算法(SGBM)将眼部图片与标准瞳孔图片相匹配，找到匹配结果中置信度最高的点作为瞳孔中心，若匹配到的置信度大于0.7,则认为匹配到的位置是可信的，这时取两次瞳孔定位结果计算最终定位结果，计算公式如下：
Figure BDA0001785229370000031
其中，PSeNet为SE-Net得到的瞳孔检测结果，PSGBM为SGBM得到的瞳孔检测结果，T为SGBM得到的瞳孔中心置信度，置信度越大代表检测的结果越准确。
最后，取眼部关键点的中心沿头部偏置方向12mm作为眼球中心，结合眼球中心和瞳孔中心的向量得到最终的视线方向。
本发明通过深度网络初步定位瞳孔关键点之后，采用SGBM模板匹配方法去进一步修正瞳孔中心位置。相比于现有的视线估计方法能够更精确的定位瞳孔中心位置，尤其是对于头部或眼球偏置较大的情况。
实施例
参见图1，本发明主要包括如下几个步骤：检测目标人脸、人脸关键点检测以及瞳孔中心初步定位、头部姿态估计及眼球定位、修正瞳孔中心位置、视线方向估计。
步骤一、检测目标人脸。
将摄像头采集的视频流输入训练好的人脸检测网络(MobileNet-SSD)进行人脸检测，截取其中尺寸最大的人脸作为视线检测的目标人脸，将其归一化到300*300的大小作为关键点检测网络的输入。
步骤二、人脸关键点检测以及瞳孔中心初步定位。
采用SE-Net作为基础网络进行人脸关键点以及瞳孔中心检测的模型训练，在训练过程中采用L1loss作为损失函数，进一步提高定位精度。将300*300的人脸图片传入训练好的模型，得到68个关键点和2个瞳孔中心在人脸图片上的坐标，接着，将这些坐标转换成原图上的坐标。其中，L1loss表达式为：
Figure BDA0001785229370000041
其中f(xi)表示第i个输入数据的模型预测结果，yi表示对应的标签结果，m表示每次输入模型的数据个数。
步骤三、头部姿态估计及眼球定位。
利用得到的68个关键的在视频图片上的二维坐标和现有的68点人脸三维坐标模型采用PNP算法估算人脸相对于摄像头的空间位置和旋转角度。接着取两个眼部关键点的中点沿头部姿态方向后12mm作为眼球中心。
步骤四、修正瞳孔中心位置。
根据检测到的4个眼部关键点截取左眼和右眼图片，利用SGBM方法搜索瞳孔中心，得到中心位置和相应的置信度，置信度越大则准确率越高。若置信度大于0.7，则结合两次的定位结果得到最终的瞳孔中心位置。
步骤五、视线方向估计。
取眼球中心和瞳孔中心的三维坐标，计算该光轴信息就是最终得到的视线方向。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (2)

1.一种基于关键点匹配的视线估计方法，其特征在于，包括下列步骤：
步骤一、检测目标人脸：
将摄像头采集的视频流输入训练好的人脸检测网络模型进行人脸检测，截取其中尺寸最大的人脸作为视线检测的目标人脸图像；
对所述目标人脸图像进行尺寸归一化处理；
步骤二、人脸关键点检测以及瞳孔中心初步定位：
基于选择的人脸关键点检测网络模型，输入尺寸归一化处理后的目标人脸图像，得到人脸关键点和2个初始瞳孔中心在当前目标人脸图像上的坐标，并将其转换为视频图像上的坐标，所述人脸关键点包括4个眼部关键点，左右眼分别包括两个关键点；
步骤三、头部姿态估计及眼球定位：
通过透视n点算法，将检测到的人脸关键点与标准三维人脸关键点相匹配得到人脸相对于摄像头的空间位置和旋转角度；
从而得到2个初始瞳孔中心的三维坐标，以及4个眼部关键点的三维坐标；
在三维坐标下，分别取左右眼的两个眼部关键点的中点沿头部姿态方向后12mm作为左、右眼球中心位置；
步骤四、修正瞳孔中心位置：
在三维坐标下，根据检测到的4个眼部关键点截取左眼和右眼图片，利用半全局匹配SGBM方法重新定位瞳孔中心点，若当前得到的匹配点的置信度大于0.7，则认为该匹配点可信；并取两次可信匹配点的中值作为最终的瞳孔中心位置；
步骤五、视线方向估计：
在三维坐标下，计算眼球中心到瞳孔中心的光轴信息，得到当前视线方向。
2.如权利要求1所述的方法，其特征在于，所述目标人脸图像的归一化尺寸为300*300。
CN201811011543.8A 2018-08-31 2018-08-31 一种基于关键点匹配的视线估计方法 Active CN109344714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811011543.8A CN109344714B (zh) 2018-08-31 2018-08-31 一种基于关键点匹配的视线估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811011543.8A CN109344714B (zh) 2018-08-31 2018-08-31 一种基于关键点匹配的视线估计方法

Publications (2)

Publication Number Publication Date
CN109344714A CN109344714A (zh) 2019-02-15
CN109344714B true CN109344714B (zh) 2022-03-15

Family

ID=65291973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811011543.8A Active CN109344714B (zh) 2018-08-31 2018-08-31 一种基于关键点匹配的视线估计方法

Country Status (1)

Country Link
CN (1) CN109344714B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109901716B (zh) * 2019-03-04 2022-08-26 厦门美图之家科技有限公司 视线点预测模型建立方法、装置及视线点预测方法
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
CN110414419A (zh) * 2019-07-25 2019-11-05 四川长虹电器股份有限公司 一种基于移动端观看者的姿势检测***及方法
CN110503068A (zh) * 2019-08-28 2019-11-26 Oppo广东移动通信有限公司 视线估计方法、终端及存储介质
CN111291701B (zh) * 2020-02-20 2022-12-13 哈尔滨理工大学 一种基于图像梯度和椭圆拟合算法的视线追踪方法
CN113780164B (zh) * 2021-09-09 2023-04-28 福建天泉教育科技有限公司 一种头部姿态识别方法及终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1787012A (zh) * 2004-12-08 2006-06-14 索尼株式会社 用于处理图像的方法、装置和计算机程序
CN102799888A (zh) * 2011-05-27 2012-11-28 株式会社理光 人眼检测方法和人眼检测设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL295059A (en) * 2016-10-05 2022-09-01 Magic Leap Inc A blind eye test for mixed reality calibration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1787012A (zh) * 2004-12-08 2006-06-14 索尼株式会社 用于处理图像的方法、装置和计算机程序
CN102799888A (zh) * 2011-05-27 2012-11-28 株式会社理光 人眼检测方法和人眼检测设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双目立体视觉的眼球突出度测量方法研究;张帅;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20170215(第02期);I138-2639 *

Also Published As

Publication number Publication date
CN109344714A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN109344714B (zh) 一种基于关键点匹配的视线估计方法
AU2021240222B2 (en) Eye pose identification using eye features
CN104317391B (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和***
Valenti et al. Combining head pose and eye location information for gaze estimation
US9286694B2 (en) Apparatus and method for detecting multiple arms and hands by using three-dimensional image
KR20160138062A (ko) 적응적 호모그래피 매핑에 기초한 눈 시선 추적
CN109359514B (zh) 一种面向deskVR的手势跟踪识别联合策略方法
CN109785373B (zh) 一种基于散斑的六自由度位姿估计***及方法
WO2019136588A1 (zh) 基于云端计算的标定方法、装置、电子设备和计算机程序产品
CN110794963A (zh) 基于深度相机的眼控辅助输入方法
CN111259739A (zh) 一种基于3d人脸关键点和几何投影的人脸姿态估计方法
CN115830675B (zh) 一种注视点跟踪方法、装置、智能眼镜及存储介质
Liu et al. Robust 3-D gaze estimation via data optimization and saliency aggregation for mobile eye-tracking systems
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置
Liu et al. Towards robust auto-calibration for head-mounted gaze tracking systems
WO2024113275A1 (zh) 凝视点获取方法和装置、电子设备和存储介质
JP2012212325A (ja) 視線計測システム、方法およびプログラム
WO2024116253A1 (ja) 情報処理方法、情報処理プログラムおよび情報処理装置
CN118279966A (zh) 一种视线追踪方法、装置、电子设备及存储介质
WO2024059927A1 (en) Methods and systems for gaze tracking using one corneal reflection
CN113643362A (zh) 2d人体姿态估计***中基于人体测量的肢体校正器
TW201301204A (zh) 追蹤頭部即時運動之方法
KR20170141018A (ko) 가림 랜드마크를 고려한 얼굴 랜드마크 검출 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant