CN111443804B - 基于视频分析的注视点轨迹描述方法及其*** - Google Patents
基于视频分析的注视点轨迹描述方法及其*** Download PDFInfo
- Publication number
- CN111443804B CN111443804B CN202010224123.9A CN202010224123A CN111443804B CN 111443804 B CN111443804 B CN 111443804B CN 202010224123 A CN202010224123 A CN 202010224123A CN 111443804 B CN111443804 B CN 111443804B
- Authority
- CN
- China
- Prior art keywords
- pupil
- center
- eye
- user
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 210000001747 pupil Anatomy 0.000 claims abstract description 70
- 238000013507 mapping Methods 0.000 claims abstract description 39
- 239000013598 vector Substances 0.000 claims abstract description 38
- 210000004087 cornea Anatomy 0.000 claims abstract description 29
- 210000003128 head Anatomy 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 210000001508 eye Anatomy 0.000 claims description 64
- 238000010586 diagram Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 20
- 230000004424 eye movement Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000004886 head movement Effects 0.000 description 3
- 230000019771 cognition Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 231100000206 health hazard Toxicity 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- LFULEKSKNZEWOE-UHFFFAOYSA-N propanil Chemical group CCC(=O)NC1=CC=C(Cl)C(Cl)=C1 LFULEKSKNZEWOE-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Human Computer Interaction (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视频分析的注视点轨迹描述***，包括数据采集及预处理模块、瞳孔定位模块、注视点标定模块、注视点轨迹描述模块。还公开了一种基于视频分析的注视点轨迹描述方法，通过采集视频眼动图像，并进行预处理操作，通过瞳孔粗定位与瞳孔精定位方法，求出瞳孔中心与角膜反射光斑中心在眼图中的坐标，结合动态头部补偿模型，求出瞳孔中心与角膜反射光斑中心所构成的矢量与注视点之间的三维空间映射关系，通过该映射函数进行注视点轨迹描述。本发明在建立注视点三维空间映射关系的基础上，获取用户的注视点轨迹，提高人们对用户感兴趣区域的预判能力，能有效地支持广告类网页布局的优化，具有使用简单、方法精度高及应用潜力大等优点。
Description
技术领域
本发明涉及眼动跟踪技术领域，特别是涉及一种基于视频分析的注视点轨迹描述方法及其***。
背景技术
近年来，得益于虚拟现实、人机界面技术、计算机视觉等领域的发展，虹膜识别、手势识别、人眼检测、眼动跟踪等技术获得了迅猛的提升，这些技术逐渐在人们的日常生活中普及。注视点轨迹描述方法是人机交互技术的分支，也是眼动跟踪技术的关键，注视点轨迹描述方法的精度直接影响着眼动跟踪的效果。
传统的注视点轨迹描述方法主要分为侵入式与非侵入式两种。侵入式方法例如电磁线圈法，主要通过将硬件设备埋入人眼的方式，这就导致了设备与人眼的直接接触，会对人眼的健康造成直接或者潜在的危害。非侵入式的检测方法主要是基于视频图像处理的注视点描述方法，该方法基于眼睛的轮廓进行瞳孔检测与定位，在舒适感与精度两个方面相较以往的侵入式方法有了很大的改善，但需要的检测工具体积较大，携带不方便，价格昂贵，且头部移动时精度将会大幅度降低。
因此亟需提供一种新型的注视点轨迹描述方法及其***来解决上述问题。
发明内容
本发明所要解决的技术问题是提供一种使用简单、携带便捷、精度高、应用潜力大的基于视频分析的注视点轨迹描述方法及其***。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于视频分析的注视点轨迹描述方法，包括以下步骤：
S1：采集用户观看已知标定网点的视频眼动图像，并对其进行预处理操作；
S2：通过瞳孔粗定位与瞳孔精定位方法，求出预处理后眼图中瞳孔中心与角膜反射光斑中心的坐标；
S3：将步骤S2中获得的由瞳孔中心与角膜反射光斑中心组成的矢量以及标定网点坐标作为已知条件，通过瞳孔角膜反射技术结合动态头部补偿模型，建立特定的注视点映射关系函数；
S4：采集用户观看视频或/和图片的视频眼动图像，并对其进行预处理操作；
S5：重复步骤S2，将获得的由瞳孔中心与角膜反射光斑中心组成的矢量代入步骤S3建立的映射关系函数，求出用户在观看屏幕上的注视点坐标；
S6：通过生成的注视点区域热点图与注视点区域散点图对用户观看结果进行分析，获取用户真正感兴趣区域，并对网页类布局规划进行反馈。
在本发明一个较佳实施例中，在步骤S1中，已知标定网点为若干个标定点组成的矩形网格状网点，坐标已知，且各点依次均匀分布在观看屏幕上。
在本发明一个较佳实施例中，在步骤S1及S4中，对眼图的预处理操作包括对瞳孔区域的滤波去噪以及对角膜反射光斑的大致轮廓筛查。
在本发明一个较佳实施例中，在步骤S2中，瞳孔粗定位方法的过程为：
采用二维矩阵来表示瞳孔的二值图像，矩阵由M行，N列组成，采用行列定位求出矩阵的中心，即瞳孔粗定位中心，其坐标记为(Xei，Yei)，以该矩阵中心作为该区域外接圆的圆心，将外接圆的半径r作为瞳孔粗定位时的半径。
在本发明一个较佳实施例中，在步骤S2中，瞳孔精定位方法采用质心法，具体过程为：
假设W是采样窗口区域，即瞳孔粗定位区域，x和y是W中像素的坐标，I(x，y)是(x，y)处的二值图像：
离散化后，可以写成：
其中
和
是离散化后图像平面中实际的质心位置，上一公式中的W代替离散的n个像素以构成采样窗口，xi和yi是第i个图像的几何中心坐标，并且是第i个图像的像素值积分。
在本发明一个较佳实施例中，步骤S3的具体步骤包括：
假设瞳孔-光斑向量e被表示为(xe，ye)，并且屏幕注视点S′由(xs，ys)表示，特定的凝视映射函数S′(xs，ys)＝F(e)通过以下非线性方程建模：
其中，系数u0，u1，u2，u3和v0，v1，v2，v3是从一组成对的瞳孔中心-光斑中心矢量和相应的屏幕注视点推算出来；
假设原始眼睛位置在点O1处，此时在三维坐标中实际瞳孔中心P1(Px1，Py1，Pz1)与光斑中心G1(Gx1，Gy1，-f)构成的矢量记为
其中f是相机的焦距；在眼图中，瞳孔中心p1(px1，py1，pz1)与角膜中心g1(gx1，gy1，-f)构成的矢量e1记为
可看成
在眼图中的投影，瞳孔中心到角膜中心的距离记为r1；眼睛所观看的电脑屏幕位置记为S(Sx，Sy，Sz)，求出此时的注视点映射函数为fo1，则函数fo1可以表示为：
S(Sx，Sy，Sz)＝fO1(e1)
当眼睛随着头部移动而移动到新位置O2时，当用户注视相同的电脑屏幕位置S(Sx，Sy，Sz)时，此时在三维坐标中实际瞳孔中心P2(Px2，Py2，Pz2)与光斑中心G2(Gx2，Gy2，-f)构成的矢量记为
在眼图中，瞳孔中心p2(px2，py2，pz2)与角膜中心g2(gx2，gy2，-f)构成的矢量
记为(ex2，ey2)，可看成
在眼图中的投影，瞳孔中心到角膜中心的距离记为r2；则r1、r2、Ex2、Ey2、ex1、ey1分别可以表示为：
其中d设置如下：
综合上述公式，在不同位置，眼图中瞳孔中心与角膜中心构成的矢量坐标之间的映射关系(即为头部动态补偿模型)表示为：
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于视频分析的注视点轨迹描述***，采用如上任一项所述的基于视频分析的注视点轨迹描述方法，主要包括：
所述数据采集及预处理模块，用于采集视频眼动图像，并对其进行预处理操作，处理后的数据信息作为瞳孔定位算法的输入数据；
所述瞳孔定位模块，通过瞳孔粗定位与瞳孔精定位方法，求出瞳孔中心与角膜反射光斑中心在眼图中的坐标；
所述注视点标定模块，通过构建动态头部补偿模型，求出瞳孔中心与角膜反射光斑中心所构成的矢量与注视点之间的三维空间映射关系；
所述注视点轨迹描述模块，通过生成的注视点区域热点图与注视点区域散点图对用户观看结果进行分析，获取用户真正感兴趣区域。
本发明的有益效果是：本发明所述基于视频分析的注视点轨迹描述方法和***，具有操作简单、描述精度高及应用前景广阔等优点。具体如下：
1、本发明操作简单：
本发明简单易懂，使用方便，只需一个红外摄像头和***连接便可进行操作。采集视频之后就是注视点标定，只需要按顺序凝视屏幕上提前标定的九个点即可，每次实验只需标定一次，无需重复标定和修正，可以简便快捷地完成实验过程；
2、本发明注视点轨迹描述精度高：
为了保证瞳孔定位的准确性，本发明使用行列定位法与改进的质心算法分别进行瞳孔粗定位与精定位，求出瞳孔中心坐标与角膜反射光斑(即普尔钦斑)中心坐标。在进行注视点标定时，当用户将头部从执行特定凝视校准的位置移开时，由于头部运动引起的瞳孔中心-光斑中心矢量变化，特定凝视映射功能将无法准确估计凝视点，因此需要结合动态头部补偿模型求出注视映射函数，再将由角膜反射光斑的中心与瞳孔中心构成的矢量输入到特定的注视映射函数中，这样无论用户是否移动了头部，都可以准确地估计出屏幕上的注视点。以上两个过程的实现，大大地提高了映射的精度。
3、本发明应用前景广阔：
该***可以实时采集眼动数据，了解注视点的移动轨迹，可以有效的获知用户的兴趣点位置。在心理认知领域，从人们的眼动轨迹来解读人的思维状态已成为应用心理学的研究热点，比如通过了解犯罪分子的心理状态，帮助公安部门侦破案件；在医疗领域，以渐冻人为例，后期他们只有眼睛可以动，他们与外界沟通只能通过眼睛，而该发明技术可以帮助他们交流；在个性化广告推荐领域，通过获取用户注视点，为用户推荐相同类型的广告，如果计算机知道用户注视的位置，软件就能通过调整屏幕，针对用户最感兴趣的内容呈现更多的信息。在基于视频分析的注视点轨迹描述***中，映射关系的准确建立尤为重要，只有获取高精度的注视点区域，才能对用户的注视点轨迹进行分析，而本发明的主要目的就是结合头部动态补偿模型建立高精度的注视点轨迹描述***，因此本发明具有巨大的应用潜力。
附图说明
图1是本发明基于视频分析的注视点轨迹描述方法的流程图；
图2是本发明实施例的数据采集过程图；
图3是瞳孔图像预处理操作的图像示意图；
图4是瞳孔粗定位与精定位的检测结果图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1，本发明实施例包括：
一种基于视频分析的注视点轨迹描述方法，包括以下步骤：
S1：采集用户观看已知标定网点的视频眼动图像，并对其进行预处理操作；已知标定网点为若干个标定点组成的矩形网格状网点，坐标已知，且各点依次均匀分布在观看屏幕上。优选的，通过使用帧率为30帧/秒的红外摄像头采集用户视频眼动图像。
结合图2，(a)图示出了标定视频采集实验范式，在标定的电脑屏幕上人工标定9个点，设定这9个点的坐标，使之呈3*3网格状分布，其中点与点之间的列间距是行间距的1.5倍。这九个点顺序呈现，每个点呈现时间为6s，注视九个点的时间为54s，加上前期的准备工作，一个标定流程共60s。受试者在实验过程中可以移动头部，但不能超出红外摄像头的拍摄范围，并与电脑屏幕相距60cm左右，要求受试者认真注视呈现的网点，红外摄像头连续记录眼动视频，通过点击***的标定视频按钮进行录制并保存。
在采集视频的过程中会不可避免的引入噪声，这些噪声信号都会对图像产生干扰，滤波能够去除图像数据中的干扰信号，是图像预处理的关键步骤。结合图3，为了求出瞳孔的大致轮廓，首先将原始瞳孔图像转换为二值图像，黑色部分即为瞳孔。为了使瞳孔的二值图像更加结构化，使瞳孔的边缘曲线更加平滑，以便得到连通域的规则形状图形，本发明采用的形态学滤波对图像进行腐蚀和膨胀处理，选择strel函数中的disk参数来构造元素。对眼图的预处理操作还包括对角膜反射光斑的大致轮廓筛查，以提高定位的准确率。
本发明所述方法简单易懂，使用方便，只需一个红外摄像头和***连接便可进行操作。采集视频之后就是注视点标定，只需要按顺序凝视屏幕上提前标定的九个点即可，每次实验只需标定一次，无需重复标定和修正，可以简便快捷地完成实验过程。
S2：通过瞳孔粗定位与瞳孔精定位方法，求出预处理后眼图中瞳孔中心与角膜反射光斑(即普尔钦斑)中心的坐标；
结合图4(d)，瞳孔粗定位方法的过程为：采用行列定位法对瞳孔进行粗定位，数字图像数据可以用矩阵来表示，所以用二维矩阵来表示瞳孔的二值图像，矩阵由M行，N列组成，二值图像矩阵的值只有0和1，根据行列法求出矩阵的中心，即瞳孔粗定位中心。把矩阵中心作为该区域外接圆的圆心，也是瞳孔粗定位中心，其坐标记为(Xei，Yei)，与此同时，把外接圆的半径r作为瞳孔粗定位时的半径。
结合图4(e)，瞳孔精定位方法采用质心法，具体过程为：
假设W是采样窗口区域，即瞳孔粗定位区域，x和y是W中像素的坐标，I(x，y)是(x，y)处的二值图像：
离散化后，可以写成：
其中
和
是离散化后图像平面中实际的质心位置，上一公式中的W代替离散的n个像素以构成采样窗口，xi和yi是第i个图像的几何中心坐标，并且是第i个图像的像素值积分。
角膜反射光斑中心的获取与瞳孔中心类似。
参见图4，进行图像预处理时，将图像转化为二值图像，此时可求得瞳孔的大致轮廓，在此基础上可对瞳孔进行粗定位。通过瞳孔粗定位可求出一个近似圆形瞳孔区域，在此区域的基础上采用瞳孔精定位方法求得瞳孔中心位置。本发明选用误差最小、精度最高的质心法来对瞳孔进行精定位。
S3：将步骤S2中获得的由瞳孔中心与角膜反射光斑中心组成的矢量以及标定网点坐标作为已知条件，通过瞳孔角膜反射技术结合动态头部补偿模型，建立特定的注视点映射关系函数；
获得注视点映射关系函数的过程如下：
所提取的瞳孔-光斑向量e被表示为(xe，ye)，并且屏幕注视点S′由(xs，ys)表示。特定的凝视映射函数S′(xs，ys)＝F(e)可以通过以下非线性方程建模：
系数u0，u1，u2，u3和v0，v1，v2，v3是从一组成对的瞳孔中心-光斑中心矢量和相应的屏幕注视点推算出来的。如果用户在凝视校准后没有显着地移动其头部，则可以使用特定的凝视映射功能基于提取的瞳孔闪烁矢量在屏幕上准确估计用户的凝视点。但是，当用户将头部从执行特定凝视校准的位置移开时，由于头部运动引起的瞳孔中心-光斑中心矢量变化，特定凝视映射功能将无法准确估计凝视点。因此，必须消除对这些瞳孔中心-光斑中心矢量的头部移动影响，以便利用特定的凝视映射功能来准确地估计屏幕凝视点。本发明采用的是动态头部补偿模型方法，它动态地为新的眼睛位置提供凝视映射功能。
假设原始眼睛位置在点O1处，此时在三维坐标中实际瞳孔中心P1(Px1，Py1，Pz1)与光斑中心G1(Gx1，Gy1，-f)构成的矢量记为
其中f是相机的焦距。在眼图中，瞳孔中心p1(px1，py1，Pz1)与角膜中心g1(gx1，gy1，-f)构成的矢量e1记为
可看成
在眼图中的投影，瞳孔中心到角膜中心的距离记为r1。眼睛所观看的电脑屏幕位置记为S(Sx，Sy，Sz)，可以求出此时的注视点映射函数为fo1，则函数fo1可以表示为：
S(Sx，Sy，Sz)＝fO1(e1)
当眼睛随着头部移动而移动到新位置O2时，当用户注视相同的电脑屏幕位置S(Sx，Sy，Sz)时，此时在三维坐标中实际瞳孔中心P2(Px2，Py2，Pz2)与光斑中心G2(Gx2，Gy2，-f)与光斑中心构成的矢量记为
在眼图中，瞳孔中心p2(px1，py1，pz1)与角膜中心g2(gx2，gy2，-f)构成的矢量
记为(ex2，ey2)，可看成
在眼图中的投影，瞳孔中心到角膜中心的距离记为r2。r表示瞳孔中心到角膜中心的距离，不会随着眼球的旋转而改变。则r1、r2、Ex2、Ey2、ex1、ey1分别可以表示为：
其中d设置如下：
综合上述公式，在不同位置，眼图中瞳孔中心与角膜中心构成的矢量坐标之间的映射关系(即为头部动态补偿模型)可以表示为：
S4：采集用户观看视频或/和图片的视频眼动图像，并对其进行预处理操作；
结合图2，(b)图示出了映射视频采集实验范式。本实施例中，在受试者看完标定点后，紧接着给出一张广告类图片让受试者自由观察，注视符合个人偏好的广告内容，同时记录受试者的眼动观测视频，通过点击***的映射视频按钮进行录制并保存。标定视频按钮与映射视频按钮均是***界面上的控件。
S5：重复步骤S2，将获得的由瞳孔中心与角膜反射光斑中心组成的矢量代入步骤S3建立的映射关系函数，求出用户在观看屏幕上的注视点坐标；
S6：通过生成的注视点区域热点图与注视点区域散点图对用户观看结果进行分析，获取用户真正感兴趣区域，并对网页类布局规划进行反馈。
为了保证瞳孔定位的准确性，本发明所述方法使用行列定位法与改进的质心算法分别进行瞳孔粗定位与精定位，求出瞳孔中心坐标与角膜反射光斑(即普尔钦斑)中心坐标。在进行注视点标定时，当用户将头部从执行特定凝视校准的位置移开时，由于头部运动引起的瞳孔中心-光斑中心矢量变化，特定凝视映射功能将无法准确估计凝视点，因此需要结合动态头部补偿模型求出注视映射函数，再将由角膜反射光斑的中心与瞳孔中心构成的矢量输入到特定的注视映射函数中，这样无论用户是否移动了头部，都可以准确地估计出屏幕上的注视点。以上两个过程的实现，大大地提高了映射的精度。
本发明还提供了一种基于视频分析的注视点轨迹描述***，采用如上所述的基于视频分析的注视点轨迹描述方法，主要包括：
所述数据采集及预处理模块，用于采集视频眼动图像，并对其进行预处理操作，处理后的数据信息作为瞳孔定位算法的输入数据；
所述瞳孔定位模块，通过瞳孔粗定位与瞳孔精定位方法，求出瞳孔中心与角膜反射光斑中心在眼图中的坐标；
所述注视点标定模块，通过构建动态头部补偿模型，求出瞳孔中心与角膜反射光斑中心所构成的矢量与注视点之间的三维空间映射关系；
所述注视点轨迹描述模块，通过生成的注视点区域热点图与注视点区域散点图对用户观看结果进行分析，获取用户真正感兴趣区域。
该***可以实时采集眼动数据，了解注视点的移动轨迹，可以有效的获知用户的兴趣点位置。在心理认知领域，从人们的眼动轨迹来解读人的思维状态已成为应用心理学的研究热点，比如通过了解犯罪分子的心理状态，帮助公安部门侦破案件；在医疗领域，以渐冻人为例，后期他们只有眼睛可以动，他们与外界沟通只能通过眼睛，而该发明技术可以帮助他们交流；在个性化广告推荐领域，通过获取用户注视点，为用户推荐相同类型的广告，如果计算机知道用户注视的位置，软件就能通过调整屏幕，针对用户最感兴趣的内容呈现更多的信息。在基于视频分析的注视点轨迹描述***中，映射关系的准确建立尤为重要，只有获取高精度的注视点区域，才能对用户的注视点轨迹进行分析，而本发明的主要目的就是结合头部动态补偿模型建立高精度的注视点轨迹描述***，因此本发明具有巨大的应用潜力。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种基于视频分析的注视点轨迹描述方法，包括以下步骤：
S1：采集用户观看已知标定网点的视频眼动图像，并对其进行预处理操作；
S2：通过瞳孔粗定位与瞳孔精定位方法，求出预处理后眼图中瞳孔中心与角膜反射光斑中心的坐标；
S3：将步骤S2中获得的由瞳孔中心与角膜反射光斑中心组成的矢量以及标定网点坐标作为已知条件，通过瞳孔角膜反射技术结合动态头部补偿模型，建立特定的注视点映射关系函数；
假设瞳孔-光斑向量e被表示为(xe，ye)，并且屏幕注视点S′由(xs，ys)表示，特定的凝视映射函数S′(xs，ys)＝F(e)通过以下非线性方程建模：
其中，系数u0，u1，u2，u3和v0，v1，v2，v3是从一组成对的瞳孔中心-光斑中心矢量和相应的屏幕注视点推算出来；
假设原始眼睛位置在点O1处，此时在三维坐标中实际瞳孔中心P1(Px1，Py1，Pz1)与光斑中心G1(Gx1，Gy1，-f)构成的矢量记为
其中f是相机的焦距；在眼图中，瞳孔中心p1(px1，py1，pz1)与角膜中心g1(gx1，gy1，-f)构成的矢量e1记为
可看成
在眼图中的投影，瞳孔中心到角膜中心的距离记为r1；眼睛所观看的电脑屏幕位置记为S(Sx，Sy，Sz)，求出此时的注视点映射函数为fO1，则函数fO1可以表示为：
S(Sx，Sy，Sz)＝fO1(e1)
当眼睛随着头部移动而移动到新位置O2时，当用户注视相同的电脑屏幕位置S(Sx，Sy，Sz)时，此时在三维坐标中实际瞳孔中心P2(Px2，Py2，Pz2)与光斑中心G2(Gx2，Gy2，-f)构成的矢量记为
在眼图中，瞳孔中心p2(px2，py2，pz2)与角膜中心g2(gx2，gy2，-f)构成的矢量
记为(ex2，ey2)，可看成
在眼图中的投影，瞳孔中心到角膜中心的距离记为r2；则r1、r2、Ex2、Ey2、ex1、ey1分别可以表示为：
其中d设置如下：
综合上述公式，在不同位置，眼图中瞳孔中心与角膜中心构成的矢量坐标之间的映射关系(即为头部动态补偿模型)表示为：
S4：采集用户观看视频或/和图片的视频眼动图像，并对其进行预处理操作；
S5：重复步骤S2，将获得的由瞳孔中心与角膜反射光斑中心组成的矢量代入步骤S3建立的映射关系函数，求出用户在观看屏幕上的注视点坐标；
S6：通过生成的注视点区域热点图与注视点区域散点图对用户观看结果进行分析，获取用户真正感兴趣区域，并对网页类布局规划进行反馈。
2.根据权利要求1所述的基于视频分析的注视点轨迹描述方法，其特征在于，在步骤S1中，已知标定网点为若干个标定点组成的矩形网格状网点，坐标已知，且各点依次均匀分布在观看屏幕上。
3.根据权利要求1所述的基于视频分析的注视点轨迹描述方法，其特征在于，在步骤S1及S4中，对眼图的预处理操作包括对瞳孔区域的滤波去噪以及对角膜反射光斑的大致轮廓筛查。
4.根据权利要求1所述的基于视频分析的注视点轨迹描述方法，其特征在于，在步骤S2中，瞳孔粗定位方法的过程为：
采用二维矩阵来表示瞳孔的二值图像，矩阵由M行，N列组成，采用行列定位求出矩阵的中心，即瞳孔粗定位中心，其坐标记为(Xei，Yei)，以该矩阵中心作为该区域外接圆的圆心，将外接圆的半径r作为瞳孔粗定位时的半径。
5.根据权利要求1所述的基于视频分析的注视点轨迹描述方法，其特征在于，在步骤S2中，瞳孔精定位方法采用质心法，具体过程为：
假设W是采样窗口区域，即瞳孔粗定位区域，x和y是W中像素的坐标，I(x，y)是(x，y)处的二值图像：
离散化后，可以写成：
其中
和
是离散化后图像平面中实际的质心位置，上一公式中的W代替离散的n个像素以构成采样窗口，xi和yi是第i个图像的几何中心坐标，并且是第i个图像的像素值积分。
6.一种基于视频分析的注视点轨迹描述***，采用如权利要求1至5任一项所述的基于视频分析的注视点轨迹描述方法，其特征在于，主要包括：
所述数据采集及预处理模块，用于采集视频眼动图像，并对其进行预处理操作，处理后的数据信息作为瞳孔定位算法的输入数据；
所述瞳孔定位模块，通过瞳孔粗定位与瞳孔精定位方法，求出瞳孔中心与角膜反射光斑中心在眼图中的坐标；
所述注视点标定模块，通过构建动态头部补偿模型，求出瞳孔中心与角膜反射光斑中心所构成的矢量与注视点之间的三维空间映射关系；
所述注视点轨迹描述模块，通过生成的注视点区域热点图与注视点区域散点图对用户观看结果进行分析，获取用户真正感兴趣区域。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019113814439 | 2019-12-27 | ||
| CN201911381443 | 2019-12-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111443804A CN111443804A (zh) | 2020-07-24 |
| CN111443804B true CN111443804B (zh) | 2022-08-19 |
Family
ID=71648028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010224123.9A Active CN111443804B (zh) | 2019-12-27 | 2020-03-26 | 基于视频分析的注视点轨迹描述方法及其*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111443804B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113158879B (zh) * | 2021-04-19 | 2022-06-10 | 天津大学 | 基于匹配特征的三维注视点估计及三维眼动模型建立方法 |
| CN113159844B (zh) * | 2021-04-20 | 2022-12-23 | 上海外国语大学 | 一种基于眼球轨迹追踪的广告智能评估方法及*** |
| CN113391699B (zh) * | 2021-06-10 | 2022-06-21 | 昆明理工大学 | 一种基于动态眼动指标的眼势交互模型方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010003410A1 (en) * | 2008-07-08 | 2010-01-14 | It-University Of Copenhagen | Eye gaze tracking |
| JP2010259605A (ja) * | 2009-05-01 | 2010-11-18 | Nippon Hoso Kyokai <Nhk> | 視線測定装置および視線測定プログラム |
| CN102125422A (zh) * | 2010-01-12 | 2011-07-20 | 北京科技大学 | 视线追踪***中基于瞳孔-角膜反射的视线估计方法 |
| CN106056092A (zh) * | 2016-06-08 | 2016-10-26 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
| CN107506705A (zh) * | 2017-08-11 | 2017-12-22 | 西安工业大学 | 一种瞳孔‑普尔钦斑视线跟踪与注视提取方法 |
| CN107729871A (zh) * | 2017-11-02 | 2018-02-23 | 北方工业大学 | 基于红外光的人眼活动轨迹追踪方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6659611B2 (en) * | 2001-12-28 | 2003-12-09 | International Business Machines Corporation | System and method for eye gaze tracking using corneal image mapping |
| US7306337B2 (en) * | 2003-03-06 | 2007-12-11 | Rensselaer Polytechnic Institute | Calibration-free gaze tracking under natural head movement |
-
2020
- 2020-03-26 CN CN202010224123.9A patent/CN111443804B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010003410A1 (en) * | 2008-07-08 | 2010-01-14 | It-University Of Copenhagen | Eye gaze tracking |
| JP2010259605A (ja) * | 2009-05-01 | 2010-11-18 | Nippon Hoso Kyokai <Nhk> | 視線測定装置および視線測定プログラム |
| CN102125422A (zh) * | 2010-01-12 | 2011-07-20 | 北京科技大学 | 视线追踪***中基于瞳孔-角膜反射的视线估计方法 |
| CN106056092A (zh) * | 2016-06-08 | 2016-10-26 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
| WO2017211066A1 (zh) * | 2016-06-08 | 2017-12-14 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
| CN107506705A (zh) * | 2017-08-11 | 2017-12-22 | 西安工业大学 | 一种瞳孔‑普尔钦斑视线跟踪与注视提取方法 |
| CN107729871A (zh) * | 2017-11-02 | 2018-02-23 | 北方工业大学 | 基于红外光的人眼活动轨迹追踪方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| Eye gaze tracking techniques for interactive applications;Carlos H 等;《Computer Vision and Image Understanding》;20041231;全文 * |
| 基于暗瞳图像的人眼视线估计;张太宁等;《物理学报》;20130708(第13期);全文 * |
| 基于眼动视频的注视点轨迹描述方法及应用研究;梁梦颖 等;《安徽大学学报(自然科学版)》;20210115;全文 * |
| 视线追踪***中注视点估计算法研究;金纯等;《科学技术与工程》;20160518(第14期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111443804A (zh) | 2020-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tonsen et al. | Invisibleeye: Mobile eye tracking using multiple low-resolution cameras and learning-based gaze estimation | |
| CN111443804B (zh) | 基于视频分析的注视点轨迹描述方法及其*** | |
| US11366517B2 (en) | Human-computer interface using high-speed and accurate tracking of user interactions | |
| Chen et al. | Probabilistic gaze estimation without active personal calibration | |
| Renninger et al. | Where to look next? Eye movements reduce local uncertainty | |
| Chen et al. | A probabilistic approach to online eye gaze tracking without explicit personal calibration | |
| US20040227699A1 (en) | Foveated display eye-tracking system and method | |
| US20100092049A1 (en) | Method of Precision Eye-Tracking Through Use of Iris Edge Based Landmarks in Eye Geometry | |
| US20020039111A1 (en) | Automated visual tracking for computer access | |
| WO2020042542A1 (zh) | 眼动控制校准数据获取方法和装置 | |
| CN111933275A (zh) | 一种基于眼动与面部表情的抑郁评估*** | |
| KR20210122271A (ko) | 눈 추적 장치 및 방법 | |
| Shi et al. | SalientGaze: Saliency-based gaze correction in virtual reality | |
| Mulligan | Recovery of motion parameters from distortions in scanned images | |
| KR20160117716A (ko) | 안구전도 시선 트래킹 기술 기반 눈글 인식 방법 및 시스템 | |
| Modi et al. | Real-time camera-based eye gaze tracking using convolutional neural network: a case study on social media website | |
| Li et al. | A model-based approach to video-based eye tracking | |
| Madhusanka et al. | Biofeedback method for human–computer interaction to improve elder caring: Eye-gaze tracking | |
| Weigle et al. | Analysis of eye-tracking experiments performed on a Tobii T60 | |
| Gavas et al. | Enhancing the usability of low-cost eye trackers for rehabilitation applications | |
| Khan et al. | A new 3D eyeball tracking system to enhance the usability of page scrolling | |
| Sadri et al. | Particle filtering in the design of an accurate pupil tracking system | |
| Oyekoya | Eye tracking: A perceptual interface for content based image retrieval | |
| Attivissimo et al. | Performance evaluation of image processing algorithms for eye blinking detection | |
| Stefanov | Webcam-based eye gaze tracking under natural head movement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |