CN113918007B - 一种基于眼球追踪的视频交互操作方法 - Google Patents

Abstract

本发明公开一种基于眼球追踪的视频交互操作方法，包括：确定操作人员相对于屏幕的坐标P(x,y)，根据P(x,y)判断操作人员是否在预设位置范围内，若在预设位置范围内，则继续执行以下步骤，否则，结束处理；确定操作人员的人脸图像，从人脸图像中截取左右眼的ROI图像，若能够截取到左右眼ROI图像，则判断正脸朝向，否则，判断为侧脸朝向，确定出左瞳孔和右瞳孔，进而确定出操作人员视觉落在屏幕的视觉区域；步骤3：根据前后相邻两张左右眼的ROI图像，确定瞳孔变化情况，根据瞳孔变化情况执行对应的视频交互操作理。本发明能够很好地确定操作人员所处的预设位置范围，精准跟踪到眼球，能够更好地执行视频交互操作。

Description

一种基于眼球追踪的视频交互操作方法

技术领域

本发明涉及眼球追踪技术领域，具体涉及一种基于眼球追踪的视频交互操作方法。

背景技术

现有对屏幕视频交互操作大多数是通过鼠标、键盘或其他实体硬件(例如VR手柄)来实现不同操作，例如切换、关闭、快进等视频操作。但这种操作在某些场景下并不适合，例如对与断臂的残疾人员来说，通常鼠标键盘操作方式显得很不方便，这类人员难以对屏幕进行长时间的有效控制。为此，若能够通过眼球控制屏幕，则可以脱离现有的视频交互操作模式，更方便人员操作屏幕内容，并可以很好地节约人员和硬件成本。

目前的眼球追踪并不很成熟，具体到眼前落到屏幕的焦点追踪并不很精确，从而导致基于眼球追踪来控制相应操作会出现延时甚至失效的现象。为此，需要一种能够更精确追踪眼球的视频交互操作方法。

发明内容

针对现有技术的不足，本发明的目的提供一种基于眼球追踪的视频交互操作方法，其能够解决眼球追踪精确性的问题。

实现本发明的目的的技术方案为：一种基于眼球追踪的视频交互操作方法，包括以下步骤：

步骤1：确定操作人员相对于屏幕的坐标P(x,y)，x表示操作人员距离屏幕的垂直距离，y表示操作人员相对于屏幕的水平距离，根据P(x,y)判断操作人员是否在预设位置范围内，若在预设位置范围内，则继续执行以下步骤，否则，结束处理；

步骤2：确定操作人员的人脸图像，从人脸图像中截取左右眼的ROI图像，若能够截取到左右眼ROI图像，则判断为操作人员为正脸朝向屏幕并继续执行以下步骤，否则，判断操作人员为侧脸朝向屏幕并结束处理，

从左右眼的ROI图像确定出左瞳孔和右瞳孔，根据左瞳孔和右瞳孔确定出操作人员视觉落在屏幕的视觉区域；

步骤3：根据前后相邻两张左右眼的ROI图像，比较左瞳孔和右瞳孔变化位置情况，确定瞳孔变化情况，根据瞳孔变化情况执行对应的视频交互操作。

进一步地，确定出所述预设位置范围包括以下步骤：

步骤S1：确定摄像装置拍摄范围和屏幕的可视角度范围，摄像装置用于追踪操作人员的眼球，摄像装置拍摄范围由最外侧两条拍摄线所确定，两条虚线之间的区域为摄像装置的拍摄范围，屏幕的可视角度范围由最外侧的两条显示线确定，两条显示线之间的区域为屏幕的可视角度范围；

步骤S2：以表征屏幕的可视角度范围的最外侧的两条显示线交点所在的水平线作为人眼距离屏幕最远距离，两条显示线交点所在的水平线记为第一水平线；

步骤S3：以屏幕的可视角度范围的两条角平分线交点所在的水平线作为人眼距离屏幕最近距离，两条角平分线交点所在的水平线记为第二水平线；

步骤S4：以第一水平线、第二水平线、摄像装置外侧两条拍摄线围成的梯形区域作为所述预设位置范围。

进一步地，将所述左右眼的ROI图像进行灰度化，得到灰度化的左右眼ROI图像，在灰度化的左右眼ROI图像中灰度值最低位置为瞳孔所在位置，从而确定出左瞳孔和右瞳孔。

进一步地，所述操作人员视觉落在屏幕的视觉区域为呈矩形的视觉区域Q，视觉区域Q的宽width和高heigth按以下公式计算得到：

式中，A表示操作人员视线与屏幕的夹角。

进一步地，所述步骤3中，瞳孔变化情况包括瞳孔向左移动、向右移动、向上移动、向下移动、眨眼和视觉停留在视觉区域超过预设时间，

若视觉停留在视觉区域超过预设时间，则执行第一操作，若瞳孔向左移动，则执行第二操作，若瞳孔向右移动，则执行第三操作，若瞳孔向上移动，则执行第四操作，若瞳孔向下移动，则执行第五操作，若眨眼，则执行第六操作，第一操作至第六操作为各自相异操作。

进一步地，瞳孔变化情况通过比对前后相邻两张左右眼ROI图像中瞳孔位置，若当前瞳孔位置的横坐标相比于前一瞳孔位置的横坐标更大，则瞳孔向右移动，若更小，则瞳孔向左移动，若当前瞳孔位置的横坐标等于前一瞳孔位置的横坐标且当前瞳孔位置的纵坐标大于前一瞳孔位置的纵坐标，则瞳孔向上移动，若小于，则向下移动。

进一步地，所述步骤3之前，还包括判断操作人员是否移动，操作人员移动包括身体移动、脸部移动和瞳孔移动，

若操作人员身体移动，则不响应操作人员任何的视频交互操作，

若操作人员仅是脸部移动，则判断移动后的人脸是否处于所述预设位置范围内，若是，则继续执行步骤3，否则，结束处理，

若操作人员仅是瞳孔移动，则通过移动前后相邻两张左右眼ROI图像的瞳孔变化确定瞳孔移动方向，从而执行所述第一操作至第六操作中的相应操作。

本发明的有益效果为：本发明能够很好地确定操作人员所处的预设位置范围，从而可以更好地精准跟踪到眼球，很好地实现眼球定位和眼球移动判断，从而能够更好地执行视频交互操作，操作方式简单便捷，能极大的提升对***的控制并降低对控制人员的要求和成本。

附图说明

图1为确定预设位置范围的示意图。

具体实施方式

下面，结合附图以及具体实施方案，对本发明做进一步描述。

如图1所示，一种基于眼球追踪的视频交互操作方法，包括以下步骤：

步骤1：确定操作人员相对于屏幕的坐标P(x,y)，x表示操作人员距离屏幕的垂直距离，y表示操作人员相对于用于追踪眼球的摄像装置的水平距离，该水平距离y也即是操作人员相对于屏幕的水平距离。根据P(x,y)判断操作人员是否在预设位置范围内，若在预设位置范围内，则继续执行以下步骤，否则，结束处理。其中，摄像装置可以安装在屏幕顶端的中央位置处，并以屏幕的一个顶点作为原点建立卡迪尔坐标，例如将屏幕左下角的顶点作为原点，从而得到所述坐标P(x,y)。

x的具体数值可通过红外测距装置测量得到，红外测距装置可以安装在屏幕顶端的中央位置处。

其中，当操作人员位于屏幕正中间位置时，操作人员的水平距离y为屏幕宽度的一半，假设屏幕宽度为W，则y＝W/2。当操作人员不位于屏幕正中间位置时，此时的操作人员与屏幕上的摄像装置的实际距离(其为斜线距离)为一条斜线，该实际距离同样是通过红外测距装置测量得到，然后根据三角几何关系下的三角函数可得到垂直距离x。假设测得操作人员与屏幕上的摄像装置的实际距离为b，操作人员视线与屏幕的夹角(也即是与摄像装置的夹角)为A，则x＝s inA*b，水平距离为

从而可以得到P(x,y)。

在一个可选的实施方式中，以操作人员人脸距离屏幕的垂直距离作为x，以操作人员人脸相对于用于追踪眼球的摄像装置的水平距离作为y。这样做的好处在于，操作人员有时不是笔直地站立在屏幕前，可能以弯腰、半蹲等姿态站立在屏幕前，此时人脸和身体部分相对于屏幕之间的距离是不同的，而采用人脸相对于屏幕和摄像装置的距离可以更准确地追踪眼球。

在一个可选的实施方式中，仅当操作人员在屏幕前的预设位置范围内，才确定所述坐标P(x,y)和执行后续步骤。正常情况下，人双眼视觉角度为124°，也即人眼视度为124°，双眼聚焦时的视觉聚焦角度为25°，双眼聚焦时的视觉角度应该在50°-124°之间。基于此原因，由于人眼特别是人眼眼球不能处于摄像头盲区，因此需要限定人眼在屏幕前的预设范围内，否则无法计算出眼球移动的方向和距离。

当操作人员不在预设位置范围内，则停止眼球追踪也即不响应视频交互任何操作，并发出提示，例如在屏幕上发出移出范围等类似提示。

参考图1，确定所述预设位置范围可通过以下步骤实现：

步骤S1：确定摄像装置拍摄范围和屏幕的可视角度范围。摄像装置拍摄范围由最外侧两条拍摄线所确定，图1中的两条虚线即是最外侧两条拍摄线，两条虚线之间的区域即为摄像装置的拍摄范围。屏幕的可视角度范围由最外侧的两条显示线确定，两条显示线之间的区域即为屏幕的可视角度范围，图1中带箭头的两条线即是最外侧的两条显示线。

步骤S2：以表征屏幕的可视角度范围的最外侧的两条显示线交点所在的水平线作为人眼距离屏幕最远距离，两条显示线交点所在的水平线记为第一水平线。图1中最下方的水平线即是允许人(眼)站在距离屏幕最远位置处。

步骤S3：以屏幕的可视角度范围的两条角平分线交点所在的水平线作为人眼距离屏幕最近距离，两条角平分线交点所在的水平线记为第二水平线。图1中中间处的水平线即是允许人(眼)站在距离屏幕最近位置处。

步骤S4：以第一水平线、第二水平线、摄像装置外侧两条拍摄线围成的梯形区域作为所述预设位置范围。图1中的包含填充线条的梯形区域即为预设位置范围，也即是允许人眼在此处范围内才可被摄像装置所跟踪到人眼眼球，在此处范围内的人眼眼球能够更好地被摄像头追踪到。

步骤2：确定操作人员的人脸图像，从人脸图像中截取左右眼的ROI图像，并确定出左眼ROI图像和右眼ROI图像各自在人脸的位置。若从人脸图像中无法截取到左右眼ROI图像，例如只截取到一个眼部(左眼或右眼)ROI图像或者两个眼部ROI图像均无法截取到，则判断为当前操作人员为侧脸朝向屏幕。若从人脸图像中能够截取到左右眼ROI图像，也即两只眼部ROI图像均能够被截取到，则判断为当前操作人员为正脸朝向屏幕。当判断操作人员侧脸朝向屏幕，则不响应操作人员对屏幕上的视频任何交互操作，也即停止眼球追踪。只有判断操作人员为正脸朝向屏幕时，才会响应操作人员对屏幕上的视频交互操作。

其中，左右眼的ROI图像在人脸的位置可以通过坐标确定，坐标系以人脸为参照系来建立，具体不赘述。ROI也称之为感兴趣区域，该区域通常为以固定宽高的矩形框所框定的区域，其具体大小可以根据实际需要进行确定，确定ROI为现有技术，在此不赘述。

在一个可选的实施方式中，因为左右眼部ROI图像大小和在人不位置是固定不变的，因此，可通过比较左右眼部ROI图像大小判断人脸偏移方向和角度。左眼ROI图像的宽高分别记为LW和LH，右眼ROI图像的宽高分别记为RW和RH，左眼ROI图像相对于人脸图像的左上坐标为P(LX,LY)，右眼ROI图像相对于人脸图像的左上坐标为P(RX,RY)，并假设人脸图像的宽高分别为FW和FH(通过拍照可测量得出)。根据人脸结构，眼部距离头顶约为人脸高度乘以0.25，眼部宽度为人脸宽度乘以0.13，因此，有LY＝RY＝0.25*FH，LX＝0.13FW，RX＝FW-LW-0.13FW。当人脸正面朝向摄像装置时，左右眼部大小是等量的，也即(LW＝RW，LH＝RH)，且LY＝RY，也即左右眼的Y坐标是一致的而处于同一水平上。而当人脸以一定角度偏移时，左右眼ROI图像宽高和坐标会发生变化，根据左右眼ROI图像宽高和坐标变化情况可以判断人脸的偏移方向和角度。

当判断为当前操作人员为正脸朝向屏幕后，对左右眼ROI图像进行灰度化处理，得到灰度化的左右眼ROI图像。从灰度化的左右眼ROI图像中找出左右眼各自的瞳孔，即找出左瞳孔和右瞳孔。瞳孔所在位置的灰度值是最低的，因此可以将灰度化的左右眼ROI图像中灰度值最低部分作为左瞳孔和右瞳孔。从而根据左瞳孔和右瞳孔确定眼球视线方向，从而确定操作人员落在屏幕上的呈矩形的视觉区域Q，视觉区域Q宽高分别为width和heigth，且有

步骤3：根据前后相邻两张左右眼ROI图像对比判断瞳孔变化位置，从而确定瞳孔是否有变化以及瞳孔变化情况，根据瞳孔变化情况所述视觉区域Q内的视频进行相应交互操作。其中，当瞳孔变化意味着人眼视觉在屏幕上停留在视觉区域若干时间(可通过预设时间确定)，则执行第一操作。当瞳孔向左移动(也代表眼球向左移动，后续瞳孔移动也代表眼球相应移动)，则执行第二操作。当瞳孔向右移动，则执行第三操作。当瞳孔向上移动，则执行第四操作。当瞳孔向下移动，则执行第五操作。第一操作至第五操作为相异操作，也即五个操作是各自不同的操作。例如，第一操作为对视频进行放大操作，第二操作为切换视频操作，第三操作为播放视频操作，第四操作为快进操作，第五操作为暂停操作。当然，第一操作至第五操作也可以对应其他的操作。

在一个可选的实施例中，还包括判断是否眨眼，若存在眨眼，则执行第六操作，第六操作与第一操作至第五操作相异。例如，第六操作为关闭视频所在窗口(例如网页)。判断是否眨眼，可通过比较前后相邻两张左右眼ROI图像，若前后相邻两张左右眼ROI图像中一张存在瞳孔、另一张不存在瞳孔，则判断存在眨眼。例如，前一张左右眼ROI图像存在瞳孔，当前一张左右眼ROI图像不存在瞳孔，则意味着当前存在眨眼，需要执行第六操作。

其中，瞳孔移动方向，可通过比对前后相邻两张左右眼ROI图像中瞳孔位置，若当前瞳孔位置的横坐标相比于前一瞳孔位置的横坐标更大，则意味着瞳孔向右移动，若更小，则意味瞳孔向左移动。若当前瞳孔位置的横坐标等于前一瞳孔位置的横坐标且当前瞳孔位置的纵坐标大于前一瞳孔位置的纵坐标，则表示瞳孔向上移动，若小于，则向下移动。当然以上是基于向右方向为横坐标正向、向上方向为纵坐标正向。

在一个可选的实施方式中，判断操作人员是否移动，操作人员移动包括身体移动、脸部移动和眼球(瞳孔)移动，若操作人员身体移动(对应的脸部和眼球也跟随移动)，则不响应操作人员的任何视频交互操作，也即停止眼球追踪。若操作人员身体未移动而仅仅是脸部移动，则通过鼻子的偏移量计算出人脸移动量，并判断移动后的人脸是否处于预设位置范围内，若超出预设位置范围，也不响应作人员的任何视频交互操作。

若操作人员身体和脸部均未移动，仅仅是眼球移动，比较前后相邻两张左右眼ROI图像的瞳孔变化确定眼球移动方向，从而执行上述第一操作至第六操作中的相应操作。

本发明能够很好地确定操作人员所处的预设位置范围，从而可以更好地精准跟踪到眼球，很好地实现眼球定位和眼球移动判断，从而能够更好地执行视频交互操作，操作方式简单便捷，能极大的提升对***的控制并降低对控制人员的要求和成本。

本说明书所公开的实施例只是对本发明单方面特征的一个例证，本发明的保护范围不限于此实施例，其他任何功能等效的实施例均落入本发明的保护范围内。对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。

Claims (7)

1.一种基于眼球追踪的视频交互操作方法，其特征在于，包括以下步骤：

步骤1：确定操作人员相对于屏幕的坐标P(x,y)，x表示操作人员距离屏幕的垂直距离，y表示操作人员相对于屏幕的水平距离，根据P(x,y)判断操作人员是否在预设位置范围内，若在预设位置范围内，则继续执行以下步骤，否则，结束处理；

步骤2：确定操作人员的人脸图像，从人脸图像中截取左右眼的ROI图像，若能够截取到左右眼ROI图像，则判断为操作人员为正脸朝向屏幕并继续执行以下步骤，否则，判断操作人员为侧脸朝向屏幕并结束处理，

从左右眼的ROI图像确定出左瞳孔和右瞳孔，根据左瞳孔和右瞳孔确定出操作人员视觉落在屏幕的视觉区域；

步骤3：根据前后相邻两张左右眼的ROI图像，比较左瞳孔和右瞳孔变化位置情况，确定瞳孔变化情况，根据瞳孔变化情况执行对应的视频交互操作。

2.根据权利要求1所述的基于眼球追踪的视频交互操作方法，其特征在于，确定出所述预设位置范围包括以下步骤：

步骤S1：确定摄像装置拍摄范围和屏幕的可视角度范围，摄像装置用于追踪操作人员的眼球，摄像装置拍摄范围由最外侧两条拍摄线所确定，两条虚线之间的区域为摄像装置的拍摄范围，屏幕的可视角度范围由最外侧的两条显示线确定，两条显示线之间的区域为屏幕的可视角度范围；

步骤S2：以表征屏幕的可视角度范围的最外侧的两条显示线交点所在的水平线作为人眼距离屏幕最远距离，两条显示线交点所在的水平线记为第一水平线；

步骤S3：以屏幕的可视角度范围的两条角平分线交点所在的水平线作为人眼距离屏幕最近距离，两条角平分线交点所在的水平线记为第二水平线；

步骤S4：以第一水平线、第二水平线、摄像装置外侧两条拍摄线围成的梯形区域作为所述预设位置范围。

3.根据权利要求1所述的基于眼球追踪的视频交互操作方法，其特征在于，将所述左右眼的ROI图像进行灰度化，得到灰度化的左右眼ROI图像，在灰度化的左右眼ROI图像中灰度值最低位置为瞳孔所在位置，从而确定出左瞳孔和右瞳孔。

4.根据权利要求1所述的基于眼球追踪的视频交互操作方法，其特征在于，所述操作人员视觉落在屏幕的视觉区域为呈矩形的视觉区域Q，视觉区域Q的宽width和高heigth按以下公式计算得到：

式中，A表示操作人员视线与屏幕的夹角。

5.根据权利要求1所述的基于眼球追踪的视频交互操作方法，其特征在于，所述步骤3中，瞳孔变化情况包括瞳孔向左移动、向右移动、向上移动、向下移动、眨眼和视觉停留在视觉区域超过预设时间，

若视觉停留在视觉区域超过预设时间，则执行第一操作，若瞳孔向左移动，则执行第二操作，若瞳孔向右移动，则执行第三操作，若瞳孔向上移动，则执行第四操作，若瞳孔向下移动，则执行第五操作，若眨眼，则执行第六操作，第一操作至第六操作为各自相异操作。

6.根据权利要求5所述的基于眼球追踪的视频交互操作方法，其特征在于，瞳孔变化情况通过比对前后相邻两张左右眼ROI图像中瞳孔位置，若当前瞳孔位置的横坐标相比于前一瞳孔位置的横坐标更大，则瞳孔向右移动，若更小，则瞳孔向左移动，若当前瞳孔位置的横坐标等于前一瞳孔位置的横坐标且当前瞳孔位置的纵坐标大于前一瞳孔位置的纵坐标，则瞳孔向上移动，若小于，则向下移动。

7.根据权利要求5所述的基于眼球追踪的视频交互操作方法，其特征在于，所述步骤3之前，还包括判断操作人员是否移动，操作人员移动包括身体移动、脸部移动和瞳孔移动，

若操作人员身体移动，则不响应操作人员任何的视频交互操作，

若操作人员仅是脸部移动，则判断移动后的人脸是否处于所述预设位置范围内，若是，则继续执行步骤3，否则，结束处理，

若操作人员仅是瞳孔移动，则通过移动前后相邻两张左右眼ROI图像的瞳孔变化确定瞳孔移动方向，从而执行所述第一操作至第六操作中的相应操作。

Images