CN112698725A - 一种基于眼动仪跟踪的穿透式屏幕***的实现方法 - Google Patents

Abstract

本发明涉及一种基于眼动仪跟踪的穿透式屏幕***的实现方法，属于增强现实技术领域，包括步骤如下，建立标准坐标系，利用Tobii眼动仪获取单眼位置，将Tobii坐标系转换至标准坐标系再转换至Unity坐标系，将现实中的屏幕以及眼睛映射到unity坐标系中，经过一系列变换与校准后与虚拟场景中的相机对齐，使用户能够仅用眼睛便与***达到交互的效果。

Description

一种基于眼动仪跟踪的穿透式屏幕***的实现方法

技术领域

本发明涉及一种基于眼动仪跟踪的穿透式屏幕***的实现方法，属于增强现实技术领域。

背景技术

眼动仪的历史要追溯到18世纪。从1792年威尔斯用影像(重影)来描述眼睛的运动开始，人类就没有停下对眼睛的研究，如今随着各式各样的眼动仪被发明出来，使计算机能够识别人类眼睛的状态，由此便延伸出了很多关于人类行为的研究，有助于深入了解认知过程[Hari Singh,Dr.Jaswinder Singh Human Eye Tracking and Related Issues:AReview]，[Wade,N.,and Tatler,B.W.The moving tablet of the eye:The origins ofmodern eye movement research.Oxford University Press,2005.]。

Tobii眼动仪是一种新型的低成本双目眼动仪。该***是为自然的视线互动而设计的，不需要连续重新校准，并且可以进行适度的头部运动。并且官方还为该***设计了一套SDK(SDK，外语全称:Software Development Kit，是一些软件工程师为特定的软件包、软件框架、硬件平台、操作***等建立应用软件时的开发工具的集合)，以促进各种眼动仪应用程序的开发，该工具包提供了各种api方便用户获取左右眼的状态以及数据，这为本文提到的发明提供了开发平台。[Agostino,Gibaldi,Mauricio,et al.Evaluation of theTobii EyeX Eye tracking controller and Matlab toolkit for research[J].Behavior Research Methods,2016,49(3):923-946.]

目前有许多关于增强现实的研究，这些研究的显示大部分都需要相应的载体，比如ARCore或者ARKit开发出来的应用都是手机上的app,此时手机就作为整个***的相机，获取自身位姿，计算自身与虚拟物体的位置关系，并将虚实融合的场景呈现在手机的屏幕中。然而现在关于裸眼增强现实的研究还面临的许多挑战，如需要依附于载体比如通过手机或者相机产生虚实融合的图像，而非裸眼观察；另一方面就是鲁棒性不够，在使用过程中虚拟场景会产生抖动，破坏用户的真实感体验。

不过得益于Tobii眼动仪的强大功能，能够很方便的识别眼睛状态，这使得本申请中的裸眼增强现实的实现成为了可能。

发明内容

针对现有技术的不足，为了解决将Tobii坐标系的标价与屏幕，人眼，虚拟场景的坐标系对应起来，使得人眼与屏幕的位置能对应到虚拟场景的坐标系上。也为了解决另一个问题电脑屏幕应如何成现虚拟场景使其能够骗过人眼，让人眼相信屏幕是个显示虚拟场景的“窗户”。本发明提供一种基于眼动仪跟踪的穿透式屏幕***的实现方法。

本发明的技术方案如下：

将Tobii坐标系转换至标准坐标系再转换至Unity坐标系是本方法的关键，该步骤将现实中的标价与虚拟的标价对齐，使得最终的成像能够更加逼真，是实现真实感中最基础也是最关键的一个步骤。

一种基于眼动仪跟踪的穿透式屏幕***的实现方法，包括步骤如下：

该***为单目***，以下提到的眼睛位置均是基于左眼而言的。

1).建立标准坐标系，如图1所示，***所构建的标准坐标系是以一个某一个默认的眼睛位置为原点，设定单眼的一个位置为原点，原点与屏幕的中点连线为z轴，该原点沿着z轴能与屏幕的平面交于屏幕的中点，x轴为水平方向的直线，y轴为垂直方向的直线，且x轴与y轴组成的平面与笔记本屏幕平行；

2).将Tobii眼动仪置于屏幕前，利用Tobii眼动仪获取单眼位置，将Tobii眼动仪观测到的眼睛位置坐标转换至标准坐标系中；

Tobii眼动仪坐标为UCS坐标系，图2所示的坐标系是Tobii眼动仪的UCS坐标系，其中通过其SDK，我们可以获得在此坐标系下的眼球坐标(a1 b1 c1)；该坐标需要转换至标准坐标系下才能再进一步进行计算，转换公式如下：

Cs＝A[R(θ)Ct-R(θ)D] (1)

其中，由于Tobii坐标系是右手坐标系，标准坐标系是左手坐标系，因此

Cs为眼睛在标准坐标系下的坐标，Ct为眼睛在Tobii坐标系下的坐标；

另一方面，由图3显示，眼动仪与水平方面存在一定夹角θ，因此R(θ)代表了绕x轴旋转θ角度的旋转矩阵，即

D表示标准坐标系的原点在Tobii坐标系下的坐标，实际转换后会发现，标准坐标系的原点会转换成虚拟坐标系的原点；

3).将标准坐标系转换到虚拟坐标系，本发明的虚拟场景是在unity上搭建的，由于unity坐标系与标准坐标系皆为左手坐标系，转换公式如下：

Cu＝0.001Cs (2)

Cu为眼睛在unity坐标系的坐标；

Unity坐标系的单位为m,而标准坐标系的单位是mm，只需要统一单位即可；这也体现了标准坐标系这样设计的好处就是转化到unity坐标系会比较方便。

4).解决相机的成像问题。本发明需要实现屏幕提供类似窗户的视觉效果。窗户上的成像本质上光沿直线传播，人在不同位置能看到的窗户外的范围其实是他所处的位置的光线所能传播至窗户外的范围，然后将相关的成像投影到窗户上。相机的视椎体属性表达了其所能看到的范围，并将该范围内的像呈现在前平面上，可以由此入手。该问题的解决思路就是首先先将现实中的屏幕以及眼睛映射到unity坐标系中；眼睛位置通过步骤3)的转换公式映射到unity坐标系中；然后在现实中测量该原点D位置与屏幕的垂直距离,同时测得屏幕宽,高,确定屏幕在标准坐标系下的位置以及大小，然后利用公式(2)转换到unity坐标系中，这样便完成了映射的操作；

然后再确定虚拟场景下的眼睛(即相机成像原理中的相机)在每个位置下的视椎体，视椎体决定了相机最终成像是的投影区，通过确定相机的视椎体，我们就可以定义相机在其位置下理应看到的虚拟场景区域，进而控制相机成像画面，如图4所示，设定点ABCD所构成的平面就是虚拟屏幕，而点O所在的位置为眼睛，每当眼睛到达一个新的位置时，由程序计算并取出点O到四个点距离最长的线段，并以该长度为标准重新确定另外三个角点在虚拟坐标系下的坐标，利用公式(3)确定点T的坐标，以图4中为例，即OA是最长的，然后延长OB,OC,OD至OB’,OC’,OD’，使得|OA|＝|OB'|＝|OC'|＝|OD'|，然后利用以下关系式：

T＝(A+B'+C'+D')/4 (3)

其中A代表距离最长的角点坐标，B'、C'、D'为重新确定的角点坐标，

计算出来的点T便是经过相机眼睛视椎体中心线的点在虚拟坐标系下的坐标，利用该点便可确定视角姿态；

此时所看到的虚拟屏幕内的成像便是我们所需的视觉成像，接着利用透视矩阵进行透视变换即可，下面是该操作的具体描述。

优选的，步骤4)中，利用透视矩阵进行透视变换的步骤如下：

通过调用unity的方法，可获取映射到虚拟场景的虚拟屏幕的四个角点在成像图像上的二维坐标，并且可以与(0,0),(0，height),(width,height),(width,0)(假设最终生成的图像有width*height个像素)形成四个点对，由此可以计算出透视矩阵H，该矩阵为一个3*3的矩阵，计算步骤如下：对于一个点对a(x,y,1),b(x1,y1,1)，有如下变换公式：

b＝HaT (4)；

其中aT是a的转置，a是待透视变换的图像角点，b是成像图像的角点，一个点对便可构造如下矩阵：

四个点对可构造四个上述矩阵，将其合并，得到8行9列的矩阵U；之后构造UT*U矩阵，则UT*U矩阵的最小特征值所对应的特征向量即为透视矩阵H的9个参数；求出透视矩阵后，带入公式(4)中进行透视变换，得到透视后的新图像。

假设原图像的某一个像素的像素坐标为a，该像素转换到新生成的图像上的像素坐标为b，此时有b＝HaT

通过上述公式即可进行透视变换，另外，为了加速计算性能，该操作的计算是在GPU上进行的。

映射问题在前三个步骤实现了Tobii坐标系转换到标准坐标系再转换到unity坐标系的过程。另一方面，由于观察过程中眼睛的状态不会改变，因此我们不能直接改变视椎体的参数，因此该问题就简化成每个位置下相机姿态的问题。

本发明的有益效果在于：

1.本发明利用Tobii识别眼睛的位置，经过一系列变换与校准后与虚拟场景中的相机对齐，使用户能够仅用眼睛便与***达到交互的效果。

2.通过对虚拟场景中的相机的成像进行控制，基本达到了欺骗人眼，使用户感觉屏幕内的虚拟场景是真实存在的效果。

3.本发明也充分发挥了Tobii眼动仪的定位功能，使其的使用范围不仅只局限于眼睛注视屏幕的二维位置，而是拓展到tobii眼动仪，人眼与电脑屏幕这个现实的三维空间。

附图说明

图1描述了整个现实***以及***定义的标准坐标系示意图；

图2是Tobii眼动仪的坐标系示意图，该图来源于TobiiSDK官网；

(http://developer.tobiipro.com/commonconcepts/coordinatesystems.html)；

图3表现了眼动仪的方向与水平方向存在一定夹角示意图；

图4是确定视角姿势算法示意图；

图5是相机近裁面与虚拟屏幕的关系示意图；

图6是相机成像示意图；

图7是进行透视变换后的最终结果示意图。

具体实施方式

下面通过实施例并结合附图对本发明做进一步说明，但不限于此。

实施例1：

一种基于眼动仪跟踪的穿透式屏幕***的实现方法，包括步骤如下：

该***为单目***，以下提到的眼睛位置均是基于左眼而言的。

1).建立标准坐标系，如图1所示，***所构建的标准坐标系是以一个某一个默认的眼睛位置为原点，设定单眼的一个位置为原点，原点与屏幕的中点连线为z轴，该原点沿着z轴能与屏幕的平面交于屏幕的中点，x轴为水平方向的直线，y轴为垂直方向的直线，且x轴与y轴组成的平面与笔记本屏幕平行；

2).将Tobii眼动仪置于屏幕前，利用Tobii眼动仪获取单眼位置，将Tobii眼动仪观测到的眼睛位置坐标转换至标准坐标系中；

Tobii眼动仪坐标为UCS坐标系，图2所示的坐标系是Tobii眼动仪的UCS坐标系，其中通过其SDK，我们可以获得在此坐标系下的眼球坐标(a1 b1 c1)；该坐标需要转换至标准坐标系下才能再进一步进行计算，转换公式如下：

Cs＝A[R(θ)Ct-R(θ)D] (1)

其中，由于Tobii坐标系是右手坐标系，标准坐标系是左手坐标系，因此

Cs为眼睛在标准坐标系下的坐标，Ct为眼睛在Tobii坐标系下的坐标；

另一方面，由图3显示，眼动仪与水平方面存在一定夹角θ，因此R(θ)代表了绕x轴旋转θ角度的旋转矩阵，即

D表示标准坐标系的原点在Tobii坐标系下的坐标，实际转换后会发现，标准坐标系下的原点也是Tobii坐标系的原点；

3).将标准坐标系转换到虚拟坐标系，本发明的虚拟场景是在unity上搭建的，由于unity坐标系与标准坐标系皆为左手坐标系，转换公式如下：

Cu＝0.001Cs (2)

Cu为眼睛在unity坐标系的坐标；

Unity坐标系的单位为m,而标准坐标系的单位是mm，只需要统一单位即可；这也体现了标准坐标系这样设计的好处就是转化到unity坐标系会比较方便。

4).解决相机的成像问题。本发明需要实现屏幕提供类似窗户的视觉效果。窗户上的成像本质上光沿直线传播，人在不同位置能看到的窗户外的范围其实是他所处的位置的光线所能传播至窗户外的范围，然后将相关的成像投影到窗户上。相机的视椎体属性表达了其所能看到的范围，并将该范围内的像呈现在前平面上，可以由此入手。该问题的解决思路就是首先先将现实中的屏幕以及眼睛映射到unity坐标系中；眼睛位置通过步骤3)的转换公式映射到unity坐标系中；然后在现实中测量该原点D位置与屏幕的垂直距离为540mm,同时测得屏幕宽345mm,高195mm,确定屏幕在标准坐标系下的位置以及大小，然后利用公式(2)转换到unity坐标系中，这样便完成了映射的操作；

然后再确定虚拟场景下的眼睛(即相机成像原理中的相机)在每个位置下的视椎体，视椎体决定了相机最终成像是的投影区，通过确定相机的视椎体，我们就可以定义相机在其位置下理应看到的虚拟场景区域，进而控制相机成像画面，如图4所示，设定点ABCD所构成的平面就是虚拟屏幕，而点O所在的位置为眼睛，每当眼睛到达一个新的位置时，由程序计算并取出点O到四个点距离最长的线段，并以该长度为标准重新确定另外三个角点在虚拟坐标系下的坐标，利用公式(3)确定点T的坐标，以图中为例，即OA是最长的，然后延长OB,OC,OD至OB’,OC’,OD’，使得|OA|＝|OB'|＝|OC'|＝|OD'|，然后利用以下关系式：

T＝(A+B'+C'+D')/4 (3)

其中A代表距离最长的角点坐标，B'、C'、D'为重新确定的角点坐标，

计算出来的点T便是经过相机眼睛视椎体中心线的点在虚拟坐标系下的坐标，利用该点便可确定视角姿态(即相机是怎么看的，由此便可确定出图6的图像)；

此时所看到的虚拟屏幕内的成像便是我们所需的视觉成像，接着利用透视矩阵进行透视变换即可，下面是该操作的具体描述。

利用透视矩阵进行透视变换的步骤如下：

通过调用unity的方法，可获取映射到虚拟场景的虚拟屏幕的四个角点在成像图像上的二维坐标，并且可以与(0,0),(0，height),(width,height),(width,0)(即图6的四个角点)(假设最终生成的图像有width*height个像素)形成四个点对，由此可以计算出透视矩阵H，该矩阵为一个3*3的矩阵，计算步骤如下：对于一个点对a(x,y,1),b(x1,y1,1)，有如下变换公式：

b＝HaT (公式4)；

其中aT是a的转置，a是待透视变换的图像(即图6中黑线框)角点，b是成像图像(即图6)的角点，一个点对便可构造如下矩阵：

四个点对可构造四个上述矩阵，将其合并，得到8行9列的矩阵U；之后构造UT*U矩阵，则UT*U矩阵的最小特征值所对应的特征向量即为透视矩阵H的9个参数；求出透视矩阵后，带入公式(4)中进行透视变换，得到透视后的新图像(如图7)。

图5便是上述算法计算出来的相机近裁面(白线框)与虚拟屏幕(黑框)的关系。此时的相机成像如图6显示，黑框内的像便是我们所要得到的成像。因此需要进行透视变换，将相机中黑框的四个点与屏幕四个角点对应，计算出透视矩阵，并进行透视变换，所显示的结果如图7所示。

Claims (2)

1.一种基于眼动仪跟踪的穿透式屏幕***的实现方法，其特征在于，包括步骤如下：

1).建立标准坐标系，设定单眼的一个位置为原点，原点与屏幕的中点连线为z轴，x轴为水平方向的直线，y轴为垂直方向的直线，且x轴与y轴组成的平面与屏幕平行；

2).将Tobii眼动仪置于屏幕前，利用Tobii眼动仪获取单眼位置，将Tobii眼动仪观测到的眼睛位置坐标转换至标准坐标系中；

Tobii眼动仪坐标为UCS坐标系，其中通过其SDK，获得在此坐标系下的眼球坐标；该坐标需要转换至标准坐标系，转换公式如下：

Cs＝A[R(θ)Ct-R(θ)D] (1)

其中，

Cs为眼睛在标准坐标系下的坐标，Ct为眼睛在Tobii坐标系下的坐标；

眼动仪与水平方面存在一定夹角θ，因此R(θ)代表了绕x轴旋转θ角度的旋转矩阵，

D表示标准坐标系的原点在Tobii坐标系下的坐标；

3).将标准坐标系转换到虚拟坐标系，本发明的虚拟场景是在unity上搭建的，由于unity坐标系与标准坐标系皆为左手坐标系，转换公式如下：

Cu＝0.001Cs (2)

Cu为眼睛在unity坐标系的坐标；

Unity坐标系的单位为m,而标准坐标系的单位是mm，只需要统一单位即可；

4).先将现实中的屏幕以及眼睛映射到unity坐标系中；眼睛位置通过步骤3)的转换公式映射到unity坐标系中；然后在现实中测量该原点D位置与屏幕的垂直距离，同时测得屏幕宽、高，确定屏幕在标准坐标系下的位置以及大小，然后利用公式(2)转换到unity坐标系中，这样便完成了映射的操作；

然后再确定虚拟场景下的眼睛在每个位置下的视椎体，设定点ABCD所构成的平面就是虚拟屏幕，而点O所在的位置为眼睛，每当眼睛到达一个新的位置时，由程序计算并取出点O到四个点距离最长的线段，并以该长度为标准重新确定另外三个角点在虚拟坐标系下的坐标，利用公式(3)确定点T的坐标，

T＝(A+B'+C'+D')/4 (3)

其中A代表距离最长的角点坐标，B'、C'、D'为重新确定的角点坐标，

计算出来的点T便是经过相机眼睛视椎体中心线的点在虚拟坐标系下的坐标，利用该点便可确定视角姿态；

此时所看到的虚拟屏幕内的成像便是我们所需的视觉成像，接着利用透视矩阵进行透视变换即可。

2.根据权利要求1所述的基于眼动仪跟踪的穿透式屏幕***的实现方法，其特征在于，步骤4)中，优选的，利用透视矩阵进行透视变换的步骤如下：

通过调用unity的方法，可获取映射到虚拟场景的虚拟屏幕的四个角点在成像图像上的二维坐标，并且可以与(0,0),(0，height),(width,height),(width,0)形成四个点对，由此可以计算出透视矩阵H，该矩阵为一个3*3的矩阵，计算步骤如下：对于一个点对a(x,y,1),b(x1,y1,1)，有如下变换公式：

b＝HaT (4)；

其中aT是a的转置，a是待透视变换的图像角点，b是成像图像的角点，一个点对便可构造如下矩阵：

四个点对可构造四个上述矩阵，将其合并，得到8行9列的矩阵U；之后构造UT*U矩阵，则UT*U矩阵的最小特征值所对应的特征向量即为透视矩阵H的9个参数；求出透视矩阵后，带入公式(4)中进行透视变换，得到透视后的新图像。

Images