CN116430992A - 针对视线追踪的隐式校准方法和装置 - Google Patents
针对视线追踪的隐式校准方法和装置 Download PDFInfo
- Publication number
- CN116430992A CN116430992A CN202310263502.2A CN202310263502A CN116430992A CN 116430992 A CN116430992 A CN 116430992A CN 202310263502 A CN202310263502 A CN 202310263502A CN 116430992 A CN116430992 A CN 116430992A
- Authority
- CN
- China
- Prior art keywords
- calibrated
- calibration
- tracking
- result
- visual saliency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 230000000007 visual effect Effects 0.000 claims abstract description 156
- 238000001514 detection method Methods 0.000 claims abstract description 112
- 238000005259 measurement Methods 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 239000013598 vector Substances 0.000 claims description 73
- 230000009466 transformation Effects 0.000 claims description 36
- 230000008859 change Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 210000001508 eye Anatomy 0.000 description 31
- 230000008569 process Effects 0.000 description 23
- 230000004424 eye movement Effects 0.000 description 9
- 210000005252 bulbus oculi Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000193 eyeblink Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000002442 prefrontal cortex Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000004400 visual pathway Effects 0.000 description 2
- 210000000239 visual pathway Anatomy 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- DWDGSKGGUZPXMQ-UHFFFAOYSA-N OPPO Chemical compound OPPO DWDGSKGGUZPXMQ-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明提供一种针对视线追踪的隐式校准方法和装置，包括：获取校准窗口内的N个待校准视线跟踪结果和M个设备当前显示内容帧；其中，N小于M；将设备当前显示内容帧的像素调整到预设分辨率，以得到待检测内容帧；将待检测内容帧输入至视觉显著检测模块，以得到视觉显著检测结果；将视觉显著检测结果输入至视觉显著度量模块，以得到待校准内容帧；将待校准内容帧输入至显著信息提取模块，以得到待输入显著信息；将待输入显著信息和待校准视线跟踪结果输入至视线追踪校准模块，以得到视线跟踪校准结果。本发明利用显著性信息识别视频帧，并仅使用这些“有用的”帧执行校准，实现不需要用户配合的、更为简单的、用户体验更好的视线追踪的校准。
Description
技术领域
本发明涉及信息技术领域，尤其涉及一种针对视线追踪的隐式校准方法和装置。
背景技术
随着计算机科学技术与产业的飞速发展，人机交互方式取得了长足的发展。注视跟踪是一种人机交互方式，由于响应速度快、操作方便的特点，被广泛应用于各个领域，在一系列移动应用中扮演着越来越重要的角色。注视跟踪背后的基本概念是捕捉用户的眼球运动，并将其映射到注视平面上的点。由于估计的注视位置会偏离真实位置，校准过程即被设计用来补偿估计的注视位置与真实位置的偏移。因而，视线校准是注视跟踪的重要组成部分，它将人眼坐标转换为屏幕坐标。
现有的视线追踪的校准多为显式校准。在典型的校准过程中，用户被要求将目光固定在屏幕上的某些刺激上，他们的眼睛的运动被相机捕捉。在这个过程中，刺激作为注视位置的基本事实，根据估计的注视位置和真实位置之间的偏移捕获变换向量。假设眼睛和屏幕之间的相对位置在短时间内保持不变，可以直接将变换向量应用于估计的注视位置进行注视校正。然而此类方法会损害用户体验，特别是在移动场景中，会导致由于更新变换向量而频繁触发重新校准过程。
综上，现有的针对视线追踪的校准方法需要用户配合校准，过程复杂，用户体验性差。
发明内容
本发明提供一种针对视线追踪的隐式校准方法和装置，用以解决现有技术中用户配合校准，过程复杂，用户体验性差的缺陷，实现不需要用户配合的、更为简单的、用户体验更好的视线追踪的校准。
本发明提供一种针对视线追踪的隐式校准方法，包括：
获取校准窗口内的N个待校准视线跟踪结果和M个设备当前显示内容帧；其中，N小于M；
将所述设备当前显示内容帧的像素调整到预设分辨率，以得到待检测内容帧；
将所述待检测内容帧输入至视觉显著检测模块，以得到视觉显著检测结果；所述视觉显著检测模块用于检测所述待检测内容帧中每个像素的显著性；
将所述视觉显著检测结果输入至视觉显著度量模块，以得到待校准内容帧；所述视觉显著度量模块用于度量所述视觉显著检测结果中每个像素的显著的有效性；
将所述待校准内容帧输入至显著信息提取模块，以得到待输入显著信息；所述显著信息提取模块用于从所述待校准内容帧中提取显著信息；
将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，以得到视线跟踪校准结果；所述视线追踪校准模块用于对所述待校准视线跟踪结果进行校准。
根据本发明提供的一种针对视线追踪的隐式校准方法，将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，以得到视线跟踪校准结果，之前还包括：
对所述待校准视线跟踪结果进行第一去噪和第二去噪；
所述第一去噪具体包括：
利用第一预设公式对所述待校准视线跟踪结果进行第一去噪；
所述第一预设公式包括：
其中，z表示第一去噪分数值，x表示原始值，μ表示整数值的平均值，σ表示标准差；
所述第二去噪具体包括：
根据所述待校准视线跟踪结果获得注视位置；
计算所述待输入显著信息对应的所述注视位置的平均值，以得到平均注视位置；
将所述待输入显著信息和所述平均注视位置聚类，以得到聚类结果；
根据所述聚类结果确定最频繁显著区域和粗略注视区域；
计算所述最频繁显著区域和所述粗略注视区域质心之间的偏移量，根据所述偏移量进行第二去噪。
根据本发明提供的一种针对视线追踪的隐式校准方法，所述视觉显著检测模块用于检测所述待检测内容帧中每个像素的显著性，具体包括：
将所述待检测内容帧输入至视觉显著检测模块，生成视觉显著热图；
将所述视觉显著热图归一化至预设范围，得到视觉显著检测结果。
根据本发明提供的一种针对视线追踪的隐式校准方法，所述视觉显著度量模块用于度量所述视觉显著检测结果中每个像素的显著的有效性，具体包括：
根据第一预设阈值对所述视觉显著检测结果进行二值化，以得到显著像素；
通过连通分量分析计算得到帧中显著像素所在显著区域/对象的数量；
根据第二预设公式计算得到所述视觉显著检测结果对应的所述设备当前显示内容帧的显著性集中度；
滤除显著性集中度低于第二预设阈值的视觉显著检测结果，得到待校准内容帧；
所述第二预设公式包括：
其中，S表示显著性集中度；n表示显著区域/对象的数量；AS表示显著区域/对象像素，AT表示整个框架的区域像素。
根据本发明提供的一种针对视线追踪的隐式校准方法，所述显著信息提取模块用于从所述待校准内容帧中提取显著信息，具体包括：
提取所述待校准内容帧在每个连通分量域中的具有最高显著值的像素所在显著区域/对象的坐标和编号；
根据第三预设公式，将所述待校准内容帧上的显著性集中度、所有所述显著区域/对象的坐标和编号共同压缩为特征向量Vi，得到待输入显著信息；
所述第三预设公式包括：
其中，Vi表示特征向量，ni表示显著区域/对象的编号，SCSi表示待校准内容帧上的显著性集中度，
表示显著区域/对象的横坐标，/>
表示显著区域/对象的纵坐标。
根据本发明提供的一种针对视线追踪的隐式校准方法，所述视线追踪校准模块用于对所述待校准视线跟踪结果进行校准，具体包括：
将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，将所述偏移量包含的变换向量补偿到所述待校准视线跟踪结果上进行隐式校准，得到视线跟踪校准结果。
根据本发明提供的一种针对视线追踪的隐式校准方法，将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，将所述偏移量包含的变换向量补偿到所述待校准视线跟踪结果上进行隐式校准，得到视线跟踪校准结果，之前还包括：
获取用户与设备的相对位置；
若所述相对位置的变化小于或等于第三预设阈值，变换向量不变；
若所述相对位置的变化大于第三预设阈值或场景切换时，更新所述变换向量。
本发明还提供一种针对视线追踪的隐式校准装置，包括：
获取单元，用于获取校准窗口内的N个待校准视线跟踪结果和M个设备当前显示内容帧；其中，N小于M；
调整单元，用于将所述设备当前显示内容帧的像素调整到预设分辨率，以得到待检测内容帧；
视觉显著检测单元，用于将所述待检测内容帧输入至视觉显著检测模块，以得到视觉显著检测结果；所述视觉显著检测模块用于检测所述待检测内容帧中每个像素的显著性；
视觉显著度量单元，用于将所述视觉显著检测结果输入至视觉显著度量模块，以得到待校准内容帧；所述视觉显著度量模块用于度量所述视觉显著检测结果中每个像素的显著的有效性；
显著信息提取单元，用于将所述待校准内容帧输入至显著信息提取模块，以得到待输入显著信息；所述显著信息提取模块用于从所述待校准内容帧中提取显著信息；
视线追踪校准单元，用于将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，以得到视线跟踪校准结果；所述视线追踪校准模块用于对所述待校准视线跟踪结果进行校准。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述针对视线追踪的隐式校准方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述针对视线追踪的隐式校准方法。
本发明提供的一种针对视线追踪的隐式校准方法和装置，通过获取校准窗口内的N个待校准视线跟踪结果和M个设备当前显示内容帧；其中，N小于M；将所述设备当前显示内容帧的像素调整到预设分辨率，以得到待检测内容帧；将所述待检测内容帧输入至视觉显著检测模块，以得到视觉显著检测结果；所述视觉显著检测模块用于检测所述待检测内容帧中每个像素的显著性；将所述视觉显著检测结果输入至视觉显著度量模块，以得到待校准内容帧；所述视觉显著度量模块用于度量所述视觉显著检测结果中每个像素的显著的有效性；将所述待校准内容帧输入至显著信息提取模块，以得到待输入显著信息；所述显著信息提取模块用于从所述待校准内容帧中提取显著信息；将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，以得到视线跟踪校准结果；所述视线追踪校准模块用于对所述待校准视线跟踪结果进行校准。本发明利用显著性信息识别视频帧，并仅使用这些“有用的”帧执行校准，实现不需要用户配合的、更为简单的、用户体验更好的视线追踪的校准。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的针对视线追踪的隐式校准方法一个实施例的用户眼睛和屏幕的光学反射模型示意图；
图2是本发明提供的针对视线追踪的隐式校准方法的针对视线追踪的隐式校准方法的流程示意图之一；
图3是本发明提供的针对视线追踪的隐式校准方法的针对视线追踪的隐式校准方法的流程示意图之二；
图4是本发明提供的针对视线追踪的隐式校准方法一个实施例的画面和相对应的注视点与视觉显著性热图；
图5是本发明提供的针对视线追踪的隐式校准方法一个实施例的用户注意力迁移图示；
图6是本发明提供的针对视线追踪的隐式校准装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
附图标记：
610：获取单元；620：调整单元；630：视觉显著检测单元；640：视觉显著度量单元；650：显著信息提取单元；660：视线追踪校准单元；
710：处理器；720：通信接口；730：存储器；740：通信总线。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
注视跟踪背后的基本概念是捕捉用户的眼球运动，并将其映射到注视平面(即屏幕)上的点，如图1所示。在这个过程中需要两个重要的信息：
第一个是眼睛的3D模型，根据它可以估计视觉轴，即注视方向。然后，通过视觉轴和注视平面的交点确定注视点。其中，眼睛的3D模型可以通过RGB-D相机拍摄，RGB-D相机广泛应用于当今的智能手机，如iPhoneX、华为Mate20、OPPOFindX等，一个推测的投影仪将一束结构红外光投射到用户的脸上，特别是眼睛区域，RGB-D摄像头捕捉到眼睛的反射。反射的结构光包含了深度信息，在此基础上可以构建眼睛的三维运动模型。使用红外光的优点是人眼不易察觉，并且不受环境光的影响。此外，它可以保护用户的隐私。
第二个是用户眼睛和视线平面之间的相对位置。如果没有这个信息，估计的注视位置会偏离真实位置。因此，需要一个视线校准过程来补偿这个偏移。在典型的校准过程中，用户被要求将目光固定在屏幕上的某些刺激上，他们的眼睛的运动被相机捕捉。在这个过程中，刺激作为注视位置的基本事实，根据估计的注视位置和真实位置之间的偏移捕获变换向量。假设眼睛和屏幕之间的相对位置在短时间内保持不变，可以直接将变换向量应用于估计的注视位置进行注视校正。
然而，正如背景技术所指出的，此类显式校准过程将损害用户体验，特别是在移动场景中，其中需要频繁触发重新校准过程以更新变换向量。
基于此，本发明提出一种针对视线追踪的隐式校准方法。本发明的设计源于对视觉显著性和用户注视之间的时空依赖关系的理解。
下面结合图1-图5描述本发明的针对视线追踪的隐式校准方法，图2和图3是本发明提供的针对视线追踪的隐式校准方法的流程示意图，如图2所示，本发明提供一种针对视线追踪的隐式校准方法，包括：
步骤110：获取校准窗口内的N个待校准视线跟踪结果和M个设备当前显示内容帧；其中，N小于M。
如图3所示，本发明利用视觉显著进行校准。校准的输入是来自当前设备播放的视频或AR内容的帧以及相应的待校准视线跟踪结果。在一些实施例中，本发明使用校准窗口来分割设备当前显示内容帧和用于校准的待校准视线跟踪结果。每个校准窗口包括N个帧{F1，F2，...，FN}和M个待校准视线跟踪结果{E1，E2，...，EM}。为了消除眼睛定位误差，在一帧中使用多个待校准视线跟踪结果。也就是说，待校准视线跟踪结果的采样率高于的帧速率(即M>N)。
需要注意的是，待校准视线跟踪结果可以是将用户的眼球运动大致投影到屏幕坐标上得到粗略的注视位置估计。
步骤120：将所述设备当前显示内容帧的像素调整到预设分辨率，以得到待检测内容帧。
视觉显著热图可以作为注视位置的概率分布，这为隐式注视校正提供了机会。本发明利用两种显著程度来表示用户的注意力，还根据不同的时序动态选择合适的检测算法。
在此之前，需要将帧的大小调整到预设分辨率，得到待检测内容帧。在一些实施例中，预设分辨率可以是68×68。
进行这一步骤的原因是：首先，处理高复用率的帧，例如4K(3840×2160)会产生高CPU、GPU和能源开销，这对于资源有限的移动设备来说是负担不起的。其次，由于视频的分辨率不同，不可能***每一个视频的分辨率。因此，将所有帧的大小调整到固定的分辨率是解决此问题的有效和高效的方法。需要强调的是，在这一步骤中，降低帧的分辨率不会影响显著检测精度。这是因为用于显著检测的帧的特征(即，颜色、强度、方向、对象的形状等)不会在较低分辨率下更改。
步骤130：将所述待检测内容帧输入至视觉显著检测模块，以得到视觉显著检测结果；所述视觉显著检测模块用于检测所述待检测内容帧中每个像素的显著性。
待检测内容帧输入至视觉显著检测模块后，将被馈送到视觉显著检测组件以生成视觉显著热图，然后，将每个热图归一化到预设范围，以保持一致性，得到视觉显著检测结果。
基于显著性的校准背后的基本观点是，用户在观看视频时，通常会被屏幕上的几个显著区域/对象吸引。这样的显著区域/对象被统称为显著性，它从它的邻域中脱颖而出并能立即引起用户的注意。因此，这些显著区域/对象的位置可以被视为用户注视位置的基本事实，这有助于估计用户的注视。如今，随着计算机视觉的发展，人们提出了许多有效的方法来检测视频或帧中的显著区域/目标。这些方法通常输出一个视觉显著热图，该热图显示了一帧中每个像素的显著性，可视为注视的概率分布。
在一些实施例中，本发明利用Apple的算法来检测显著性，提取出区分颜色、强度、方向的显著区域。这种显著性称为自下而上的显著性。在一个具体实施例中，从EyeTrackUAV数据集选用一个视频素材，由两名志愿者观看，同时Tobii眼动***记录他们的注视位置，提取这两个帧对应的注视位置，如图4所示，图4显示了两个视频帧和相应的显著性热图。可以看到，显著热图基本上捕获了帧上的显著区域/对象和用户的视线。
在另一些实施例中，利用Apple算法进行自下而上的显著性检测。对于自上而下的显著性，选择U2-Net来检测显著性目标。
在时间上，自下而上的注意力和自上而下的注意力在100毫秒的水平上传递，更具体地说是150毫秒。在后期设计的显著性检测过程中，为了匹配注意力的变化，在最初的150毫秒内利用自下而上的显著性(大约是30FPS视频中5帧的长度)，然后转向自上而下的显著性，以便更好地匹配注意机制。对于场景分割的识别，主要依靠关键帧的检测。因为在视频编码过程中，一旦发生场景剪切，它将被编码为关键帧。因此，关键帧覆盖了所有场景剪辑。通过比较关键帧和前一帧，可以检测出是否有场景剪切。在另一些实施例中，使用pHash散列帧并计算检测距离。通过这种方法，可以在时间上选择适当的显著性来表示用户的视觉注意。
步骤140：将所述视觉显著检测结果输入至视觉显著度量模块，以得到待校准内容帧；所述视觉显著度量模块用于度量所述视觉显著检测结果中每个像素的显著的有效性。
显著热图基本上可以展示出注视的概率分布。然而，这种情况在某些场景中可能会失败，也就是说，无法从显著性中获得用户的注视。例如，当框架包含多个显著区域/对象时，使用显著性进行校准的效果很差，因为根本无法判断用户在看哪个区域。相反，该帧甚至可以不包含显著性，例如全黑帧。此外，如果显著性相对较大(例如特写帧)，则无法确定用户注视的子区域。总之，利用空间维度的显著性来推断用户的注视并不总是可能的，一般称之为显著性的空间有效性。
另外，忽略显著性的时间有效性也是现有基于显著性的校准方法受到影响的另一个原因。视觉显著性在时间上与用户的注意力有关。人类的视觉注意力有两种途径，自下而上和自上而下。在自下而上的视觉注意中，呈现在大脑中的信息是外部刺激通过视觉通路传递的原始物理特征，包括颜色、强度、方向等。总之，自下而上的视觉注意是由外部环境信息驱动的。至于自上而下的注意，是指大脑的高级关节皮层，包括前额叶皮层(PFC)和后顶叶皮层(PPC)，根据当前任务的目标和过去的知识，在视觉通路中执行信息。这是由大脑内部信息驱动的注意力。
特别是观看视频或帧时，一旦出现新场景，用户首先会被自下而上的注意力所驱使，关注帧中的不同区域，然后会被自上而下的注意力所支配，关注基于过去知识的语义对象。如图4所示。在本发明的一些实施过程中，使用这张图片进行了一次用户调查，以验证上述神经理论。具体来说，要求志愿者观看屏幕上的一幅或另一幅图片，然后用图5替换该图片，以模拟视频中的场景。用户被要求报告他/她的第一眼，即潜意识中观察到的区域；和第二眼，即他们后来在潜意识行动后观察到的区域。共有6名志愿者参与。根据他们的反馈，所有志愿者首先观看最亮的区域(月亮)，然后将注意力转移到正确的区域(超级英雄)，这与理论是一致的。
为了解决上述空间维度上的问题，本发明设计了一种度量方法来量化显著热图的集中度，只有高集中度的显著热图才可以作为很好的校准机会。
显著热图的集中度由两个特征决定。一是热图上显著区域/对象的数量，另一个是显著区域/对象的面积。基于此，本发明提出一种显著性度量，称为显著性集中度(SCS)，其计算公式表示为第二预设公式，如下：
其中，S表示显著性集中度；n表示显著区域/对象的数量；AS表示显著区域/对象像素，AT表示整个框架的区域像素。SCS的值在0和1之间变化。n和AS与AT的比值越小，SCS值越接近1，反之亦然。
为计算显著性集中度，需要从每一帧中提取特征n和AS。为此，首先对每一帧的热图进行二值化，以过滤出显著性值低于第一预设阈值的背景像素，得到显著像素。在一些实施例中，用于二值化的第一预设阈值可以是170。
滤除后剩下的像素记为显著像素，反映了显著的区域/对象。显著像素集合的区域就是显著区域/对象。显然，剩余像素的比率给出了比率
显著区域/对象的数量n可以通过在二值化热图上形成连通分量分析来计算。
计算得到显著区域/对象的数量n后，结合比率
通过第二预设公式计算得到显著性热图对应的显著性集中度。所述显著性集中度也是视觉显著检测结果对应的设备当前显示内容帧的显著性集中度，同时也是待校准内容帧的显著性集中度。
利用显著性集中度即可在空间上选择显著性，使用此度量来选择可用于校准的帧。在进行显著性检测之前，已经进行了一次选择，以确定每一帧的显著类型。经过这种时间选择和显著性检测后，仍然存在一个问题，即并不是所有的帧都能为隐式校准提供良好的机会，故而还需要将SCS值较低的值滤除。具体来说，将SCS值低于第二预设阈值的帧滤除，得到待校准内容帧，即经过滤除的待校准的内容帧都能更好的进行隐式校准。在一些实施例中，第二预设阈值可以为0.6。
步骤150：将所述待校准内容帧输入至显著信息提取模块，以得到待输入显著信息；所述显著信息提取模块用于从所述待校准内容帧中提取显著信息。
之后，从剩余的、能更好的进行隐式校准的帧(即待校准的内容帧)中提取显著信息。具体地说，对于每个帧Fi，在其中的每个连通分量域中找到具有最高显著值的像素，其坐标表示相应显著区域/对象的位置。然后，将Fi上所有ni个显著区域/对象的坐标与显著区域/对象编号ni和SCS值SCSi一起压缩为特征向量Vi，如下所示，即第三预设公式：
其中，Vi表示特征向量，ni表示显著区域/对象的编号，SCSi表示待校准内容帧上的显著性集中度，
表示显著区域/对象的横坐标，/>
表示显著区域/对象的纵坐标。
每一帧的特征向量Vi记为待输入显著信息，待输入显著信息被馈送到视线追踪校准模块中的校准组件以进行隐式注视误差补偿。
步骤160：将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，以得到视线跟踪校准结果；所述视线追踪校准模块用于对所述待校准视线跟踪结果进行校准。
利用一个帧中的所有特征向量组成的视觉显著向量({V1，V2，...，VN})可以校正待校准视线跟踪结果中注视位置{G1，G2，...，GM}中的误差。
但在这之前，需要首先对待校准视线跟踪结果进行预处理，以滤除结果中的两个噪声源。
第一个噪声源被闪烁事件擦除。具体地说，人类的眼睛通常在一分钟内眨眼15-20次。当用户眨眼时，注视位置将迅速改变。类似的现象也可以在扫视事件中观察到。然而，在这两个事件中，注视模式是不同的。对于眨眼事件，注视位置变化很快，但很快就会回到原来的位置。因此，在这种情况下，可以使用z-Score来消除异常值。在这里，z-Score的计算公式可以表示为第一预设公式：
其中，z表示第一去噪分数值，x表示原始值，μ表示整数值的平均值，σ表示标准差。
在实际操作过程中，计算校准窗口中待校准视线跟踪结果即每个粗略注视位置的z分数，如果其z分数的绝对值大于z分数阈值，则将其识别为异常值。在一些实施例中，z分数阈值可以设置为3。
除了眨眼事件外，眼睛定位的误差也会给注视跟踪结果带来噪声，称为第二噪声。具体地说，它会在粗略的注视位置引起轻微的抖动。为了滤除这种抖动，对每一帧的多个眼睛位置进行采样。待校准视线跟踪结果包含注视位置，根据所述待校准视线跟踪结果获得注视位置，计算对应于一个特征向量Vi的Ni个粗略注视位置{G1，G2，...，GM}的平均值。平均注视位置表示为
由于在一个校准窗口中使用N个帧，因此将获得N个平均注视位置
之后，从待输入显著信息获取显著向量，使用N个平均注视位置/>
和N个显著向量{v}来进行注视校准。在一些实施例中，可以将显著向量{v}的数量N设置为10。虽然可以使用单个显著向量来预测真实的注视位置，但是由于单个帧可能包含多个显著区域/对象，因此精度仍然不足以确定注视点的准确位置。此外，用户行为的不确定性也会导致单帧的波动。例如，用户的注意力有时会被背景中不明显的区域吸引。因此，利用N个帧的序列来消除这种误差。具体地说，分别对{v}和/>
进行聚类。然后，对于{v}和/>
的聚类结果，选择样本最多的聚类来分别表示最频繁的显著区域和对应的粗略注视区域。通过计算两个区域的质心之间的偏移量，得到一个称为校准变换向量Vc的矢量。利用该向量可以补偿粗跟踪结果中的误差。
在实际操作过程中，可以使用RGB-D相机跟踪用户的眼球运动，并将其大致投影到屏幕坐标上，由此得到粗略的注视位置估计，即待校准视线跟踪结果。之后，粗估计被用作校准的输入。校准是一个机会主义的过程，可以通过监测头部运动和场景切割来调用。在校准过程中，对校准窗口中的帧提取显著性信息。基于对显著性的时空维度的认识，利用自下而上的显著性和自上而下的显著性来匹配用户注意力在时间维度上的变化。然后，通过测量显著性的空间特征来过滤低质量的显著性地图。选择合适的帧进行显著性校正，并与跟踪过程中获得的粗略注视估计进行比较，生成变换向量。然后利用变换向量对粗估计进行补偿，得到校准过程中获得的视线跟踪校准结果。
也就是说，在第二去噪过程中，通过计算两个区域的质心之间的偏移量，得到一个称为校准变换向量Vc的矢量。利用该向量可以补偿粗跟踪结果中的误差。将偏移量包含的变换向量补偿到所述待校准视线跟踪结果上进行隐式校准，得到视线跟踪校准结果。
上述步骤结束后就能够基本执行完整的注视跟踪。
在实际跟踪的操作过程中，首先使用前置RGBD摄像头捕捉用户的3D眼睛信息{E1，E2，...，EM}，将3D眼睛信息处理后获得注视位置。注视位置和注视平面(屏幕)的交集决定了注视点{G1，G2，...，GM}。然而，在这里面临的一个问题是，注视平面相对于用户眼睛的位置是不知道的。在本发明的前述步骤中，综合了来自惯性测量单元(IMU)的手机的惯性信息和来自相机视角的深度信息来估计屏幕的相对位置。
然而，当用户以横向姿势握住手机时，上述相对位置的估计将会出现一些问题。在这种情况下，相机将向用户面部的左侧或右侧旋转90度。因此，当被相机捕捉到时，用户的脸会稍微旋转一下。估计的注视方向也是扭曲的，特别是对于相机相反方向的眼睛。
在不失去一般性的情况下，本发明首先考虑相机旋转到用户左侧的情况。在屏幕坐标系中，假设原点位于屏幕的左下角。可以产生两个关键的观察：i)视线沿x轴距离原点越远，当眼球旋转一定程度时，其位移越大；ii)视线沿y轴距离原点越近，当眼球旋转一定程度时，其位移越小。第一次观察是由相机捕捉到的用户面部的旋转引起的。第二个观察是由眼睛的椭圆形结构引起的。在椭圆形结构中，眼球从左到右的旋转比从上到下的旋转更明显，即使眼球旋转的程度相同。此外，与向下看相比，当用户向上看时，眼睛睁得更大。因此，当用户向下看时，相机更难捕捉到他/她的眼睛。
故而，为了补偿x轴上的失真，用移动设备的前置摄像头捕捉到的用户面部的旋转来补偿注视位置(即待校准视线跟踪结果)的x值。对于y轴上的失真，当y小于y轴失真阈值时，用一个恒定值来补偿视点位置(即待校准视线跟踪结果)的y值。y轴失真阈值可以是300。有了这个补偿，本发明就可以在肖像和风景两种姿势下进行注视跟踪。最后，将待输入显著信息包含的特征向量补偿到待校准视线跟踪结果上，得到标定后的视线跟踪校准结果。
在一些实施例中，本发明还包括校准过程的触发条件。本发明提出了基于用户注意力时空模型的隐式校准方案，从根本上解决了显式校准对用户体验质量的降低。
本发明提供的校准机制是机会主义的，参考选择在两个方面：
首先，校准是建立在用户和设备之间稳定的相对位置上的。因此，当检测到相对位置的变化时，需要重新校准。否则，可以直接使用预先计算的变换向量来执行校准跟踪。在一些实施例中，通过使用前置RGB-D摄像头跟踪用户的人脸运动来实现这样的检测。具体地说，当用户和设备之间的相对位置发生变化时，摄像头捕捉到的用户的面部姿势不可避免地会发生变化。因此，在视线跟踪过程中，不断地捕捉到用户面部的3D信息。一旦两个连续脸部姿势之间的距离大于第三预设阈值，在一些实施例中，所述第三预设阈值可以是0.005，则检测到相对位置的变化。然后触发新的校准过程以更新变换向量。这种重新校准也可以在现有的校准过程中进行，以保持校准的质量。
此外，当场景切换出现时，执行校准。正如在步骤130中提到的，场景切换后，自下而上的注意力将立即主导用户的注视。这种潜意识行为具有很强的自信程度，将用户的注视与自下而上的显着性联系在一起。因此，需要触发对检测到的场景切换的校准，以保持剪切结果的质量。对于这种校准，为了保持与注意持续时间的一致性，校准窗口的长度可以定义为5帧。
本发明提出了一种针对视线追踪的隐式校准方法，利用对用户注意力机制时间和空间维度的洞察，通过跟踪用户的头部及眼部运动，结合对画面内容的分析，利用用户注意力和画面内容之间的时空关系，使用动态低质的画面对用户眼动进行隐式、被动的校准，利用“有用的”显著性信息识别视频帧，并仅使用这些“有用的”帧执行机会校准。解决了扩展现实注视跟踪中校准过程对于用户体验质量严重降低的问题，即使在移动场景中也能实现高度可靠和精确的注视跟踪，最终实现适用于扩展现实的连续注视跟踪。
基于上述实施例，该方法中，将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，以得到视线跟踪校准结果，之前还包括：
对所述待校准视线跟踪结果进行第一去噪和第二去噪；
所述第一去噪具体包括：
利用第一预设公式对所述待校准视线跟踪结果进行第一去噪；
所述第一预设公式包括：
其中，z表示第一去噪分数值，x表示原始值，μ表示整数值的平均值，σ表示标准差；
所述第二去噪具体包括：
根据所述待校准视线跟踪结果获得注视位置；
计算所述待输入显著信息对应的所述注视位置的平均值，以得到平均注视位置；
将所述待输入显著信息和所述平均注视位置聚类，以得到聚类结果；
根据所述聚类结果确定最频繁显著区域和粗略注视区域；
计算所述最频繁显著区域和所述粗略注视区域质心之间的偏移量，根据所述偏移量进行第二去噪。
具体地，将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块之前，需要首先对待校准视线跟踪结果进行预处理，以滤除结果中的两个噪声源。
第一个噪声源被闪烁事件擦除。具体地说，人类的眼睛通常在一分钟内眨眼15-20次。当用户眨眼时，注视位置将迅速改变。类似的现象也可以在扫视事件中观察到。然而，在这两个事件中，注视模式是不同的。对于眨眼事件，注视位置变化很快，但很快就会回到原来的位置。因此，在这种情况下，可以使用z-Score来消除异常值。在这里，z-Score的计算公式可以表示为第一预设公式：
其中，z表示第一去噪分数值，x表示原始值，μ表示整数值的平均值，σ表示标准差。
在实际操作过程中，计算校准窗口中待校准视线跟踪结果即每个粗略注视位置的z分数，如果其z分数的绝对值大于z分数阈值，则将其识别为异常值。在一些实施例中，z分数阈值可以设置为3。
除了眨眼事件外，眼睛定位的误差也会给注视跟踪结果带来噪声，称为第二噪声。具体地说，它会在粗略的注视位置引起轻微的抖动。为了滤除这种抖动，对每一帧的多个眼睛位置进行采样。计算对应于一个特征向量Vi的Ni个粗略注视位置{G1，G2，...，GM}的平均值。平均注视位置表示为
由于在一个校准窗口中使用N个帧，因此将获得N个平均注视位置/>
之后，使用N个平均注视位置/>
和N个显著向量{v}来进行注视校准。在一些实施例中，可以将显著向量{v}的数量N设置为10。虽然可以使用单个显著向量来预测真实的注视位置，但是由于单个帧可能包含多个显著区域/对象，因此精度仍然不足以确定注视点的准确位置。此外，用户行为的不确定性也会导致单帧的波动。例如，用户的注意力有时会被背景中不明显的区域吸引。因此，利用N个帧的序列来消除这种误差。具体地说，分别对{v}和/>
进行聚类。然后，对于{v}和/>
的聚类结果，选择样本最多的聚类来分别表示最频繁的显著区域和对应的粗略注视区域。通过计算两个区域的质心之间的偏移量，得到一个称为校准变换向量Vc的矢量。利用该向量可以补偿粗跟踪结果中的误差。
基于上述实施例，该方法中，所述视觉显著检测模块用于检测所述待检测内容帧中每个像素的显著性，具体包括：
将所述待检测内容帧输入至视觉显著检测模块，生成视觉显著热图；
将所述视觉显著热图归一化至预设范围，得到视觉显著检测结果。
具体地，待检测内容帧输入至视觉显著检测模块后，将被馈送到视觉显著检测组件以生成视觉显著热图，然后，将每个热图归一化到预设范围，以保持一致性，得到视觉显著检测结果。
基于上述实施例，该方法中，所述视觉显著度量模块用于度量所述视觉显著检测结果中每个像素的显著的有效性，具体包括：
根据第一预设阈值对所述视觉显著检测结果进行二值化，以得到显著像素；
通过连通分量分析计算得到帧中显著像素所在显著区域/对象的数量；
根据第二预设公式计算得到所述视觉显著检测结果对应的所述设备当前显示内容帧的显著性集中度；
滤除显著性集中度低于第二预设阈值的视觉显著检测结果，得到待校准内容帧；
所述第二预设公式包括：
其中，S表示显著性集中度；n表示显著区域/对象的数量；AS表示显著区域/对象像素，AT表示整个框架的区域像素。
具体地，显著热图的集中度由两个特征决定。一是热图上显著区域/对象的数量，另一个是显著区域/对象的面积。基于此，本发明提出一种显著性度量，称为显著性集中度(SCS)，其计算公式表示为第二预设公式，如下：
其中，S表示显著性集中度；n表示显著区域/对象的数量；AS表示显著区域/对象像素，AT表示整个框架的区域像素。SCS的值在0和1之间变化。n和AS与AT的比值越小，SCS值越接近1，反之亦然。
为计算显著性集中度，需要从每一帧中提取特征n和AS。为此，首先对每一帧的热图进行二值化，以过滤出显著性值低于第一预设阈值的背景像素，得到显著像素。在一些实施例中，用于二值化的第一预设阈值可以是170。
滤除后剩下的像素记为显著像素，反映了显著的区域/对象。显著像素集合的区域就是显著区域/对象。显然，剩余像素的比率给出了比率
显著区域/对象的数量n可以通过在二值化热图上形成连通分量分析来计算。
计算得到显著区域/对象的数量n后，结合比率
通过第二预设公式计算得到显著性热图对应的显著性集中度。所述显著性集中度也是视觉显著检测结果对应的设备当前显示内容帧的显著性集中度，同时也是待校准内容帧的显著性集中度。
利用显著性集中度即可在空间上选择显著性，使用此度量来选择可用于校准的帧。在进行显著性检测之前，已经进行了一次选择，以确定每一帧的显著类型。经过这种时间选择和显著性检测后，仍然存在一个问题，即并不是所有的帧都能为隐式校准提供良好的机会，故而还需要将SCS值较低的值滤除。具体来说，将SCS值低于第二预设阈值的帧滤除，得到待校准内容帧，即经过滤除的待校准的内容帧都能更好的进行隐式校准。在一些实施例中，第二预设阈值可以为0.6。
基于上述实施例，该方法中，所述显著信息提取模块用于从所述待校准内容帧中提取显著信息，具体包括：
提取所述待校准内容帧在每个连通分量域中的具有最高显著值的像素所在显著区域/对象的坐标和编号；
根据第三预设公式，将所述待校准内容帧上的显著性集中度、所有所述显著区域/对象的坐标和编号共同压缩为特征向量Vi，得到待输入显著信息；
所述第三预设公式包括：
其中，Vi表示特征向量，ni表示显著区域/对象的编号，SCSi表示待校准内容帧上的显著性集中度，
表示显著区域/对象的横坐标，/>
表示显著区域/对象的纵坐标。
具体地，之后，从剩余的能更好的进行隐式校准的帧(即待校准的内容帧)中提取显著信息。具体地说，对于每个帧Fi，在其中的每个连通分量域中找到具有最高显著值的像素，其坐标表示相应显著区域/对象的位置。然后，将Fi上所有ni个显著区域/对象的坐标与显著区域/对象编号ni和SCS值SCSi一起压缩为特征向量Vi，如下所示，即第三预设公式：
其中，Vi表示特征向量，ni表示显著区域/对象的编号，SCSi表示待校准内容帧上的显著性集中度，
表示显著区域/对象的横坐标，/>
表示显著区域/对象的纵坐标。
每一帧的特征向量Vi记为待输入显著信息，待输入显著信息被馈送到视线追踪校准模块照中的校准组件以进行隐式注视误差补偿。
基于上述实施例，该方法中，所述视线追踪校准模块用于对所述待校准视线跟踪结果进行校准，具体包括：
将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，将所述偏移量包含的变换向量补偿到所述待校准视线跟踪结果上进行隐式校准，得到视线跟踪校准结果。
具体地，利用一个帧中的所有特征向量组成的视觉显著向量({V1，V2，...，VN})可以校正待校准视线跟踪结果中注视位置{G1，G2，...，GM}中的误差。
在实际操作过程中，可以使用RGB-D相机跟踪用户的眼球运动，并将其大致投影到屏幕坐标上，由此得到粗略的注视位置估计，即待校准视线跟踪结果。之后，粗估计被用作校准的输入。校准是一个机会主义的过程，可以通过监测头部运动和场景切割来调用。在校准过程中，对校准窗口中的帧提取显著性信息。基于对显著性的时空维度的认识，利用自下而上的显著性和自上而下的显著性来匹配用户注意力在时间维度上的变化。然后，通过测量显著性的空间特征来过滤低质量的显著性地图。选择合适的帧进行显著性校正，并与跟踪过程中获得的粗略注视估计进行比较，生成变换向量。然后利用变换向量对粗估计进行补偿，得到校准过程中获得的视线跟踪校准结果。
也就是说，在第二去噪过程中，通过计算两个区域的质心之间的偏移量，得到一个称为校准变换向量Vc的矢量。利用该向量可以补偿粗跟踪结果中的误差。将偏移量包含的变换向量补偿到所述待校准视线跟踪结果上进行隐式校准，得到视线跟踪校准结果。
基于上述实施例，该方法中，将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，将所述偏移量包含的变换向量补偿到所述待校准视线跟踪结果上进行隐式校准，得到视线跟踪校准结果，之前还包括：
获取用户与设备的相对位置；
若所述相对位置的变化小于或等于第三预设阈值，变换向量不变；
若所述相对位置的变化大于第三预设阈值或场景切换时，更新所述变换向量。
具体地，当用户以横向姿势握住手机时，上述相对位置的估计将会出现一些问题。在这种情况下，相机将向用户面部的左侧或右侧旋转90度。因此，当被相机捕捉到时，用户的脸会稍微旋转一下。估计的注视方向也是扭曲的，特别是对于相机相反方向的眼睛。
在不失去一般性的情况下，本发明首先考虑相机旋转到用户左侧的情况。在屏幕坐标系中，假设原点位于屏幕的左下角。可以产生两个关键的观察：i)视线沿x轴距离原点越远，当眼球旋转一定程度时，其位移越大；ii)视线沿y轴距离原点越近，当眼球旋转一定程度时，其位移越小。第一次观察是由相机捕捉到的用户面部的旋转引起的。第二个观察是由眼睛的椭圆形结构引起的。在椭圆形结构中，眼球从左到右的旋转比从上到下的旋转更明显，即使眼球旋转的程度相同。此外，与向下看相比，当用户向上看时，眼睛睁得更大。因此，当用户向下看时，相机更难捕捉到他/她的眼睛。
故而，为了补偿x轴上的失真，用移动设备的前置摄像头捕捉到的用户面部的旋转来补偿注视位置(即待校准视线跟踪结果)的x值。对于y轴上的失真，当y小于y轴失真阈值时，用一个恒定值来补偿视点位置(即待校准视线跟踪结果)的y值。y轴失真阈值可以是300。有了这个补偿，本发明就可以在肖像和风景两种姿势下进行注视跟踪。最后，将待输入显著信息包含的特征向量补偿到待校准视线跟踪结果上，得到标定后的视线跟踪校准结果。
在一些实施例中，本发明还包括校准过程的触发条件。本发明提出了基于用户注意力时空模型的隐式校准方案，从根本上解决了显式校准对用户体验质量的降低。
本发明提供的校准机制是机会主义的，参考选择在两个方面：
首先，校准是建立在用户和设备之间稳定的相对位置上的。因此，当检测到相对位置的变化时，需要重新校准。否则，可以直接使用预先计算的变换向量来执行校准跟踪。在一些实施例中，通过使用前置RGB-D摄像头跟踪用户的人脸运动来实现这样的检测。具体地说，当用户和设备之间的相对位置发生变化时，摄像头捕捉到的用户的面部姿势不可避免地会发生变化。因此，在视线跟踪过程中，不断地捕捉到用户面部的3D信息。一旦两个连续脸部姿势之间的距离大于第三预设阈值，在一些实施例中，所述第三预设阈值可以是0.005，则检测到相对位置的变化。然后触发新的校准过程以更新变换向量。这种重新校准也可以在现有的校准过程中进行，以保持校准的质量。
此外，当场景切换出现时，执行校准。正如在步骤130中提到的，场景切换后，自下而上的注意力将立即主导用户的注视。这种潜意识行为具有很强的自信程度，将用户的注视与自下而上的显着性联系在一起。因此，需要触发对检测到的场景切换的校准，以保持剪切结果的质量。对于这种校准，为了保持与注意持续时间的一致性，校准窗口的长度可以定义为5帧。
在一个具体实施例中，选择iPhone Xs Max作为当前设备，它集成了2.49GHz的Apple A12 Bionic，4GB RAM，6.5英寸屏幕，TrueDepth摄像头，运行iOS 13.6操作***。TrueDepth相机提供了一种RGB-D相机。本发明提供的针对视线追踪的隐式校准方法的实现可以应用于任何配备TrueDepth摄像头的iOS设备，如iPhone 11、iPad Pro等。此外，本发明可以在任何配备RGB-D摄像头的Android设备上实现，如华为Mate 20、OPPO Find X、荣誉魔术2等。本发明提供的针对视线追踪的隐式校准方法的算法采用SWIFT和Objective-C++编写。为了保证评估帧在不同用户之间的重复性，在实现中使用了视频作为可视输入。这种实现可以通过简单的设置轻松转换为AR场景。为了获取RGB-D相机数据，使用ARKit框架用于iOS的OpenCV以提供多个帧处理功能。
本发明提供的一种针对视线追踪的隐式校准方法，通过获取校准窗口内的N个待校准视线跟踪结果和M个设备当前显示内容帧；其中，N小于M；将所述设备当前显示内容帧的像素调整到预设分辨率，以得到待检测内容帧；将所述待检测内容帧输入至视觉显著检测模块，以得到视觉显著检测结果；所述视觉显著检测模块用于检测所述待检测内容帧中每个像素的显著性；将所述视觉显著检测结果输入至视觉显著度量模块，以得到待校准内容帧；所述视觉显著度量模块用于度量所述视觉显著检测结果中每个像素的显著的有效性；将所述待校准内容帧输入至显著信息提取模块，以得到待输入显著信息；所述显著信息提取模块用于从所述待校准内容帧中提取显著信息；将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，以得到视线跟踪校准结果；所述视线追踪校准模块用于对所述待校准视线跟踪结果进行校准。本发明利用显著性信息识别视频帧，并仅使用这些“有用的”帧执行校准，实现不需要用户配合的、更为简单的、用户体验更好的视线追踪的校准。
下面对本发明提供的针对视线追踪的隐式校准装置进行描述，下文描述的针对视线追踪的隐式校准装置与上文描述的针对视线追踪的隐式校准方法可相互对应参照。
图6是本发明实施例提供的针对视线追踪的隐式校准装置的结构示意图，如图6所示，本发明实施例提供一种针对视线追踪的隐式校准装置，包括：获取单元610；调整单元620；视觉显著检测单元630；视觉显著度量单元640；显著信息提取单元650；视线追踪校准单元660；
其中，
获取单元610，用于获取校准窗口内的N个待校准视线跟踪结果和M个设备当前显示内容帧；其中，N小于M；
调整单元620，用于将所述设备当前显示内容帧的像素调整到预设分辨率，以得到待检测内容帧；
视觉显著检测单元630，用于将所述待检测内容帧输入至视觉显著检测模块，以得到视觉显著检测结果；所述视觉显著检测模块用于检测所述待检测内容帧中每个像素的显著性；
视觉显著度量单元640，用于将所述视觉显著检测结果输入至视觉显著度量模块，以得到待校准内容帧；所述视觉显著度量模块用于度量所述视觉显著检测结果中每个像素的显著的有效性；
显著信息提取单元650，用于将所述待校准内容帧输入至显著信息提取模块，以得到待输入显著信息；所述显著信息提取模块用于从所述待校准内容帧中提取显著信息；
视线追踪校准单元660，用于将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，以得到视线跟踪校准结果；所述视线追踪校准模块用于对所述待校准视线跟踪结果进行校准。
基于上述实施例，该装置中，将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，以得到视线跟踪校准结果，之前还包括：
对所述待校准视线跟踪结果进行第一去噪和第二去噪；
所述第一去噪具体包括：
利用第一预设公式对所述待校准视线跟踪结果进行第一去噪；
所述第一预设公式包括：
其中，z表示第一去噪分数值，x表示原始值，μ表示整数值的平均值，σ表示标准差；
所述第二去噪具体包括：
根据所述待校准视线跟踪结果获得注视位置；
计算所述待输入显著信息对应的所述注视位置的平均值，以得到平均注视位置；
将所述待输入显著信息和所述平均注视位置聚类，以得到聚类结果；
根据所述聚类结果确定最频繁显著区域和粗略注视区域；
计算所述最频繁显著区域和所述粗略注视区域质心之间的偏移量，根据所述偏移量进行第二去噪。
基于上述实施例，该装置中，所述视觉显著检测模块用于检测所述待检测内容帧中每个像素的显著性，具体包括：
将所述待检测内容帧输入至视觉显著检测模块，生成视觉显著热图；
将所述视觉显著热图归一化至预设范围，得到视觉显著检测结果。
基于上述实施例，该装置中，所述视觉显著度量模块用于度量所述视觉显著检测结果中每个像素的显著的有效性，具体包括：
根据第一预设阈值对所述视觉显著检测结果进行二值化，以得到显著像素；
通过连通分量分析计算得到帧中显著像素所在显著区域/对象的数量；
根据第二预设公式计算得到所述视觉显著检测结果对应的所述设备当前显示内容帧的显著性集中度；
滤除显著性集中度低于第二预设阈值的视觉显著检测结果，得到待校准内容帧；
所述第二预设公式包括：
其中，S表示显著性集中度；n表示显著区域/对象的数量；AS表示显著区域/对象像素，AT表示整个框架的区域像素。
基于上述实施例，该装置中，所述显著信息提取模块用于从所述待校准内容帧中提取显著信息，具体包括：
提取所述待校准内容帧在每个连通分量域中的具有最高显著值的像素所在显著区域/对象的坐标和编号；
根据第三预设公式，将所述待校准内容帧上的显著性集中度、所有所述显著区域/对象的坐标和编号共同压缩为特征向量Vi，得到待输入显著信息；
所述第三预设公式包括：
其中，Vi表示特征向量，ni表示显著区域/对象的编号，SCSi表示待校准内容帧上的显著性集中度，
表示显著区域/对象的横坐标，/>
表示显著区域/对象的纵坐标。/>
基于上述实施例，该装置中，所述视线追踪校准模块用于对所述待校准视线跟踪结果进行校准，具体包括：
将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，将所述偏移量包含的变换向量补偿到所述待校准视线跟踪结果上进行隐式校准，得到视线跟踪校准结果。
基于上述实施例，该装置中，将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，将所述偏移量包含的变换向量补偿到所述待校准视线跟踪结果上进行隐式校准，得到视线跟踪校准结果，之前还包括：
获取用户与设备的相对位置；
若所述相对位置的变化小于或等于第三预设阈值，变换向量不变；
若所述相对位置的变化大于第三预设阈值或场景切换时，更新所述变换向量。
本发明提供的一种针对视线追踪的隐式校准装置，通过获取校准窗口内的N个待校准视线跟踪结果和M个设备当前显示内容帧；其中，N小于M；将所述设备当前显示内容帧的像素调整到预设分辨率，以得到待检测内容帧；将所述待检测内容帧输入至视觉显著检测模块，以得到视觉显著检测结果；所述视觉显著检测模块用于检测所述待检测内容帧中每个像素的显著性；将所述视觉显著检测结果输入至视觉显著度量模块，以得到待校准内容帧；所述视觉显著度量模块用于度量所述视觉显著检测结果中每个像素的显著的有效性；将所述待校准内容帧输入至显著信息提取模块，以得到待输入显著信息；所述显著信息提取模块用于从所述待校准内容帧中提取显著信息；将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，以得到视线跟踪校准结果；所述视线追踪校准模块用于对所述待校准视线跟踪结果进行校准。本发明利用显著性信息识别视频帧，并仅使用这些“有用的”帧执行校准，实现不需要用户配合的、更为简单的、用户体验更好的视线追踪的校准。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行针对视线追踪的隐式校准方法，该方法包括：获取校准窗口内的N个待校准视线跟踪结果和M个设备当前显示内容帧；其中，N小于M；将所述设备当前显示内容帧的像素调整到预设分辨率，以得到待检测内容帧；将所述待检测内容帧输入至视觉显著检测模块，以得到视觉显著检测结果；所述视觉显著检测模块用于检测所述待检测内容帧中每个像素的显著性；将所述视觉显著检测结果输入至视觉显著度量模块，以得到待校准内容帧；所述视觉显著度量模块用于度量所述视觉显著检测结果中每个像素的显著的有效性；将所述待校准内容帧输入至显著信息提取模块，以得到待输入显著信息；所述显著信息提取模块用于从所述待校准内容帧中提取显著信息；将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，以得到视线跟踪校准结果；所述视线追踪校准模块用于对所述待校准视线跟踪结果进行校准。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的针对视线追踪的隐式校准方法，该方法包括：获取校准窗口内的N个待校准视线跟踪结果和M个设备当前显示内容帧；其中，N小于M；将所述设备当前显示内容帧的像素调整到预设分辨率，以得到待检测内容帧；将所述待检测内容帧输入至视觉显著检测模块，以得到视觉显著检测结果；所述视觉显著检测模块用于检测所述待检测内容帧中每个像素的显著性；将所述视觉显著检测结果输入至视觉显著度量模块，以得到待校准内容帧；所述视觉显著度量模块用于度量所述视觉显著检测结果中每个像素的显著的有效性；将所述待校准内容帧输入至显著信息提取模块，以得到待输入显著信息；所述显著信息提取模块用于从所述待校准内容帧中提取显著信息；将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，以得到视线跟踪校准结果；所述视线追踪校准模块用于对所述待校准视线跟踪结果进行校准。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种针对视线追踪的隐式校准方法，其特征在于，包括：
获取校准窗口内的N个待校准视线跟踪结果和M个设备当前显示内容帧；其中，N小于M；
将所述设备当前显示内容帧的像素调整到预设分辨率，以得到待检测内容帧；
将所述待检测内容帧输入至视觉显著检测模块，以得到视觉显著检测结果；所述视觉显著检测模块用于检测所述待检测内容帧中每个像素的显著性；
将所述视觉显著检测结果输入至视觉显著度量模块，以得到待校准内容帧；所述视觉显著度量模块用于度量所述视觉显著检测结果中每个像素的显著的有效性；
将所述待校准内容帧输入至显著信息提取模块，以得到待输入显著信息；所述显著信息提取模块用于从所述待校准内容帧中提取显著信息；
将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，以得到视线跟踪校准结果；所述视线追踪校准模块用于对所述待校准视线跟踪结果进行校准。
2.根据权利要求1所述的针对视线追踪的隐式校准方法，其特征在于，将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，以得到视线跟踪校准结果，之前还包括：
对所述待校准视线跟踪结果进行第一去噪和第二去噪；
所述第一去噪具体包括：
利用第一预设公式对所述待校准视线跟踪结果进行第一去噪；
所述第一预设公式包括：
其中，z表示第一去噪分数值，x表示原始值，μ表示整数值的平均值，σ表示标准差；
所述第二去噪具体包括：
根据所述待校准视线跟踪结果获得注视位置；
计算所述待输入显著信息对应的所述注视位置的平均值，以得到平均注视位置；
将所述待输入显著信息和所述平均注视位置聚类，以得到聚类结果；
根据所述聚类结果确定最频繁显著区域和粗略注视区域；
计算所述最频繁显著区域和所述粗略注视区域质心之间的偏移量，根据所述偏移量进行第二去噪。
3.根据权利要求1所述的针对视线追踪的隐式校准方法，其特征在于，所述视觉显著检测模块用于检测所述待检测内容帧中每个像素的显著性，具体包括：
将所述待检测内容帧输入至视觉显著检测模块，生成视觉显著热图；
将所述视觉显著热图归一化至预设范围，得到视觉显著检测结果。
4.根据权利要求3所述的针对视线追踪的隐式校准方法，其特征在于，所述视觉显著度量模块用于度量所述视觉显著检测结果中每个像素的显著的有效性，具体包括：
根据第一预设阈值对所述视觉显著检测结果进行二值化，以得到显著像素；
通过连通分量分析计算得到帧中显著像素所在显著区域/对象的数量；
根据第二预设公式计算得到所述视觉显著检测结果对应的所述设备当前显示内容帧的显著性集中度；
滤除显著性集中度低于第二预设阈值的视觉显著检测结果，得到待校准内容帧；
所述第二预设公式包括：
其中，S表示显著性集中度；n表示显著区域/对象的数量；AS表示显著区域/对象像素，AT表示整个框架的区域像素。
5.根据权利要求4所述的针对视线追踪的隐式校准方法，其特征在于，所述显著信息提取模块用于从所述待校准内容帧中提取显著信息，具体包括：
提取所述待校准内容帧在每个连通分量域中的具有最高显著值的像素所在显著区域/对象的坐标和编号；
根据第三预设公式，将所述待校准内容帧上的显著性集中度、所有所述显著区域/对象的坐标和编号共同压缩为特征向量Vi，得到待输入显著信息；
所述第三预设公式包括：
其中，Vi表示特征向量，ni表示显著区域/对象的编号，SCSi表示待校准内容帧上的显著性集中度，
表示显著区域/对象的横坐标，/>
表示显著区域/对象的纵坐标。
6.根据权利要求2所述的针对视线追踪的隐式校准方法，其特征在于，所述视线追踪校准模块用于对所述待校准视线跟踪结果进行校准，具体包括：
将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，将所述偏移量包含的变换向量补偿到所述待校准视线跟踪结果上进行隐式校准，得到视线跟踪校准结果。
7.根据权利要求6所述的针对视线追踪的隐式校准方法，其特征在于，将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，将所述偏移量包含的变换向量补偿到所述待校准视线跟踪结果上进行隐式校准，得到视线跟踪校准结果，之前还包括：
获取用户与设备的相对位置；
若所述相对位置的变化小于或等于第三预设阈值，变换向量不变；
若所述相对位置的变化大于第三预设阈值或场景切换时，更新所述变换向量。
8.一种针对视线追踪的隐式校准装置，其特征在于，包括：
获取单元，用于获取校准窗口内的N个待校准视线跟踪结果和M个设备当前显示内容帧；其中，N小于M；
调整单元，用于将所述设备当前显示内容帧的像素调整到预设分辨率，以得到待检测内容帧；
视觉显著检测单元，用于将所述待检测内容帧输入至视觉显著检测模块，以得到视觉显著检测结果；所述视觉显著检测模块用于检测所述待检测内容帧中每个像素的显著性；
视觉显著度量单元，用于将所述视觉显著检测结果输入至视觉显著度量模块，以得到待校准内容帧；所述视觉显著度量模块用于度量所述视觉显著检测结果中每个像素的显著的有效性；
显著信息提取单元，用于将所述待校准内容帧输入至显著信息提取模块，以得到待输入显著信息；所述显著信息提取模块用于从所述待校准内容帧中提取显著信息；
视线追踪校准单元，用于将所述待输入显著信息和所述待校准视线跟踪结果输入至视线追踪校准模块，以得到视线跟踪校准结果；所述视线追踪校准模块用于对所述待校准视线跟踪结果进行校准。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述针对视线追踪的隐式校准方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述针对视线追踪的隐式校准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310263502.2A CN116430992A (zh) | 2023-03-10 | 2023-03-10 | 针对视线追踪的隐式校准方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310263502.2A CN116430992A (zh) | 2023-03-10 | 2023-03-10 | 针对视线追踪的隐式校准方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116430992A true CN116430992A (zh) | 2023-07-14 |
Family
ID=87088159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310263502.2A Pending CN116430992A (zh) | 2023-03-10 | 2023-03-10 | 针对视线追踪的隐式校准方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116430992A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117898675A (zh) * | 2024-01-19 | 2024-04-19 | 南京励翱科技有限公司 | 一种阿尔兹海默病的智能筛查***、装置及存储介质 |
-
2023
- 2023-03-10 CN CN202310263502.2A patent/CN116430992A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117898675A (zh) * | 2024-01-19 | 2024-04-19 | 南京励翱科技有限公司 | 一种阿尔兹海默病的智能筛查***、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sitzmann et al. | Saliency in VR: How do people explore virtual environments? | |
| US10269177B2 (en) | Headset removal in virtual, augmented, and mixed reality using an eye gaze database | |
| US10948726B2 (en) | IPD correction and reprojection for accurate mixed reality object placement | |
| US10635167B2 (en) | Smooth pursuit gaze tracking | |
| CN107818305B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| Sugano et al. | Calibration-free gaze sensing using saliency maps | |
| US9965860B2 (en) | Method and device for calibration-free gaze estimation | |
| US7736000B2 (en) | Method and apparatus for tracking eye movement | |
| Fang et al. | Visual attention modeling for stereoscopic video: a benchmark and computational model | |
| Steil et al. | Fixation detection for head-mounted eye tracking based on visual similarity of gaze targets | |
| US20160041611A1 (en) | Enhanced handheld screen-sensing pointer | |
| CN108960045A (zh) | 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体 | |
| US20160335474A1 (en) | Iris recognition via plenoptic imaging | |
| CN114140867A (zh) | 使用眼睛特征的眼睛姿态识别 | |
| US10254831B2 (en) | System and method for detecting a gaze of a viewer | |
| Lu et al. | A novel method for gaze tracking by local pattern model and support vector regressor | |
| CN107656619A (zh) | 一种智能投影方法、***及智能终端 | |
| WO2014028477A1 (en) | Systems and methods for iris detection and gaze estimation | |
| KR102450236B1 (ko) | 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 | |
| CN116430992A (zh) | 针对视线追踪的隐式校准方法和装置 | |
| Yang et al. | vGaze: Implicit saliency-aware calibration for continuous gaze tracking on mobile devices | |
| CN114610150A (zh) | 图像处理方法及装置 | |
| US10915169B2 (en) | Correcting method and device for eye-tracking | |
| CN110674715B (zh) | 基于rgb图像的人眼跟踪方法及装置 | |
| CN112435347A (zh) | 一种增强现实的电子书阅读***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |