CN109491508A - 一种确定注视对象的方法和装置 - Google Patents

一种确定注视对象的方法和装置 Download PDF

Info

Publication number
CN109491508A
CN109491508A CN201811427047.0A CN201811427047A CN109491508A CN 109491508 A CN109491508 A CN 109491508A CN 201811427047 A CN201811427047 A CN 201811427047A CN 109491508 A CN109491508 A CN 109491508A
Authority
CN
China
Prior art keywords
attentively
user
selecting object
selecting
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811427047.0A
Other languages
English (en)
Other versions
CN109491508B (zh
Inventor
秦林婵
黄通兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qixin Yiwei Information Technology Co Ltd
Original Assignee
Beijing Qixin Yiwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qixin Yiwei Information Technology Co Ltd filed Critical Beijing Qixin Yiwei Information Technology Co Ltd
Priority to CN201811427047.0A priority Critical patent/CN109491508B/zh
Publication of CN109491508A publication Critical patent/CN109491508A/zh
Application granted granted Critical
Publication of CN109491508B publication Critical patent/CN109491508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种确定注视对象的方法及装置,将与用户的视线相交的虚拟对象和该虚拟对象周围的虚拟对象作为待选择对象,不再单纯将与用户的视线相交的虚拟对象作为注视对象,同时还考虑了与用户的视线相交的虚拟对象周围的其他虚拟对象,提高了确定用户的注视对象的准确性。具体的,可以根据用户的注视信息,确定用户的视野图像,该视野图像中包括多个待选择对象,在该视野图像中确定初始注视点的扩展区域,根据扩展区域与待选择对象的位置关系,从多个待选择对象中选出用户的注视对象。

Description

一种确定注视对象的方法和装置
技术领域
本发明涉及计算机技术领域,特别涉及一种确定注视对象的方法和装置。
背景技术
随着人们对交互体验的要求不断增强,虚拟现实(Virtual Reality,VR)应用已获得快速发展,例如VR游戏、VR医疗设备等。在虚拟现实***及应用中,可以为用户显示虚拟对象,其中虚拟对象可以通过三维建模工具建模,并将三维模型导入物理引擎中得到。
用户可以通过转动眼睛看到不同的虚拟对象,在用户的视线落在其中一个虚拟对象时,该虚拟对象可以设置为与用户进行互动,例如虚拟人物可以对用户说话,或者虚拟对象可以设置为用户显示详细信息等。同时,根据用户的视线对应的注视对象,还可以确定虚拟博物馆中的艺术品、虚拟超市货架中的产品等中哪类产品受用户的关注较多。以上虚拟对象与用户的互动均需要获取用户的视线方向,进而确定用户注视的虚拟对象,即注视对象,从而实现注视对象和用户的交互。
现有技术中,可以通过用户眼睛的图像获取用户的注视信息,再根据三维模型中各个虚拟对象的数据,确定用户的视线落在哪个虚拟对象上。然而,根据用户眼睛得到的注视信息可能有一定的偏差,容易导致用户的注视点落在错误的虚拟对象上,因此对用户的注视对象判断不准确。
发明内容
为解决上述技术问题,本申请实施例提供一种确定注视对象的方法及装置,提高了确定用户的注视对象的准确性。
本申请实施例提供了一种确定注视对象的方法,所述方法包括:
根据用户的注视信息,确定所述用户的视野图像,所述视野图像包括多个待选择对象;
在所述视野图像中确定所述用户初始注视点的扩展区域;
根据所述扩展区域与所述待选择对象的位置关系,从多个所述待选择对象中选出所述用户的注视对象。
可选的,所述根据所述扩展区域与所述待选择对象的位置关系,从多个所述待选择对象中选出所述用户的注视对象,包括:
确定每一待选择对象所在的预设区域和所述扩展区域的重合区域的重合面积;
将所述重合面积大于或等于预设面积的待选择对象确定为所述用户的注视对象。
可选的,所述初始注视点的扩展区域为所述初始注视点周围的多个扩展点,所述扩展点和所述初始注视点具有预设分值,所述扩展点的预设分值与所述扩展点和所述初始注视点的距离负相关;
所述根据所述扩展区域与所述待选择对象的位置关系,从多个所述待选择对象中选出所述用户的注视对象,包括:
根据每一待选择对象所在的预设区域内的扩展点和/或初始注视点的预设分值,得到每一待选择对象的目标分值;
将所述目标分值大于或等于预设分值的待选择对象确定为所述用户的注视对象。
可选的,所述初始注视点的扩展区域为所述初始注视点周围的多个扩展线条;
所述根据所述扩展区域与所述待选择对象的位置关系,从多个所述待选择对象中选出所述用户的注视对象,包括:
根据所述扩展线条中与每一待选择对象所在的预设区域重合的部分线条的距离,得到每一待选择对象对应的目标距离;
将所述目标距离大于或等于预设距离的待选择对象确定为所述用户的注视对象。
可选的,所述在所述视野图像中确定所述用户初始注视点的扩展区域,包括:
将所述用户的视线与所述待选择对象的交点作为初始注视点;
根据所述初始注视点在所述视野图像中的位置,在所述视野图像中确定所述初始注视点的扩展区域。
可选的,所述注视信息包括以下至少一项:眼镜角度信息、角膜光斑位置、瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置。
可选的,所述方法还包括:
对所述注视对象进行操作和/或记录。
本申请实施例还提供一种图像处理装置,所述装置包括:
视野图像确定单元,用于根据用户的注视信息,确定所述用户的视野图像,所述视野图像包括多个待选择对象;
扩展区域确定单元,用于在所述视野图像中确定所述用户初始注视点的扩展区域;
注视对象确定单元,用于根据所述扩展区域与所述待选择对象的位置关系,从多个所述待选择对象中选出所述用户的注视对象。
可选的,所述注视对象确定单元,包括:
面积确定单元,用于确定每一待选择对象所在的预设区域和所述扩展区域的重合区域的重合面积;
第一注视对象确定子单元,用于将所述重合面积大于或等于预设面积的待选择对象确定为所述用户的注视对象。
可选的,所述初始注视点的扩展区域为所述初始注视点周围的多个扩展点,所述扩展点和所述初始注视点具有预设分值,所述扩展点的预设分值与所述扩展点和所述初始注视点的距离负相关;
所述注视对象确定单元,包括:
分值计算单元,用于根据每一待选择对象所在的预设区域内的扩展点和/或初始注视点,得到每一待选择对象的目标分值;
第二注视对象确定子单元,用于将所述目标分值大于或等于预设分值的待选择对象确定为所述用户的注视对象。
可选的,所述初始注视点的扩展区域为所述初始注视点周围的多个扩展线条;
所述注视对象确定单元,包括:
长度确定单元,用于根据所述扩展线条中与每一待选择对象所在的预设区域重合的部分线条的距离,得到每一待选择对象对应的目标距离;
第三注视对象确定子单元,用于将所述目标距离大于或等于预设距离的待选择对象确定为所述用户的注视对象。
可选的,所述扩展区域确定单元,包括:
初始注视点确定单元,用于将所述用户的视线与所述待选择对象的交点作为初始注视点;
扩展区域确定子单元,用于根据所述初始注视点在所述视野图像中的位置,在所述视野图像中确定所述初始注视点的扩展区域。
可选的,所述注视信息包括以下至少一项:眼镜角度信息、角膜光斑位置、瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置。
可选的,所述装置还包括:
操作单元,用于对所述注视对象进行操作和/或记录。
本申请实施例提供了一种确定注视对象的方法及装置,将与用户的视线相交的虚拟对象和该虚拟对象周围的虚拟对象作为待选择对象,不再单纯将与用户的视线相交的虚拟对象作为注视对象,同时还考虑了与用户的视线相交的虚拟对象周围的其他虚拟对象,提高了确定用户的注视对象的准确性。具体的,可以根据用户的注视信息,确定用户的视野图像,该视野图像中包括多个待选择对象,在该视野图像中确定初始注视点的扩展区域,根据扩展区域与待选择对象的位置关系,从多个待选择对象中选出用户的注视对象。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种用户的视野图像示意图;
图2为本申请实施例提供的一种确定注视对象的方法的流程图;
图3为本申请实施例提供的一种扩展区域示意图;
图4为本申请实施例提供的另一种扩展区域示意图;
图5为本申请实施例提供的又一种扩展区域示意图;
图6为本申请实施例提供的一种确定注视对象的装置的结构框图。
具体实施方式
发明人经过研究发现,现有技术中,通过用户的眼睛图像获取用户的注视信息,再根据三维模型中各个虚拟对象的数据,确定用户的数据落在哪个虚拟对象上。然而,根据用户眼睛得到的注视信息可能有一定的偏差,容易导致用户的注视点落在错误的虚拟对象上,因此对用户的注视对象确定不准确。
举例来说,参考图1所示为本申请实施例提供的一种用户的视野图像示意图,其中,根据用户的注视信息,确定在用户的视野图像中的注视点在右侧的两个花瓶之间的位置(白色圆点处),此时,传统的技术中,会认为用户的注视点为花瓶后的墙壁,但是花瓶后的墙壁的光线不足,用户去注视花瓶之间的墙壁的可能性较小,也就是说,用户的注视点落在了错误的虚拟对象上,导致用户的注视对象确定不准确。
基于此,本申请实施例提供了一种确定注视对象的方法及装置,将与用户的视线相交的虚拟对象和该虚拟对象周围的虚拟对象作为待选择对象,不再单纯将与用户的视线相交的虚拟对象作为注视对象,同时还考虑了与用户的视线相交的虚拟对象周围的其他虚拟对象,提高了确定用户的注视对象的准确性。具体的,可以根据用户的注视信息,确定用户的视野图像,该视野图像中包括多个待选择对象,在该视野图像中确定初始注视点的扩展区域,根据扩展区域与待选择对象的位置关系,从多个待选择对象中选出用户的注视对象。
下面结合附图,通过实施例来详细说明本申请实施例提供的一种确定注视对象的方法及装置的具体实现方式。
参考图2所示,为本申请实施例提供的一种确定注视对象的方法的流程图,该方法可以包括以下步骤。
S101,根据用户的注视信息,确定用户的视野图像。
用户的注视信息,可以包括注视方向和/或注视深度,注视方向表征用户注视的物体相对于用户眼睛的角度,注视深度表征用户注视的物体与用户眼睛的距离。注视信息可以通过用户的眼睛图像获取得到,例如可以通过眼球追踪模块获取用户的眼镜角度、瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置以及眼角位置等相关信息,从而根据这些相关信息利用实现追踪算法确定用户的注视信息,也可以对用户的眼睛进行照射,以在角膜上形成光斑,并根据光斑的位置确定用户的注视信息。
用户的视野图像是指在用户的视线方向上能够看到的物体形成的图像,即用户可以看到的物体构成的图像。可以理解的是,对于不同的用户视线,可以由不同的视野图像。用户的视野图像中可以包括多个待选择对象,参考图1所示的视图图像,其中有5个花瓶、2束花、1张桌子和1面墙,这些物体都可以作为待选择对象。
视野图像可以在用户的视线方向上拍摄得到的二维的图像,也可以是具有深度信息的三维图像。
在用户的注视信息包括注视深度、视野图像为包括深度信息的三维图像时,可以根据用户的注视深度,从视野图像中的多个对象中确定出待选择对象,其中,待选择对象与用户的眼睛的距离与用户的注视深度大致相同。
S102,在视野图像中确定用户初始注视点的扩展区域。
初始注视点是根据用户的注视信息确定的,由于用户的视野图像是在用户的视线方向上能够看到的物体形成的图像,因此,可以将用户的视线与视野图像中的待选择对象的交点作为用户的初始注视点。
初始注视点可以是二维视野图像中的点,其在视野图像中的位置通过二维坐标值体现;初始注视点也可以是三维视野图像中的点,因此,其在视野图像中的位置可以通过三维坐标值体现。
现有技术中,若用户的初始注视点落在其中一个待选择对象上,则将该待选择对象作为注视对象,而用户的视线方向一旦有偏差,注视点很容易落在错误的对象上,导致注视对象确定不准确。
在本申请实施例中,在确定用户的初始注视点后,还可以确定初始注视点的扩展区域。扩展区域可以根据初始注视点在视野图像的图像坐标中的坐标值确定。
具体的,扩展区域可以是覆盖初始注视点的圆形、规则多边形或不规则多边形等构成的区域,为了提高准确性,扩展区域的中心点可以是初始注视点。其中,规则多边形或不规则多边形的边长和方向是预先确定的。
当然,扩展区域也可以是包围初始注视点的多个扩展点构成的点阵区域。具体的,点阵区域可以是多边形,也可以是圆形,还可以是其他形状;扩展点可以是均匀分布的,也可以是以初始注视点为中心向外辐射的;点阵区域中的扩展点与初始注视点的最长距离可以是预先确定的。
其中,初始注视点和各个扩展点可以具有预设分值,扩展点的预设分值可以预先根据扩展点与初始注视点的位置关系确定,具体的,扩展点的预设分值与扩展点和初始注视点的距离负相关。举例来说,初始注视点的预设分值可以为最大值,且与初始注视点越远的扩展点,其预设分值可以越小。
扩展区域还可以是包围初始注视点的多个扩展线条构成的区域。扩展线条可以是直线型线条,也可以是波浪线、锯齿线等其他线条;多个扩展线条之间可以是平行的,也可以是不平行的;扩展线条的长度、间距以及数量均可以是预先确定的。
S103,根据扩展区域与待选择对象的位置关系,从多个待选择对象中选出用户的注视对象。
扩展区域与待选择对象的位置关系,可以是扩展区域与待选择对象在视野图像中的位置关系,举例来说,扩展区域和待选择对象所在的区域有一定的重合区域,或者扩展区域和待选择对象所在的区域没有重合。
作为一种可能的实现方式,扩展区域可以是覆盖初始注视点的圆形、规则多边形或不规则多边形等构成的区域时,可以根据扩展区域与待选择对象的位置关系,确定待选择对象所在的预设区域和扩展区域的重合区域的重合面积,将重合面积大于或等于预设面积的待选择对象确定为用户的注视对象。其中,待选择对象的预设区域可以是待选择对象在视野图像中的区域,也可以是根据待选择对象在视野图像中的位置确定的预设大小和形状的区域。在重合面积大于或等于预设面积的待选择对象为多个或0个时,可以将重合面积最高的待选择对象确定为用户的注视对象。
参考图3所示,为本申请实施例提供的一种扩展区域示意图,其中,扩展区域为以初始注视点为圆心的圆形区域,该圆形区域的半径是预先确定的。该区域与两个花瓶、一面墙和一张桌子均有重合区域,重合面积最大的待选择对象为右侧第二个花瓶,因此,可以将该花瓶作为用户的注视对象。
作为另一种可能的实现方式,扩展区域为初始注视点周围的多个扩展点时,确定落在每一待选择对象所在的预设区域内的扩展点和/或初始注视点,根据扩展点和初始注视点的预设分值,可以得到每一待选择对象的目标分值,将目标分值大于或等于预设分值的待选择对象确定为用户的注视对象。在目标分值大于或等于预设分值的待选择对象为多个或0个时,可以将目标分值最高的待选择对象确定为用户的注视对象。
参考图4所示,为本申请实施例提供的另一种扩展区域示意图,其中,扩展区域为包围初始注视点的多个扩展点,根据扩展点与初始注视点的位置关系,可以确定扩展点的分值。图中的扩展点可以分为两类,一类是灰色的圆点,其与初始注视点的距离为第一距离,另一类是黑色的圆点,其与初始注视点的距离为第二距离。从图中可以看出,第一距离小于第二距离,因此,预先为白色的初始注视点确定的分值可以为22,为灰色的扩展点确定的分值可以为12,为黑色的扩展点确定的分值可以为6。
落在桌子上的只有一个黑色的扩展点,其分值为6;落在墙壁上的扩展点有一个灰色的扩展点和一个黑色的扩展点,以及初始注视点,则墙壁的分值为40;落在右侧第一个花瓶上的扩展点为3个灰色和3个黑色,则右侧第一个花瓶的分值为54;落在右侧第二个花瓶上的扩展点为4个灰色和3个黑色,则右侧第二个花瓶的分值为66。因此,右侧第二个花瓶的分值最高,可以将右侧第二个花瓶作为用户的注视对象。
作为又一种可能的实现方式,扩展区域为初始注视点周围的多个扩展线条时,可以根据扩展线条与每一待选择对象所在的预设区域重合的部分线条的距离,得到每一待选择对象对应的目标距离,将目标距离大于或等于预设距离的待选择对象确定为用户的注视对象。其中,扩展线条中与每一待选择对象重合的部分线条的距离,可以是该部分线条的两端点的距离,也可以是该部分线条的实际长度。在扩展线条为直线型线条时,扩展线条中与待选择对象重合的部分线条的距离,即为该部分线条的实际长度。在目标距离大于或等于预设距离的待选择对象为多个或0个时,可以将目标距离最大的待选择对象确定为用户的注视对象。
参考图5所示,为本申请实施例提供的又一种扩展区域示意图,其中,在初始注视点周围有多个扩展线条,扩展线条与多个待选择对象有重合线条,根据每一待选择对象对应的重合线条的长度,可以在待选择对象中确定用户的注视对象。从图中可以看出,右侧第二个花瓶对应的重合线条最长,因此可以将右侧第二个花瓶作为用户的注视点。
在确定用户的注视对象后,还可以对注视对象进行操作,例如使注视对象对用户说话,或显示用户对象的详细信息等。在确定用户的注视对象后,还可以对注视对象进行记录,从而得到用户感兴趣的注视对象的信息,实现对用户的兴趣的分析。
本申请实施例提供了一种确定注视对象的方法,根据用户的注视信息,确定用户的视野图像,该视野图像中包括多个待选择对象,在该视野图像中确定初始注视点的扩展区域,根据扩展区域与待选择对象的位置关系,从多个待选择对象中选出用户的注视对象。本申请实施例中,将与用户的视线相交的虚拟对象和该虚拟对象周围的虚拟对象作为待选择对象,不再单纯将与用户的视线相交的虚拟对象作为注视对象,同时还考虑了与用户的视线相交的虚拟对象周围的其他虚拟对象,提高了确定用户的注视对象的准确性。
基于以上确定注视对象的方法,本申请实施例还提供了一种确定注视对象的装置,参考图6所示,为本申请实施例提供的一种确定注视对象的装置的结构框图,该装置包括:
视野图像确定单元110,用于根据用户的注视信息,确定所述用户的视野图像,所述视野图像包括多个待选择对象;
扩展区域确定单元120,用于在所述视野图像中确定所述用户初始注视点的扩展区域;
注视对象确定单元130,用于根据所述扩展区域与所述待选择对象的位置关系,从多个所述待选择对象中选出所述用户的注视对象。
可选的,所述注视对象确定单元,包括:
面积确定单元,用于确定每一待选择对象所在的预设区域和所述扩展区域的重合区域的重合面积;
第一注视对象确定子单元,用于将所述重合面积大于或等于预设面积的待选择对象确定为所述用户的注视对象。
可选的,所述初始注视点的扩展区域为所述初始注视点周围的多个扩展点,所述扩展点和所述初始注视点具有预设分值,所述扩展点的预设分值与所述扩展点和所述初始注视点的距离负相关;
所述注视对象确定单元,包括:
分值计算单元,用于根据每一待选择对象所在的预设区域内的扩展点和/或初始注视点,得到每一待选择对象的目标分值;
第二注视对象确定子单元,用于将所述目标分值大于或等于预设分值的待选择对象确定为所述用户的注视对象。
可选的,所述初始注视点的扩展区域为所述初始注视点周围的多个扩展线条;
所述注视对象确定单元,包括:
长度确定单元,用于根据所述扩展线条中与每一待选择对象所在的预设区域重合的部分线条的距离,得到每一待选择对象对应的目标距离;
第三注视对象确定子单元,用于将所述目标距离大于或等于预设距离的待选择对象确定为所述用户的注视对象。
可选的,所述扩展区域确定单元,包括:
初始注视点确定单元,用于将所述用户的视线与所述待选择对象的交点作为初始注视点;
扩展区域确定子单元,用于根据所述初始注视点在所述视野图像中的位置,在所述视野图像中确定所述初始注视点的扩展区域。
可选的,所述注视信息包括以下至少一项:眼镜角度信息、角膜光斑位置、瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置。
可选的,所述装置还包括:
操作单元,用于对所述注视对象进行操作和/或记录。
本申请实施例提供了一种确定注视对象的装置,将与用户的视线相交的虚拟对象和该虚拟对象周围的虚拟对象作为待选择对象,不再单纯将与用户的视线相交的虚拟对象作为注视对象,同时还考虑了与用户的视线相交的虚拟对象周围的其他虚拟对象,提高了确定用户的注视对象的准确性。具体的,可以根据用户的注视信息,确定用户的视野图像,该视野图像中包括多个待选择对象,在该视野图像中确定初始注视点的扩展区域,根据扩展区域与待选择对象的位置关系,从多个待选择对象中选出用户的注视对象。
本申请实施例中提到的“第一……”、“第一……”等名称中的“第一”只是用来做名字标识,并不代表顺序上的第一。该规则同样适用于“第二”等。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如只读存储器(英文:read-only memory,ROM)/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于方法实施例和设备实施例而言,由于其基本相似于***实施例,所以描述得比较简单,相关之处参见***实施例的部分说明即可。以上所描述的设备及***实施例仅仅是示意性的,其中作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅是本申请的优选实施方式,并非用于限定本申请的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (14)

1.一种确定注视对象的方法,其特征在于,包括:
根据用户的注视信息,确定所述用户的视野图像,所述视野图像包括多个待选择对象;
在所述视野图像中确定所述用户初始注视点的扩展区域;
根据所述扩展区域与所述待选择对象的位置关系,从多个所述待选择对象中选出所述用户的注视对象。
2.根据权利要求1所述的方法,其特征在于,所述根据所述扩展区域与所述待选择对象的位置关系,从多个所述待选择对象中选出所述用户的注视对象,包括:
确定每一待选择对象所在的预设区域和所述扩展区域的重合区域的重合面积;
将所述重合面积大于或等于预设面积的待选择对象确定为所述用户的注视对象。
3.根据权利要求1所述的方法,其特征在于,所述初始注视点的扩展区域为所述初始注视点周围的多个扩展点,所述扩展点和所述初始注视点具有预设分值,所述扩展点的预设分值与所述扩展点和所述初始注视点的距离负相关;
所述根据所述扩展区域与所述待选择对象的位置关系,从多个所述待选择对象中选出所述用户的注视对象,包括:
根据每一待选择对象所在的预设区域内的扩展点和/或初始注视点的预设分值,得到每一待选择对象的目标分值;
将所述目标分值大于或等于预设分值的待选择对象确定为所述用户的注视对象。
4.根据权利要求1所述的方法,其特征在于,所述初始注视点的扩展区域为所述初始注视点周围的多个扩展线条;
所述根据所述扩展区域与所述待选择对象的位置关系,从每一所述待选择对象中选出所述用户的注视对象,包括:
根据所述扩展线条中与每一待选择对象所在的预设区域重合的部分线条的距离,得到每一待选择对象对应的目标距离;
将所述目标距离大于或等于预设距离的待选择对象确定为所述用户的注视对象。
5.根据权利要求1所述的方法,其特征在于,所述在所述视野图像中确定所述用户初始注视点的扩展区域,包括:
将所述用户的视线与所述待选择对象的交点作为初始注视点;
根据所述初始注视点在所述视野图像中的位置,在所述视野图像中确定所述初始注视点的扩展区域。
6.根据权利要求1-5任意一项所述的方法,其特征在于,所述注视信息包括以下至少一项:眼镜角度信息、角膜光斑位置、瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置。
7.根据权利要求1-5任意一项所述的方法,其特征在于,所述方法还包括:
对所述注视对象进行操作和/或记录。
8.一种图像处理装置,其特征在于,包括:
视野图像确定单元,用于根据用户的注视信息,确定所述用户的视野图像,所述视野图像包括多个待选择对象;
扩展区域确定单元,用于在所述视野图像中确定所述用户初始注视点的扩展区域;
注视对象确定单元,用于根据所述扩展区域与所述待选择对象的位置关系,从多个所述待选择对象中选出所述用户的注视对象。
9.根据权利要求8所述的装置,其特征在于,所述注视对象确定单元,包括:
面积确定单元,用于确定每一待选择对象所在的预设区域和所述扩展区域的重合区域的重合面积;
第一注视对象确定子单元,用于将所述重合面积大于或等于预设面积的待选择对象确定为所述用户的注视对象。
10.根据权利要求8所述的装置,其特征在于,所述初始注视点的扩展区域为所述初始注视点周围的多个扩展点,所述扩展点和所述初始注视点具有预设分值,所述扩展点的预设分值与所述扩展点和所述初始注视点的距离负相关;
所述注视对象确定单元,包括:
分值计算单元,用于根据每一待选择对象所在的预设区域内的扩展点和/或初始注视点的预设分值,得到每一待选择对象的目标分值;
第二注视对象确定子单元,用于将所述目标分值大于或等于预设分值的待选择对象确定为所述用户的注视对象。
11.根据权利要求8所述的装置,其特征在于,所述初始注视点的扩展区域为所述初始注视点周围的多个扩展线条;
所述注视对象确定单元,包括:
长度确定单元,用于根据所述扩展线条中与每一待选择对象所在的预设区域重合的部分线条的距离,得到每一待选择对象对应的目标距离;
第三注视对象确定子单元,用于将所述目标距离大于或等于预设距离的待选择对象确定为所述用户的注视对象。
12.根据权利要求8所述的装置,其特征在于,所述扩展区域确定单元,包括:
初始注视点确定单元,用于将所述用户的视线与所述待选择对象的交点作为初始注视点;
扩展区域确定子单元,用于根据所述初始注视点在所述视野图像中的位置,在所述视野图像中确定所述初始注视点的扩展区域。
13.根据权利要求8-12任意一项所述的装置,其特征在于,所述注视信息包括以下至少一项:眼镜角度信息、角膜光斑位置、瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置。
14.根据权利要求8-12任意一项所述的装置,其特征在于,所述装置还包括:
操作单元,用于对所述注视对象进行操作和/或记录。
CN201811427047.0A 2018-11-27 2018-11-27 一种确定注视对象的方法和装置 Active CN109491508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811427047.0A CN109491508B (zh) 2018-11-27 2018-11-27 一种确定注视对象的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811427047.0A CN109491508B (zh) 2018-11-27 2018-11-27 一种确定注视对象的方法和装置

Publications (2)

Publication Number Publication Date
CN109491508A true CN109491508A (zh) 2019-03-19
CN109491508B CN109491508B (zh) 2022-08-26

Family

ID=65697806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811427047.0A Active CN109491508B (zh) 2018-11-27 2018-11-27 一种确定注视对象的方法和装置

Country Status (1)

Country Link
CN (1) CN109491508B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110161721A (zh) * 2019-04-24 2019-08-23 苏州佳世达光电有限公司 镜片焦距调整方法及液态变焦眼镜设备
CN111813214A (zh) * 2019-04-11 2020-10-23 广东虚拟现实科技有限公司 虚拟内容的处理方法、装置、终端设备及存储介质
CN112114659A (zh) * 2019-06-19 2020-12-22 托比股份公司 用于确定用户的精细的注视点的方法和***
WO2021113540A1 (en) 2019-12-06 2021-06-10 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
CN113536909A (zh) * 2021-06-08 2021-10-22 吉林大学 一种基于眼动数据的预瞄距离计算方法、***和设备
US11594075B2 (en) 2019-03-29 2023-02-28 Tobii Ab Holographic eye imaging device

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
JP2012063547A (ja) * 2010-09-15 2012-03-29 Canon Inc 画像処理装置、画像処理方法
US8379981B1 (en) * 2011-08-26 2013-02-19 Toyota Motor Engineering & Manufacturing North America, Inc. Segmenting spatiotemporal data based on user gaze data
US20130050432A1 (en) * 2011-08-30 2013-02-28 Kathryn Stone Perez Enhancing an object of interest in a see-through, mixed reality display device
CN103475893A (zh) * 2013-09-13 2013-12-25 北京智谷睿拓技术服务有限公司 三维显示中对象的拾取装置及三维显示中对象的拾取方法
CN104317392A (zh) * 2014-09-25 2015-01-28 联想(北京)有限公司 一种信息控制方法及电子设备
CN104685541A (zh) * 2012-09-17 2015-06-03 感官运动仪器创新传感器有限公司 用于确定三维对象上注视点的方法和装置
CN106462231A (zh) * 2014-03-17 2017-02-22 Itu 商业发展公司 计算机实现的视线交互方法和装置
CN107229898A (zh) * 2016-03-24 2017-10-03 国立民用航空学院 3d显示中的布尔对象管理
CN107396086A (zh) * 2017-07-28 2017-11-24 歌尔科技有限公司 基于vr头戴设备播放视频的方法及vr头戴设备
CN108874148A (zh) * 2018-07-16 2018-11-23 北京七鑫易维信息技术有限公司 一种图像处理方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
JP2012063547A (ja) * 2010-09-15 2012-03-29 Canon Inc 画像処理装置、画像処理方法
US8379981B1 (en) * 2011-08-26 2013-02-19 Toyota Motor Engineering & Manufacturing North America, Inc. Segmenting spatiotemporal data based on user gaze data
US20130050432A1 (en) * 2011-08-30 2013-02-28 Kathryn Stone Perez Enhancing an object of interest in a see-through, mixed reality display device
CN104685541A (zh) * 2012-09-17 2015-06-03 感官运动仪器创新传感器有限公司 用于确定三维对象上注视点的方法和装置
CN103475893A (zh) * 2013-09-13 2013-12-25 北京智谷睿拓技术服务有限公司 三维显示中对象的拾取装置及三维显示中对象的拾取方法
CN106462231A (zh) * 2014-03-17 2017-02-22 Itu 商业发展公司 计算机实现的视线交互方法和装置
CN104317392A (zh) * 2014-09-25 2015-01-28 联想(北京)有限公司 一种信息控制方法及电子设备
CN107229898A (zh) * 2016-03-24 2017-10-03 国立民用航空学院 3d显示中的布尔对象管理
CN107396086A (zh) * 2017-07-28 2017-11-24 歌尔科技有限公司 基于vr头戴设备播放视频的方法及vr头戴设备
CN108874148A (zh) * 2018-07-16 2018-11-23 北京七鑫易维信息技术有限公司 一种图像处理方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN FAUBEL; STEPHAN K. U. ZIBNER: "A neuro-dynamic object recognition architecture enhanced by foveal vision and a gaze control mechanism", 《2010 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》 *
伍麟等: "注意与记忆中的"积极效应"――"老化悖论"与社会情绪选择理论的视角", 《心理科学进展》 *
欣益行: "基于眼动的文本输入***设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
胡文婷等: "基于视线跟踪的智能界面实现机制研究", 《计算机应用与软件》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11594075B2 (en) 2019-03-29 2023-02-28 Tobii Ab Holographic eye imaging device
CN111813214A (zh) * 2019-04-11 2020-10-23 广东虚拟现实科技有限公司 虚拟内容的处理方法、装置、终端设备及存储介质
CN111813214B (zh) * 2019-04-11 2023-05-16 广东虚拟现实科技有限公司 虚拟内容的处理方法、装置、终端设备及存储介质
CN110161721A (zh) * 2019-04-24 2019-08-23 苏州佳世达光电有限公司 镜片焦距调整方法及液态变焦眼镜设备
CN112114659A (zh) * 2019-06-19 2020-12-22 托比股份公司 用于确定用户的精细的注视点的方法和***
WO2021113540A1 (en) 2019-12-06 2021-06-10 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
EP4070153A4 (en) * 2019-12-06 2023-01-18 Magic Leap, Inc. VIRTUAL, AUGMENTED AND MIXED REALITY SYSTEMS AND PROCEDURES
US11662808B2 (en) 2019-12-06 2023-05-30 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
CN113536909A (zh) * 2021-06-08 2021-10-22 吉林大学 一种基于眼动数据的预瞄距离计算方法、***和设备

Also Published As

Publication number Publication date
CN109491508B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN109491508A (zh) 一种确定注视对象的方法和装置
US11137874B2 (en) Ergonomic mixed reality information delivery system for dynamic workflows
AU2018214005B2 (en) Systems and methods for generating a 3-D model of a virtual try-on product
US9824485B2 (en) Presenting a view within a three dimensional scene
Kopper et al. Rapid and accurate 3D selection by progressive refinement
Hochberg et al. Film cutting and visual momentum
CN106959759A (zh) 一种数据处理方法及装置
CN109766011A (zh) 一种图像渲染方法和装置
JP6014038B2 (ja) 眼鏡装用シミュレーション方法、プログラム、装置、眼鏡レンズ発注システム及び眼鏡レンズの製造方法
TWI669635B (zh) 用於顯示彈幕的方法、裝置以及非揮發性電腦可讀儲存介質
WO2010044383A1 (ja) 眼鏡の視野画像表示装置及び眼鏡の視野画像表示方法
CN107168534B (zh) 一种基于cave***的渲染优化方法及投影方法
CN110378914A (zh) 基于注视点信息的渲染方法及装置、***、显示设备
CN109598796A (zh) 将真实场景与虚拟物体进行3d融合显示的方法和装置
CN108139600A (zh) 用于确定渐变镜片的光学***的方法
JP5632245B2 (ja) 眼鏡の視野画像表示装置
Gruenefeld et al. Locating nearby physical objects in augmented reality
CN109087260A (zh) 一种图像处理方法及装置
Hochberg Pictorial functions and perceptual structures
Vienne et al. The role of vertical disparity in distance and depth perception as revealed by different stereo-camera configurations
CN108159701A (zh) 游戏角色显示位置的调整方法、装置、处理器及终端
CN112619138A (zh) 游戏中技能特效的显示方法和装置
CN111164542A (zh) 修改计算设备上的图像的方法
Tory et al. Eyegaze analysis of displays with combined 2D and 3D views
CN105487653A (zh) 实现虚拟现实场景的方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant