CN108196676A - 跟踪识别方法及*** - Google Patents

跟踪识别方法及*** Download PDF

Info

Publication number
CN108196676A
CN108196676A CN201810002211.7A CN201810002211A CN108196676A CN 108196676 A CN108196676 A CN 108196676A CN 201810002211 A CN201810002211 A CN 201810002211A CN 108196676 A CN108196676 A CN 108196676A
Authority
CN
China
Prior art keywords
user
plane
eyes
delineation
photographic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810002211.7A
Other languages
English (en)
Other versions
CN108196676B (zh
Inventor
杨大业
宋建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201810002211.7A priority Critical patent/CN108196676B/zh
Publication of CN108196676A publication Critical patent/CN108196676A/zh
Application granted granted Critical
Publication of CN108196676B publication Critical patent/CN108196676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种跟踪识别方法，包括：当用户注视电子设备的屏幕时，确定第一图像平面和第二图像平面，其中，第一图像平面是由第一摄像装置对用户眼睛进行检测而确定的，第二图像平面是由第二摄像装置对用户眼睛进行检测而确定的，且第一图像平面与第二图像平面相交，第一摄像装置和第二摄像装置都设置在电子设备上，用户眼睛包括用户的右眼或左眼；以及基于第一图像平面与第二图像平面的交线，确定用户眼睛在屏幕上的注视点。本公开还提供了一种跟踪识别方法。

Description

跟踪识别方法及***
技术领域
本公开涉及一种跟踪识别方法及***。
背景技术
当用户手持尤其是单手持手机或者平板电脑等手持设备时，人眼跟踪功能可以为用户提供更方便的交互体验。目前，触摸屏和摄像头已经成为智能手机、平板电脑等手持设备的标配，因而可以利用触摸屏和摄像头进行人眼跟踪。
但是，在实现本公开构思的过程中，发明人发现相关技术中至少存在如下缺陷：在相关技术中一般是通过单个摄像头来实现人眼跟踪的，难以准确地识别出人眼在触摸屏上的注视点。
发明内容
本公开的一个方面提供了一种跟踪识别方法，包括：当用户注视电子设备的屏幕时，确定第一图像平面和第二图像平面，其中，上述第一图像平面是由第一摄像装置对用户眼睛进行检测而确定的，上述第二图像平面是由第二摄像装置对上述用户眼睛进行检测而确定的，且上述第一图像平面与上述第二图像平面相交，上述第一摄像装置和上述第二摄像装置都设置在上述电子设备上，上述用户眼睛包括上述用户的右眼或左眼；以及基于上述第一图像平面与上述第二图像平面的交线，确定上述用户眼睛在上述屏幕上的注视点。
根据本公开的实施例，当用户注视电子设备的屏幕时，确定第一图像平面包括：当上述用户注视上述电子设备的上述屏幕时，确定上述第一摄像装置对上述用户眼睛的普尔钦斑进行检测而得到的普尔钦斑成像点，以及对上述用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点；确定上述第一摄像装置的镜头节点；以及将上述普尔钦斑成像点、上述瞳孔中心成像点和上述镜头节点三点确定的平面作为上述第一图像平面。
根据本公开的实施例，确定上述第一摄像装置对上述用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点包括：确定上述用户眼睛的瞳孔中心映射在上述用户眼睛的角膜面上而得到的映射中心；确定上述第一摄像装置对上述映射中心进行检测而得到的映射中心成像点；以及将上述映射中心成像点作为上述瞳孔中心成像点。
根据本公开的实施例，基于上述第一图像平面与上述第二图像平面的交线，确定上述用户眼睛在上述屏幕上的注视点包括：将上述第一图像平面与上述第二图像平面的交线作为上述用户眼睛的光轴；确定上述光轴与上述屏幕的交点；以及将上述交点作为上述用户眼睛在上述屏幕上的注视点。
根据本公开的实施例，上述第一摄像装置与上述第二摄像装置之间间隔预设距离。
根据本公开的实施例，上述第一摄像装置的镜头节点上设置有第一光源；和/或上述第二摄像装置的镜头节点上设置第二光源。
本公开的另一个方面提供了一种跟踪识别***，包括：第一确定模块，用于当用户注视电子设备的屏幕时，确定第一图像平面和第二图像平面，其中，上述第一图像平面是由第一摄像装置对用户眼睛进行检测而确定的，上述第二图像平面是由第二摄像装置对上述用户眼睛进行检测而确定的，且上述第一图像平面与上述第二图像平面相交，上述第一摄像装置和上述第二摄像装置都设置在上述电子设备上，上述用户眼睛包括上述用户的右眼或左眼；以及第二确定模块，用于基于上述第一图像平面与上述第二图像平面的交线，确定上述用户眼睛在上述屏幕上的注视点。
根据本公开的实施例，上述第一确定模块包括：第一确定单元，用于当上述用户注视上述电子设备的上述屏幕时，确定上述第一摄像装置对上述用户眼睛的普尔钦斑进行检测而得到的普尔钦斑成像点，以及对上述用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点；第二确定单元，用于确定上述第一摄像装置的镜头节点；以及第三确定单元，用于将上述普尔钦斑成像点、上述瞳孔中心成像点和上述镜头节点三点确定的平面作为上述第一图像平面。
根据本公开的实施例，上述第一确定单元包括：第一确定子单元，用于确定上述用户眼睛的瞳孔中心映射在上述用户眼睛的角膜面上而得到的映射中心；第二确定子单元，用于确定上述第一摄像装置对上述映射中心进行检测而得到的映射中心成像点；以及第三确定子单元，用于将上述映射中心成像点作为上述瞳孔中心成像点。
根据本公开的实施例，上述第二确定模块包括：第四确定单元，用于将上述第一图像平面与上述第二图像平面的交线作为上述用户眼睛的光轴；第五确定单元，用于确定上述光轴与上述屏幕的交点；以及第六确定单元，用于将上述交点作为上述用户眼睛在上述屏幕上的注视点。
本公开的另一方面提供了一种非易失性存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现如上所述的跟踪识别方法。
本公开的另一方面提供了一种计算机程序，上述计算机程序包括计算机可执行指令，上述指令在被执行时用于实现如上所述的跟踪识别方法。
附图说明
为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
图1示意性示出了根据本公开实施例的跟踪识别方法及***的应用场景；
图2A示意性示出了根据本公开实施例的跟踪识别方法的流程图；
图2B示意性示出了根据本公开实施例的电子设备的示意图；
图3A示意性示出了根据本公开实施例的当用户注视电子设备的屏幕时确定第一图像平面的流程图；
图3B示意性示出了根据本公开实施例的用户眼睛的示意图；
图3C示意性示出了根据本公开实施例的确定第一图像平面的示意图；
图3D示意性示出了根据本公开实施例的确定第一摄像装置对用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点的流程图；
图3E示意性示出了根据本公开实施例的基于第一图像平面与第二图像平面的交线确定用户眼睛在屏幕上的注视点的流程图；
图4示意性示出了根据本公开实施例的跟踪识别***的框图；
图5A示意性示出了根据本公开实施例的第一确定模块的框图；
图5B示意性示出了根据本公开实施例的第一确定单元的框图；
图5C示意性示出了根据本公开实施例的第二确定模块的框图；以及
图6示意性示出了根据本公开实施例的可实现跟踪识别方法的计算机***的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行***使用或者结合指令执行***使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
本公开的实施例提供了一种跟踪识别方法，包括：当用户注视电子设备的屏幕时，确定第一图像平面和第二图像平面，其中，第一图像平面是由第一摄像装置对用户眼睛进行检测而确定的，第二图像平面是由第二摄像装置对用户眼睛进行检测而确定的，且第一图像平面与第二图像平面相交，第一摄像装置和第二摄像装置都设置在电子设备上，用户眼睛包括用户的右眼或左眼；以及基于第一图像平面与第二图像平面的交线，确定用户眼睛在屏幕上的注视点。
图1示意性示出了根据本公开实施例的跟踪识别方法及***的应用场景。需要注意的是，图1所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。
随着科学技术的发展，用户通过电子设备浏览文件、页面等已十分普遍。如图1所示，在本公开的实施例中，用户正手持电子设备例如手机101浏览文件，但是，在文件过长时需要通过手指滑动文件页面，现有技术的解决方案一般是通过单个摄像头实现人眼跟踪，根据确定出人眼在手机上的注视点滑动手机的页面，但是，现有技术只通过单个摄像头进行人眼跟踪难以准确地识别出人眼在触摸屏上的注视点。此时，可以利用本公开提供的跟踪识别方案，即当用户注视电子设备例如手机101的屏幕时，分别通过安装在电子设备例如手机101上的第一摄像装置和第二摄像装置检测用户眼睛102，以确定第一图像平面和第二图像平面，并基于基于第一图像平面与第二图像平面的交线，确定用户眼睛102在屏幕上的注视点，进而可以提高识别用户眼睛102在电子设备例如手机101屏幕上的注视点的准确度。
图2A示意性示出了根据本公开实施例的跟踪识别方法的流程图。
如图2A所示，该跟踪识别方法可以包括操作S201～S202，其中：
在操作S201，当用户注视电子设备的屏幕时，确定第一图像平面和第二图像平面，其中，第一图像平面是由第一摄像装置对用户眼睛进行检测而确定的，第二图像平面是由第二摄像装置对用户眼睛进行检测而确定的，且第一图像平面与第二图像平面相交，第一摄像装置和第二摄像装置都设置在电子设备上，用户眼睛包括用户的右眼或左眼。
在本公开的实施例中，电子设备可以包括但不限于手机、平板电脑、笔记本等。电子设备的屏幕可以包括但不限于触摸屏、非触摸屏等。第一摄像装置和第二摄像装置例如可以是设置在电子设备上的第一摄像头和第二摄像头，其中，第一摄像装置和第二摄像装置可以是两个相同的装置，也可以是两个不同的装置。
根据本公开的实施例，第一摄像装置和第二摄像装置均可以设置在电子设备上，在用户注视电子设备的屏幕时，该第一摄像装置可以检测用户眼睛例如检测用户眼睛的视线，以确定第一图像平面；相应的，该第二摄像装置也可以检测用户眼睛例如检测用户眼睛的视线，以确定第二图像平面，其中，该第一图像平面和第二图像平面为非平行的平面，二者可以相交于一条线，即交线。
在操作S202，基于第一图像平面与第二图像平面的交线，确定用户眼睛在屏幕上的注视点。
根据本公开的实施例，上述交线与电子设备的屏幕为非平行关系，即该交线可以与电子设备的屏幕相交于一交点，该交点例如可以是用户眼睛在屏幕上的注视点。
在本公开实施例的一种应用场景中，用户在户外单手持电子设备浏览网页内容时，由于电子设备屏幕有限，有时并不能在一屏中完全显示网页内容。在用户想要浏览下一屏的内容时，用户可能并不希望通过手指滑动电子设备屏幕或者点击电子设备按键以浏览后续内容，此时，可以利用本公开提供的跟踪识别方案，在用户注视电子设备的屏幕时，如图2B所示，可以利用设置在电子设备101中第一摄像装置1011和第二摄像装置1012，确定出第一图像平面和第二图像平面，并基于第一图像平面和第二图像平面的交线确定用户眼睛在屏幕上的注视点，以便电子设备可以根据用户的注视点滚动页面内容。
与公开的实施例不同，现有技术是通过单个摄像头来实现人眼跟踪的，具体地，现有技术的平板电脑自带的摄像头为红绿蓝(Red Green Blue，简称为RGB)摄像头，该摄像头不并能实现人眼跟踪功能，需要重新设置红外线(Infrared Radiation，简称为IR)摄像头或者高分辨率摄像头来检测及定位人眼，不仅会增加额外的成本，且利用单个摄像头实现人眼跟踪时难以准确地识别出人眼在触摸屏上的注视点。
通过本公开的实施例，基于人眼视线，利用设置在电子设备中的两个摄像装置确定第一图像平面和第二图像平面，并基于第一图像平面和第二图像平面的交线确定出用户眼睛的在屏幕上的注视点，可以部分或全部解决现有技术利用单个摄像头难以准确识别出人眼在电子设备屏幕上的注视点的问题。
下面参考图3A～图3E，结合具体实施例对图2A～2B所示的跟踪识别方法做进一步说明。
图3A示意性示出了根据本公开实施例的当用户注视电子设备的屏幕时确定第一图像平面的流程图。
如图3A所示，当用户注视电子设备的屏幕时确定第一图像平面可以包括操作S301～S303，其中：
在操作S301，当用户注视电子设备的屏幕时，确定第一摄像装置对用户眼睛的普尔钦斑进行检测而得到的普尔钦斑成像点，以及对用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点。
在操作S302，确定第一摄像装置的镜头节点。
在操作S303，将普尔钦斑成像点、瞳孔中心成像点和镜头节点三点确定的平面作为第一图像平面。
在本公开的实施例中，如图3B所示，普尔钦斑是眼球角膜上的一个亮光点，是由进入瞳孔的光线在角膜外表面上反射而产生的。
根据本公开的实施例，如图3C所示，第一摄像装置例如可以是图中的摄像头j，该摄像头j的镜头位置例如可以表示为镜头节点Cj(可以是图中的摄像头节点)；摄像头j检测用户眼睛的普尔钦斑Pj可以得到普尔钦斑成像点P′j(可以是图中的图像平面上的普尔钦斑)；摄像头j检测用户眼睛的瞳孔中心B可以得到瞳孔中心成像点B′j(可以是图中图像平面上的瞳孔中心)。
根据本公开的实施例，可以基于上述普尔钦斑成像点P′j、瞳孔中心成像点B′j以及镜头节点Cj三点确定平面，并将该平面作为第一图像平面，具体地，第一图像平面可以通过以下公式计算得出
{[Cj-B′j]×[P′j-Cj]}·[X-Cj]＝0
其中，X＝(x,y,z)T，X为所求的第一图像平面。
应该理解，第二图像平面的具体确定方法可以参照第一图像平面的确定方法，在此不再赘述。
通过本公开的实施例，基于普尔钦斑成像点、瞳孔中心成像点和镜头节点三点确定第一图像平面和第二图像平面，可以提高识别人眼在电子设备屏幕上的注视点的准确度。
图3D示意性示出了根据本公开实施例的确定第一摄像装置对用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点的流程图。
如图3D所示，确定第一摄像装置对用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点可以包括操作S401～S403，其中：
在操作S401，确定用户眼睛的瞳孔中心映射在用户眼睛的角膜面上而得到的映射中心。
在操作S402，确定第一摄像装置对映射中心进行检测而得到的映射中心成像点。
在操作S403，将映射中心成像点作为瞳孔中心成像点。
在本公开的实施例中，由于用户眼睛的瞳孔中心在眼睛内部，无法真实检测到该瞳孔中心，因此可以利用物理原理，确定出用户眼睛的瞳孔中心映射在角膜上的映射中心。根据本公开的实施例，第一摄像装置检测用户眼睛的瞳孔中心时可以检测该映射中心，进而可以得到映射中心成像点，即瞳孔中心成像点。
根据本公开的实施例，如图3C所示，用户眼睛的瞳孔中心B在用户眼睛的角膜面上的映射中心为图中的B″j，在第一摄像装置例如摄像头j对瞳孔中心B检测时，可以检测该映射中心B″j，并基于该映射中心B″j以及镜头节点例如摄像头节点Cj确定出瞳孔中心成像点B′j。
通过本公开的实施例，利用物理原理确定出瞳孔中心成像点，并基于普尔钦斑成像点、瞳孔中心成像点和镜头节点三点确定第一图像平面和第二图像平面，进而可以提高识别人眼在电子设备屏幕上的注视点的准确度。
图3E示意性示出了根据本公开实施例的基于第一图像平面与第二图像平面的交线确定用户眼睛在屏幕上的注视点的流程图。
如图3E所示，基于第一图像平面与第二图像平面的交线确定用户眼睛在屏幕上的注视点可以包括操作S501～S503，其中：
在操作S501，将第一图像平面与第二图像平面的交线作为用户眼睛的光轴。
在操作S502，确定光轴与屏幕的交点。
在操作S503，将交点作为用户眼睛在屏幕上的注视点。
在本公开的实施例中，第一图像平面与第二图像平面可以交于一交线，该交线可以作为用户眼睛的光轴。由于用户眼睛正注视着电子设备屏幕，即上述光轴与屏幕之间必有一交点，则可以将该交点作为注视点。
根据本公开的实施例，通过使用立体视线跟踪得到用户的注视点，并通过该注视点数据(凝视参数)可以对应实际电子设备屏幕上的某一位置(可以是注视点)，进而根据该位置和电子设备的屏幕例如触控屏结合可以实现用户交互。
通过本公开的实施例，通过立体视线跟踪得到用户的注视点，可以提供移动设备轻松的单手交互，还可以提供比现有技术更方便的交互模式。
作为一种可选的实施例，第一摄像装置与第二摄像装置之间间隔预设距离。
根据本公开的实施例，为了避免第一摄像装置与第二摄像装置重叠或者相互影响，可以在第一摄像装置与第二摄像装置之间设置一定间距。
作为一种可选的实施例，第一摄像装置的镜头节点上设置有第一光源；和/或第二摄像装置的镜头节点上设置第二光源。
根据本公开的实施例，为了可以清楚的识别用户的视线，可以在第一摄像装置的镜头节点上设置有第一光源；和/或在第二摄像装置的镜头节点上设置第二光源。具体地，该第一光源和第二光源例如可以是红外灯，也可以是与红外灯有相似作用的光源。
图4示意性示出了根据本公开实施例的跟踪识别***的框图。
如图4所示，该跟踪识别***400可以包括第一确定模块410和第二确定模块420，其中：
第一确定模块410用于当用户注视电子设备的屏幕时，确定第一图像平面和第二图像平面，其中，第一图像平面是由第一摄像装置对用户眼睛进行检测而确定的，第二图像平面是由第二摄像装置对用户眼睛进行检测而确定的，且第一图像平面与第二图像平面相交，第一摄像装置和第二摄像装置都设置在电子设备上，用户眼睛包括用户的右眼或左眼。
第二确定模块420用于基于第一图像平面与第二图像平面的交线，确定用户眼睛在屏幕上的注视点。
通过本公开的实施例，基于人眼视线，利用设置在电子设备中的两个摄像装置确定第一图像平面和第二图像平面，并基于第一图像平面和第二图像平面的交线确定出用户眼睛的在屏幕上的注视点，可以部分或全部解决现有技术利用单个摄像头难以准确识别出人眼在电子设备屏幕上的注视点的问题。
图5A示意性示出了根据本公开实施例的第一确定模块的框图。
如图5A所示，第一确定模块410可以包括第一确定单元411、第二确定单元412和第三确定单元413，其中：
第一确定单元411用于当用户注视电子设备的屏幕时，确定第一摄像装置对用户眼睛的普尔钦斑进行检测而得到的普尔钦斑成像点，以及对用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点。
第二确定单元412用于确定第一摄像装置的镜头节点。
第三确定单元413用于将普尔钦斑成像点、瞳孔中心成像点和镜头节点三点确定的平面作为第一图像平面。
通过本公开的实施例，基于普尔钦斑成像点、瞳孔中心成像点和镜头节点三点确定第一图像平面和第二图像平面，可以提高识别人眼在电子设备屏幕上的注视点的准确度。
图5B示意性示出了根据本公开实施例的第一确定单元的框图。
如图5B所示，第一确定单元411可以包括第一确定子单元4111、第二确定子单元4112和第三确定子单元4113，其中：
第一确定子单元4111用于确定用户眼睛的瞳孔中心映射在用户眼睛的角膜面上而得到的映射中心。
第二确定子单元4112用于确定第一摄像装置对映射中心进行检测而得到的映射中心成像点。
第三确定子单元4113用于将映射中心成像点作为瞳孔中心成像点。
通过本公开的实施例，利用物理原理确定出瞳孔中心成像点，并基于普尔钦斑成像点、瞳孔中心成像点和镜头节点三点确定第一图像平面和第二图像平面，进而可以提高识别人眼在电子设备屏幕上的注视点的准确度。
图5C示意性示出了根据本公开实施例的第二确定模块的框图。
如图5C所示，第二确定模块420可以包括第四确定单元421、第五确定单元422和第六确定单元423，其中：
第四确定单元421用于将第一图像平面与第二图像平面的交线作为用户眼睛的光轴。
第五确定单元422用于确定光轴与屏幕的交点。
第六确定单元423用于将交点作为用户眼睛在屏幕上的注视点。
通过本公开的实施例，通过立体视线跟踪得到用户的注视点，可以提供移动设备轻松的单手交互，还可以提供比现有技术更方便的交互模式。
图6示意性示出了根据本公开实施例的可实现跟踪识别方法的计算机***的框图。
如图6所示，如图6所示，计算机***600包括处理器610以及计算机可读存储介质620。该计算机***600可以执行上面参考图2A～2B、图3A～图3E描述的方法。
具体地，处理器610例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器610还可以包括用于缓存用途的板载存储器。处理器610可以是用于执行参考图2A～2B、图3A～图3E描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质620，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
计算机可读存储介质620可以包括计算机程序621，该计算机程序621可以包括代码/计算机可执行指令，其在由处理器610执行时使得处理器610执行例如上面结合图2A～2B、图3A～图3E所描述的方法流程及其任何变形。
计算机程序621可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序621中的代码可以包括一个或多个程序模块，例如包括模块621A、模块621B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器610执行时，使得处理器610可以执行例如上面结合图2A～2B、图3A～图3E所描述的方法流程及其任何变形。
根据本发明的实施例，第一确定模块410以及第二确定模块420中的至少一个可以实现为参考图6描述的计算机程序模块，其在被处理器610执行时，可以实现上面描述的相应操作。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种跟踪识别方法，包括：
当用户注视电子设备的屏幕时，确定第一图像平面和第二图像平面，其中，所述第一图像平面是由第一摄像装置对用户眼睛进行检测而确定的，所述第二图像平面是由第二摄像装置对所述用户眼睛进行检测而确定的，且所述第一图像平面与所述第二图像平面相交，所述第一摄像装置和所述第二摄像装置都设置在所述电子设备上，所述用户眼睛包括所述用户的右眼或左眼；以及
基于所述第一图像平面与所述第二图像平面的交线，确定所述用户眼睛在所述屏幕上的注视点。
2.根据权利要求1所述的方法，其中，当用户注视电子设备的屏幕时，确定第一图像平面包括：
当所述用户注视所述电子设备的所述屏幕时，确定所述第一摄像装置对所述用户眼睛的普尔钦斑进行检测而得到的普尔钦斑成像点，以及对所述用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点；
确定所述第一摄像装置的镜头节点；以及
将所述普尔钦斑成像点、所述瞳孔中心成像点和所述镜头节点三点确定的平面作为所述第一图像平面。
3.根据权利要求2所述的方法，其中，确定所述第一摄像装置对所述用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点包括：
确定所述用户眼睛的瞳孔中心映射在所述用户眼睛的角膜面上而得到的映射中心；
确定所述第一摄像装置对所述映射中心进行检测而得到的映射中心成像点；以及
将所述映射中心成像点作为所述瞳孔中心成像点。
4.根据权利要求1所述的方法，其中，基于所述第一图像平面与所述第二图像平面的交线，确定所述用户眼睛在所述屏幕上的注视点包括：
将所述第一图像平面与所述第二图像平面的交线作为所述用户眼睛的光轴；
确定所述光轴与所述屏幕的交点；以及
将所述交点作为所述用户眼睛在所述屏幕上的注视点。
5.根据权利要求1至4中任一项所述的方法，其中，所述第一摄像装置与所述第二摄像装置之间间隔预设距离。
6.根据权利要求5所述的方法，其中：
所述第一摄像装置的镜头节点上设置有第一光源；和/或
所述第二摄像装置的镜头节点上设置第二光源。
7.一种跟踪识别***，包括：
第一确定模块，用于当用户注视电子设备的屏幕时，确定第一图像平面和第二图像平面，其中，所述第一图像平面是由第一摄像装置对用户眼睛进行检测而确定的，所述第二图像平面是由第二摄像装置对所述用户眼睛进行检测而确定的，且所述第一图像平面与所述第二图像平面相交，所述第一摄像装置和所述第二摄像装置都设置在所述电子设备上，所述用户眼睛包括所述用户的右眼或左眼；以及
第二确定模块，用于基于所述第一图像平面与所述第二图像平面的交线，确定所述用户眼睛在所述屏幕上的注视点。
8.根据权利要求7所述的***，其中，所述第一确定模块包括：
第一确定单元，用于当所述用户注视所述电子设备的所述屏幕时，确定所述第一摄像装置对所述用户眼睛的普尔钦斑进行检测而得到的普尔钦斑成像点，以及对所述用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点；
第二确定单元，用于确定所述第一摄像装置的镜头节点；以及
第三确定单元，用于将所述普尔钦斑成像点、所述瞳孔中心成像点和所述镜头节点三点确定的平面作为所述第一图像平面。
9.根据权利要求8所述的***，其中，所述第一确定单元包括：
第一确定子单元，用于确定所述用户眼睛的瞳孔中心映射在所述用户眼睛的角膜面上而得到的映射中心；
第二确定子单元，用于确定所述第一摄像装置对所述映射中心进行检测而得到的映射中心成像点；以及
第三确定子单元，用于将所述映射中心成像点作为所述瞳孔中心成像点。
10.根据权利要求7所述的***，其中，所述第二确定模块包括：
第四确定单元，用于将所述第一图像平面与所述第二图像平面的交线作为所述用户眼睛的光轴；
第五确定单元，用于确定所述光轴与所述屏幕的交点；以及
第六确定单元，用于将所述交点作为所述用户眼睛在所述屏幕上的注视点。
CN201810002211.7A 2018-01-02 2018-01-02 跟踪识别方法及*** Active CN108196676B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810002211.7A CN108196676B (zh) 2018-01-02 2018-01-02 跟踪识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810002211.7A CN108196676B (zh) 2018-01-02 2018-01-02 跟踪识别方法及***

Publications (2)

Publication Number Publication Date
CN108196676A true CN108196676A (zh) 2018-06-22
CN108196676B CN108196676B (zh) 2021-04-13

Family

ID=62588120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810002211.7A Active CN108196676B (zh) 2018-01-02 2018-01-02 跟踪识别方法及***

Country Status (1)

Country Link
CN (1) CN108196676B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109445593A (zh) * 2018-10-31 2019-03-08 贵州火星探索科技有限公司 电子设备控制方法及装置
CN111078107A (zh) * 2019-11-29 2020-04-28 联想(北京)有限公司 一种屏幕交互的方法、装置、设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067716A (zh) * 2007-05-29 2007-11-07 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
CN101344919A (zh) * 2008-08-05 2009-01-14 华南理工大学 视线跟踪方法及应用该方法的残疾人辅助***
CN102043952A (zh) * 2010-12-31 2011-05-04 山东大学 一种基于双光源的视线跟踪方法
CN104113680A (zh) * 2013-04-19 2014-10-22 北京三星通信技术研究有限公司 视线跟踪***及方法
US20150205349A1 (en) * 2014-01-21 2015-07-23 Osterhout Group, Inc. Eye imaging in head worn computing
CN105847635A (zh) * 2016-06-20 2016-08-10 联想(北京)有限公司 成像实现方法、摄像装置及电子设备
WO2016151581A1 (en) * 2015-03-23 2016-09-29 Controlrad Systems Inc. Eye tracking system
CN106168853A (zh) * 2016-06-23 2016-11-30 中国科学技术大学 一种自由空间头戴式视线跟踪***
CN106200901A (zh) * 2016-06-24 2016-12-07 联想(北京)有限公司 一种头戴式眼追踪装置的校正方法及头戴式眼追踪装置
CN106325510A (zh) * 2016-08-19 2017-01-11 联想(北京)有限公司 信息处理方法及电子设备
US20170083087A1 (en) * 2014-05-20 2017-03-23 State Farm Mutual Automobile Insurance Company Eye gaze tracking utilizing surface normal identification

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067716A (zh) * 2007-05-29 2007-11-07 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
CN101344919A (zh) * 2008-08-05 2009-01-14 华南理工大学 视线跟踪方法及应用该方法的残疾人辅助***
CN102043952A (zh) * 2010-12-31 2011-05-04 山东大学 一种基于双光源的视线跟踪方法
CN104113680A (zh) * 2013-04-19 2014-10-22 北京三星通信技术研究有限公司 视线跟踪***及方法
US20150205349A1 (en) * 2014-01-21 2015-07-23 Osterhout Group, Inc. Eye imaging in head worn computing
US20170083087A1 (en) * 2014-05-20 2017-03-23 State Farm Mutual Automobile Insurance Company Eye gaze tracking utilizing surface normal identification
WO2016151581A1 (en) * 2015-03-23 2016-09-29 Controlrad Systems Inc. Eye tracking system
CN105847635A (zh) * 2016-06-20 2016-08-10 联想(北京)有限公司 成像实现方法、摄像装置及电子设备
CN106168853A (zh) * 2016-06-23 2016-11-30 中国科学技术大学 一种自由空间头戴式视线跟踪***
CN106200901A (zh) * 2016-06-24 2016-12-07 联想(北京)有限公司 一种头戴式眼追踪装置的校正方法及头戴式眼追踪装置
CN106325510A (zh) * 2016-08-19 2017-01-11 联想(北京)有限公司 信息处理方法及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZIHO KANG; STEVEN J. LANDRY: "《An Eye Movement Analysis Algorithm for a Multielement Target Tracking Task: Maximum Transition-Based Agglomerative Hierarchical Clustering》", 《IEEE TRANSACTIONS ON HUMAN-MACHINE SYSTEMS》 *
程时伟 孙志强 陆煜华: "面向多设备交互的眼动跟踪方法", 《计算机辅助设计与图形学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109445593A (zh) * 2018-10-31 2019-03-08 贵州火星探索科技有限公司 电子设备控制方法及装置
CN111078107A (zh) * 2019-11-29 2020-04-28 联想(北京)有限公司 一种屏幕交互的方法、装置、设备和存储介质
CN111078107B (zh) * 2019-11-29 2022-07-26 联想(北京)有限公司 一种屏幕交互的方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN108196676B (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
US11925863B2 (en) Tracking hand gestures for interactive game control in augmented reality
US20230195215A1 (en) Virtual object display interface between a wearable device and a mobile device
JP6393367B2 (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
US10591729B2 (en) Wearable device
US20230259220A1 (en) Smart ring for manipulating virtual objects displayed by a wearable device
JP6510648B2 (ja) ウェアラブル装置、制御方法及び制御プログラム
US10585288B2 (en) Computer display device mounted on eyeglasses
CN114402589B (zh) 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
EP4217834A1 (en) Touchless photo capture in response to detected hand gestures
US11782514B2 (en) Wearable device and control method thereof, gesture recognition method, and control system
US11792379B2 (en) Depth sculpturing of three-dimensional depth images utilizing two-dimensional input selection
US11195341B1 (en) Augmented reality eyewear with 3D costumes
KR102290991B1 (ko) 열화상을 생성하는 방법 및 장치
CN108196676A (zh) 跟踪识别方法及***
JP2016207145A (ja) ウェアラブル装置、制御方法及び制御プログラム
US11900058B2 (en) Ring motion capture and message composition system
JP6686319B2 (ja) 画像投影装置及び画像表示システム
JP6999822B2 (ja) 端末装置および端末装置の制御方法
KR102499576B1 (ko) 전자 장치 및 그 제어 방법
US11054941B2 (en) Information processing system, information processing method, and program for correcting operation direction and operation amount
US20170126956A1 (en) Image Shooting Processing Method and Device
US11863860B2 (en) Image capture eyewear with context-based sending
US12013985B1 (en) Single-handed gestures for reviewing virtual content
US11733789B1 (en) Selectively activating a handheld device to control a user interface displayed by a wearable device
US20240103684A1 (en) Methods for displaying objects relative to virtual surfaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant