CN106339085B - 具有视线追踪功能的终端、确定使用者视点的方法及装置 - Google Patents

具有视线追踪功能的终端、确定使用者视点的方法及装置 Download PDF

Info

Publication number
CN106339085B
CN106339085B CN201610701368.XA CN201610701368A CN106339085B CN 106339085 B CN106339085 B CN 106339085B CN 201610701368 A CN201610701368 A CN 201610701368A CN 106339085 B CN106339085 B CN 106339085B
Authority
CN
China
Prior art keywords
light
emitting diode
light emitting
camera
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610701368.XA
Other languages
English (en)
Other versions
CN106339085A (zh
Inventor
金娇英
林涛
刘迎春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610701368.XA priority Critical patent/CN106339085B/zh
Publication of CN106339085A publication Critical patent/CN106339085A/zh
Priority to PCT/CN2017/075706 priority patent/WO2018036134A1/zh
Priority to US16/281,894 priority patent/US10929659B2/en
Application granted granted Critical
Publication of CN106339085B publication Critical patent/CN106339085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/501—Structural aspects
    • H04B10/502—LED transmitters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种具有视线追踪功能的终端、确定使用者视点的方法及装置，属于电子信息技术领域。该具有视线追踪功能的终端包括：机体、摄像头和至少两个发光二极管，该摄像后和该至少两个发光二极管安装在该机体上，该终端可以通过该至少两个发光二极管发射光线，确保当该使用者处于不同角度时都可以通过发射的光线照射到用户的眼睛，当该光线经过使用者的眼睛发生反射之后，该终端可以通过该摄像头采集经反射后的光线，获取该使用者的眼部图像，进而基于该眼部图像，对该使用者的视线进行追踪，提高了视线追踪的成功率。

Description

具有视线追踪功能的终端、确定使用者视点的方法及装置
技术领域
本发明涉及电子信息技术领域，特别涉及一种具有视线追踪功能的终端、确定使用者视点的方法及装置。
背景技术
在使用者与外界的交互过程中，使用者的视线通常能够直观自然地反映出使用者感兴趣的对象、目的和需求，因而对使用者的视线追踪可以被应用到多个方面，包括市场分析(广告/包装设计、商场购物等)，使用者体验测试(网站/软件设计、电子游戏等)，以及使用者意图及心理动机分析(人机交互、精神障碍疾病、认知心理学等)，因此，亟需一种视线追踪方法。
现有技术中，如图1所示，视线追踪***包括终端1和摄像头2，该终端1中设置有光源12。如图2所示，当光源12发出光线照射使用者的眼睛3，该使用者的眼睛3可以对该光线进行反射，因此，当通过调用该摄像头2采集该使用者的眼睛3反射出的该光线的反射光线，从而得到该使用者的眼部图像，该眼部图像中包括该使用者瞳孔的像和该光源12在使用者眼睛3上的反射点进入摄像头所形成的像，因此，该视线追踪设备对获取到的眼部图像进行处理，以确定该眼部图像中的瞳孔位置信息和反射点位置信息，基于确定的瞳孔位置信息和反射点位置信息，通过预设的眼球几何模型估算得到使用者的视线方向，根据该视线方向确定使用者的视点，该视点为该使用者当前注视的位置信息，从而对使用者的视线进行追踪。
然而，由于使用者在使用该视线追踪设备时，可能会处于该终端1的不同角度，因此，当该使用者所处的角度发生改变时，该光源12可能无法照射至用户的眼睛3，从而导致该摄像头2无法获取使用者的眼部图像，降低了对使用者进行视线追踪的成功率和可靠性。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种具有视线追踪功能的终端、确定使用者视点的方法及装置。所述技术方案如下：
第一方面，提供了一种具有视线追踪功能的终端，所述终端包括：
机体，摄像头，至少两个发光二极管，所述摄像头和所述至少两个发光二极管安装在所述机体上；
其中，所述发光二极管用于发射光线，所述摄像头用于采集经反射后的所述光线。
需要说明的是，该摄像头和该至少两个发光二极管可以安装在该终端的机体的同一侧，以确保该至少两个发光二极管发出的光线都可以照射到使用者的眼睛。
还需要说明的是，该至少两个发光二极管还可以用其它光源代替，本发明实施例对此不做具体限定。
在本发明实施例中，该终端的机体安装有至少两个发光二极管和摄像头，因此，该终端可以通过该至少两个发光二极管发射光线，确保当该使用者处于不同角度时都可以通过发射的光线照射到用户的眼睛，当该光线经过使用者的眼睛发生反射之后，该终端可以通过该摄像头采集经反射后的光线，获取该使用者的眼部图像，进而基于该眼部图像，对该使用者的视线进行追踪，提高了视线追踪的成功率。
可选地，所述至少两个发光二极管包括第一发光二极管和第二发光二极管，其中，所述第一发光二级管的频段与所述第二发光二极管的频段不同，所述第一发光二极管与所述摄像头的距离比所述第二发光二极管与所述摄像头的距离短。
其中，当第一发光二极管与该摄像头之间的距离越近，第一发光二极管所发出的光线越接近该摄像头的光心的轴线，从而确保该摄像头可以通过采集反射的第一发光二极管的光线获取得到使用者眼部的亮瞳图像。第二发光二极管可以远离该摄像头，从而确保该摄像头可以通过采集反射的第二发光二极管的光线获取得到使用者眼部的暗瞳图像。
需要说明的是，在实际应用中，为了确保该摄像头通过采集反射的第一发光二极管的光线从而获取得到该亮瞳图像，通过采集反射的第二发光二极管的光线从而获取得到暗瞳图像，第一发光二极管、第二发光二极管与该摄像头之间还可以是其它的位置关系，本发明实施例对此不做具体限定。
还需要说明的是，由于第一发光二极管与第二发光二极管的频段不同，所以当第一发光二极管和第二发光二极管同时发光时，也可以基于第一发光二极管的频段和第二发光二极管的频段，通过过滤分别得到第一发光二极管发出的光线和第二发光二极管发出的光线，也即是，当第一发光二极管和第二发光二极管同时发光时，也能够分别获取得到亮瞳图像和暗瞳图像，从而提高了该终端对视线追踪的成功率。
在本发明实施例中，由于第一发光二极管和第二发光二极管的频段不同，且第一发光二极管与该摄像头的距离比第二发光二极管与该摄像头的距离短，所以，该终端可以同时通过第一发光二极管和第二发光二极管发光，从而获取得到亮瞳图像和暗瞳图像，提高了获取亮瞳图像和暗瞳图像效率，进而提高了对使用者进行视线追踪的效率，增强了视线追踪的实时性和成功率。
可选地，所述摄像头包括掩膜滤波层，所述掩膜滤波层包括至少两个滤片单元；
其中，所述第一发光二极管的频段与所述至少两个滤片单元中的一个滤片单元的可通过频段相同，所述第二发光二极管的频段与所述至少两个滤片单元中的另一个滤片单元的可通过频段相同。
需要说明的是，以第一发光二极管为例，由于第一发光二极管的频段与该至少两个滤片单元中的一个滤片单元的可通过频段相同，因此，该滤片可以将除第一发光二极管的频段之外其它所有频段的光线过滤掉，从而确保该摄像头能够准确地采集反射的第一发光二极管的光线，获取到亮瞳图像，提高了对使用者进行视线追踪的成功率。
还需要说明的是，对于该至少两个滤片单元中的每个滤片单元，该滤片单元可以至少一个滤片，且该多个滤片的可通过频率相同。
在本发明实施例中，该终端可以通过包括有至少两个滤片单元的掩膜滤波层，能够在第一发光二极管和第二发光二极管同时发光时，分别采集反射的第一发光二极管的光线和第二发光二极管的光线，从而同时获取得到亮瞳图像和暗瞳图像，提高了获取亮瞳图像和暗瞳图像效率和成功率，进而提高了增强了视线追踪的实时性和成功率。
可选地，该至少两个滤片单元在该掩膜滤波层中均匀排列。
需要说明的是，当可通过某一频段的滤片单元排列越均匀时，该摄像头采集到的该频段的光线越均匀，所获取的图像的质量越好，进而该终端对使用者的视线进行追踪的精度越高。
可选地，所述至少两个发光二极管还包括第三发光二极管，其中，所述第三发光二极管的频段与所述第一发光二极管的频段、所述第二发光二极管的频段均不相同，所述第一发光二极管与所述摄像头的距离比所述第三发光二极管与所述摄像头的距离短。
需要说明的是，在另一种可能的实现方式中，第三发光二极管的频段与第二发光二极管的频段相同。
在本发明实施例中，由于第一发光二极管与该摄像头的距离比第三发光二极管与该摄像头的距离短，且由于第一发光二极管与该摄像头的距离比第二发光二极管与该摄像头的距离短，确保了当该使用者处于不同的角度，该终端都可以通过采集反射的第二发光二极管的光线和第三发光二极管的光线，获取暗瞳图像，提高了获取暗瞳图像的成功率，也即是提高了对该使用者的视线进行追踪的成功率。
可选地，所述摄像头包括掩膜滤波层，所述掩膜滤波层包括至少三个滤片单元；
其中，所述第一发光二极管的频段与所述至少三个滤片单元中的一个滤片单元的可通过频段相同，所述第二发光二极管的频段与所述至少三个滤片单元中的另一个滤片单元的可通过频段相同，所述第三发光二极管的频段与所述至少三个滤片单元中的另一个滤片单元的可通过频段相同。
需要说明的是，由于第一发光二极管的频段、第二发光二极管的频段和第三发光二极管的频段分别与该至少三个滤片单元中的一个滤片单元的可通过频段相同，确保了能够准确地采集反射的第一发光二极管、第二发光二极管或第三发光二极管的光线，提高了获取亮瞳图像和暗瞳图像的成功率。
在本发明实施例中，由于该摄像头的掩膜滤波层包括有至少三个滤片单元，因此能够准确地采集反射的第一发光二极管、第二发光二极管或第三发光二极管的光线，且当该第一发光二极管、第二发光二极管或第三发光二极管同时发光时，该终端也可以快速准确地同时对反射的第一发光二极管、第二发光二极管或第三发光二极管的光线进行采集，保证获取亮瞳图像和暗瞳图像的成功率和效率。
可选地，所述至少两个发光二极管包括四个发光二极管，分别为第四发光二极管，第五发光二级管，第六发光二极管、第七发光二极管，
其中，在全部的发光二级管与所述摄像头的距离中，所述第四发光二级管与所述摄像头的距离最短，所述第四发光二极管的频段与所述第五发光二极管的频段、所述第六发光二极管的频段和所述第七发光二极管的频段均不相同。
需要说明的是，第四发光二极管与该摄像头之间的位置关系可以和第一发光二极管与该摄像头之间的关系类似。
还需要说明的是，该摄像头可以通过采集反射的第四发光二极管的光线，获取到亮瞳图像，通过采集反射的第五发光二极管、第六发光二极管或者第七发光二极管的光线，获取得到暗瞳图像。
在本发明实施例中，由于该终端可以通过采集反射的第五发光二极管、第六发光二极管或者第七发光二极管的光线，获取得到暗瞳图像，提高了获取得到暗瞳图像的成功率，进而提高了对该使用者进行视线追踪的成功率。
可选地，所述摄像头在所述机体的左上角，所述第四发光二极管在所述机体的左上角，所述第五发光二极管在所述机体的右上角，所述第六发光二极管在所述机体的左下角，所述第七发光二极管在所述机体的右下角。
需要说明的是，将该摄像头、第四发光二极管、第五发光二级管、第六发光二极管和第七发光二极管设置该机体的四个角中，可以避免对使用者正常使用该终端的过程造成干扰。
还需要说明的是，在实际应用中，该摄像头、第四发光二极管、第五发光二级管、第六发光二极管和第七发光二极管还可以设置在该机体的其它位置，本发明实施例对此不做具体限定。
在本发明实施例中，将该摄像头和第四发光二极管设置在机体左上角，将第五发光二极管、第六发光二极管和第七发光二极管分别设置在该机体的三个角中，既能够设置的摄像头和发光二级管对使用者正常使用该终端的过程造成干扰，也保证了该终端可以通过该摄像头获取到亮瞳图像和暗瞳图像，提高了对使用者视线进行追踪的成功率。
可选地，所述第五发光二极管的频段、所述第六发光二极管的频段分别和所述第七发光二极管的频段相同；
所述摄像头包括掩膜滤波层，所述掩膜滤波层包括两个滤片单元，其中，所述第四发光二极管的频段与所述两个滤片单元中的一个滤片单元的可通过频段相同，所述第五发光二极管的频段与所述两个滤片单元中的另一个滤片单元的可通过频段相同。
在本发明实施例中，由于第五发光二极管、第六发光二极管和第七发光二极管的频段相同，因此该掩膜滤波层可以包括两个滤片单元，在该掩膜滤波层的面积不变的情况下，每个滤片单元的面积相对较大，能够增加通过的对应频段的光线，从而提高获取的亮瞳图像和暗瞳图像的质量，进而提高对使用者的视线进行追踪的准确性。
可选地，所述第六发光二极管的频段与所述第五发光二极管的频段不同，所述第五发光二极管的频段与所述第七发光二极管的频段相同；
所述述摄像头包括掩膜滤波层，所述掩膜滤波层包括三个滤片单元，其中，所述第四发光二极管的频段与所述三个滤片单元中的一个滤片单元的可通过频段相同，所述第五发光二极管的频段与所述三个滤片单元中的另一个滤片单元的可通过频段相同，所述第六发光二极管的频段与所述三个滤片单元中的另一个滤片单元的可通过频段相同。
需要说明的是，在另一种可能的实现方式中，第六发光二极管与第五发光二极管的频段相同，第五发光二极管的频段与第七发光二极管的频段相同，或者，在另一种可能的实现方式中，第六发光二极管与第七发光二极管的频段相同，第六发光二极管的频段与第五发光二极管的频段不同。
在本发明实施例中，由于第五发光二极管与第七发光二极管的频段相同，且第五发光二极管的频段与第六发光二极管的频段不同，因此，第六发光二极管的发出的光线收到干扰时，该终端还可以通过采集反射的第五发光二极管或第七发光二极管的光线，从而获取得到暗瞳图像，提高了获取暗瞳图像的成功率，进而也提高了对该使用者进行视线追踪的成功率。
可选地，所述至少两个发光二极管均为红外发光二极管，所述摄像头为红外摄像头。
在本发明实施例中，由于该至少两个发光二极管可以为红外发光二极管，该摄像头可以为红外摄像头，因此，避免了该至少两个发光二极管发出的光线对该使用者的视觉造成干扰或损伤，提高了该终端对噶使用者的视线进行追踪的安全性。
第二方面，提供了一种确定终端的使用者的视点的方法，所述方法包括：
通过第一光源发出第一光线，通过第二光源发出第二光线，其中，所述第一光线的频段与所述第二光线的频段不同，所述第一光源与摄像头的距离比所述第二光源与所述摄像头的距离短，所述摄像头包括掩膜滤波层，所述第一光源、所述第二光源和所述摄像头均在终端上；
通过所述摄像头根据第一滤波光线获取第一图像，所述第一滤波光线是反射后的第一光线经过所述掩膜滤波层后的光线；
通过所述摄像头根据第二滤波光线获取第二图像，所述第二滤波光线是反射后的第二光线经过所述掩膜滤波层后的光线；
根据所述第一图像和所述第二图像确定使用者的视点。
其中，第一光源的数目和第二光源的数目可以是一个，也可以是多个，本发明实施例对此不做具体限定。
需要说明的是，当第一光源的数目为多个时，多个第一光源的频段相同，当第二光源的数目为多个时，多个第二光源的频段可以不同。
在本发明实施例中，该终端能够通过该终端上的第一光源发出第一光线，通过该终端上的第二光源发出第二光线，由于第一光源与该终端上的摄像头的距离比第二光源与摄像头的距离短，所以可以通过该摄像头根据反射后的第一光线经过该摄像头的掩膜滤波层后的第一滤波光线，获得第一图像，且第一图像为亮瞳图像，根据反射后的第二光线经过该掩膜滤波层后的第二滤波光线，获取得到第二图像，且第二图像为暗瞳图像，从而根据亮瞳图像和暗瞳图像确定该使用者的视点，提高了对使用者的视线进行追踪的准确率。
可选地，当第二光源的数目有多个时，可以通过轮询的方式在该多个第二光源中选择至少一个第二光源。
其中，可以基于该多个第二光源在该终端上的位置进行轮询，也可以是基于该多个第二光源的频段进行轮询，当然在实际应用中，还可以通过其它方式进行轮询，本发明实施例对此不做具体限定。
可选地，所述根据所述第一图像和所述第二图像确定使用者的视点，包括：
根据所述第一图像和所述第二图像确定所述使用者的瞳孔位置信息和反射点位置信息；
根据所述瞳孔位置信息、所述反射点位置信息和预设的眼球几何模型确定所述使用者的视点。
其中，瞳孔位置信息为与第一图像和第二图像中该使用者瞳孔的位置有关的信息，反射点位置信息为第二图像中，第二光源在该使用者眼睛上的反射点进入该摄像头形成的像的位置有关的信息。
需要说明的是，该预设的眼球几何模型可以预先根据角膜反射和角膜折射原理确定。
在本发明实施例中，由于可以通过确定第一图像和第二图像之间的差分图像，从而快速准确地确定该使用者瞳孔的位置信息，进而对第二图像进行处理确定反射点位置信息，再基于预设的眼球几何模型确定该使用者的视点，提高了对该使用者进行视线追踪的效率和实时性。
可选地，通过所述第一光源发出所述第一光线的时刻和通过所述第二光源发出所述第二光线的时刻相同。
在本发明实施例中，由于发出第一光线的时刻与发出第二光线的时刻相同，因此，节省了该摄像头获取亮瞳图像和暗瞳图像的时间，提高了对该使用者的视线进行追踪的实时性。
第三方面，提供了一种确定终端的使用者的视点的装置，所述确定终端的使用者的视点的装置具有实现上述第二方面中确定终端的使用者的视点的方法行为的功能。该确定终端的使用者的视点的装置包括至少一个模块，该至少一个模块用于实现上述第二方面所提供的确定终端的使用者的视点的方法。
第四方面，提供了一种确定终端的使用者的视点的装置，所述确定终端的使用者的视点的装置的结构中包括处理器和存储器，所述存储器用于存储支持确定终端的使用者的视点的装置执行上述确定终端的使用者的视点的方法的程序，以及存储用于实现该确定终端的使用者的视点的方法所涉及的数据，该数据包括第一图像和第二图像等。所述处理器被配置为用于执行所述存储器中存储的程序。所述确定终端的使用者的视点的装置还可以包括通信总线，该通信总线用于该处理器与存储器之间建立连接。
第五方面，提供了一种计算机存储介质，用于储存为上述确定终端的使用者的视点的装置所用的计算机软件指令，或存储用于执行上述第三方面和第四方面为确定终端的使用者的视点的装置所设计的程序。
上述本发明实施例第三到第五方面所获得的技术效果与第二方面中对应的技术手段获得的技术效果近似，在这里不再赘述。
本发明实施例提供的技术方案带来的有益效果是：在本发明实施例中，该终端包括机体、安装在该机体上的摄像头和至少两个发光二极管，由于该至少两个发光二极管均可以发射光线，确保了当该使用者处于不同角度时该摄像头均能够采集到反射的光线，提高了获取该使用者的眼部图像的成功率，从而提高了对该使用者的视线进行追踪的成功率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术提供的一种视线追踪***的示意图；
图2是现有技术提供的一种视线追踪原理的示意图；
图3是本发明实施例提供的一种具有视线追踪功能的终端的示意图；
图4是本发明实施例提供的另一种具有视线追踪功能的终端的示意图；
图5是本发明实施例提供的又一种具有视线追踪功能的终端的示意图；
图6是本发明实施例提供的又一种具有视线追踪功能的终端的示意图；
图7是本发明实施例提供的一种掩膜滤波层示意图；
图8是本发明实施例提供的另一种掩膜滤波层示意图；
图9是本发明实施例提供的又一种掩膜滤波层示意图；
图10是本发明实施例提供的又一种掩膜滤波层示意图；
图11是本发明实施例提供的又一种掩膜滤波层示意图；
图12是本发明实施例提供的又一种掩膜滤波层示意图；
图13是本发明实施例提供的又一种掩膜滤波层示意图；
图14是本发明实施例提供的又一种掩膜滤波层示意图；
图15是本发明实施例提供的一种确定终端的使用者的视点的方法的流程图；
图16是本发明实施例提供的一种确定终端的使用者的视点的装置结构示意图；
图17是本发明实施例提供的一种确定模块结构示意图；
图18是本发明实施例提供的另一种确定终端的使用者的视点装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图3是本发明实施例提供的一种具有视线追踪功能的终端的示意图，参见图3，该终端包括：机体1，摄像头2，至少两个发光二极管3，该摄像头2和该至少两个发光二极管3安装在该机体上，其中，该发光二极管用于发射光线，该摄像头用于采集经反射后的该光线。
其中，该至少两个发光二极管3能够发出光线，当该光线照射至使用者的眼睛，使用者的眼睛会反射该光线，因此，可以通过该摄像头2采集反射的光线，从而对使用者的视线进行追踪。
需要说明的是，为了确保该摄像头2能够采集到经过使用者眼睛反射后的该至少两个发光二极管3的光线，该摄像头2和该至少两个发光二极管3可以设置在该机体1的同一侧。
还需要说明的是，当该至少两个发光二极管3的数目越多时，在使用者处于不同角度的情况下该摄像头2采集到反射后的光线的成功率越高，通过该终端进行视线追踪的成功率也越高。
还需要说明的是，该终端可以是手机、平板电脑等终端，当然，在实际应用中，该终端还可以是其它需要对使用者进行视线追踪的终端，本发明实施例对此不做具体限定。
另外，在实际应用中，该至少两个发光二极管3还可以用其它光源代替，本发明实施例对此不做具体限定。
需要说明的是，对于该至少两个发光二极管3中的每个发光二极管，该发光二极管可以是任意频段的发光二极管，也即是，该发光二极管可以发出任一频段的光线，本发明实施例对此不做具体限定。
还需要说明的是，在实际应用中，对于该至少两个发光二极管2中的每个发光二极管，该发光二极管可以为任意频率的发光二极管，也即是，该发光二极管可以发出任一频率的光线。
进一步地，为了避免该至少两个发光二极管3发出的光线对使用者的正常视觉造成干扰或损伤，该至少两个发光二极管3可以均为红外发光二极管，相应地，该摄像头可以为红外摄像头。
下面针对该终端的各个部分进行详细说明：
至少两个发光二极管3
参见图4，该至少两个发光二极管3包括第一发光二极管31和第二发光二极管32，其中，该第一发光二级管31的频段与该第二发光二极管32的频段不同，该第一发光二极管31与该摄像头2的距离比该第二发光二极管32与该摄像头2的距离短。
其中，由于第一发光二极管31与该摄像头2的距离比第二发光二极管32与该摄像头2的距离短，因此，第一发光二极管31远离该摄像头2，第一发光二极31的光线经使用者的眼球角膜表面反射后靠近该摄像头2的光心所在的轴线，所以会有较多的反射光线进入该红外摄像头2，当该摄像头2采集反射后的第一发光二极管31的光线时，可以获取使用者眼部的亮瞳图像。第二发光二极管32靠近该摄像头2，第二发光二极管32的光线经使用者的眼球角膜表面反射后远离该摄像头2的光线所在的轴线，所以会有较少的反射光线进入该红外摄像头2，当该摄像头2采集反射后的第二发光二极管32的光线，可以获取使用者眼部的暗瞳图像。
其中，该摄像头2的光心可以为该摄像头2的镜头的中心。
需要说明的是，该亮瞳图像和该暗瞳图像中的每个暗瞳图像均可以为包括使用者眼部的灰度图像，该亮瞳图像中使用者眼睛的瞳孔处是明亮的，而该暗瞳图像中使用者眼睛的瞳孔处是灰暗的。
还需要说明的是，当第一发光二极管31越靠近该摄像头2时，第一发光二极管31发出的光线经使用者的眼睛反射后的光线越接近于该摄像头2的光心的轴线，通过该摄像由2获取得到的亮瞳图像的质量越好，进而该终端对使用者的视线进行追踪的精度越高，比如，第一发光二极管31可以与该摄像头2紧紧相邻，或者，第一发光二极管31可以与该摄像头2位于同一轴线上。
参见图5，该至少两个发光二极管3还包括第三发光二极管33，其中，该第三发光二极管33的频段与该第一发光二极管31的频段、该第二发光二极管33的频段33均不相同，该第一发光二极31与该摄像头2的距离比该第三发光二极管33与该摄像头2的距离短。
其中，由前述可知，该第一发光二极管31与该摄像头2的距离比该第二发光二极管32与该摄像头2的距离短，因此，当该至少两个发光二极管3还包括第三发光二极管33，且第一发光二极31与该摄像头2的距离比该第三发光二极管33与该摄像头2的距离短时，与第二发光二极管32以及第三发光二极管33相比，第一发光二极管31最靠近该摄像头2。
需要说明的是，当该终端还包括第三发光二极管33时，确保了当该使用者处于不同角度时也能获取到暗瞳图像，提高了获取暗瞳图像的成功率，进而提高了对使用者的视线进行追踪的成功率。
还需要说明的是，在另一种可能的实现方式中，第三发光二极管33与第二发光二极管32的频段可以相同。
参见图6，该至少两个发光二极管3包括四个发光二极管，分别为第四发光二极管34，第五发光二级管35，第六发光二极管36、第七发光二极管37，其中，在全部的发光二级管与该摄像头2的距离中，该第四发光二级管34与该摄像头2的距离最短，该第四发光二极管34的频段与该第五发光二极管35的频段、该第六发光二极管36的频段和该第七发光二极管37的频段均不相同。
其中，该摄像头2在该机体1的左上角，该第四发光二极管34在该机体1的左上角，该第五发光二极管35在该机体1的右上角，该第六发光二极管36在该机体1的左下角，该第七发光二极管37在该机体1的右下角。
掩膜滤波层
参见图7，为了采集反射后的第一发光二极管31和第二发光二极管32的光线，该摄像头2包括掩膜滤波层，该掩膜滤波层包括至少两个滤片单元，其中，该第一发光二极管31的频段与该至少两个滤片单元中的一个滤片单元21的可通过频段相同，该第二发光二极管32的频段与该至少两个滤片单元中的另一个滤片单元22的可通过频段相同。
其中，由于第一发光二极管31波尔频段与滤片单元21的可通过频段相同，因此，滤片单元21可以过滤掉处第一发光二极管31的频段之外其它所有频段的光线，相应地，滤片单元22可以过滤掉处第二发光二极管32的频段之外其它所有频段的光线，且由该滤片单元21和该滤片单元22是该掩膜滤波层的包括至少两个滤片单元中的滤波单元，因此，该摄像头可以同时采集到经过反射的第一发光二极管31的光线和经过反射的第二发光二极管32的光线。
需要说明的是，对于该掩膜滤波层中包括的至少两个滤片单元中每个滤片单元，该滤片单元的可通过频段可以对该至少两个发光二极管3中任一个发光二极管的频段相同，且当可通过某一频段的滤片单元的面积越大、分布越均匀时，该摄像头2采集到某一频段的光线越多，获取到的图像质量越高，进而该终端对使用者的视线进行追踪的精度越高。以滤片单元21为例，当该掩膜滤波层中包括的滤片单元21的数目越多时，且分布越均匀时，该摄像头2所能采集到经过反射后的第一发光二极管31的光线越多，获取的亮瞳图像的质量越高。
还需要说明的是，对于该至少两个滤片单元中的每个滤片单元，该滤片单元可以包括至少一个滤片，且该至少一个滤片的可通过频段相同。
还需要说明的是，为了提高暗瞳图像的质量，滤片单元22的面积可以大于滤片单元21的面积，且该掩膜滤波层可以如图8-10任一所示，当然，在实际应用中，该掩膜滤波层中滤片单元21和滤片单元22还可以有其它分布方式，本发明实施例对此不做具体限定。
另外，在另一种可能的实现方式中，当第一发光二极管31或第二发光二极管32发出的是某一频率的光线时，该掩膜滤波层包括至少两个滤片单元，其中，该第一发光二极管31的频率与该至少两个滤片单元中的一个滤片单元21的可通过频率相同，该第二发光二极管32的频率与该至少两个滤片单元中的一个滤片单元22的可通过频率相同。
进一步地，当该终端通过该摄像头获取到该亮瞳图像和该暗瞳图像后，可以根据该亮瞳图像和该暗瞳图像确定使用者的瞳孔位置信息和反射点位置信息，根据该瞳孔位置信息、该反射点位置信息和预设的眼球几何模型，确定使用者的视线方向，进而确定使用者视点，以对使用者的视线进行追踪。
参见图11，为了同时采集经使用者眼睛反射后的该至少一个发光二极管3的光线，进而同时获取亮瞳图像和暗瞳图像，从而减少对使用者进行视线追踪的延时，该摄像头2包括掩膜滤波层，该掩膜滤波层包括至少三个滤片单元，其中，该第一发光二极管31的频段与该至少三个滤片单元中的一个滤片单元21的可通过频段相同，该第二发光二极管32的频段与该至少三个滤片单元中的另一个滤片单元22的可通过频段相同，该第三发光二极管33的频段与该至少三个滤片单元中的另一个滤片单元23的可通过频段相同。
其中，参见图12，在另一种可能的实现方式中，该掩膜滤波层可以包括多个滤片单元21、多个滤片单元22和多个滤片单元23。
需要说明的是，当第三发光二极管33与第二发光二极管32的频段相同时，该掩膜滤波层可以不包括滤片单元23。
参见图13，为了同时采集经使用者眼睛反射后的该至少一个发光二极管3的光线，进而同时获取亮瞳图像和暗瞳图像，从而减少对使用者进行视线追踪的延时，该摄像头2包括掩膜滤波层，该掩膜滤波层包括至少四个滤片单元，其中，该第四发光二极管34的频段与该至少四个滤片单元中的一个滤片单元24的可通过频段相同，该第五发光二极管35的频段与该至少四个滤片单元中的一个滤片单元25的可通过频段相同，该第六发光二极管36的频段与该至少四个滤片单元中的一个滤片单元26的可通过频段相同，该第七发光二极管37的频段与该至少四个滤片单元中的一个滤片单元27的可通过频段相同。
其中，参见图14，该掩膜滤波层可以包括多个滤片单元24、多个滤片单元25、多个滤片单元26和多个滤片单元27。
需要说明的是，该第五发光二极管35的频段、第六发光二极管36的频段和第七发光二极管37的频段可以全部相同，也可以不同，比如，在另一种可能的实现方式中，该第五发光二极管35的频段、该第六发光二极管36的频段分别和该第七发光二极管37的频段相同，相应地，该摄像头2包括掩膜滤波层，该掩膜滤波层包括两个滤片单元，其中，该第四发光二极管34的频段与该两个滤片单元中的一个滤片单元的可通过频段相同，该第五发光二极管的35频段与该两个滤片单元中的另一个滤片单元的可通过频段相同。在另一种可能的实现方式中，第六发光二极管36的频段与该第五发光二极管35的频段不同，该第五发光二极管35的频段与该第七发光二极管37的频段相同，相应地，该述摄像头2包括掩膜滤波层，该掩膜滤波层包括三个滤片单元，其中，该第四发光二极管34的频段与该三个滤片单元中的一个滤片单元的可通过频段相同，该第五发光二极管35的频段与该三个滤片单元中的另一个滤片单元的可通过频段相同，该第六发光二极管36的频段与该三个滤片单元中的另一个滤片单元的可通过频段相同。本发明实施例对此不做具体限定。
还需要说明的是，上述第一发光二极管31、第二发光二极管32、第三发光二极管33、第四光二极管34、第五发光二极管35、第六发光二极管36和第七发光二极管37仅为对该至少两个发光二极管进行示例性说明，本发明实施例对该至少两个发光二极管的数目不作具体限定。
还需要说明的是，该掩膜滤波层包括的滤片单元的频段与该至少两个发光二极管的频段一一对应。
在本发明实施例中，首先，该终端包括机体、安装在该机体上的摄像头和至少两个发光二极管，由于该至少两个发光二极管均可以发射光线，确保了当该使用者处于不同角度时该摄像头均能够采集到反射的光线，提高了获取该使用者的眼部图像的成功率，从而提高了对该使用者的视线进行追踪的成功率。其次，由于该至少两个发光二极管包括第一发光二极管和第二发光二极管，第一发光二极管与该摄像头的距离近于第二发光二极管与该摄像头的距离，所以反射后的第一发光二极管的光线靠近该摄像头的光心的轴线，反射后的第二发光二极管的光线远离该摄像头的光心的轴线，且第一发光二极管与第二发光二极管的频段不同，而该摄像头包括的掩膜滤波层中包括至少两个滤片单元，一个滤片单元的可通过频段与第一发光二极管的频段相同，一个滤片单元的可通过频段与第二发光二极管的频段相同，因此，该终端可以通过该摄像头同时获取亮瞳图像和暗瞳图像，从而减少了获取图像时间，降低了对使用者进行视线追踪的延时，提高了视线追踪的精度。最后，该至少两个发光二极管均为红外二极管，该摄像头为红外摄像头，避免了该至少两个发光二极管发出的光线对使用者的视觉造成干扰或损伤，提高了该终端的安全性。
图15为本发明实施例提供的一种确定终端的使用者的视点的方法，参见图15，该方法可以用于上述任一种具有视线追踪功能的终端中，该方法包括：
步骤1501：该终端通过第一光源发出第一光线，通过第二光源发出第二光线，其中，该第一光线的频段与该第二光线的频段不同，该第一光源与摄像头的距离比该第二光源与该摄像头的距离短，该摄像头包括掩膜滤波层，该第一光源、该第二光源和该摄像头均在终端上。
其中，该终端可以每间隔预设时长，执行步骤1501中通过第一光源发出第一光线和通过第二光源发出第二光线的操作。
需要说明的是，该预设时长可以由该终端在通过第一光源发出第一光线，通过第二光源发出第二光线之前设定，且当该预设时长越短，对该使用者进行视线追踪的实时性和准确性越高。
进一步地，为了减少追踪使用者视线所用的时间，进而提高对使用者进行视线追踪的实时性，该终端通过该第一光源发出该第一光线的时刻和通过该第二光源发出该第二光线的时刻相同。
进一步地，由于第二光源的数目可能有多个，因此，当第二光源的数目为多个时，该终端可以在通过第二光源发出第二光线之前，在多个第二光源中确定至少一个第二光源。
其中，该终端可以通过下述两种可能的实现方式，在该多个第二光源中确定该至少一个第二光源：第一种可能的实现方式，为了确保当该使用者处于不同角度时，该终端也能够获取到暗瞳图像，提高视线追踪的成功率，该终端基于该多个第二光源在该终端的位置，选择至少一个位置的第二光源，将选择的第二光源确定为该至少一个第二光源；第二种可能的实现方式，该终端选择至少一种频段的第二光源，将选择的第二光源确定为该至少一个第二光源。当然，在实际应用中，该终端还可以通过其它可能的实现方式在该多个第二光源中选择该至少一个第二光源，本发明实施例对此不做具体限定。
还需要说明的是，该终端在每次选择设置在至少一个位置的第二红源或者选择与至少一种频段的第二光源时，可以是随机选择，也可以通过轮询的方式选择，当然，在实际应用中，该终端还可以通过其它方式选择，本发明实施例对此不做具体限定。
例如，该终端的右上角、右下角和左下角均设置有第二光源，该终端在本次通过第二光源发出第二光线之前，将设置在右上角的第二光源确定为该至少一个第二光源；在本次之后第一次通过第二光源发出第二光线之前，可以将设置在右下角的第二光源确定为该至少一个第二光源；在本次之后第二次通过第二光源发出第二光线之前，将设置在左下角的第二光源确定为该至少一个第二光源。
步骤1502：该终端通过该摄像头根据第一滤波光线获取第一图像，该第一滤波光线是反射后的第一光线经过该掩膜滤波层后的光线。
需要说明的是，由于第一光线为第一光源发出的光线，且第一光源与摄像头的距离比第二光源与该摄像头的距离短，因此，该终端通过该摄像头根据第一滤波光线获取的第一图像为该使用者眼部的亮瞳图像。
其中，该终端通过该摄像头根据第一滤波光线获取第一图像的操作可以为：该终端通过该摄像头曝光，获取该摄像头当前拍摄范围内的图像数据，基于该摄像头包括的掩膜滤波层中与第一光线频段相同的滤片单元的排列方式，从该摄像头的传感器中获取与第一滤波光线对应的图像数据，基于与第一滤波光线对应的图像数据，生成该亮瞳图像。
需要说明的是，为了确保该终端通过该摄像头能够根据第一滤波光线准确地获取第一图像，该终端通过该摄像头曝光的时刻与通过第一光源发出第一光线的时刻相同，当然，在实际应用中，该终端通过该摄像头曝光的时刻也可以是与通过第一光源发出第一光线的时刻相差特定时长，本发明实施例对此不做具体限定。
还需要说明的是，该特定时长可以由该终端在通过该摄像头曝光之前确定。
步骤1503：该终端通过该摄像头根据第二滤波光线获取第二图像，该第二滤波光线是反射后的第二光线经过该掩膜滤波层后的光线。
其中，由于第二光线为第二光源发出的光线，且第二光源与摄像头的距离比第二光源与该摄像头的距离短，因此，该终端通过该摄像头根据第二滤波光线获取的第二图像为该使用者眼部的暗瞳图像。
需要说明的是，该终端通过该摄像头根据第二滤波光线获取第二图像的操作与该终端通过该摄像头根据第一滤波光线获取第一图像的操作相似，本发明实施例不再一一赘述。
还需要说明的是，该终端通过该摄像头曝光的时刻也可以与通过第二光源发出第二光线的时刻相同，或者，该终端通过该摄像头曝光的时刻与通过第二光源发出第二光线的时刻相差该特定时长。
进一步地，由于该终端可能同时通过至少一个第二光源发出光线，从而同时发出至少一种频段的第二光线，因此，在步骤1503中，该终端可能获取到至少一个暗瞳图像。
另外，由前述可知，该终端通过该第一光源发出该第一光线的时刻和通过该第二光源发出该第二光线的时刻相同，因此，当该终端同时通过第一光源发出第一光线，通过第二光源发出第二光线时，该终端也可以同时执行步骤1302和1503的操作，从而同时获取第一图像和第二图像，以提高对该使用者的视线进行追踪的实时性。
步骤1504：该终端根据该第一图像和该第二图像确定使用者的视点。
由于该视点为该使用者的眼睛当前注视的位置信息，当该使用者的眼睛当前注视位置不同时，同一光源在经眼球反射后进入该摄像头所成的像的位置也是不同的，而第一图像为亮瞳图像，第二图像为暗瞳图像，且该亮瞳图像和该暗瞳图像均为与该使用者眼睛对光线进行反射有关的图像，所以可以根据该第一图像和该第二图像确定使用者的视点。
需要说明的是，该视点可以是一个具体的坐标值，当然，在实际应用中，该视点还可以是其它能够表示该使用者当前注视的位置信息，本发明实施例对此不做具体限定。
其中，该终端根据该第一图像和该第二图像确定使用者的视点的操作可以为：该终端根据该第一图像和该第二图像确定该使用者的瞳孔位置信息和反射点位置信息，根据该瞳孔位置信息、该反射点位置信息和预设的眼球几何模型确定该使用者的视点。
需要说明的是，由于该亮瞳图像中使用者眼睛的瞳孔部位是明亮的，而该暗瞳图像中每张暗瞳图像中使用者眼睛的瞳孔部位是灰暗的，因此，该亮瞳图像和该暗瞳图像中与瞳孔部位对应的像素值也会存在较大差距，而与其他部位对应的像素值则基本相同，所以可以对该亮瞳图像和该暗瞳图像的像素值进行差分，得到差分图像，该差分图像中明亮的位置即为瞳孔位置，因此，该终端可以确定该第一图像和第二图像的差分图像，基于该差分图像确定该瞳孔位置信息，对第二图像进行图像处理，确定第二图像中该使用者眼睛反射的第二光线的反射点位置信息。
还需要说明的是，对第一图像和第二图像进行差分的方法可以参考相关技术，本发明实施例不再一一赘述。
其中，该终端可以在根据该瞳孔位置信息、该反射点位置信息和预设的眼球几何模型确定该使用者的视点之前，基于角膜反射和角膜折射原理设定该眼球几何模型。
需要说明的是，该终端可以根据该瞳孔位置信息、该反射点位置信息和预设的眼球几何模型估算得到该使用者的视线方向，基于该视线方向确定该使用者的视点。
需要说明的是，该终端基于角膜反射和角膜折射原理设定该眼球几何模型的方法，以及根据该瞳孔位置信息、该反射点位置信息和预设的眼球几何模型估算得到该使用者的视线方向，基于该视线方向确定该使用者的视点方法，可以参考相关技术，本发明实施例对此不再一一赘述。
进一步地，当该终端获取到至少一个第二图像时，该终端可以在该至少一个第二图像中随机选择一个第二图像，根据第一图像和选择的第二图像确定一个瞳孔位置信息和一个反射点位置信息，从而确定该使用者的视点，当然，为了提高对该使用者的视线进行追踪的准确率，该终端也可以根据第一图像和该至少一个第二图像，确定一个瞳孔位置信息和至少一个反射点位置信息，从而根据一个瞳孔位置信息和该至少一个反射点位置信息确定该使用者的视点。
在本发明实施例中，该终端能够通过该终端上的第一光源发出第一光线，通过该终端上的第二光源发出第二光线，由于第一光源与该终端上的摄像头的距离比第二光源与摄像头的距离短，所以可以通过该摄像头根据反射后的第一光线经过该摄像头的掩膜滤波层后的第一滤波光线，获得第一图像，且第一图像为亮瞳图像，根据反射后的第二光线经过该掩膜滤波层后的第二滤波光线，获取得到第二图像，且第二图像为暗瞳图像，从而根据亮瞳图像和暗瞳图像确定该使用者的视点，提高了对使用者的视线进行追踪的准确率。其次，由于第一光线与第二光线的频段不同，且摄像头包括掩膜滤波层，所以该终端可以同时通过第一光源发出第一光线，通过第二光源发出第二光线，从而同时获取得到第一图像和第二图像，减少了获取图像的时间，提高了对使用者的视线进行追踪的实时性。
图16是本发明实施例提供的一种确定终端的使用者的视点装置的结构示意图，该确定终端的使用者的视点装置可以由软件、硬件或者两者的结合实现成为终端的部分或者全部，该终端可以为图3-6任一所示的终端。该确定终端的使用者的视点装置可以包括：发出模块161、第一获取模块162、第二获取模块163和确定模块164，发出获取模块161用于执行图15实施例中的步骤1501，第一获取模块162用于执行图15实施例中的步骤1502，第二获取模块163用于执行图15实施例中的步骤1503以及该确定模块164用于执行图15实施例中的步骤1504。
可选地，参见图17，确定模块164包括：
第一确定单元1641，用于根据该第一图像和该第二图像确定该使用者的瞳孔位置信息和反射点位置信息；
第二确定单元1642，根据该瞳孔位置信息、该反射点位置信息和预设的眼球几何模型确定该使用者的视点
可选地，该发出模块161发出该第一光线的时刻和发出该第二光线的时刻相同。
在本发明实施例中，该终端能够通过该终端上的第一光源发出第一光线，通过该终端上的第二光源发出第二光线，由于第一光源与该终端上的摄像头的距离比第二光源与摄像头的距离短，所以可以通过该摄像头根据反射后的第一光线经过该摄像头的掩膜滤波层后的第一滤波光线，获得第一图像，且第一图像为亮瞳图像，根据反射后的第二光线经过该掩膜滤波层后的第二滤波光线，获取得到第二图像，且第二图像为暗瞳图像，从而根据亮瞳图像和暗瞳图像确定该使用者的视点，提高了对使用者的视线进行追踪的准确率。
需要说明的是：上述实施例提供的视线追踪的装置在视线追踪时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将终端的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视线追踪装置与视线追踪方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图18为是本发明实施例提供的一种确定终端的使用者的视点装置的结构示意图。该终端主要包括有一个或者一个以上处理核心的处理器181、包括有一个或一个以上计算机可读存储介质的存储器182以及通信总线183等。本领域技术人员可以理解，图18中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，本发明实施例对此不做限定。
其中，该处理器181是该终端的控制中心，该处理器181可以一个通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。其中，该处理器181可以通过运行或执行存储在存储器182内的软件程序和/或模块，以及调用存储在存储器182内的数据，来实现图15中实施例所提供的确定终端的使用者的视点方法。
其中，该存储器182可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其它类型的静态存储设备，随机存取存储器(random access memory，RAM))或者可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由集成电路存取的任何其它介质，但不限于此。存储器182可以是独立存在，通过通信总线183与处理器182相连接。存储器182也可以和处理器181集成在一起。
另外，上述通信总线183可包括一通路，在上述处理器181和存储器182之间传送信息。
在本发明实施例中，该终端能够通过该终端上的第一光源发出第一光线，通过该终端上的第二光源发出第二光线，由于第一光源与该终端上的摄像头的距离比第二光源与摄像头的距离短，所以可以通过该摄像头根据反射后的第一光线经过该摄像头的掩膜滤波层后的第一滤波光线，获得第一图像，且第一图像为亮瞳图像，根据反射后的第二光线经过该掩膜滤波层后的第二滤波光线，获取得到第二图像，且第二图像为暗瞳图像，从而根据亮瞳图像和暗瞳图像确定该使用者的视点，提高了对使用者的视线进行追踪的准确率。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种具有视线追踪功能的终端，其特征在于，所述终端包括：
机体，摄像头，至少两个发光二极管，所述摄像头和所述至少两个发光二极管安装在所述机体上；
其中，所述发光二极管用于发射光线，所述摄像头用于采集经反射后的所述光线；
所述至少两个发光二极管包括四个发光二极管，分别为第四发光二极管，第五发光二极管，第六发光二极管、第七发光二极管；
其中，在全部的发光二极管与所述摄像头的距离中，所述第四发光二极管与所述摄像头的距离最短，所述第四发光二极管的频段与所述第五发光二极管的频段、所述第六发光二极管的频段和所述第七发光二极管的频段均不相同；
所述摄像头在所述机体的左上角，所述第四发光二极管在所述机体的左上角，所述第五发光二极管在所述机体的右上角，所述第六发光二极管在所述机体的左下角，所述第七发光二极管在所述机体的右下角；
其中，所述终端通过所述至少两个发光二极管发射光线，当所述光线经过使用者的眼睛发生反射之后，所述终端通过所述摄像头采集经反射后的光线，获取所述使用者的眼部图像，基于所述眼部图像，对所述使用者的视线进行追踪。
2.根据权利要求1所述的终端，其特征在于，所述第五发光二极管的频段、所述第六发光二极管的频段分别和所述第七发光二极管的频段相同；
所述摄像头包括掩膜滤波层，所述掩膜滤波层包括两个滤片单元，其中，所述第四发光二极管的频段与所述两个滤片单元中的一个滤片单元的可通过频段相同，所述第五发光二极管的频段与所述两个滤片单元中的另一个滤片单元的可通过频段相同。
3.根据权利要求1所述的终端，其特征在于，所述第六发光二极管的频段与所述第五发光二极管的频段不同，所述第五发光二极管的频段与所述第七发光二极管的频段相同；
所述述摄像头包括掩膜滤波层，所述掩膜滤波层包括三个滤片单元，其中，所述第四发光二极管的频段与所述三个滤片单元中的一个滤片单元的可通过频段相同，所述第五发光二极管的频段与所述三个滤片单元中的另一个滤片单元的可通过频段相同，所述第六发光二极管的频段与所述三个滤片单元中的另一个滤片单元的可通过频段相同。
4.如权利要求1-3任一所述的终端，其特征在于，所述至少两个发光二极管均为红外发光二极管，所述摄像头为红外摄像头。
5.一种确定终端的使用者的视点的方法，其特征在于，用于权利要求1至4任一所述的终端中，所述方法包括：
通过第一光源发出第一光线，通过第二光源发出第二光线，其中，所述第一光线的频段与所述第二光线的频段不同，所述第一光源与摄像头的距离比所述第二光源与所述摄像头的距离短，所述摄像头包括掩膜滤波层，所述第一光源、所述第二光源和所述摄像头均在终端上；
通过所述摄像头根据第一滤波光线获取第一图像，所述第一滤波光线是反射后的第一光线经过所述掩膜滤波层后的光线；
通过所述摄像头根据第二滤波光线获取第二图像，所述第二滤波光线是反射后的第二光线经过所述掩膜滤波层后的光线；
根据所述第一图像和所述第二图像确定使用者的视点。
6.根据权利要求5所述的确定终端的使用者的视点的方法，其特征在于，所述根据所述第一图像和所述第二图像确定使用者的视点，包括：
根据所述第一图像和所述第二图像确定所述使用者的瞳孔位置信息和反射点位置信息；
根据所述瞳孔位置信息、所述反射点位置信息和预设的眼球几何模型确定所述使用者的视点。
7.根据权利要求5或6所述的确定终端的使用者的视点的方法，其特征在于，通过所述第一光源发出所述第一光线的时刻和通过所述第二光源发出所述第二光线的时刻相同。
8.一种确定终端的使用者的视点的装置，其特征在于，用于权利要求1至4任一所述的终端中，所述装置包括：
发出模块，用于通过第一光源发出第一光线，通过第二光源发出第二光线，
其中，所述第一光线的频段与所述第二光线的频段不同，所述第一光源与摄像头的距离比所述第二光源与所述摄像头的距离短，所述摄像头包括掩膜滤波层，所述第一光源、所述第二光源和所述摄像头均在终端上；
第一获取模块，用于通过所述摄像头，根据第一滤波光线获取第一图像，所述第一滤波光线是反射后的第一光线经过所述掩膜滤波层后的光线；
第二获取模块，用于通过所述摄像头，根据第二滤波光线获取第二图像，所述第二滤波光线是反射后的第二光线经过所述掩膜滤波层后的光线；
确定模块，用于根据所述第一图像和所述第二图像确定使用者的视点。
9.根据权利要求8所述的确定终端的使用者的视点的装置，其特征在于，所述确定模块包括：
第一确定单元，用于根据所述第一图像和所述第二图像确定所述使用者的瞳孔位置信息和反射点位置信息；
第二确定单元，用于根据所述瞳孔位置信息、所述反射点位置信息和预设的眼球几何模型确定所述使用者的视点。
10.根据权利要求8或9所述的确定终端的使用者的视点的装置，其特征在于，所述发出模块通过所述第一光源发出所述第一光线的时刻和通过所述第二光源发出所述第二光线的时刻相同。
CN201610701368.XA 2016-08-22 2016-08-22 具有视线追踪功能的终端、确定使用者视点的方法及装置 Active CN106339085B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610701368.XA CN106339085B (zh) 2016-08-22 2016-08-22 具有视线追踪功能的终端、确定使用者视点的方法及装置
PCT/CN2017/075706 WO2018036134A1 (zh) 2016-08-22 2017-03-06 具有视线追踪功能的终端、确定使用者视点的方法及装置
US16/281,894 US10929659B2 (en) 2016-08-22 2019-02-21 Terminal with line-of-sight tracking function, and method and apparatus for determining point of gaze of user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610701368.XA CN106339085B (zh) 2016-08-22 2016-08-22 具有视线追踪功能的终端、确定使用者视点的方法及装置

Publications (2)

Publication Number Publication Date
CN106339085A CN106339085A (zh) 2017-01-18
CN106339085B true CN106339085B (zh) 2020-04-21

Family

ID=57824320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610701368.XA Active CN106339085B (zh) 2016-08-22 2016-08-22 具有视线追踪功能的终端、确定使用者视点的方法及装置

Country Status (3)

Country Link
US (1) US10929659B2 (zh)
CN (1) CN106339085B (zh)
WO (1) WO2018036134A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339085B (zh) 2016-08-22 2020-04-21 华为技术有限公司 具有视线追踪功能的终端、确定使用者视点的方法及装置
CN107085680B (zh) * 2017-04-18 2019-10-11 宇龙计算机通信科技(深圳)有限公司 一种操作终端的方法及装置
CN107301231A (zh) * 2017-06-26 2017-10-27 腾讯科技（深圳）有限公司 页面开启耗时的测试方法及测试***
CN107515466B (zh) * 2017-08-14 2019-11-26 华为技术有限公司 一种眼球追踪***和眼球追踪方法
CN108762511B (zh) * 2018-06-14 2020-08-25 北京七鑫易维信息技术有限公司 一种光源控制方法及装置
CN109144250B (zh) * 2018-07-24 2021-12-21 北京七鑫易维信息技术有限公司 一种位置调节的方法、装置、设备及存储介质
CN109246302A (zh) * 2018-09-13 2019-01-18 徐州新南湖科技有限公司 一种基于手机壳的app主题调整方法及***
CN110245607B (zh) * 2019-06-13 2021-09-14 Oppo广东移动通信有限公司 眼球追踪方法及相关产品
CN111258453A (zh) 2020-01-15 2020-06-09 京东方科技集团股份有限公司 一种触控面板、其制作方法及显示装置
EP3882686B1 (en) * 2020-03-19 2024-03-06 Aptiv Technologies Limited Optical system and method for monitoring a vehicle driver's eye gaze
CN116301301A (zh) * 2021-12-20 2023-06-23 华为技术有限公司 眼动追踪装置和眼动追踪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901485A (zh) * 2010-08-11 2010-12-01 华中科技大学 3d自由头动式视线跟踪***
CN102496005A (zh) * 2011-12-03 2012-06-13 辽宁科锐科技有限公司 基于眼球特征的审讯辅助研判分析***
CN104113680A (zh) * 2013-04-19 2014-10-22 北京三星通信技术研究有限公司 视线跟踪***及方法
CN105676565A (zh) * 2016-03-30 2016-06-15 武汉虹识技术有限公司 一种虹膜识别镜头、装置及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080136916A1 (en) * 2005-01-26 2008-06-12 Robin Quincey Wolff Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system
US9004687B2 (en) * 2012-05-18 2015-04-14 Sync-Think, Inc. Eye tracking headset and system for neuropsychological testing including the detection of brain damage
US20140028861A1 (en) * 2012-07-26 2014-01-30 David Holz Object detection and tracking
US11740692B2 (en) * 2013-11-09 2023-08-29 Shenzhen GOODIX Technology Co., Ltd. Optical eye tracking
CN106663183B (zh) * 2013-11-27 2020-04-24 深圳市汇顶科技股份有限公司 眼睛跟踪及用户反应探测
JP2015152939A (ja) * 2014-02-10 2015-08-24 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN104834381B (zh) * 2015-05-15 2017-01-04 中国科学院深圳先进技术研究院 用于视线焦点定位的可穿戴设备及视线焦点定位方法
CN106339085B (zh) * 2016-08-22 2020-04-21 华为技术有限公司 具有视线追踪功能的终端、确定使用者视点的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901485A (zh) * 2010-08-11 2010-12-01 华中科技大学 3d自由头动式视线跟踪***
CN102496005A (zh) * 2011-12-03 2012-06-13 辽宁科锐科技有限公司 基于眼球特征的审讯辅助研判分析***
CN104113680A (zh) * 2013-04-19 2014-10-22 北京三星通信技术研究有限公司 视线跟踪***及方法
CN105676565A (zh) * 2016-03-30 2016-06-15 武汉虹识技术有限公司 一种虹膜识别镜头、装置及方法

Also Published As

Publication number Publication date
US20190188469A1 (en) 2019-06-20
US10929659B2 (en) 2021-02-23
CN106339085A (zh) 2017-01-18
WO2018036134A1 (zh) 2018-03-01

Similar Documents

Publication Publication Date Title
CN106339085B (zh) 具有视线追踪功能的终端、确定使用者视点的方法及装置
CN108720851B (zh) 一种驾驶状态检测方法、移动终端及存储介质
US10165940B2 (en) Vision-based diagnosis and treatment
US10692210B2 (en) Recording medium storing computer program for pupil detection, information processing apparatus, and pupil detecting method
EP3065624B1 (en) Automated detection of eye alignment
US7832866B2 (en) Eye-tracking method and system for implementing the same
US20140313308A1 (en) Apparatus and method for tracking gaze based on camera array
US20140055342A1 (en) Gaze detection apparatus and gaze detection method
CN106778641B (zh) 视线估计方法及装置
EP3123943B1 (en) Detection device and detection method
CA2685976A1 (en) Methods and apparatus for estimating point-of-gaze in three dimensions
KR20170070110A (ko) 안경류를 통한 시선 추적
US10324529B1 (en) Method and system for glint/reflection identification
CN106127172A (zh) 一种非接触3d指纹采集的装置及方法
GB2523356A (en) Apparatus and method for robust eye/gaze tracking
JP6870474B2 (ja) 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法
CN113703572B (zh) 电子设备、控制方法、控制装置和存储介质
JP2013149050A (ja) 注目対象特定装置、注目対象特定方法、及びプログラム
EP3156879A1 (en) Historical representation in gaze tracking interface
KR20100038897A (ko) 눈동자 시선 추정 장치 및 추정 방법
CN110441923B (zh) 一种应用于智能眼镜设备上的防沉迷方法、装置、智能眼镜设备以及计算机存储介质
US10136047B2 (en) Focusing method and device for image shooting
CN112528714A (zh) 基于单光源的注视点估计方法、***、处理器及设备
CN113032017B (zh) 一种设备唤醒方法、装置及电子设备
KR20190107738A (ko) 이미지 처리 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant