CN109375765B - 眼球追踪交互方法和装置 - Google Patents

眼球追踪交互方法和装置 Download PDF

Info

Publication number
CN109375765B
CN109375765B CN201811011423.8A CN201811011423A CN109375765B CN 109375765 B CN109375765 B CN 109375765B CN 201811011423 A CN201811011423 A CN 201811011423A CN 109375765 B CN109375765 B CN 109375765B
Authority
CN
China
Prior art keywords
data
image
eyeball
distance
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811011423.8A
Other languages
English (en)
Other versions
CN109375765A (zh
Inventor
蒋壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Waterward Information Co Ltd
Original Assignee
Shenzhen Water World Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Water World Co Ltd filed Critical Shenzhen Water World Co Ltd
Priority to CN201811011423.8A priority Critical patent/CN109375765B/zh
Priority to PCT/CN2019/073763 priority patent/WO2020042541A1/zh
Publication of CN109375765A publication Critical patent/CN109375765A/zh
Application granted granted Critical
Publication of CN109375765B publication Critical patent/CN109375765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明揭示了一种眼球追踪交互方法和装置，包括通过摄像头获取用户看向指定观看区域的用户图像；从用户图像中查找人眼图像和眼球图像，获取人眼位置数据和眼球位置数据；根据人眼位置数据和所述眼球位置数据计算特征数据；根据预设的校准数据以及所述特征数据，计算所述特征数据对应的所述用户看向的特征点在所述指定观看区域的坐标；其中，所述预设的校准数据为指定观看区域内多个定位点的校准数据。本发明的眼球追踪交互方法和装置可以根据用户的眼动习惯来控制设备，人机交互方式友好，易于实现，且无需额外设备，成本较低。

Description

眼球追踪交互方法和装置
技术领域
本发明涉及人机交互技术领域，具体涉及一种眼球追踪交互方法和装置。
背景技术
随着手机、平板等各种终端设备的不断发展，终端设备的功能越来越丰富，人机交互的方式也越来越多样化。传统的人机交互是通过鼠标、键盘来实现。随着智能手机、平板电脑等移动设备的诞生，触摸屏成为更为友好的人机交互方式。近年来，语音输入技术也不断发展与成熟，为终端设备提供更加便捷的交互方式。人机交互方式朝着以人为中心，更为友好、便捷和智能的方向发展。
眼动控制方法是一种非接触的人机互动方式，通过追踪眼球位置来计算眼睛的注视点的位置。眼动控制对于无法双手操作的用户起到重大帮助。随着智能终端的发展，具有眼球追踪功能的游戏电脑使玩家在游戏场景中更为身临其境。
现有技术中，眼球追踪技术需要用到专用设备，如眼动仪。在这些专用设备使用过程中，用户需要根据说明书限定的眼动方式才可控制设备，用户不可根据自己的眼动习惯来控制设备，用户体验不高。人机交互方式的趋势是以人为中心、更为友好和便捷，因此眼动追踪也朝着根据用户眼动习惯来控制设备的方向发展。但现有技术中，不使用专用设备来进行眼球追踪，视线的定位准确度较低，经常会出现用户实际所看向的区域与通过图像分析计算得到的计算数据不符的现象，从而影响人机交互的进行，用户体验不高。
发明内容
本发明的主要目的为提供一种眼球追踪交互方法和装置，旨在解决现有技术中眼动控制需要用专用设备且不能根据用户眼动习惯来实现准确的视线定位的问题。
本发明提出一种眼球追踪交互方法，包括：
通过摄像头获取用户看向指定观看区域的用户图像；
从所述用户图像中查找人眼图像和眼球图像，获取人眼位置数据和眼球位置数据；
根据所述人眼位置数据和所述眼球位置数据计算特征数据；
根据预设的校准数据以及所述特征数据，计算所述特征数据对应的所述用户看向的特征点在所述指定观看区域的坐标；其中，所述预设的校准数据为指定观看区域内多个定位点的校准数据。
进一步地，所述根据所述人眼位置数据和所述眼球位置数据计算特征数据的步骤，包括：
根据所述人眼位置数据，计算用户看向所述特征点时的距离特征数据；以及根据所述人眼位置数据和所述眼球位置数据，计算用户看向所述特征点时的眼球位置横向特征数据与眼球位置纵向特征数据。
进一步地，其特征在于，所述通过摄像头获取用户看向指定观看区域的用户图像的步骤前还包括：
检索存储器，判断所述存储器中是否有所述预设的校准数据；
若否，则存储所述预设的校准数据。
进一步地，其特征在于，所述预设的校准数据包括距离校准数据、横向校准数据和纵向校准数据；所述根据预设的校准数据以及所述特征数据，计算所述特征数据对应的所述用户看向的特征点在所述指定观看区域的坐标的步骤，包括：
判断所述距离特征数据是否在所述距离校准数据的校准范围内；
若是，则对所述特征点进行位置初判，得到所述特征点位于所述指定观看区域的位置区间；
根据所述位置区间所对应的预设计算公式计算所述特征点的坐标。
进一步地，其特征在于，所述对所述特征点进行位置初判，得到所述特征点位于所述指定观看区域的位置区间的步骤，包括：
通过将所述横向特征数据与所述横向校准数据进行大小比较，得到所述特征点位于所述指定观看区域的横向位置区间；以及通过将所述纵向特征数据与所述纵向校准数据进行大小比较，得到所述特征点位于所述指定观看区域的纵向位置区间。
本发明还提出了一种眼球追踪交互装置，包括：
图像获取模块，用于通过摄像头获取用户看向指定观看区域的用户图像；
图像分析模块，用于从所述用户图像中查找人眼图像和眼球图像，获取人眼位置数据和眼球位置数据；
数据计算模块，用于根据所述人眼位置数据和所述眼球位置数据计算特征数据；
视线定位模块，用于根据预设的校准数据以及所述特征数据，计算所述特征数据对应的所述用户看向的特征点在所述指定观看区域的坐标；其中，所述预设的校准数据为指定观看区域内多个定位点的校准数据。
进一步地，所述数据计算模块包括：
第一数据获取单元，用于根据所述人眼位置数据，计算用户看向所述特征点时的距离特征数据；
第二数据获取单元，用于根据所述人眼位置数据和所述眼球位置数据，计算用户看向所述特征点时的眼球位置横向特征数据与眼球位置纵向特征数据。
进一步地，所述图像获取模块前还包括：
判断模块，用于检索存储器，判断所述存储器中是否有所述预设的校准数据；
校准模块，用于若所述存储器中没有所述预设的校准数据，则存储所述预设的校准数据。
进一步地，所述预设的校准数据包括距离校准数据、横向校准数据和纵向校准数据；所述视线定位模块包括：
距离判断单元，用于判断所述距离特征数据是否在所述距离校准数据的校准范围内；
位置初判单元，用于若所述距离特征数据在所述距离校准数据的校准范围内，则对所述特征点进行位置初判，得到所述特征点位于所述指定观看区域的位置区间；
坐标计算单元，用于根据所述位置区间所对应的预设计算公式计算所述特征点的坐标。
进一步地，所述位置初判单元包括，
第一初判子单元，用于通过将所述横向特征数据与所述横向校准数据进行大小比较，得到所述特征点位于所述指定观看区域的横向位置区间；
第二初判子单元，用于通过将所述纵向特征数据与所述纵向校准数据进行大小比较，得到所述特征点位于所述指定观看区域的纵向位置区间。
本发明的有益效果：
本发明的眼球追踪交互方法和装置，通过普通摄像头采集用户图像，从用户图像中查找人眼和眼球，对人眼位置和眼球位置的特征数据进行计算，并根据特征数据和预设的校准数据进行计算，获得特征数据对应的用户视线在指定观看区域的坐标，实现视线定位。本发明的特征数据和校准数据均根据用户的眼动习惯来采集，人机交互方式友好，易于实现，且无需额外设备，成本较低。
附图说明
图1是本发明一实施例的眼动追踪交互方法的流程示意图；
图2是图1中步骤S3的流程示意图；
图3是本发明又一实施例的包括校准步骤的眼动追踪交互方法的流程示意图；
图4是本发明一实施例的指定观看区域的定位点的示意图；
图5是图1中步骤S4的流程示意图；
图6是图5中的步骤S42的对特征点进行位置初判的流程示意图；
图7是本发明一实施例的眼球追踪交互装置的结构示意框图；
图8是图7中数据计算模块的结构示意框图；
图9是本发明又一实施例的眼球追踪交互装置的结构示意框图；
图10是图7中视线定位模块的结构示意框图；
图11是图10中位置初判单元的结构示意框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
参照图1，本发明实施例提供了一种眼球追踪交互方法，包括：
S1、通过摄像头获取用户看向指定观看区域的用户图像；
S2、从所述用户图像中查找人眼图像和眼球图像，获取人眼位置数据和眼球位置数据；
S3、根据所述人眼位置数据和所述眼球位置数据计算特征数据；
S4、根据预设的校准数据以及所述特征数据，计算所述特征数据对应的所述用户看向的特征点在所述指定观看区域的坐标；其中，所述预设的校准数据为指定观看区域内多个定位点的校准数据。
本实施例中，指定观看区域包括于用户进行人机交互的终端设备界面，例如可以是智能手机显示屏、平板显示屏、智能电视显示屏、个人电脑显示屏、笔记本电脑显示屏等，本发明对此不作限定；摄像头包括终端设备自带的前置摄像头、外接摄像头，如手机前置摄像头等，本发明对此不作限定。
本实施例步骤S1中，以眼动控制手机显示屏为例，用户根据自己的习惯在距离手机显示屏合适的距离处，眼睛看向手机显示屏的特征点，通过手机前置摄像头采集人眼看向该特征点的图像。具体地，可以用摄像头持续实时采集图像，通过预先训练好的分类器区分人眼的状态，人眼状态包括注视、眼神移动、单眼眨眼、双眼眨眼、多次眨眼等，当判断人眼处于某一上述状态时，则采集用户图像。本发明对涉及的分类器类型不做具体限定。
本实施例步骤S2中，为了提高人眼图像和眼球图像查找的查找效率和准确度，先从所述用户图像中查找人脸图像，再从所述人脸图像中查找人眼图像，最后从所述人眼图像中查找眼球图像。
先从图像中查找人脸图像，如果在图像中没有查找到人脸图像，则返回获取用户图像步骤，调整用户和指定观看区域的相对位置，直至摄像头获取的用户图像中能查找到人脸图像。人脸图像的查找方法较多，比如：利用人脸规则(如眼睛、鼻子、嘴巴等的分布)对输入图像进行人脸检测；通过寻找人脸面部不变的特征(如肤色、边缘、纹理)来对输入图像进行人脸检测；将人脸的面部特征用一个标准的人脸模板来描述，进行人脸检测时，先计算输入图像与标准人脸模板之间的相关值，然后再将求得的相关值与事先设定的阂值进行比较，以判别输入图像中是否存在人脸；将人脸区域看作一类模式，使用大量的人脸数据作样本训练，来学习潜在的规则并构造分类器，通过判别图像中所有可能区域模式属性来实现人脸的检测。本实施例中的人脸图像查找可以采用上述任意一种方法。查找到的人脸图像用矩形框标出。
从人脸图像中查找人眼图像，如果没有查找到人眼图像，则返回获取用户图像步骤，重新获取用户图像，直至本步骤能查找到人眼图像。人眼查找的方法包括基于模板匹配的方法、基于统计的方法和基于知识的方法。其中基于模板匹配的方法包括灰度投影模板和几何特征模板：灰度投影法是指对人脸灰度图像进行水平和垂直方向的投影，分别统计出两个方向上的灰度值和/或灰度函数值，找出特定变化点，然后根据先验知识将不同方向上的变化点位置相结合，即得到人眼的位置；几何特征模板是利用眼睛的个体特征以及分布特征作为依据来实施人眼检测。基于统计的方法一般是通过对大量目标样本和非目标样本进行训练学习得到一组模型参数，然后基于模型构建分类器或者滤波器来检测目标。基于知识的方法是确定图像的应用环境，总结特定条件下可用于人眼检测的知识(如轮廓信息、色彩信息、位置信息)等，把它们归纳成指导人眼检测的规则。本实施例中的人眼图像查找可以采用上述任意一种方法，查找到左眼图像和右眼图像，用矩形框分别框出左眼图像和右眼图像，获得下述人眼位置数据，包括：
r1：左眼图像的矩形框的左上顶点距离人脸图像的最左边的距离；
t1：左眼图像的矩形框的左上顶点距离人脸图像的最上边的距离；
w1：左眼图像的矩形框的宽度；
h1：左眼图像的矩形框的高度；
r2：右眼图像的矩形框的左上顶点距离人脸图像的最左边的距离；
t2：右眼图像的矩形框的左上顶点距离人脸图像的最上边的距离；
w2：右眼图像的矩形框的宽度；
h2：右眼图像的矩形框的高度。
从人眼图像中查找眼球图像包括从左眼图像中查找到左眼球图像，从右眼图像中查找右眼球图像。如果没有查找到眼球图像，则返回获取用户图像步骤，重新获取用户图像，直至本步骤中能查找到眼球图像。眼球查找的方法包括神经网络法、边缘点积分投影曲线的极值位置判别法、模板匹配法、多分辨率的马赛克图法、几何及对称性检测法、基于霍夫变换法等。本实施例中的眼球图像查找可以采用上述任意一种方法，查找到左眼球图像和右眼球图像，用矩形框分别框出左眼球图像和右眼球图像，获得得到下述眼球位置数据，包括：
r3：左眼球图像的矩形框的左上顶点距离人脸图像的最左边的距离；
t3：左眼球图像的矩形框的左上顶点距离人脸图像的最上边的距离；
w3：左眼球图像的矩形框的宽度；
h3：左眼球图像的矩形框的高度；
r4：右眼球图像的矩形框的左上顶点距离人脸图像的最左边的距离；
t4：右眼球图像的矩形框的左上顶点距离人脸图像的最上边的距离；
w4：右眼球图像的矩形框的宽度；
h4：右眼球图像的矩形框的高度。
本实施例中给出了从人脸图像中获取眼球位置数据的具体参数。基于本发明的发明理念，也可以从人眼图像中获取眼球位置数据，本发明不对从人眼图像中获取眼球位置数据进行赘述。
本步骤S3-S4中，根据步骤S2获得的人眼位置数据和眼球位置数据来计算特征数据，与预先收集的指定观看区域内定位点的校准数据进行对照并计算，得到用户视线所看向的特征点在指定观看区域的坐标。
进一步地，参照图2，所述根据所述人眼位置数据和所述眼球位置数据计算特征数据的步骤，包括：
S31、根据所述人眼位置数据，计算用户看向所述特征点时的距离特征数据；以及根据所述人眼位置数据和所述眼球位置数据，计算用户看向所述特征点时的眼球位置横向特征数据与眼球位置纵向特征数据。。
本实施例中，步骤S31计算距离特征数据的具体过程如下：
通过公式(1)计算左眼中心位置坐标(x1,y1)，
Pot(x1,y1)＝Pot(r1+w1/2,t1+h1/2) (1)
通过公式(2)计算右眼中心位置坐标(x2,y2)，
Pot(x2,y2)＝Pot(r2+w2/2,t2+h2/2) (2)
通过公式(3)计算左眼中心与右眼中心的距离dx，dx即为距离特征数据。
Figure BDA0001785128400000081
本实施例中，步骤S31计算横向特征数据和纵向特征数据的具体过程如下：
通过公式(4)计算左眼球中心位置坐标(x3,y3)，
Pot(x3,y3)＝Pot(r3+w3/2,t3+h3/2) (4)
通过公式(5)计算右眼球中心位置坐标(x4,y4)，
Pot(x4,y4)＝Pot(r4+w4/2,t4+h4/2) (5)
通过公式(6)计算左眼球中心与左眼图像的最左边之间的第一横向距离d1：
d1＝x3–r1 (6)
通过公式(7)计算左眼球中心与左眼图像的最上边之间的第一纵向距离d3：
d3＝y3–t1 (7)
通过公式(8)计算右眼球中心与右眼图像的最右边之间的第二横向距离d2：
d2＝r2+w2–x4 (8)
通过公式(9)计算右眼球中心与右眼图像的最下边之间的第二纵向距离d4：
d4＝t2+h2–y4 (9)
通过公式(10)计算横向特征数据mx：
mx＝d1/d2 (10)
通过公式(11)计算纵向特征数据nx：
nx＝d3/d4 (11)
通过步骤S31，获得用户看向特征点时的特征数据(dx,mx,nx)。
进一步地，参照图3，所述通过摄像头获取用户看向指定观看区域的用户图像的步骤前还包括：
S01、检索存储器，判断所述存储器中是否有所述预设的校准数据；
S02、若否，则存储所述预设的校准数据。
本实施例中，用户在开始眼动控制手机显示屏之前，需要先判断是否已经进行过校准，如果存储器中查找不到校准数据，则先进行眼动控制校准。具体地，参照图4，为指定观看区域的定位点的示意图，包括左上、中上、右上、左中、中中、右中、左下、中下和右下的9个定位点，其中左上、左中、左下、中下、中中和中上包围的指定观看区域为左边区域，右上、右中、右下、中下、中中和中上包围的指定观看区域为右边区域，左上、左中、中中、右中、右上和中上包围的指定观看区域为上边区域，左下、左中、中中、右中、右下和中下包围的指定观看区域为下边区域。
步骤S02中，用户根据自己的习惯在距离手机显示屏合适的距离处，眼睛注视手机显示屏的一个定位点，通过手机前置摄像头采集人眼注视该定位点的图像。比如，可以预先设置注视时间，提醒用户持续注视该定位点，在达到预设的注视时间时长时，摄像头获得拍摄指令，采集图像；也可以用摄像头持续实时采集图像，通过训练好的分类器区分人眼的状态，如果判断人眼处于注视状态，则获取注视状态中的任一帧图像。进一步从获取的图像中查找人眼图像和眼球图像，获取到人眼位置数据和眼球位置数据；根据所述人眼位置数据和所述眼球位置数据计算一系列校准数据，依次记录所述校准数据与所述定位点的对应关系。具体地，用户首先看向左上定位点，摄像头采集人眼注视左上定位点的图像，从该图像中查找人眼图像和眼球图像，获取人眼位置数据和眼球位置数据，计算校准数据，记录该校准数据与左上定位点的对应关系；用户再开始看向中上定位点，其余步骤同左上定位点；直至左上、中上、右上、左中、中中、右中、左下、中下和右下的9个定位点的校准数据和定位点的对应关系均采集完毕。本步骤S02中的从图像中获取人眼注视定位点的人眼位置数据和眼球位置数据的方法与步骤S2相同，在此不做赘述。本步骤S02中的校准数据包括距离校准数据、横向校准数据和纵向校准数据。其中，距离校准数据的计算方法和步骤S31的距离特征数据的计算方法相同，横向校准数据的计算方法和步骤S31的横向特征数据的计算方法相同，纵向校准数据的计算方法和步骤S31的纵向特征数据的计算方法相同，在此均不做赘述。本实施例的校准数据和特征数据的不同之处在于校准数据对应于定位点，而特征数据对应于用户视线指向的特征点，两者均根据用户的眼动习惯获取，且采用相同的计算方法进行计算，有利于提高特征点坐标计算的准确度。
本步骤S02获得左上(d11,m11,n11)、中上(d12,m12,n12)、右上(d13,m13,n13)、左中(d21,m21,n21)、中中(d22,m22,n22)、右中(d23,m23,n23)、左下(d31,m31,n31)、中下(d32,m32,n32)和右下(d33,m33,n33)的9个定位点的校准数据。其中d11、d12、d13、d21、d22、d23、d31、d32和d33是各个定位点的距离校准数据，m11、m12、m13、m21、m22、m23、m31、m32和m33是各个定位点的横向校准数据，n11、n12、n13、n21、n22、n23、n31、n32和n33是各个定位点的纵向校准数据。
进一步地，参照图5，所述预设的校准数据包括距离校准数据、横向校准数据和纵向校准数据；所述根据预设的校准数据以及所述特征数据，计算所述特征数据对应的所述用户看向的特征点在所述指定观看区域的坐标的步骤，包括：
S41、判断所述距离特征数据是否在所述距离校准数据的校准范围内；
S42、若是，则对所述特征点进行位置初判，得到所述特征点位于所述指定观看区域的位置区间；
S43、根据所述位置区间所对应的预设计算公式计算所述特征点的坐标。
本实施例中，步骤S41，提取出9个定位点的距离校准数据d11、d12、d13、d21、d22、d23、d31、d32和d33中的最大值和最小值，得到距离校准数据的校准范围，判断距离特征数据dx是否在上述的距离校准数据的最大值和最小值之间。
步骤S42中，如果距离特征数据dx不在上述的最大值和最小值之间，则调整用户与指定观看区域的距离，直至距离特征数据dx落入上述的最大值和最小值之间。如果距离特征数据dx在上述的最大值和最小值之间，则对特征点位置进行初判，判断特征点在指定观看区域位于哪个位置区间，比如位于左边区域还是右边区域，位于上边区域还是下边区域。通过要求距离特征数据dx落入校准时的距离校准数据范围，使得测试时用户与指定观看区域的距离与校准时相同或非常接近，以提高视线追踪的准确度。
步骤S43中，根据不同位置区间所对应的预设计算公式计算用户所看向的特征点在指定观看区域内的坐标(xi,yi)，从而实现视线追踪。
具体地，根据公式(12)计算特征点的横坐标xi。
xi＝Qx+Rx*((mx–mmin)/(mmax-mmin)) (12)
其中Qx为常数，Rx为指定观看区域的总宽度像素值/2，mx为特征点的横向特征数据，mmin为特征点所处位置区间的最小横向校准数据，mmax为特征点所处位置区间的最大横向校准数据。
如果特征点位于左边区域，则Qx＝0，mmin为m11、m21和m31中的最小值，mmax为m12、m22和m32中的最大值；
如果特征点位于右边区域，则Qx＝Rx，mmin为m12、m22和m32中的最小值，mmax为m13、m23和m33中的最大值；
如果特征点位于左边区域和右边区域的交界处，则xi＝Rx。
根据公式(13)计算特征点的纵坐标yi。
yi＝Qy+Ry*((nx–nmin)/(nmax-nmin)) (13)
其中Qy为常数，Ry为指定观看区域的总高度像素值/2，nx为特征点的纵向特征数据，nmin为特征点所处位置区间的最小纵向校准数据，nmax为特征点所处位置区间的最大纵向校准数据。
如果特征点位于上边区域，则Qy＝0，nmin为n11、n12和n13中的最小值，nmax为n21、n22和n21中的最大值；
如果特征点位于下边区域，则Qy＝Ry，mmin为n21、n22和n21中的最小值，nmax为n31、n32和n33中的最大值；
如果特征点位于上边区域和下边区域的交界处，则yi＝Ry。
进一步地，参照图6，所述对所述特征点进行位置初判，得到所述特征点位于所述指定观看区域的位置区间的步骤，包括：
S431、通过将所述横向特征数据与所述横向校准数据进行大小比较，得到所述特征点位于所述指定观看区域的横向位置区间；以及通过将所述纵向特征数据与所述纵向校准数据进行大小比较，得到所述特征点位于所述指定观看区域的纵向位置区间。
本实施例中，步骤S431中横向位置区间的判断，如果min(m11,m21,m31)＜mx＜m22，则特征点位于左边区域；如果m22＜mx＜max(m13,m23,m33)，则特征点位于右边区域；如果mx＝m22，则特征点位于左边区域和右边区域的交界；如果mx＜min(m11,m21,m31)或mx＞max(m13,m23,m33)，则特征点不在指定观看区域上，需要重新进入步骤S1获取用户图像。其中min(m11,m21,m31)指m11,m21,m31中的最小值，max(m13,m23,m33)指m13,m23,m33中的最大值。
步骤S431中纵向位置区间的判断，如果min(n11,n12,n13)＜nx＜n22，则特征点位于上边区域；如果n22＜nx＜max(n31,n32,n33)，则特征点位于下边区域；如果nx＝n22，则特征点位于上边区域和下边区域的交界；如果nx＜min(n11,n12,n13)或nx＞max(n31,n32,n33)，则特征点不在指定观看区域上，需要重新进入步骤S1获取用户图像。其中min(n11,n12,n13)指n11,n12,n13中的最小值，max(n31,n32,n33)指n31,n32,n33中的最大值。
本发明实施例的眼球追踪交互方法，通过普通摄像头采集用户图像，从用户图像中查找人眼和眼球，对人眼位置和眼球位置的特征数据进行计算，并根据特征数据和预设的校准数据对进行计算，获得特征数据对应的用户视线在指定观看区域的坐标，实现视线定位。本发明实施例的特征数据和校准数据均根据用户的眼动习惯来采集，人机交互方式友好，易于实现，且无需额外设备，成本较低。
参照图7，本发明还提出了一种眼球追踪交互装置，包括：
图像获取模块10，用于通过摄像头获取用户看向指定观看区域的用户图像；
图像分析模块20，用于从所述用户图像中查找人眼图像和眼球图像，获取人眼位置数据和眼球位置数据；
数据计算模块30，用于根据所述人眼位置数据和所述眼球位置数据计算特征数据；
视线定位模块40，用于根据预设的校准数据以及所述特征数据，计算所述特征数据对应的所述用户看向的特征点在所述指定观看区域的坐标；其中，所述预设的校准数据为指定观看区域内多个定位点的校准数据。
本实施例中，指定观看区域包括于用户进行人机交互的终端设备界面，例如可以是智能手机显示屏、平板显示屏、智能电视显示屏、个人电脑显示屏、笔记本电脑显示屏等，本发明对此不作限定；摄像头包括终端设备自带的前置摄像头、外接摄像头，如手机前置摄像头等，本发明对此不作限定。
本实施例图像获取模块10中，以眼动控制手机显示屏为例，用户根据自己的习惯在距离手机显示屏合适的距离处，眼睛看向手机显示屏的特征点，通过手机前置摄像头采集人眼看向该特征点的图像。具体地，可以用摄像头持续实时采集图像，通过预先训练好的分类器区分人眼的状态，人眼状态包括注视、眼神移动、单眼眨眼、双眼眨眼、多次眨眼等，当判断人眼处于某一上述状态时，则采集用户图像。本发明对涉及的分类器类型不做具体限定。
本实施例图像分析模块20中，为了提高人眼图像和眼球图像查找的查找效率和准确度，先从所述用户图像中查找人脸图像，再从所述人脸图像中查找人眼图像，最后从所述人眼图像中查找眼球图像。
先从图像中查找人脸图像，如果在图像中没有查找到人脸图像，则返回获取用户图像步骤，调整用户和指定观看区域的相对位置，直至摄像头获取的用户图像中能查找到人脸图像。人脸图像的查找方法较多，比如：利用人脸规则(如眼睛、鼻子、嘴巴等的分布)对输入图像进行人脸检测；通过寻找人脸面部不变的特征(如肤色、边缘、纹理)来对输入图像进行人脸检测；将人脸的面部特征用一个标准的人脸模板来描述，进行人脸检测时，先计算输入图像与标准人脸模板之间的相关值，然后再将求得的相关值与事先设定的阂值进行比较，以判别输入图像中是否存在人脸；将人脸区域看作一类模式，使用大量的人脸数据作样本训练，来学习潜在的规则并构造分类器，通过判别图像中所有可能区域模式属性来实现人脸的检测。本实施例中的人脸图像查找可以采用上述任意一种方法。查找到的人脸图像用矩形框标出。
从人脸图像中查找人眼图像，如果没有查找到人眼图像，则返回获取用户图像步骤，重新获取用户图像，直至本步骤能查找到人眼图像。人眼查找的方法包括基于模板匹配的方法、基于统计的方法和基于知识的方法。其中基于模板匹配的方法包括灰度投影模板和几何特征模板：灰度投影法是指对人脸灰度图像进行水平和垂直方向的投影，分别统计出两个方向上的灰度值和/或灰度函数值，找出特定变化点，然后根据先验知识将不同方向上的变化点位置相结合，即得到人眼的位置；几何特征模板是利用眼睛的个体特征以及分布特征作为依据来实施人眼检测。基于统计的方法一般是通过对大量目标样本和非目标样本进行训练学习得到一组模型参数，然后基于模型构建分类器或者滤波器来检测目标。基于知识的方法是确定图像的应用环境，总结特定条件下可用于人眼检测的知识(如轮廓信息、色彩信息、位置信息)等，把它们归纳成指导人眼检测的规则。本实施例中的人眼图像查找可以采用上述任意一种方法，查找到左眼图像和右眼图像，用矩形框分别框出左眼图像和右眼图像，获得下述人眼位置数据，包括：
r1：左眼图像的矩形框的左上顶点距离人脸图像的最左边的距离；
t1：左眼图像的矩形框的左上顶点距离人脸图像的最上边的距离；
w1：左眼图像的矩形框的宽度；
h1：左眼图像的矩形框的高度；
r2：右眼图像的矩形框的左上顶点距离人脸图像的最左边的距离；
t2：右眼图像的矩形框的左上顶点距离人脸图像的最上边的距离；
w2：右眼图像的矩形框的宽度；
h2：右眼图像的矩形框的高度。
从人眼图像中查找眼球图像包括从左眼图像中查找到左眼球图像，从右眼图像中查找右眼球图像。如果没有查找到眼球图像，则返回获取用户图像步骤，重新获取用户图像，直至本步骤中能查找到眼球图像。眼球查找的方法包括神经网络法、边缘点积分投影曲线的极值位置判别法、模板匹配法、多分辨率的马赛克图法、几何及对称性检测法、基于霍夫变换法等。本实施例中的眼球图像查找可以采用上述任意一种方法，查找到左眼球图像和右眼球图像，用矩形框分别框出左眼球图像和右眼球图像，获得得到下述眼球位置数据，包括：
r3：左眼球图像的矩形框的左上顶点距离人脸图像的最左边的距离；
t3：左眼球图像的矩形框的左上顶点距离人脸图像的最上边的距离；
w3：左眼球图像的矩形框的宽度；
h3：左眼球图像的矩形框的高度；
r4：右眼球图像的矩形框的左上顶点距离人脸图像的最左边的距离；
t4：右眼球图像的矩形框的左上顶点距离人脸图像的最上边的距离；
w4：右眼球图像的矩形框的宽度；
h4：右眼球图像的矩形框的高度。
本实施例中给出了从人脸图像中获取眼球位置数据的具体参数。基于本发明的发明理念，也可以从人眼图像中获取眼球位置数据，本发明不对从人眼图像中获取眼球位置数据进行赘述。
本实施例数据计算模块30和视线定位模块40中，根据图像分析模块20获得的人眼位置数据和眼球位置数据来计算特征数据，与预先收集的指定观看区域内定位点的校准数据进行对照并计算，得到用户视线所看向的特征点在指定观看区域的坐标。
进一步地，参照图8，所述数据计算模块30包括：
第一数据获取单元301，用于根据所述人眼位置数据，计算用户看向所述特征点时的距离特征数据；
第二数据获取单元302，用于用于根据所述人眼位置数据和所述眼球位置数据，计算用户看向所述特征点时的眼球位置横向特征数据与眼球位置纵向特征数据。
本实施例中，第一数据获取单元301计算距离特征数据的具体过程如下：
通过公式(14)计算左眼中心位置坐标(x1,y1)，
Pot(x1,y1)＝Pot(r1+w1/2,t1+h1/2) (14)
通过公式(15)计算右眼中心位置坐标(x2,y2)，
Pot(x2,y2)＝Pot(r2+w2/2,t2+h2/2) (15)
通过公式(16)计算左眼中心与右眼中心的距离dx，dx即为距离特征数据。
Figure BDA0001785128400000161
本实施例中，第二数据获取单元302计算横向特征数据和纵向特征数据的具体过程如下：
通过公式(17)计算左眼球中心位置坐标(x3,y3)，
Pot(x3,y3)＝Pot(r3+w3/2,t3+h3/2) (17)
通过公式(18)计算右眼球中心位置坐标(x4,y4)，
Pot(x4,y4)＝Pot(r4+w4/2,t4+h4/2) (18)
通过公式(19)计算左眼球中心与左眼图像的最左边之间的第一横向距离d1：
d1＝x3–r1 (19)
通过公式(20)计算左眼球中心与左眼图像的最上边之间的第一纵向距离d3：
d3＝y3–t1 (20)
通过公式(21)计算右眼球中心与右眼图像的最右边之间的第二横向距离d2：
d2＝r2+w2–x4 (21)
通过公式(22)计算右眼球中心与右眼图像的最下边之间的第二纵向距离d4：
d4＝t2+h2–y4 (22)
通过公式(23)计算横向特征数据mx：
mx＝d1/d2 (23)
通过公式(24)计算纵向特征数据nx：
nx＝d3/d4 (24)
通过第一数据获取单元301和第二数据获取单元302，获得用户看向特征点时的特征数据(dx,mx,nx)。
进一步地，参照图9，所述图像获取模块10前还包括：
判断模块01，用于检索存储器，判断所述存储器中是否有所述预设的校准数据；
校准模块02，用于若所述存储器中没有所述预设的校准数据，则存储所述预设的校准数据。
本实施例中，用户在开始眼动控制手机显示屏之前，需要先判断是否已经进行过校准，如果存储器中查找不到校准数据，则先进行眼动控制校准。具体地，参照图4，为指定观看区域的定位点的示意图，包括左上、中上、右上、左中、中中、右中、左下、中下和右下的9个定位点，其中左上、左中、左下、中下、中中和中上包围的指定观看区域为左边区域，右上、右中、右下、中下、中中和中上包围的指定观看区域为右边区域，左上、左中、中中、右中、右上和中上包围的指定观看区域为上边区域，左下、左中、中中、右中、右下和中下包围的指定观看区域为下边区域。
校准模块02中，用户根据自己的习惯在距离手机显示屏合适的距离处，眼睛注视手机显示屏的一个定位点，通过手机前置摄像头采集人眼注视该定位点的图像。比如，可以预先设置注视时间，提醒用户持续注视该定位点，在达到预设的注视时间时长时，摄像头获得拍摄指令，采集图像；也可以用摄像头持续实时采集图像，通过训练好的分类器区分人眼的状态，如果判断人眼处于注视状态，则获取注视状态中的任一帧图像。进一步从获取的图像中查找人眼图像和眼球图像，获取到人眼位置数据和眼球位置数据；根据所述人眼位置数据和所述眼球位置数据计算一系列校准数据，依次记录所述校准数据与所述定位点的对应关系。具体地，用户首先看向左上定位点，摄像头采集人眼注视左上定位点的图像，从该图像中查找人眼图像和眼球图像，获取人眼位置数据和眼球位置数据，计算校准数据，记录该校准数据与左上定位点的对应关系；用户再开始看向中上定位点，其余步骤同左上定位点；直至左上、中上、右上、左中、中中、右中、左下、中下和右下的9个定位点的校准数据和定位点的对应关系均采集完毕。校准模块02中的从图像中获取人眼注视定位点的人眼位置数据和眼球位置数据的方法与图像分析模块20相同，在此不做赘述。校准模块02中的预设的校准数据包括距离校准数据、横向校准数据和纵向校准数据。其中，距离校准数据的计算方法和第一数据获取单元301的计算方法相同，横向校准数据和纵向校准数据的计算方法与第二数据获取单元302的计算方法相同，在此均不做赘述。本实施例的校准数据和特征数据的不同之处在于校准数据对应于定位点，而特征数据对应于用户视线指向的特征点，两者均根据用户的眼动习惯获取，且采用相同的计算方法进行计算，有利于提高特征点坐标计算的准确度。
校准模块02获得左上(d11,m11,n11)、中上(d12,m12,n12)、右上(d13,m13,n13)、左中(d21,m21,n21)、中中(d22,m22,n22)、右中(d23,m23,n23)、左下(d31,m31,n31)、中下(d32,m32,n32)和右下(d33,m33,n33)的9个定位点的校准数据。其中d11、d12、d13、d21、d22、d23、d31、d32和d33是各个定位点的距离校准数据，m11、m12、m13、m21、m22、m23、m31、m32和m33是各个定位点的横向校准数据，n11、n12、n13、n21、n22、n23、n31、n32和n33是各个定位点的纵向校准数据。
进一步地，参照图10，所述预设的校准数据包括距离校准数据、横向校准数据和纵向校准数据；所述视线定位模块40包括：
距离判断单元401，用于判断所述距离特征数据是否在所述距离校准数据的校准范围内；
位置初判单元402，用于若所述距离特征数据在所述距离校准数据的校准范围内，则对所述特征点进行位置初判，得到所述特征点位于所述指定观看区域的位置区间；
坐标计算单元403，用于根据所述位置区间所对应的预设计算公式计算所述特征点的坐标。
本实施例中，距离判断单元401中，提取出9个定位点的距离校准数据d11、d12、d13、d21、d22、d23、d31、d32和d33中的最大值和最小值，得到距离校准数据的校准范围，判断距离特征数据dx是否在上述的距离校准数据的最大值和最小值之间。
位置初判单元402中，如果距离特征数据dx不在上述的最大值和最小值之间，则重新进入图像获取模块10获取用户图像。如果距离特征数据dx在上述的最大值和最小值之间，则对特征点位置进行初判，判断特征点在指定观看区域位于哪个位置区间，比如位于左边区域还是右边区域，位于上边区域还是下边区域。通过要求距离特征数据dx落入校准时的距离校准数据范围，使得测试时用户与指定观看区域的距离与校准时相同或非常接近，以提高视线追踪的准确度。
坐标计算单元403中，根据不同位置区间所对应的预设计算公式计算用户所看向的特征点在指定观看区域内的坐标(xi,yi)，从而实现视线追踪。
具体地，根据公式(12)计算特征点的横坐标xi。
xi＝Qx+Rx*((mx–mmin)/(mmax-mmin)) (12)
其中Qx为常数，Rx为指定观看区域的总宽度像素值/2，mx为特征点的横向特征数据，mmin为特征点所处位置区间的最小横向校准数据，mmax为特征点所处位置区间的最大横向校准数据。
如果特征点位于左边区域，则Qx＝0，mmin为m11、m21和m31中的最小值，mmax为m12、m22和m32中的最大值；
如果特征点位于右边区域，则Qx＝Rx，mmin为m12、m22和m32中的最小值，mmax为m13、m23和m33中的最大值；
如果特征点位于左边区域和右边区域的交界处，则xi＝Rx。
根据公式(13)计算特征点的纵坐标yi。
yi＝Qy+Ry*((nx–nmin)/(nmax-nmin)) (13)
其中Qy为常数，Ry为指定观看区域的总高度像素值/2，nx为特征点的纵向特征数据，nmin为特征点所处位置区间的最小纵向校准数据，nmax为特征点所处位置区间的最大纵向校准数据。
如果特征点位于上边区域，则Qy＝0，nmin为n11、n12和n13中的最小值，nmax为n21、n22和n21中的最大值；
如果特征点位于下边区域，则Qy＝Ry，mmin为n21、n22和n21中的最小值，nmax为n31、n32和n33中的最大值；
如果特征点位于上边区域和下边区域的交界处，则yi＝Ry。
进一步地，参照图11，所述位置初判单元402包括，
第一初判子单元4021，用于通过将所述横向特征数据与所述横向校准数据进行大小比较，得到所述特征点位于所述指定观看区域的横向位置区间；
第二初判子单元4022，用于通过将所述纵向特征数据与所述纵向校准数据进行大小比较，得到所述特征点位于所述指定观看区域的纵向位置区间。
本实施例中，第一初判子单元4021中，如果min(m11,m21,m31)＜mx＜m22，则特征点位于左边区域；如果m22＜mx＜max(m13,m23,m33)，则特征点位于右边区域；如果mx＝m22，则特征点位于左边区域和右边区域的交界；如果mx＜min(m11,m21,m31)或mx＞max(m13,m23,m33)，则特征点不在指定观看区域上，需要重新进入图像获取模块10获取用户图像。其中min(m11,m21,m31)指m11,m21,m31中的最小值，max(m13,m23,m33)指m13,m23,m33中的最大值。
第二初判子单元4022中，如果min(n11,n12,n13)＜nx＜n22，则特征点位于上边区域；如果n22＜nx＜max(n31,n32,n33)，则特征点位于下边区域；如果nx＝n22，则特征点位于上边区域和下边区域的交界；如果nx＜min(n11,n12,n13)或nx＞max(n31,n32,n33)，则特征点不在指定观看区域上，需要重新进入图像获取模块10获取用户图像。其中min(n11,n12,n13)指n11,n12,n13中的最小值，max(n31,n32,n33)指n31,n32,n33中的最大值。
本发明实施例的眼球追踪交互装置，通过普通摄像头采集用户图像，从用户图像中查找人眼和眼球，对人眼位置和眼球位置的特征数据进行计算，并根据特征数据和预设的校准数据进行计算，获得特征数据对应的用户视线在指定观看区域的坐标，实现视线定位。本发明实施例的特征数据和校准数据均根据用户的眼动习惯来采集，人机交互方式友好，易于实现，且无需额外设备，成本较低。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种眼球追踪交互方法，其特征在于，包括：
通过摄像头获取用户看向指定观看区域的用户图像；
从所述用户图像中查找人眼图像和眼球图像，获取人眼位置数据和眼球位置数据；
根据所述人眼位置数据和所述眼球位置数据计算特征数据；
根据预设的校准数据以及所述特征数据，计算所述特征数据对应的所述用户看向的特征点在所述指定观看区域的坐标；其中，所述预设的校准数据为指定观看区域内多个定位点的校准数据；
所述根据所述人眼位置数据和所述眼球位置数据计算特征数据的步骤，包括：
根据所述人眼位置数据，计算用户看向所述特征点时的距离特征数据；以及根据所述人眼位置数据和所述眼球位置数据，计算用户看向所述特征点时的眼球位置横向特征数据与眼球位置纵向特征数据；
所述人眼位置数据为左眼中心与右眼中心的距离；
所述横向特征数据为根据左/右眼球图像的左上顶点距离人脸图像最左边的距离、左/右眼球图像的宽度、左/右眼图像的左上顶点距离人脸图像最左边的距离计算得出；
所述纵向特征数据为根据左/右眼球图像的左上顶点距离人脸图像最上边的距离、左/右眼球图像的高度、左/右眼图像的左上顶点距离人脸图像最上边的距离计算得出。
2.如权利要求1所述的眼球追踪交互方法，其特征在于，所述通过摄像头获取用户看向指定观看区域的用户图像的步骤前还包括：
检索存储器，判断所述存储器中是否有所述预设的校准数据；
若否，则存储所述预设的校准数据。
3.如权利要求1所述的眼球追踪交互方法，其特征在于，所述预设的校准数据包括距离校准数据、横向校准数据和纵向校准数据；所述根据预设的校准数据以及所述特征数据，计算所述特征数据对应的所述用户看向的特征点在所述指定观看区域的坐标的步骤，包括：
判断所述距离特征数据是否在所述距离校准数据的校准范围内；
若是，则对所述特征点进行位置初判，得到所述特征点位于所述指定观看区域的位置区间；
根据所述位置区间所对应的预设计算公式计算所述特征点的坐标。
4.如权利要求3所述的眼球追踪交互方法，其特征在于，所述对所述特征点进行位置初判，得到所述特征点位于所述指定观看区域的位置区间的步骤，包括：
通过将所述横向特征数据与所述横向校准数据进行大小比较，得到所述特征点位于所述指定观看区域的横向位置区间；以及通过将所述纵向特征数据与所述纵向校准数据进行大小比较，得到所述特征点位于所述指定观看区域的纵向位置区间。
5.一种眼球追踪交互装置，其特征在于，包括：
图像获取模块，用于通过摄像头获取用户看向指定观看区域的用户图像；
图像分析模块，用于从所述用户图像中查找人眼图像和眼球图像，获取人眼位置数据和眼球位置数据；
数据计算模块，用于根据所述人眼位置数据和所述眼球位置数据计算特征数据；
视线定位模块，用于根据预设的校准数据以及所述特征数据，计算所述特征数据对应的所述用户看向的特征点在所述指定观看区域的坐标；其中，所述预设的校准数据为指定观看区域内多个定位点的校准数据；所述数据计算模块包括：
第一数据获取单元，用于根据所述人眼位置数据，计算用户看向所述特征点时的距离特征数据；
第二数据获取单元，用于根据所述人眼位置数据和所述眼球位置数据，计算用户看向所述特征点时的眼球位置横向特征数据与眼球位置纵向特征数据；
所述人眼位置数据为左眼中心与右眼中心的距离；
所述横向特征数据为根据左/右眼球图像的左上顶点距离人脸图像最左边的距离、左/右眼球图像的宽度、左/右眼图像的左上顶点距离人脸图像最左边的距离计算得出；
所述纵向特征数据为根据左/右眼球图像的左上顶点距离人脸图像最上边的距离、左/右眼球图像的高度、左/右眼图像的左上顶点距离人脸图像最上边的距离计算得出。
6.如权利要求5所述的眼球追踪交互装置，其特征在于，所述图像获取模块前还包括：
判断模块，用于检索存储器，判断所述存储器中是否有所述预设的校准数据；
校准模块，用于若所述存储器中没有所述预设的校准数据，则存储所述预设的校准数据。
7.如权利要求5所述的眼球追踪交互装置，其特征在于，所述预设的校准数据包括距离校准数据、横向校准数据和纵向校准数据；所述视线定位模块包括：
距离判断单元，用于判断所述距离特征数据是否在所述距离校准数据的校准范围内；
位置初判单元，用于若所述距离特征数据在所述距离校准数据的校准范围内，则对所述特征点进行位置初判，得到所述特征点位于所述指定观看区域的位置区间；
坐标计算单元，用于根据所述位置区间所对应的预设计算公式计算所述特征点的坐标。
8.如权利要求7所述的眼球追踪交互装置，其特征在于，所述位置初判单元包括，
第一初判子单元，用于通过将所述横向特征数据与所述横向校准数据进行大小比较，得到所述特征点位于所述指定观看区域的横向位置区间；
第二初判子单元，用于通过将所述纵向特征数据与所述纵向校准数据进行大小比较，得到所述特征点位于所述指定观看区域的纵向位置区间。
CN201811011423.8A 2018-08-31 2018-08-31 眼球追踪交互方法和装置 Active CN109375765B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811011423.8A CN109375765B (zh) 2018-08-31 2018-08-31 眼球追踪交互方法和装置
PCT/CN2019/073763 WO2020042541A1 (zh) 2018-08-31 2019-01-29 眼球追踪交互方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811011423.8A CN109375765B (zh) 2018-08-31 2018-08-31 眼球追踪交互方法和装置

Publications (2)

Publication Number Publication Date
CN109375765A CN109375765A (zh) 2019-02-22
CN109375765B true CN109375765B (zh) 2020-10-09

Family

ID=65404744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811011423.8A Active CN109375765B (zh) 2018-08-31 2018-08-31 眼球追踪交互方法和装置

Country Status (2)

Country Link
CN (1) CN109375765B (zh)
WO (1) WO2020042541A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109343700B (zh) * 2018-08-31 2020-10-27 深圳市沃特沃德股份有限公司 眼动控制校准数据获取方法和装置
CN109976535B (zh) * 2019-05-05 2022-12-02 北京七鑫易维信息技术有限公司 一种校准方法、装置、设备及存储介质
CN110338750B (zh) * 2019-07-08 2022-04-05 北京七鑫易维信息技术有限公司 一种眼球追踪设备
CN110516553A (zh) * 2019-07-31 2019-11-29 北京航空航天大学 工作状态的监测方法和装置
CN110780742B (zh) * 2019-10-31 2021-11-02 Oppo广东移动通信有限公司 眼球追踪处理方法及相关装置
CN111399659B (zh) * 2020-04-24 2022-03-08 Oppo广东移动通信有限公司 界面显示方法及相关装置
CN113255476B (zh) * 2021-05-08 2023-05-19 西北大学 一种基于眼动追踪的目标跟踪方法、***及存储介质
CN114529972B (zh) * 2022-02-22 2023-04-07 山西医科大学第一医院 一种肌萎缩侧索硬化患者自主呼叫处理方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN108427503A (zh) * 2018-03-26 2018-08-21 京东方科技集团股份有限公司 人眼追踪方法及人眼追踪装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106020461A (zh) * 2016-05-13 2016-10-12 陈盛胜 基于眼球追踪技术的视频交互方法
CN106056092B (zh) * 2016-06-08 2019-08-20 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
US9996744B2 (en) * 2016-06-29 2018-06-12 International Business Machines Corporation System, method, and recording medium for tracking gaze using only a monocular camera from a moving screen
CN106897426A (zh) * 2017-02-27 2017-06-27 上海禹放信息科技有限公司 基于眼球追踪技术的特定数据生成***及方法
CN107831900B (zh) * 2017-11-22 2019-12-10 中国地质大学（武汉） 一种眼控鼠标的人机交互方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法
CN108427503A (zh) * 2018-03-26 2018-08-21 京东方科技集团股份有限公司 人眼追踪方法及人眼追踪装置

Also Published As

Publication number Publication date
WO2020042541A1 (zh) 2020-03-05
CN109375765A (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
CN109375765B (zh) 眼球追踪交互方法和装置
CN109343700B (zh) 眼动控制校准数据获取方法和装置
US9791927B2 (en) Systems and methods of eye tracking calibration
CN102799277B (zh) 一种基于眨眼动作的人机交互方法及***
US10671156B2 (en) Electronic apparatus operated by head movement and operation method thereof
Hsieh et al. A real time hand gesture recognition system using motion history image
US9075453B2 (en) Human eye controlled computer mouse interface
CN102830797B (zh) 一种基于视线判断的人机交互方法及***
KR100947990B1 (ko) 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
US20160110592A1 (en) Image processing device, method and program for moving gesture recognition using difference images
EP2879020B1 (en) Display control method, apparatus, and terminal
US9122353B2 (en) Kind of multi-touch input device
CN105892642A (zh) 一种根据眼部动作对终端进行控制的方法及装置
CN106462242A (zh) 使用视线跟踪的用户界面控制
KR101288447B1 (ko) 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법
JP5438601B2 (ja) 人物動作判定装置およびそのプログラム
CN111527468A (zh) 一种隔空交互方法、装置和设备
CN109254662A (zh) 移动设备操作方法、装置、计算机设备及存储介质
CN105912126B (zh) 一种手势运动映射到界面的增益自适应调整方法
WO2021179830A1 (zh) 构图指导方法、装置及电子设备
WO2023071882A1 (zh) 人眼注视检测方法、控制方法及相关设备
JP2012238293A (ja) 入力装置
US20170160797A1 (en) User-input apparatus, method and program for user-input
CN113128417B (zh) 一种基于头部姿态的双区域眼动跟踪方法
KR20140132906A (ko) 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210917

Address after: 518000 201, No.26, yifenghua Innovation Industrial Park, Xinshi community, Dalang street, Longhua District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen waterward Information Co.,Ltd.

Address before: 518000, block B, huayuancheng digital building, 1079 Nanhai Avenue, Shekou, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN WATER WORLD Co.,Ltd.