CN106999038B - 信息处理设备、信息处理方法及计算机可读记录介质 - Google Patents

信息处理设备、信息处理方法及计算机可读记录介质 Download PDF

Info

Publication number
CN106999038B
CN106999038B CN201580065242.1A CN201580065242A CN106999038B CN 106999038 B CN106999038 B CN 106999038B CN 201580065242 A CN201580065242 A CN 201580065242A CN 106999038 B CN106999038 B CN 106999038B
Authority
CN
China
Prior art keywords
image
information processing
corneal reflection
processing equipment
equipment according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580065242.1A
Other languages
English (en)
Other versions
CN106999038A (zh
Inventor
鹤见辰吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106999038A publication Critical patent/CN106999038A/zh
Application granted granted Critical
Publication of CN106999038B publication Critical patent/CN106999038B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/107—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

提供了一种信息处理设备，该信息处理设备设置有：检测单元，其用于从捕获图像中检测与从光源发出并且由角膜反射的光对应的角膜反射图像，在所述捕获图像中，用来自光源的光照射的眼睛被捕获。检测单元基于多个时间序列捕获图像来估计眼球中心位置，基于所估计的眼球中心位置来估计角膜中心位置，基于所估计的角膜中心位置来估计角膜反射图像的候选位置，以及基于所估计的角膜反射图像的候选位置从捕获图像中检测角膜反射图像。

Description

信息处理设备、信息处理方法及计算机可读记录介质
技术领域
本公开内容涉及信息处理设备、信息处理方法及程序。
背景技术
作为用于估计视线(eye gaze)的方法的示例，存在使用角膜反射法的方法，该角膜反射法使用由光源的光在角膜处的反射形成的角膜反射图像(也称为“浦肯野(Purkinje)图像”)。使用角膜反射法测量视线的技术的示例包括在下面的非专利文献1中描述的技术。
引用列表
非专利文献
非专利文献1：Takehiko Ohno，Naoki Mukawa和Atsushi Yoshikawa，“Gankyukeijo moderu ni motozuku shisen sokutei-ho(Eye gaze measurement method basedon eyeball shape model)(基于眼球形状模型的视线测量方法)”，The 8th Symposium onSensing Via Image Information(关于通过图像信息进行感测的第八届研讨会)，307-312页
发明内容
技术问题
在使用角膜反射法的情况下，例如，用来自光源的光(如由点光源生成的近红外光)照射的眼睛通过成像装置成像，并且包括在用来自光源的光照射的眼睛的捕获图像(在下文中，有时简称为“捕获图像”)中的多个角膜反射图像的位置被识别；从而可以找到角膜的中心的位置(角膜的中心(角膜的曲率中心)的三维位置)。当找到角膜的中心的位置时，可以找到与视线对应的矢量。
然而，看起来像角膜反射图像的异常值(outlier)——如除了用于获取角膜反射图像的上述光源以外不期望地出现另一光源(例如，照明等) 的光以及在眼睛上穿戴的接触透镜的边缘处的反射——可以包括在捕获图像中。如果异常值的位置被错误地识别为角膜反射图像的位置，则例如不要期望以良好的准确度找到与视线对应的矢量。
本公开内容提出了新的且改进的信息处理设备、新的且改进的信息处理方法以及新的且改进的程序，可以通过所述新的且改进的信息处理设备、新的且改进的信息处理方法以及新的且改进的程序从捕获图像中检测角膜反射图像。
问题的解决方案
根据本公开内容，提供了一种信息处理设备，该信息处理设备包括：检测单元，其被配置成从捕获图像中检测与来自光源且在角膜处被反射的光对应的角膜反射图像，在所述捕获图像中，用来自光源的光照射的眼睛被成像。检测单元基于时间序列的多个所述捕获图像来估计眼球的中心的位置，所述时间序列的多个所述捕获图像中的每一个为根据上述的所述捕获图像，基于所估计的眼球的中心的位置来估计角膜的中心的位置，基于所估计的角膜的中心的位置来估计所述角膜反射图像的候选的位置，以及基于所估计的角膜反射图像的候选的位置，从所述捕获图像中检测所述角膜反射图像。
根据本公开内容，提供了一种由信息处理设备执行的信息处理方法，所述方法包括从捕获图像中检测与来自光源且在角膜处被反射的光对应的角膜反射图像的步骤，在所述捕获图像中，用来自光源的光照射的眼睛被成像，所述检测的步骤包括：基于时间序列的多个所述捕获图像来估计眼球的中心的位置，所述时间序列的多个所述捕获图像中的每一个为根据上述的所述捕获图像，基于所估计的眼球的中心的位置来估计角膜的中心的位置，基于所估计的角膜的中心的位置来估计角膜反射图像的候选的位置，以及基于所估计的所述角膜反射图像的候选的位置，从所述捕获图像中检测所述角膜反射图像。
根据本公开内容，提供了一种用于使计算机执行以下步骤的程序：从捕获图像中检测与来自光源且在角膜处被反射的光对应的角膜反射图像的步骤，在所述捕获图像中，用来自光源的光照射的眼睛被成像，所述检测的步骤包括：基于时间序列的多个所述捕获图像来估计眼球的中心的位置，所述时间序列的多个所述捕获图像中的每一个为根据上述的所述捕获图像，基于所估计的眼球的中心的位置来估计角膜的中心的位置，基于所估计的角膜的中心的位置来估计角膜反射图像的候选的位置，以及基于所估计的所述角膜反射图像的候选的位置，从所述捕获图像中检测所述角膜反射图像。
本发明的有益效果
根据本公开内容，可以从捕获图像中检测角膜反射图像。
注意，上述效果不一定是限制性的。使用或代替上述效果，可以实现本说明书中描述的效果中的任一个效果或者可以从本说明书领会的其他效果。
附图说明
图1是用于描述用于从捕获图像中检测角膜反射图像的方法的说明图。
图2是用于描述根据依照本实施方式的信息处理方法的处理的示例的说明图。
图3是用于描述根据依照本实施方式的信息处理方法的处理的示例的说明图。
图4是用于描述根据依照本实施方式的信息处理方法的处理的示例的说明图。
图5是用于描述根据依照本实施方式的信息处理方法的处理的示例的说明图。
图6是用于描述根据依照本实施方式的信息处理方法的处理的示例的说明图。
图7是用于描述根据依照本实施方式的信息处理方法的处理的示例的说明图。
图8是用于描述根据依照本实施方式的信息处理方法的处理的示例的说明图。
图9是用于描述根据依照本实施方式的信息处理方法的处理的示例的说明图。
图10是示出了根据本实施方式的信息处理设备的配置的示例的框图。
图11是示出了根据本实施方式的信息处理设备的硬件配置的示例的说明图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的一个或更多个优选实施方式。在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，因此省略对这些结构元件的重复说明。
在下文中，按照以下顺序给出描述。
1.根据本实施方式的信息处理方法
2.根据本实施方式的信息处理设备
3.根据本实施方式的程序
(根据本实施方式的信息处理方法)
在描述根据本实施方式的信息处理设备的配置之前，首先描述根据本实施方式的信息处理方法。在下文中，使用例如以下情况来描述根据本实施方式的信息处理方法，在所述情况下，根据本实施方式的信息处理设备根据依照本实施方式的信息处理方法来执行处理。
如上所述，在用来自光源的光照射的眼睛的捕获图像中，不仅可以包括角膜反射图像，而且可以包括看起来像角膜反射图像的异常值。
在此，根据本实施方式的光源的示例包括红外发光二极管(IR LED)。根据本实施方式的光源不限于发射红外光的光源如IR LED，并且可以是发射可以从捕获图像中检测角膜反射图像的任何波长的光的光源。在下文中，与根据本实施方式的光源对应的角膜反射图像可以被称为“发光点”。
根据本实施方式的捕获图像的示例包括由包括在能够通过穿戴在用户头部使用的装置中的成像装置捕获的捕获图像。根据本实施方式的捕获图像可以是由连接至上述能够通过穿戴在用户头部使用的装置的外部成像装置捕获的捕获图像。
根据本实施方式的能够通过穿戴在用户头部使用的装置的示例包括眼镜(例如，眼镜型(包括单眼镜型)装置)、头戴式显示器(HMD)等。根据本实施方式的光源可以是例如根据本实施方式的包括在能够通过穿戴在用户头部使用的装置中的光源，或者可以是根据本实施方式的连接至能够通过穿戴在用户头部使用的装置的外部光源。
根据本实施方式的捕获图像不限于由包括在能够通过穿戴在用户头部使用的装置中的成像装置或者连接至能够通过穿戴在用户头部使用的装置的外部成像装置捕获的图像。例如，根据本实施方式的捕获图像可以是由能够对用来自光源的光照射的眼睛进行成像的任何成像装置捕获的图像。此外，根据本实施方式的光源可以是包括在特定装置中的光源，或者可以是独立于其他装置的独立光源。根据本实施方式的光源设置在例如允许生成的光被施加到用户的眼睛的位置。
在下文中，将根据本实施方式的捕获图像是由包括在能够通过穿戴在用户头部使用的装置中的成像装置(或连接至能够通过穿戴在用户头部使用的装置的外部成像装置)捕获的图像的情况主要用作示例。在下文中，成像装置可以称为“摄像装置”。
[1]用于检测角膜反射图像的方法的示例
在此，作为用于从捕获图像中检测角膜反射图像的方法，例如以下方法可能是可以的，在所述方法中，存在于以下位置的角膜反射图像的候选被检测为正确的角膜反射图像，在所述位置处考虑到使用机器学习等构造的角膜反射图像检测器的得分、瞳孔出现的位置等推测角膜反射图像存在的可能性高。
然而，如后所述，在上述用于从捕获图像中检测角膜反射图像的一种方法中，并不总是能够从捕获图像正确地检测角膜反射图像。
图1是用于描述用于从捕获图像中检测角膜反射图像的方法的说明图。为了便于描述，图1示出了使用用于从捕获图像中检测角膜反射图像的方法以估计与视线对应的矢量(稍后描述的光轴矢量和视线矢量，在下文中，有时称为“眼轴矢量”)的一系列处理的示例。
在此，图1的A示出了捕获图像的示例。如图1的A所示，例如，在捕获图像中包括瞳孔、角膜上的发光点(角膜反射图像)、发光点的异常值等。图1的A示出了捕获图像中包括与来自四个光源的光对应的四个发光点的示例。
图1的B至图1的H示出了对图1的A中所示的捕获图像执行的与视线对应的矢量的估计的一系列处理的示例。
在下文中，虽然描述了估计与图1中所示的视线对应的矢量的一系列处理，但是描述了为什么使用一种用于从捕获图像中检测角膜反射图像的方法不总是允许从捕获图像中正确检测出角膜反射图像的原因。在下文中，将信息处理设备执行图1中所示的处理的情况用作示例。
估计与视线对应的矢量的处理例如由以下(i)至(vii)中所述的7 个步骤构成。
(i)第一步骤：通过图像识别检测瞳孔(图1的B)
信息处理设备从图1的A所示的捕获图像中检测瞳孔。
例如，信息处理设备通过将捕获图像转换为两个值并且评估包括瞳孔的区域来检测瞳孔。用于从捕获图像中检测瞳孔的方法不限于上述示例。例如，信息处理设备可以使用可以从图像中检测瞳孔的任何方法，如，“使用像素差(例如，关于图像设置的两个像素的多种组合中的每种组合的像素值(亮度值)之间的差；这在下文中同样适用)的特征值和提升(boosting) 技术的方法。
(ii)第二步骤：通过图像识别检测角膜反射图像的候选(图1的C)
信息处理设备使用例如“使用像素差的特征值和boosting技术的方法”来检测角膜反射图像的候选。
在此，如上所述，在捕获图像中可能存在看起来像角膜反射图像的异常值。因此，在通过使用如上面的方法的图像识别来检测角膜反射图像的候选的情况下，可以将角膜反射图像和异常值检测为角膜反射图像的候选。
(iii)第三步骤：角膜反射图像的检测(图1的D)
信息处理设备例如基于从捕获图像识别的瞳孔位置(在下文中，称为“瞳孔出现的位置”)来设置角膜反射图像存在的范围，并且从存在于所述存在范围内的角膜反射图像的候选中选择不多于四个(该数目与光源的数目相同)角膜反射图像的候选；从而检测角膜反射图像。信息处理设备还可以例如通过基于使用机器学习等构建的角膜反射图像检测器的得分选择不多于四个(该数目与光源的数目相同)角膜反射图像的候选来检测角膜反射图像。
在此，第三步骤中的上述处理属于根据用于从捕获图像中检测角膜反射图像的一种方法的处理。
然而，在如上的根据用于从捕获图像中检测角膜反射图像的一种方法的处理中，难以排除除了大的异常值以外的异常值。因此，在执行如上的根据用于从捕获图像中检测角膜反射图像的一种方法的处理的情况下，担心属于异常值的角膜反射图像的候选将被检测为角膜反射图像。
因此，在使用用于从捕获图像中检测角膜反射图像的一种方法的情况下，并不总是能够从捕获图像中正确地检测出角膜反射图像。
此外，在稍后描述的步骤中使用角膜反射图像；因此，当属于异常值的角膜反射图像的候选被检测为角膜反射图像时，对与视线对应的矢量的估计的准确度降低。
此外，在使用用于从捕获图像中检测角膜反射图像的一种方法的情况下，当所选择的角膜反射图像的候选的数目为三个或更少时，即，检测到的角膜反射图像的数目小于光源的数目，难以将光源的ID与角膜反射图像等相关联，以在光源与角膜反射图像之间做出关联。在此，当在光源与角膜反射图像之间的关联中发生错误时，可能导致对与视线对应的矢量的估计的准确度的降低。
(iv)第四步骤：使用角膜反射图像的位置的角膜的中心位置(三维位置)的估计(图1的E)
信息处理设备基于例如关于眼睛的信息(数据)——如多个检测到的角膜反射图像的位置(u和v坐标)、光源的位置等以及角膜的半径(角膜的曲率半径)——来估计角膜的中心位置。
在此，诸如角膜的曲率半径和稍后描述的其他信息(例如，示出与眼睛相关的值的数据，如眼球中心与角膜中心之间的距离以及角膜中心与瞳孔中心之间的距离)的根据本实施方式的关于眼睛的信息所示的值()是例如预先设置的固定值。根据本实施方式的关于眼睛的信息所示的值可以是特定于用户的值，或者可以是使用多个用户的特定值标准化的值。在根据本实施方式的关于眼睛的信息所示的值是特定于用户的值的情况下，使用与用户对应的关于眼睛的信息，所述用户通过可以对用户进行认证的任何方法如生物特征身份认证或密码认证来识别。
(v)第五步骤：瞳孔中心的位置(三维位置)的估计(图1的F)
信息处理设备例如使用诸如在上述(iv)中描述的第四步骤中估计的角膜的中心位置、角膜中心与瞳孔中心之间的距离L以及角膜的半径r 的关于眼睛的信息以及折射定律，估计瞳孔中心位置。
在根据稍后描述的本实施方式的信息处理方法的处理中，也执行与第五步骤的处理类似的处理。因此，省略对第五步骤的处理的示例的描述。
(vi)第六步骤：光轴矢量的估计(图1的G)
信息处理设备例如使用在上述(iv)中描述的第四步骤中估计的角膜中心位置以及在上述(v)中描述的第五步骤中估计的瞳孔中心位置，估计光轴矢量(与视线对应的矢量的示例)。
例如，信息处理设备以指向眼球外部并且连接角膜中心位置与瞳孔中心位置的矢量作为光轴矢量。用于检测光轴矢量的方法不限于上述示例。稍后描述根据本实施方式的用于检测光轴矢量的方法的其他示例。
(vii)第七步骤：视线矢量的估计(图1的H)
作为指示视线的矢量的视线矢量(与视线对应的矢量的示例)是连接眼睛的中央凹与角膜中心的矢量。如图1的H所示，在视线矢量与光轴矢量之间可能发生偏移。
信息处理设备使用通过校准获得的偏移值来校正在上述(vi)中描述的第六步骤中估计的光轴矢量，从而例如估计视线矢量。根据本实施方式的偏移值可以是例如预先设置的固定值。
例如，通过在上述(i)至上述(vii)中描述的七个步骤来估计与视线对应的矢量。
在此，在上述(iii)中描述的第三步骤中执行根据用于从捕获图像中检测角膜反射图像的一种方法的处理的情况下，如上所述，并不总是能够从捕获图像中正确地检测出角膜反射图像。
此外，在上述(iii)中描述的第三步骤中估计的角膜反射图像影响在上述(iv)至上述(vii)中描述的多个处理的结果。因此，在上述(iii) 中描述的第三步骤中执行根据用于从捕获图像中检测角膜反射图像的一种方法的处理的情况下，对与视线对应的矢量的估计的准确度降低。
[2]根据本实施方式的信息处理方法
鉴于以上，根据本实施方式的信息处理设备通过例如执行下面的(1) 至(4)中描述的处理(检测处理)从捕获图像中检测角膜反射图像。
(1)眼球中心位置的估计
根据本实施方式的信息处理设备基于多个时间序列捕获图像来估计眼球中心位置。
根据本实施方式的多个时间序列捕获图像的示例包括构成运动图像的帧图像(静止图像)。在下文中，帧图像可以被简称为“帧”。
在使用角膜反射法的情况下，根据角膜反射图像和在图像上观察到的瞳孔的位置找到角膜曲率的中心的三维位置和瞳孔中心的三维位置；但是在角膜反射法中，不能直接估计眼球中心的三维位置。
因此，根据本实施方式的信息处理设备使用时间序列捕获图像，并且将基于多个捕获图像获得的时间点处的光轴矢量的交叉点估计为眼球中心位置。
例如，通过参照图1描述的处理来估计每个时间点处的光轴矢量。在此，在上述(iii)中描述的第三步骤中不能执行使用时间序列捕获图像的处理的情况下，使用用于从上述捕获图像中检测角膜反射图像的一种方法；并且在可以执行使用时间序列捕获图像的处理的情况下，也使用根据本实施方式的信息处理方法；从而例如估计光轴矢量。此外，通过排除所估计的光轴矢量的异常值，例如可以防止由于异常值的影响而引起的对眼球中心位置的估计的准确度降低。
图2是用于描述根据依照本实施方式的信息处理方法的处理的示例的说明图，并且示出了用于估计眼球中心位置的处理的概况。
如图2所示，由于误差的影响等，光轴矢量在一个点处不精确地交叉。因此，根据本实施方式的信息处理设备将多个光轴矢量中的最近点作为眼球中心位置。
在此，在根据本实施方式的能够通过穿戴在用户头部使用的设备是护目镜如眼镜类型可穿戴装置并且成像装置被固定至能够通过穿戴在用户头部使用的装置的情况下，可以假定，“除非发生能够通过穿戴在用户头部使用的装置的穿戴滑动(通过穿戴在用户头部使用的装置的穿戴状态的变化的示例)，否则眼球中心位置相对于成像装置是固定的”。
图3是用于描述根据依照本实施方式的信息处理方法的处理的示例的说明图，并且示出了用于估计眼球中心位置的处理的概况。在图3中，成像装置的位置被示出为“摄像装置的中心”，并且示出了将摄像装置的中心作为原点的示例。在下文中，为了方便起见，可以将矢量写为“x→”。
如图3所示，角膜中心位置由“c→”表示，光轴矢量由“d→”表示，期望找到的眼球中心位置由“p→”表示。第i(i为正整数)个光轴矢量上的点Li例如由下面的数学式1表达。在此，数学公式1中所示的“ti”是辅助变量。
[公式1]
眼球中心位置与光轴矢量上的点Li之间的距离由下面的数学公式2 来表达。
[公式2]
因此，例如，根据本实施方式的信息处理设备找到对于所有“i”使到点Li的距离的平方和最小的点，并且将所找到的点作为眼球中心位置。具体地，例如，根据本实施方式的信息处理设备求解下面的数学公式3 所示的n+1(n是正整数)联立方程以找到p的值，从而估计眼球中心位置。在此，例如，下面的数学公式3中所示的“F”由下面的数学公式4 来表达。
[公式3]
(数学公式3)
[公式4]
(2)角膜中心位置的估计
根据本实施方式的信息处理设备基于通过上述(1)的处理所估计的眼球中心位置来估计角膜中心位置。
具体地，例如，根据本实施方式的信息处理设备执行下面的(2-1) 和(2-2)的处理，从而估计角膜中心位置。
(2-1)瞳孔中心位置的估计
根据本实施方式的信息处理设备基于通过上述(1)的处理所估计的眼球中心位置来估计瞳孔中心位置。在此，(2-1)的处理的原理类似于上述(v)中所示的第五步骤的处理。
图4是用于描述根据依照本实施方式的信息处理方法的处理的示例的说明图，并且示出了用于估计瞳孔中心位置的处理的概况。
图4的A示出了以眼球中心位置为中心并且以r+M为半径的球体。在此，r表示角膜的半径，M表示眼球中心与角膜中心之间的距离(在下文中，这同样适用于其他附图的描述)。图4中所示的L表示角膜中心与瞳孔中心之间的距离(在下文中，这同样适用于其他附图的描述)。角膜的半径r、眼球中心与角膜中心之间的距离M以及角膜中心与瞳孔中心之间的距离L与根据本实施方式的关于眼睛的信息的示例对应。
在此，例如，角膜的半径r以及角膜中心与瞳孔中心之间的距离L 可以是设置的固定值。例如，眼球中心与角膜中心之间的距离M可以是基于通过上述(1)的处理所估计的眼球中心位置而估计的值，或者可以是设置的固定值。眼球中心与角膜中心之间的距离M的估计可以在上述 (1)的处理中估计眼球中心位置之后的任意时机处执行。
根据本实施方式的信息处理设备假定瞳孔在图4的A所示的球面的表面上折射。并使用例如斯涅尔定律计算瞳孔中心的三维位置。
(2-2)角膜中心位置的估计
根据本实施方式的信息处理设备将通过上述(1)的处理所估计的眼球中心位置与通过上述(2-1)的处理所估计的瞳孔中心位置连接的线段上的位置估计为角膜中心位置。
图5是用于描述根据依照本实施方式的信息处理方法的处理的示例的说明图，并且示出了用于估计角膜中心位置的处理的概况。
根据本实施方式的信息处理设备将以下点(x,y,z)估计为角膜中心位置，该点(x,y,z)基于例如角膜中心与瞳孔中心之间的距离L(关于眼睛的信息的示例)以及眼球中心与角膜中心之间的距离M(关于眼睛的信息的示例)将连接估计的瞳孔中心位置与估计的眼球中心位置的线段划分为 L:M。
(3)角膜反射图像的候选位置的估计
根据本实施方式的信息处理设备基于通过上述(2)的处理所估计的角膜中心位置来估计角膜反射图像的候选位置。在下文中，角膜反射图像的候选位置可以被称为“发光点的候选位置”。
根据本实施方式的信息处理设备基于例如估计的角膜中心位置、关于眼睛的信息和光源的位置来估计角膜反射图像的候选位置。
图6是用于描述根据依照本实施方式的信息处理方法的处理的示例的说明图，并且示出了用于估计角膜反射图像的候选位置的处理的概况。
根据本实施方式的信息处理设备基于例如估计的角膜中心位置、角膜的半径r(关于眼睛的信息的示例)以及示出IR LED相对于成像装置的布置的数据(示出了光源的位置的信息的示例)，使用反射定律来找出光源的光的反射的位置(x,y,z)。然后，根据本实施方式的信息处理设备将找到的反射的位置(x,y,z)投影到图像平面上，从而估计角膜反射图像的候选位置(例如，由(u,v)坐标表达的位置)。
现在将更具体地描述用于估计角膜反射图像的候选位置的处理。
图7是用于描述根据依照本实施方式的信息处理方法的处理的示例的说明图，并且示出了用于估计角膜反射图像的候选位置的处理的概况。图7所示的O(0,0)表示摄像装置的中心，图7所示的L表示一个IR LED (光源的示例)的位置。图7所示的C(cx,cy)表示眼球中心位置，图7 所示的G(gx,gz)表示发光点的位置。
根据球面反射定律，摄像装置的中心、发光点、IR LED和眼球中心存在于同一平面上。如图7所示，在上述平面上，例如，沿通过摄像装置中心和IR LED的位置的方向设置x轴，并且沿与x轴正交并且朝向靠近眼球中心位置的方向设置z轴。
在此，IR LED的光(光源的光的示例)的入射角和反射角相等，因此，θ＝角度OGN＝角度LGN。G(gx,gz)是以眼球中心C(cx,cy)为中心并且以r+M为半径的圆的圆周上的点。
根据本实施方式的信息处理设备求解下面关于gx和gy的数学公式5 所示的非线性联立方程，并且将该解转换为摄像装置坐标系中的发光点 (角膜反射图像)的方向矢量；从而找到例如角膜反射图像的候选位置(u, v)。
[公式5]
(4)角膜反射图像的检测
根据本实施方式的信息处理设备基于通过上述(3)的处理所估计的角膜反射图像的候选位置从捕获图像中检测角膜反射图像。
图8是用于描述根据依照本实施方式的信息处理方法的处理的示例的说明图，并且示出了用于检测角膜反射图像的处理的概况。
根据本实施方式的信息处理设备使用以下项作为约束从捕获图像中检测角膜反射图像；“通过根据上述(ii)中描述的第二步骤的处理通过图像识别检测到的角膜反射图像的候选位置与通过上述(3)的处理所估计的角膜反射图像的候选位置之间的距离”、“与多个IR LED之间的位置关系对应的角膜反射图像之间的u方向和v方向上的斜率”等。
例如，根据本实施方式的信息处理设备执行包括上述(1)至(4)中描述的处理的检测处理作为根据依照本实施方式的信息处理方法的处理。
通过执行根据本实施方式的检测处理，与使用一种用于根据上述捕获图像检测角膜反射图像的方法的情况相比，能够显著减小用于检测角膜反射图像的角膜反射图像的存在范围。
因此，与使用上述一种用于从捕获图像检测角膜反射图像的方法的情况相比，根据本实施方式的信息处理设备可以以更好的准确度从捕获图像中检测角膜反射图像。
此外，使用通过根据本实施方式的检测处理检测的角膜反射图像来执行上述(iv)至上述(vii)中描述的多个处理；从而，与使用上述一种用于从捕获图像中检测角膜反射图像的方法来检测角膜反射图像的情况相比，可以提高对与视线对应的矢量(光轴矢量或其中光轴矢量被校正的视线矢量)的估计的准确度。
根据本实施方式的信息处理方法的处理不限于上述检测处理。例如，根据本实施方式的信息处理设备可以进一步执行下面(I)的处理至(IV) 的处理作为根据依照本实施方式的信息处理方法的处理。
(I)用于检测与视线对应的矢量的处理
根据本实施方式的信息处理设备执行上述(iv)的处理至上述(vi) 的处理，以使用例如上述检测处理中检测到的角膜反射图像的位置来检测光轴矢量(与视线对应的矢量的示例)。
根据本实施方式的信息处理设备基于例如在上述检测处理中检测到的角膜反射图像的位置、关于眼睛的信息和光源的位置来检测光轴矢量。
更具体地，根据本实施方式的信息处理设备使用例如通过上述(iv) 的处理识别的角膜中心位置、通过上述(v)的处理识别的瞳孔中心位置以及在上述检测处理中所估计的眼球中心位置中的两个或更多个位置来检测光轴矢量。在此，角膜中心位置、瞳孔中心位置和眼球中心位置存在于直线上。因此，根据本实施方式的信息处理设备将例如指向眼球外部并且连接角膜中心位置、瞳孔中心位置以及眼球中心位置中的两个点的矢量检测为光轴矢量。
根据本实施方式的用于检测与视线对应的矢量的处理不限于上述示例。
例如，根据本实施方式的信息处理设备可以使用在上述检测处理中检测到的角膜反射图像的位置，以执行上述(iv)的处理至上述(vii)的处理，从而，可以检测其中光轴矢量被校正的视线矢量(与视线对应的矢量的示例)。根据本实施方式的信息处理设备使用设置的偏移值通过上述 (iv)至上述(vi)的处理来校正光轴矢量，从而检测例如视线矢量。
(II)使用与视线对应的矢量的处理
根据本实施方式的信息处理设备可以使用例如与在上述(I)的处理中检测到的与视线对应的矢量(光轴矢量或其中光轴矢量被校正的视线矢量，这在下文中同样适用)或者通过与外部设备中的上述(I)的处理类似的处理检测到的与视线对应的矢量来执行处理。
根据本实施方式的使用与视线对应的矢量的处理可以是根据本实施方式的检测能够通过穿戴在用户头部使用的装置的穿戴状态的变化的处理。在下文中，根据本实施方式的检测通过穿戴在用户头部使用的装置的穿戴状态的变化的处理可以被称为“穿戴滑动检测处理”或“穿戴滑动检测”。
在穿戴滑动检测处理被执行为使用与视线对应的矢量的处理的情况下，根据本实施方式的信息处理设备基于例如时间t(第一时间点)处检测到的光轴矢量与直到时间t-1的时段中的某个时间点(第一时间点之前的第二时间点)处估计的眼球中心位置之间的距离来检测穿戴状态的变化。
在根据本实施方式的能够通过穿戴在用户头部使用的装置的穿戴状态不改变的情况下，光轴矢量不改变，并且如上所述，角膜中心位置、瞳孔中心位置和眼球中心位置存在于直线上。因此，根据本实施方式的信息处理设备计算在时间t处检测到的光轴矢量与在直到时间t-1的时段中的某个时间点处估计的眼球中心位置之间的距离；当发现所计算的距离大于设定的阈值时(或当发现距离不小于阈值时)，信息处理设备估计到穿戴状态已经发生变化，从而检测例如穿戴状态的变化。
当例如估计到穿戴状态在多个帧中已经连续发生变化时，根据本实施方式的信息处理设备还可以检测穿戴状态的变化。
例如，当检测到穿戴状态的变化时，根据本实施方式的信息处理设备再次执行上述检测处理，并且初始化眼球中心位置等。根据本实施方式的信息处理设备还可以使用再次执行的上述检测处理的结果，并且执行例如上述(I)的处理(用于检测与视线对应的矢量的处理)。
在当检测到穿戴状态的变化的情况下的处理不限于上述示例。
例如，当检测到穿戴状态的变化时，根据本实施方式的信息处理设备可以使检测到穿戴状态的变化的事实被通知给用户。例如，根据本实施方式的信息处理设备使显示装置通过使字符或图像被显示来执行视觉通知，或者使声音输出装置通过使声音(包括音乐)被输出来执行听觉通知；从而，使检测到穿戴状态的变化的事实被通知给用户。例如，根据本实施方式的信息处理设备通过使显示装置或声音输出装置将控制信号或关于通知的数据发送至包括在根据本实施方式的信息处理设备中的通信单元(稍后描述)或外部通信设备来使检测到穿戴状态的变化的事实被通知给用户。
此外，例如，当检测到穿戴状态的变化时，根据本实施方式的信息处理设备可以执行各种处理——如根据设置的标准值降低作为与视线对应的矢量的检测结果的补充信息的置信度或者调整用于校正光轴矢量的偏移的量(偏移值)。在此，上述置信度的标准值可以是预先设置的固定值，或者可以是通过以下任何方法设置的可变值，所述任何方法可以根据与视线对应的矢量的检测结果来设置置信度。
根据本实施方式的信息处理设备例如执行像上述一样的穿戴滑动处理作为根据本实施方式的使用与视线对应的矢量的处理。
根据本实施方式的使用与视线对应的矢量的处理不限于上述穿戴滑动处理。
根据本实施方式的信息处理设备可以执行使用与视线对应的矢量来实现的任何处理，如根据使用在上述(I)的处理中检测到的与视线对应的矢量识别的视线的显示屏幕上的位置的应用的控制。
(III)对捕获图像的图像识别处理
根据本实施方式的信息处理设备还可以对捕获图像执行图像识别处理，并且例如从捕获图像中识别瞳孔和角膜反射图像的候选。根据本实施方式的信息处理设备通过例如执行上述(i)的处理和上述(ii)的处理从捕获图像中识别瞳孔和角膜反射图像的候选。
在根据本实施方式的信息处理设备对捕获图像执行图像识别处理的情况下，根据本实施方式的信息处理设备使用在上述检测中对捕获图像的图像识别处理的结果来检测角膜反射图像。
(IV)
根据本实施方式的信息处理设备还可以执行上述(I)的处理(用于检测与视线对应的矢量的处理)至上述(III)的处理(对捕获图像的图像识别处理)中的两个或更多个处理作为例如根据依据本实施方式的信息处理方法的处理。
图9是用于描述根据依照本实施方式的信息处理方法的处理的示例的说明图。图9示出了在以下情况下在每个时间点处执行的处理的示例，在所述情况下，根据本实施方式的信息处理设备执行上述检测处理、上述(I)的处理(用于检测与视线对应的矢量的处理)、上述(II)的处理(使用与视线对应的矢量的处理)以及上述(III)的处理(对捕获图像的图像识别处理)作为根据依照本实施方式的信息处理方法的处理。
在图9所示的时间t处，根据本实施方式的信息处理设备例如使用上述一种用于从捕获图像中检测角膜反射图像的方法来执行处理。在图9 所示的时间t+1和t+2处，根据本实施方式的信息处理设备使用根据本实施方式的信息处理方法来执行处理。
因此，在执行图9所示的处理的情况下，随着时间的流逝，例如可以以更高的准确度从捕获图像中检测角膜反射图像。
此外，在图9所示的示例中，根据本实施方式的信息处理设备执行穿戴滑动处理作为上述(II)的处理(使用与视线对应的矢量的处理)。在图9所示的示例中，当通过穿戴滑动处理检测到穿戴状态的变化时，根据本实施方式的信息处理设备再次执行例如从图9所示的时间t开始的处理。
根据本实施方式的信息处理设备执行“上述检测处理”或“上述(I) 的处理至(IV)的处理之一以及上述检测处理”作为例如根据依照本实施方式的信息处理方法的处理。
为了方便起见，“上述检测处理”和“上述(I)的处理至(IV)的处理之一以及上述检测处理”是根据依照本实施方式的信息处理方法的处理划分的处理。因此，在根据依照本实施方式的信息处理方法的处理中，例如，“上述检测处理”可以被看作(以任意方式划分的)两个或更多个处理。此外，在根据依照本实施方式的信息处理方法的处理中，例如，“上述(I)的处理至(IV)的处理之一以及上述检测处理”可以被看作一个处理，或者“上述(I)的处理至(IV)的处理之一以及上述检测处理”可以被看作(以任意方式划分的)两个或更多个处理。
[3]执行根据依照本实施方式的信息处理方法的处理所展示的效果
通过执行根据依照本实施方式的信息处理方法的处理，根据本实施方式的信息处理设备可以展示例如与下面(a)至(e)中所示的效果一样的效果。当然，被执行的根据依照本实施方式的信息处理方法的处理所展示的效果不限于下面所示的示例。
(a)可以提高去除角膜反射图像(发光点)的异常值的准确度以及使得与IR LED(光源的示例)关联的准确度。
(b)凭借上述(a)所示的效果，可以提高与视线对应的矢量的检测的准确度。
(c)可以使用根据依照本实施方式的信息处理方法的处理的结果(例如，检测到的与视线对应的矢量以及所估计的眼球中心位置)，检测根据本实施方式的能够通过穿戴在用户头部使用的装置的穿戴状态的变化。
(d)可以通过例如利用上述(c)的穿戴状态的变化的检测的结果等来设置与视线对应的矢量的置信度。
(e)可以执行使用例如上述(c)的穿戴状态的变化的检测的结果的各种处理(例如，通知、偏移量的调整等)。
(根据本实施方式的信息处理设备)
接下来，描述可以执行根据依照上述本实施方式的信息处理方法的处理的根据本实施方式的信息处理设备的配置的示例。
图10是示出了根据本实施方式的信息处理设备100的配置的示例的框图。信息处理设备100包括例如成像单元102和控制器104。
信息处理设备100可以包括例如只读存储器(ROM，未示出)、随机存取存储器(RAM，未示出)、存储单元(未示出)、用于无线地或经由线执行与外部装置的通信的通信单元(未示出)、用户可操作的操作单元 (未示出)、在显示屏上显示各种屏幕的显示单元(未示出)等。信息处理设备100借助于例如作为数据递送路径的总线连接上述部件。
ROM(未示出)存储控制数据如由控制器104使用的程序和操作参数。RAM(未示出)临时存储由控制器104执行的程序等。
例如，存储单元(未示出)是包括在信息处理设备100中的存储装置，并且存储各种数据，诸如用于根据本实施方式的信息处理方法的数据(如关于眼睛的信息)、示出捕获图像的图像数据和应用。在存储单元(未示出)中，针对每个用户，存储例如关于眼睛的信息如角膜的半径、眼球中心与角膜中心之间的距离、以及角膜中心与瞳孔中心之间的距离。此外，在存储单元(未示出)中，例如，用于检测角膜反射图像和瞳孔的词典数据可以存储为用于根据本实施方式的信息处理方法的数据。
在此，诸如硬盘的磁记录介质和诸如闪存的非易失性存储器可以呈现为存储单元(未示出)的示例。存储单元(未示出)可以能够附接至信息处理设备100或者能够从信息处理设备100拆卸。
通信单元(未示出)的示例包括稍后描述的通信接口。操作单元(未示出)的示例包括稍后描述的操作输入装置，显示单元(未示出)的示例包括稍后描述的显示装置。
[信息处理设备100的硬件配置的示例]
图11 是根据本实施方式的信息处理设备100的硬件配置的示例的说明图。例如，信息处理设备100包括MPU 150、ROM 152、RAM 154、记录介质156、输入/输出接口158、操作输入装置160、显示装置162、通信接口164、成像装置166和IR LED 168。另外，信息处理设备100例如使用用作数据递送路径的总线170连接各个部件。
MPU 150用作例如由运算电路如微处理单元(MPU)构成的一个或两个或更多个处理器以及由各种处理电路等构成并且控制整个信息处理设备100的控制器104。此外，MPU150例如在信息处理设备100中起到稍后描述的图像识别单元110、检测单元112和处理单元114的作用。
ROM 152存储控制数据如由MPU 150使用的程序和操作参数。RAM 154临时存储例如由MPU 150执行的程序等。
例如，记录介质156用作存储单元(未示出)，并且存储各种数据，诸如用于根据本实施方式的信息处理方法的数据(如关于眼睛的信息)、示出捕获图像的图像数据和应用。
诸如硬盘的磁记录介质和诸如闪存的非易失性存储器可以呈现为记录介质156的示例。存储单元(未示出)可以能够附接至信息处理设备 100或者能够从信息处理设备100拆卸。
输入/输出接口158连接至例如操作输入装置160和显示装置162。操作输入装置160用作操作单元(未示出)，显示装置162用作显示单元(未示出)。在此，通用串行总线(USB)端子、数字视觉接口(DVI)端子、高清晰度多媒体接口(HDMI)(注册商标)端子和各种处理电路可以呈现为输入/输出接口158的示例。
操作输入装置160包括在信息处理设备100中，并且连接至信息处理设备100内的输入/输出接口158。例如，按钮、方向键、旋转式选择器如轻推转盘或其组合可以呈现为操作输入装置160的示例。
显示装置162包括在信息处理设备100中，并且连接至信息处理设备 100中的输入/输出接口158。例如，液晶显示器和有机电致发光显示器(或有机发光二极管(OLED)显示器)可以呈现为显示装置162的示例。
输入/输出接口158可以连接至信息处理设备100的外部装置如操作输入装置(例如，键盘和鼠标)、显示装置和成像装置。另外，显示装置 162可以是可以由用户操纵的显示装置如触摸装置。
通信接口164是包括在信息处理设备100中的通信装置，并且用作用于经由网络(或直接地)与外部设备(或外部装置)(如外部成像装置、外部显示装置以及根据本实施方式的能够通过穿戴在用户头部可用的外部装置)进行无线或有线通信的通信单元(未示出)。例如，通信天线和射频(RF)电路(无线通信)、IEEE 802.15.1端口和发送/接收电路(无线通信)、IEEE 802.11端口和发送/接收电路(无线通信)或局域网(LAN) 终端和发送/接收电路(有线通信)可以呈现为通信接口164的示例。另外，通信单元(未示出)可以具有与用于通信的任意标准对应的配置如通用串行总线(USB)终端和发送/接收电路，或者具有用于经由网络与外部设备进行通信的配置。
例如，根据本实施方式的网络可以是有线网络如LAN和广域网 (WAN)、无线网络如无线局域网(WLAN)和经由基站的无线广域网 (WWAN)、或使用通信协议如传输控制协议/因特网协议(TCP/IP)的因特网。
成像装置166是包括在信息处理设备100中的成像装置，并且用作通过成像生成图像(捕获图像)的成像单元102。成像装置166例如由对用户的一只眼睛或用户的双眼进行成像的一个或两个或更多个成像装置来配置。成像装置166设置在例如允许用来自光源如IRLED的光照射的眼睛被成像的位置。
在成像装置166设置在信息处理设备100中的情况下，可以基于例如通过在成像装置166中成像生成的捕获图像来执行根据依照本实施方式的信息处理方法的处理。
成像装置166包括例如透镜/成像元件和信号处理电路。透镜/成像元件包括例如光学透镜和使用多个成像元件(如互补氧化物半导体 (CMOS))的图像传感器。信号处理电路包括例如自动增益控制(AGC) 电路和模数转换器(ADC)，并且将由成像元件生成的模拟信号转换为数字信号(图像数据)。信号处理电路执行与例如RAW处理相关的各种处理。另外，信号处理电路可以执行各种信号处理如白平衡调整、色调校正、伽马校正、YCbCr转换和边缘强调。
IR LED 168是包括在信息处理设备100中的光源，并且由多个IR LED构成。IR LED168设置在例如允许光被施加至用户的眼睛的位置。如上所述，包括在信息处理设备100中的光源当然不限于IR LED。
信息处理设备100使用图11所示的配置来执行根据依照本实施方式的信息处理方法的处理。根据本实施方式的信息处理设备100的硬件配置不限于图11所示的配置。
例如，在对从根据本实施方式的能够通过穿戴在用户头部使用的外部装置等获得的根据本实施方式的捕获图像进行处理的情况下，信息处理设备100可以具有以下配置：不设置成像装置166和IR LED 168之一或者不设置成像装置166和IR LED 168这两者。
在信息处理设备100具有以独立方式执行处理的配置的情况下，信息处理设备100可以不包括例如通信接口164。此外，信息处理设备100可以具有不包括记录介质156、操作输入装置160和/或显示装置162的配置。
现在将再参照图2来描述根据本实施方式的信息处理设备100的配置的示例。成像单元102生成其中用来自光源的光照射的眼睛被成像的捕获图像(本实施方式的捕获图像)。成像单元102的示例包括成像装置166。
控制器104例如由MPU等配置，并且起到控制整个信息处理设备100 的作用。此外，控制器104包括图像识别单元110、检测单元112和处理单元114，并且例如起到主导地执行根据依照本实施方式的信息处理方法的处理的作用。在此，图10示出了在以下情况下的配置的示例，在所述情况下，控制器104执行上述检测处理和上述(IV)的处理作为根据依照本实施方式的信息处理方法的处理。
图像识别单元110起到主导地执行上述(III)的处理(对捕获图像的图像识别处理)的作用，并且从捕获图像中识别瞳孔和角膜反射图像的候选。图像识别单元110例如通过执行上述(i)的处理和上述(ii)的处理从捕获图像中识别瞳孔和角膜反射图像的候选。
检测单元112起到主导地执行上述检测处理的作用，并且从捕获图像中检测角膜反射图像。检测单元112例如通过执行上述(1)的处理(眼球中心位置的估计)至上述(4)的处理(角膜反射图像的检测)来检测角膜反射图像。
检测单元112还可以使用角膜反射图像的检测的结果来执行上述(I) 的处理(用于检测与视线对应的矢量的处理)。
处理单元114起到主导地执行上述(II)的处理(使用与视线对应的矢量的处理)的作用，并且使用与视线对应的矢量(光轴矢量或其中光轴矢量被校正的视线矢量)来执行处理。处理单元114执行可以使用与视线对应的矢量来实现的任何处理如穿戴滑动处理。
控制器104包括图像识别单元110、检测单元112和处理单元114，从而主导地执行例如根据依照本实施方式的信息处理方法的处理。
例如，信息处理设备100借助于例如图10所示的配置来执行根据依照本实施方式的信息处理方法的处理(例如，上述检测处理和上述(IV) 的处理)。
因此，例如，信息处理设备100可以借助于例如图10所示的配置从捕获图像中检测角膜反射图像。
此外，借助于图10所示的配置，信息处理设备100可以展示例如由与被执行的上述处理相同的根据依照本实施方式的信息处理方法的处理带来的效果。
根据本实施方式的信息处理设备的配置不限于图10所示的配置。
例如，根据本实施方式的信息处理设备可以包括与控制器104分离的图10所示的图像识别单元110、检测单元112和处理单元114中的一个或两个或更多个(例如，使用其它处理电路来配置这些部件)。
在例如在外部装置中执行上述(III)的处理(对捕获图像的图像识别处理)并且使用外部装置的处理结果执行处理的情况下，根据本实施方式的信息处理设备可以不包括图像识别单元110。
在例如在外部装置中执行上述(II)的处理(使用与视线对应的矢量的处理)的情况下，根据本实施方式的信息处理设备可以不包括处理单元 114。
如上所述，为了方便起见，“上述检测处理”和“上述(I)的处理至 (IV)的处理之一以及上述检测处理”是从根据依照本实施方式的信息处理方法的处理划分的处理。因此，用于实现根据依照本实施方式的信息处理方法的处理的配置不限于图10所示的图像识别单元110、检测单元112 和处理单元114。并且可以是根据依照根据本实施方式的信息处理方法的处理的划分方式的配置。
在上文中，使用信息处理设备描述了本实施方式，但是本实施方式不限于这种形式。本实施方式可以用于可以处理图像的各种装置如能够通过穿戴在用户头部使用的装置(如眼镜和HMD)、计算机如个人计算机(PC) 和服务器、通信装置如移动电话和智能电话和平板装置。此外，本实施方式可以用于例如可以并入如上所述的装置中的一个或两个或更多个集成电路(IC)。
此外，根据本实施方式的信息处理设备可以用于由一个或两个或更多个装置构成的***，并且被设计成连接至网络(或者执行装置之间的通信) 如用于云计算。换言之，上述根据本实施方式的信息处理设备可以被配置为例如由多个装置构成的信息处理***。
(根据本实施方式的程序)
用于使计算机用作根据本实施方式的信息处理设备的程序(例如，能够执行根据依照本实施方式的信息处理方法的处理如“上述检测处理”或“上述(I)的处理至(IV)的处理之一以及上述检测处理”的程序)可以由计算机中的处理器等来执行，从而可以从捕获图像中检测角膜反射图像。
此外，通过用于使计算机用作根据本实施方式的信息处理设备的程序由计算机的处理器等来执行，可以提供以下效果，所述效果由与被执行的根据本实施方式的信息处理方法有关的上述处理提供。
尽管上面参照附图已经描述了本公开内容的优选实施方式，但是本公开内容不限于上面的示例。本领域技术人员可以在所附权利要求的范围内找到各种变更和修改，并且应当理解的是，所述各种变更和修改将自然地落入本公开内容的技术范围内。
例如，上面示出了提供使计算机用作根据本实施方式的信息处理设备的程序(计算机程序)，但是本实施方式还可以提供使得存储所述程序的记录介质。
上述配置示出了本实施方式的示例，并且自然地落在本公开内容的技术范围内。
此外，本说明书中描述的效果仅是说明性的或示例性的效果，而不是限制性的效果。也就是说，利用或代替上述效果，根据本公开内容的技术可以实现基于本说明书的描述对本领域技术人员而言是清楚的其他效果。
另外，本技术还可以被配置如下。
(1)一种信息处理设备，包括：
检测单元，被配置成从捕获图像中检测与来自光源的在角膜处被反射的光对应的角膜反射图像，在所述捕获图像中，用来自所述光源的光照射的眼睛被成像，
其中，所述检测单元：
基于时间序列的多个所述捕获图像来估计眼球的中心的位置，所述时间序列的多个所述捕获图像中的每一个为根据上述的所述捕获图像，
基于所估计的眼球的中心的位置来估计角膜的中心的位置，
基于所估计的角膜的中心的位置来估计所述角膜反射图像的候选的位置，以及
基于所估计的所述角膜反射图像的候选的位置，从所述捕获图像中检测所述角膜反射图像。
(2)根据(1)所述的信息处理设备，
其中，所述检测单元将基于所述多个所述捕获图像获得的时间点处的光轴矢量的交点估计为所述眼球的中心的位置。
(3)根据(1)或(2)所述的信息处理设备，
其中，所述检测单元：
基于所估计的所述眼球的中心的位置来估计瞳孔的中心的位置，以及
将在连接所估计的所述眼球的中心的位置与所估计的瞳孔的中心的位置的线段上且基于关于所述眼睛的信息所识别的位置估计为所述角膜的中心的位置。
(4)根据(1)至(3)中的任一项所述的信息处理设备，
其中，所述检测单元基于所估计的所述角膜的中心的位置、关于所述眼睛的信息和所述光源的位置来估计所述角膜反射图像的候选的位置。
(5)根据(1)至(4)中的任一项所述的信息处理设备，
其中，所述检测单元基于所检测到的角膜反射图像的位置、关于所述眼睛的信息和所述光源的位置来检测光轴矢量。
(6)根据(5)所述的信息处理设备，
其中，所述检测单元使用以下位置中的两个或更多个位置来检测所述光轴矢量：
基于所检测到的多个角膜反射图像的位置、关于所述眼睛的信息和光源的位置所识别的角膜的中心的位置，
基于所识别的角膜的中心的位置和关于所述眼睛的信息所识别的瞳孔的中心的位置，以及
所估计的所述眼球的中心的位置。
(7)根据(5)或(6)所述的信息处理设备，
其中，所述检测单元使用所设置的偏移值对所述光轴矢量进行校正。
(8)根据(5)至(7)中的任一项所述的信息处理设备，还包括被配置成使用所述光轴矢量执行处理的处理单元。
(9)根据(8)所述的信息处理设备，
其中，所述捕获图像由通过穿戴在用户头上而能够使用的装置中包括的成像装置捕获，或者由连接至所述通过穿戴在用户头上而能够使用的装置的外部成像装置捕获，以及
所述处理单元基于在第一时间点检测到的光轴矢量与在所述第一时间点之前的第二时间点估计的眼球的中心的位置之间的距离，检测所述通过穿戴在用户头上而能够使用的装置的穿戴状态的变化。
(10)根据(1)至(9)中的任一项所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
(11)一种由信息处理设备执行的信息处理方法，所述方法包括：
从捕获图像中检测与来自光源的在角膜处被反射的光对应的角膜反射图像的步骤，在所述捕获图像中，用来自所述光源的光照射的眼睛被成像，
所述检测的步骤包括：
基于时间序列的多个所述捕获图像来估计眼球的中心的位置，所述时间序列的多个所述捕获图像中的每一个为根据上述的所述捕获图像，
基于所估计的眼球的中心的位置来估计角膜的中心的位置，
基于所估计的角膜的中心的位置来估计所述角膜反射图像的候选的位置，以及
基于所估计的所述角膜反射图像的候选的位置，从所述捕获图像中检测所述角膜反射图像。
(12)一种程序，所述程序用于使计算机执行：
从捕获图像中检测与来自光源的在角膜处被反射的光对应的角膜反射图像的步骤，在所述捕获图像中，用来自所述光源的光照射的眼睛被成像，
所述检测的步骤包括：
基于时间序列的多个所述捕获图像来估计眼球的中心的位置，所述时间序列的多个所述捕获图像中的每一个为根据上述的所述捕获图像，
基于所估计的眼球的中心的位置来估计角膜的中心的位置，
基于所估计的角膜的中心的位置来估计所述角膜反射图像的候选的位置，以及
基于所估计的所述角膜反射图像的候选的位置，从所述捕获图像中检测所述角膜反射图像。
附图标记列表
100 信息处理设备
102 成像单元
104 控制器
110 图像识别单元
112 检测单元
114 处理单元

Claims (108)

1.一种信息处理设备，包括：
检测单元，被配置成从捕获图像中检测与来自光源的在角膜处被反射的光对应的角膜反射图像，在所述捕获图像中，用来自所述光源的光照射的眼睛被成像，
其中，所述检测单元：
基于时间序列的多个所述捕获图像来估计眼球的中心的位置，所述时间序列的多个所述捕获图像中的每一个为根据上述的所述捕获图像，
基于所估计的眼球的中心的位置来估计角膜的中心的位置，
基于所估计的角膜的中心的位置来估计所述角膜反射图像的候选的位置，以及
基于所估计的所述角膜反射图像的候选的位置，从所述捕获图像中检测所述角膜反射图像。
2.根据权利要求1所述的信息处理设备，
其中，所述检测单元将基于所述多个所述捕获图像获得的时间点处的光轴矢量的交点估计为所述眼球的中心的位置。
3.根据权利要求1或2所述的信息处理设备，
其中，所述检测单元：
基于所估计的所述眼球的中心的位置来估计瞳孔的中心的位置，以及
将在连接所估计的所述眼球的中心的位置与所估计的瞳孔的中心的位置的线段上且基于关于所述眼睛的信息所识别的位置估计为所述角膜的中心的位置。
4.根据权利要求1或2所述的信息处理设备，
其中，所述检测单元基于所估计的所述角膜的中心的位置、关于所述眼睛的信息和所述光源的位置来估计所述角膜反射图像的候选的位置。
5.根据权利要求3所述的信息处理设备，
其中，所述检测单元基于所估计的所述角膜的中心的位置、关于所述眼睛的信息和所述光源的位置来估计所述角膜反射图像的候选的位置。
6.根据权利要求1或2所述的信息处理设备，
其中，所述检测单元基于所检测到的角膜反射图像的位置、关于所述眼睛的信息和所述光源的位置来检测光轴矢量。
7.根据权利要求3所述的信息处理设备，
其中，所述检测单元基于所检测到的角膜反射图像的位置、关于所述眼睛的信息和所述光源的位置来检测光轴矢量。
8.根据权利要求4所述的信息处理设备，
其中，所述检测单元基于所检测到的角膜反射图像的位置、关于所述眼睛的信息和所述光源的位置来检测光轴矢量。
9.根据权利要求5所述的信息处理设备，
其中，所述检测单元基于所检测到的角膜反射图像的位置、关于所述眼睛的信息和所述光源的位置来检测光轴矢量。
10.根据权利要求6所述的信息处理设备，
其中，所述检测单元使用以下位置中的两个或更多个位置来检测所述光轴矢量：
基于所检测到的多个角膜反射图像的位置、关于所述眼睛的信息和光源的位置所识别的角膜的中心的位置，
基于所识别的角膜的中心的位置和关于所述眼睛的信息所识别的瞳孔的中心的位置，以及
所估计的所述眼球的中心的位置。
11.根据权利要求7所述的信息处理设备，
其中，所述检测单元使用以下位置中的两个或更多个位置来检测所述光轴矢量：
基于所检测到的多个角膜反射图像的位置、关于所述眼睛的信息和光源的位置所识别的角膜的中心的位置，
基于所识别的角膜的中心的位置和关于所述眼睛的信息所识别的瞳孔的中心的位置，以及
所估计的所述眼球的中心的位置。
12.根据权利要求8所述的信息处理设备，
其中，所述检测单元使用以下位置中的两个或更多个位置来检测所述光轴矢量：
基于所检测到的多个角膜反射图像的位置、关于所述眼睛的信息和光源的位置所识别的角膜的中心的位置，
基于所识别的角膜的中心的位置和关于所述眼睛的信息所识别的瞳孔的中心的位置，以及
所估计的所述眼球的中心的位置。
13.根据权利要求9所述的信息处理设备，
其中，所述检测单元使用以下位置中的两个或更多个位置来检测所述光轴矢量：
基于所检测到的多个角膜反射图像的位置、关于所述眼睛的信息和光源的位置所识别的角膜的中心的位置，
基于所识别的角膜的中心的位置和关于所述眼睛的信息所识别的瞳孔的中心的位置，以及
所估计的所述眼球的中心的位置。
14.根据权利要求6所述的信息处理设备，
其中，所述检测单元使用所设置的偏移值对所述光轴矢量进行校正。
15.根据权利要求7所述的信息处理设备，
其中，所述检测单元使用所设置的偏移值对所述光轴矢量进行校正。
16.根据权利要求8所述的信息处理设备，
其中，所述检测单元使用所设置的偏移值对所述光轴矢量进行校正。
17.根据权利要求9所述的信息处理设备，
其中，所述检测单元使用所设置的偏移值对所述光轴矢量进行校正。
18.根据权利要求10所述的信息处理设备，
其中，所述检测单元使用所设置的偏移值对所述光轴矢量进行校正。
19.根据权利要求11所述的信息处理设备，
其中，所述检测单元使用所设置的偏移值对所述光轴矢量进行校正。
20.根据权利要求12所述的信息处理设备，
其中，所述检测单元使用所设置的偏移值对所述光轴矢量进行校正。
21.根据权利要求13所述的信息处理设备，
其中，所述检测单元使用所设置的偏移值对所述光轴矢量进行校正。
22.根据权利要求6所述的信息处理设备，还包括被配置成使用所述光轴矢量执行处理的处理单元。
23.根据权利要求7所述的信息处理设备，还包括被配置成使用所述光轴矢量执行处理的处理单元。
24.根据权利要求8所述的信息处理设备，还包括被配置成使用所述光轴矢量执行处理的处理单元。
25.根据权利要求9所述的信息处理设备，还包括被配置成使用所述光轴矢量执行处理的处理单元。
26.根据权利要求10所述的信息处理设备，还包括被配置成使用所述光轴矢量执行处理的处理单元。
27.根据权利要求11所述的信息处理设备，还包括被配置成使用所述光轴矢量执行处理的处理单元。
28.根据权利要求12所述的信息处理设备，还包括被配置成使用所述光轴矢量执行处理的处理单元。
29.根据权利要求13所述的信息处理设备，还包括被配置成使用所述光轴矢量执行处理的处理单元。
30.根据权利要求14所述的信息处理设备，还包括被配置成使用所述光轴矢量执行处理的处理单元。
31.根据权利要求15所述的信息处理设备，还包括被配置成使用所述光轴矢量执行处理的处理单元。
32.根据权利要求16所述的信息处理设备，还包括被配置成使用所述光轴矢量执行处理的处理单元。
33.根据权利要求17所述的信息处理设备，还包括被配置成使用所述光轴矢量执行处理的处理单元。
34.根据权利要求18所述的信息处理设备，还包括被配置成使用所述光轴矢量执行处理的处理单元。
35.根据权利要求19所述的信息处理设备，还包括被配置成使用所述光轴矢量执行处理的处理单元。
36.根据权利要求20所述的信息处理设备，还包括被配置成使用所述光轴矢量执行处理的处理单元。
37.根据权利要求21所述的信息处理设备，还包括被配置成使用所述光轴矢量执行处理的处理单元。
38.根据权利要求22所述的信息处理设备，
其中，所述捕获图像由通过穿戴在用户头上而能够使用的装置中包括的成像装置捕获，或者由连接至所述通过穿戴在用户头上而能够使用的装置的外部成像装置捕获，以及
所述处理单元基于在第一时间点检测到的光轴矢量与在所述第一时间点之前的第二时间点估计的眼球的中心的位置之间的距离，检测所述通过穿戴在用户头上而能够使用的装置的穿戴状态的变化。
39.根据权利要求23所述的信息处理设备，
其中，所述捕获图像由通过穿戴在用户头上而能够使用的装置中包括的成像装置捕获，或者由连接至所述通过穿戴在用户头上而能够使用的装置的外部成像装置捕获，以及
所述处理单元基于在第一时间点检测到的光轴矢量与在所述第一时间点之前的第二时间点估计的眼球的中心的位置之间的距离，检测所述通过穿戴在用户头上而能够使用的装置的穿戴状态的变化。
40.根据权利要求24所述的信息处理设备，
其中，所述捕获图像由通过穿戴在用户头上而能够使用的装置中包括的成像装置捕获，或者由连接至所述通过穿戴在用户头上而能够使用的装置的外部成像装置捕获，以及
所述处理单元基于在第一时间点检测到的光轴矢量与在所述第一时间点之前的第二时间点估计的眼球的中心的位置之间的距离，检测所述通过穿戴在用户头上而能够使用的装置的穿戴状态的变化。
41.根据权利要求25所述的信息处理设备，
其中，所述捕获图像由通过穿戴在用户头上而能够使用的装置中包括的成像装置捕获，或者由连接至所述通过穿戴在用户头上而能够使用的装置的外部成像装置捕获，以及
所述处理单元基于在第一时间点检测到的光轴矢量与在所述第一时间点之前的第二时间点估计的眼球的中心的位置之间的距离，检测所述通过穿戴在用户头上而能够使用的装置的穿戴状态的变化。
42.根据权利要求26所述的信息处理设备，
其中，所述捕获图像由通过穿戴在用户头上而能够使用的装置中包括的成像装置捕获，或者由连接至所述通过穿戴在用户头上而能够使用的装置的外部成像装置捕获，以及
所述处理单元基于在第一时间点检测到的光轴矢量与在所述第一时间点之前的第二时间点估计的眼球的中心的位置之间的距离，检测所述通过穿戴在用户头上而能够使用的装置的穿戴状态的变化。
43.根据权利要求27所述的信息处理设备，
其中，所述捕获图像由通过穿戴在用户头上而能够使用的装置中包括的成像装置捕获，或者由连接至所述通过穿戴在用户头上而能够使用的装置的外部成像装置捕获，以及
所述处理单元基于在第一时间点检测到的光轴矢量与在所述第一时间点之前的第二时间点估计的眼球的中心的位置之间的距离，检测所述通过穿戴在用户头上而能够使用的装置的穿戴状态的变化。
44.根据权利要求28所述的信息处理设备，
其中，所述捕获图像由通过穿戴在用户头上而能够使用的装置中包括的成像装置捕获，或者由连接至所述通过穿戴在用户头上而能够使用的装置的外部成像装置捕获，以及
所述处理单元基于在第一时间点检测到的光轴矢量与在所述第一时间点之前的第二时间点估计的眼球的中心的位置之间的距离，检测所述通过穿戴在用户头上而能够使用的装置的穿戴状态的变化。
45.根据权利要求29所述的信息处理设备，
其中，所述捕获图像由通过穿戴在用户头上而能够使用的装置中包括的成像装置捕获，或者由连接至所述通过穿戴在用户头上而能够使用的装置的外部成像装置捕获，以及
所述处理单元基于在第一时间点检测到的光轴矢量与在所述第一时间点之前的第二时间点估计的眼球的中心的位置之间的距离，检测所述通过穿戴在用户头上而能够使用的装置的穿戴状态的变化。
46.根据权利要求30所述的信息处理设备，
其中，所述捕获图像由通过穿戴在用户头上而能够使用的装置中包括的成像装置捕获，或者由连接至所述通过穿戴在用户头上而能够使用的装置的外部成像装置捕获，以及
所述处理单元基于在第一时间点检测到的光轴矢量与在所述第一时间点之前的第二时间点估计的眼球的中心的位置之间的距离，检测所述通过穿戴在用户头上而能够使用的装置的穿戴状态的变化。
47.根据权利要求31所述的信息处理设备，
其中，所述捕获图像由通过穿戴在用户头上而能够使用的装置中包括的成像装置捕获，或者由连接至所述通过穿戴在用户头上而能够使用的装置的外部成像装置捕获，以及
所述处理单元基于在第一时间点检测到的光轴矢量与在所述第一时间点之前的第二时间点估计的眼球的中心的位置之间的距离，检测所述通过穿戴在用户头上而能够使用的装置的穿戴状态的变化。
48.根据权利要求32所述的信息处理设备，
其中，所述捕获图像由通过穿戴在用户头上而能够使用的装置中包括的成像装置捕获，或者由连接至所述通过穿戴在用户头上而能够使用的装置的外部成像装置捕获，以及
所述处理单元基于在第一时间点检测到的光轴矢量与在所述第一时间点之前的第二时间点估计的眼球的中心的位置之间的距离，检测所述通过穿戴在用户头上而能够使用的装置的穿戴状态的变化。
49.根据权利要求33所述的信息处理设备，
其中，所述捕获图像由通过穿戴在用户头上而能够使用的装置中包括的成像装置捕获，或者由连接至所述通过穿戴在用户头上而能够使用的装置的外部成像装置捕获，以及
所述处理单元基于在第一时间点检测到的光轴矢量与在所述第一时间点之前的第二时间点估计的眼球的中心的位置之间的距离，检测所述通过穿戴在用户头上而能够使用的装置的穿戴状态的变化。
50.根据权利要求34所述的信息处理设备，
其中，所述捕获图像由通过穿戴在用户头上而能够使用的装置中包括的成像装置捕获，或者由连接至所述通过穿戴在用户头上而能够使用的装置的外部成像装置捕获，以及
所述处理单元基于在第一时间点检测到的光轴矢量与在所述第一时间点之前的第二时间点估计的眼球的中心的位置之间的距离，检测所述通过穿戴在用户头上而能够使用的装置的穿戴状态的变化。
51.根据权利要求35所述的信息处理设备，
其中，所述捕获图像由通过穿戴在用户头上而能够使用的装置中包括的成像装置捕获，或者由连接至所述通过穿戴在用户头上而能够使用的装置的外部成像装置捕获，以及
所述处理单元基于在第一时间点检测到的光轴矢量与在所述第一时间点之前的第二时间点估计的眼球的中心的位置之间的距离，检测所述通过穿戴在用户头上而能够使用的装置的穿戴状态的变化。
52.根据权利要求36所述的信息处理设备，
其中，所述捕获图像由通过穿戴在用户头上而能够使用的装置中包括的成像装置捕获，或者由连接至所述通过穿戴在用户头上而能够使用的装置的外部成像装置捕获，以及
所述处理单元基于在第一时间点检测到的光轴矢量与在所述第一时间点之前的第二时间点估计的眼球的中心的位置之间的距离，检测所述通过穿戴在用户头上而能够使用的装置的穿戴状态的变化。
53.根据权利要求37所述的信息处理设备，
其中，所述捕获图像由通过穿戴在用户头上而能够使用的装置中包括的成像装置捕获，或者由连接至所述通过穿戴在用户头上而能够使用的装置的外部成像装置捕获，以及
所述处理单元基于在第一时间点检测到的光轴矢量与在所述第一时间点之前的第二时间点估计的眼球的中心的位置之间的距离，检测所述通过穿戴在用户头上而能够使用的装置的穿戴状态的变化。
54.根据权利要求1所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
55.根据权利要求2所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
56.根据权利要求3所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
57.根据权利要求4所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
58.根据权利要求5所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
59.根据权利要求6所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
60.根据权利要求7所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
61.根据权利要求8所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
62.根据权利要求9所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
63.根据权利要求10所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
64.根据权利要求11所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
65.根据权利要求12所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
66.根据权利要求13所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
67.根据权利要求14所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
68.根据权利要求15所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
69.根据权利要求16所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
70.根据权利要求17所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
71.根据权利要求18所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
72.根据权利要求19所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
73.根据权利要求20所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
74.根据权利要求21所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
75.根据权利要求22所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
76.根据权利要求23所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
77.根据权利要求24所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
78.根据权利要求25所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
79.根据权利要求26所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
80.根据权利要求27所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
81.根据权利要求28所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
82.根据权利要求29所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
83.根据权利要求30所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
84.根据权利要求31所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
85.根据权利要求32所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
86.根据权利要求33所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
87.根据权利要求34所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
88.根据权利要求35所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
89.根据权利要求36所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
90.根据权利要求37所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
91.根据权利要求38所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
92.根据权利要求39所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
93.根据权利要求40所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
94.根据权利要求41所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
95.根据权利要求42所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
96.根据权利要求43所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
97.根据权利要求44所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
98.根据权利要求45所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
99.根据权利要求46所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
100.根据权利要求47所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
101.根据权利要求48所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
102.根据权利要求49所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
103.根据权利要求50所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
104.根据权利要求51所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
105.根据权利要求52所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
106.根据权利要求53所述的信息处理设备，还包括图像识别单元，所述图像识别单元被配置成从所述捕获图像中识别瞳孔和所述角膜反射图像的候选，
其中，所述检测单元使用所述图像识别单元的识别结果来检测所述角膜反射图像。
107.一种由信息处理设备执行的信息处理方法，所述方法包括：
从捕获图像中检测与来自光源的在角膜处被反射的光对应的角膜反射图像的步骤，在所述捕获图像中，用来自所述光源的光照射的眼睛被成像，
所述检测的步骤包括：
基于时间序列的多个所述捕获图像来估计眼球的中心的位置，所述时间序列的多个所述捕获图像中的每一个为根据上述的所述捕获图像，
基于所估计的眼球的中心的位置来估计角膜的中心的位置，
基于所估计的角膜的中心的位置来估计所述角膜反射图像的候选的位置，以及
基于所估计的所述角膜反射图像的候选的位置，从所述捕获图像中检测所述角膜反射图像。
108.一种记录有程序的计算机可读记录介质，所述程序用于使计算机执行：
从捕获图像中检测与来自光源的在角膜处被反射的光对应的角膜反射图像的步骤，在所述捕获图像中，用来自所述光源的光照射的眼睛被成像，
所述检测的步骤包括：
基于时间序列的多个所述捕获图像来估计眼球的中心的位置，所述时间序列的多个所述捕获图像中的每一个为根据上述的所述捕获图像，
基于所估计的眼球的中心的位置来估计角膜的中心的位置，
基于所估计的角膜的中心的位置来估计所述角膜反射图像的候选的位置，以及
基于所估计的所述角膜反射图像的候选的位置，从所述捕获图像中检测所述角膜反射图像。
CN201580065242.1A 2014-12-02 2015-09-03 信息处理设备、信息处理方法及计算机可读记录介质 Expired - Fee Related CN106999038B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-243907 2014-12-02
JP2014243907A JP2016106668A (ja) 2014-12-02 2014-12-02 情報処理装置、情報処理方法、およびプログラム
PCT/JP2015/075140 WO2016088418A1 (ja) 2014-12-02 2015-09-03 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN106999038A CN106999038A (zh) 2017-08-01
CN106999038B true CN106999038B (zh) 2019-03-08

Family

ID=56091376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580065242.1A Expired - Fee Related CN106999038B (zh) 2014-12-02 2015-09-03 信息处理设备、信息处理方法及计算机可读记录介质

Country Status (5)

Country Link
US (1) US10546194B2 (zh)
EP (1) EP3228238B1 (zh)
JP (1) JP2016106668A (zh)
CN (1) CN106999038B (zh)
WO (1) WO2016088418A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016149660A (ja) * 2015-02-13 2016-08-18 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN105528084A (zh) * 2016-01-21 2016-04-27 京东方科技集团股份有限公司 一种显示控制装置及其控制方法、显示控制***
US10115205B2 (en) * 2016-03-11 2018-10-30 Facebook Technologies, Llc Eye tracking system with single point calibration
JP6485819B2 (ja) * 2016-07-27 2019-03-20 フォーブ インコーポレーテッド 視線検出システム、ずれ検出方法、ずれ検出プログラム
US9898082B1 (en) * 2016-11-01 2018-02-20 Massachusetts Institute Of Technology Methods and apparatus for eye tracking
JP7030317B2 (ja) * 2016-12-19 2022-03-07 国立大学法人静岡大学 瞳孔検出装置及び瞳孔検出方法
ES2909057T3 (es) * 2017-09-08 2022-05-05 Tobii Ab Seguimiento ocular que utiliza la posición del centro del globo ocular
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
EP3750028B1 (en) 2018-02-09 2022-10-19 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
EP3750029A1 (en) 2018-02-09 2020-12-16 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters using a neural network
WO2019246613A1 (en) 2018-06-22 2019-12-26 Magic Leap, Inc. Method and system for performing eye tracking using an off-axis camera
US10552986B1 (en) * 2018-07-20 2020-02-04 Banuba Limited Computer systems and computer-implemented methods configured to track multiple eye-gaze and heartrate related parameters during users' interaction with electronic computing devices
CN111124103A (zh) * 2018-10-31 2020-05-08 托比股份公司 检测头戴式装置的重新定位
SE1851597A1 (en) * 2018-12-17 2020-06-02 Tobii Ab Gaze tracking via tracing of light paths
ES2926361T3 (es) * 2018-12-21 2022-10-25 Tobii Ab Calibración continua basada en características de la pupila
JP7216562B2 (ja) * 2019-02-07 2023-02-01 株式会社トプコン 眼科装置
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
JP7255436B2 (ja) * 2019-09-25 2023-04-11 株式会社豊田中央研究所 眼球構造推定装置
CN111714080B (zh) * 2020-06-30 2021-03-23 重庆大学 一种基于眼动信息的疾病分类***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5552854A (en) * 1992-09-14 1996-09-03 Nikon Corporation Visual line detection device and camera equipped therewith
CN102149325A (zh) * 2008-09-26 2011-08-10 松下电器产业株式会社 视线方向判定装置及视线方向判定方法
EP2467053B1 (en) * 2009-08-20 2013-04-03 Technische Universiteit Delft Apparatus and method for automatically determining a strabismus angle
CN103514462A (zh) * 2012-06-27 2014-01-15 株式会社读卖广告社 注视线测定方法、注视线测定装置、眼球回旋点测定方法及着眼点测定装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0782539B2 (ja) * 1988-07-14 1995-09-06 株式会社エイ・ティ・アール通信システム研究所 瞳孔画像撮影装置
JPH06347865A (ja) * 1993-06-10 1994-12-22 Nikon Corp 視線検出装置およびこれが搭載されたカメラ
JPH085897A (ja) * 1994-06-22 1996-01-12 Olympus Optical Co Ltd ファインダ装置
JPH0918760A (ja) * 1995-06-30 1997-01-17 Canon Inc 視線検出装置およびこれに用いる撮像装置
US6089715A (en) * 1998-10-15 2000-07-18 Eyedx, Inc. Automated photorefractive screening
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
WO2005046465A1 (en) * 2003-11-14 2005-05-26 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
JP4604190B2 (ja) * 2004-02-17 2010-12-22 国立大学法人静岡大学 距離イメージセンサを用いた視線検出装置
JP4260715B2 (ja) * 2004-09-24 2009-04-30 日本電信電話株式会社 視線測定方法および視線測定装置
JP2007029126A (ja) * 2005-07-22 2007-02-08 System Artware:Kk 視線検出装置
ITVR20110201A1 (it) * 2011-11-02 2013-05-03 Milano Politecnico Dispositivo per il monitoraggio della posizione e deimovimenti dell'occhio, particolarmente adatto per la radioterapia oculare
US9968252B2 (en) * 2012-10-02 2018-05-15 University Hospitals Of Cleveland Apparatus and methods for diagnosis of strabismus
JP6217445B2 (ja) * 2013-03-07 2017-10-25 株式会社Ｊｖｃケンウッド 診断支援装置および診断支援方法
US10359842B2 (en) * 2014-09-16 2019-07-23 Ricoh Company, Limited Information processing system and information processing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5552854A (en) * 1992-09-14 1996-09-03 Nikon Corporation Visual line detection device and camera equipped therewith
CN102149325A (zh) * 2008-09-26 2011-08-10 松下电器产业株式会社 视线方向判定装置及视线方向判定方法
EP2467053B1 (en) * 2009-08-20 2013-04-03 Technische Universiteit Delft Apparatus and method for automatically determining a strabismus angle
CN103514462A (zh) * 2012-06-27 2014-01-15 株式会社读卖广告社 注视线测定方法、注视线测定装置、眼球回旋点测定方法及着眼点测定装置

Also Published As

Publication number Publication date
US10546194B2 (en) 2020-01-28
EP3228238B1 (en) 2019-12-18
EP3228238A4 (en) 2018-08-22
JP2016106668A (ja) 2016-06-20
EP3228238A1 (en) 2017-10-11
CN106999038A (zh) 2017-08-01
US20170293794A1 (en) 2017-10-12
WO2016088418A1 (ja) 2016-06-09

Similar Documents

Publication Publication Date Title
CN106999038B (zh) 信息处理设备、信息处理方法及计算机可读记录介质
US20180267323A1 (en) Information processing apparatus, information processing method, and program
US9940717B2 (en) Method and system of geometric camera self-calibration quality assessment
US11386699B2 (en) Image processing method, apparatus, storage medium, and electronic device
CN110647865A (zh) 人脸姿态的识别方法、装置、设备及存储介质
US9697415B2 (en) Recording medium, image processing method, and information terminal
US9858680B2 (en) Image processing device and imaging apparatus
US10645364B2 (en) Dynamic calibration of multi-camera systems using multiple multi-view image frames
CN107852533A (zh) 三维内容生成装置及其三维内容生成方法
CN106415445A (zh) 用于观看者关注区域估计的技术
CN105653017B (zh) 电子装置及电子装置的重力感测校正方法
US20190191994A1 (en) Information processing apparatus, information processing method, and recording medium
CN108985220A (zh) 一种人脸图像处理方法、装置及存储介质
WO2017163516A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN107560637A (zh) 头戴显示设备校准结果验证方法及头戴显示设备
CN109948630A (zh) 靶纸图像的识别方法、装置、***和存储介质
US9924865B2 (en) Apparatus and method for estimating gaze from un-calibrated eye measurement points
CN106919246A (zh) 一种应用界面的显示方法和装置
US10402939B2 (en) Information processing device, information processing method, and program
WO2022246605A1 (zh) 一种关键点标定方法和装置
WO2024055531A1 (zh) 照度计数值识别方法、电子设备及存储介质
CN107608541B (zh) 三维姿态定位方法、装置及电子设备
US20230020578A1 (en) Systems and methods for vision test and uses thereof
WO2016129154A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN109685755A (zh) 电子照片生成方法、装置、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190308

Termination date: 20200903