CN108475119B - 信息处理设备、信息处理方法、以及包含程序的计算机可读记录介质 - Google Patents

信息处理设备、信息处理方法、以及包含程序的计算机可读记录介质 Download PDF

Info

Publication number
CN108475119B
CN108475119B CN201680079543.4A CN201680079543A CN108475119B CN 108475119 B CN108475119 B CN 108475119B CN 201680079543 A CN201680079543 A CN 201680079543A CN 108475119 B CN108475119 B CN 108475119B
Authority
CN
China
Prior art keywords
information processing
display screen
processing apparatus
calibration
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680079543.4A
Other languages
English (en)
Other versions
CN108475119A (zh
Inventor
鹤见辰吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108475119A publication Critical patent/CN108475119A/zh
Application granted granted Critical
Publication of CN108475119B publication Critical patent/CN108475119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Cardiology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开一种信息处理设备，其包括处理单元，所述处理单元被配置成执行推导用户与显示屏之间的相对位置关系以使校准位置在所述显示屏的视角内的推导过程，当获取用于视线校准的采样数据时，由视线检测目标的所述用户注视所述校准位置。

Description

信息处理设备、信息处理方法、以及包含程序的计算机可读记 录介质
技术领域
本公开涉及一种信息处理设备、一种信息处理方法，以及一种在其中记录有程序的计算机可读记录介质。
背景技术
作为用于检测视线的方法，例如，存在“使用角膜反射技术(瞳孔角膜反射技术)的方法，其使用所形成的角膜反射图像(也称为“浦肯野图像(Purkinje image)”，以使通过角膜反射来自光源诸如红外发光二极管(IR LED)的光)”等等。
此处，在由通过使用上述技术获得的视线的检测结果估计的用户所注视的位置或类似物与用户实际所注视的位置或类似物之间可能存在误差。为此，对使用上述技术所检测的视线的检测结果进行校准以减小误差，并且用户所注视的位置或类似物使用视线的经校准的检测结果进行估计。
在此类情况下，已经开发了与视线的校准相关的技术。作为与视线校准相关的技术，例如，已知专利文献1中所述的技术。
引用列表
专利文献
专利文献1：JP 2015-152939A
发明内容
技术问题
作为执行视线校准的方法，存在使用例如穿戴在用户头部的可穿戴装置(诸如头戴式显示器或眼镜)执行视线校准的方法。作为一个具体实例，作为使用穿戴在头部的可穿戴装置执行视线校准的方法，例如，存在以下方法(a)和(b)。(a)一种执行校准的设备，其使标记显示于穿戴在用户头部的可穿戴装置中安装的显示装置的显示屏上的校准位置上，使用户注视标记，并且获取用于视线校准的采样数据。接着，该设备根据基于所获取的采样数据获得的校准信息(将在下文描述)校准视线的检测结果。(b)一种执行校准的设备，其使标记印刷在将通过成像装置(在下文称为“向外成像装置”)成像的片材上，该成像装置安装在穿戴于用户头部的可穿戴装置中并且对在用户穿戴时与用户的脸侧相反的方向成像。接着，该设备根据基于通过从所获取的捕捉图像中检测标记获得的用于视线校准的采样数据的校准信息(将在下文描述)校准视线的检测结果。
然而，在(a)的方法中，如果穿戴在头部的可穿戴装置不包括能够在显示屏上显示标记的显示装置，那么不能获取采样数据，并且也不能校准视线的检测结果。此外，在(b)的方法中，由于向外成像装置与其上印刷有标记的片材之间的位置关系不一定是恒定的，因此可能不能稳定地获取采样数据。
本公开公开了一种信息处理设备、一种信息处理方法、以及一种在其中记录有程序的计算机可读记录介质，它们是新型且改进的并且能够改善用于视线校准的采样数据的获取的稳定性。
问题的解决方案
根据本公开，提供了一种信息处理设备，其包括处理单元，所述处理单元被配置成执行推导用户与显示屏之间的相对位置关系以使校准位置在显示屏的视角内的推导过程，当获取用于视线校准的采样数据时，由视线检测目标的用户注视校准位置。
此外，根据本公开，提供了一种由信息处理设备执行的信息处理方法，该方法包括推导用户与显示屏之间的相对位置关系以使校准位置在显示屏的视角内的步骤，当获取用于视线校准的采样数据时，由视线检测目标的用户注视校准位置。
此外，根据本公开，提供了一种在其中存储有程序的计算机可读存储介质，该程序使计算机实施推导用户与显示屏之间的相对位置关系以使校准位置在显示屏的视角内的功能，当获取用于视线校准的采样数据时，由视线检测目标的用户注视校准位置。
本发明的有益效果如下：
根据本公开，可以改善用于视线校准的采样数据的获取的稳定性。
应注意，上述效果不必是限制性的。结合或代替以上效果，可实现本说明书中所述的效果或由本说明书可掌握的其他效果中的任一个。
附图说明
[图1]图1为用于描述校准视线的检测结果的方法的实例的说明图。
[图2]图2为用于描述与校准视线的检测结果的方法相关的过程的实例的说明图。
[图3]图3为用于描述与校准视线的检测结果的方法相关的过程的实例的说明图。
[图4]图4为示出根据本实施例的信息处理方法的应用实例的说明图。
[图5]图5为用于描述根据本实施例的信息处理方法的实例的说明图。
[图6]图6为用于描述与根据本实施例的信息处理方法相关的推导过程的实例的说明图。
[图7]图7为用于描述与根据本实施例的信息处理方法相关的推导过程的实例的说明图。
[图8]图8为用于描述与根据本实施例的信息处理方法相关的推导过程的实例的说明图。
[图9]图9为用于描述与根据本实施例的信息处理方法相关的推导过程的实例的说明图。
[图10]图10为示出与根据实施例的信息处理方法相关的过程的实例的流程图。
[图11]图11为示出根据实施例的信息处理设备的配置的实例的框图。
[图12]图12为示出根据实施例的信息处理设备的硬件配置的实例的说明图。
[图13]图13为用于描述根据本实施例的信息处理设备的处理单元的功能的实例的框图。
具体实施方式
下文将参考附图详细描述本公开的优选实施例。应注意，在本说明书和附图中，具有基本上相同功能和结构的结构元件用相同的附图标号表示并且省略了这些结构元件的重复说明。
此外，将按照以下顺序进行以下描述。
1.根据本实施例的信息处理方法
2.根据本实施例的信息处理设备
3.根据本实施例的程序
4.根据本实施例的在其中记录有程序的计算机可读记录介质
(根据本实施例的信息处理方法)
首先，将描述根据本实施例的信息处理方法。以下描述将使用实例进行，其中与根据本实施例的信息处理方法相关的过程通过根据本实施例的信息处理设备执行。
[1]校准视线的检测结果的方法
首先，将描述校准视线的检测结果的方法。以下描述将使用在通过使用角膜反射技术的方法检测视线的情况下校准视线的检测结果的方法的实例进行。
图1为用于描述校准视线的检测结果的方法的实例的说明图，并且示出通过对为视线检测目标的用户的眼睛进行成像获得的捕捉图像的实例。在下文，为视线检测目标的用户也简称为“用户”。
与用户的视线相关的轴线包括如图1所示的光轴和视轴。
此处，光轴是通过瞳孔中心的角膜正垂线并且对应于，例如，连接角膜中心位置(角膜中心的中心的三维位置(角膜曲率的中心))与瞳孔中心位置(瞳孔的中心的三维位置)的线。光轴可以，例如，使用3D眼球模型进行估计。另一方面，不能以与光轴相同的方式使用3D眼球模型估计视轴。
因此，使用角膜反射技术的视线检测结果的实例包括基于光轴的检测结果，诸如通过所检测的光轴指示的方向、指示所检测的光轴的向量、以及基于所检测的光轴所指定的用户观看的位置中的一个或多个。在下文，通过视线的检测结果指示的指示光轴的向量称为“光轴向量”。
视轴是连接节点(晶状体的中央后表面)与中央凹的线并且对应于用户(人)实际观看所处的轴线。视轴和光轴彼此不重合，如图1所示，并且视轴相对于光轴倾斜约4[°]至8[°]。此外，在视轴相对于光轴的倾斜中存在各体差异。
为了进一步减小视轴与光轴的偏差(图1所示的“偏移”)，执行校准。执行例如用户每只眼睛的校准。
此外，如上所述，不能以与光轴相同的方式使用眼球3D模型估计视轴。因此，通过根据例如以下过程校准光轴来估计视轴。
-获得在当使用户观看校准位置时获得的光轴向量与连接对应于眼球的参考位置与校准位置的向量(下文称为“正确解向量”)之间的差(偏移)，并且将所获得的差记录并保持在记录介质中。
-使用基于所述差获得的校准信息(将在下文描述)校正光轴向量。
此处，与眼球相对应的参考位置的实例包括眼球的位置和安装在穿戴在头部的可穿戴装置中的向外成像装置的位置。此外，光轴向量与正确解向量之间的差(偏移)与用于视线校准的采样数据相对应。
与校准视线的检测结果的方法相关的过程的实例将作为实例使用根据(a)的方法(使标记显示于安装在穿戴在头部的可穿戴装置中的显示屏上的方法)和(b)的方法(使用印刷在片材上的标记的方法)的过程进行描述。
图2为用于描述与校准视线的检测结果的方法相关的过程的实例的说明图，也就是说，用于描述根据(a)的方法(使标记显示于安装在穿戴在头部的可穿戴装置中的显示屏上的方法)的过程的实例的图。图2的A示出玻璃型眼镜(穿戴在头部的可穿戴装置的实例)中的显示屏的实例。此外，图2的B示出与眼睛相关的坐标系的实例。
使用户观看显示屏上的校准位置P1、P2、P3、P4以及P5中的每一个，并且将在每种情况中光轴向量与正确解向量之间的差
Figure BDA0001737013330000051
(n为指配给校准位置的编号)保持在记录介质中。此处，
Figure BDA0001737013330000053
指示光轴向量的
Figure BDA0001737013330000052
与正确解向量的
Figure BDA0001737013330000054
之间的差。此外，Δθn指示光轴向量的θn与正确解向量的θn之间的差。
在光轴向量V1在某一时间点校准的情况下，光轴向量V1使用校准参数
Figure BDA0001737013330000055
校准，所述校准参数通过对与校准位置P1、P2、P3、P4和P5相对应的光轴向量与正确解向量之间的差
Figure BDA0001737013330000056
进行积分获得。与多个校准位置P1、P2、P3、P4和P5相对应的光轴向量与正确解向量之间的差
Figure BDA0001737013330000058
Figure BDA0001737013330000057
的积分是，例如，获得与多个校准位置P1、P2、P3、P4和P5相对应的光轴向量与正确解向量之间的差
Figure BDA0001737013330000059
的平均值。
此处，校准参数
Figure BDA00017370133300000510
与基于采样数据的校准信息的实例相对应。可以例如通过计算用户每只眼睛的校准参数
Figure BDA00017370133300000511
获得用户每只眼睛的根据本实施例的校准信息。此外，还可以使用针对一只眼睛获得的校准信息作为与另一只眼睛相对应的校准信息。
例如，校准参数
Figure BDA00017370133300000512
中的
Figure BDA00017370133300000513
通过以下式1计算。此处，以下式1中的“rn”指示用户眼睛位置与校准位置之间的距离，并且式1指示由距离进行加权的校准参数。用户眼睛位置与校准位置之间的距离可以，例如，基于“基于通过安装在玻璃型眼镜(穿戴于头部的可穿戴装置的实例)中的向外成像装置所捕捉的捕捉图像的估计”、“任意方案的距离传感器的检测结果”等获得。
[数学式1]
Figure BDA0001737013330000061
此外，校准参数
Figure BDA0001737013330000062
中的Δθ可如式1中那样计算。
另外，应认识到，计算校准参数
Figure BDA0001737013330000063
(校准信息的实例)的实例不限于以上实例。
图3为用于描述与校准视线的检测结果的方法相关的过程的实例的说明图，也就是说，用于描述根据(b)的方法(使用印刷在片材上的标记的方法)的过程的实例的图。
图3的附图标号C1指示安装在玻璃型眼镜中的向外成像装置。此外，图3的附图标号C2指示成像装置(下文也称为“向内成像装置”)，当其安装在其中的玻璃型眼镜由用户穿戴时，该成像装置对用户的眼睛成像。向外成像装置用于生成用于检测对象(诸如标记)的捕捉图像。此外，向内成像装置用于生成用于检测用户视线的捕捉图像。在下文，向外成像装置标记为“向外成像装置C1”，并且向内成像装置标记为“向内成像装置C2”。
图3示出通过向外成像装置C1对印刷在片材上的标记M成像的实例。图3的A示出时间t-1时的状态，并且图3的B示出时间t时的状态。
在使用印刷在片材上的标记的方法中，如上所述，采样数据通过从通过由向外成像装置C1执行的成像生成的捕捉图像中检测标记M而获得。具体地，在使用印刷在片材上的标记的方法中，例如，将向外成像装置C1的位置设定为与眼球相对应的参考位置，并且标记M的中心位置设定为校准位置。接着，获得光轴向量与连接向外成像装置C1(与眼球相对应的参考位置的实例)与标记M的中心位置(校准位置的实例)的正确解向量之间的差，作为用于视线校准的采样数据。
在使用印刷在片材上的标记的方法中，通过从多个捕捉图像中检测标记M，确定标记M是固定的，并且在确定标记M固定的情况下，一起获取多个时间点的光轴向量，并且获得采样数据。接着，与根据(a)的方法(使标记显示于安装在穿戴在头部的可穿戴装置中的显示屏上的方法)的过程类似地计算校准参数
Figure BDA0001737013330000071
(校准信息的实例)，并且使用所计算的校准参数
Figure BDA0001737013330000072
Figure BDA0001737013330000073
校准某一时间点处的光轴向量。
[2]抑制用于视线校准的采样数据的稳定获取的因素
在(a)的方法(使标记显示于安装在穿戴在头部的可穿戴装置中的显示屏上的方法)和(b)的方法(使用印刷在片材上的标记的方法)中的每一个中，如上所述获取采样数据。此外，在(a)的方法(使标记显示于安装在穿戴在头部的可穿戴装置中的显示屏上的方法)和(b)的方法(使用印刷在片材上的标记的方法)中的每一个中，根据基于所获取的采样数据的校准信息校准光轴向量。
然而，在使用(a)的方法(使标记显示于安装在穿戴在头部的可穿戴装置中的显示屏上的方法)的情况下，不能获取采样数据，除非穿戴在头部的可穿戴装置包括能够如上所述在显示屏上显示标记的显示装置。此外，(a)的方法(使标记显示于安装在穿戴在头部的可穿戴装置中的显示屏上的方法)是仅在穿戴在头部的可穿戴装置包括能够在显示屏上显示标记的显示装置时可应用的方法。
此外，在(b)的方法(使用印刷在片材上的标记的方法)中，标记M相对于向外成像装置C1的位置不必须是恒定的。此外，例如，如图3的A和图3的B中所示，如果标记M相对于向外成像装置C1移动，那么正确解向量随着标记M相对于向外成像装置C1的移动而改变。此外，在标记M相对于向外成像装置C1移动的情况下，如图3的A和图3的B中所示，由于相应时间点的正确解向量是不同的，因此基于从同一正确解向量获得的多条采样数据不能获得校准信息。
此外，在获得校准信息，同时认为不同的正确解向量彼此独立的情况下，通过校准视线的检测结果获得的视轴的估计结果的准确度不太可能是稳定的。
[3]与根据本实施例的信息处理方法相关的过程
[3-1]与根据本实施例的信息处理方法相关的过程的概述
就这一点而言，根据本实施例的信息处理设备执行推导视线检测目标的用户与显示屏之间的相对位置关系以使校准位置位于显示屏的视角内的推导过程。
此处，根据本实施例的显示屏的实例包括“安装在各种设备诸如智能电话中的显示装置的显示屏”、“通过图像投影装置诸如投影仪将图像投影在其上的墙壁的区域”。
此外，根据本实施例的校准位置是在获取用于视线校准的采样数据时使用户注视的位置。在下文，用于视线校准的采样数据也简称为“采样数据”。
作为根据本实施例的校准位置，例如，可以使用与用户脸部的向前方向相对应的参考向量和包括显示屏的平面的交点。
根据本实施例的参考向量是设定在与用户脸部相关的坐标系中的固定向量。作为根据本实施例的参考向量，例如，可以使用具有与用户的脸部相对应的坐标系的原点的位置作为起始点并且与校准位置的数量相对应的一个或多个向量。
作为与用户的脸部相关的坐标系，例如，可以使用“其中使用向内成像装置C2所安装的位置(或向外成像装置C1所安装的位置)作为穿戴在用户头部的可穿戴装置中的原点的固定坐标系”(下文也称为“与“可穿戴装置”相对应的固定坐标系”)。
此外，根据本实施例的与用户的脸部相关的坐标系不限于与可穿戴装置相对应的固定坐标系。例如，在通过布置在用户所待的空间诸如房间中的一个或两个或更多个成像装置检测用户眼睛位置的情况下，可以使用与所检测的眼睛相关的坐标系。以下描述将使用其中与用户脸部相关的坐标系为与可穿戴装置相对应的固定坐标系的实例进行。
例如，根据本实施例的信息处理设备指定了一个平面，与所有所设定的相应参考向量的交点位于该平面上，包括呈平面形式的显示屏，包括根据本实施例的显示屏。
在根据本实施例的显示屏为显示装置的显示屏的情况下，例如，具有与显示屏相同尺寸的平面(与显示屏的视角相对应的平面)或在显示屏的视角中的区域和显示屏的视角外部的任意尺寸的区域中指定的平面可用作包括根据本实施例的显示屏的平面。此外，在根据本实施例的显示屏为通过图像投影装置将图像投影到其上的墙壁的区域的情况下，例如，具有与显示屏相同尺寸的平面(与显示屏的视角相对应的平面)或在显示屏的视角中的区域和显示屏的视角外部的任意尺寸的区域中指定的平面可用作包括根据本实施例的显示屏的平面。此外，在根据本实施例的显示屏为通过图像投影装置将图像投影到其上的墙壁的区域的情况下，可使用平面组(在忽略墙壁的不平部分时)作为包括显示屏的平面。
例如，根据本实施例的信息处理设备基于显示在显示屏上的从由向外成像装置C1生成的捕捉图像(通过对用户脸部的向前方向成像而获得的捕捉图像的实例)中检测的预定对象指定了含有根据本实施例的显示屏的平面。根据本实施例的信息处理设备指定了包括显示屏的平面，例如，通过从捕捉图像中检测标记(预定对象的实例)并指定显示屏。例如，决定包括显示屏的平面的尺寸，以使与所有设定参考向量中的每一个的交点位于包括如上所述的显示屏的平面上。
此处，预定对象可以是，例如，任意对象，其可通过任意对象识别过程从图像中检测，诸如图3所示的标记M。
图4为示出根据本实施例的信息处理方法的应用实例的说明图。图4示出其中使用玻璃型眼镜D1和包括显示装置的设备D2诸如智能电话的实例。
在图4所示的应用实例中，作为根据本实施例的信息处理设备，例如，可以使用计算机(未示出)，诸如服务器。在根据本实施例的信息处理设备为诸如服务器的计算机(未示出)的情况下，根据本实施例的信息处理设备通过安装在其中的通信单元(将在下文描述)或连接到其上的外部通信装置适当地执行与眼镜D1和设备D2中的每一个的通信。
此外，图4所示的应用实例中的根据本实施例的信息处理设备不限于以上实例。在图4所示的应用实例中，根据本实施例的信息处理设备可以是眼镜D1或设备D2。此外，根据本实施例的信息处理设备的应用实例将在下文描述。
眼镜D1是支持根据角膜反射技术的视线检测的装置并且包括，例如，向外成像装置C1、向内成像装置C2，以及光源L，诸如IR LED。
例如，用于检测设备D2(或设备D2的显示屏)的标记M1(预定对象的实例。同样适用于其他图)显示在设备D2的显示屏上。
标记M1的显示可在主观上通过设备D2发起或可由根据本实施例的信息处理设备执行。根据本实施例的信息处理设备通过将包括显示命令的控制信号传输至，例如，与显示屏相对应的装置(诸如显示装置或图像投影装置)而使标记M1显示在显示屏上。
此外，指示校准位置的标记M2(在下文同样适用于其他图)显示在设备D2的显示屏上。此处，在参考向量和包括显示屏的平面的交点位于设备D2的显示屏的视角内的情况下，标记M2显示在设备D2的显示屏上。
标记M2的显示可在主观上通过设备D2发起或可由根据本实施例的信息处理设备执行。根据本实施例的信息处理设备通过将包括显示命令的控制信号传输至，例如，与显示屏相对应的装置(诸如显示装置或图像投影装置)而使标记M2显示在显示屏上。
如图4所示，标记M2显示在显示屏上的情况对应于校准位置位于显示屏上的情况。在标记M2显示于显示屏上的情况下，例如，可以获得当用户看着标记M2时光轴向量与正确解向量之间的差
Figure BDA0001737013330000101
并且获取与正在显示的标记M2相对应的校准位置处的采样数据。
此处，在图4所示的实例中，用户与设备D2的显示屏之间的相对位置关系可改变，例如，当用户移动设备D2的位置时。
图5为用于描述根据本实施例的信息处理方法的实例的说明图，并且在图4所示的实例中，当从用户看时，用户将设备D2移动至右侧。图5的A示出用户移动设备D2之前的状态的实例，并且图5的B示出用户移动设备D2之后的状态的实例。在图5中，与某一校准位置相对应的参考向量通过附图标号Vo指示。
例如，如图5所示，在用户移动设备D2的情况下，用户与设备D2的显示屏之间的相对位置关系改变。另一方面，参考向量Vo是设定在与用户脸部相关的坐标系中的固定向量并且因此不取决于用户与设备D2的显示屏之间的相对位置关系的变化。
因此，当用户移动设备D2时，参考向量Vo和包括显示屏的平面的交点的位置与下文将描述的(a)的情况和下文将描述的(b)的情况中的任一个相对应。
(a)其中参考向量和包括显示屏的平面的交点的位置在设备D2的显示屏的视角内的情况
在参考向量和包括显示屏的平面的交点位于设备D2的显示屏的视角内的情况下，标记M2显示在与设备D2的显示屏的交点相对应的位置处，例如如图5的B中所示。
因此，在标记M2显示于设备D2的显示屏上的情况下，如图5的B中所示，在用户移动设备D2之后的状态中，根据本实施例的信息处理设备获得在用户看着标记M2的情况下光轴向量与正确解向量之间的差
Figure BDA0001737013330000102
并且获得在与正在显示的标记M2相对应的校准位置处的采样数据，类似于参考图4所描述的实例。
(b)其中参考向量和包括显示屏的平面的交点的位置不在设备D2的显示屏的视角内的情况
在参考向量和包括显示屏的平面的交点不位于设备D2的显示屏的视角内，也就是说，参考向量和包括显示屏的平面的交点在设备D2的显示屏的视角外部的情况下，校准位置不在设备D2的显示屏的视角内。因此，在以上情况下，标记M2不显示在设备D2的显示屏上。
在如上所述校准位置不在显示屏的视角内的情况下，根据本实施例的信息处理设备推导用户与显示屏之间的相对位置关系，以使校准位置在显示屏的视角内。此处，“推导用户与显示屏之间的相对位置关系，以使校准位置在显示屏的视角内”对应于“将相对位置关系推导为其中可获取采样数据的位置关系”。
更具体地，根据本实施例的信息处理设备推导用户与显示屏之间的相对位置关系，以使校准位置在显示屏的视角内，例如，通过执行下文将描述的(I)中所述的第一推导过程至(IV)中所述的另一推导过程中的任一个。
(I)推导过程的第一实例：视觉推导
根据本实施例的信息处理设备通过使用于推导用户与显示屏之间的相对位置关系的推导对象显示在显示屏上来推导用户与显示屏之间的相对位置关系。
此处，根据本实施例的推导对象可以是，例如，指示用户移动的方向或用户移动显示屏的方向的对象。此外，根据本实施例的推导对象还可以动画方式显示。
图6为用于描述与根据本实施例的信息处理方法相关的推导过程的实例的说明图，并且示出使用推导对象的视觉推导的第一实例。此外，图6示出在包括显示装置的设备D2(诸如智能电话)的显示屏上显示推导对象的实例。在图6中，与第一校准位置相对应的参考向量通过附图标号Vo1指示。此外，在图6中，与第二至第五校准位置相对应的参考向量通过附图标号Vo2至Vo5指示。
将作为实例描述其中获取在与参考向量Vo1相对应的校准位置处的采样数据的情况。如图6的A中所示，在参考向量Vo1和包括显示屏的平面的交点不位于设备D2的显示屏的视角内的情况下，根据本实施例的信息处理设备使推导对象M3显示在显示屏上。根据本实施例的信息处理设备使推导对象M3显示在显示屏上，例如，通过将包括显示命令的控制信号传输至设备D2。
此处，图6的A中所示的推导对象M3为其中校准位置的方向通过箭头指示，以使与参考向量Vo1相对应的校准位置在显示屏的视角内的实例。例如，当图6的A中所示的推导对象M3显示在设备D2的显示屏上时，例如，用户可识别移动设备D2的显示屏的方向。
例如，如果通过用户在箭头的方向上移动设备D2，参考向量Vo1和包括显示屏的平面的交点位于设备D2的显示屏的视角内，那么标记M2显示在设备D2的显示屏上，如图6的B中所示。此外，根据本实施例的信息处理设备获得当用户看着标记M2时光轴向量与正确解向量之间的差
Figure BDA0001737013330000121
并且获取在与对应于正在显示的标记M2的参考向量Vo1相对应的校准位置处的采样数据，类似于参考图4所描述的实例。
图7为用于描述与根据本实施例的信息处理方法相关的推导过程的实例的说明图，并且示出使用推导对象的视觉推导的第二实例。此外，图7示出在包括显示装置的设备D3(诸如电视广播接收机或监测器)的显示屏上显示推导对象的实例。在图7中，与第一校准位置相对应的参考向量通过附图标号Vo1指示。此外，在图7中，与第二至第五校准位置相对应的参考向量通过附图标号Vo2至Vo5指示。
将作为实例描述其中获取在与参考向量Vo1相对应的校准位置处的采样数据的情况。如图7的A中所示，在参考向量Vo1和包括显示屏的平面的交点不位于设备D3的显示屏的视角内的情况下，根据本实施例的信息处理设备使推导对象M3显示在显示屏上。根据本实施例的信息处理设备使推导对象M3显示在显示屏上，例如，通过将包括显示命令的控制信号传输至设备D3。
此处，图7的A中所示的推导对象M3为其中校准位置的方向通过箭头指示，以使与参考向量Vo1相对应的校准位置在显示屏的视角内的实例。此处，设备D3为与设备D2相比难以移动的设备。因此，当图7的A中所示的推导对象M3显示在设备D3的显示屏上时，例如，用户可识别用户正在移动的方向。
例如，当用户在箭头的方向上移动时，参考向量Vo1的位置改变。此外，如果参考向量Vo1和包括显示屏的平面的交点位于设备D3的显示屏的视角内，那么标记M2显示在设备D3的显示屏上，如图7的B中所示。此外，根据本实施例的信息处理设备获得当用户看着标记M2时光轴向量与正确解向量之间的差
Figure BDA0001737013330000122
并且获取在与对应于正在显示的标记M2的参考向量Vo1相对应的校准位置处的采样数据，类似于参考图4所描述的实例。
例如，可以通过显示图6和7所示的推导对象M3来推导用户与显示屏之间的相对位置关系，以使校准位置在显示屏的视角内。
此外，根据本实施例的推导对象不限于其中图6和7中所示的方向通过箭头指示的对象。例如，根据本实施例的推导对象可以是指示角色的对象，并且该角色可以是动画的。
图8为用于描述与根据本实施例的信息处理方法相关的推导过程的实例的说明图，并且示出使用推导对象的视觉推导的第三实例。此外，图8示出在包括显示装置的设备D3(诸如电视广播接收机或监测器)的显示屏上显示推导对象的实例。在图8中，与第一校准位置相对应的参考向量通过附图标号Vo1指示。此外，在图8中，与第二至第五校准位置相对应的参考向量通过附图标号Vo2至Vo5指示。
将作为实例描述其中获取在与参考向量Vo1相对应的校准位置处的采样数据的情况。如图8的A中所示，在参考向量Vo1和包括显示屏的平面的交点不位于设备D3的显示屏的视角内的情况下，根据本实施例的信息处理设备使推导对象M4显示在显示屏上。根据本实施例的信息处理设备使推导对象M4显示在显示屏上，例如，通过将包括显示命令的控制信号传输至设备D4。
此处，图8的A中所示的推导对象M4为其中用户正在移动的方向通过角色指示，以使与参考向量Vo1相对应的校准位置在显示屏的视角内的实例。因此，当图8的A中所示的推导对象M4显示在设备D3的显示屏上时，例如，用户可识别用户正在移动的方向。
例如，当用户在箭头的方向上移动时，参考向量Vo1的位置改变。此外，如果参考向量Vo1和包括显示屏的平面的交点位于设备D3的显示屏的视角内，那么标记M2显示在设备D3的显示屏上，如图8的B中所示。此外，根据本实施例的信息处理设备获得当用户看着标记M2时光轴向量与正确解向量之间的差
Figure BDA0001737013330000131
并且获取在与对应于正在显示的标记M2的参考向量Vo1相对应的校准位置处的采样数据，类似于参考图4所描述的实例。
在根据第一实例的推导过程被执行的情况下，例如，根据本实施例的信息处理设备使推导对象(诸如图6和7所示的推导对象M3或图8所示的推导对象M4)显示在显示屏上。因此，根据本实施例的信息处理设备可推导用户与显示屏之间的相对位置关系，以使校准位置在显示屏的视角内。
此外，根据本实施例的信息处理设备可将用户与显示屏之间的相对位置关系推导为其中可获取采样数据的位置关系，并且因此根据本实施例的信息处理设备可稳定地获取采样数据。
(II)推导过程的第二实例：视觉推导
根据本实施例的信息处理设备通过使用于推导用户与显示屏之间的相对位置关系的声音从音频输出装置诸如扬声器中输出来推导用户与显示屏之间的相对位置关系。
用于推导用户与显示屏之间的相对位置关系的声音可以是，例如，指示用户移动的方向或与显示屏相对应的设备移动的方向的声音。根据本实施例的信息处理设备使声音(诸如用于推导的声音)从音频输出装置中输出，例如，通过将包括音频数据和音频输出命令的控制信号传输至音频输出装置或包括音频输出装置的装置。
在根据第二实例的推导过程被执行的情况下，根据本实施例的信息处理设备使用于推导用户与显示屏之间的相对位置关系的声音(诸如指示用户移动的方向或与显示屏相对应的设备移动的方向的声音)从音频输出装置中输出。因此，根据本实施例的信息处理设备可推导用户与显示屏之间的相对位置关系，以使校准位置在显示屏的视角内。
此外，根据本实施例的信息处理设备可将用户与显示屏之间的相对位置关系推导为其中可获取采样数据的位置关系，并且因此根据本实施例的信息处理设备可稳定地获取采样数据。
(III)推导过程的第三实例
根据本实施例的信息处理设备可通过执行其中将根据(I)中所述的第一实例的推导过程和根据(II)中所述的第二实例的推导过程组合起来的过程来执行视觉和听觉推导。
(IV)推导过程的其他实例
此外，根据本实施例的推导过程不限于根据(I)中所述的第一实例的推导过程至根据(III)中所述的第三实例的推导过程。例如，除了根据(I)中所述的第一实例的推导过程至根据(III)中所述的第三实例的推导过程，根据本实施例的信息处理设备还可执行将在下文描述的(IV-1)至(IV-3)所述过程中的一个或多个。
(IV-1)
根据本实施例的信息处理设备还可通知用户推导状态。根据本实施例的信息处理设备可通过例如视觉方法、听觉方法、以及触觉方法中的一个或多个向用户通知用户的推导状态。
当使用视觉方法通知推导状态时，例如，指示推导正在执行的通知可通过以下方式给予：使指示推导正在执行的图像显示在显示屏上、使指示推导正在执行的发光装置(发光二极管(LED)等)通过光发射而发光，等等。
此外，使用视觉方法通知推导状态不限于以上实例。例如，作为使用视觉方法通知推导状态的另一个实例，“指示为推导目标的校准位置与显示屏的当前位置之间的位置关系的图像”(例如，其中以地图或类似物的形式指示位置关系的图像)可显示在显示屏的一部分的区域上或不同于该显示屏的另一显示装置的显示屏上。此外，推导状态可通过使用数值等指示推导的进展程度来进行视觉通知。
此外，作为使用听觉方法的推导状态的通知，例如，指示推导正在执行的声音可从音频输出装置诸如扬声器中输出。此外，使用听觉方法通知推导状态不限于以上实例。例如，作为使用听觉方法通知推导状态的另一实例，指示推导的进展程度的声音可从音频输出装置中输出。
此外，作为使用触觉方法的推导状态的通知，例如，指示推导正在执行的通知可藉由通过使振动装置振动给出的振动反馈而给出。此外，使用触觉方法通知推导状态不限于以上实例。例如，作为使用触觉方法通知推导状态的另一实例，推导的进展程度可使用振动强度通知(例如，当校准位置更接近显示屏的视角内时增大振动的振动反馈)。
例如，由于如上所述通知推导状态，用户可认识到，例如，推导正在进行、推导的进展等。另外，应认识到，通知推导状态的实例不限于以上实例。
(IV-2)
在确定所设定的开始条件满足的情况下，根据本实施例的信息处理设备可执行推导过程。
此处，作为根据本实施例的开始条件被确定满足的情况，例如，存在其中满足以下情况中的一个或多个的情况：
-其中校准信息不存储在记录介质中的情况(例如，初始状态)；
-其中在生成最后的校准信息之后过去所设定的时间段的情况；
-其中检测到预定操纵，诸如执行校准的操纵的情况；
-其中由于任意生物识别验证诸如基于捕捉图像的脸部识别导致的检测到设定用户的情况；以及
-其中基于使用视线的软件的执行结果确定校准是必须的情况
(IV-3)
根据本实施例的信息处理设备还可使用于校准视线的游戏(应用软件的实例。在下文简称为“游戏”)在其中执行视线校准的情况下被执行并且作为游戏的过程执行推导过程。
图9为用于描述与根据本实施例的信息处理方法相关的推导过程的实例的说明图，并且示出使用用于校准视线的游戏的推导的实例。图9的A至D中的每一个示出在执行使用用于视线校准的游戏的推导的情况下在包括显示装置的设备(诸如智能电话)的显示屏上显示的内容的实例。
图9示出通过使能够吸引用户注意力的任意对象诸如人、动物、汽车或飞机的渲染位置移动来推导用户与显示屏之间的相对位置关系的实例。在下文，为便利起见，与游戏相关的对象诸如人或动物称为“游戏对象”。此处，游戏对象对应于用于推导用户与显示屏之间的相对位置关系的推导对象的实例。
此外，在图9中，“使用户用视线跟踪显示在显示屏上的指示人的游戏对象O的游戏”作为用于校准视线的实例被示出。在图9所示的游戏中，通过使用用户的视线跟踪指示人的游戏对象O来获取采样数据。
以例如下文将描述的(i)至(iv)中所述的流程执行图9所示的游戏。
(i)图9的A
例如，如果游戏基于用户的操纵开始或自动开始，那么指示游戏内容的图像显示在显示屏上，如图9的A中所示。此处，作为游戏自动开始的情况，例如，存在其中确定满足开始条件的情况。
(ii)图9的B
如果游戏开始，那么指示人的游戏对象O的移动开始。此处，游戏对象O在显示屏的视角内移动，以使游戏对象O通过期望执行校准的位置。游戏对象O在视角内的移动通过改变在显示屏上的渲染位置来实施。在图9的B中，由附图标号P1至P6指示的位置对应于期望执行校准的位置的实例。
此外，在期望执行校准的位置在显示屏的视角外部的情况下，游戏对象O朝向视角外部的期望执行校准的位置移动。此外，如果游戏对象O的渲染位置不再处于显示屏的视角内，那么游戏对象O不在显示屏上显示。
此外，图9的B中所示的游戏对象O的移动的轨迹可显示在显示屏上或可不显示在显示屏上。
(iii)图9的C
例如，在游戏对象O在显示屏的右下方向上移动且不显示在显示屏上的情况下，如图9的B中所示，用户可视觉识别游戏对象O位于显示屏的视角外部的方向。此外，如果用户从图9中的B的状态开始基于识别结果在显示屏的右下方向上移动包括显示装置的设备(诸如智能电话)，那么游戏对象O再次显示在显示屏上，如图9的C中所示。
因此，由于游戏对象O的移动，实施了“用户与显示屏之间的相对位置关系的推导，以使在图9的B的时间点处于显示屏的视角外部的期望执行校准的位置P6在显示屏的视角内”。
(iv)图9的D
此外，即使在游戏对象O从图9的C的状态开始在任意方向上移动的情况下，也可以推导用户与显示屏之间的相对位置关系，类似于图9的B或图9的C中所示的实例。图9的D示出其中游戏对象O在图9的状态C中在显示屏的左上方向上移动的实例。
例如，执行图9所示的游戏，例如，直到在期望执行校准的每个位置完成采样数据的获取。
在使用如图9所示的用于校准视线的游戏的情况下，通过用户执行游戏来获取采样数据。因此，在使用图9所示的游戏的情况下，可以在用户享受游戏的同时获取采样数据，例如，并且因此可以进一步降低与采样数据的获取相关的用户负担。
此外，在使用图9所示的用于校准视线的游戏的情况下，可给予用户使用户玩游戏的动机。作为使用户玩游戏的动机，例如，可给予可用于各种服务的点。
此外，根据本实施例的用于校准视线的游戏不限于图9所示的实例。
例如，根据本实施例的用于校准视线的游戏可以是可促进包括显示装置的设备(诸如智能电话)的移动的任意游戏。
此外，根据本实施例的用于校准视线的游戏可以是，例如，能够促进用户移动位置的任意游戏。例如，将能够促进用户移动位置的游戏应用于包括显示装置的设备，诸如电视广播接收机、监测器等，诸如图7所示的设备D3。
如上所述，根据本实施例的信息处理设备执行“推导视线检测目标的用户与显示屏之间的相对位置关系，以使校准位置在显示屏的视角内的推导过程”，作为与根据本实施例的信息处理方法相关的过程。
就这一点而言，利用推导过程，可以容易地使基于对应于用户脸部的向前方向的参考向量的校准位置在显示屏的视角内。
因此，在执行推导过程时，可在基于参考向量的任意校准位置获取用于视线校准的采样数据。
此外，即使在校准位置在显示屏的视角外部的情况下，在执行推导过程时，可以获取用于视线校准的采样数据。
此外，在执行推导过程时，即使在使用不配备有显示装置的穿戴在用户头部的可穿戴装置(诸如不配备有显示装置的眼镜)的情况下，也可以获取用于视线校准的采样数据。
因此，当作为与根据实施例的信息处理方法相关的过程执行推导过程时，可以改善用于视线校准的采样数据的获取的稳定性。
此外，由于可改善采样数据的获取的稳定性，可以以初始预期的准确度稳定地使用用户的视线。
[3-2]与根据本实施例的信息处理方法相关的其他过程
此外，与根据本实施例的信息处理方法相关的过程不限于上述过程。与根据本实施例的信息处理方法相关的其他过程将在下文描述。根据本实施例的信息处理设备可进一步执行，例如，将在下文描述的(1)至(3)中所述的过程中的一个或多个，作为与根据本实施例的信息处理方法相关的过程。
(1)校准过程
根据本实施例的信息处理设备根据基于所获取的采样数据的校准信息执行校准视线的检测结果的校准过程。根据本实施例的信息处理设备例如通过执行与上述校准视线的检测结果的方法相关的过程来校准视线的检测结果。
此处，校准信息可由根据本实施例的信息处理设备生成或可在根据本实施例的信息处理设备的外部设备中生成。在根据本实施例的信息处理设备生成校准信息的情况下，根据本实施例的信息处理设备基于所生成的校准信息校准视线的检测结果。此外，在校准信息在外部设备中生成的情况下，根据本实施例的信息处理设备通过安装在其中的通信单元(将在下文描述)或连接到其上的外部通信装置经由通信获取从外部设备传输的校准信息，并且基于所获取的校准信息校准视线的检测结果。
如上所述，执行根据本实施例的推导过程，并且因此使采样数据的获取稳定化。因此，根据本实施例的信息处理设备可通过根据基于通过执行根据本实施例的推导过程获取的采样数据的校准信息校准视线的检测结果而以高准确度执行校准。
(2)注视检测过程
根据本实施例的信息处理设备基于视线的经校准的检测结果获取与注视相关的信息。
由于根据本实施例的视线的经校准的检测结果，例如，可使用基于光轴估计的指示视轴的信息(例如，指示视轴向量等的数据)。
由于根据本实施例的与注视相关的信息，可使用指示所估计的注视方向和所估计的注视位置中的一者或两者的数据。根据本实施例的注视方向可以是，例如，用户所感知的中央方向，并且根据本实施例的注视位置可以是，例如，用户所感知的位置。
根据本实施例的信息处理设备通过，例如，基于视线的经校准的检测结果估计视线的方向来获得注视方向。此外，根据本实施例的信息处理设备通过，例如，基于视线的经校准的检测结果估计视线的位置来获得注视位置。
(3)软件控制过程
根据本实施例的信息处理设备执行，例如，控制使用与注视相关的信息的软件的过程。此处，使用与注视相关的信息的软件的实例包括操作***(OS)、***软件以及应用软件。
例如，根据本实施例的信息处理设备使软件执行与通过与注视相关的信息指示的注视方向和注视位置中的任一者或两者相对应的操作。此处，由根据本实施例的信息处理设备控制的软件可以是在根据本实施例的信息处理设备中执行的软件，或可以是在根据本实施例的信息处理设备的外部设备中执行的软件。在由根据本实施例的信息处理设备控制的软件是在外部设备中执行的软件的情况下，根据本实施例的信息处理设备通过将包括用于控制软件的控制命令的控制信号传输至外部设备来控制软件。
此处，在软件控制过程中使用的与注视相关的信息可以是通过(2)的过程(注视检测过程)获得的信息或可以是经由安装在外部设备中的通信单元(将在下文描述)或类似物通过与外部设备的通信从外部设备中获得的信息。
[3-3]与根据本实施例的信息处理方法相关的过程的实例
接下来，将描述与根据本实施例的信息处理方法相关的过程的实例。图10为示出与根据本实施例的信息处理方法相关的过程的实例的流程图。此处，图10示出在通过推导过程获取采样数据的情况下过程的实例，作为与根据本实施例的信息处理方法相关的过程的实例。
根据本实施例的信息处理设备确定在校准方向列表中是否存在未处理的数据(S100)。此处，通过校准方向列表指示的校准方向与对应于参考向量的方向相对应。
在步骤S100中确定不存在未处理数据的情况下，根据本实施例的信息处理设备结束图10所示的过程。此处，在步骤S100中确定不存在未处理数据的情况与完成针对所有校准方向的过程的情况相对应。
此外，在步骤S100中确定存在未处理数据的情况下，根据本实施例的信息处理设备决定校准方向(S102)。
根据本实施例的信息处理设备识别显示屏上的标记(预定对象的实例)(S104)。例如，根据本实施例的信息处理设备基于通过向外成像装置C1捕捉的捕捉图像识别显示屏上的标记(预定对象的实例)。
根据本实施例的信息处理设备确定显示屏上的标记(预定对象的实例)是否被识别(S106)。
在步骤S106中确定显示屏上的标记(预定对象的实例)未被识别的情况下，根据本实施例的信息处理设备从步骤S104开始重复该过程。
此外，在步骤S106中确定显示屏上的标记(预定对象的实例)被识别的情况下，根据本实施例的信息处理设备计算校准方向向量(参考向量)和标记平面(包括显示屏的平面)的交点(S108)。
根据本实施例的信息处理设备确定在步骤S108中是否在显示屏上获得交点(S110)。在交点位于显示屏的视角内的情况下，根据本实施例的信息处理设备确定在显示屏上存在交点。
在步骤S110中确定在显示屏上不存在交点的情况下，根据本实施例的信息处理设备通过使推导标记(推导对象的实例)等显示在显示屏上来推导将显示在显示屏上的交点(S112)。此外，如上所述，根据本实施例的信息处理设备可通过输出用于推导等的声音来推导将显示在显示屏上的交点。
如果执行步骤S112的过程，那么根据本实施例的信息处理设备从步骤S110开始重复该过程。
此外，在步骤S110中确定在显示屏上存在交点的情况下，根据本实施例的信息处理设备使交点绘制在显示屏上并且促使用户注视交点(S114)。例如，根据本实施例的信息处理设备通过使指示校准位置的对象显示在显示屏上来使交点绘制在显示屏上。
根据本实施例的信息处理设备计算光轴向量(视线的检测结果的实例)并且确定绘制在显示屏上的交点是否被注视(S116)。
根据本实施例的信息处理设备确定是否确定绘制在显示屏上的交点被注视或是否检测到预定触发器(S118)。例如，在光轴向量和显示屏的交点被包括在包括绘制在显示屏上的交点的预定区域中的情况下，根据本实施例的信息处理设备确定绘制在显示屏上的交点被注视。此外，例如，在检测到预定操纵诸如按压用于开始采样数据的获取的按钮的操纵的情况下，根据本实施例的信息处理设备确定检测到预定触发器。另外，应认识到，步骤S118的过程的实例不限于以上实例。
在步骤S118中确定绘制在显示屏上的交点未被注视或未检测到预定触发器的情况下，根据本实施例的信息处理设备从步骤S116开始重复该过程。
此外，在步骤S118中确定绘制在显示屏上的交点被注视或检测到预定触发器的情况下，根据本实施例的信息处理设备计算校正角，并且使校正角被记录在记录介质中(S120)。此处，校正角与对应于光轴向量与正确解向量之间的差的采样数据的实例相对应。
在步骤S120的过程完成时，根据本实施例的信息处理设备从校准方向列表中删除经过处理的数据(S122)。接着，根据本实施例的信息处理设备从步骤S100开始重复该过程。
根据本实施例的信息处理设备执行，例如，图10所示的过程，作为与根据本实施例的信息处理方法相关的过程。此外，与根据本实施例的信息处理方法相关的过程的实例不限于图10所示的实例。
例如，在步骤S120的过程完成的情况下(在针对一个校准方向的过程完成的情况下)和在步骤S100中确定不存在未处理数据的情况下(在针对所有校准方向的过程完成的情况下)中的任一者或两者中，根据本实施例的信息处理设备可给出指示过程完成的通知。例如，根据本实施例的信息处理设备使用使角色、图像等显示在显示屏上的视觉通知方法和使用声音的听觉通知方法中的任一者或两者给予用户指示过程完成的通知。
(根据实施例的信息处理设备)
接下来，将描述能够执行上述与根据实施例的信息处理方法相关的过程的根据实施例的信息处理设备的配置的实例。
图11为示出根据实施例的信息处理设备100的配置的实例的框图。信息处理设备100包括，例如，通信单元102和控制单元104。
此外，例如，信息处理设备100可包括，只读存储器(ROM，未示出)、随机存取存储器(RAM，未示出)、存储单元(未示出)、可由信息处理设备100的用户操纵的操纵单元(未示出)，以及在显示屏上显示各种画面的显示单元(未示出)。在信息处理设备100中，例如，组成元件通过用作数据传输路径的总线连接。
ROM(未示出)存储程序或控制数据，诸如控制单元104使用的计算参数。RAM(未示出)暂时存储通过控制单元104执行的程序或类似物。
存储单元(未示出)是安装在信息处理设备100中的存储单元，并且存储，例如，与根据本实施例的信息处理方法相关的数据，诸如指示参考向量的数据诸如校准方向列表、采样数据、校准信息，或用于从捕捉图像中识别预定对象或类似物的对象识别过程的数据库，以及诸如各种应用的各种数据。此处，作为存储单元(未示出)，例如，可例示诸如硬盘的磁记录介质和诸如闪存存储器的非易失性存储器。此外，存储单元(未示出)可以可拆卸地安装在信息处理设备100上。
作为操纵单元(未示出)，可例示将在下文描述的操纵输入装置。此外，作为显示单元(未示出)，可例示将在下文描述的显示装置。
[信息处理设备100的硬件配置的实例]
图12为示出根据实施例的信息处理设备100的硬件配置的实例的说明图。信息处理设备100包括，例如，MPU 150、ROM 152、RAM 154、记录介质156、输入和输出接口158、操纵输入装置160、显示装置162以及通信接口164。此外，在信息处理设备100中，例如，组成元件通过用作数据传输路径的总线166连接。此外，信息处理设备100通过，例如，由内部电源诸如安装在信息处理设备100中的电池供应的电力、由连接的外部电源供应的电力等驱动。
例如，MPU 150包括一个或两个或更多个处理器或各种处理电路，包括计算电路，诸如微处理单元(MPU)，并且用作控制整个信息处理设备100的控制单元104。此外，MPU 150在信息处理设备100中起到例如将在下文描述的处理单元110的作用。应注意，处理单元110可包括能够实现处理单元110的过程的专用(或通用)电路(例如，不同于MPU 150的处理器)。
ROM 152存储程序或控制数据，诸如MPU 150使用的计算参数。例如，RAM 154暂时存储通过MPU 150执行的程序或类似物。
记录介质156用作存储单元(未示出)并且存储，例如，与根据实施例的信息处理方法相关的数据，诸如采样数据或校准信息以及各种类型的数据，诸如各种应用。此处，作为记录介质156，例如，可例示诸如硬盘的磁记录介质和诸如闪存存储器的非易失性存储器。此外，记录介质156可以可拆卸地安装在信息处理设备100上。
输入和输出接口158连接，例如，操纵输入装置160或显示装置162。操纵输入装置160用作操纵单元(未示出)并且显示装置162用作显示单元(未示出)。此处，作为输入和输出接口158，例如，可例示通用串行总线(USB)终端、数字视频接口(DVI)终端、高清晰度多媒体接口(HDMI)(注册商标)终端、以及各种处理电路。
此外，例如，操纵输入装置160可安装在信息处理设备100上并且连接至信息处理设备100内部的输入和输出接口158。作为操纵输入装置160，例如，可例示按钮、箭头按键、旋转选择器诸如轻推调节器、或它们的组合。
此外，例如，显示装置162可安装在信息处理设备100上并且连接至信息处理设备100内部的输入和输出接口158。作为显示装置162，例如，可例示液晶显示器或有机电致发光显示器(或也称为有机发光二极管显示器)。
此外，无论如何可以说，输入和输出接口158可连接至外部装置诸如信息处理设备100的外部操纵输入装置(例如，键盘或鼠标)或外部显示装置。此外，显示装置162可以是，例如，其中可以进行显示和用户操纵的装置，诸如触摸面板。
通信接口164是包括在信息处理设备100中的通信装置并且用作执行与外部设备或外部装置的无线或有线通信的通信单元102。此处，作为通信接口164，例如，可例示通信天线和射频(RF)电路(用于无线通信)、IEEE 802.15.1端口以及发送和接收电路(用于无线通信)、IEEE 802.11端口以及发送和接收电路(用于无线通信)、或局域网(LAN)终端以及发送和接收电路(用于有线通信)。
具有例如图12所示配置的信息处理设备100执行与根据实施例的信息处理方法相关的过程。此外，根据实施例的信息处理设备100的硬件配置不限于图12所示的配置。
例如，在与外部设备的通信通过连接的外部通信装置执行的情况下，信息处理设备100不必须包括通信接口164。此外，根据多个通信方案，通信接口164可以能够执行与一个或两个或更多个外部设备的通信。
此外，例如，信息处理设备100不必须包括记录介质156、操纵输入装置160或显示装置162。
此外，信息处理设备100可采用，例如，将随后描述的信息处理设备100的根据应用实例的配置。
此外，图12所示的部分或全部结构元件(或根据修改实例的配置)可通过一个或两个或更多个集成电路(IC)实现。
重新参照图11，将描述信息处理设备100的配置的实例。通信单元102是包括在信息处理设备100中的通信装置并且通过网络(或直接)执行与外部设备的无线或有线通信。此外，通信单元102的通信通过例如控制单元104控制。
此处，作为通信单元102，例如，可例示通信天线和RF电路或LAN终端以及发送和接收电路。然而，通信单元102的配置不限于以上配置。例如，通信单元102可具有与能够执行通信的任何标准相对应的配置，诸如USB终端以及发送和接收电路或具有能够通过网络与外部设备通信的任何配置。此外，根据多个通信方案，通信单元102可具有能够执行与一个或两个或更多个外部设备的通信的配置。
控制单元104通过例如MPU实施并且起到控制整个信息处理设备100的作用。此外，控制单元104包括，例如，处理单元110并且在主导与根据实施例的信息处理方法相关的过程中起作用。
处理单元110起到执行与根据本实施例的信息处理方法相关的过程的主导作用。
处理单元110执行“推导用户与显示屏之间的相对位置关系以使校准位置在显示屏的视角内的推导过程”。例如，在校准位置不在显示屏的视角内的情况下，处理单元110推导相对位置关系，以使校准位置在显示屏的视角内。
此外，例如，处理单元110还可执行(1)中所述过程(校准过程)至(3)中所述过程(软件控制过程)中的一个或多个。
此外，例如，处理单元110也可执行与根据本实施例的信息处理方法相关的各种过程，诸如从图像或类似物中识别预定对象的对象识别过程、与外部显示装置中的显示控制相关的过程等。
图13为用于描述由安装在根据本实施例的信息处理设备100中的处理单元110提供的功能的实例的框图。图13示出在处理单元110具有进一步执行(1)中所述的过程(校准过程)和(2)中所述的过程(注视检测过程)的功能的情况下配置的实例。此处，例如，图13所示的对象的检测结果对应于基于通过向外成像装置C1或类似物所捕捉的捕捉图像的预定对象的检测结果(识别结果)。与预定对象的检测相关的过程可通过信息处理设备(例如，处理单元110)执行或可在信息处理设备100的外部设备中执行。
处理单元110包括，例如，推导处理单元112、校准处理单元114以及注视检测单元116。
推导处理单元112执行根据本实施例的推导过程。例如，在校准位置不在显示屏的视角内的情况下，推导处理单元112推导用户与显示屏之间的相对位置关系，以使校准位置在显示屏的视角内。
校准处理单元114执行过程(1)(校准过程)。
例如，校准处理单元114基于采样数据生成校准信息。接着，校准处理单元114将所生成的校准信息与指示用户的信息(例如，能够标识用户的一条或多条数据，诸如用户ID或用户的生物识别信息)相关联并且使所关联的信息记录在记录介质诸如存储单元(未示出)或外部记录介质中。
此处，例如，在校准信息不存储在记录介质中的情况下(例如，初始状态)、在生成最后的校准信息之后过去所设定时间段的情况下，或在检测到用于执行校准的操纵的情况下，执行生成校准信息的过程。
此外，例如，校准处理单元114基于校准信息校准视线的检测结果。
基于视线的经校准的检测结果，注视检测单元116获取与对应于用户的注视相关的信息。注视检测单元116通过基于视线的经校准的检测结果估计注视方向和注视位置中的一者或两者来获取与注视相关的信息。
例如，使用图13所示的配置，处理单元110起到执行与根据本实施例的信息处理方法相关的过程的主导作用。另外，处理单元110的配置不限于图13所示的实例。例如，处理单元110还可具有执行(3)中所述的过程(软件控制过程)的功能。此外，例如，处理单元110可被配置成不包括图13所示的校准处理单元114和注视检测单元116中的一者或两者。
例如，利用图11所示的配置，信息处理设备100执行与根据本实施例的信息处理方法相关的过程。因此，例如，利用图11所示的配置，信息处理设备100可改善用于视线校准的采样数据的获取的稳定性。
此外，例如，利用图11所示的配置，信息处理设备100可获得通过执行上述与根据本实施例的信息处理方法相关的过程获得的效果。
此外，根据本实施例的信息处理设备的配置不限于图11所示的配置。
例如，根据本实施例的信息处理设备可包括独立于控制单元104的图11所示的处理单元110(例如，可具有通过另一处理电路实现的实施方式)。此外，处理单元110可通过多个处理电路实施，并且每个功能可分配给多个处理电路并且由所述多个处理电路执行。
此外，用于实施与根据本实施例的信息处理方法相关的过程的配置不限于图11所示的配置，并且可采用与划分与根据本实施例的信息处理方法相关的过程的方法相对应的配置。
此外，例如，在与外部设备的通信通过与通信单元102具有类似功能和配置的外部通信装置执行的情况下，根据本实施例的信息处理设备可不包括通信单元102。
已经结合信息处理设备描述了本实施例，但是本实施例不限于这种形式。本实施例可应用于能够执行与根据本实施例的信息处理方法相关的过程的各种装置，诸如，例如，“计算机，诸如个人计算机(PC)或服务器”、“可穿戴在用户的身体上并使用的任何可穿戴设备，诸如穿戴在用户头部的设备，诸如眼镜型、钟表型设备，或腕带型设备”、“通信设备，诸如智能电话”、“图像投影设备诸如投影仪”、“显示设备”、“片剂型设备”、“游戏机”或“移动物体诸如汽车”。此外，例如，本实施例也可应用于可结合到上文提及的装置中的处理IC。
此外，根据本实施例的信息处理设备可应用于基于与网络的连接(或设备之间的通信)的处理***，诸如云计算等。在其中执行与根据本实施例的信息处理方法相关的过程的处理***的实例可以是，例如，“其中通过构成处理***的设备中的一个执行与根据本实施例的信息处理方法相关的过程中的一些，并且除了与根据本实施例的信息处理方法相关的过程中的一些之外的其余过程通过构成处理***的其他设备执行的***”。
(根据本实施例的程序)
当使计算机用作根据本实施例的信息处理设备的程序(例如，能够执行与根据本实施例的信息处理方法相关的过程的程序)通过计算机中的处理器或类似物执行时，可以改善用于视线校准的采样数据的获取的稳定性。
此外，当使计算机用作根据本实施例的信息处理设备的程序通过计算机中的处理器或类似物执行时，可以获得通过与根据本实施例的信息处理方法相关的过程获得的效果。
(在其中记录有根据本实施例的程序的计算机可读记录介质)
在以上实例中，提供了使计算机用作根据本实施例的信息处理设备的程序(计算机程序)，但是本实施例还一起提供了在其中记录有程序的计算机可读记录介质。
根据本实施例的记录介质的实例包括ROM、非易失性存储器诸如闪存存储器、磁记录介质诸如硬盘、以及能够存储程序的任意记录介质诸如光盘或磁光盘。
上文已经参考附图描述了本公开的优选实施例，而本公开不限于以上实例。本领域的技术人员可发现在随附权利要求的范围内的各种更改和修改，应理解，它们当然将在本公开的技术范围之内。
此外，本说明书所述的效果仅仅为说明性或实例性效果，且不是限制性的。也就是说，结合或代替以上效果，根据本公开的技术可实现本领域技术人员由本说明书的描述而清楚的其它效果。
另外，本技术也可配置如下。
(1)
一种信息处理设备，包括：
处理单元，其被配置成执行推导用户与显示屏之间的相对位置关系以使校准位置在所述显示屏的视角内的推导过程，当获取用于视线校准的采样数据时，由视线检测目标的所述用户注视所述校准位置。
(2)
根据(1)所述的信息处理设备，其中所述处理单元将与所述用户的脸部的向前方向相对应的参考向量和包括所述显示屏的平面的交点设定为所述校准位置，并且
在所述校准位置不在所述显示屏的所述视角内的情况下，所述处理单元推导所述相对位置关系，以使所述校准位置落入所述显示屏的所述视角内。
(3)
根据(2)所述的信息处理设备，其中在所述校准位置在所述显示屏的所述视角内的情况下，所述处理单元使指示所述校准位置的对象显示在所述显示屏的所述视角内。
(4)
根据(2)或(3)所述的信息处理设备，其中所述处理单元基于显示于所述显示屏上且从通过从所述用户的所述脸部在所述向前方向上成像所获得的捕捉图像中检测到的预定对象指定所述平面。
(5)
根据(2)至(4)中任一项所述的信息处理设备，其中所述处理单元通过使用于推导所述相对位置关系的推导对象显示于所述显示屏上来推导所述相对位置关系。
(6)
根据(5)所述的信息处理设备，其中所述推导对象为指示所述用户移动的方向或所述显示屏移动的方向的对象。
(7)
根据(6)所述的信息处理设备，其中所述推导对象以动画方式显示。
(8)
根据权利要求1所述的信息处理设备，其中所述处理单元通过使用于推导所述相对位置关系的声音从音频输出装置中输出来推导所述相对位置关系。
(9)
根据(1)至(7)中任一项所述的信息处理设备，其中所述处理单元使指示推导状态的通知被给予所述用户。
(10)
根据(1)至(9)中任一项所述的信息处理设备，其中所述处理单元在确定满足所设定的开始条件的情况下执行所述推导过程。
(11)
根据(1)至(10)中任一项所述的信息处理设备，其中所述处理单元还根据基于所获取的采样数据的校准信息执行校准所述视线的检测结果的校准过程。
(12)
根据(11)所述的信息处理设备，其中所述处理单元
基于所述采样数据生成所述校准信息，并且
基于所生成的校准信息校准所述视线的所述检测结果。
(13)
一种由信息处理设备执行的信息处理方法，所述方法包括
推导用户与显示屏之间的相对位置关系以使校准位置在所述显示屏的视角内的步骤，当获取用于视线校准的采样数据时，由视线检测目标的所述用户注视所述校准位置。
(14)
一种在其中存储有程序的计算机可读存储介质，所述程序使计算机实施推导用户与显示屏之间的相对位置关系以使校准位置在所述显示屏的视角内的功能，当获取用于视线校准的采样数据时，由视线检测目标的所述用户注视所述校准位置。
附图标记列表
100 信息处理设备
102 通信单元
104 控制单元
110 处理单元
112 推导处理单元
114 校准处理单元
116 注视检测单元。

Claims (13)

1.一种信息处理设备，包括：
处理单元，其被配置成执行推导用户与显示屏之间的相对位置关系以使校准位置在所述显示屏的视角内的推导过程，当获取用于视线校准的采样数据时，由视线检测目标的所述用户注视所述校准位置，
其中所述处理单元在确定满足所设定的开始条件的情况下执行所述推导过程。
2.根据权利要求1所述的信息处理设备，其中所述处理单元将与所述用户的脸部的向前方向相对应的参考向量和包括所述显示屏的平面的交点设定为所述校准位置，并且
在所述校准位置不在所述显示屏的所述视角内的情况下，所述处理单元推导所述相对位置关系，以使所述校准位置落入所述显示屏的所述视角内。
3.根据权利要求2所述的信息处理设备，其中在所述校准位置在所述显示屏的所述视角内的情况下，所述处理单元使指示所述校准位置的对象显示在所述显示屏的所述视角内。
4.根据权利要求2所述的信息处理设备，其中所述处理单元基于显示于所述显示屏上且从通过从所述用户的所述脸部在所述向前方向上成像所获得的捕捉图像中检测到的预定对象指定所述平面。
5.根据权利要求2所述的信息处理设备，其中所述处理单元通过使用于推导所述相对位置关系的推导对象显示于所述显示屏上来推导所述相对位置关系。
6.根据权利要求5所述的信息处理设备，其中所述推导对象为指示所述用户移动的方向或所述显示屏移动的方向的对象。
7.根据权利要求6所述的信息处理设备，其中所述推导对象以动画方式显示。
8.根据权利要求1所述的信息处理设备，其中所述处理单元通过使用于推导所述相对位置关系的声音从音频输出装置中输出来推导所述相对位置关系。
9.根据权利要求1所述的信息处理设备，其中所述处理单元使指示推导状态的通知被给予所述用户。
10.根据权利要求1所述的信息处理设备，其中所述处理单元还根据基于所获取的采样数据的校准信息执行校准所述视线的检测结果的校准过程。
11.根据权利要求10所述的信息处理设备，其中所述处理单元
基于所述采样数据生成所述校准信息，并且
基于所生成的校准信息校准所述视线的所述检测结果。
12.一种由信息处理设备执行的信息处理方法，所述方法包括
推导用户与显示屏之间的相对位置关系以使校准位置在所述显示屏的视角内的步骤，当获取用于视线校准的采样数据时，由视线检测目标的所述用户注视所述校准位置，
其中所述方法包括在确定满足所设定的开始条件的情况下执行推导的步骤。
13.一种在其中存储有程序的计算机可读存储介质，所述程序使计算机实施推导用户与显示屏之间的相对位置关系以使校准位置在所述显示屏的视角内的功能，当获取用于视线校准的采样数据时，由视线检测目标的所述用户注视所述校准位置，
其中所述程序使所述计算机在确定满足所设定的开始条件的情况下实施推导的功能。
CN201680079543.4A 2016-01-27 2016-11-07 信息处理设备、信息处理方法、以及包含程序的计算机可读记录介质 Active CN108475119B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016012976A JP2017134558A (ja) 2016-01-27 2016-01-27 情報処理装置、情報処理方法、およびプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2016-012976 2016-01-27
PCT/JP2016/082935 WO2017130514A1 (ja) 2016-01-27 2016-11-07 情報処理装置、情報処理方法、およびプログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
CN108475119A CN108475119A (zh) 2018-08-31
CN108475119B true CN108475119B (zh) 2021-09-21

Family

ID=59397718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680079543.4A Active CN108475119B (zh) 2016-01-27 2016-11-07 信息处理设备、信息处理方法、以及包含程序的计算机可读记录介质

Country Status (4)

Country Link
US (1) US10606351B2 (zh)
JP (1) JP2017134558A (zh)
CN (1) CN108475119B (zh)
WO (1) WO2017130514A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6677239B2 (ja) * 2015-03-05 2020-04-08 ソニー株式会社 情報処理装置、制御方法、およびプログラム
US10653948B2 (en) * 2017-10-26 2020-05-19 Disney Enterprises, Inc. Calibration of a magnetometer for augmented reality experience
CN109410285B (zh) * 2018-11-06 2021-06-08 北京七鑫易维信息技术有限公司 一种校准方法、装置、终端设备及存储介质
CN114868102A (zh) * 2020-01-06 2022-08-05 索尼集团公司 信息处理装置、信息处理方法和计算机可读记录介质
CN112807703B (zh) * 2020-10-25 2021-12-10 淮北禾获人科技有限公司 智能化踏板间距调节***及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101589329A (zh) * 2007-11-21 2009-11-25 松下电器产业株式会社 显示装置
CN104274151A (zh) * 2013-07-05 2015-01-14 索尼公司 视线检测装置和视线检测方法
CN204142647U (zh) * 2014-08-25 2015-02-04 研祥智能科技股份有限公司 基于机器视觉的在线检测***
WO2015125243A1 (ja) * 2014-02-19 2015-08-27 三菱電機株式会社 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7728845B2 (en) * 1996-02-26 2010-06-01 Rah Color Technologies Llc Color calibration of color image rendering devices
GB2372683A (en) * 2001-02-23 2002-08-28 Ibm Eye tracking display apparatus
US8059894B1 (en) * 2006-12-19 2011-11-15 Playvision Technologies, Inc. System and associated methods of calibration and use for an interactive imaging environment
JP2012123513A (ja) * 2010-12-07 2012-06-28 Sony Corp 情報処理装置、および情報処理システム
US9285883B2 (en) * 2011-03-01 2016-03-15 Qualcomm Incorporated System and method to display content based on viewing orientation
WO2013128612A1 (ja) * 2012-03-01 2013-09-06 パイオニア株式会社 ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
US8937591B2 (en) * 2012-04-06 2015-01-20 Apple Inc. Systems and methods for counteracting a perceptual fading of a movable indicator
CN103809737A (zh) * 2012-11-13 2014-05-21 华为技术有限公司 一种人机交互方法及装置
US9788714B2 (en) * 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
WO2014125380A2 (en) * 2013-02-14 2014-08-21 The Eye Tribe Aps Systems and methods of eye tracking calibration
US10379609B2 (en) 2013-05-22 2019-08-13 National University Corporation Kobe University Line-of-sight measurement device, line-of-sight measurement method and line-of-sight measurement program
JP6221535B2 (ja) * 2013-09-11 2017-11-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2015056141A (ja) * 2013-09-13 2015-03-23 ソニー株式会社 情報処理装置、および情報処理方法
JP2015088828A (ja) * 2013-10-29 2015-05-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2015153302A (ja) * 2014-02-18 2015-08-24 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US20150358594A1 (en) * 2014-06-06 2015-12-10 Carl S. Marshall Technologies for viewer attention area estimation
US20160300108A1 (en) * 2015-04-08 2016-10-13 Motorola Mobility Llc Iris acquisition using visible light imaging
US10165949B2 (en) * 2015-06-14 2019-01-01 Facense Ltd. Estimating posture using head-mounted cameras
JP2017102218A (ja) * 2015-11-30 2017-06-08 株式会社ニコン 表示装置および表示プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101589329A (zh) * 2007-11-21 2009-11-25 松下电器产业株式会社 显示装置
CN104274151A (zh) * 2013-07-05 2015-01-14 索尼公司 视线检测装置和视线检测方法
WO2015125243A1 (ja) * 2014-02-19 2015-08-27 三菱電機株式会社 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法
CN204142647U (zh) * 2014-08-25 2015-02-04 研祥智能科技股份有限公司 基于机器视觉的在线检测***

Also Published As

Publication number Publication date
CN108475119A (zh) 2018-08-31
US20190018487A1 (en) 2019-01-17
US10606351B2 (en) 2020-03-31
WO2017130514A1 (ja) 2017-08-03
JP2017134558A (ja) 2017-08-03

Similar Documents

Publication Publication Date Title
CN108475119B (zh) 信息处理设备、信息处理方法、以及包含程序的计算机可读记录介质
CN108463789B (zh) 信息处理设备、信息处理方法和程序
CN111819521B (zh) 信息处理装置、信息处理方法和程序
US8933886B2 (en) Instruction input device, instruction input method, program, recording medium, and integrated circuit
US10274729B2 (en) Remote control device, remote control product and remote control method
WO2016098406A1 (ja) 情報処理装置、情報処理方法及びプログラム
US10642348B2 (en) Display device and image display method
CN112102389A (zh) 确定实物至少一部分的3d重构件的空间坐标的方法和***
CN114402589A (zh) 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
EP3088995B1 (en) Display system and head mounted display
CN107950019B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
US20170344110A1 (en) Line-of-sight detector and line-of-sight detection method
US20180316911A1 (en) Information processing apparatus
CN110796083B (zh) 图像显示方法、装置、终端及存储介质
CN118118644A (zh) 可分离失真视差确定
JP2016100024A (ja) ３次元相互作用のためのコンピュータ装置及び方法
US20200319709A1 (en) Information processing system, operation method, and operation program
CN106663412B (zh) 信息处理设备、信息处理方法及程序
CN107407968B (zh) 信息处理装置、信息处理方法和程序
CN110543234B (zh) 信息处理装置和非暂时性计算机可读介质
US20200327867A1 (en) Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
CN110338750B (zh) 一种眼球追踪设备
JP6373546B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20220192487A1 (en) Method and system for determining dominant eye, and non-transitory computer-readable recording medium
CN117372475A (zh) 眼球追踪方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant