CN105518579A - 信息处理设备和信息处理方法 - Google Patents

信息处理设备和信息处理方法 Download PDF

Info

Publication number
CN105518579A
CN105518579A CN201480048803.2A CN201480048803A CN105518579A CN 105518579 A CN105518579 A CN 105518579A CN 201480048803 A CN201480048803 A CN 201480048803A CN 105518579 A CN105518579 A CN 105518579A
Authority
CN
China
Prior art keywords
user
operator
present
messaging device
face area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480048803.2A
Other languages
English (en)
Inventor
井元麻纪
野田卓郎
安田亮平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105518579A publication Critical patent/CN105518579A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种信息处理设备,其包括:图像获取单元,所述图像获取单元配置为获取用户的捕捉图像;确定单元,所述确定单元配置为从获取的捕捉图像中包括的用户中确定操作者;以及处理单元,所述处理单元配置为基于有关对应于确定的操作者的用户视线的信息进行处理。

Description

信息处理设备和信息处理方法
技术领域
本公开涉及一种信息处理设备、信息处理方法和程序。
背景技术
近年来,出现了允许用户通过使用视线检测技术,诸如,眼球追踪技术通过视线进行操作的用户界面。例如,下面在PTL1中描述的技术可以作为关于允许用户通过视线进行操作的用户界面的技术而被引用。
引用列表
专利文件
专利文件1:JP2009-64395A
发明内容
技术问题
例如,当通过用户视线执行操作时,基于用户视线进行处理的设备需要在确定使用哪条用户视线作为进行该处理的基础,或者,换言之,在确定通过视线执行操作的操作者(在下文中,在一些情况下简称为“操作者”)之后进行该处理。然而,尚未建立一种在与上述设备类似的设备中确定操作者的方法。
本公开提出了一种新的改进型信息处理方法,这种方法能够确定通过视线执行操作的操作者,并且基于确定的操作者的视线进行处理。
问题的解决方案
根据本公开,提供了一种信息处理设备,其包括:图像获取单元,该图像获取单元配置为获取用户的捕捉图像;确定单元,该确定单元配置为从获取的捕捉图像中包括的用户中确定操作者;以及处理单元,该处理单元配置为基于有关对应于确定的操作者的用户视线的信息进行处理。
根据本公开,提供了一种由信息处理设备执行的信息处理方法,该信息处理方法包括:获取用户的捕捉图像的步骤;从在获取的捕捉图像中包括的用户中确定操作者的步骤;以及基于有关对应于确定的操作者的用户视线的信息进行处理的步骤。
本发明的有益效果如下:
根据本公开,可以确定通过视线执行操作的操作者,并且基于确定的操作者的视线进行处理。
上述效果并不一定是限制性的,并且,连同上述效果或者替代上述效果,可以实现在本说明书中所示的效果中的一种效果或者从本说明书中掌握到的另一种效果。
附图说明
图1是用于描述按照根据本实施例的信息处理方法的处理的示例的阐释图。
图2是用于描述按照根据本实施例的信息处理方法的处理的示例的阐释图。
图3是用于描述按照根据本实施例的信息处理方法的处理的示例的阐释图。
图4是用于描述按照根据本实施例的信息处理方法的处理的第二应用示例的阐释图。
图5是用于描述按照根据本实施例的信息处理方法的处理的第三应用示例的阐释图。
图6是图示了根据本实施例的信息处理设备的配置的示例的框图。
图7是图示了根据本实施例的信息处理设备的硬件配置的示例的阐释图。
具体实施方式
下面将参照附图详细描述本公开的优选实施例。注意,在本说明书和附图中,具有大体上相同的功能和配置的元件附有相同的附图标记,从而省略重复说明。
将按照在下面所示的顺序进行说明:
1、根据本实施例的信息处理方法
2、根据本实施例的信息处理设备
3、根据本实施例的程序
(根据本实施例的信息处理方法)
在描述根据本实施例的信息处理设备的配置之前,将首先描述根据本实施例的信息处理方法。将以按照根据本实施例的信息处理方法的处理由根据本实施例的信息处理设备执行的情况为例,来描述根据本实施例的信息处理方法。
[1]按照根据本实施例的信息处理方法的处理的概述
如上所论述的,尚未建立一种在基于用户视线进行处理的设备中决定通过视线执行操作的操作者的方法。在本文中,根据本实施例的操作者指的是执行了影响设备行为(或者正在执行的应用程序)的运动的用户,例如。注意,如稍后所论述的,作为按照根据本实施例的信息处理方法的处理的示例,根据本实施例的信息处理设备也能够基于未被确定为操作者的用户视线进行不会影响到设备行为(或者正在执行的应用程序)的处理。
因此,根据本实施例的信息处理设备获取用户的捕捉图像(图像获取过程),并且从在获取的捕捉图像中包括的用户中确定操作者(确定过程)。随后,根据本实施例的信息处理设备进行基于有关对应于确定的操作者的用户视线的信息的处理(执行过程)。
在本文中,根据本实施例的用户的捕捉图像指的是可能包括用户的捕捉图像,例如。在本文中,根据本实施例的用户的捕捉图像被简称为“捕捉图像”。例如,根据本实施例的捕捉图像可以是在显示屏上可见的用户捕捉图像。另外,根据本实施例的捕捉图像可以通过设置在根据本实施例的信息处理设备中的成像单元(稍后论述)或者外部成像装置中的图像捕捉来生成。根据本实施例的捕捉图像可以是移动图像或者静态图像,例如。
根据本实施例的显示屏是,例如,显示有各种图像并且用户的视线所指向的显示屏。作为根据本实施例的显示屏,例如,可以引用在根据本实施例的信息处理设备中包括的显示单元(稍后描述)的显示屏以及无线地或者经由电缆连接至根据本实施例的信息处理设备的外部显示设备(或者外部显示装置)的显示屏。
另外,根据本实施例的有关用户视线的信息指的是有关用户眼睛的信息(数据),诸如,在显示屏上的用户视线位置和用户眼睛运动,例如。根据本实施例的有关用户视线的信息可以是有关用户视线位置的信息和有关用户眼睛运动的信息,例如。
此处,根据本实施例的有关用户视线位置的信息是,例如,示出了用户视线位置的数据或者是可以用于识别用户视线位置的数据(或者是可以用于估计用户视线位置的数据。这也适用于下文)。
作为示出了根据本实施例的用户视线位置的数据,例如,可以引用示出了在显示屏上的用户视线位置的坐标数据。在显示屏上的用户视线位置可以由,例如,在坐标系中的坐标表示,在该坐标系中,将显示屏的参考位置设置为其原点。示出了根据本实施例的用户视线位置的数据可以包括表示视线方向的数据(例如,示出了与显示屏所成角度的数据)。
当将表示在显示屏上的用户视线位置的坐标数据用作根据本实施例的有关用户视线位置的信息时,根据本实施例的信息处理设备通过使用,例如,坐标数据,来识别在显示屏上的用户视线位置,该坐标数据是通过使用视线检测技术从具有识别到的(所估计的)用户的视线位置的外部设备获取的并且表示在显示屏上的用户视线位置。当将表示视线方向的数据用作根据本实施例的有关用户视线位置的信息时,根据本实施例的信息处理设备通过使用,例如,从外部设备获取的表示视线方向的数据,来识别视线方向。
可以通过使用,通过使用视线检测技术检测到的视线以及从捕捉图像检测到的相对于显示屏的用户位置和脸部定向,来识别在显示屏上的用户视线位置和用户视线方向,在该捕捉图像中,捕捉到在显示屏上显示图像的方向。然而,根据本实施例的识别在显示屏上的用户视线位置和用户视线方向的方法并不限于上述方法。例如,根据本实施例的信息处理设备和外部设备可以使用能够识别在显示屏上的用户视线位置和用户视线方向的任何技术。
作为根据本实施例的视线检测技术,例如,可以引用如下方法:基于眼睛的移动点(例如,与眼睛中的移动部分(诸如,虹膜和瞳孔)对应的点)相对于该眼睛的参考点(例如,与眼睛中不会移动的部分(诸如,眼睛的内角或者角膜反射)对应的点)的位置,来检测视线。然而,根据本实施例的视线检测技术并不限于上述技术,并且可以是,例如,能够检测视线的任何视线检测技术。
作为根据本实施例的可以用于识别用户视线位置的数据,例如,可以引用捕捉图像数据,在该捕捉图像数据中,成像了在显示屏上显示图像(移动图像或者静态图像)的方向。根据本实施例的可以用于识别用户视线位置的数据可以进一步包括获得可以用于提高用户视线位置的估计精度的检测值的任何传感器的检测数据,诸如,检测在显示屏上显示图像的方向上的红外辐射的红外传感器的检测数据。
当将可以用于识别用户视线位置的数据用作根据本实施例的有关用户视线位置的信息时,根据本实施例的信息处理设备使用,例如,由在本地设备(在下文中,称为根据本实施例的信息处理设备)中包括的成像单元(稍后描述)或者外部成像装置获取的捕捉图像数据。在上述情况下,根据本实施例的信息处理设备可以使用,例如,从在本地设备中包括的可以用于提高用户视线位置的估计精度的传感器或者外部传感器获取到的检测数据(是可以用于识别用户视线位置的数据的示例)。根据本实施例的信息处理设备通过使用,例如,如上所述获取的可以用于识别用户视线位置以识别在显示屏上的用户视线位置和用户视线方向的数据,按照根据本实施例的识别在显示屏上的用户视线位置和用户视线方向的方法来执行处理。
根据本实施例的与用户眼睛运动有关的信息可以是,例如,表示用户眼睛运动的数据,或者是可以用于指定用户眼睛运动的数据(或者可以用于估计用户眼睛运动的数据。这也适用于下文)。
根据本实施例的表示用户眼睛运动的数据可以是,例如,表示预定眼睛运动,诸如,单次眨眼运动、多次连续眨眼运动、或者眨一只眼运动的数据(例如,表示与预定运动对应的数字等的数据)。另外,根据本实施例的可以用于指定用户眼睛运动的数据可以是,例如,描绘了在显示屏上显示图像(移动图像或者静态图像)的方向的捕捉图像数据。
当将表示用户眼睛运动的数据用作根据本实施例的与用户眼睛运动有关的信息时,根据本实施例的信息处理设备确定已经通过使用从基于捕捉图像指定(或者估计)用户眼睛运动的外部设备获取到的表示用户眼睛运动的数据执行了预定眼睛运动,例如。
在本文中,例如,当将从描绘了在显示屏上显示图像的方向的移动图像(或者多个静态图像)检测到的眼睛形状的变化视为与预定眼睛运动对应的眼睛形状的变化时,可以确定已经执行了预定眼睛运动。注意,根据本实施例的确定预定眼睛运动的方法并不限于以上所述。例如,根据本实施例的信息处理设备或者外部设备能够使用能够确定执行了预定眼睛运动的任意技术。
当将可以用于指定用户眼睛运动的数据用作根据本实施例的有关用户眼睛运动的信息时,根据本实施例的信息处理设备使用从设置在本地设备中的成像单元(稍后论述)或者外部成像装置获取到的捕捉图像数据(是可以用于指定用户眼睛运动的数据的示例),例如。根据本实施例的信息处理设备使用如上获取的可以用于指定用户眼睛运动的数据,来进行与根据本实施例的确定预定眼睛运动的方法有关的处理,并且确定执行了预定眼睛运动,例如。
在下文中,将更具体地描述按照根据本实施例的信息处理方法的处理。
[2]按照根据本实施例的信息处理方法的处理
(1)图像获取过程
根据本实施例的信息处理设备获取根据本实施例的捕捉图像。
根据本实施例的信息处理设备通过控制在设置在根据本实施例的信息处理设备中的成像单元(稍后论述)或者外部成像装置中的图像捕捉,来获取根据本实施例的捕捉图像,例如。根据本实施例的信息处理设备通过将有关图像捕捉的控制命令经由通信单元(稍后论述)或者连接的外部通信装置发送到成像单元(稍后论述)、外部成像装置等,来控制在成像单元(稍后论述)等中的图像捕捉。
注意,根据本实施例的图像获取过程并不限于以上所述。例如,根据本实施例的信息处理设备也可以被动地获取从成像单元(稍后论述)或者外部成像装置发来的根据本实施例的捕捉图像。
(2)确定过程
根据本实施例的信息处理设备从在通过上述(1)的过程(图像获取过程)而获取到的捕捉图像中包括的用户中确定操作者。根据本实施例的信息处理设备从捕捉图像中包括的用户中将单个用户或者多个用户确定为操作者。
(2-1)确定过程的第一示例
根据本实施例的信息处理设备基于从捕捉图像检测到的脸部区域的大小来确定操作者,例如。
在本文中,根据本实施例的脸部区域指的是捕捉图像中包括用户的脸部部分的区域。例如,根据本实施例的信息处理设备通过从捕捉图像检测特征,诸如,用户的眼睛、鼻子、嘴和骨架,或者通过从捕捉图像检测类似脸部的亮度分布和结构形式的区域,来检测脸部区域。注意,根据本实施例的检测脸部区域的方法并不限于以上所述,并且根据本实施例的信息处理设备也可以使用能够从捕捉图像检测脸部的任意技术。
(2-1-1)在从捕捉图像中包括的用户中将单个用户确定为操作者的情况下的处理
根据本实施例的信息处理设备从由捕捉图像检测到的脸部区域中将操作者确定为对应于具有最大脸部区域大小的脸部区域的单个用户。
此时,具有相同(或者近似相同)脸部区域大小的区域可以包括在从捕捉图像检测到的脸部区域中。
因此,当在从捕捉图像检测到的脸部区域中存在多个具有最大脸部区域大小的脸部区域时,根据本实施例的信息处理设备将操作者确定为对应于较早检测到的脸部区域的用户,例如。
通过如上所述的将操作者确定为对应于较早检测到的脸部区域的用户,例如,即使当脸部区域为相同(或者近似相同)大小时,根据本实施例的信息处理设备也能够将单个用户确定为操作者。
注意,当在从捕捉图像检测到的脸部区域中存在多个具有最大脸部区域大小的脸部区域时确定操作者的方法并不限于以上所述。
例如,根据本实施例的信息处理设备也可以将操作者确定为对应于较晚检测到的脸部区域的用户,或者通过遵循配置的规则(例如,诸如随机配置的),从由捕捉图像检测到的脸部区域中将单个用户确定为操作者。
另外,根据本实施例的信息处理设备也可以通过结合从根据稍后论述的第二示例的确定过程到根据稍后论述的第五示例的确定过程中的一个或者多个过程,来将单个用户确定为操作者,例如。通过根据结合了根据第一示例的确定过程与根据另一示例的确定过程的过程来确定操作者,可以防止操作者频繁变化,例如。
如上所述的,根据本实施例的信息处理设备基于从捕捉图像检测到的脸部区域的大小,来将单个用户确定为操作者,例如。
注意,在按照根据本实施例的第一示例的确定过程中将单个用户确定为操作者的情况下的过程并不限于以上所述。
例如,根据本实施例的信息处理设备也可以确定已经基于从捕捉图像检测到的脸部区域的大小而被确定为操作者的用户不是操作者。
例如,根据本实施例的信息处理设备计算第一差值,该第一差值表示捕捉图像中包括的用户中的对应于被确定为操作者的用户的脸部区域的大小与对应于未被确定为操作者的用户(在下文中,称为“另一用户”)的脸部区域的大小的差异。随后,当第一差值等于或者大于配置的第一阀值(或者当第一差值大于第一阀值)时,根据本实施例的信息处理设备确定已经被确定为操作者的用户不是操作者。
第一阀值可以是预先配置的固定值,或者是可以通过用户操作等来适当地设置的可变值,例如。被确定为操作者的用户仍然是操作者的程度根据第一阀值的配置值的大小而变化。具体地,在第一阀值的值为0(零)的情况下,当对应于被确定为操作者的用户的脸部区域的大小变为小于对应于另一用户的脸部区域的大小时(或者当对应于被确定为操作者的用户的脸部区域的大小变为小于或者等于对应于另一用户的脸部区域的大小时),确定已经被确定为操作者的用户不是操作者。同样,随着第一阀值的值变大,确定已经被确定为操作者的用户不是操作者所需的第一差值的值变大,从而不太可能确定已经被确定为操作者的用户不是操作者。
(2-1-2)在从捕捉图像中包括的用户中将多个用户确定为操作者的情况下的处理
根据本实施例的信息处理设备按照从捕捉图像检测到的最大脸部区域大小的顺序将操作者确定为多达配置人数的用户,例如。更具体地,根据本实施例的信息处理设备按照从捕捉图像检测到的最大脸部区域大小的顺序将多达配置人数的用户或者小于配置人数的若干用户确定为操作者,例如。
在本文中,在根据第一示例的确定过程中的配置人数可以是固定的,或者可以通过用户操作等改变。
另外,当由于脸部区域的大小相同,按照从捕捉图像检测到的最大脸部区域大小的顺序选择的操作者候选造成超过配置人数时,根据本实施例的信息处理设备不会将操作者确定为对应于从具有相同脸部区域大小的脸部区域中较晚检测到的脸部区域的用户,例如。注意,在上述情况下确定操作者的方法显然并不限于以上所述。
如上所述的,根据本实施例的信息处理设备基于从捕捉图像检测到的脸部区域的大小,来将多个用户确定为操作者,例如。
(2-2)确定过程的第二示例
根据本实施例的信息处理设备基于对应于从捕捉图像检测到的脸部区域的用户到显示屏的距离(在下文中,称为“对应于脸部区域的距离”)来确定操作者,例如。根据本实施例的信息处理设备从捕捉图像中包括的用户中将单个用户或者多个用户确定为操作者。
在本文中,根据本实施例的“对应于在捕捉图像中包括的脸部区域的用户到显示屏的距离”基于通过诸如飞行时间(TOF)等方法捕捉到的深度图来指定(或者估计),例如。另外,根据本实施例的信息处理设备也能够基于从捕捉图像检测到的脸部区域和来自使用红外等的深度传感器的检测数据,来指定(或者估计)根据本实施例的“对应于在捕捉图像中包括的脸部区域的用户到显示屏的距离”,例如。另外,根据本实施例的信息处理设备也可以通过使用任意技术来指定(或者估计)脸部区域的坐标,并且通过计算到参考位置的坐标的距离,来指定“对应于在捕捉图像中包括的脸部区域的用户到显示屏的距离”,例如在本文中,将脸部区域的坐标和参考位置的坐标表示为在三维坐标系中的坐标,该三维坐标系由表示对应于显示屏的平面的两条轴线和表示相对于显示屏的垂直方向的一条轴线组成,例如。注意,根据本实施例的指定(或者估计)“对应于在捕捉图像中包括的脸部区域的用户到显示屏的距离”的方法显然并不限于以上所述。
(2-2-1)在从捕捉图像中包括的用户中将单个用户确定为操作者的情况下的处理
根据本实施例的信息处理设备将操作者确定为具有对应于脸部区域的最短距离的与脸部区域相对应的单个用户,例如。
此时,对应于具有相同(或者近似相同)距离的脸部区域的距离可以包括在对应于根据本实施例的脸部区域的距离中,这些距离对应于从捕捉图像检测到的脸部区域。
因此,当在对应于根据本实施例的脸部区域的距离中存在多个对应于具有相同(或者近似相同)距离的脸部区域的距离时,根据本实施例的信息处理设备将操作者确定为对应于较早检测到的脸部区域的用户,例如。
通过如上所述的将对应于较早检测到的脸部区域的用户确定为操作者,例如,即使当存在多个对应于具有相同(或者近似相同)距离的脸部区域的距离时,根据本实施例的信息处理设备也能够将单个用户确定为操作者。
注意,当在对应于根据本实施例的脸部区域的距离(这些对应于与从捕捉图像检测到的脸部区域)中存在多个对应于具有相同(或者近似相同)距离的脸部区域的距离时确定操作者的方法并不限于以上所述。
例如,根据本实施例的信息处理设备也可以将操作者确定为对应于较晚检测到的脸部区域的用户,或者通过遵循配置的规则(例如,诸如随机配置的),从由捕捉图像检测到的脸部区域中将单个用户确定为操作者。
另外,根据本实施例的信息处理设备也可以通过结合从根据上述第一示例的确定过程到根据稍后论述的第三示例的确定过程中的一个或者多个过程,来将单个用户确定为操作者,例如。通过根据结合了根据第三示例的确定过程与根据另一示例的确定过程的过程来确定操作者,可以防止操作者频繁变化,例如。
如上所述的,根据本实施例的信息处理设备基于对应于根据本实施例的脸部区域的距离(该距离对应于从捕捉图像检测到的脸部区域),来将单个用户确定为操作者,例如。
注意,在按照根据本实施例的第二示例的确定过程中将单个用户确定为操作者的情况下的过程并不限于以上所述。例如,根据本实施例的信息处理设备也可以确定已经基于对应于根据本实施例的脸部区域的距离(该距离对应于从捕捉图像检测到的脸部区域)的长度而被确定为操作者的用户不是操作者。
例如,根据本实施例的信息处理设备计算第二差值,该第二差值表示在对应于与另一用户对应的脸部区域的距离与对应于与被确定为操作者的用户对应的脸部区域的距离的差异。随后,当第二差值等于或者大于配置的第二阀值(或者当第二差值大于第二阀值)时,根据本实施例的信息处理设备确定已经被确定为操作者的用户不是操作者。
第二阀值可以是预先配置的静态值,或者是可以通过用户操作等来适当地设置的可变值,例如。被确定为操作者的用户仍然是操作者的程度根据第二阀值的配置值的大小而变化。具体地,在第二阀值的值为0(零)的情况下,当对应于与被确定为操作者的用户对应的脸部区域的距离变为比对应于与另一用户对应的脸部区域的距离短时(或者当对应于与被确定为操作者的用户对应的脸部区域的距离变为小于或者等于对应于与另一用户对应的脸部区域的距离时),确定已经被确定为操作者的用户不是操作者。同样,随着第二阀值的值变大,确定已经被确定为操作者的用户不是操作者所需的第二差值的值变大,从而不太可能确定已经被确定为操作者的用户不是操作者。
(2-2-2)在从捕捉图像中包括的用户中将多个用户确定为操作者的情况下的过程
根据本实施例的信息处理设备按照对应于脸部区域的最短距离的顺序将操作者确定为多达配置人数的用户,例如。更具体地,根据本实施例的信息处理设备按照对应于脸部区域的最短距离的顺序,将多达配置人数的用户或者小于配置人数的若干用户确定为操作者,例如。
在本文中,在根据第二示例的确定过程中的配置人数可以是固定的,或者可以通过用户操作等改变。
另外,当由于对应于根据实施例的脸部区域的距离(这些距离对应于从捕捉图像检测到的脸部区域)相同,按照对应于脸部区域的最短距离的顺序选择的操作者候选造成超过配置人数时,根据本实施例的信息处理设备不会将操作者确定为从具有对应于脸部区域的相同脸部距离的脸部区域中较晚检测到的脸部区域的用户,例如。注意,在上述情况下确定操作者的方法显然并不限于以上所述。
如上所述的,根据本实施例的信息处理设备基于对应于与根据本实施例的脸部区域的距离(该距离对应于从捕捉图像检测到的脸部区域),来将多个用户确定为操作者。
(2-3)确定过程的第三示例
例如,根据本实施例的信息处理设备基于从捕捉图像检测到的预定姿势来确定操作者。
在本文中,例如,根据本实施例的预定姿势可以是各种姿势,诸如,举手的姿势、或者挥手的姿势。
例如,在检测到举手的姿势的情况下,根据本实施例的信息处理设备分别从捕捉图像检测到脸部区域和手。随后,如果检测到的手存在于对应于脸部区域的区域(配置为确定手被举起的区域)内,那么根据实施例的信息处理设备通过确定对应于相关脸部区域的用户举手,来检测举手的姿势。
作为另一示例,在检测到挥手的姿势的情况下,根据本实施例的信息处理设备分别从捕捉图像检测脸部区域和手。随后,如果在对应于脸部区域的区域(配置为确定手被举起的区域)内检测到该检测到的手,并且捕捉图像的亮度变化的频率等于或者大于配置的预定频率(或者亮度变化的频率大于配置的预定频率),那么根据本实施例的信息处理设备通过确定对应于相关脸部区域的用户挥手,来检测挥手的姿势。
注意,根据本实施例的预定姿势和根据本实施例的检测预定姿势的方法并不限于以上所述。根据本实施例的信息处理设备也可以通过使用能够从捕捉图像实现检测的任意方法,来检测任意姿势,诸如,竖手指的姿势,例如。
(2-3-1)在从捕捉图像中包括的用户中将单个用户确定为操作者的情况下的过程
根据本实施例的信息处理设备将从捕捉图像较早检测到预定姿势的用户确定为操作者,例如。
注意,在根据第三示例的确定过程中,将单个用户确定为操作者的过程并不限于以上所述。
例如,当存在多个从捕捉图像检测到预定姿势的用户时,根据本实施例的信息处理设备可以将操作者确定为较晚检测到预定姿势的用户,例如。同样,在上述情况下,根据本实施例的信息处理设备也可以通过遵循配置的规则(例如,诸如随机配置的)在从捕捉图像检测到预定姿势的用户中将单个用户确定为操作者。此外,在上述情况下,根据本实施例的信息处理设备也可以通过结合根据上述第一示例的确定过程、根据上述第二示例的确定过程、根据稍后论述的第四示例的确定过程以及根据稍后论述的第五示例的确定过程,将单个用户确定为操作者,例如。
(2-3-2)在从捕捉图像中包括的用户中将多个用户确定为操作者的情况下的过程
根据本实施例的信息处理设备按照从捕捉图像检测到预定姿势的顺序将操作者确定为多达配置人数的用户,例如。更具体地,根据本实施例的信息处理设备按照从捕捉图像检测到预定姿势的顺序,将操作者确定为多达配置人数的用户或者小于配置人数的若干用户,例如。
在本文中,在根据第三示例的确定过程中的配置人数可以是固定的,或者可以通过用户操作等改变。
注意,在根据第三示例的确定过程中,将多个用户确定为操作者的过程并不限于以上所述。
例如,根据本实施例的信息处理设备也可以通过遵循配置的规则(例如,诸如随机配置的),将操作者确定为从捕捉图像检测到预定姿势的用户中选择的多达配置人数的用户。
(2-4)确定过程的第四示例
当在显示屏上的用户视线位置包括在显示屏上的配置区域中时,根据本实施例的信息处理设备将操作者确定为对应于相关视线的用户,例如。
在本文中,根据本实施例的信息处理设备使用在显示屏上的用户视线位置,该在显示屏上的用户视线位置由根据实施例的有关用户视线的信息表示。同样,根据本实施例的在显示屏上的配置区域可以是预先配置在显示屏上的固定区域、在显示屏上的显示有预定对象(诸如,图标或者人物图像)的区域、或者在显示屏上的通过用户操作等配置的区域,例如。
(2-4-1)在从捕捉图像中包括的用户中将单个用户确定为操作者的情况下的过程
根据实施例的信息处理设备将操作者确定为在显示屏幕上的配置区域内较早检测到用户视线位置的用户,例如。
注意,在根据第四示例的确定过程中,将单个用户确定为操作者的过程并不限于以上所述。
例如,当存在多个在显示屏上的配置区域内检测到视线的用户时,根据本实施例的信息处理设备可以将操作者确定为在显示屏上的配置区域内较晚检测到用户视线位置的用户。同样,在上述情况下,根据本实施例的信息处理设备也可以通过遵循配置的规则(例如,诸如随机配置的),从用户视线位置包括在显示屏上的配置区域内的用户中,将单个用户确定为操作者。此外,在上述情况下,根据本实施例的信息处理设备也可以通过结合根据上述第一示例的确定过程、根据上述第二示例的确定过程、根据上述第三示例的确定过程以及根据稍后论述的第五示例的确定过程,将单个用户确定为操作者,例如。
(2-4-2)在从捕捉图像中包括的用户中将多个用户确定为操作者的情况下的过程
根据本实施例的信息处理设备按照在显示屏上的配置区域内检测到的用户视线位置的顺序,将操作者确定为多达配置人数的用户,例如。更具体地,根据本实施例的信息处理设备按照在显示屏上的配置区域内检测到的用户视线位置的顺序,将操作者确定为多达配置人数的用户或者小于配置人数的若干用户,例如。
在本文中,在根据第四示例的确定过程中的配置人数可以是固定的,或者可以通过用户操作等改变。
注意,在根据第四示例的确定过程中,将多个用户确定为操作者的过程并不限于以上所述。
例如,根据本实施例的信息处理设备也可以通过遵循配置的规则(例如,诸如随机配置的),将操作者确定为从用户视线位置包括在显示屏上的配置区域内的用户中选择的多达配置人数的用户。
(2-5)确定过程的第五示例
例如,根据本实施例的信息处理设备基于捕捉图像来识别捕捉图像中包括的用户。随后,根据本实施例的信息处理设备基于与所识别的用户相关联的排名来确定操作者。
在本文中,例如,根据本实施例的排名指的是表示索引的值,通过该索引,根据本实施例的信息处理设备优先确定操作者。在根据本实施例的排名中,例如,排名的优先级可以高到值较小的程度,或者排名的优先级可以高到值较大的程度。
更具体地,根据本实施例的信息处理设备从捕捉图像检测脸部区域,并且对检测到的脸部区域进行脸部识别过程以提取表示用户的脸部的特征的脸部信息(数据),例如。随后,例如,根据本实施例的信息处理设备使用将唯一表示用户的用户ID与脸部信息和提取到的脸部信息相关联的表格(或者数据库),通过指定对应于脸部信息的用户ID,来识别用户。
在本文中,可以另外将根据本实施例的唯一表示用户的用户ID与应用程序的执行状态和/或者有关用户界面(UI)的校准的信息相关联,例如。有关UI校准的信息可以是表示对象(诸如,图标)设置在显示屏上的位置的数据,例如。通过另外将根据本实施例的唯一表示用户的用户ID与应用程序的执行状态等相关联,根据本实施例的信息处理设备能够更详细地管理可识别的用户,并且也能向可识别用户提供对应于该用户的各种服务。
注意,根据本实施例的基于捕捉图像来识别用户的方法并不限于以上所述。
例如,根据本实施例的信息处理设备也可以使用将表示用户类型的用户ID(诸如,表示用户是成人还是儿童的ID等)与脸部信息和提取到的脸部信息相关联的表格(或者数据库)来指定对应于脸部区域的用户ID,从而指定用户类型。
在识别出用户之后,根据本实施例的信息处理设备使用将用户ID与排名值和所指定的用户ID相关联的表格(或者数据库),来指定对应于识别到的用户的排名。随后,根据本实施例的信息处理设备基于所指定的排名来确定操作者。
通过如上所述的基于排名来确定操作者,例如,根据本实施例的信息处理设备能够实现以下操作。然而,显然,根据第五示例的确定过程的示例并不限于下面给出的示例。
当从可由根据本实施例的信息处理设备识别的用户中,父亲的排名最高时,根据本实施例的信息处理设备在从捕捉图像识别到父亲时,将操作者确定为父亲(根据本实施例的信息处理设备确定家用设备的操作者的情况的示例)。
当从可由根据本实施例的信息处理设备识别的用户中,成人的排名高于儿童时,如果在捕捉图像中包括儿童用户和成人用户,那么根据本实施例的信息处理设备在从捕捉图像识别到成人时,将操作者确定为成人。
(2-5-1)在从捕捉图像中包括的用户中将单个用户确定为操作者的情况下的过程
根据本实施例的信息处理设备将操作者确定为具有与基于捕捉图像识别到的用户相关联的最高排名的用户,例如。
注意,在根据第五示例的确定过程中,将单个用户确定为操作者的过程并不限于以上所述。
例如,当存在多个具有最高排名的用户时,根据本实施例的信息处理设备可以将操作者确定为,在具有最高排名的用户中,从捕捉图像较早检测到脸部区域的用户或者基于捕捉图像较早识别到的用户,例如。同样,在上述情况下,根据本实施例的信息处理设备也可以通过遵循配置的规则(例如,诸如随机配置的),从具有最高排名的用户中,将单个用户确定为操作者。
(2-5-2)在从捕捉图像中包括的用户中将多个用户确定为操作者的情况下的过程
根据本实施例的信息处理设备按照最高排名的顺序,来将操作者确定为多达配置人数的用户,例如。更具体地,例如,根据本实施例的信息处理设备按照最高排名的顺序,来将操作者确定为多达配置人数的用户或者小于配置人数的若干用户。
在本文中,在根据第五示例的确定过程中的配置人数可以是固定的,或者可以通过用户操作等改变。
另外,当由于排名相同,按照最高排名的顺序选择的操作者候选造成超过配置人数时,根据本实施例的信息处理设备不会将操作者确定为,在具有相同排名的用户中,从捕捉图像较晚检测到脸部区域的用户或者基于捕捉图像较晚识别到的用户,例如。注意,在上述情况下确定操作者的方法显然并不限于以上所述。
(2-6)确定过程的第六示例
当针对在根据在上述(2-1)中表示的第一示例的确定过程到根据在上述(2-5)中表示的第五示例的确定过程中的每个确定过程中被确定为操作者的用户,另外检测到表示配置预定讲话内容的语音时,根据本实施例的信息处理设备也可以确定操作者。
根据本实施例的信息处理设备通过使用源分离或者源定位执行语音识别,来检测表示预定讲话内容的语音,例如。在本文中,根据本实施例的源分离指的是从各种声音中仅仅提取感兴趣的语音的技术。同样,根据本实施例的源定位指的是测量声源的位置(角度)的技术。
作为根据本实施例的确定过程,例如,根据本实施例的信息处理设备通过进行从根据在上述(2-1)中表示的第一示例的确定过程到根据在上述(2-6)中表示的第六示例的确定过程的过程中的一个过程,基于捕捉图像,从捕捉图像中包括的用户中确定操作者。
注意,在根据本实施例的确定过程中基于捕捉图像从捕捉图像中包括的用户中确定操作者的过程并不限于从根据在上述(2-1)中表示的第一示例的确定过程到根据在上述(2-6)中表示的第六示例的确定过程。例如,根据本实施例的信息处理设备也可以根据从捕捉图像检测到的脸部的检测顺序来确定操作者。根据脸部检测顺序来确定操作者的示例包括:按照脸部检测的顺序,将操作者当作首先检测到脸部的用户,或者将操作者当作等于配置人数的用户,例如。
同样,根据本实施例的确定过程并不限于作为从捕捉图像中包括的用户中确定操作者的过程。根据本实施例的信息处理设备也能够进行作为根据本实施例的确定过程的从根据下面所示的第七示例的确定过程到根据下面所示的第十示例的确定过程的过程中的一个或者多个过程,例如。
(2-7)确定过程的第七示例
例如,根据本实施例的信息处理设备为被确定为操作者的用户配置操作级。
在本文中,根据本实施例的操作级指的是表示与操作范围有关的索引的值,这些操作可以由确定的操作者通过使用视线来执行,例如。根据本实施例的操作级通过将根据本实施例的操作级与有关可以通过使用视线来执行的操作的信息相关联的表格(或者数据库),来与可以通过使用视线来执行的操作范围相关联,例如。根据本实施例的有关操作的信息可以是,例如,用于实现操作的各种数据,诸如,表示与操作有关的命令或者参数的数据、或者用于执行与操作有关的应用程序(诸如,存储有应用程序的地址、和参数,例如)。
当在根据本实施例的确定过程中配置操作级时,根据本实施例的信息处理设备基于在稍后论述的根据本实施例的执行过程中配置的操作级,进行对应于操作者视线的过程。换言之,当在根据本实施例的确定过程中配置操作级时,根据本实施例的信息处理设备能够动态地改变确定的操作者基于配置的操作级可以执行的过程,例如。
根据本实施例的信息处理设备为被确定为操作者的用户配置所配置的操作级,例如。
另外,例如,当基于捕捉图像识别到被确定为操作者的用户时,根据本实施例的信息处理设备可以配置对应于识别到的用户的操作级。例如,根据本实施例的信息处理设备通过使用将用户ID与操作级和对应于基于捕捉图像识别到的用户的用户ID相关联的表格(或者数据库),来配置对应于识别到的用户的操作级。
(2-8)确定过程的第八示例
作为根据本实施例的确定过程,根据本实施例的信息处理设备也可以确定已经被确定为操作者的用户不是操作者。
例如,当不能从捕捉图像获取到关于对应于被确定为操作者的用户的用户视线的信息时,根据本实施例的信息处理设备确定已经被确定为操作者的用户不是操作者。如上所述,例如,在基于关于对应于被确定为操作者的用户的用户视线的信息确定用户不是操作者的情况下,当被确定为操作者的用户停止将其视线指向显示屏上时,根据本实施例的信息处理设备确定已经被确定为操作者的用户不是操作者。
注意,根据本实施例的确定已经被确定为操作者的用户不是操作者的过程并不限于以上所述。
例如,不能从捕捉图像获取到有关对应于被确定为操作者的用户的用户视线的信息的原因可以是,例如,被确定为操作者的用户不再包括在捕捉图像中,或者,被确定为操作者的用户包括在捕捉图像中但是未看着显示屏。另外,当因为被确定为操作者的用户包括在捕捉图像中但未看着显示屏所以不能从捕捉图像获取到有关用户视线的信息,并且根据本实施例的信息处理设备确定已经被确定为操作者的用户不是操作者时,存在已经被确定为操作者的用户会失去便利性的风险。
因此,即使当不能从捕捉图像获取到有关对应于被确定为操作者的用户的用户视线的信息时,如果检测到被确定为操作者的用户的头部,那么根据本实施例的信息处理设备不会确定已经被确定为操作者的用户不是操作者。
根据本实施例的信息处理设备通过从捕捉图像检测对应于头部的形状(诸如,圆形或者椭圆形,例如),或者通过检测在捕捉图像中的亮度变化等,来从捕捉图像检测用户的头部。根据本实施例的信息处理设备通过进行与在捕捉图像的部分区域上检测用户的头部有关的过程,来检测被确定为操作者的用户的头部,该部分区域包括检测到对应于被确定为操作者的用户的脸部区域的区域,例如。注意,与检测用户的头部有关的过程和根据本实施例的检测被确定为操作者的用户的头部的方法并不限于以上所述。例如,根据本实施例的信息处理设备也可以通过使用能够检测被确定为操作者的用户的头部的任意方法和过程,诸如,使用来自各种传感器(诸如,红外传感器)的检测结果的方法,来检测被确定为操作者的用户的头部。
如上所述,当检测到被确定为操作者的用户的头部时,通过不确定已经被确定为操作者的用户不是操作者,即使已经被确定为操作者的用户假设把目光从显示屏移开,该用户也仍然是操作者。因此,如上所述,当检测到被确定为操作者的用户的头部时,通过不确定已经被确定为操作者的用户不是操作者,可以防止降低已经被确定为操作者的用户的便利性。
(2-9)确定过程的第九示例
根据上述第八示例的确定过程图示了如下过程:根据本实施例的信息处理设备基于有关用户视线的信息,确定已经被确定为操作者的用户不是操作者。当使用了根据上述第八示例的确定过程时,可以改变由根据本实施例的信息处理设备确定的操作者,诸如,通过使作为操作者的用户隐藏他其脸部从而使得获取不到有关用户视线的信息,或者通过使作为操作者的用户移动到从捕捉图像检测不到其头部的位置,例如。
然而,根据本实施例的改变操作者的方法并不限于使用根据上述第八示例的确定过程的方法。例如,根据本实施例的信息处理设备也可以基于被确定为操作者的用户和另一用户的预定姿势组合,来主动将操作者从已经被确定为操作者的用户变为另一用户。
更具体地,例如,根据本实施例的信息处理设备检测被确定为操作者的用户和另一用户的预定姿势组合。例如,根据本实施例的信息处理设备通过使用与任意姿势识别技术有关的方法,诸如,对捕捉图像使用图像处理的方法、或者利用来自任意传感器(诸如,深度传感器)的检测值的方法,来检测预定姿势组合。
随后,当从捕捉图像检测到被确定为操作者的用户和另一用户的预定姿势组合时,根据本实施例的信息处理设备将操作者从已经被确定为操作者的用户变为另一用户。
图1是用于描述按照根据本实施例的信息处理方法的过程的示例的阐释图。在图1中图示的A和B图示了由根据本实施例的信息处理设备检测到的被确定为操作者的用户和另一用户的预定姿势组合的相应示例。在图1中,用户U1表示被确定为操作者的用户,而用户U2表示另一用户。
当从捕捉图像检测到被确定为操作者的用户和另一用户的预定姿势组合,诸如,在图1的A中图示的举手击掌姿势或者在图1的B中图示的举手姿势时,根据本实施例的信息处理设备将操作者从用户U1变为用户U2。然而,显然,根据本实施例的被确定为操作者的用户和另一用户的预定姿势组合并不限于在图2中图示的示例。
通过使根据本实施例的信息处理设备进行根据如上所述的第九示例的确定过程,即使被确定为操作者的用户数已经达到配置上限,用户也能够通过执行姿势来有意地改变操作者。
(2-10)确定过程的第十示例
当被确定为操作者的用户数尚未达到配置上限时(或者可替代地,当未对被确定为操作者的用户数配置上限时;这也适用于下文),根据本实施例的信息处理设备将操作者确定为由于在从根据在上述(2-1)中表示的第一示例的确定过程到根据在上述(2-6)中表示的第六示例的确定过程的过程中将操作者确定为多个用户的情况下执行该过程而新近包括在捕捉图像中的用户,例如。
注意,与在被确定为操作者的用户数尚未达到配置上限的情况下确定操作者有关的过程并不限于以上所述。
例如,根据在稍后论述的根据本实施例的执行过程中执行的应用程序,在一些情况下立即将操作者确定为新近包括在捕捉图像中的用户并不可取。因此,根据本实施例的信息处理设备也可以进行下面给出的过程,例如,当在被确定为操作者的用户数尚未达到配置上限时在捕捉图像中新近包括进用户时,例如。另外,根据本实施例的信息处理设备也可以进行通过用户操作等从将操作者确定为新近包括在捕捉图像中的用户的上述过程或者下面给出的过程中选择的过程,例如。
不将新近包括在捕捉图像中的用户确定为操作者,直到在执行应用程序之后过去了配置时间。
根据应用程序的执行状态,选择性地将新近包括在捕捉图像中的用户确定为操作者。
(3)执行过程
根据本实施例的信息处理设备进行基于有关对应于在上述(2)的过程(确定过程)中确定的操作者的用户视线的信息的过程。
在本文中,基于根据本实施例的有关用户视线的信息的过程可以是使用根据本实施例的有关用户视线的信息的各种过程,诸如,选择存在于由有关用户视线位置的信息(有关用户视线的信息的示例)表示的视线位置处的对象的过程、根据由有关用户视线位置的信息表示的视线位置来移动对象的过程、与由有关用户眼睛运动的信息(有关用户视线的信息的示例)表示的与眼睛运动相关联的过程、以及基于由有关用户眼睛运动的信息表示的眼睛运动来控制对应于由有关用户视线位置的信息表示的视线位置的应用程序的执行状态等的过程,例如。另外,根据本实施例的上述对象可以是显示在显示屏上的各种对象,诸如,图标、光标、消息框、和文本串或者用于通知用户的图像,例如。
另外,根据本实施例的信息处理设备也可以进行如下控制过程:使可经由通信单元(稍后论述)或者连接的外部通信装置通信的外部设备进行基于有关对应于操作者的用户视线的信息的过程,作为基于根据本实施例的有关用户视线的信息的过程,例如。在进行上述控制过程的情况下,根据本实施例的信息处理设备使通信单元(稍后论述)等向外部设备发送数据,该数据包括有关对应于在上述(2)的过程(确定过程)中确定的操作者的用户视线的信息和使得能够进行过程的命令,例如。
在进行上述控制过程作为根据本实施例的执行过程的情况下,根据本实施例的信息处理设备能够利用从外部设备获取到的并且表示在外部设备中进行基于有关对应于操作者的用户视线的信息的过程结果的数据,例如。
注意,根据本实施例的执行过程并不限于以上所述。例如,根据本实施例的信息处理设备也可以进行根据下面表示的第一示例的执行过程或者根据下面表示的第二示例的执行过程作为根据本实施例的执行过程。
(3-1)执行过程的第一示例
当为在上述(2)的处理(确定过程)中被确定为操作者的用户配置操作级时,根据本实施例的信息处理设备基于为被确定为操作者的用户配置的操作级,在与相关操作级相关联的过程范围内,进行基于有关用户视线的信息的过程。换言之,在进行根据第一示例的执行过程的情况下,根据本实施例的信息处理设备能够基于为被确定为操作者的用户配置的操作级,动态地改变可用的过程,例如。
根据本实施例的信息处理设备使用将根据本实施例的操作级与有关可以通过使用视线来执行的操作的信息相关联的表格(或者数据库),来指定有关对应于在上述(2)的过程(确定过程)中配置的操作级的操作的信息,例如。通过指定有关对应于操作级的操作的信息,可以识别与操作级相关联的过程范围。随后,根据本实施例的信息处理设备在与操作级相关联的过程范围内,进行基于有关用户视线的信息的过程。然而,显然,根据第一示例的执行过程的示例并不限于上面给出的示例。
(3-2)执行过程的第二示例
根据本实施例的信息处理设备利用在上述(2)的过程(确定过程)中未被确定为操作者的另一用户的视线,并且基于进行有关对应于另一用户的用户视线的信息的过程,例如。
在本文中,基于有关对应于根据本实施例的另一用户的用户视线的信息的过程可以是不包括会影响到设备行为的处理的过程,例如。这是因为根据本实施例的另一用户不是被确定为操作者的用户。
具体示例如下:基于有关对应于根据本实施例的另一用户的用户视线的信息的过程可以是使表示视线位置的对象显示在由有关对应于另一用户的用户视线的信息表示的视线位置处的过程,例如。如上所述,通过使表示视线位置的对象显示在由有关对应于另一用户的用户视线的信息表示的视线位置处,可以在显示屏上可视地表达另一用户视线的端点。
注意,根据第二示例的执行过程并不限于以上所述。
例如,当基于有关对应于根据本实施例的另一用户的用户视线的信息的过程使表示视线位置的对象显示在由有关对应于另一用户的用户视线的信息表示的视线位置处时,如果另一用户视线的端点总是显示在显示屏上,那么存在操作者、另一用户等可能会感到恼怒的风险。
因此,根据本实施例的信息处理设备也可以选择性地进行基于有关对应于另一用户的用户视线的信息的过程。根据本实施例的信息处理设备使表示视线位置的对象显示在由有关对应于另一用户的用户视线的信息表示的视线位置处的情况的示例如下:根据本实施例的信息处理设备选择性地使表示视线位置的对象显示在由有关对应于另一用户的用户视线的信息表示的视线位置处,例如。
更具体地,当由于对获取到的语音信号进行语音识别,识别出由另一用户所讲的预定语音时,根据本实施例的信息处理设备进行基于有关用户视线的信息的过程,例如。另外,当未识别出由另一用户所讲的预定语音时,根据本实施例的信息处理设备不会进行基于有关用户视线的信息的过程。
在本文中,根据本实施例的语音信号由设置在根据本实施例的信息处理设备中的语音输入装置或者在根据本实施例的信息处理设备外部的语音输入装置生成。根据本实施例的信息处理设备处理从语音输入装置获取到的语音信号。在本文中,根据本实施例的语音输入装置可以是能够生成对应于特定用户的语音的语音信号的语音输入装置,诸如,能够进行源分离的语音输入装置或者能够进行源定位的语音输入装置。
另外,根据本实施例的预定语音可以是表示表示代词(诸如,“这”和“那”等)的语音。然而,显然,根据本实施例的预定语音并不限于作为表示表示代词的语音。
图2是用于描述按照根据本实施例的信息处理方法的过程的示例的阐释图。图2图示了选择性地进行基于有关对应于根据本实施例的另一用户的用户视线的信息的过程的情况的示例。在图2中,用户U1表示被确定为操作者的用户,而用户U2表示另一用户。
如在图2的A中图示的,当未识别出由用户U2所讲的预定语音时,诸如,当作为另一用户的用户U2没有讲话时,根据本实施例的信息处理设备不会进行基于有关对应于用户U2的用户视线的信息的过程。
另外,如在图2的B中图示的,当识别出由作为另一用户的用户U2所讲的预定语音(诸如,“这”)时,根据本实施例的信息处理设备使对象O显示在由有关对应于用户U2的用户视线的信息表示的视线位置处,例如。
通过使作为另一用户的用户U2的视线的端点像对象O一样显示在图2的B中,例如,用户U2能够通知人(诸如,作为操作者的用户U1)在显示屏上显示感兴趣的东西。另外,由于根据本实施例的信息处理设备在识别出预定语音时选择性地显示对象O,所以减小了操作者、另一用户等感到恼怒的可能性,或者可以降低恼怒程度。
注意,虽然未在图2中图示,但是根据本实施例的信息处理设备也可以显示在图2的B中图示的对象O,然后隐藏对象O,例如。根据本实施例的信息处理设备可以在显示对象O之后过去了配置时间之后隐藏对象O,或者,如果由有关对应于作为另一用户的用户U2的用户视线的信息表示的视线位置在配置时间内未移动,那么隐藏对象O,例如。
根据本实施例的信息处理设备进行上述(1)的过程(图像获取过程)、上述(2)的过程(确定过程)、以及上述(3)的过程(执行过程),作为按照根据本实施例的信息处理方法的过程,例如。在本文中,在上述(2)的过程(确定过程)中,根据本实施例的信息处理设备从由上述(1)的过程(图像获取过程)获取到的捕捉图像中包括的用户中,确定通过视线来执行操作的操作者。随后,在上述(3)的过程(执行过程)中,根据本实施例的信息处理设备进行基于在上述(2)的过程(确定过程)中确定的操作者的视线的过程。
因此,根据本实施例的信息处理设备进行上述(1)的过程(图像获取过程)、上述(2)的过程(确定过程)、和上述(3)的过程(执行过程),作为按照根据实施例的信息处理方法的过程,从而可以确定通过视线执行操作的操作者并且进行基于确定的操作者的视线的过程。
[3]按照根据本实施例的信息处理方法的过程的应用示例
接下来,将描述上面论述的按照根据本实施例的信息处理方法的过程的应用示例。
(I)按照根据本实施例的信息处理方法的过程的第一应用示例应用于游戏的示例
图3是用于描述按照根据本实施例的信息处理方法的过程的第一应用示例的阐释图。图3图示了将按照根据本实施例的信息处理方法的过程应用于游戏的示例。在图3中图示的U1至U3表示被确定为操作者的相应用户。换言之,图3的示例图示了在游戏中被确定为参与者的用户。
在确定了游戏参与者的情况下,根据本实施例的信息处理设备通过进行从根据在上述(2-1)中表示的第一示例的确定过程到根据在上述(2-6)中表示的第六示例的确定过程的过程中的一个过程,来确定参与者(操作者),例如。
另外,当在游戏中途加入或者从游戏中退出时,根据本实施例的信息处理设备进行如在以下(a)和(b)中表示的过程,例如。
(a)根据本实施例的信息处理设备能够进行脸部识别的情况
(a-1)根据本实施例的信息处理设备不能使用用户头部的检测结果的情况
当存在在游戏中途不再能识别到脸部的参与用户时(诸如,当相关用户面向侧面或者背后时,例如),根据本实施例的信息处理设备根据从下面表示的模式中配置的模式来确定游戏的参与者。
将其他用户添加为参与者,直到满足在游戏开始时的人数
不将除了已经被确定为参与者的用户之外的用户新近确定为参与者(换言之,不使除了已经被确定为参与者的用户之外的用户新近参与到游戏中)
(a-2)根据本实施例的信息处理设备能使用用户头部的检测结果的情况
当存在在游戏中途不再能识别到脸部的参与用户,并且检测到了相关用户的头部(相关用户存在于成形装置等的视角内的情况)时,根据本实施例的信息处理设备将该用户的状态保持为参与者。另外,当存在在游戏中途不再能识别到脸部的参与用户,并且未检测到相关用户的头部时,根据本实施例的信息处理设备使相关参与用户退出游戏。例如,在图3的示例中,参与用户通过删除表示用户(标为U1至U3的对象中的一个对象)显示在显示屏上的对象,来退出游戏。
(b)根据本实施例的信息处理设备不能进行脸部识别的情况
(b-1)根据本实施例的信息处理设备能够使用用户头部的检测结果的情况
在游戏期间,根据本实施例的信息处理设备按照检测到的用户脸部的顺序,来将参与者确定为n个人(其中,n是等于或者大于1的设置整数),例如。
当存在不再能识别到脸部的参与用户时(诸如,当相关用户面向侧面或者背后时,例如),根据本实施例的信息处理设备确定下一个候选用户是在游戏中的参与者,例如。同样,当再次检测到脸部时,如果当前检测到脸部的用户数(参与者人数)不满足n个人,那么根据本实施例的信息处理设备确定再次检测到的用户是参与者。同样,当再次检测到脸部时,如果当前检测到脸部的用户数(参与者人数)满足n个人,那么根据本实施例的信息处理设备不会确定再次检测到的用户是参与者。
注意,根据本实施例的信息处理设备也可以通过进行根据在上述(2-1)中表示的第一示例的确定过程或者根据在上述(2-2)中表示的第二示例的确定过程,来确定参与者(操作者),例如。
(b-2)根据本实施例的信息处理设备能使用用户头部的检测结果的情况
根据本实施例的信息处理设备进行与上述(a-1)相似的过程,例如。
(II)按照根据本实施例的信息处理方法的过程的第二应用示例应用于数字标牌的操作的示例
图4是用于描述按照根据本实施例的信息处理方法的过程的第二应用示例的阐释图。图4图示了将按照根据本实施例的信息处理方法的过程应用于数字标牌的操作的示例。在图4中图示的U1至U5表示可以被确定为操作者的相应用户。
图4的A图示了与数字标牌有关的显示屏D具有三个子屏幕SD1至SD3,并且根据本实施例的信息处理设备将每个子屏幕SD1至SD3的操作者确定为最靠近子屏幕SD1至SD3的人(用户)的情况的示例。在图4的A中图示的情况下的操作示例可以是如下所示的操作在商场的信息板的示例,例如。
被确定为操作者的用户U1至U3中的每个用户通过视线表示需要操作对象,并且用姿势等(诸如,竖手指)来执行操作(诸如,确认操作)
当一个用户正在某个子屏幕上执行操作时,根据本实施例的信息处理设备不会通过另一用户进行对应于在相关子屏幕上的操作的过程,并且另一用户能够执行中断操作。
图4的B图示了与数字标牌有关的显示屏幕D为单个屏幕,并且根据本实施例的信息处理设备能够将多个人(用户)确定为操作者的情况的示例。在图4的A中图示的情况下的操作的示例可以是下面给出的示例,例如。在图4的B中图示的情况下的操作的示例可以是如下所示的操作在火车站等内的广告显示器的示例,例如。
如果儿童(用户U4)在说“我想要那个”的同时看着显示在显示屏D上的期望对象,那么根据本实施例的信息处理设备将操作者确定为儿童(用户U4),并且放大对儿童(用户U4)正看着的对象的显示,例如。通过对放大儿童(用户U4)正看着的对象的显示,可以使相关对象进入伴随儿童(用户U4)的父母(用户U5)的视野。
如果父母(用户U5)在看着对象的同时询问“这个多少钱?”,那么根据本实施例的信息处理设备将操作者确定为父母(用户U5),并且显示相关对象的价格,例如。
(III)按照根据本实施例的信息处理方法的过程的第三应用示例应用于电视机的操作的示例
图5是用于描述按照根据本实施例的信息处理方法的过程的第三应用示例的阐释图。图5图示了将按照根据本实施例的信息处理方法的过程应用于电视机的操作的示例。在图5中图示的U1至U3表示可以被确定为操作者的相应用户。
当将按照根据本实施例的信息处理方法的过程应用于电视机的操作时,用户U1至U3能够使用视线来执行下面表示的操作,例如。
看照片(静态图像)和移动图像的操作
频道操作
显示节目指南的操作
按照根据本实施例的信息处理方法的过程的应用示例可以是在上述(I)中表示的第一示例到在上述(III)中表示的第三示例,例如。然而,显然,按照根据本实施例的信息处理方法的过程的应用示例并不限于在上述(I)中表示的第一示例到在上述(III)中表示的第三示例。
(根据本实施例的信息处理设备)
接下来,将描述能够执行上述按照根据本实施例的信息处理方法的过程的根据本实施例的信息处理设备的配置的示例。
图6是示出了根据本实施例的信息处理设备100的配置的示例的框图。信息处理设备100包括,例如,通信单元102和控制单元104。
信息处理设备100还可以包括,例如,ROM(只读存储器,未图示)、RAM(随机存取存储器,未图示)、存储单元(未示出)、可以由用户操作的操作单元(未示出)、以及在显示屏上显示各种画面的显示单元(未示出)。信息处理设备100通过,例如,作为传输路径的总线来连接上述元件中的每个元件。
ROM(未示出)存储由控制单元104使用的程序以及控制数据(诸如,操作参数)。RAM(未示出)暂时存储由控制单元104等执行的程序。
存储单元(未示出)是设置在信息处理设备100中的存储装置,并且存储各种数据,诸如,按照根据本实施例的信息处理方法的数据(诸如,将唯一表示用户的用户ID与脸部信息相关联的表格(或者数据库))、以及应用程序等。在本文中,存储单元(未示出)可以是,例如,磁记录介质(诸如,硬盘)或者非易失性存储器(诸如,闪存)。另外,存储单元(未示出)也可以是可从信息处理设备100移除的。
作为操作单元(未示出),可以引用稍后描述的操作输入装置。作为显示单元(未示出),可以引用稍后描述的显示装置。
(信息处理设备100的硬件配置示例)
图7是示出了根据本实施例的信息处理设备100的硬件配置的示例的阐释图。信息处理设备100包括,例如,MPU150、ROM152、RAM154、记录介质156、输入/输出接口158、操作输入装置160、显示装置162、成像装置164和通信接口166。信息处理设备100通过,例如,作为数据传输路径的总线168来连接每个结构元件。
MPU150由各种操作电路(诸如,微处理单元(MPU))或者各种处理电路配置而成,并且用作控制整个信息处理设备100的控制单元104。MPU15也起到,例如,在信息处理设备100中的稍后描述的图像获取单元110、确定单元112和处理单元114的作用。
ROM152存储由MPU150使用的程序以及控制数据(诸如,操作参数)。RAM154暂时存储由MPU150等执行的程序。
记录介质156用作存储单元(未示出),并且存储各种数据,诸如,按照根据本实施例的信息处理方法的数据(诸如,将唯一表示用户的用户ID与脸部信息相关联的表格(或者数据库))、以及应用程序等。作为记录介质156,例如,可以引用磁记录介质(诸如,硬盘)以及非易失存储器(诸如,闪存)。记录介质156可以是可从信息处理设备100移除的。
输入/输出接口158连接,例如,操作输入装置160、显示装置162和成像装置164。操作输入装置160用作操作单元(未示出),并且显示装置162用作显示单元(未示出)。成像装置164用作成像单元(未示出)。作为输入/输出接口158,例如,可以引用USB(通用串行总线)端子、DVI(数字视频接口)端子、HDMI(高清多媒体接口)(注册商标)端子、和各种处理电路。
操作输入装置160,例如,包括在信息处理设备100中并且连接至在信息处理设备100内的输入/输出接口158。作为操作输入装置160,例如,可以引用按键、方向键、旋转式选择器(诸如,转轮)、以及这些装置的组合。
显示装置162,例如,包括在信息处理设备100中并且连接至在信息处理设备100内的输入/输出接口158。作为显示装置162,例如,可以引用液晶显示器和有机电致发光显示器(也称为OLED显示器(有机发光二极管显示器))。
成像装置164设置在信息处理设备100上并且连接至在信息处理设备100内的输入/输出接口158,例如。当在信息处理设备100中设置有成像装置时,可以处理由在成像装置中成像而生成的捕捉图像,确定操作者,基于捕捉图像来获得有关用户视线的信息,等等。同样,当设置有成像装置时,信息处理设备100也能够使显示屏显示由在成像装置中成像而生成的捕捉图像(或者捕捉图像的部分),如由在图3中图示的U1至U3所表示的,例如。
作为根据本实施例的成像装置,例如,可以引用透镜/图像传感器和信号处理电路。透镜/图像传感器由,例如,光学透镜和使用多个图像传感器(诸如,CMOS(互补金属氧化物半导体))的图像传感器组成。信号处理电路包括,例如,AGC(自动增益控制)电路或者将由图像传感器生成的模拟信号转换为数字信号(图像数据)的ADC(模数转换器)信号处理电路也可以执行各种信号处理,例如,白平衡校正处理、音调校正处理、图像灰度校正处理、YCbCr转换处理、以及边缘增强处理。
毋庸置疑,输入/输出接口158也可以连接至外部装置,诸如,操作输入装置(例如,键盘和鼠标)、显示装置、作为信息处理设备100的外部设备的成像装置。显示装置162可以是有显示和用户操作两种能力的装置,比如,例如,触摸屏。
通信接口166是包括在信息处理设备100中的通信装置,并且用作通信单元102以经由网络(或者直接地)无线地或者通过电线与外部装置或者外部设备(诸如,外部成像装置、外部显示装置和外部传感器)通信。作为通信接口164,例如,可以引用通信天线和RF(射频)电路(无线通信)、IEEE802.15.1端口和发送/接收电路(无线通信)、IEEE802.11端口和发送/接收电路(无线通信)、以及LAN(局域网)端子和发送/接收电路(有线通信)。作为根据本实施例的网络,例如,可以引用有线网络(诸如,LAN和WAN(广域网))、无线网络(诸如,经由基站的无线LAN(WLAN:无线局域网)和无线WAN(WWAN:无线广域网))、以及使用通信协议(诸如,TCP/IP(传输控制协议/互联网协议))的因特网。
利用在,例如,图7中示出的配置,信息处理设备100执行按照根据本实施例的信息处理方法的处理。然而,根据本实施例的信息处理设备100的硬件配置并不限于在图4中示出的配置。
例如,信息处理设备100另外可以配备有起检测单元(未示出)的作用的一个或者多个传感器,该检测单元(未示出)获得可以用于按照根据本实施例的信息处理方法的过程的数据。可以用于按照根据本实施例的信息处理方法的过程的数据可以是,例如,可以用于提高用户视线位置的估计精度的数据、或者可以用于指定(或者估计)用户到显示屏的距离的数据。
根据本实施例的传感器可以是能够获得可以用于按照根据本实施例的信息处理方法的过程的数据的任意传感器,诸如,红外传感器或者深度传感器,例如。
当信息处理设备100配置为,例如,独立地执行过程时,信息处理设备100可以不包括通信接口164。信息处理设备100也可以配置为不包括记录介质156、操作装置160、或者显示装置162。
参照图6,将描述信息处理设备100的配置的示例。通信接口102是包括在信息处理设备100中的通信装置,并且经由网络(或者直接地)无线地或者通过电线与外部装置或者外部设备(诸如,外部成像装置、外部显示装置和外部传感器)通信。通信单元102的通信由,例如,控制单元104控制。
作为通信单元102,例如,可以引用通信天线和RF电路以及LAN端子和发送/接收电路,但是通信单元102的配置并不限于上述示例。例如,通信单元102可以采用符合有通信能力的任何标准的配置(诸如,USB端子和发送/接收电路)或者能够经由网络与外部设备通信的任何配置。
控制单元104由MPU等组成,并且起到总体上控制信息处理设备100的作用,例如。另外,控制单元配备有图像获取单元110、确定单元112和处理单元114,并且起到进行按照根据本实施例的信息处理方法的过程的主导作用,例如。
图像获取单元110起到进行上述(1)的过程(图像获取过程)的主导作用,并且获取根据本实施例的捕捉图像。
确定单元112起到进行上述(2)的过程(确定过程)的主导作用。
确定单元112从由图像获取单元110获取的捕捉图像中包括的用户中确定操作者,例如。更具体地,例如,确定单元112通过进行从根据在上述(2-1)中表示的第一示例的确定过程到根据在上述(2-6)中表示的第六示例的确定过程的过程中的一个过程,基于捕捉图像,从捕捉图像中包括的用户中确定操作者。
另外,确定单元112也可以进行从根据在上述(2-7)中表示的第七示例的确定过程到根据在上述(2-10)中表示的第十示例的确定过程中的一个或者多个过程。
处理单元114起到进行上述(3)的过程(执行过程)的主导作用,并且进行基于有关对应于在确定单元112中确定的操作者的用户视线的信息的过程。
另外,处理单元114也可以进行根据在上述(3-1)中表示的第一示例的执行过程,或者根据在上述(3-2)中表示的第二示例的执行过程。
通过配备有图像获取单元110、确定单元112和处理单元114,控制单元104引导进行按照根据本实施例的信息处理方法的过程,例如。
根据在图6中图示的配置,信息处理设备100进行按照根据本实施例的信息处理方法的过程(例如,上述(1)的过程(图像获取过程)、上述(2)的过程(确定过程)、以及上述(3)的过程(执行过程)),例如。
因此,根据在图6中图示的配置,例如,信息处理设备100能够确定通过视线来执行操作的操作者,并且进行基于确定的操作者的视线的过程。
同样,利用在,例如,图6中示出的配置,信息处理设备100可以实现可以由,例如,正被执行的按照根据本实施例的信息处理方法的上述处理实现的效果。
然而,根据本实施例的信息处理设备的配置并不限于在图6中的配置。
例如,根据本实施例的信息处理设备可以包括与控制单元104分开的(例如,通过单独的处理电路来实现)在图6中示出的图像获取单元110、确定单元112和处理单元114中的一个或者两个或者多个单元。
根据本实施例的信息处理设备在经由功能和配置类似于通信单元102的功能和配置的外部通信装置与外部装置或者外部设备通信时,或者在配置为独立地执行过程时,可以不包括通信单元102。
同样,根据本实施例的信息处理设备另外可以配备有由成像装置组成的成像单元(未示出),例如。当在根据本实施例的信息处理设备中设置有成像单元(未示出)时,可以处理由在成像单元(未示出)中成像而生成的捕捉图像,确定操作者,基于捕捉图像来获得有关用户视线的信息,等等。同样,当提供了成像单元(未示出)时,根据本实施例的信息处理设备也能够使显示屏显示在成像单元(未示出)中生成的捕捉图像(或者捕捉图像的部分),如由在图3中图示的U1至U3所表示的,例如。
同样,根据本实施例的信息处理设备另外可以配备有检测单元(未示出),该检测单元(未示出)由能够获得可以用于按照根据本实施例的信息处理方法的过程的数据的任意传感器组成,例如。当设置有检测单元(未示出)时,根据本实施例的信息处理设备在按照根据本实施例的信息处理方法的过程中使用来自检测单元(未示出)的检测值,例如。
在上文中,已经将信息处理设备描述为本实施例,但是本实施例并不限于这种形式。本实施例也可以应用于各种装置,例如,电视机、显示设备、平板计算机设备、通信设备(诸如,移动电话或者智能手机)、视频/音乐播放设备(或者视频/音乐记录和播放设备)、游戏机、以及计算机(诸如,PC(个人计算机))。本实施例也可以应用于,例如,可以嵌入如上所述的装置中的处理IC(集成电路)。
本实施例也可以由***实现,该***包括以至网络(例如,云计算)等的连接(或者在每个设备之间的通信)为基础的多个设备。即,根据本实施例的上述信息处理设备可以实现为,例如,包括多个设备的信息处理***。
(根据实施例的程序)
使计算机用作根据本实施例的信息处理设备的程序(例如,使得能够执行按照根据本实施例的信息处理方法的过程,诸如,上述(1)的过程(图像获取过程)、上述(2)的过程(确定过程)、以及上述(3)的过程(执行过程)的程序)可以由在计算机中的处理器等来执行,从而使计算机能够确定通过视线来执行操作的操作者,并且进行基于确定的操作者的视线的过程。
同样,由按照根据本实施例的信息处理方法的上述处理实现的效果可以由使计算机用作根据本实施例的信息处理设备、由在计算机中的处理器等执行的程序来实现。
在上文中,已经参照附图详细描述了本公开的优选实施例,但是本公开的技术范围并不限于上述示例。本领域的技术人员可以发现在所附权利要求书的范围内的变更和修改,并且应该理解,这些变更和修改自然落在本公开的技术范围内。
例如,上述内容示出提供了一种使计算机用作根据本实施例的信息处理设备的程序(计算机程序),但是本实施例可以进一步提供使得能够存储程序的记录介质。
上述配置示出了本实施例的示例,并且自然落在本公开的技术范围内。
在本说明书中所述的效果仅仅是描述性的或者说明性的,而不是限制性的。即,根据本公开的技术可以实现在本说明书的描述中对本领域的技术人员显而易见的其他效果,连同上述效果或者替代上述效果。
此外,本技术还可以如下配置。
(1)一种信息处理设备,其包括:
图像获取单元,该图像获取单元配置为获取用户的捕捉图像;
确定单元,该确定单元配置为从获取的捕捉图像中包括的用户中确定操作者;以及
处理单元,该处理单元配置为基于有关对应于确定的操作者的用户视线的信息进行处理。
(2)根据(1)的信息处理设备,其中,
确定单元基于脸部区域的大小来确定操作者,该脸部区域包括从捕捉图像检测到的用户的脸部部分。
(3)根据(2)的信息处理设备,其中,
确定单元将操作者确定为对应于具有最大脸部区域大小的脸部区域的单个用户。
(4)根据(3)的信息处理设备,其中,
在存在具有最大脸部区域大小的多个脸部区域的情况下,确定单元将操作者确定为对应于较早检测到的脸部区域的用户。
(5)根据(3)或者(4)的信息处理设备,其中,
当第一差值等于或者大于配置的第一阀值时,或者当第一差值大于第一阀值时,
确定单元确定已经被确定为操作者的用户不是操作者,该第一差值表示对应于被确定为操作者的用户的脸部区域的大小与对应于另一用户的脸部区域的大小的差异,该另一用户是从捕捉图像中包括的用户中未被确定为操作者的用户。
(6)根据(2)的信息处理设备,其中,
确定单元按照最大脸部区域大小的顺序来将操作者确定为多达配置人数的用户。
(7)根据(1)的信息处理设备,其中,
确定单元基于对应于脸部区域的用户到显示屏的距离来确定操作者,该脸部区域包括从捕捉图像检测到的用户的脸部部分。
(8)根据(7)的信息处理设备,其中,
确定单元将操作者确定为具有对应于脸部区域的最短距离的对应于脸部区域的单个用户。
(9)根据(8)的信息处理设备,其中,
在存在具有对应于脸部区域的最短距离的多个对应于脸部区域的距离的情况下,确定单元将操作者确定为对应于较早检测到的脸部区域的用户。
(10)根据(8)或者(9)的信息处理设备,其中,
当第二差值等于或者大于配置的第二阀值时,或者当第二差值大于第二阀值时,
确定单元确定已经被确定为操作者的用户不是操作者,该第二差值表示对应于与另一用户对应的脸部区域的距离与对应于与被确定为操作者的用户对应的脸部区域的距离的差异,该另一用户是从捕捉图像中包括的用户中未被确定为操作者的用户。
(11)根据(7)的信息处理设备,其中,
确定单元按照对应于脸部区域的最短距离的顺序来将操作者确定为多达配置人数的用户。
(12)根据(1)的信息处理设备,其中,
确定单元基于从捕捉图像检测到的预定姿势来确定操作者。
(13)根据(1)的信息处理设备,其中,
当在显示屏上的用户视线位置包括在显示屏上的配置区域中时,确定单元将操作者确定为对应于视线的用户,该视线位置由有关基于捕捉图像的用户视线的信息表示。
(14)根据(1)的信息处理设备,其中,
确定单元基于捕捉图像来识别捕捉图像中包括的用户,并且基于与识别到的用户有关联的排名来确定操作者。
(15)根据(1)至(14)中的任一项的信息处理设备,其中,
确定单元为被确定为操作者的用户配置操作级,以及
处理单元基于为被确定为操作者的用户配置的操作级来动态地改变可用的处理。
(16)根据(1)至(15)中的任一项的信息处理设备,其中,
当认为由另一用户所说的预定语音是通过对获取的语音信号进行语音识别而获得的结果时,
处理单元基于有关对应于另一用户的用户视线的信息进行处理,该另一用户是从捕捉图像中包括的用户中未被确定为操作者的用户。
(17)根据(1)至(16)中的任一项的信息处理设备,其中,
当不可能从捕捉图像获取到有关对应于被确定为操作者的用户的用户视线的信息时,确定单元确定已经被确定为操作者的用户不是操作者。
(18)根据(17)的信息处理设备,其中,
当不可能从捕捉图像获取到有关对应于被确定为操作者的用户的用户视线的信息,而是从捕捉图像检测到被确定为操作者的用户的头部时,
确定单元不确定已经被确定为操作者的用户不是操作者。
(19)根据(1)至(18)中的任一项的信息处理设备,其中,
当检测到被确定为操作者的用户和作为从捕捉图像中包括的用户中未被确定为操作者的用户的另一用户的预定姿势组合时,
确定单元将操作者从已经被确定为操作者的用户变为另一用户。
(20)一种信息处理方法,由信息处理设备执行,该信息处理方法包括:获取用户的捕捉图像的步骤;
从获取的捕捉图像中包括的用户中确定操作者的步骤;以及
基于有关对应于确定的操作者的用户视线的信息进行处理的步骤。
附图标记列表
100信息处理设备
102通信单元
104控制单元
110图像获取单元
112确定单元
114处理单元

Claims (20)

1.一种信息处理设备,其包括:
图像获取单元,所述图像获取单元配置为获取用户的捕捉图像;
确定单元,所述确定单元配置为从获取的捕捉图像中包括的用户中确定操作者;以及
处理单元,所述处理单元配置为基于有关对应于所确定的操作者的用户视线的信息进行处理。
2.根据权利要求1所述的信息处理设备,其中,
所述确定单元基于脸部区域的大小来确定所述操作者,所述脸部区域包括从所述捕捉图像检测到的用户的脸部部分。
3.根据权利要求2所述的信息处理设备,其中,
所述确定单元将所述操作者确定为对应于具有最大脸部区域大小的所述脸部区域的单个用户。
4.根据权利要求3所述的信息处理设备,其中,
在存在具有最大脸部区域大小的多个所述脸部区域的情况下,所述确定单元将所述操作者确定为对应于较早检测到的所述脸部区域的用户。
5.根据权利要求3所述的信息处理设备,其中,
当第一差值等于或者大于配置的第一阀值时,或者当所述第一差值大于所述第一阀值时,
所述确定单元确定已经被确定为所述操作者的用户不是操作者,所述第一差值表示对应于被确定为所述操作者的用户的所述脸部区域的所述大小与对应于另一用户的所述脸部区域的所述大小的差异,所述另一用户是从所述捕捉图像中包括的用户中未被确定为所述操作者的用户。
6.根据权利要求2所述的信息处理设备,其中,
所述确定单元按照最大脸部区域大小的顺序来将所述操作者确定为多达配置人数的用户。
7.根据权利要求1所述的信息处理设备,其中,
所述确定单元基于对应于脸部区域的用户到显示屏的距离来确定所述操作者,所述脸部区域包括从所述捕捉图像检测到的用户的脸部部分。
8.根据权利要求7所述的信息处理设备,其中,
所述确定单元将所述操作者确定为具有对应于所述脸部区域的最短距离的对应于所述脸部区域的单个用户。
9.根据权利要求8所述的信息处理设备,其中,
在存在具有对应于所述脸部区域的最短距离的多个对应于所述脸部区域的距离的情况下,所述确定单元将所述操作者确定为对应于较早检测到的所述脸部区域的用户。
10.根据权利要求8所述的信息处理设备,其中,
当第二差值等于或者大于配置的第二阀值时,或者当所述第二差值大于所述第二阀值时,
所述确定单元确定已经被确定为所述操作者的用户不是操作者,所述第二差值表示对应于与另一用户对应的所述脸部区域的距离与对应于与被确定为所述操作者的用户对应的所述脸部区域的距离的差异,所述另一用户是从所述捕捉图像中包括的用户中未被确定为所述操作者的用户。
11.根据权利要求7所述的信息处理设备,其中,
所述确定单元按照对应于所述脸部区域的最短距离的顺序来将所述操作者确定为多达配置人数的用户。
12.根据权利要求1所述的信息处理设备,其中,
所述确定单元基于从所述捕捉图像检测到的预定姿势来确定所述操作者。
13.根据权利要求1所述的信息处理设备,其中,
当在显示屏上的用户视线位置包括在所述显示屏上的配置区域中时,所述确定单元将所述操作者确定为对应于所述视线的所述用户,所述视线位置由有关基于所述捕捉图像的用户视线的信息表示。
14.根据权利要求1所述的信息处理设备,其中,
所述确定单元基于所述捕捉图像来识别所述捕捉图像中包括的用户,并且基于与识别到的用户相关联的排名来确定所述操作者。
15.根据权利要求1所述的信息处理设备,其中,
所述确定单元为被确定为所述操作者的用户配置操作级,以及
所述处理单元基于为被确定为所述操作者的所述用户配置的所述操作级来动态地改变可用的处理。
16.根据权利要求1所述的信息处理设备,其中,
当认为由另一用户所说的预定语音是通过对获取的语音信号进行语音识别而获得的结果时,
所述处理单元基于有关对应于所述另一用户的用户视线的信息进行处理,所述另一用户是从所述捕捉图像中包括的用户中未被确定为所述操作者的用户。
17.根据权利要求1所述的信息处理设备,其中,
当不可能从所述捕捉图像获取到有关对应于被确定为所述操作者的用户的用户视线的所述信息时,所述确定单元确定已经被确定为所述操作者的所述用户不是所述操作者。
18.根据权利要求17所述的信息处理设备,其中,
当不可能从所述捕捉图像获取到有关对应于被确定为所述操作者的用户的用户视线的所述信息,但是从所述捕捉图像检测到被确定为所述操作者的所述用户的头部时,
所述确定单元不确定已经被确定为所述操作者的用户不是所述操作者。
19.根据权利要求1所述的信息处理设备,其中,
当检测到被确定为所述操作者的用户和作为从所述捕捉图像中包括的用户中未被确定为所述操作者的用户的另一用户的预定姿势组合时,
所述确定单元将所述操作者从已经被确定为所述操作者的所述用户变更为所述另一用户。
20.一种信息处理方法,由信息处理设备执行,所述信息处理方法包括:
获取用户的捕捉图像的步骤;
从获取的捕捉图像中包括的用户中确定操作者的步骤;以及
基于有关对应于确定的操作者的用户视线的信息进行处理的步骤。
CN201480048803.2A 2013-09-13 2014-06-30 信息处理设备和信息处理方法 Pending CN105518579A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-190715 2013-09-13
JP2013190715A JP2015056141A (ja) 2013-09-13 2013-09-13 情報処理装置、および情報処理方法
PCT/JP2014/067433 WO2015037310A1 (ja) 2013-09-13 2014-06-30 情報処理装置、および情報処理方法

Publications (1)

Publication Number Publication Date
CN105518579A true CN105518579A (zh) 2016-04-20

Family

ID=52665434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480048803.2A Pending CN105518579A (zh) 2013-09-13 2014-06-30 信息处理设备和信息处理方法

Country Status (5)

Country Link
US (2) US10120441B2 (zh)
EP (1) EP3046004A4 (zh)
JP (1) JP2015056141A (zh)
CN (1) CN105518579A (zh)
WO (1) WO2015037310A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108810627A (zh) * 2018-07-05 2018-11-13 京东方科技集团股份有限公司 一种显示装置及其显示方法
CN110708519A (zh) * 2019-11-05 2020-01-17 太原理工大学 面向工业现场环境的交互式监控方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9674663B2 (en) * 2014-12-31 2017-06-06 Qirfiraz A Siddiqui Proximity-enabled digital gesture tracking
CN104915001B (zh) * 2015-06-03 2019-03-15 北京嘿哈科技有限公司 一种屏幕操控方法及装置
CN105094319B (zh) * 2015-06-30 2018-09-18 北京嘿哈科技有限公司 一种屏幕操控方法及装置
CN104978029B (zh) * 2015-06-30 2018-11-23 北京嘿哈科技有限公司 一种屏幕操控方法及装置
JP2017134558A (ja) * 2016-01-27 2017-08-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラムを記録したコンピュータ読み取り可能な記録媒体
US10015539B2 (en) 2016-07-25 2018-07-03 DISH Technologies L.L.C. Provider-defined live multichannel viewing events
JP6953818B2 (ja) * 2016-11-14 2021-10-27 株式会社アイシン 動作判定装置
US10021448B2 (en) * 2016-11-22 2018-07-10 DISH Technologies L.L.C. Sports bar mode automatic viewing determination
KR102565977B1 (ko) * 2018-02-08 2023-08-11 삼성전자주식회사 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치
JP7075237B2 (ja) * 2018-02-23 2022-05-25 ラピスセミコンダクタ株式会社 操作判定装置及び操作判定方法
JP7064952B2 (ja) * 2018-05-17 2022-05-11 オリンパス株式会社 情報処理装置、情報処理方法およびプログラム
JP7468360B2 (ja) * 2018-12-03 2024-04-16 ソニーグループ株式会社 情報処理装置および情報処理方法
KR20210061638A (ko) * 2019-11-20 2021-05-28 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2021184356A1 (en) * 2020-03-20 2021-09-23 Huawei Technologies Co., Ltd. Methods and systems for hand gesture-based control of a device
CN113031464B (zh) * 2021-03-22 2022-11-22 北京市商汤科技开发有限公司 设备控制方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0919906A2 (en) * 1997-11-27 1999-06-02 Matsushita Electric Industrial Co., Ltd. Control method
US20110181621A1 (en) * 2004-01-30 2011-07-28 Sony Computer Entertainment Inc. Image Processor, Image Processing Method, Recording Medium, Computer Program And Semiconductor Device
CN102749990A (zh) * 2011-04-08 2012-10-24 索尼电脑娱乐公司 通过追踪用户视线和姿态提供反馈的***和方法
US20120295708A1 (en) * 2006-03-06 2012-11-22 Sony Computer Entertainment Inc. Interface with Gaze Detection and Voice Input
US20130120249A1 (en) * 2011-11-15 2013-05-16 Soungmin Im Electronic device

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11327753A (ja) * 1997-11-27 1999-11-30 Matsushita Electric Ind Co Ltd 制御方法及びプログラム記録媒体
CN1293446C (zh) * 2005-06-02 2007-01-03 北京中星微电子有限公司 一种非接触式目控操作***和方法
US8615112B2 (en) * 2007-03-30 2013-12-24 Casio Computer Co., Ltd. Image pickup apparatus equipped with face-recognition function
JP2009064395A (ja) 2007-09-10 2009-03-26 Hiroshima Univ ポインティングデバイス、操作者の注視位置とカーソルの位置との誤差の補正をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2009076982A (ja) * 2007-09-18 2009-04-09 Toshiba Corp 電子機器および顔画像表示方法
WO2009125481A1 (ja) * 2008-04-10 2009-10-15 パイオニア株式会社 画面表示システム及び画面表示プログラム
JP2010004118A (ja) * 2008-06-18 2010-01-07 Olympus Corp デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
AU2010221722A1 (en) * 2009-02-06 2011-08-18 Oculis Labs, Inc. Video-based privacy supporting system
JP5300555B2 (ja) 2009-03-26 2013-09-25 三洋電機株式会社 情報表示装置
JP2010238145A (ja) 2009-03-31 2010-10-21 Casio Computer Co Ltd 情報出力装置、遠隔制御方法、及びプログラム
KR20120045667A (ko) * 2010-10-29 2012-05-09 삼성전자주식회사 움직임 인식을 이용한 사용자 인터페이스 장치 및 방법
AU2012309157B2 (en) * 2011-09-16 2015-12-10 Landmark Graphics Corporation Methods and systems for gesture-based petrotechnical application control
US20130243270A1 (en) * 2012-03-16 2013-09-19 Gila Kamhi System and method for dynamic adaption of media based on implicit user input and behavior
US9823742B2 (en) 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
KR102095765B1 (ko) 2012-10-19 2020-04-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
JP6295534B2 (ja) * 2013-07-29 2018-03-20 オムロン株式会社 プログラマブル表示器、制御方法、およびプログラム
JP2015087824A (ja) * 2013-10-28 2015-05-07 オムロン株式会社 画面操作装置および画面操作方法
CN105824400A (zh) * 2015-01-06 2016-08-03 索尼公司 电子设备的控制方法、控制装置以及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0919906A2 (en) * 1997-11-27 1999-06-02 Matsushita Electric Industrial Co., Ltd. Control method
US20110181621A1 (en) * 2004-01-30 2011-07-28 Sony Computer Entertainment Inc. Image Processor, Image Processing Method, Recording Medium, Computer Program And Semiconductor Device
US20120295708A1 (en) * 2006-03-06 2012-11-22 Sony Computer Entertainment Inc. Interface with Gaze Detection and Voice Input
CN102749990A (zh) * 2011-04-08 2012-10-24 索尼电脑娱乐公司 通过追踪用户视线和姿态提供反馈的***和方法
US20130120249A1 (en) * 2011-11-15 2013-05-16 Soungmin Im Electronic device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108810627A (zh) * 2018-07-05 2018-11-13 京东方科技集团股份有限公司 一种显示装置及其显示方法
US10861423B2 (en) 2018-07-05 2020-12-08 Boe Technology Group Co., Ltd. Display apparatus and display method thereof
CN110708519A (zh) * 2019-11-05 2020-01-17 太原理工大学 面向工业现场环境的交互式监控方法
CN110708519B (zh) * 2019-11-05 2020-12-08 太原理工大学 一种面向工业现场环境的交互式监控方法

Also Published As

Publication number Publication date
US20190041985A1 (en) 2019-02-07
EP3046004A1 (en) 2016-07-20
US10928896B2 (en) 2021-02-23
WO2015037310A1 (ja) 2015-03-19
US20160195926A1 (en) 2016-07-07
JP2015056141A (ja) 2015-03-23
US10120441B2 (en) 2018-11-06
EP3046004A4 (en) 2017-04-19

Similar Documents

Publication Publication Date Title
CN105518579A (zh) 信息处理设备和信息处理方法
EP2708981B1 (en) Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium
US9524427B2 (en) Image processing system, image processing apparatus, image processing method, and program
JP6221535B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2019145108A (ja) 顔に対応する3次元アバターを用いて顔の動きが反映された3dアバターを含むイメージを生成する電子装置
EP3640786B1 (en) Information processing system, information processing method, and program
CN103197825B (zh) 图像处理装置和显示控制方法
CN106303029A (zh) 一种画面的旋转控制方法、装置及移动终端
EP2706434A2 (en) Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium
WO2017070971A1 (zh) 一种面部验证的方法和电子设备
CN104914989B (zh) 姿势辨识装置以及姿势辨识装置的控制方法
US20180196503A1 (en) Information processing device, information processing method, and program
EP3617851B1 (en) Information processing device, information processing method, and recording medium
CN110827195B (zh) 虚拟物品添加方法、装置、电子设备及存储介质
WO2019184679A1 (zh) 游戏实现方法、装置、存储介质及电子设备
CN113325948B (zh) 隔空手势的调节方法及终端
CN108763475A (zh) 一种录制方法、录制装置及终端设备
US11112961B2 (en) Information processing system, information processing method, and program for object transfer between devices
CN109669710B (zh) 便签处理方法及终端
CN112449098B (zh) 一种拍摄方法、装置、终端及存储介质
CN108055461A (zh) 自拍角度的推荐方法、装置、终端设备及存储介质
US20190073808A1 (en) Terminal apparatus, information processing system, and display control method
CN108525307B (zh) 游戏实现方法、装置、存储介质及电子设备
CN109379531A (zh) 一种拍摄方法及移动终端
CN111679737B (zh) 手部分割方法和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160420