CN110313019A - 信息处理设备、信息处理方法和程序 - Google Patents

Abstract

根据本发明的一个方面的信息处理设备设置有：获取单元；以及动作控制单元。获取单元分别获取用户的左眼的动作信息和用户的右眼的动作信息。动作控制单元基于与关于人眼的动作的人类特性对应的预定条件，彼此相关联地控制用户的模型的左眼和右眼的动作，使得用户的模型的左眼和右眼的动作分别相对于所获取的左眼的动作信息和所获取的右眼的动作信息是非线性的。

Description

信息处理设备、信息处理方法和程序

技术领域

本技术涉及能够控制用户的虚拟形象等的信息处理设备、信息处理方法、程序。

背景技术

过去，已知通过使用计算机***等生成作为用户的另一个自己的虚拟角色(虚拟形象)的技术。用户能够通过操作和控制显示在显示器等上的自己的虚拟形象与例如其他的用户进行交流等。

专利文献1描述了使用控制器对虚拟形象的操作。在专利文献1中，检测控制器的活动，例如用户持有的控制器的位置变化和按钮操作。基于检测到的控制器的活动来控制虚拟形象的姿势、动作、表情等。结果，例如，用户能够使用自己的虚拟形象来选择和表达各种情绪(专利文献1的说明书的第[0001]、[0008]和[0033]段)。

此外，专利文献2描述了用于检测用户的视线并控制图像的显示的技术。在专利文献2中，使用了对用户的眼球进行成像的相机的HMD(头戴式显示器)。该相机对用户的眼球进行成像，并获取用户的视线方向。基于视线方向，计算用户在HMD上注视的注视点。以注视点为中心显示具有高图像质量的部分图像，并且在部分图像周围显示具有低图像质量的图像。因此，参考用户可以高精度地识别的区域来控制图像的显示(专利文献2的说明书的第[0051]、[0052]、[0060]和[0066]段以及图1和图3等)。

引用列表

专利文献

专利文献1：日本专利申请公开No.014-149836

专利文献2：日本专利申请公开No.2016-191845

发明内容

技术问题

似乎从现在开始会普及用于使用虚拟形象来进行交流的***，并且期望能够激活交流的技术。

鉴于如上所述的情况，本技术的目的是提供能够通过虚拟形象激活交流的信息处理设备、信息处理方法和程序。

问题的解决方案

为了实现上述目的，根据本技术的实施方式的信息处理设备包括：获取单元；以及动作控制单元。

获取单元获取用户的左眼的动作信息和用户的右眼的动作信息。

动作控制单元基于与有关人眼的动作的人类特性对应的预定条件，彼此相关联地控制用户的模型的左眼的动作和用户的模型的右眼的动作，使得用户的模型的左眼的动作和用户的模型的右眼的动作相对于所获取的左眼的动作信息和所获取的右眼的动作信息是非线性的。

在该信息处理设备中，获取用户的左眼的动作信息和用户的右眼的动作信息。然后，基于与有关人眼的动作的人类特性对应的预定条件，将用户的模型的左眼动作和用户的模型的右眼动作控制为相对于左眼的动作信息和右眼的动作信息是非线性的。此外，彼此相关联地控制模型的左眼的动作和模型的右眼的动作。结果，可以使模型的双眼以类似人的方式操作，并且激活虚拟形象的交流。

根据本技术的实施方式的信息处理方法是由计算机***执行的信息处理方法，包括：获取用户的左眼的动作信息和用户的右眼的动作信息。

基于与有关人眼的动作的人类特性对应的预定条件，彼此相关联地控制用户的模型的左眼的动作和用户的模型的右眼的动作，使得用户的模型的左眼的动作和用户的模型的右眼的动作相对于所获取的左眼的动作信息和所获取的右眼的动作信息是非线性的。

根据本技术的实施方式的程序使计算机***执行下述步骤：

获取用户的左眼的动作信息和用户的右眼的动作信息；以及

基于与有关人眼的动作的人类特性对应的预定条件，彼此相关联地控制用户的模型的左眼的动作和用户的模型的右眼的动作，使得用户的模型的左眼的动作和用户的模型的右眼的动作相对于所获取的左眼的动作信息和所获取的右眼的动作信息是非线性的。

本发明的有益效果

如上所述，根据本技术，可以通过虚拟形象激活交流。应当注意，这里描述的效果不一定是限制性的，并且可以是本公开内容中描述的任何效果。

附图说明

[图1]图1是示意性地示出根据本技术的实施方式的头戴式显示器(HMD)的外观的透视图。

[图2]图2是示出左眼相机和右眼相机的布置的示例的示意图。

[图3]图3是示出图1中所示的HMD的功能配置示例的框图。

[图4]图4是示出HMD的基本操作示例的流程图。

[图5]图5是示出由动作控制单元计算控制值的处理的示例的流程图。

[图6]图6是描述模型的眼睛的睁开/闭合动作的控制示例的时间图。

[图7]图7是描述模型的眼睛的睁开/闭合动作的另一控制示例的时间图。

[图8]图8是描述与眼球的动作相关的人类特性的示意图。

[图9]图9是示出基于与眼球的动作相关的人类特性来处理视线方向的示例的示意图。

[图10]图10是描述控制模型的视线方向的示例的示意图。

[图11]图11是描述用户的模型的眼球的动作的示意图。

[图12]图12是示出模型的视线的可移动范围的示例的示意图。

[图13]图13是示出根据另一实施方式的HMD的示意图。

具体实施方式

在下文中，将参照附图描述根据本技术的实施方式。

[信息处理设备的配置]

图1是示意性地示出根据本技术的实施方式的头戴式显示器(HMD)的外观的透视图。HMD 100是包括透射显示器的眼镜型设备，并且附接到用户的头部来使用。HMD 100操作为根据本技术的信息处理设备的实施方式。

HMD 100包括镜架10、镜片20、显示单元30和成像单元40。镜架10具有眼镜形状，并且包括鼻梁(rim)11和镜腿(temple)12。鼻梁11是设置在用户的左眼和右眼的前方的部分，并且支承左镜片20L和右镜片20R。镜腿12是从鼻梁11的两端向后朝用户的两耳延伸并且附接到耳朵的部分。

左镜片20L和右镜片20R分别被设置在用户的左眼和右眼的前方。通常，镜片20被设计成校正用户的视力。本技术不限于此，并且可以使用所谓的非处方镜片。

显示单元30包括左眼显示器30L和右眼显示器30R。左眼显示器30L和右眼显示器30R被设置在用户的左眼和右眼的前方，以覆盖用户的视场的至少一部分。在该实施方式中，作为显示单元30，使用设置在左镜片20L和右镜片20R上的左眼显示器30L和右眼显示器30R。布置显示器30L和30R的方法等不受限制。例如，鼻梁11可以支承显示器30L和30R。

左眼显示器30L和右眼显示器30R均为透射显示器。在左眼显示器30L和右眼显示器30R上，分别显示用于用户的左眼和右眼的图像等。佩戴HMD 100的用户能够观看真实风景并且观看在每一个显示器上显示的图像。结果，用户能够体验增强现实(AR)等。

注意，可以在左眼显示器30L和右眼显示器30R的外部(与用户的眼睛相反的一侧)设置光控制装置(省略图示)等。光控制装置是能够控制透过装置的光的量的装置。通过设置光控制装置，例如，可以控制用户通过每一个显示器观看的真实场景，强调每一个显示器上显示的图像，并且使用户观看图像。结果，用户能够体验虚拟现实(VR)等。

左眼显示器30L和右眼显示器30R以及光控制装置中的每一个的具体配置不受限制。作为左眼显示器30L和右眼显示器30R中的每一个，例如，使用透射式有机EL显示器、LCD(液晶显示器)显示器等。此外，作为光控制装置，例如，使用能够电控制透射率的光控制玻璃、光控制片、液晶快门等。

成像单元40包括左眼相机40L和右眼相机40R。左眼相机40L和右眼相机40R被设置在鼻梁11的内部(面向用户的眼睛的一侧)，以便能够分别对用户的左眼和右眼成像。注意，在图1中，示意性地示出了设置相机的位置。左眼相机40L和右眼相机40R的位置等不受限制，并且左眼相机40L和右眼相机40R可以被设置在能够分别对用户的左眼和右眼进行成像的任意位置处。

左眼相机40L和右眼相机40R分别对用户的左眼和右眼进行成像，并且生成左眼和右眼的成像信息。作为左眼相机40L和右眼相机40R中的每一个，例如，使用包括诸如CMOS(互补金属氧化物半导体)传感器和CCD(电荷耦合器件)传感器的图像传感器的数字相机。此外，例如，可以使用包括诸如红外LED的红外照明的红外相机。

图2是示出左眼相机40L和右眼相机40R的布置的示例的示意图。在图2中，示意性地示出了佩戴HMD 100的用户1。如图2所示，用户1观看在左眼显示器30L和右眼显示器30R中的每一个上显示的图像。在用户1正在观看图像的同时，左眼相机40L和右眼相机40R分别对用户的左眼和右眼进行成像。

左眼相机40L(右眼相机40R)的成像范围是可以对包括用户的左眼(右眼)的眼球以及眼球的周边(眼睛的内眼角、眼睛的外眼角、睫毛、眼睑等)的左眼(右眼)的整个图像进行成像的范围。

例如，每一个相机以预定的帧速率生成用户的左眼和右眼的彩色图像、单色图像等作为左眼和右眼的成像信息。此外，在使用红外相机等的情况下，生成其中红外照射点(红外LED等)在角膜上反射的浦肯野(Purkinje)图像等作为左眼和右眼的成像信息。另外，成像信息的格式等不受限制。

图3是示出图1中所示的HMD 100的功能配置示例的框图。HMD 100还包括通信单元50、存储单元60和控制器70。设置通信单元50、存储单元60和控制器70的位置等不受限制。例如，通信单元50、存储单元60和控制器70被设置在HMD 100的镜架10内部的预定位置处。

通信单元50是用于经由诸如LAN(局域网)和WAN(广域网)的网络与其他装置通信的通信模块。可以提供用于诸如Bluetooth(注册商标)的短程无线通信的通信模块。此外，可以使用诸如调制解调器和路由器的通信装置。

通信单元50将从其他装置接收的数据输入到控制器70。此外，通信单元50将从控制器70输出的数据发送到其他装置。因此，佩戴HMD 100的用户能够通过向其他用户发送图像数据/从其他用户接收图像数据等来与例如使用其他装置的其他用户交流。

存储单元60是非易失性存储装置，并且是例如HDD(硬盘驱动器)、SSD(固态驱动器)、闪存或其他固态存储器。

在存储单元60中，存储与和人眼的动作相关的人类特性对应的预定条件。与人眼的动作相关的人类特性包括例如与人眼相关的各种特性，例如人眨眼时眼睑的睁开/闭合时间(眨眼速度)以及人的眼球的可移动范围。预定条件是例如基于诸如人的眼睑的睁开/闭合时间以及眼球的可移动范围的特性设置的条件，并且将在后面详细描述。

此外，在存储单元60中，存储用于控制HMD 100的整个动作的控制程序。在HMD 100中安装控制程序和预定条件的方法不受限制。例如，控制程序和预定条件可以经由各种记录介质、因特网等通过任意方法安装。

控制器70包括配置计算机所需的硬件，例如CPU(中央处理单元)、ROM(只读存储器)和RAM(随机存取存储器)。CPU将存储在存储单元60中的控制程序加载到RAM中并执行该控制程序，从而执行各种类型的处理。

控制器70的具体配置不受限制。例如，可以使用诸如FPGA(现场可编程门阵列)、图像处理IC(集成电路)和另一ASIC(专用集成电路)的装置。

在该实施方式中，控制器70的CPU执行根据本实施方式的程序，从而实现功能块，即动作信息计算单元71、动作控制单元72和模型生成单元73。然后，这些功能块执行根据本技术的信息处理方法。注意，可以适当地使用专用硬件来实现各个功能块。

向动作信息计算单元71输入由成像单元40(左眼相机40L和右眼相机40R)生成的用户的左眼和右眼的成像信息。动作信息计算单元71基于输入的左眼和右眼的成像信息来计算用户的左眼和右眼中的每一个的动作信息。在该实施方式中，动作信息计算单元71对应于获取用户的左眼的动作信息和用户的右眼的动作信息的获取单元。

在该实施方式中，分别计算左眼的视线方向和右眼的视线方向作为用户的左眼和右眼的动作信息。例如，在输入用户的左眼的彩色图像的情况下，参考用户的左眼的内眼角的位置来计算用户的眼球的眼黑(black eye)(瞳孔和虹膜)的位置。然后，计算眼黑面对的方向作为左眼的视线方向。此外，例如，在生成左眼浦肯野图像的情况下，参考红外照射点来计算眼黑的位置，并且计算左眼的视线方向。关于右眼，类似地，基于用户的右眼的成像信息来计算右眼的视线方向。另外，可以使用能够检测视线方向的任意方法。

此外，在该实施方式中，计算左眼的睁开/闭合状态和左眼的闭眼时间段作为左眼的动作信息，并且计算右眼的睁开/闭合状态和右眼的闭眼时间段作为右眼的动作信息。例如，基于通过对用户的左眼成像而获得的彩色图像等来确定用户的左眼是否闭合，以计算左眼的睁开/闭合状态。也就是说，在用户的左眼闭合的情况下，左眼处于闭合状态。在左眼未闭合的情况下，左眼处于睁开状态。注意，确定睁开/闭合状态的方法等不受限制。例如，可以适当地设置用于确定睁开状态和闭合状态的阈值等。

此外，例如，计算从用户的左眼闭合的时间(进入闭合状态的时间)到左眼睁开的时间(进入睁开状态的时间)的时间段作为左眼的闭眼时间段。关于右眼，类似地，基于用户右眼的成像信息来计算右眼的睁开/闭合状态和右眼的闭眼时间段。除了上述方法之外，例如，在不能检测到用户的视线方向的情况下可以确定用户的眼睛是闭合的。

动作控制单元72计算用于控制用户的模型的左眼的动作和用户的模型的右眼的动作的控制值。用户的模型例如是作为显示在虚拟空间等上的用户的另一个自己(镜像或代理)的CG(计算机图形)虚拟形象、CG代理等。用户的模型由下面描述的模型生成单元73生成。

向动作控制单元72输入存储在存储单元60中的与和人眼的动作相关的人类特性对应的预定条件、以及由动作信息计算单元71计算的左眼和右眼中的每一个的动作信息。动作控制单元72基于预定条件来处理左眼和右眼的动作信息，并且计算用于控制模型的左眼和右眼的动作的控制值。控制值是例如用于确定模型的左眼和右眼的睁开/闭合的定时的值、视线方向等。因此，动作控制单元72能够通过计算控制值来控制模型的左眼和右眼的动作。

模型生成单元73基于由动作控制单元72计算的控制值来生成用户的模型。例如，生成用户的模型，使得左眼和右眼在控制值指定的定时处睁开/闭合。生成的模型的数据经由通信单元50被发送到由其他用户使用的其他装置。然后，用户的模型被显示在诸如由其他用户使用的显示器之类的显示装置上。

此外，从其他装置经由通信单元50向模型生成单元73输入其他用户的模型的数据等。模型生成单元73基于输入的数据来生成其他用户的模型。其他用户的模型被转换成左眼图像和右眼图像，并且被显示在HMD100的左眼显示器30L和右眼显示器30R上。

因此，用户能够查看在HMD 100的显示单元上显示的其他用户的模型，并且其他的用户能够查看在自己使用的显示装置上显示的用户的模型。结果，用户能够通过彼此的模型与其他的用户进行交流。

注意，本技术不限于通过将自己的模型彼此发送来进行交流的情况。例如，用户的模型和其他用户的模型可以被一起显示在虚拟空间上。在这种情况下，模型生成单元73在同一虚拟空间上生成用户和其他用户的模型。然后，在显示单元30上显示从预定视点观看的两个模型的外观。此外，例如，用户可以发送自己的模型(虚拟形象)，并且其他的用户可以发送自己的视频。另外，本技术适用于通过用户的模型的各种形式的交流。

[控制模型的方法]

图4是示出HMD 100的基本操作示例的流程图。动作信息计算单元71基于用户的左眼和右眼的成像信息来计算用户的左眼的动作信息和用户的右眼的动作信息(步骤101)。

动作控制单元72基于预定条件来处理用户的左眼和右眼的动作信息，并且计算用于控制模型的左眼和右眼的动作的控制值(步骤102)。模型生成单元73基于由动作控制单元72计算的控制值来生成控制左眼和右眼的动作的模型(步骤103)。

由模型生成单元73生成的模型的数据被输出到通信单元50或显示单元30(步骤104)，并且用户的模型被显示在由其他用户使用的显示装置或者用户佩戴的HMD 100(左眼显示器30L和右眼显示器30R)上。

注意，生成或控制用户的模型的方法不限于图4所示的流程图中描述的方法。例如，可以经由通信单元50将由动作控制单元72计算的模型的控制值发送到其他用户(其他装置)。在这种情况下，可以执行诸如由其他装置基于控制值来生成用户的模型的处理。结果，可以减少通信负荷等。另外，可以使用能够生成用户的模型的任意方法。

在下文中，将通过采用具体示例来描述计算用于控制模型的左眼和右眼的控制值的处理。

图5是示出由动作控制单元72计算控制值的处理的示例的流程图。在图5所示的示例中，计算用于控制模型的左眼和右眼的睁开/闭合动作的控制值。在图5中，使用左眼的闭眼时间段Tlec和右眼的闭眼时间段Trec。如上所述，左眼的闭眼时间段Tlec和右眼的闭眼时间段Trec分别表示在左眼和右眼闭合的状态(闭合状态)下的测量时间段，并且由动作信息计算单元71计算。

此外，在图5中，使用噪声确定时间段Tth1和闭眼确定时间段Tth2。噪声确定时间段Tth1和闭眼确定时间段Tth2均表示基于与人眼的动作相关的人类特性来设置的阈值。

通常，人的眨眼速度(人眼眨眼所需的时间)平均为100ms至150ms。也就是说，在人眨眼的情况下，眼睑闭合的状态(闭眼状态)仅持续约100ms至150ms的时间段。在该实施方式中，参考与眼睑的动作相关的人类特性来设置噪声确定时间段Tth1和闭眼确定时间段Tth2。

噪声确定时间段Tth1表示用于确定右眼和左眼(眼睑)的闭合状态是否是测量噪声的阈值。作为噪声确定时间段Tth1，例如，设置作为人的眨眼速度的下限值的低于100ms的值(例如，90ms)。

例如，在左眼(右眼)的闭眼时间段Tlec(Trec)短于噪声确定时间段Tth1的情况下，由于几乎不发生比人的眨眼速度快的睁开/闭合动作，因此确定为测量噪声。同时，在左眼(右眼)的闭眼时间段Tlec(Trec)长于噪声确定时间段Tth1的情况下，由于有可能左眼(右眼)正在执行眨眼动作或闭眼动作，因此确定为不是测量噪声。在该实施方式中，噪声确定时间段Tth1对应于用于确定存在还是不存在眼睑的闭合动作的第一时间段。

闭眼确定时间段Tth2表示用于确定右眼和左眼(眼睑)的闭合状态是眨眼动作还是闭眼动作的阈值。作为闭眼确定时间段Tth2，例如，设置人的眨眼速度的上限值(150ms)。

例如，左眼(右眼)的闭眼时间段Tlec(Trec)长于噪声确定时间段Tth1并且短于闭眼确定时间段Tth2，确定左眼(右眼)正在进行眨眼动作。同时，在左眼(右眼)的闭眼时间段Tlec(Trec)长于闭眼确定时间段Tth2的情况下，确定左眼(右眼)正在进行闭眼动作。在该实施方式中，闭眼确定时间段Tth2对应于用于确定眼睑的闭合动作是无意识的眨眼动作还是有意识的闭眼动作的第二时间段，其中第二时间段长于第一时间段。

如上所述，基于噪声确定时间段Tth1和闭眼确定时间段Tth2，确定用户的左眼和右眼是否执行了无意识的眨眼动作。在该实施方式中，用于确定眨眼动作的条件(Tth1<X<Tth2：X表示Tlec或Trec)对应于用于确定眼睑的睁开/闭合动作是无意识的眨眼动作还是有意识的闭眼动作的确定条件。

注意，设置噪声确定时间段Tth1和闭眼确定时间段Tth2的方法等不受限制。例如，可以根据控制器70的处理速度、使用HMD 100的用户的特性等适当地设置噪声确定时间段Tth1和闭眼确定时间段Tth2。

将沿着图5中所示的流程图描述计算控制值的处理。佩戴HMD 100的用户激活HMD100，并且用户的左眼的闭眼时间段Tlec和右眼的闭眼时间段Trec被初始化为零(步骤201)。在该实施方式中，当用户在使用HMD 100时，下面描述的步骤被连续循环。

在用户的模型中，确定是否正在执行左眼或右眼的睁开/闭合动画(步骤202)。在正在执行睁开/闭合动画的情况下(步骤202中为是)，再次执行步骤202。在没有执行睁开/闭合动画的情况下(在步骤202中为否)，执行与模型的左眼的睁开/闭合动作相关的处理(步骤203至步骤211)。

基于由动作信息计算单元71计算的左眼的睁开/闭合状态，确定是否已检测到左眼的闭合状态(步骤203)。在已检测到左眼闭合状态(即确定左眼是闭合的)的情况下(在步骤203中为是)，将预定间隔(时间间隔)添加到左眼的闭眼时间段Tlec(步骤204)。因此，左眼的闭眼时间段Tlec被重写为增大了与该间隔对应的量的值。间隔的值不受限制。例如，可以适当地设置与循环处理的周期等对应的值。

确定重写的左眼的闭眼时间段Tlec是否不小于闭眼确定时间段Tth2(步骤205)。在左眼的闭眼时间段Tlec不小于闭眼确定时间段Tth2的情况下(在步骤205中为是)，生成包括闭合模型的左眼的指令的控制值，并且执行闭合模型的左眼的动作(步骤206)。注意，在模型的左眼已经闭合的情况下，生成包括将模型的左眼保持在闭合状态的指令的控制值。

在左眼的闭眼时间段Tlec小于闭眼确定时间段Tth2的情况下(在步骤205中为否)，确定左眼是闭合的但是并没有执行有意识的闭合动作。也就是说，确定左眼的闭合状态是测量噪声或是眨眼动作。在这种情况下，不执行与左眼相关的处理。

返回步骤203，在未检测到左眼闭合状态(即确定左眼是睁开的)的情况下(在步骤203中为否)，确定前一循环结束时左眼的闭眼时间段Tlec(步骤207)。在步骤207中，确定左眼的闭眼时间段Tlec是否长于噪声确定时间段Tth2并且短于闭眼确定时间段Tth2。即，确定左眼的闭眼时间段Tlec是否满足眨眼动作的确定条件(Tth1<Tlec<Tth2)。

在确定左眼的闭眼时间段Tlec满足眨眼动作的确定条件的情况下(在步骤207中为是)，确定左眼的眨眼动作(步骤208)。具体地，例如，重写与存在或不存在左眼的眨眼动作相关联的变量。注意，在步骤208中，不生成用于指示模型的左眼执行眨眼动作的控制值等。在确定左眼的眨眼动作之后，将左眼的闭眼时间段Tlec重写为零(步骤209)。

返回步骤207，在确定左眼的闭眼时间段Tlec不满足眨眼动作的确定条件的情况下(在步骤207中为否)，确定是否要执行睁开用户的模型的左眼的动作(步骤210)。

在步骤210中，确定左眼的闭眼时间段Tlec是否为零(Tlec＝＝0)。在左眼的闭眼时间段Tlec为零的情况下，确定在前一循环结束时左眼已睁开。也就是说，确定左眼的睁开状态在持续(被保持)。此外，在步骤210中，确定左眼的闭眼时间段Tlec是否不小于闭眼确定时间段Tth2(Tlec≥Tth2)。在左眼的闭眼时间段Tlec不小于闭眼确定时间段Tth2的情况下，确定有意识地闭合了的左眼已睁开。

在步骤210中，确定是否满足这两个条件(Tlec＝＝0与Tlec≥Tth2)的逻辑和(OR)。也就是说，确定左眼的睁开状态是否已持续或者闭合的左眼已睁开。请注意，在图5中，“||”用作表示OR的逻辑符号。

在满足步骤210的逻辑和的情况下(在步骤210中为是)，生成包括睁开模型的左眼的指令的控制值，并且执行睁开模型的左眼的动作(步骤211)。在模型的左眼已睁开的情况下(在Tlec＝＝0的情况下)，生成包括将模型的左眼保持在睁开状态的指令的控制值。在步骤211之后，将左眼的闭眼时间段Tlec重写为零(步骤209)。

注意，在执行睁开模型的左眼的指令的情况下，可以执行确定是否由于噪声而导致指示左眼为睁开的测量结果(在步骤203中为否)的处理。例如，可以执行以下处理，在该处理中，测量左眼的睁开状态的时间段(睁眼时间段)，关于在左眼的睁眼时间段短于预定阈值的情况下，测量结果为测量噪声，并且保持模型的左眼闭合。另外，在执行睁开模型的左眼的动作的情况下，可以执行任意的降噪处理。

在不满足步骤210的逻辑和的情况下(在步骤210中为否)，左眼的闭眼时间段Tlec满足0<Tlec≤Tth1的关系，并且被确定为测量噪声。在这种情况下，不执行关于模型的左眼的处理，并且将左眼的闭眼时间段Tlec重写为零(步骤209)。

如图5所示，在执行步骤205、步骤206和步骤209中的“否”的确定中的任何一个的情况下，执行关于模型的右眼的睁开/闭合动作的处理(步骤212至步骤220)。在图5中，与上述关于左眼的处理类似地执行关于右眼的处理。注意，执行关于左眼的处理和关于右眼的处理的顺序等不受限制，并且可以在执行关于右眼的处理之后执行关于左眼的处理。

在关于模型的右眼的睁开/闭合动作的处理之后，确定是否使模型眨眼(步骤221)。在该实施方式中，基于将左眼状态和右眼状态进行组合的条件来确定存在或不存在模型的眨眼动作。在图5中，表示逻辑乘积(AND)的逻辑符号“&&”用于描述是否使模型眨眼的条件。

在步骤221中，确定是否已确定左眼的眨眼并且右眼处于睁开状态(第一条件)。此外，确定是否已确定右眼的眨眼并且左眼处于睁开状态(第二条件)。此外，确定是否已确定左眼的眨眼并且已确定右眼的眨眼(第三条件)。也就是说，确定是否已确定双眼的眨眼。

在步骤221中，在满足第一条件至第三条件中的任何一个的情况下(在步骤221中为是)，确定已满足使模型眨眼的条件。在这种情况下，生成包括使模型的左眼和右眼二者都眨眼的指令的控制值，并且执行模型的双眼的眨眼(步骤222)。

因此，在该实施方式中，不仅在已确定双眼的眨眼的情况下(第三条件)，而且在已确定左眼和右眼中的任何一个的眨眼的情况下(第一条件和第二条件)，模型的左眼的眨眼动作和模型的右眼的眨眼动作彼此相关联地执行。也就是说，在该实施方式中，在左眼的闭眼时间段Tlec和右眼的闭眼时间段Trec中的任何一个长于噪声确定时间段Tth1并且短于闭眼确定时间段Tth2的情况下，可以执行模型的左眼和右眼二者的眨眼动作。

注意，在第一条件和第二条件中，提供了其中未确定眨眼的眼睛处于睁开状态的条件。结果，例如，可以防止在用户闭上一只眼睛眨眼的情况下(在一只眼睛处于闭合状态的情况下)，即使测量到另一只眼睛已眨眼，用户的模型仍执行双眼的眨眼。

步骤221中确定的条件不限于第一第三至第三条件。例如，可以提供已确定左眼(右眼)的眨眼并且右眼(左眼)的闭眼时间段Trec(Tlec)短于闭眼确定时间段Tth2的第四条件(第五条件)。结果，例如，即使在尚未确定用户的一只眼睛是否有意识地闭合的情况下，也可以在测量到另一只眼睛的眨眼动作的情况下彼此相关联地执行模型的双眼的眨眼动作。另外，可以适当地设置使模型的双眼眨眼的任意条件。

在步骤221中确定为“否”的情况下，不执行模型的眨眼动作，并且确定是否执行闭合模型的眼睛的动作。在步骤223中，确定执行闭合模型左眼的动作(参见步骤206)，并且确定右眼是否处于闭合状态(第六条件)。此外，已确定执行闭合模型的右眼的动作(参见步骤215)，并且确定左眼是否处于闭合状态(第七条件)。

在步骤223中，在满足第六条件和第七条件中的任何一个的情况下(在步骤223中为是)，生成包括使模型的左眼和右眼二者都执行闭合动作的指令的控制值，并且执行闭合模型的双眼的动作(步骤224)。

因此，在该实施方式中，在已确定闭合一只眼睛的动作并且另一只眼睛处于闭合状态(第六条件和第七条件)的情况下，彼此相关联地执行闭合模型的左眼的动作以及闭合模型的右眼的动作。也就是说，在该实施方式中，在用户的左眼和右眼中的任何一只眼睛的闭眼时间段长于闭眼确定时间段Tth2的定时、另一只眼睛处于闭合状态的情况下，可以使模型的左眼和右眼执行闭合动作。

在确定既不满足第六条件也不满足第七条件的情况下，不执行关于模型的左眼和右眼的处理。如图5所示，在执行步骤222、步骤224和步骤223中的“否”的任何一个的情况下，执行步骤202并开始下一个循环处理。

在图5所示的流程图中，在对应的步骤中执行闭合模型的左眼和右眼的动作(步骤206和215)、以及睁开模型的左眼和右眼的动作(步骤211和220)。本技术不限于此，并且可以在流程图的结尾处(在下一个循环处理开始之前)集中执行用于睁开/闭合模型的左眼和右眼的控制等。

图6是描述模型的眼睛的睁开/闭合动作的控制示例的时间图。在图6中，示意性地示出了每次用户的左眼(EyeL)的睁开/闭合状态和用户的右眼(EyeR)的睁开/闭合状态。注意，每一个睁开/闭合状态以两种状态显示，即睁开状态(100％)和闭合状态(0％)。

在图6所示的示例中，从时间T1到时间T1'测量(检测)到左眼的闭合状态。在这种情况下，左眼的闭眼时间段Tlec不大于噪声确定时间段Tth1。因此，从时间T1到时间T1'的左眼的闭合状态被确定为当左眼进入睁开状态的时间(时间T1')处的测量噪声(在图5中的步骤210中为否)。

此外，关于右眼，测量到从时间T2到时间T2'右眼的闭合状态。在这种情况下，右眼的闭眼时间段Trec不大于噪声确定时间段Tth1。因此，从时间T2到时间T2'的右眼闭合状态被确定为当右眼进入睁开状态的时间(时间T2')处的测量噪声(在图5中的步骤219中为否)。

对于被确定为测量噪声的左眼(右眼)的闭合状态，左眼(右眼)的闭眼时间段Tlec(Trec)被重写为零作为噪声去除处理，并且不执行模型的控制等。因此，在该实施方式中，在左眼的闭眼时间段Tlec短于噪声确定时间段Tth1的情况下保持模型的左眼的状态，并且在右眼的闭眼时间段Trec短于噪声确定时间段Tth1的情况下保持模型的右眼的状态。

从时间T3到时间T3'测量到左眼的闭合状态。在这种情况下，左眼的闭眼时间段Tlec大于噪声确定时间段Tth1，并且短于闭眼确定时间段Tth2。因此，从时间T3到时间T3'的左眼闭合状态被确定为在左眼进入睁开状态的时间(时间T3')处的眨眼动作，并且确定左眼的眨眼动作(图5中的步骤208)。

此外，在时间T3'处，右眼处于睁开状态。也就是说，在时间T3'，满足已确定左眼的眨眼并且右眼处于睁开状态的条件(第一条件)，并且执行模型的双眼的眨眼动作(图5中的步骤222)。注意，在图6中，示意性地示出了执行模型的双眼的眨眼动作的时间段。

如上所述，在该实施方式中，即使在检测到用户的右眼睁开(处于睁开状态)的情况下，仍执行使得模型的右眼执行眨眼动作的非线性控制。不言而喻，在确定了右眼的眨眼并且左眼处于睁开状态(第二条件)的情况下，执行使模型的左眼眨眼的非线性控制。结果，可以彼此相关联地控制模型的左眼的眨眼动作和模型的右眼的眨眼动作。

在图6中，从时间T4起测量到左眼的闭合状态。在左眼进入闭合状态之后经过了闭眼确定时间段Tth2的时间(时间T4')处，执行闭合模型的左眼的动作(图5中的步骤206)。同时，关于右眼，从时间T4与时间T4'之间的时间T5起测量到右眼的闭合状态。然后，在时间T4'处，左眼保持在闭合状态下。

因此，在时间T4'处，满足已确定执行闭合模型的左眼的动作并且右眼处于闭合状态的条件(第六条件)。在这种情况下，执行闭合模型的双眼的动作(图5中的步骤224)。结果，可以彼此相关联地控制闭合模型的左眼的动作和闭合模型的右眼的动作。在图6中，示意性地示出了模型的双眼闭合的时间段。

注意，在执行控制以在相同定时处闭合模型的双眼的情况下，可以设置条件等。例如，可以设置关于从一只眼睛进入闭合状态时到另一只眼睛进入闭合状态时的时间差ΔT的条件等。例如，在时间差ΔT小于预定阈值的情况下，可以关于双眼在基本上相同的时刻闭合来执行闭合模型的双眼的处理。此外，在时间差ΔT大于阈值的情况下，可以执行仅闭合首先进入闭合状态的眼睛的处理。结果，可以消除此后测量的眼睛的闭合状态是由测量噪声引起的可能性。

不一定需要执行控制以在相同的定时处闭合模型的双眼。也就是说，不一定需要执行图5中所示的步骤223和224。在这种情况下，例如，在图6所示的示例中，执行在时间T4'闭合模型的左眼并且在从时间T4'起经过了ΔT之后闭合模型的右眼的处理。另外，可以适当地使用闭合模型的眼睛的任意方法、条件等。

图7是描述模型的眼睛的睁开/闭合动作的另一控制示例的时间图。从时间T6到时间T6'测量到左眼的闭合状态。从时间T6到时间T6'的左眼闭合状态被确定为左眼的眨眼动作，并且确定左眼的眨眼动作(图5中的步骤208)。此外，关于右眼，从时间T6与时间T6'之间的时间T7起测量到右眼的闭合状态，并且闭合状态持续到时间T6'之后的时间T7'。因此，在时间T6'处，右眼处于闭合状态。

也就是说，在时间T6'处，满足已确定左眼的眨眼并且右眼的闭眼时间段Trec短于闭眼确定时间段Tth2的条件(第四条件)，并且执行模型双眼的眨眼动作(图5中的步骤222)。

如上所述，即使在未确定一只眼睛(图7中的右眼)的眨眼动作的情况下，也可以使模型的双眼在与另一只眼睛(图7中的左眼)的眨眼动作相关联的相同时刻处眨眼。因此，例如，可以防止眨眼定时在模型的右眼与左眼之间偏移。

在图7中，从时间T8起测量到左眼的闭合状态。在左眼进入闭合状态之后经过了闭眼确定时间段Tth2的时间(时间T8')处，执行闭合模型的左眼的动作(图5中的步骤206)。注意，此时右眼处于睁开状态，并且不执行闭合模型的双眼的控制等。因此，从时间T8'起，模型执行动作以闭合左眼。

在模型的左眼闭合之后，在时间T9处测量到左眼的睁开状态。由于在时间T9处左眼的闭眼时间段Tlec不小于闭眼确定时间段Tth2，因此确定已经有意识地闭合的左眼已睁开(在图5中的步骤210中为是)。然后，执行睁开模型左眼的动作(图5中的步骤211)。结果，例如，用户的模型能够执行动作以闭合左眼以眨眼。

如上所述，在根据该实施方式的HMD 100中，获取用户的左眼的动作信息和用户的右眼的动作信息。然后，基于与和人眼的动作相关的人类特性对应的预定条件，将用户的模型的左眼动作和用户的模型的右眼动作控制为相对于所获取的左眼动作信息和所获取的右眼动作信息是非线性的。此外，彼此相关联地控制模型的左眼的动作和模型的右眼的动作。结果，可以使模型的双眼以类似人的方式操作，并且可以通过虚拟形象激活交流。

作为控制用户的模型(虚拟形象)的眼睛的动作的方法，可以构想使用来自感测装置等的检测值的方法，该感测装置检测用户的眼睛的动作以控制虚拟形象的眼睛的动作。例如，如果来自检测到用户的眼睛的闭合状态的感测装置的闭眼检测值等被反映在虚拟形象控制中而没有改变，则存在由于检测噪声而执行错误动作、非预期的眨眼等的可能性。结果，虚拟形象执行眼睛的非预期的动作，这可能中断交流。

在根据该实施方式的HMD 100中，使用基于人的眨眼速度来设置的噪声确定时间段Tth1和闭眼确定时间段Tth2。动作控制单元72基于噪声确定时间段Tth1和闭眼确定时间段Tth2，根据用户的左眼(右眼)的睁开/闭合状态和闭眼时间段确定用户的左眼(右眼)的眼睑的睁开/闭合动作。

结果，例如，可以确定用户的眼睑的睁开/闭合动作是无意识的眨眼动作还是有意识的闭眼动作。结果，可以高精度地控制模型的左眼和模型的右眼。此外，可以执行去除(忽略)检测噪声、不符合人类特性的动作等的处理。结果，防止了由于检测噪声引起的错误动作、非预期的眨眼等，并且可以实现自然交流。

此外，在该实施方式中，动作控制单元72彼此相关联地控制用户的模型的左眼的动作和用户的模型的右眼的动作。也就是说，动作控制单元72以使得右眼和左眼以类似的定时执行眨眼动作、闭合对应眼睛的动作等的方式控制模型的双眼。

例如，假设确定用户的仅一个眼睑执行眨眼动作。在这种情况下，假设仅一只眼睛的眨眼是通常不发生的动作，则控制用户的模型执行双眼的眨眼动作。此外，在闭合左眼的动作与闭合右眼的动作之间存在时间差的情况下，控制用户的模型执行闭合双眼的动作。

结果，例如，消除了仅模型的一只眼睛执行眨眼动作的这种不自然的动作。此外，可以减少在右眼与左眼之间闭合模型的眼睛的定时不同的不适。因此，可以使用户的虚拟形象充分地表现得像人类，并且例如，可以充分地防止交流中的人被给予不必要的不适或不愉快的感觉。结果，由于模型的表情的真实性，很容易获得乐趣或共鸣，并且充分激活交流。

此外，通过基于与人的眼睑的动作相关的人类特性来设置各种条件，可以使虚拟形象执行各种类型的表情。例如，在虚拟形象的一只眼睛闭合的定时处，不执行双眼的眨眼动作，并且可以以类似人的方式表达眨眼动作等(在不满足第一条件和第二条件的情况下)。如上所述，虚拟形象能够自然地表达各种类型的眼睛动作，并且可以充分地激活交流。

图8是描述与眼球的动作相关的人类特性的示意图。图8的部分A是从侧表面观察的人眼球80的示意图。图8的部分B是从上方观察的人眼球80的示意图。在图8中，示意性地示出了当人正在看前方时眼球80的视线方向(基准视线方向81)。

通常，人的视线的工作范围(眼球的可移动范围)被认为是以视线指向前方的状态为基准，在纵向方向、横向方向和倾斜方向上的±30度内。例如，如图8的部分A所示，人眼球可以在从基准视线方向81向上30度和向下30度的范围内移动。此外，如图8的部分B所示，人眼球80能够从基准视线方向81到左侧30度以及到右侧30度的范围内移动。

在该实施方式中，设置参考人眼球的视线的可移动范围的眼球动作条件。例如，作为眼球动作条件，在眼球在上下方向和左右方向上移动的情况下，视线方向的每一个角度的上限值被设置为30度。另外，设置眼球动作条件的方法不受限制。例如，通过设置眼黑可以移动的区域，可以设置眼球动作条件。所设置的眼球动作条件被存储在存储单元60中。在该实施方式中，眼球动作条件对应于与眼球的视线的可移动范围相关的条件。

图9是示出基于与眼球的动作相关的人类特性来处理视线方向的示例的示意图。在图9中，由动作信息计算单元71检测的视线方向82由眼黑83的中心位置83C表示。此外，在图9中，被设置为眼球动作条件的视线可移动范围84(眼黑83的中心位置83C的可移动范围)由虚线圆圈表示。可移动范围84的中心84C是与基准视线方向对应的眼黑83的中心位置83C。视线可移动范围84的形状等不受限制，并且可以适当地设置诸如椭圆形状的任意形状。

动作控制单元72确定检测到的视线方向82是否被包括在视线可移动范围84中。在检测到的视线方向被包括在视线可移动范围84中的情况下，原样使用视线方向82的计算值。

如图9所示，在眼黑83的中心位置83C(视线方向82)不被包括在可移动范围84中的情况下，动作控制单元72将视线方向82校正为位于视线可移动范围84内。

例如，执行诸如使视线方向82朝向视线可移动范围84的中心84C移动以位于视线可移动范围84内的校正。在图9所示的示例中，连接可移动范围84的中心84C和眼黑83的中心83C的直线与可移动范围84的外边缘相交的位置是经校正的视线方向82'。校正视线方向82的方法等不受限制，并且可以使用将视线方向82校正为位于视线可移动范围84内的任意方法。

注意，取决于与可移动范围84的偏差的大小，可以确定是否将检测到的视线方向82处理为噪声。也就是说，在视线方向82与可移动范围84的偏差太大的情况下，可以将视线方向82作为噪声而忽略。在这种情况下，例如，可以执行将视线方向82的值切换为默认设置的值等的处理。对左眼的视线方向和右眼的视线方向中的每一个执行上述处理。

如上所述，在本实施方式中，左眼的视线方向和右眼的视线方向被校正为位于眼球的视线可移动范围84内。结果，可以根据人类特性来校正用户的视线方向82的检测噪声、检测误差等。

图10是描述控制模型的视线方向的示例的示意图。在图10中，通过左眼黑85L的中心位置86L和右眼黑85R的中心位置86R示意性地示出了经校正的左眼的视线方向82L和右眼的视线方向82R。此外，在左眼的视线方向82L和右眼的视线方向82R的下方，分别示出了由动作控制单元72控制的模型的左眼87L和右眼87R。

在该实施方式中，动作控制单元72确定左眼的视线方向82L和右眼的视线方向82R是否对准。具体地，计算左眼的视线方向82L与右眼的视线方向82R之间的偏差(左视线方向与右视线方向之间的偏差)，并且确定计算出的偏差是否大于预先设置的预定阈值。

因此，预定阈值是用于确定右视线方向和左视线方向之间的偏差是否可接受的参考。设置预定阈值的方法等不受限制。例如，可以基于人眼球的动作特性、HMD 100中的视线的检测精度，模型的眼睛的设计等来适当地设置预定阈值。

作为左右视线方向之间的偏差，例如，参考基准视线方向来计算左眼的视线方向82L与右眼的视线方向82R之间在纵向方向上的角度差。类似地，计算左眼的视线方向82L与右眼的视线方向82R之间在横向方向上的角度差。此外，例如，可以计算左眼眼黑85L与右眼眼黑85R之间的距离以及在观看前方时各眼黑之间的距离之间的差作为左右视线方向之间的偏差。另外，可以使用能够计算左右视线方向之间的偏差的任意方法。

在左右视线方向之间的偏差大于预定阈值的情况下，确定左右视线方向未对准。在这种情况下，例如，参考左右视线方向中的任何一个，控制模型的左眼和右眼。例如，在图10所示的示例中，参考左眼的视线方向82L，控制模型的左眼87L和右眼87R，使得左眼和右眼指向类似的方向。

用于确定用作基准的眼睛(视线方向)的条件等不受限制，并且可以设置各种条件。例如，可以设置这样的条件：使用具有更接近于紧邻之前检测到的视线方向的视线方向的眼睛作为基准。此外，例如，可以将错误检测频率较低的眼睛用作基准。另外，可以适当地设置用于确定用作基准的眼睛的任意条件。

如上所述，在本实施方式中，在左眼的视线方向82L与右眼的视线方向82R之间的偏差大于预定阈值的情况下，动作控制单元72基于左眼的视线方向82L和右眼的视线方向82R中的任何一个的视线方向来控制模型的左眼87L和右眼87R中的每一个的视线方向。结果，可以彼此相关联地控制模型的左眼87L和右眼87R的视线方向，并且可以防止发生模型的左眼87L和右眼87R指向不同的方向这种不自然的情况。结果，可以使用户的模型表现得像人类。

注意，本技术不限于在如图9所示校正左眼和右眼的视线方向之后如图10所示视线方向对准的情况。可以彼此相关联地执行视线方向的校正和双眼的视线方向的控制。例如，在仅一只眼睛的视线方向在视线可移动范围84之外的情况下，将可移动范围之外的眼睛的视线方向校正为与另一只眼睛的视线方向对准。结果，可以省略计算右视线方向与左视线方向之间的偏差的处理、确定要用作基准的视线方向的处理等。

此外，在双眼都在可移动范围之外的情况下，校正具有与可移动范围的较小偏差量的眼睛的视线方向，并且将另一只眼睛的视线方向校正为与校正结果相匹配。这种处理也是可能的。另外，可以执行能够彼此相关联地控制模型的左眼的视线方向和模型的右眼的视线方向的任意处理。

图11是描述用户的模型的眼球的动作的示意图。图11的部分A是示出基于人类特性的视线可移动范围84的示例的示意图。图11的部分B和图11的部分C均为示出从正面观察的模型的眼睛的设计的示例的示意图。

在图11的部分A中，视线可移动范围84(眼黑83的中心位置的可移动范围)由实线表示，并且其中眼黑83的中心位置83C位于可移动范围84的上端、下端、右端或左端的眼黑83由虚线表示。此外，在图11的部分A中，示意性地示出了平均人眼88的轮廓89。

如上所述，视线可移动范围84根据人的视线(人类特性)的可移动范围适当地设置。例如，在人的正常动作中，即使在人的视线指向可移动范围的上限的情况下，也经常在轮廓内看到眼黑的一部分。例如，可以在考虑到这一点的情况下设置视线可移动范围84。

在图11的部分A所示的示例中，即使在眼黑83的中心位置83C移动到视线可移动范围84的端部的情况下，也可以将视线可移动范围84设置为使得眼黑83的至少一部分位于轮廓89的内部。即，在图11的部分A中，视线可移动范围84被设置在人的视线可以工作的范围内而不出现眼白。

在应用基于人类特性的视线可移动范围84来控制具有与人眼88的形状或尺寸不同的形状或尺寸的模型的眼睛的情况下，在某些情况下难以适当地控制模型的视线等。例如，在创建通过使用户充分变形而获得的模型或者将特定角色用作用户的模型的情况下，模型的视线等可能执行非预期的动作。

例如，如图11的部分B所示，假设模型的眼睛91具有比人眼88更窄的轮廓90，即，模型的眼睛91被配置成在上下方向上具有更小的宽度(尺寸)。在眼睛的轮廓90窄的这种设计中，在眼黑92的中心位置位于基于人类特性的视线可移动范围84的上端或下端的情况下，眼黑92的区域完全在轮廓90之外，并且模型的眼睛转到后面。也就是说，如果被设置成使得眼黑83的至少一部分在图11的部分A中的轮廓内部的视线可移动范围84被原样使用，则发生其中模型的眼睛91转到后面的状态。例如，如果模型的眼睛在交流期间转到后面，则会发生这样的问题：交流中的人被给予不舒服或不愉快的感觉。

此外，例如，在图11的部分C中，示出了模型的眼睛94，眼睛94包括尺寸小于人眼88的尺寸的眼黑93。同样在这种情况下，在眼黑93的中心位置位于人的视线可移动范围84的上端或下端的情况下，眼黑93的区域完全在轮廓95之外，并且出现翻白眼的状态。

在该实施方式中，动作控制单元72基于针对每个模型限定的模型的视线的可移动范围来控制模型的左眼和模型的右眼中的每一个的视线方向。可以根据例如模型的眼睛的设计(轮廓，眼黑的形状和大小)等预先设置模型的视线的可移动范围。替选地，基于模型的眼睛的设计，可以由动作控制单元72计算模型的视线的可移动范围。此外，限定模型的视线的可移动范围的方法等不受限制。

图12是示出模型的视线的可移动范围的示例的示意图。图12的部分A和图12的部分B分别是示出图11的部分B中所示的模型的眼睛91中的视线的可移动范围96和图11的部分C中所示的模型的眼睛94中的视线的可移动范围97的示例的示意图。

在图12的部分A中所示的示例中，即使在眼黑92的中心位置移动到模型的视线的可移动范围96的端部的情况下，也将模型的视线的可移动范围96设置成使得眼黑92的至少一部分在轮廓90内。此外，同样在图12的部分B所示的示例中，将模型的视线的可移动范围97设置成使得眼黑93不完全在轮廓95之外。

动作控制单元72根据模型的视线的可移动范围，转换由动作信息计算单元71检测到的视线方向或者基于人类特性校正以处于视线可移动范围84内的视线方向。也就是说，包括在基于人类特性的视线可移动范围84中的任意值(人的视线方向)被适当地转换成模型的视线的可移动范围内的值(模型的视线方向)。

例如，图11的部分B中的位于视线可移动范围84的上端、下端、左端或右端的眼黑92的中心位置(视线方向)被转换成图12的部分A所示的模型的视线的可移动范围96的上端、下端、左端或右端的位置。通过该转换，即使在眼黑92的中心位置被检测到在视线可移动范围84的上端或下端的情况下，眼黑92的至少一部分也与模型的眼睛91中的轮廓90交叠。

作为转换视线方向的处理，例如，执行将诸如视线方向的上下角度和左右角度与根据模型的视线的可移动范围的预定系数相乘的处理。此外，例如，通过使用转换矩阵等的用于将人的视线的可移动范围转换成模型的视线的可移动范围的滤波处理，可以转换视线方向。另外，转换视线方向的处理等不受限制，并且可以使用任意转换处理。

基于经转换的视线方向，动作控制单元72计算用于控制模型的左眼和右眼的控制值，并且控制模型的左眼和模型的右眼中的每一个的视线方向。

结果，可以使模型的眼睛的可移动范围与用户(人)的眼睛的可移动范围相匹配，并且可以根据模型的眼睛的设计适当地控制模型的眼黑等。因此，即使在模型的眼睛变形的情况下，也可以防止模型的眼睛转到后面并且以类似人的方式表达模型的视线方向等。结果，可以实现自然交流而不会给另一方带来不必要的不适或不愉快的感觉，并且充分地激活交流。

不言而喻，用户的模型(模型的眼睛)不限于图11和图12中所示的示例。例如，同样在使用除了人类之外的角色(例如动物和机器人)的情况下，可以基于对应的角色的视线的可移动范围来适当地控制每个角色的视线方向等。

注意，在控制模型的视线方向的情况下，可以使用模型的眼睛中的眼黑和眼白的面积比(眼黑与眼白之间的平衡)。

例如，关于转换成模型的视线的可移动范围的眼黑(视线方向)，动作控制单元72执行校正眼黑的位置使得眼黑与眼白之间的面积比是预定值的处理。具体地，例如，在眼黑的面积比小的情况下，执行诸如将眼黑的位置朝向模型的眼睛(轮廓)的中心移动的控制。

此外，例如，可以基于眼黑与眼白之间的面积比来设置模型的视线的可移动范围(参见图12的部分A和图12的部分B)。例如，即使在模型的眼黑位于可移动范围的端部的情况下，仍将模型的视线的可移动范围设置为使得显示在轮廓中的眼黑的大小(面积)不会变得太小。此外，例如，可以设置模型的视线的可移动范围，使得眼黑的区域不会在轮廓之外。也就是说，可以设置可移动范围，使得眼黑与眼白之间的面积比是恒定的。另外，可以基于眼黑与眼白之间的面积比来适当地设置模型的视线的可移动范围。

如上所述，基于模型的左眼和模型的右眼中的每个的眼黑与眼白之间的面积比来控制模型的左眼和模型的右眼中的每个的视线方向。结果，消除了模型的眼黑未被显示(转到后面)或者不自然地被显示得较小的问题，这使得可以减少不适。结果，可以充分激活交流。

<其他实施方式>

本技术不限于上述实施方式，并且可以实现各种其他实施方式。

在上文中，基于眼球的视线的可移动范围的特性(即与人眼球的动作相关的人类特性)，控制用户的模型的左眼和用户的模型的右眼中的每一个。本技术不限于此，并且可以基于人眼球的可移动速度的特性来控制模型的双眼。

例如，基于人眼球的可移动速度的特性，可以设置与用户的眼黑的移动速度相关的上限值等。例如，基于在预定时间段期间眼黑移动的距离(移动量)，计算眼黑的移动速度。在眼黑的移动速度大于设置的上限值的情况下，可以执行关于其超过人眼球的可移动速度的检测噪声的确定。结果，避免了模型的视线的突然变化，并且可以减少不适。结果，可以实现自然交流。

在上述实施方式中，已经使用了包括能够对用户的双眼成像的相机(左眼相机40L和右眼相机40R)的透射式头戴式显示器(HMD 100)。本技术不限于此。例如，可以使用能够对用户的双眼成像的沉浸式HMD。

图13是示出根据另一实施方式的HMD的示意图。图13的部分A是示意性地示出HMD200的外观的透视图。图13的部分B是示意性地示出HMD 200被拆卸的透视图。如图13的部分A所示，HMD 200是被配置成覆盖用户的视场的沉浸式头戴式显示器。此外，如图13的部分B所示，HMD 200包括安装在用户头部上的安装部201、设置在用户双眼前方的显示单元202，以及被配置成覆盖显示单元202的盖部203。

在HMD 200中，能够对用户的双眼成像的相机被设置在例如显示单元中，并且用户的左眼和用户的右眼被成像。结果，可以控制用户的虚拟形象等的左眼和用户的虚拟形象等的右眼。因此，用户能够经由虚拟形象进行自然交流等，而不受周围景色等的干扰。

注意，本技术不限于诸如HMD 100和HMD 200的头戴式显示器，并且可以使用能够对用户的双眼成像的任意装置。例如，可以在包括数码相机的PC，诸如智能手机和平板电脑的移动装置等中生成包括用户的双眼的成像信息(图像)。从生成的图像中获取用户的左眼的视线方向、用户的右眼的视线方向等的动作信息，并且控制用户的模型。如上所述，本技术不限于对用户的左眼和用户的右眼中的每一个进行成像的情况，并且本技术也还适用于捕获包括用户的双眼的图像的情况。

在上文中，作为用户的左眼和用户的右眼的动作信息，执行了诸如确定诸如检测噪声的无效值并且忽略检测噪声的噪声去除处理。例如，在用户的头发等与眼睛接触的情况下，在某些情况下连续发生检测噪声等。在这种情况下，可以控制用户的模型的左眼和用户的模型的右眼，使得执行根据与人眼的动作相关的人类特性的默认动作或随机动作。

例如，可以控制模型的双眼，使得模型的左眼和模型的右眼在相同的定时处随机眨眼。在这种情况下，例如，可以基于诸如人类的平均眨眼次数之类的人类特性来设置在特定时间段中执行的模型的眨眼次数。

此外，例如，在仅用户的一只眼睛的动作信息连续地包括检测噪声等的情况下，可以基于另一只眼睛的动作信息来彼此相关联地执行对模型的右眼和左眼的控制。另外，在获取了无效检测值等作为动作信息的情况下，可以执行基于人类特性的、彼此相关联地模型的双眼的任意控制。结果，即使在存在检测噪声等的情况下，也可以使模型的双眼表现得像人一样，并且继续自然交流。

此外，在用户的眼睛的动作超过诸如对用户的眼睛成像的相机的识别器(感测装置)的可检测范围或可检测速度的情况下，存在不能检测到用户的左眼的视线方向、用户的右眼的视线方向等的可能性(检测错误)。同样在这种情况下，可以基于人类特性以类似人的方式控制用户的模型的双眼。

在上文中，作为用户的模型，描述了在虚拟空间中显示的CG虚拟形象或CG代理。用户的模型不限于虚拟空间上的CG模型等。例如，作为用户的模型，可以使用AI(人工智能)机器人、机器人代理、人形机器人等。本技术适用于表情控制，包括对模型的左眼和模型的右眼的动作控制。

在上文中，包括通信单元等的信息处理设备(HMD 100)已经执行了根据本技术的信息处理方法，该信息处理方法包括彼此相关联地控制用户的模型的左眼和用户的模型的右眼。本技术不限于此，并且云服务器可以执行根据本技术的信息处理方法。也就是说，信息处理设备的功能可以被安装在云服务器中。在这种情况下，云服务器操作为根据本技术的信息处理设备。

此外，本技术不限于获取用户的左眼的动作信息和用户的右眼的动作信息的计算机执行根据本技术的信息处理方法的情况，并且能够经由网络等与获取用户左眼的动作信息和用户的右眼的动作信息的计算机进行通信的另一计算机可以彼此链接以构建根据本技术的模型控制***。

换言之，根据本技术的信息处理方法和程序不仅可以在由单个计算机构成的计算机***中执行，而且可以在其中多个计算机彼此相关联地操作的计算机***中执行。注意，在本公开内容中，***指的是多个部件(设备、模块(零件)等)的集合，而无论是否所有部件都被容纳在同一壳体中。因此，容纳在单独的壳体中并且经由网络连接的多个设备和其中多个模块被容纳在一个壳体中的单个设备都是***。

计算机***对根据本技术的信息处理方法和程序的执行包括例如：由单个计算机执行计算左眼的动作信息和右眼的动作信息的处理、控制用户的模型等的处理的情况；以及由不同的计算机执行各个处理的情况。此外，预定计算机执行的每个处理包括使其他计算机执行一些或所有处理并且获取其结果。

换言之，根据本技术的信息处理方法和程序可以应用于其中一个功能由多个设备经由网络共享和处理的云计算配置。

在根据上述本技术的特性部分中，可以将至少两个特性部分进行组合。换言之，各个实施方式中描述的各种特性部分可以被任意组合，而不区分每个实施方式。此外，上述各种效果仅是示例而不限于此，并且可以包括其他效果。

应注意，本技术可以采用以下配置。

(1)一种信息处理设备，包括：

获取单元，其获取用户的左眼的动作信息和所述用户的右眼的动作信息；以及

动作控制单元，其基于与有关人眼的动作的人类特性对应的预定条件，彼此相关联地控制所述用户的模型的左眼的动作和所述用户的模型的右眼的动作，使得所述用户的模型的左眼的动作和所述用户的模型的右眼的动作相对于所获取的左眼的动作信息和所获取的右眼的动作信息是非线性的。

(2)根据(1)所述的信息处理设备，其中，

所述获取单元基于所述用户的左眼的成像信息和所述用户的右眼的成像信息来获取所述用户的左眼的动作信息和所述用户的右眼的动作信息。

(3)根据(1)或(2)所述的信息处理设备，其中，

所述预定条件是与有关眼睑的动作和眼球的动作中至少之一的人类特性对应的条件。

(4)根据(3)所述的信息处理设备，其中，

所述预定条件包括用于确定所述眼睑的睁开/闭合动作是无意识的眨眼动作还是有意识的闭眼动作的确定条件。

(5)根据(4)所述的信息处理设备，其中，

所述确定条件包括用于确定存在还是不存在所述眼睑的闭合动作的第一时间段以及用于确定所述眼睑的闭合动作是所述无意识的眨眼动作还是所述有意识的闭眼动作的第二时间段，所述第二时间段长于所述第一时间段。

(6)根据(4)或(5)所述的信息处理设备，其中，

所述获取单元获取所述左眼的睁开/闭合状态、所述右眼的睁开/闭合状态、所述左眼的闭眼时间段和所述右眼的闭眼时间段。

(7)根据(5)或(6)所述的信息处理设备，其中，

所述动作控制单元在所述左眼的闭眼时间段和所述右眼的闭眼时间段中的任何一个长于所述第一时间段并且短于所述第二时间段的情况下，使所述模型的左眼和所述模型的右眼二者都执行眨眼动作。

(8)根据(5)至(7)中任一项所述的信息处理设备，其中，

所述动作控制单元在所述用户的左眼和所述用户的右眼中的任何一只眼睛的闭眼时间段长于所述第二时间段的定时另一只眼睛处于闭合状态的情况下，使所述模型的左眼和所述模型的右眼二者都执行闭合动作。

(9)根据(5)至(8)中任一项所述的信息处理设备，其中，

所述动作控制单元在所述左眼的闭眼时间段短于所述第一时间段的情况下保持所述模型的左眼的状态，并且在所述右眼的闭眼时间段短于所述第一时间段的情况下保持所述模型的右眼的状态。

(10)根据(3)至(9)中任一项所述的信息处理设备，其中，

所述预定条件包括有关所述眼球的视线的可移动范围的条件。

(11)根据(10)所述的信息处理设备，其中，

所述获取单元获取所述左眼的视线方向和所述右眼的视线方向。

(12)根据(10)或(11)所述的信息处理设备，其中，

所述动作控制单元在所述左眼的视线方向与所述右眼的视线方向之间的偏差大于预定阈值的情况下，基于所述左眼的视线方向和所述右眼的视线方向中的任何一个视线方向来控制所述模型的左眼和所述模型的右眼中的每一个的视线方向。

(13)根据(10)至(12)中任一项所述的信息处理设备，其中，

所述动作控制单元校正所述左眼的视线方向和所述右眼的视线方向，使得所述左眼的视线方向和所述右眼的视线方向在所述眼球的视线的可移动范围内，以控制所述模型的左眼和所述模型的右眼中的每一个的视线方向。

(14)根据(10)至(13)中任一项所述的信息处理设备，其中，

所述动作控制单元基于所述模型的眼球的视线的可移动范围，控制所述模型的左眼和所述模型的右眼中的每一个的视线方向。

(15)根据(10)至(14)中任一项所述的信息处理设备，其中，

所述动作控制单元基于所述模型的左眼和所述模型的右眼中的每一个中的眼黑与眼白之间的面积比，控制所述模型的左眼和所述模型的右眼中的每一个的视线方向。

(16)一种由计算机***执行的信息处理方法，包括：

获取用户的左眼的动作信息和所述用户的右眼的动作信息；以及

基于与有关人眼的动作的人类特性对应的预定条件，彼此相关联地控制所述用户的模型的左眼的动作和所述用户的模型的右眼的动作，使得所述用户的模型的左眼的动作和所述用户的模型的右眼的动作相对于所获取的左眼的动作信息和所获取的右眼的动作信息是非线性的。

(17)一种使计算机***执行下述步骤的程序：

获取用户的左眼的动作信息和所述用户的右眼的动作信息；以及

基于与有关人眼的动作的人类特性对应的预定条件，彼此相关联地控制所述用户的模型的左眼的动作和所述用户的模型的右眼的动作，使得所述用户的模型的左眼的动作和所述用户的模型的右眼的动作相对于所获取的左眼的动作信息和所获取的右眼的动作信息是非线性的。

附图标记列表

1 用户

30 显示单元

40 成像单元

50 通信单元

60 存储单元

70 控制器

71 动作信息计算单元

72 动作控制单元

73 模型生成单元

82L 左眼的视线方向

82R 右眼的视线方向

83 眼黑

84 视线的可移动范围

87L 模型的左眼

87R 模型的右眼

88 人眼

91、94 模型的眼睛

96、97 模型的视线的可移动范围

100、200 HMD

Claims (17)

1.一种信息处理设备，包括：

获取单元，其获取用户的左眼的动作信息和所述用户的右眼的动作信息；以及

动作控制单元，其基于与有关人眼的动作的人类特性相对应的预定条件，彼此相关联地控制所述用户的模型的左眼的动作和所述用户的模型的右眼的动作，使得所述用户的模型的左眼的动作和所述用户的模型的右眼的动作相对于所获取的左眼的动作信息和所获取的右眼的动作信息是非线性的。

2.根据权利要求1所述的信息处理设备，其中，

所述获取单元基于所述用户的左眼的成像信息和所述用户的右眼的成像信息来获取所述用户的左眼的动作信息和所述用户的右眼的动作信息。

3.根据权利要求1所述的信息处理设备，其中，

所述预定条件是与有关眼睑的动作和眼球的动作中至少之一的人类特性相对应的条件。

4.根据权利要求3所述的信息处理设备，其中，

所述预定条件包括用于确定所述眼睑的睁开/闭合动作是无意识的眨眼动作还是有意识的闭眼动作的确定条件。

5.根据权利要求4所述的信息处理设备，其中，

所述确定条件包括用于确定存在还是不存在所述眼睑的闭合动作的第一时间段以及用于确定所述眼睑的闭合动作是所述无意识的眨眼动作还是所述有意识的闭眼动作的第二时间段，所述第二时间段长于所述第一时间段。

6.根据权利要求4所述的信息处理设备，其中，

所述获取单元获取所述左眼的睁开/闭合状态、所述右眼的睁开/闭合状态、所述左眼的闭眼时间段和所述右眼的闭眼时间段。

7.根据权利要求5所述的信息处理设备，其中，

所述动作控制单元在所述左眼的闭眼时间段和所述右眼的闭眼时间段中的任何一个长于所述第一时间段并且短于所述第二时间段的情况下，使所述模型的左眼和所述模型的右眼二者都执行眨眼动作。

8.根据权利要求5所述的信息处理设备，其中，

所述动作控制单元在所述用户的左眼和所述用户的右眼中的任何一只眼睛的闭眼时间段长于所述第二时间段的定时另一只眼睛处于闭合状态的情况下，使所述模型的左眼和所述模型的右眼二者都执行闭合动作。

9.根据权利要求5所述的信息处理设备，其中，

所述动作控制单元在所述左眼的闭眼时间段短于所述第一时间段的情况下保持所述模型的左眼的状态，并且在所述右眼的闭眼时间段短于所述第一时间段的情况下保持所述模型的右眼的状态。

10.根据权利要求3所述的信息处理设备，其中，

所述预定条件包括有关所述眼球的视线的可移动范围的条件。

11.根据权利要求10所述的信息处理设备，其中，

所述获取单元获取所述左眼的视线方向和所述右眼的视线方向。

12.根据权利要求10所述的信息处理设备，其中，

所述动作控制单元在所述左眼的视线方向与所述右眼的视线方向之间的偏差大于预定阈值的情况下，基于所述左眼的视线方向和所述右眼的视线方向中的任何一个视线方向来控制所述模型的左眼和所述模型的右眼中的每一个的视线方向。

13.根据权利要求10所述的信息处理设备，其中，

所述动作控制单元校正所述左眼的视线方向和所述右眼的视线方向，使得所述左眼的视线方向和所述右眼的视线方向在所述眼球的视线的可移动范围内，以控制所述模型的左眼和所述模型的右眼中的每一个的视线方向。

14.根据权利要求10所述的信息处理设备，其中，

所述动作控制单元基于所述模型的眼球的视线的可移动范围，控制所述模型的左眼和所述模型的右眼中的每一个的视线方向。

15.根据权利要求10所述的信息处理设备，其中，

所述动作控制单元基于所述模型的左眼和所述模型的右眼中的每一个中的眼黑与眼白之间的面积比，控制所述模型的左眼和所述模型的右眼中的每一个的视线方向。

16.一种由计算机***执行的信息处理方法，包括：

获取用户的左眼的动作信息和所述用户的右眼的动作信息；以及

基于与有关人眼的动作的人类特性相对应的预定条件，彼此相关联地控制所述用户的模型的左眼的动作和所述用户的模型的右眼的动作，使得所述用户的模型的左眼的动作和所述用户的模型的右眼的动作相对于所获取的左眼的动作信息和所获取的右眼的动作信息是非线性的。

17.一种使计算机***执行下述步骤的程序：

获取用户的左眼的动作信息和所述用户的右眼的动作信息；以及

基于与有关人眼的动作的人类特性相对应的预定条件，彼此相关联地控制所述用户的模型的左眼的动作和所述用户的模型的右眼的动作，使得所述用户的模型的左眼的动作和所述用户的模型的右眼的动作相对于所获取的左眼的动作信息和所获取的右眼的动作信息是非线性的。