CN105190480A - 信息处理设备和信息处理方法 - Google Patents

Abstract

记录单元(140)记录其中时间信息和物体图像信息与事件关联的事件列表(152)。图像处理单元(234)确定对应于记录在记录单元(140)中的物体图像信息的图像是否包括在捕获图像中，在由记录在记录单元(140)中的时间信息指定的时间段内捕获所述捕获图像。如果确定捕获图像包括对应于物体图像信息的图像，则条件确定单元(236)确定满足事件开始条件。开始指令单元(238)给出应用处理的指令到应用执行单元(220)，应用执行单元(220)开始处理与对其建立开始条件的事件相关联的应用。

Description

信息处理设备和信息处理方法

技术领域

本发明涉及用于处理拾取图像的信息处理技术

背景技术

在这之前已经有人建议了响应用户的当前情况选择内容并且自动再现内容的各种技术。例如，PTL1公开了一种再现设备，该再现设备由用户的生物信息确定用户的心理状态并且根据心理状态选择音乐。

同时，被称为增强现实(AR)的技术受到关注，这种增强现实的技术以真实空间上的叠加关系对用户呈现附加信息，并且能够呈现具有深度的立体图像的头戴显示单元(下面称为“HMD”)变得流行。尽管对于HMD有各种类型可用，但是一种HMD是光透型HMD，这种光透型HMD利用全息装置、半反射镜等对用户呈现虚拟立体图像，并且使用户通过HMD以透明(see-through)方式观看HMD外的事物。

[引用列表]

[专利文献]

[专利文献1]

日本专利公开No.2006-146630

发明内容

[技术问题]

尽管专利文献1采用利用用户的心理状态选择要再现的音乐的新颖方法，实际情况是，不容易以高准确性确定用户的心理状态。因此，希望开发一种正确判定用户当前的状况并且在适当时间对用户提供服务的技术。本发明的发明人已经发现有可能特别是通过将如上所述的技术并入可穿戴式计算机，例如，并入包含光透型HMD的计算机，能够正确判定用户当前的状况并且可以提供正确服务。此外，本发明的发明人已经构想了一种用户界面，利用诸如HMD的穿戴型显示单元的特性，用户能够容易地处理该用户界面。

鉴于如上所述的问题，做出了本发明，并且本发明的目的是提供一种能够对用户提供正确服务的信息处理技术以及用户能够容易地处理的一种用户界面应用。

[问题的解决方案]

为了解决上面描述的问题，根据本发明的一个方案的信息处理设备包含：记录单元，配置该记录单元，以记录时间信息和物理实体图像信息与事件关联的事件列表；图像拾取单元，配置该图像拾取单元，以拾取真实空间的图像；控制部分，配置该控制部分，以确定是否满足事件开始条件；以及执行单元，配置该执行单元，以处理应用。控制部分包含：图像处理部，配置该图像处理部，以确定对应于记录在记录单元中的物理实体图像信息的图像是否包括在在记录在记录单元中的时间信息指定的时间段内拾取的拾取图像中；条件确定部，配置该条件确定器，以当确定对应于该物理实体图像信息的图像包括在拾取图像中时，确定满足事件开始条件；以及指令部，配置该指令部，以指令执行单元执行应用的处理。执行单元开始处理与满足开始条件的事件关联的应用。

本发明的另一个方案是一种应用执行方法。该方法包含：获取通过拾取真实空间获得的拾取图像的步骤；参考时间信息和物理实体图像信息与事件关联的事件列表，来确定对应于包括在事件列表中的物理实体图像信息的图像是否包括在在包括在事件列表中的时间信息指定的时间段内拾取的拾取图像中的步骤；当确定对应于物理实体图像信息的图像包括在拾取图像中时，确定满足事件开始条件的步骤；以及开始处理与满足开始条件的事件关联的应用的步骤。

本发明的又一个方案是一种信息处理设备。该设备是一种以与真实空间具有重叠关系呈现虚拟物体的信息处理设备，并且该信息处理设备包含：穿戴型显示单元，配置该穿戴型显示单元，以显示虚拟物体，从而使用户在真实空间中观看；图像拾取单元，配置该图像拾取单元，以拾取真实空间的图像；图像处理部，配置该图像处理部，以指定包括在拾取图像中的真实物理实体图像；记录单元，配置该记录单元，以将指定的真实物理实体图像或者对应于该真实物理实体图像的标记图像记录为物理实体图像；以及显示处理部，配置该显示处理部，以使物理实体图像显示于穿戴型显示单元上。

还请注意，将上面描述的部件和通过在方法、设备、***、计算机程序、数据结构、记录介质等等之间转换本发明的代表形式获得的获得物有效用作本发明的不同模式。

[本发明的有益效果]

利用本发明，能够提供一种能够对用户提供正确服务的信息处理技术以及用户能够容易地处理的一种用户界面应用。

附图说明

图1是示出根据实施例的信息处理设备的外表的例子的原理图。

图2是示出根据实施例的信息处理***的原理图。

图3是示出用于实现信息处理设备的用户界面提供功能的功能块的示意图。

图4是示出图像拾取单元拾取的拾取图像的例子的示意图。

图5的(a)和图5的(b)是示出开始手势输入模式的检测过程的示意图。

图6是示出菜单屏幕图像的布置位置的示意图。

图7的(a)和图7的(b)是示出用户做手势时的方式的示意图。

图8的(a)和图8的(b)是示出用户做手势时的方式的示意图。

图9的(a)和图9的(b)是示出结束手势输入模式的检测过程的示意图。

图10是示出下层的菜单屏幕图像的例子的示意图。

图11是示出下层的菜单屏幕图像的另一个例子的示意图。

图12是示出用户通过显示设备能够观看的场景的示意图。

图13是示出包围时钟的轨迹的示意图。

图14是示出真实物理实体指定部分指定的真实物理实体图像的示意图。

图15是示出用户的平常行为表的示意图。

图16是示出事件候选对象的示意图。

图17是示出日程安排表创建屏幕图像的示意图。

图18是示出利用拖动操作将事件名称置于表区中的行为的示意图。

图19是示出对表区分配事件名称的状态的示意图。

图20是示出另一个日程安排表创建屏幕图像的示意图。

图21是示出使物理实体图像与通过拖动操作布置于表区中的事件名称关联的行为的示意图。

图22是示出对事件分配物理实体图像的状态的示意图。

图23是示出日程安排表的例子的示意图。

图24是示出事件的选择屏幕图像的示意图。

图25是示出用于实现信息处理设备的应用处理功能的功能框图的示意图。

图26是示出事件列表的示意图。

图27是示出事件列表的例子的示意图。

图28是示出使事件和内容互相关联的内容表的示意图。

具体实施方式

以增强现实技术对用户呈现的信息被称为注释，并且利用诸如文本、图标或者动画的各种形式的虚拟物体为肉眼可见。然而，如果将AR技术用于广告，则广告的虚拟物体以重叠关系显示于真实空间中的建筑墙面、招牌等上。同时，如果AR技术用于指路牌，则用于指路牌的虚拟物体、地图等以重叠关系显示于物理实体上或者在真实世界中用作标记的公路上。

在上面描述的这种AR应用中，首先注册标记，并且然后，拾取对应于该标记的真实物理实体的图像，以开始与该标记关联的处理(服务)。本发明的发明人已经注意到，如果用户单独注册标记，则能够定制应用，并且由用户处理，并且已经开始开发使用户迅速并且简单地注册标记的用户界面。此外，本发明的发明人还注意到，在将注册标记与真实物理实体互相比较后，通过对用户提供不同类型的应用以及可见注释，能够扩展AR技术的潜力。下面将结合其实施例描述本发明。

图1是示出根据实施例的信息处理设备的外表的例子的原理图。信息处理设备10包括外壳18，该外壳18容纳：显示设备12，该显示设备12用于呈现诸如虚拟用户界面的虚拟物体；图像拾取单元14；耳机16；麦克风(未示出)以及各种模块。本实施例的信息处理设备10是可穿戴式计算机，并且可以将该信息处理设备10配置为具有光透型HMD的视频观看装置。然而，可以信息处理设备10配置为包括诸如例如便携式电话机或者个人数字助理(PDA)的图像拾取设备的终端设备。信息处理设备10具有使用户观看以与真实空间的重叠关系表示虚拟物体的视频的功能。图像拾取单元14周期性地拾取穿戴该信息处理设备10的用户周围的图像(例如，以30图像/秒或者60图像/秒)。耳机16输出声音，并且麦克风获取用户发出的语言或者真实空间内存在的环境声。

在本实施例中，显示设备12是由半反射镜配置的光透型HMD，并且用户通过显示设备12能够以透明方式观看真实空间，并且还能够观看信息处理设备10产生的视频(虚拟物体)。信息处理设备10还可以产生立体图像。显示设备12可以是利用全息元件将视频投影到光导板上的显示设备，也可以是形成虚拟图像，从而可以观看视频的投影型显示设备。请注意，显示设备12还可以是视频透射型HMD，并且可以在显示图像拾取单元14拾取的真实空间图像时，以与真实空间图像的重叠关系显示信息处理设备10产生的虚拟物体。这样，信息处理设备10可以是将真实空间对用户呈现为用户环境并且在真实空间的周围环境中显示虚拟物体的穿戴型信息处理设备。

在本实施例中，“真实网络实体”指真实空间中存在的物质，并且“虚拟物体”指信息处理设备10产生的物体。如果显示设备12是光透型HMD，则用户通过光透型HMD能够以透明方式观看真实物理实体。请注意，如果从拾取图像上剪切真实物理实体的图像并且信息处理设备10将该剪切图像显示于显示设备12的任意位置，则将真实物理实体图像处理为虚拟物体。

显示设备12具有一副眼镜的形式，并且将右眼图像显示于右镜上，而将左眼图像显示于左镜上。因此，用户能够观看立体图像。请注意，该实施例中的显示设备12可以不一定具有提供立体图像的机构，但是可以仅对一个眼睛具有一个镜片。

图像拾取单元14设置于两个镜片型显示元件之间，以当信息处理设备10穿戴在用户上时置于前额中部，并且图像拾取单元14拾取包括在用户的视野内的真实空间的图像。尽管图像拾取单元14的视角优选地与人的视角一致或者等同，但是图1所示类型的信息处理设备10中的图像拾取单元14的视角有时小于人的视角。利用诸如例如电荷耦合器件(CCD)图像传感器或者互补金属氧化物半导体(CMOS)图像传感器的众所周知的固态图像拾取器件，能够实现图像拾取单元14。

外壳18起眼镜形式的信息处理设备10的眼镜架的作用，并且在内部容纳信息处理设备10采用的各种模块。信息处理设备10采用的模块包括：用于实现光透型HMD的模块、用于产生三维视频(虚拟物体)的模块、用于利用蓝牙(注册商标)协议、IEEE802.11协议或者移动通信协议执行图像处理的通信模块、用于声输出的模块、电子罗盘、加速度传感器、倾斜传感器、全球定位***(GPS)传感器、亮度传感器等等。提到的模块是示例性的，并且信息处理设备10不需要一定包括提到的所有模块。可以根据假定信息处理设备10使用的场景确定要并入模块中的一个或者多个。

尽管图1所示的信息处理设备10具有眼镜的形式，但是可以具有各种变型，诸如帽子形式、使信息处理设备10围绕用户的头部并且固定到头部的带子形式、或者覆盖用户的整个头部的头盔形式的。本实施例的信息处理设备10可以具有任何一种形式。请注意，尽管提到的形式是穿戴型可穿戴式计算机的形式的例子，但是作为信息处理设备10的形式，还能够列出便携式电话机、便携式游戏机等等。

在本实施例中，信息处理设备10提供用户能够容易地处理的并且具有根据用户的行为提供内容的用户界面。请注意，送到用户的内容可以是保存在信息处理设备10的记录单元内的内容，也可以由诸如内容服务器或者终端设备的外部设备分配。下面描述外部设备将内容分配到信息处理设备10的环境。

图2是示出根据实施例的信息处理***的原理图。信息处理***1包括：具有通信功能的终端设备2、用于分配数字内容的内容服务器4、具有无线接入点和路由器的功能的接入点(下面称为“AP”)、以及用于移动电话通信的基站6。内容服务器4、AP5和基站6连接到诸如因特网的网络3。信息处理设备10具有通信功能，并且从终端设备2和/或者内容服务器4获取内容。信息处理设备10可以利用蓝牙(注册商标)协议通信从终端设备2接收内容。作为一种选择，信息处理设备10可以利用IEEE02.11协议与AP5建立连接并且通过AP5从内容服务器4接收内容。作为一种选择，信息处理设备10可以利用移动通信协议与基站建立连接并且通过基站6从内容服务器4接收内容。这样，信息处理设备10能够从外部设备获取内容。

描述了信息处理设备10的功能的概况。请注意，下面的描述以显示设备12是用户利用其能够以透明方式观看真实空间的光透型HMD为例给出的。信息处理设备10并入了AR应用，并且具有将虚拟物体显示于显示设备12上的功能。

信息处理设备10能够根据用户的状况处理应用。在此，应用的处理包括根据用户的状况起动并执行应用以及在特定应用中根据用户的状况执行内容。例如，前者包括起动并执行用于在用户早上去上班之前通知道路的拥挤信息、列车的晚点信息、今天的天气预报等的应用、在离开自己家后在用户去工作时起动并执行用于再现音乐的应用、等等。同时，后者包括例如在用户早上去工作之前再现用于良好唤醒的音乐、当用户去工作时流式再现外语的广播节目用于学习外语、等等。该实施例的信息处理设备10保存使事件、时间信息和物理实体图像信息互相关联的事件列表，并且如果对应于网络实体图像信息的图像包括在位于该时间信息指明的时间段内的图像拾取单元14拾取的真实空间图像中，则判定满足事件开始条件，并且然后开始处理与该事件关联的应用。

为了高效实现上面描述的功能，信息处理设备10提供用于创建用户一天的日程安排表(scheduletable)的用户界面。通常，在日程安排表中，以与事件的关联关系设置事件的开始时间和结束时间。然而，在本实施例的日程安排表中登记用于确定事件开始条件成立的网络实体图像信息。

尽管事件列表可以与用户创建的日程安排表相同，但是优选地，通过如上详述处理日程安排表创建该事件列表。作为视频观看设备的信息处理设备10包括图像拾取单元14。如果图像拾取单元14拾取到与事件列表中登记的网络实体图像信息对应的真实物理实体的图像，则判定满足于与该网络实体图像信息关联的事物的开始条件。

下面描述用于实现使得用户能够简单容易地创建日程安排表的基本操作的用户界面。

<用户界面提供功能>

图3示出用于实现信息处理设备10的用户界面提供功能的功能块。信息处理设备10包括提供输入和输出功能的：显示设备12、图像拾取单元14以及麦克风20。此外，信息处理设备10还包括：输入接收单元100，该输入接收单元100用于将来自图像拾取单元14和麦克风20的输入转换器操作信息；处理单元80，该处理单元80用于执行各种处理；以及记录单元140，该检测单元140用于记录数据。处理单元80包括：图像处理部110、显示处理部120以及日程安排登记部分150。尽管提到的部件由任意计算机的CPU、存储器、装载在存储器、储存器等中的程序实现，但是图3中示出了部件实现的功能块。因此，本技术领域内的技术人员明白，能够以仅由硬件、仅由软件后者由硬件和软件的组合的各种方式实现提到的功能块。请注意，记录单元140可以由闪速存储器、HDD等配置。请注意，尽管在该实施例中假定图3所示的功能块设置于信息处理设备10中，但是图3中所示的一部分功能块可以由终端设备2实现，如下所述。

输入接收单元100接收由图像拾取单元14后者麦克风20输入的信息。从麦克风20输入声信息，并且输入接收单元100包括语音识别功能，并且识别用户的语音，以创建操作信息。将创建的操作信息送到诸如显示处理部120、图像处理部110和/或者日程安排登记部分150的处理模块。

此外，如果输入接收单元100收到图像拾取单元14拾取的拾取图像，则其检测包括在该拾取图像中的用户的手势、由该手势创建操作信息、并且将创建的操作信息送到诸如显示处理部120、图像处理部110和/或者日程安排登记部分150的处理模块。在本实施例中，由于图像拾取单元14布置于用户前额的中部附近，所以输入接收单元100识别到手势的物理实体的运动是位于用户视线方向附近的手的运动或者手指的运动。请注意，输入接收单元100可以将预定形状的物理实体记录为手势识别物理实体，使得当用户在图像拾取单元14的视线内移动物理实体时，输入接收单元100检测到手势。下面将描述输入接收单元100检测作为手势识别物理实体的用户的手或者手指的运动从而创建操作信息的例子。输入接收单元100当检测到手势输入模式开始时起动手势识别处理并且当其检测到手势输入模式结束时结束手势识别处理。

图4示出图像拾取单元14拾取的拾取图像的例子。图像拾取单元14以包括穿戴信息处理设备10的用户的视线方向的预定视角拾取真实空间的图像。例如，图4示出反映用户自己家的起居室的样子的图像。请注意，将拾取图像中虚线包围的区域设置为用于识别用户的手的或者手指的运动(手势)的手势识别区30。

图5的(a)和图5的(b)是示出开始手势输入模式的检测过程的示意图。图5的(a)和图5的(b)示出在不同条件下判定开始手势输入模式的例子。

图5的(a)示出用户的手进入手势识别区30中的方式。当输入接收单元100检测到用户的手包括在拾取图像的手势识别区30中时，其判定满足手势输入模式的开始条件并且开始手势识别处理。请注意，如果手势识别区30占据拾取图像的全部区域，则用户的手进入图框等同于将此设置为手势输入模式的开始条件。

图5的(b)示出手势识别区30中出现的手执行预定行为。如果输入接收单元100检测到包括在拾取图像的手势识别区30中的用户的手执行预定行为，则判定满足手势输入模式的开始条件，并且开始手势识别处理。请注意，预定行为包括用户用手摆出预定姿势或者用户的手执行预定连续运动。

如果如上所述，输入接收单元100识别到手在手势识别区30中运动并且该运动满足手势输入模式的开始条件，则输入接收单元100开始手势识别处理。请注意，在假定“手”包括用户的整个手或者手指或者各手指的情况下，给出下面的描述。

开始了手势输入模式后，菜单屏幕图像显示于显示设备12的AR显示区中。因此，使得用户在观看真实空间的同时，观看显示于显示设备12上的菜单屏幕图像。请注意，显示于诸如菜单屏幕图像的AR显示区中的虚拟物***于真实空间中的手势识别区30中的相应位置。

描述显示设备12的AR显示区与拾取图像的手势识别区30之间的关系。AR显示区是用户在作为显示设备12的背景展开的真实空间中看到重叠关系的虚拟图像的区域。用户利用手或者手指对显示的虚拟物体执行输入操作。由于该输入操作必须由图像拾取单元14成像，所以虚拟物体必须虚拟地位于图像拾取单元14的视角中，并且还必须虚拟地位于手势识别区30中。因此，尽管显示设备12的AR显示区和拾取图像的手势识别区30具有互相独立的空间坐标系，但是它们必须互相重叠并且优选地是同一个图像区。在假定AR显示区和手势识别区30在真实空间中具有相同区的情况下，给出下面的描述。

图6是示出菜单屏幕图像32的布置位置的示意图。请注意，图6示出显示设备12的显示区的一部分，并且在此示出与拾取图像的区相同的区。通常，显示设备12的实际显示区大于图6中所示的显示区。请注意，图6仅是举例说明图，用于指出以与用户观看的真实空间的重叠关系观看菜单屏幕图像32。此外，请注意，在图6中，显示在显示设备12上的只是菜单屏幕图像32，并且菜单屏幕图像32之外的起居室的背景是用户通过作为半反射镜的显示设备12直接观看的场景。

图7的(a)示出用户执行点击手势时的方式。在信息处理设备10中，将点击操作用作固定二维AR显示坐标的操作。例如，当诸如图标的虚拟物体显示于显示设备12上时，通过对虚拟物体执行点击手势，用户能够选择虚拟物体。

当手在图像拾取单元14的光轴的方向上，即深度方向上，前后移动时，输入接收单元100确定执行点击手势。如果图像拾取单元14由立体摄像机配置，则由手的图像的视差，输入接收单元100能够检测到手在深度方向上的运动。另一方面，如果图像拾取单元14由单目摄像机配置，则能够检测到手的大小的变化，从而检测到手在深度方向上的运动。请注意，信息处理设备10可以包括距离传感器，从而由距离传感器的测量值，检测手在深度方向上的运动。如果输入接收单元100检测到连续两次点击手势，则确定执行了双击操作。

如果输入接收单元100在手势识别区30中检测到点击手势，则将表示执行点击操作的信息与执行点击操作的二维AR显示坐标值一起诸如显示处理部120、图像处理部110和/或者日程安排登记部分150的处理模块。输入接收单元100将在手势识别区30中执行点击手势的二维坐标值转换为二维AR显示坐标值。输入接收单元100具有用于以这种方式将拾取图像上的二维坐标值转换为二维AR显示坐标值并且将该二维AR显示坐标值发送到处理模块的功能。在下面的描述中省略了这样对坐标值执行的转换和发送。

图7的(b)示出用户执行拖动操作的方式。在信息处理设备10中，拖动操作用作用于移动显示于二维或者三维AR坐标系上的虚拟物体的操作。如果虚拟物体显示于显示设备12上，则通过对虚拟物体执行拖动手势，用户能够移动虚拟物体。

当手在AR坐标系上垂直地、水平地和倾斜地移动时，输入接收单元100确定执行拖动手势。如果输入接收单元100在手势识别区30中检测到拖动手势，则将表示执行拖动操作的信息发送到诸如显示处理部120、图像处理部110和/或者日程安排登记部分150的处理模块。请注意，对点击操作选择的虚拟物体执行拖动操作。因此，输入接收单元100指定执行点击手势的虚拟物体，并且然后，当对虚拟物体执行拖动手势时，将对虚拟物体的拖动操作信息发送到预定处理模块或者各预定处理模块。请注意，当对虚拟物体执行点击手势时，输入接收单元100认为拖动操作结束。

图8的(a)示出用户执行放大手势的方式的示意图。在信息处理设备10中，将放大操作用作扩大显示于二维或者三维AR坐标系上的虚拟物体的操作。当虚拟物体显示于显示设备12上时，通过对虚拟物体执行放大手势，用户能够以放大比例显示虚拟物体。

当在AR坐标系上扩大两个手指之间的距离时，输入接收单元100判定执行放大手势。如果输入接收单元100在手势识别区30中检测到放大手势，则将表示执行放大操作的信息发送到诸如显示处理部120、图像处理部110和/或者日程安排登记部分150的处理模块。请注意，对点击操作选择的虚拟物体执行放大操作。因此，输入接收单元100指定执行点击手势的虚拟物体，并且当对虚拟物体执行放大手势时，将虚拟物体的放大操作信息发送到预定模块或者各预定模块。请注意，当执行对虚拟物体的点击手势时，输入接收单元100认为放大操作结束。

图8的(b)示出用户执行缩小手势的方式。在信息处理设备10中，缩小操作用作用于减小显示于二维或者三维AR坐标系上的操作。当虚拟物体显示于显示设备12上时，通过对虚拟物体执行缩小手势，用户能够使虚拟物体以减小比例显示。

当在AR坐标系上减小两个手指之间的距离时，输入接收单元100判定执行缩小手势。如果输入接收单元100在手势识别区30中检测到缩小手势，则将表示执行缩小操作的信息发送到诸如显示处理部120、图像处理部110和/或者日程安排登记部分150的处理模块。请注意，对点击操作选择的虚拟物体执行缩小操作。因此，输入接收单元100指定执行点击手势的虚拟物体，并且当对虚拟物体执行缩小手势时，将虚拟物体的缩小操作信息发送到预定模块或者各预定模块。请注意，当执行对虚拟物体的点击手势时，输入接收单元100认为缩小操作结束。

图9的(a)和图9的(b)是示出结束手势输入模式的检测过程的示意图。图9的(a)和9的(b)示出在不同条件下确定手势输入模式结束的例子。

图9的(a)示出用户的手指从手势识别区30缩回的方式。如果在执行手势识别处理时输入接收单元100检测到用户的手不再包括在手势识别区30中，则确定满足手势输入模式的结束条件，并且结束手势识别处理。

图9的(b)示出手势识别区30中成像的手执行预定行为的方式。如果在执行手势识别处理时输入接收单元100检测到包括在拾取图像的手势识别区40中的用户的手执行预定行为，则确定满足手势输入模式的结束条件并且结束手势识别处理。请注意，预定行为包括用户用手摆出预定姿势或者用户执行预定连续运动。

如果手势输入模式结束，则显示于显示设备12的AR显示区中的菜单屏幕图像等消失。

请注意，如下所述，在本实施例的界面中，通过选择包括在菜单屏幕图像中的选项，打开下层的菜单屏幕图像，并且执行与包括在下层菜单屏幕图像中的选项有关的处理。这样，连续执行各种处理。因此，当满足与图9的(a)或者图9的(b)有关的手势输入模式的结束条件时，可以不优选立即从显示设备12擦除菜单屏幕图像或者当前显示的界面。因此，当输入模式的结束条件成立时，用于使用户确认输入模式要结束的确认消息可以显示于显示设备12上，使得仅当用户明确发出OK的应答时，从显示设备12擦除虚拟物体。

此外，由于当用户的手出框时满足与图9的(a)有关的结束条件，所以可以认为无意中可以满足结束条件的概率高。因此，可以将与图5的(a)有关的框内用作输入模式的开始条件，而不将与图9的(a)有关的框外用作结束条件。在这种情况下，作为结束条件，可以采用与图9的(b)有关的结束条件。请注意，如果满足与图5的(a)有关的框内的开始条件并且然后在预定时段(例如，在几秒钟内)内满足与图9的(a)有关的框外的结束条件，则由于用户的手无意中偶然可以到框内的考虑高，所以可以结束手势识别处理，而不呈现确认消息。

这样，信息处理设备10提供用于处理作为操作输入的用户手势的用户界面。请注意，输入接收单元100可以检测到上述例子之外的手势，例如，用于创建虚拟物体的旋转操作信息的手的旋转手势。这样，输入接收单元100能够检测到手势识别物体的运动，以创建用户的操作信息。请注意，如上所述，输入接收单元100可以分析从麦克风20输入的语音，以创建用户的操作信息。例如，如果用户说出“点击”，则输入接收单元100从麦克风20收到说话信息，并且创建和将该点击操作信息发送到预定处理模块或者各预定处理模块。

本实施例的信息处理设备10由设置用户在一天中的事件日程安排的日程安排表创建时间表。尽管下面描述事件列表的详情，但是如果信息处理设备10根据事件列表确定事件的开始条件成立，则信息处理设备10执行与事件关联的应用的处理。事件的开始条件是在事件列表中登记的事件的时间段内图像拾取单元14拾取对应于与事件关联的网络实体图像信息的真实物理实体的图像。为了允许这样处理，通过使时间信息和网络实体图像信息与事件关联，配置事件列表。

为了创建事件列表，通过使时间信息和网络实体图像信息与事件关联，用户设置基于事件列表的日程安排表。下面将描述创建刚描述的这种日程安排表的过程的例子。在下面的例子中，用户首先拾取与事件关联的物理实体图像，并且然后，当要创建日程安排表时，执行指定事件的时间信息和使事件和拾取的物理实体图像信息互相关联的工作。

如果输入接收单元100检测到图5的(a)或者图5的(b)中所示的手势，则确定满足手势输入模式的开始条件，并且将该条件成立通知显示处理部120。在显示处理部120中，菜单显示部122创建图6所示的菜单屏幕图像32，并且使该菜单屏幕图像32显示于显示设备12上。因此，用户能够观看重叠于真实空间上的菜单屏幕图像32。

如果用户将手指移动到与显示于显示设备12上的菜单屏幕图像32重叠的位置并且在显示“日程安排应用”的空间上的区中执行两次点击手势，则输入接收单元100将显示设备12的AR显示区的坐标值和双击操作信息发送到显示处理部120。如果菜单显示部122由AR显示区的坐标值检测到菜单选项“日程安排应用”被选择，则使与“日程安排应用”关联的下层的菜单屏幕图像显示于AR显示区中。

图10示出下层的菜单屏幕图像的例子。如果选择图6中所示的菜单屏幕图像32上的“日程安排应用”，则显示图10中所示的菜单屏幕图像34，代替图6中所示的菜单屏幕图像32。菜单屏幕图像34包括菜单选项：“事件开始物体登记”、“事件登记”、“日程安排创建”以及“日程安排编辑”。

如果用户在显示于显示设备12的菜单屏幕图像34上的“事件开始物体登记”的显示区上执行双击手势，则输入接收单元100将双击操作信息和AR显示区坐标值发送到图像处理部110和显示处理部120。请注意，“显示区上”呈现在显示设备12示出的虚拟空间中的显示区上。如果菜单显示部122检测到菜单选项“事件开始物体登记”被选择，则使与该选项关联的下层的菜单屏幕图像显示于显示设备12上，并且图像处理部110开始用于指定包括在拾取图像中的真实物理实体图像的处理。

图11示出下层的菜单屏幕图像的例子。如果在图10中所示的菜单屏幕图像34中选择“事件开始物体登记”，则显示图11中所示的菜单屏幕图像36。菜单屏幕图像34包括菜单选项：“徒手绘制”、“直接指定”、“图像识别”、“自动物理实体选择”和“登记”。

图12示出用户通过显示设备12观看的场景。如上参考图6所述，图12也示出显示设备12的显示区(与拾取图像的区域相同的区域)，并且显示设备12的实际显示区通常大于图12所示的显示区。此外，图12中的显示设备12上显示的仅是菜单屏幕图像36，并且除此之外的起居室的背景是用户通过作为半反射镜的显示设备12直接看到的场景。

如果用户在“徒手绘制”的显示区上执行双击手势，则开始徒手输入模式。如果用户在输入模式下以这种方式操纵手指从而包围要切掉的物理实体，则轨迹显示部130使作为虚拟物体的手指的轨迹以这种方式显示于显示设备12上，以跟踪手指的运动。用户的点击手势确定开始和结束输入“徒手绘制”。因此，如果用户自由曲线的开始点执行了一次点击手势并且然后在移动手指从而包围物理实体后，执行点击手势，则使自由曲线固定。

图13示出包围时钟的轨迹38。如果轨迹38以这种方式包围时钟，则输入接收单元100将固定了自由曲线通知图像处理部110，并且根据该通知，真实物理实体指定部112指定用户选择的真实物理实体图像。特别是，真实物理实体指定部112从图像拾取单元14获取拾取图像，并且指定拾取图像中由轨迹38包围的图像，然后，在理论上包括在指定图像中的真实物理实体图像。此时，输入接收单元100可以将与手指的成像轨迹有关的信息送到真实物理实体指定部112。此外，真实物理实体指定部112可以将轨迹38的信息变换为拾取图像上的坐标信息，以在拾取图像上指定轨迹38包围的图像。在此，削去上面放置时钟的搁板或者壁的图像，并且提取时钟的图像。

真实物理实体指定部112提取了真实物理实体图像后，其可以对真实物理实体图像的外部轮廓或者整个真实物理实体图像着色，以将完成提取处理通知用户。如果用户确认提取处理正确完成，则用户在菜单屏幕图像16的“登记”的显示区上执行双击手势。然后，输入接收单元100将双击操作信息发送到图像处理部110，并且物理实体图像确定部114将提取的真实物理实体图像作为物理实体图像144记录在记录单元140中。物理实体图像144用作用于确定满足事件开始条件的基本信息，如下所述。

物理实体图像确定部114可以将对应于提取的真实物理实体图像的标记图像作为物理实体图像144记录在记录单元140中。在记录单元140中，记录包括对应于物理实体的标记图像的标记数据142。标记数据142包括多个为物理实体准备的标记图像。在此，物理实体是时钟，并且标记数据142包括各种类型的时钟的图像。座钟包括各种变型，诸如，根据形状，垂直长钟、水平长钟以及圆钟，根据显示方法，模拟时钟和数字时钟，或者根据颜色，蓝色时钟、黑色时钟，等等。准备标记数据142，以覆盖所有变型。物理实体图像确定部114可以从标记数据142中提取与真实物理实体指定部112提取的真实物理实体图像相同或者类似的标记图像，并且将提取的标记图像作为物理实体图像144记录在记录单元140中。

特别是，如果在轨迹38包围时钟的状态下，用户在菜单屏幕图像36的“图像识别”的显示区上执行双击手势，则物理实体图像确定部114从标记数据142中提取与真实物理实体图像相同或者类似的标记图像。然后，在AR显示区中显示提取的标记图像，用于用户确认。如果用户看标记图像并且确认该标记图像与轨迹38包围的时钟相同或者类似，则用户将在菜单屏幕图像36的“登记”显示区上执行双击手势。因此，物理实体图像确定部114将标记图像作为物理实体图像144记录在记录单元140中。根据由真实物理实体图像和标记图像的特性量计算的一致性程度，可以执行相同性或者相似性的判定。例如，如果物理实体图像确定部114从标记数据142中提取多个相似的标记图像，则为了用户确认在AR显示区中显示标记图像，从而允许用户选择其。

请注意，尽管指出标记数据142包括座钟的特征变型的标记图像，但是其包括与诸如例如桌子、椅子、火车、建筑和门的各种其他物体有关的标记图像。优选地，正确提取与拾取的真实物理实体图像相同或者类似的标记图像。

这样，物理实体图像确定部114确定真实物理实体图像或者标记图像作为物理实体图像144，并且将该物理实体图像144记录在记录单元140中。通过重复刚描述的工作，用户能够将多个物理实体图像144记录在记录单元140中。

如上所述，在根据用户的状况再现内容的应用中，物理实体图像144是用于选择和再现正拾取的音乐的条件。因此，为了创建用于执行再现应用的事件，需要在不发生故障的情况下将一个物理实体图像144登记在事件列表中，并且通过登记多个物理实体图像144，增强可以拾取一个物理实体图像144的概率，这样使得能够以高精度检测到创建事件。为此，优选地，在“事件开始物体登记”的工作中用户将许多物理实体图像144记录在记录单元140中，使得能够对一个事件记录多个物理实体图像144。请注意，物理实体图像确定部114可以将图像拾取单元14拾取的整个拾取图像作为物理实体图像144记录在记录单元140中。

尽管上面针对用户利用自由曲线指定真实物理实体的例子，但是用户也可以直接指定真实物理实体。如果用户在菜单屏幕图像36的“直接指定”的显示区上执行双击手势，则开始利用直接指定的真实物理实体的选择模式。如果用户在这种模式下对真实物理实体执行点击手势，则真实物理实体指定部112指定用户选择的真实物理实体图像。特别是，真实物理实体指定部112提取包括在拾取图像上执行实际操作的空间坐标值的真实物理实体。当提取真实物理实体图像时，真实物理实体指定部112可以对真实物理实体图像是外部轮廓或者整个真实物理实体图像着色，以将完成提取处理通知用户。如果在菜单屏幕图像36的“登记”显示区上执行双击手势并且输入接收单元100将双击操作信息发送到图像处理部110，则物理实体图像确定部114将提取的真实物理实体图像作为物理实体图像144记录在记录单元140中。请注意，物理实体图像确定部114可以将对应于提取的真实物理实体图像的标记图像作为物理实体图像144记录在记录单元140中，如上所述。

尽管“徒手绘制”和“直接指定”模式是用户手动选择真实物理实体的模式，但是本实施例的信息处理设备10还准备用于自动选择真实物理实体的模式。

如果用户在菜单屏幕图像36的“自动物体选择”的显示区上执行双击手势，则开始真实物理实体的自动选择模式。在该模式下，真实物理实体指定部112指定包括在拾取图像中的真实物理实体图像。此时，真实物理实体指定部112优选地在拾取图像中选择相对于周围环境具有特征因素的真实物理实体图像。在此该特征因素可以是该物体对背景颜色具有高对比度的特性、该物体具有大于周围等的形状的特性等等。例如，关于图4的例子，选择时钟、桌子、桌子前面的椅子、时钟放置在上面的搁板等等作为相对于周围环境具有特征因素的物理实体。

图14示出真实物理实体指定部分112选择的真实物理实体图像。真实物理实体指定部112选择时钟、桌子、桌子前面的椅子和放置时钟的搁板，并且使显示设备12显示其外部轮廓的内侧上的斜线。因此，用户认识到四个真实物理实体被选择。如果用户在菜单屏幕图像36的“登记”显示区域上执行双击手势并且输入接收单元100将双击操作信息发送到图像处理部110，则物理实体图像确定部114将提取的真实物理实体图像作为物理实体图像144记录在记录单元140中。请注意，物理实体图像确定部114可以将对应于提取的真实物理实体图像的标记图像作为物理实体图像144记录在记录单元140中，如上所述。

请注意，如果将标记图像作为物理实体图像144记录，则物理实体图像确定部114确认是否存在对应于真实物理实体指定部112指定的真实物理实体图像的标记图像。例如，如果对应于桌子前面的椅子的标记图像不包括在标记数据142中，则由于椅子的标记图像不能记录在记录单元140中，物理实体图像确定部114优选地确定斜线图像可以不重叠在椅子上。因此，优选地，在物理实体图像确定部114确认存在相应标记图像后，由真实物理实体指定部112创建斜线图像。

此外，由于不考虑用户的意愿以“自动物体选择”模式执行真实物理实体的选择过程，所以用户能够判定是否将真实物理实体指定部112指定的真实物理实体图像或者真实物理实体图像的标记图像作为物理实体图像144记录。例如，假定在该地点(起居室内)不存在桌子前面的椅子，而是此时碰巧存在。由于物理实体图像144构成该事件开始的条件，所以优选地其是日常存在的物理实体的图像。通过在具有椅子的斜线的区域上执行双击手势，用户能够从物理实体图像144的候选对象中选择排除椅子。

这样，通过选择菜单屏幕图像36的选项，用户能够以各种方式将物理实体图像144记录在记录单元140中。

在此，指出作为***工程师的用户在工作日的行为的例子。用户在早上醒来、进早餐、穿衣并且去公司工作。用户到达公司后，用户坐在办公桌前，并且在看着个人计算机的屏幕的同时，执行编程工作。当到午休时间时，用户吃午餐，并且在午休结束后，用户开始下午的工作。当到达下班时间时，用户关闭个人计算机的电源并且回家。回家后，用户洗澡并且吃午饭，然后，欣赏电视节目，并且当到就寝时间时，用户就寝。能够将刚描述的一天中的这些动作划分为各种事件。

图15示出用户的平常行为表。行为表的横轴示出时间，并且表中描述的内容指出事件。根据行为表，在工作日用户执行下面的行为。

a)7:00至8:00醒来事件

用户醒来，吃早餐以及穿衣。

b)8:00至9:00去工作事件

用户离开家，乘坐火车并且去公司。

c)9:00至12:00工作事件

上午，用户工作。

d)12:00至13:00午休事件

用户离开公司并且吃午餐。

e)13:00至17:30工作事件

下午，用户工作

f)17:30至18:30回家事件

用户离开公司并且回家

g)18:30至19:30沐浴事件

用户沐浴。

h)19:30至20:30晚餐事件

用户吃晚餐。

i)20:30至23:00休闲事件

用户休闲欣赏电视节目等，以使用户自己精力充沛。

j)23:00睡眠事件

用户就寝。

该行为表是事件名称和时间信息指定用户的状况的典型行为表。本实施例的信息处理设备10支持用户如上所述创建这种行为表，则日程安排表。

本实施例的信息处理设备10能够根据用户的状况处理应用。如上所述，应用的执行包括根据用户的状况起动并且执行应用，并且在特定应用中，根据用户的状况执行内容。为了有助于理解，在下面的描述中，描述了在声再现应用中信息处理设备10根据用户的状况选择并且再现内容的例子。

如果满足事件开始条件，则信息处理设备10指定用户的状况并且再现与事件关联的内容。由于事件的开始条件包括图像拾取单元14拾取对应于与事件关联的物理实体图像信息的真实图像，所以需要用户将事先与该事件有关的物理实体图像144记录到记录单元140中。

因此，对于事件a)至j)中的每个，用户将定义事件的开始条件的物理实体图像144登记在记录单元140中。

a)醒来事件

早上，用户从睡眠中醒来，并且穿戴信息处理设备10，并且然后在起居室内吃早餐。早餐之后，用户换上出门着装，并且在到达出门时间之前读报纸。用户将代表醒来事件的物理实体图像144记录在记录单元140中。结合菜单屏幕图像36的菜单选项，利用如上所述的技术执行该记录处理。然而，如果用户在醒来事件中必须进入起居室，则可以将起居室内存在的真实物理实体(时钟、桌子等)的物理实体图像144记录于记录单元140中。相反，如果用户必须读报纸，则可以将报纸的物理实体图像144记录在记录单元140中。这样，优选地，用户登记图像拾取单元14可以事先在醒来事件中以高概率成像的物理实体图像144。此外，为了在早期阶段检测事件的开始，用户优选地登记在事件的早期阶段可以根据事件中的行为以高概率成像的物理实体图像144。在醒来事件中，由于在醒来后，用户立即进入起居室，所以优选地将起居室内存在的真实物理实体的物理实体图像144记录在记录单元140中。这同样适用于其他事件。

b)去工作事件

当到去工作的时间时，用户带上工作包，打开自家的房门并且走出去。用户乘公共汽车到火车站并且从火车站乘火车，并且然后，在到公司最近的火车站下车，并且从最近的火车站步行到公司。用户将例如自家房门的物理实体图像144或者当打开自家的房门时外部环境的物理实体图像144记录到记录单元140中。

c)工作事件

用户到达公司后，用户坐在自己的座位上并且在观看显示单元和键盘的同时执行编程工作。因此，用户将例如公司所在建筑的、该建筑的入口的、办公桌上的显示单元的或者键盘的物理实体图像144记录在记录单元140中。

d)午休事件

当在上午到工作的结束时间时，用户离开公司并且在小餐馆吃午饭，并且然后在下午的工作开始时间之前返回公司。用户将例如公司建筑的入口的或者到小餐馆的路上的物理实体的物理实体图像144记录在记录单元140中。

e)工作事件

在用户返回公司后，用户再一次坐在自己的座位上并且在观看显示单元和键盘的同时执行编程工作。用户将例如公司建筑的、公司建筑的入口的、自己的办公桌上的显示单元的或者键盘的物理实体图像144记录在记录单元140中。

f)回家事件

在到工作结束时间后，用户拎上工作包离开公司、步行到火车站、乘火车、在到自家最近的火车站下火车，并且然后乘公共汽车回家。用户将例如工作包的、公司建筑的入口的或者到火车站的路上的物理实体的物理实体图像144记录在记录单元140中。

g)沐浴事件

用户回家后，用户把工作包放到自家中并且拿上更换衣服沐浴。在浴室内，摘下信息处理设备10。用户沐浴后，用户穿上睡衣裤并且进入起居室。用户将自家房门的、浴室房门的、等等的物理实体图像144记录到记录单元140中。

h)晚餐事件

在起居室中，用户吃晚餐。与在a)事件中一样，用户将时钟的、桌子的、等等的物理实体图像144记录在记录单元140中。请注意，如果它们中的任何一个的图像已经被记录，则用户不需要新记录它们的物理实体图像144。

i)休闲事件

用户躺在沙发上欣赏电视节目，以使用户自己精力充沛。用户将沙发的或者电视机的物理实体图像144记录在记录单元140中。

j)睡眠事件

用户就寝，摘下信息处理设备10并且就寝。用户将床的、报警时钟的、等等的物理实体图像144记录在记录单元140中。请注意，尽管描述的例子未描述从0:00至7:00的睡眠事件，但是在醒来事件之前，可以考虑到该睡眠事件。

参考图10，通过菜单屏幕图像14的菜单选项“事件开始物体登记”，执行上面描述的记录处理。用户执行选择事件的每个图像拾取地点的选项并且每次都记录物理实体图像144的工作，从而完成记录物理实体图像144。

如果用户在菜单屏幕图像34的菜单选项“事件登记”的显示区上执行双击手势，则输入接收单元100将双击操作信息和关联AR显示区坐标值送到显示处理部120。如果事件显示部124检测到菜单选项“事件登记”被选择，则使能够用于创建日程安排表的事件名称的候选对象显示于显示设备12上。

图16示出事件候选对象呈现屏幕图像。尽管事件候选对象显示于显示设备12的AR显示区40中，但是在本实施例中，AR显示区40和手势识别区30互相重叠。如图16所示，事件显示部124显示用户在日程安排表中为了选择要使用的事件名称。例如，事件显示部124可以对个人职业准备事件模型，使得根据包括在用户的属性信息中的职业，与职业关联的事件候选对象显示于AR显示区40中。

如果用户在显示事件名称的区上执行点击手势，则输入接收单元100将点击操作信息和该区的AR显示坐标值一起发送到事件确定部116，并且事件确定部116保存该选择事件名称。如果用户选择所有事件名称用于创建日程安排表，则用户将在“登记”显示区上执行点击手势。然后，输入接收单元100将点击操作信息和“登记”显示区的AR显示坐标值一起发送到事件确定部116，并且事件确定部116将所有选择的事件名称座位事件146记录在记录单元140中。在此，将“睡眠”、“醒来”、“去工作”、“工作”、“休息”、“回家”、“沐浴”、“晚餐”、和“休闲”记录为事件146。

如果用户在菜单屏幕图像34的菜单选项“日程安排创建”的显示区上执行双击手势，则输入接收单元100将双击操作信息和该显示区的AR显示区坐标值送到显示处理部120。显示处理部120接收该双击操作信息和AR显示区坐标值，并且提供用于创建日程安排表的用户界面。

图17示出日程安排表创建屏幕图像。在AR显示区40中，时间轴显示部128显示表区42，该表区42示出一天的时间轴。但是请注意，在图17所示的例子中，显示24小时的表区42，时间轴显示部128可以显示表区42，使得显示较短时段的表区，并且表区42能够在时间(水平)方向上滚动。

在日程安排创建屏幕图像中，提供位于上段的选项“事件输入”和“物理实体图像输入”，以指定要对表区42输入的目标。特别是，“事件输入”是用于对表区42输入事件名称的选项，并且“物理实体图像输入”是用于对表区42输入物理实体图像的选项。在用于日程安排表创建的初始屏幕图像中，将选项“事件输入”设置为默认，并且事件显示部124读出记录在记录单元140中事件146，并且将记录的事件名称显示于表区42上面。

图18是示出利用拖动操作将事件名称置于表区42的动作的示意图。用户在事件名称的显示区上执行点击手势并且利用拖动操作将事件名称移动到表区42并且然后执行点击手势，从而完成拖动操作。事件显示部124将事件名称置于表区42中。用户在表区42中点击事件的开始时间和结束时间，使得可以使该事件名称置于开始时间和结束时间之间的时间宽度内。请注意，用户能够利用手指将显示于表区42中的事件名称的水平框位移到右侧或者左侧，并且因此可以调节事件的开始时间和结束时间。请注意，即使执行其拖动操作，显示于表区42上面的事件名称仍保留而不擦除。

图19示出对表区42分配事件名称的状态。如果用户在“登记”显示区上执行点击手势，则日程安排登记部分150将互相关联关系的该事件的事件名称以及该事件的开始时间和结束时间记录在记录单元140中。于是，完成事件输入工作。然后，如果用户在“物理实体图像输入”显示区上执行点击手势，则事件显示部124擦除显示于表区42上面的事件名称，并且相反，物理实体图像显示部126使记录的物理实体图像144显示于表区42上面。

图20示出日程安排表创建屏幕图像。如果选择“物理实体图像输入”选项，则物理实体图像显示部126读出记录在记录单元140中的物理实体图像144，并且使记录的物理实体图像显示于表区42上面。

图21示出使物理实体图像与通过拖动操作布置于表区42中的事件名称关联的动作的示意图。用户在物理实体图像的显示区上执行点击手势并且将物理实体图像移动到表区42中的特定事件并且然后执行双击手势。于是，完成拖动操作。如果将物理实体图像移动到事件列表区完成拖动操作，则物理实体图像显示部126使例如物理实体图像的减小屏幕图像显示于事件下面。请注意，即使在拖动操作之后，显示于表区42上面的物理实体图像仍保留而不擦除。

图22示出对事件分配物理实体图像的状态。在减小图像显示区44中，对单独事件显示分配的物理实体图像的减小图像。如果用户在“登记”显示区上执行点击手势，则日程安排登记部分150将互相关联关系的事件名称和物理实体图像记录在记录单元140中。于是，完成物理实体图像输入工作。请注意，当事件与物理实体图像互相关联时，物理实体图像可以具有图像文件名、图像文件的记录区(路径信息)、物理实体图像的特征量等等的形式。只需要以任何一种方式使物理实体图像与事件关联，并且将物理实体图像和事件统称为物理实体图像信息。日程安排登记部分150将使事件名称、时间信息和物理实体图像互相关联的日程安排表148记录在记录单元140中。

图23示出日程安排表148的例子。在日程安排表148中，以互相关联关系方式记录代表开始时间和结束时间的时间信息和物理实体图像信息。尽管这里的物理实体图像信息表示为图像文件的路径信息，但是还可以是图像文件名，也可以是物理实体图像的特征量。请注意，当与包括在拾取图像中的图像的特征量比较时，采用物理实体图像的特征量，如上所述。

在上面描述的日程安排表创建工作中，用户将各种环境中的物理实体图像144记录在记录单元140中，并且然后，对表区42分配事件，此后，用户对事件分配物理实体图像144。在修改例中，例如，在对表区42分配事件后，可以直接对事件分配在各种环境中指定的物理实体图像144。

在该修改例中，用户首先根据上面参考图16至19描述的过程对表区42分配事件。然后，在各种环境下，用户选择菜单屏幕图像34的“事件开始物体登记”，并且真实物理实体指定部112在拾取图像中指定真实物理实体图像。当提取真实物理实体图像时，真实物理实体指定部112对真实物理实体图像的外部轮廓或者整个真实物理实体图像着色。然后，如果用户确认正确完成提取过程，则用户可以选择菜单屏幕图像36的“登记”。此时，事件显示部124使用于选择要关联的事件的选择屏幕图像显示于显示设备12上。

图24示出事件选择屏幕图像。事件显示部124读出记录在记录单元140中的事件146，并且以并列关系将事件146布置于AR显示区40中，从而允许用户选择。此时，记录单元140也读出事件的时间信息并且使得显示与事件具有关联关系的时间信息。尽管在本例中包括两个工作事件，但是这两个工作事件是上午的工作事件和下午的工作事件。因此，通过附加指出时间信息，用户能够了解每个工作事件，并且因此能够指定物理实体图像要关联的事件。如果用户对事件名称执行点击操作，则日程安排登记部分150自动使物理实体图像信息与事件关联。请注意，要关联的物理实体图像信息可以是文件名的信息、路径信息、特征量等等，如上所述。对于本修改例，当指定物理实体图像时，能够立即与事件关联，并且因此，用户能够避免后面工作的劳动。

尽管上述针对手动创建日程安排表的例子，但是也能够使图像处理部110和日程安排登记部分150互相合作，从而自动创建日程安排表。此外，在该自动创建中，前提条件是用户事先通过上面参考图16至19描述的过程使事件和时间信息互相关联。

在与事件关联的开始时间，真实物理实体指定部112指定包括在拾取图像中的真实物理实体图像。此时，真实物理实体指定部112优选地在拾取图像中指定相对于周围环境具有特征因素的真实物理实体图像。真实物理实体指定部112将指定的真实物理实体图像记录在记录单元140中。真实物理实体指定部112对每个事件都指定并且将真实物理实体图像记录在记录单元140中。真实物理实体指定部112多日执行记录处理。请注意，如果在事件与时间信息之间实现关联的日程安排表是关于工作日的，则真实物理实体指定部112在多个工作日执行记录处理，但是如果日程安排表是关于节假日的，则真实物理实体指定部112在多个节假日执行记录处理。

在以这种方式将多日的抽样图像记录在记录单元140中后，真实物理实体指定部112提取对每个事件频繁拾取的真实物理实体图像。例如，如果在醒来事件中拾取时钟的图像的次数多，则提取时钟的图像座位真实物理实体图像。通过在每个事件的开始时间以这种方式以最大次数检测真实物理实体图像，能够提高真实物理实体图像包括在事件的开始条件中的似然性。这样，真实物理实体指定部112指定真实物理实体图像，并且物理实体图像确定部114将指定的真实物理实体图像记录在记录单元140中。请注意，物理实体图像确定部114可以将对应于指定的真实物理实体图像的标记图像座位物理实体图像144记录在记录单元140中，如上所述。由于图像处理部110以如上所述的这种方式运行，所以在用户不需要手动将物理实体图像记录在记录单元140中时，创建使事件和物理实体图像互相关联的日程安排表。

请注意，尽管在上面描述的例子中，例如，用户手动或者自动设置事件，但是信息处理设备10可以事先准备使个人职业的事件与时间信息互相关联的事件模型，使得用户根据自己的职业选择模型，从而自动设置事件。

如果用户在菜单屏幕图像34的菜单选项“日程安排编辑”的显示区上执行双击手势，则输入接收单元100将该显示区的双击操作信息和AR显示区坐标值发送到显示处理部120。显示处理部120接收双击操作信息和AR显示区坐标值，并且提供由于编辑日程安排表的用户界面。在该用户界面中，对用户呈现已经创建的日程安排表显示于表区42中的日程安排表编辑屏幕图像，表区通过如上所述执行该工作，用户能够编辑日程安排表。

<应用处理功能>

如果如上所述，用户利用用户界面设置日程安排表，则信息处理设备10根据日程安排表创建事件列表。信息处理设备10具有利用事件列表确定用户当前的状况表区开始处理应用的应用处理功能。作为应用处理功能的例子，下面将描述声再现应用根据用户的状况再现内容表区输出声的情况。

图25示出用于实现信息处理设备10的应用处理功能的功能框图。信息处理设备10包括提供输入和输出功能的：显示设备12、图像拾取单元14、耳机16和麦克风20。此外，信息处理设备10包括运动传感器50和GPS传感器52，作为传感器组。运动传感器50包括加速度传感器和倾斜传感器，并且输出用于检测信息处理设备10的运动或者姿势的测量值，并且GPS传感器52输出代表信息处理设备10的位置信息的测量值。此外，信息处理设备10包括用于执行各种处理的处理单元80和用于记录数据的记录单元140。处理单元80具有事件列表创建部分200、穿戴状态确定部分210、应用执行部220和控制部分230。

尽管实现提到的部件，但是由任意计算机的CPU和存储器将提到的部件配置为硬件部件，则将程序存储在存储器、储存器等等中。图25示出各部件合作实现的功能块。因此，本技术领域内的技术人员应当明白，能够仅由硬件、仅由软件或者由硬件和软件的组合的各种方式实现功能块。请注意，对图3中所示的相同功能块应用相同参考符号的功能块具有上面参考图3描述的这些功能，并且以相同的方式运行。请注意，可以配置包括图3和5中所示功能块的信息处理设备10。请注意，尽管假定本实施例的信息处理设备10包括图3和25中所示的功能块，但是可以利用终端设备2以其他方式实现图和25中所示的一部分功能块。

事件列表创建部分200根据日程安排登记部分150登记到记录单元140中的日程安排信息创建使时间信息和物理实体图像信息与事件关联的事件列表，并且将该事件列表记录在记录单元140中。更详细地说，事件列表创建部分200由在日程安排表148中设置的时间信息获得事件列表的时间信息，从而创建事件列表。

在此，描述日程安排表与事件列表之间的区别。日程安排表表示用户在一天中的行为(事件)日程安排，并且对每个事件设置的开始时间和结束时间指出执行该时间的时间段。因此，在日程安排表中，对事件设置的时间段在时间上不互相重叠，并且在在先事件的结束时间的同时或者之后，设置后续事件的开始时间。

同时，创建事件列表，以根据日程安排表确定用户的状况，并且为了提高确定用户状况的准确性，设置在日程安排表中对每个事件设置的时间段，从而扩大。在图23中所示的日程安排表148中，安排用户在7:00与8:00之间执行醒来事件，并且然后，在8:00与9:00之间执行去工作事件。然而，实际上，用户可以在7:00之前醒来，并且可以在8:00之前去工作。这样，尽管日程安排表148示出一天的日常行为，但是日程安排表148应用于每日行为，则用户有时执行的行为偏离日程安排表148的行为。

因此，创建事件列表，使得日程安排表148中的每个事件的时间段扩大，从而能够掌握在偏离日程安排表148的时间段的时间段中行为，使得能够与高准确性确定用户的状况。图26示出事件列表的示意图。在日程安排表148中，上段指出事件和事件的时间段，并且下面的状态指出扩大事件的时间段的方式。例如，关于醒来事件，尽管日程安排表148的醒来事件安排在从7:00至8:00的时间段内，但是将事件列表中的醒来事件扩大到从5:00至8:00的时间段。请注意，在事件列表中，将包括日程安排信息中的至少一个事件时间段的时间段设置为与事件关联的时间段。请注意，仅需要事件列表的时间信息包括日程安排信息中的事件的时间段，并且该时间信息可以与日程安排信息中的事件的时间段相同。

事件列表创建部分200根据日程安排表148中登记的日程安排信息创建事件列表152，并且将该事件列表152记录在记录单元140中。如上所述，事件列表创建部分200将至少包括登记的日程安排信息中的每个事件的时间段的时间段设置为与事件关联的时间信息。

图27示出事件列表152的例子。在该事件列表152中，以与每个事件的关联关系描述了事件顺序号、指出可能开始时间和可能结束时间的时间信息以及物理实体图像信息。尽管将这里的物理实体图像信息表示为图像文件的路径信息，但是也可以是物理实体图像的图像文件名或者是物理实体图像的特征量。物理实体图像信息是当与包括在拾取图像中的图像比较时使用的信息，并且尤其用于确定与事件关联的图像是否包括在图像拾取单元14拾取的拾取图像中。

请注意，作为事件顺序号，事件列表创建部分200对每个事件设置与事件具有关联关系的事件的生成顺序号。将事件顺序号设置得与日程安排表148中的事件的排列顺序号相同，并且以降序对以应用了“1”的醒来事件开始的每个事件应用编号，如图27所示。

事件列表创建部分200将日程安排信息中的开始时间和结束时间定义的时间段变更为由可能开始时间和可能结束时间定义的时间段。如上所述，扩大事件列表152中的每个事件的时间段，以至少包括日程安排表148中的事件的时间段。

事件列表创建部分200根据事件顺序号确定每个事件的可能开始时间。在此，将后续事件的，即，设置较高事件顺序号的事件的可能开始时间设置得晚于在先事件的，即，设置较低事件顺序号的事件的可能开始时间。但是后续事件的可能开始时间可以与在先事件的可能开始时间相同，不必早于在先事件的可能开始时间。同样，可以将后续事件的可能结束时间设置到晚于在先事件的可能结束时间。但是后续事件的可能结束时间可以与在先事件的可能结束时间相同，不必早于在先事件的可能结束时间。事件列表创建部分200以这种方式创建事件列表。请注意，用户可以手动修改创建的事件列表。

穿戴状态确定部分210根据来自运动传感器50的测量信息确定信息处理设备10的穿戴状态。如果用户穿戴有信息处理设备10，则运动传感器50将表示信息处理设备10运行的测量信息送到与用户的运动处于互锁关系的穿戴状态确定部分210。相反，如果用户摘下信息处理设备10并且将信息处理设备10放置在例如桌子上，则运动传感器50将表示信息处理设备10未运行的测量信息送到穿戴状态确定部分210。例如，如果来自运动传感器50的测量信息在预定时段(例如，3分钟)未发生变化，则穿戴状态确定部分210确定信息处理设备10被摘下，但是如果测量信息在预定时段内发生变化，则穿戴状态确定部分210确定信息处理设备10被穿戴。

下面将描述信息处理设备10的应用处理功能。在事件列表创建部分200创建使时间信息和物理实体图像信息与事件关联的事件列表152并且将其记录在记录单元140中的状态下，执行该应用处理功能。请注意，尽管事件列表创建部分200根据例如信息处理设备10创建的日程安排表148创建事件列表152，但是日程安排表148可以由不同的设备创建，并且事件列表创建部分200可以根据不同设备创建的日程安排表148创建事件列表。

如果用户开启信息处理设备10并且将信息处理设备10穿戴在自己身上，则图像拾取单元14周期性地拾取真实空间的图像，并且将拾取图像送到控制部分230。控制部分230获取拾取图像，并且参考事件列表152确定是否满足事件开始条件。然后，如果确定满足事件开始条件，则控制部分230指示应用执行部220执行该应用的处理。根据该指令，应用执行部220开始处理与满足开始条件的事件关联的应用。

为了实现应用处理功能，控制部分230包括：候选对象提取部232、图像处理部234、条件确定部236和开始指令部238。在此，候选对象提取部232从内部或者外部获取当前时间信息，并且指定位于包括当前时间信息的可能开始时间与可能结束时间之间的事件。例如，如果当前时间信息是7:30，则候选对象提取部232提取事件顺序号1的醒来事件、事件顺序号2的去工作事件以及事件顺序号3的工作事件。提取的事件是在7:30的时间点能够满足开始条件的事件候选对象。

图像处理部234确定与候选对象提取部232提取的事件关联的图像是否包括在图像拾取单元14拾取的拾取图像中。这对应于图像处理部234确定对应于物理实体图像信息的图像是否包括在在事件列表152中的时间信息指定的时间段内拾取的拾取图像中的过程。特别是，确定对应于分别与醒来事件、去工作事件和工作事件关联的物理实体图像信息的图像是否包括在7:30的时间的点拾取图像中。请注意，通过得出对应于物理实体图像信息的图像的特征量与包括在拾取图像中的图像的特征量之间的一致性程度，执行确定对应于物理实体图像信息的图像是否包括在拾取图像中的过程。如果特征量互相完全一致，则图像互相相同，并且如果一致性程度非常高，图像互相类似。如果图像处理部234确定对应于物理实体图像信息的图像包括在拾取图像中，则条件确定部236判定满足事件开始条件。

通过以与事件列表152中的事件相关联关系方式记录多个物理实体图像的物理实体图像信息，能够增强满足事件的开始条件的概率。例如，在以与醒来事件相关联关系方式记录时钟和桌子的物理实体图像信息的情况下，如果图像处理部234确定时钟的或者桌子的图像包括在拾取图像中，则条件确定部236能够确定满足醒来事件的开始条件。通过使多个物理实体图像的物理实体图像信息与事件关联，能够准确确定满足事件的开始条件。如果条件确定部236确定满足醒来事件的开始条件，则开始指令部238指令应用执行部220执行该应用的处理，并且将满足开始条件的事件名称通知应用执行部220。应用执行部220开始处理对应于满足开始条件的事件的应用。

图28示出使事件和内容互相关联的内容表。将内容表154记录在记录单元140中，并且应用执行部220根据内容表154再现与从开始指令部238传递的事件关联的内容，并且由耳机16输出再现内容。尽管在内容表154中事件与再现内容的类型互相关联，但是实际上可以描述记录单元140中的内容播放表的储存地址、内容服务器4的URL等等。应用执行部220再现与满足开始条件的事件关联的内容。

尽管在图28所示的例子中，示出了本技术领域内的技术人员事先创建的内容表154，但是内容表154可以由用户创建，使内容与事件关联。因此，在事件列表152中未设置的充实课程事件、锻炼事件等包括在内容表154中。然而，用户可以适当编辑内容表154，以根据其口味对事件分配内容。

请注意，如图28所示，没有内容与几个事件关联。在此，没有内容与工作事件、充实课程事件以及沐浴事件关联，并且这说明在这些事件中，应用执行部220不再现内容。因此，即使从开始指令部238收到处理应用的指令，当通知其满足工作事件、充实课程事件或者沐浴事件的开始条件时，应用执行部220仍不执行内容的再现。

请注意，尽管图像处理部234确定与候选对象提取部232提取的事件关联的图像是否包括在拾取图像中，但是其可以从后续确定目标中排除确定包括在拾取图像中的图像。这样能够减小图像确定处理的负荷。此外，可以从确定目标中排除包括在满足开始条件的事件中的全部图像。这样减小了对包括在开始事件中的不同图像执行确定处理的必要性，并且能够减小图像确定处理的负荷。

此外，条件确定部236可以根据登记在事件列表中的生成顺序号确定满足事件开始条件。例如，参考图27，尽管将醒来事件的事件顺序号设置为1，并且将去工作事件的事件顺序号设置为2，但是如果条件确定部236首先确定满足去工作事件的开始条件，则此后不确定满足醒来事件的开始条件。尽管最初优选地，在满足醒来事件的开始条件后，满足去工作事件的开始条件，但是在满足去工作事件的开始条件后，检查满足设置了去工作事件的事件顺序号之后的事件顺序号的事件的开始条件。因此，如果条件确定部236确定满足特定事件的开始条件，则候选对象提取部232提取具有设置在特定事件的事件顺序号后面的事件顺序号并且具有之间包括作为候选对象事件的当前时间点的可能开始时间和可能结束时间的事件。此外，候选对象提取部232从候选对象事件中排除满足其开始条件并且位于刚提到的事件之前的这些事件。因此，图像处理部234能够从确定目标中排除与设置比满足开始条件的事件的事件顺序号低的事件顺序号的任何事件关联的图像，并且能够减小候选对象提取部232的处理负荷。

请注意，应用执行部220连续执行该应用的处理，直到由开始指令部238通知满足不同事件的开始条件。如果将满足不同事件的开始条件通知应用执行部220，则应用执行部220参考内容表154开始再现与不同事件关联的内容。请注意，如果在执行与特定事件关联的内容期间，但是在事件的可能结束时间之前，未将满足不同事件的开始条件通知应用执行部220，则在可能结束时间，应用执行部220结束该内容的再现处理。

此外，应用执行部220可以根据信息处理设备10的穿戴状态继续或者结束应用的处理。如果穿戴状态确定部分210确定用户没有穿戴信息处理设备10，则穿戴状态确定部分210可以将此通知应用执行部220，并且应用执行部220可以停止处理该应用。在信息处理设备10是可穿戴式计算机的情况下，由于在用户穿戴有信息处理设备10的状态下，用户能够从耳机听到再现声，所以如果不能听到输出声，则不需要应用执行部220输出并且再现声。因此，优选地，如果信息处理设备10未穿戴在用户身上，则应用执行部220停止处理该应用。

结合本发明的实施例描述了本发明。本技术领域内的技术人员应当明白，实施例是说明性的，并且能够对实施例的部件和处理的组合进行各种修改，并且这些修改也包括在本发明的范围内。

尽管在对实施例的描述中描述了事件列表创建部分200创建使事件生成顺序号、时间信息和一个或者多个物理实体图像的物理实体图像信息与事件关联的事件列表，但是事件列表创建部分200可以创建进一步使GPS信息与提到的选项关联的事件列表。GPS信息是获取物理实体图像信息的位置的位置信息。因此，由于记录在事件列表中的GPS信息与当前位置的GPS信息互相一致，所以候选对象提取部232能够容易地提取候选对象事件。

此外，尽管在实施例中指出对用户再现音乐等的内容，但是可以将公司或者商品的标记图像信息登记在事件列表中。与在该实施例中相同，也是在刚提到的这种事件列表中，以与事件相关联关系方式登记时间信息和标记图像信息。控制部分230确定对应于标记图像信息的图像是否包括在在事件列表中指定的时间段中拾取的拾取图像中。然后，如果该图像包括在拾取图像中，则控制部分230确定满足事件开始条件，并且指令应用执行部220执行该应用的处理。根据该指令，应用执行部220可以使显示设备12显示与事件关联的广告信息等。

此外，尽管在上面对实施例的描述中描述了应用执行部220参考内容表154再现对应于事件的内容，但是可以想到对这种再现应用措施，防止始终对事件选择同一个内容。应用执行部220具有内容搜索功能，使得例如将包括在拾取图像中的物体名称和例如内容表154的类型和物体名称用作搜索密钥，以从内容服务器4搜索并且获取内容。

此外，尽管事件列表创建部分200创建使物理实体图像信息与事件关联的事件列表，但是例如声信息可以与事件关联。例如，可以从麦克风20获取在特定地点或者在事件检测条件下产生的声，并且可以与事件关联，将获取的声信息用于确定事件的开始条件的过程。

请注意，尽管信息处理设备10的功能块示于图3和25中，但是在信息处理***1中，终端设备2可以作为信息处理设备运行并且执行图3和25中所示的一部分功能。特别是，在信息处理***1中，信息处理设备10和包括信息处理功能的终端设备2可以互相合作，以实现各种处理功能。

特别是，终端设备2可以包括图3中示出的：输入接收单元100、处理单元80的图像处理部110和日程安排登记部分150、以及处理单元140。作为一种选择，终端设备2可以包括图25中示出的：输入接收单元100、处理单元80和记录单元140。请注意，如果终端设备2执行一部分处理功能，则将图像拾取单元14、麦克风等的输出发送到终端设备2，终端设备2执行各种处理。如果信息处理设备10和终端设备2中的至少一个以这种方式实现图3和25所示的处理功能，则能够实现对正确对用户提供服务并且提供用户能够容易地处理的用户界面的信息处理***。

[参考编号列表]

1：信息处理***

10：信息处理设备

12：显示设备

14：图像拾取单元

16：耳机

18：外壳

20：麦克风

50：运动传感器

52：GPS传感器

80：处理单元

100：输入接收单元

110：图像处理部

112：真实物理实体指定部

114：物理实体图像确定部

116：事件确定部

120：显示处理部

122：菜单显示部

124：事件显示部

126：物理实体图像显示部

128：时间轴显示部

130：轨迹显示部

140：记录单元

150：日程安排登记部分

200：事件列表创建部分

210：穿戴状态确定部分

220：应用执行部

230：控制部分

232：候选对象提取部

234：图像处理部

236：条件确定部

238：开始指令部

[产业上的可利用性]

本发明能够应用于处理拾取图像的信息处理领域。

Claims (14)

1.一种信息处理设备，包括：

记录单元，配置为记录其中时间信息和物理实体图像信息与事件关联的事件列表；

图像拾取单元，配置为拾取真实空间的图像；

控制部分，配置为确定是否满足事件开始条件；以及

执行单元，配置为处理应用，

其中：

所述控制部分包含

图像处理部，配置为确定对应于记录在所述记录单元中的所述物理实体图像信息的图像是否包括在拾取图像中，在由记录在所述记录单元中的所述时间信息指定的时间段内拾取所述拾取图像，

条件确定部，配置为当确定对应于所述物理实体图像信息的所述图像包括在所述拾取图像中时，确定满足所述事件开始条件，以及

指令部，配置为指令所述执行单元执行所述应用的处理，所述执行单元开始与满足其开始条件的事件关联的所述应用的处理。

2.根据权利要求1所述的信息处理设备，其中所述执行单元执行内容的再现。

3.根据权利要求1或者2所述的信息处理设备，还包括：

登记部分，配置为登记用户的日程安排信息；以及

事件列表创建部分，配置为从登记的日程安排信息获得与所述事件关联的时间信息。

4.根据权利要求3所述的信息处理设备，其中所述事件列表创建部分将至少包括所述登记的日程安排信息中的所述事件的时间段的时间段设置为与所述事件关联的所述时间信息。

5.根据权利要求1至4中的任何一项所述的信息处理设备，其中所述记录单元以与一个事件相关联关系的方式记录多条物理实体图像信息。

6.根据权利要求1至5中的任何一项所述的信息处理设备，其中所述记录单元以与所述事件列表中的多个事件中的每个相关联关系方式记录生成顺序号。

7.根据权利要求6所述的信息处理设备，其中所述条件确定部根据所述生成顺序号确定满足事件开始条件。

8.根据权利要求1至7中的任何一项所述的信息处理设备，还包括：

穿戴状态确定部分，配置为确定所述信息处理设备的穿戴状态，其中

在穿戴状态确定部分确定所述信息处理设备未穿戴在用户上时，所述执行单元停止所述应用的处理。

9.一种应用执行方法，包括：

获取通过拾取真实空间获得的拾取图像的步骤；

参考其中时间信息和物理实体图像信息与事件关联的事件列表，确定对应于包括在所述事件列表中的所述物理实体图像信息的图像是否包括在拾取图像中的步骤，在由包括在所述事件列表中的所述时间信息指定的时间段内拾取所述拾取图像；

当确定对应于所述物理实体图像信息的图像包括在所述拾取图像中时，确定满足事件开始条件的步骤；以及

开始与满足其开始条件的事件关联的应用的处理的步骤。

10.一种用于使计算机执行如下的程序：

获取通过拾取真实空间获得的拾取图像的功能；

参考其中时间信息和物理实体图像信息与事件关联的事件列表，确定对应于包括在所述事件列表中的所述物理实体图像信息的图像是否包括在拾取图像中的功能，在由包括在所述事件列表中的所述时间信息指定的时间段内拾取所述拾取图像；

当确定对应于所述物理实体图像信息的图像包括在所述拾取图像中时，确定满足事件开始条件的功能；以及

开始与满足其开始条件的事件关联的应用的处理的功能。

11.一种具有其中记录根据权利要求10所述的程序的计算机可读记录介质。

12.一种以与真实空间的重叠关系呈现虚拟物体的信息处理设备，包括：

穿戴型显示单元，配置为显示所述虚拟物体，以便由在所述真实空间中的用户观看；

图像拾取单元，配置为拾取所述真实空间的图像；

图像处理部，配置为指定包括在所述拾取图像中的真实物理实体图像；

记录单元，配置为将指定的真实物理实体图像或者对应于所述真实物理实体图像的标记图像记录为物理实体图像；以及

显示处理部，配置为将所述物理实体图像显示于所述穿戴型显示单元上。

13.根据权利要求12所述的信息处理设备，还包括：

输入接收单元，配置为接收对显示于所述显示单元上的所述物理实体图像的操作输入；其中

所述显示处理部响应于所述操作输入移动所述显示单元上所述物理实体图像的显示位置。

14.一种包含第一信息处理设备和第二信息处理设备的信息处理***，其中：

所述第一信息处理设备和所述第二信息处理设备中的至少一个包含：

记录单元，配置为记录其中时间信息和物理实体图像信息与事件关联的事件列表；

图像拾取单元，配置为拾取真实空间的图像；

控制部分，配置为确定是否满足事件开始条件；以及

执行单元，配置为处理应用，

所述控制部分包含

图像处理部，配置为确定对应于记录在所述记录单元中的所述物理实体图像信息的图像是否包括在拾取图像中，在由记录在所述记录单元中的所述时间信息指定的时间段内拾取所述拾取图像，

条件确定部，配置为当确定对应于所述物理实体图像信息的所述图像包括在所述拾取图像中时，确定满足所述事件开始条件，以及

指令部，配置为指令所述执行单元执行所述应用的处理，所述执行单元开始与满足其开始条件的事件关联的所述应用的处理。