CN103970268A - 信息处理设备、客户端设备、信息处理方法以及程序 - Google Patents

Abstract

提供了一种信息处理设备、客户端设备、信息处理方法以及程序。该信息处理设备包括：图像获取单元，该图像获取单元从图像捕获设备获取真实空间的捕获图像；设置单元，该设置单元通过以体素为单位对该捕获图像中示出的真实空间内的真实对象进行离散化来与该真实空间相关联地设置虚拟地增强该真实空间的增强现实空间；以及控制单元，该控制单元控制放置于该增强现实空间内的虚拟对象的动作。

Description

信息处理设备、客户端设备、信息处理方法以及程序

相关申请的交叉引用

本申请要求在2013年2月1日提交的日本优先权专利申请JP2013-018437的权益，其全部内容通过引用合并在本文中。

技术领域

本公开内容涉及一种信息处理设备、一种客户端设备、一种信息处理方法以及一种程序。

背景技术

过去，在实践上实现了向用户呈现人工构造的虚拟空间的各种虚拟现实（VR）技术。例如，JP2003-150978A提出了一种用于在用户对存在于虚拟空间中的化身进行操作时实现高操作性的技术。相比之下，已成为近来关注的焦点的增强现实（AR）技术通过局部地修改真实空间来向用户呈现增强现实空间（AR空间）。通过典型的AR技术，虚拟生成的对象（虚拟对象）被叠加到来自指向真实空间的图像捕获设备的图像，从而提供好像对象存在于图像中示出的真实空间中一样的用户体验。

发明内容

通过在AR技术中使用用户的化身作为虚拟对象，实现了可以表达AR化身的应用。然而，简单地使真实空间的图像作为化身是活动的这样空间的背景未充分展示增强现实的吸引力。

因此，本公开内容提出了一种用于提供很好地利用与虚拟现实相对的增强现实的特性的有吸引力的用户体验的机制。

根据本公开内容的实施例，提供了一种信息处理设备，包括：图像获取单元，图像获取单元从图像捕获设备获取真实空间的捕获图像；设置单元，设置单元通过以体素为单位对捕获图像中示出的真实空间内的真实对象进行离散化来与真实空间相关联地设置虚拟地增强真实空间的增强现实空间；以及控制单元，控制单元控制放置于增强现实空间内的虚拟对象的动作。

根据本公开内容的实施例，提供了一种客户端设备，包括：图像捕获单元，图像捕获单元通过捕获真实空间来生成捕获图像；通信单元，通信单元与服务器设备进行通信，服务器设备通过以体素为单位对捕获图像中示出的真实空间内的真实对象进行离散化来与真实空间相关联地设置虚拟地增强真实空间的增强现实空间；以及控制单元，控制单元使放置于通过服务器所设置的所述增强现实空间内的虚拟对象的图像显示在屏幕上。

根据本公开内容的实施例，提供了一种信息处理方法，所述信息处理方法通过设置有图像捕获单元和与服务器设备进行通信的通信单元的客户端设备来执行。服务器设备通过以体素为单位对捕获图像中示出的真实空间内的真实对象进行离散化来与真实空间相关联地设置虚拟地增强真实空间的增强现实空间，信息处理方法包括：通过使用图像捕获单元捕获真实空间来生成捕获图像；以及使放置于通过服务器设备所设置的增强现实空间内的虚拟对象的图像显示在屏幕上。

根据本公开内容的实施例，提供了一种程序，使控制客户端设备的计算机用作：图像获取单元，图像获取单元从图像捕获设备获取真实空间的捕获图像；以及控制单元，控制单元使放置于增强现实空间内的虚拟对象的图像显示在屏幕上，增强现实空间通过服务器设备来设置，服务器设备通过以体素为单位对捕获图像中示出的真实空间内的真实对象进行离散化来与真实空间相关联地设置虚拟地增强真实空间的增强现实空间。

根据依照本公开内容的技术，可以提供一种很好地利用增强现实的特性的有吸引力的用户体验。

附图说明

图1是用于描述根据实施例的信息处理设备的概述的第一说明图；

图2是用于描述根据实施例的信息处理设备的概述的第二说明图；

图3是示出了根据实施例的信息处理设备的硬件配置的示例的框图；

图4是示出了根据实施例的信息处理设备的逻辑功能的配置的示例的框图；

图5是用于描述针对AR空间的坐标系的说明图；

图6是用于描述对真实对象的离散化的示例的说明图；

图7是用于描述根据真实空间映射所构造的AR空间的示例的说明图；

图8是用于描述对AR空间的定制的示例的说明图；

图9是用于描述设置虚拟对象的纹理或色彩的技术的第一示例的说明图；

图10是用于描述设置虚拟对象的纹理或色彩的技术的第二示例的说明图；

图11是用于描述对设置虚拟对象的显示属性的技术的示例性修改的说明图；

图12是用于描述在多个用户间共享AR空间的技术的第一示例的说明图；

图13是用于描述在多个用户间共享AR空间的技术的第二示例的说明图；

图14是用于描述在多个用户间共享AR空间的技术的第三示例的说明图；

图15是用于描述对被多个用户共享的AR空间的显示的示例的说明图；

图16是用于描述指定待共享或不共享的对象的用户界面的示例的说明图；

图17是用于描述对体素粒度的设置的说明图；

图18是用于描述化身选择窗口的示例的说明图；

图19是用于描述基本操作窗口的示例的说明图；

图20是用于描述对化身进行移动的操作的示例的说明图；

图21是用于描述停止化身移动的操作的示例的说明图；

图22是用于描述对化身的方向进行改变的操作的示例的说明图；

图23是用于描述对化身的方向进行改变的操作的另一个示例的说明图；

图24A是用于描述由化身执行的使用项目动作的第一示例的第一说明图；

图24B是用于描述由化身执行的使用项目动作的第一示例的第二说明图；

图25是用于描述对所化身使用的项目进行切换的操作的示例的说明图；

图26是用于描述由化身执行的使用项目动作的第二示例的说明图；

图27是用于描述经由化身进行的通信的第一示例的说明图；

图28是用于描述经由化身进行的通信的第二示例的说明图；

图29是用于描述对化身信息进行显示的操作的示例的说明图；

图30是用于描述对AR空间的位置进行改变的操作的示例的说明图；

图31是用于描述对AR空间的取向进行改变的操作的示例的说明图；

图32是用于描述可以实现在AR应用中的若干菜单的示例的说明图；

图33是用于描述实时模式和快照模式的说明图；

图34是用于描述图33所示的两类操作模式之间的转变的说明图；

图35是用于描述蓝图模式的说明图；

图36是用于描述相机视角模式和化身视角模式的说明图；

图37是用于描述图36所示的两类显示模式之间的转变的说明图；

图38是用于描述对AR空间进行选择的技术的第一示例的说明图；

图39是用于描述对AR空间进行选择的技术的第二示例的说明图；

图40是用于描述对AR空间进行选择的技术的第三示例的说明图；

图41是用于描述对AR空间进行选择的技术的第四示例的说明图；

图42是用于描述对AR空间的可变参数进行调节的第一示例的说明图；

图43是用于描述对AR空间的可变参数进行调节的第二示例的说明图；

图44是用于描述对AR空间中的虚拟对象的初始位置进行设置的技术的第一示例的说明图；

图45是用于描述对AR空间中的虚拟对象的初始位置进行设置的技术的第二示例的说明图；

图46是用于描述在正常模式下AR空间中的多个化身的改变的说明图；

图47是用于描述在重放模式下AR空间中的多个化身的改变的说明图；

图48是用于描述痕迹模式的说明图；

图49是用于描述在AR空间之间移动的路径的示例的说明图；

图50A是用于描述登入AR空间的屏幕转变的示例的转变图的第一部分；

图50B是用于描述登入AR空间的屏幕转变的示例的转变图的第二部分；

图51是示出了用于执行AR应用的信息处理的流程的示例的流程图；

图52是示出了图51所示的动作确定处理的详细流程的示例的流程图；

图53是示出了根据示例性修改的信息处理设备的逻辑功能的配置的示例的框图；以及

图54是用于描述确定虚拟对象放置的技术的示例性修改的说明图。

具体实施方式

在后文中，将参照附图来详细地描述本公开内容的优选实施例。注意，在本说明书和附图中，用相同的附图标记来表示具有基本上相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。

而且，将按照以下顺序来进行描述。

1.概述

2.根据实施例的信息处理设备的示例性配置

2-1.硬件配置

2-2.逻辑功能配置

3.AR空间设置

3-1.AR空间的坐标系

3-2.根据真实空间映射来构造AR空间

3-3.定制AR空间

3-4.设置虚拟对象显示属性

3-5.共享AR空间

3-6.与共享对象相关的设置

4.虚拟对象操作

4-1.操作窗口示例

4-2.化身动作

4-3.使用化身进行的通信

4-4.对AR空间的操作

4-5.其他操作

4-6.各种操作模式

5.AR社区

5-1.形成AR社区

5-2.调节可变参数

5-3.设置初始位置

5-4.各种访问模式

6.处理流程示例

6-1.在登入时的屏幕转变

6-2.执行AR应用

6-3.动作确定处理

7.示例性修改

7-1.客户端/服务器链接

7-2.简单的真实空间识别

8.结论

<1.概述>

首先，将使用图1和图2来描述根据本公开内容的技术的概述。图1和图2是用于描述根据实施例的信息处理设备100的概述的说明图。

参照图1，示出了用户Ua所持有的信息处理设置100a。用户Ua朝向真实空间11a举起信息处理设备100a。信息处理设备100a配备有相机（图像捕获设备），该相机包括显示屏和指向真实空间11a的透镜。在图1的示例中，真实对象R10a、R11a、R12和R13存在于真实空间11a中。真实对象R10a是桌子。真实对象R11a是海报。真实对象R12是书。真实对象R13是马克杯。信息处理设备100a的相机通过捕获真实空间11a来生成捕获图像。信息处理设备100a的显示器可以显示屏幕上捕获图像。信息处理设备100a可以配备有使增强现实（AR）应用进行操作的控制器（未示出）。AR应用接收示出了真实空间的捕获图像作为输入图像，并将叠加有虚拟对象的输出图像输出至显示器。在图1的示例中，虚拟对象A11被叠加到输出图像Im11上，好像虚拟对象A11站立在桌子R10a的顶部上一样。

参照图2，示出了用户Ub所持有的信息处理设备100b。用户Ub朝向真实空间11b举起信息处理设备100b。信息处理设备100b配备有相机（图像捕获设备），该相机包括显示屏和指向真实空间11b的透镜。在图2的示例中，真实对象R10b、R11b、R14和R15存在于真实空间11b中。真实对象R10a是桌子。真实对象R11b是海报。真实对象R14是钢笔。真实对象R15是咖啡杯。信息处理设备100b的相机通过捕获真实空间11b来生成捕获图像。信息处理设备100b的显示器可以显示屏幕上捕获图像。信息处理设备100b可以配备有使AR应用进行操作的控制器（未示出）。AR应用接收示出了真实空间的捕获图像作为输入图像，并将叠加有虚拟对象的输出图像输出至显示器。在图2的示例中，虚拟对象A11、A12和A13被叠加到输出图像Im12上，好像虚拟对象A11、A12和A13在桌子R10b的顶部上行走一样。

在图1的示例中，虚拟对象A11是用户Ua的化身。化身A11放置于与真实空间11a相关联地设置的增强现实空间（AR空间）内，并可以执行各种动作。用户Ua能够通过观看或操作显示在屏幕上的化身A11来享受AR应用。

AR应用可以被单独用户使用或被多个用户使用。在图2的示例中，虚拟对象A11是用户Ua的化身，同时虚拟对象A12是用户Ub的化身。换句话说，与图2中的真实空间11b相关联地来设置与相关联于图1中的真实空间11a所设置的AR空间共同被共享的AR空间。因此，在用户Ua与用户Ub之间共享同一AR空间。用户Ua可以使用信息处理设备100a来操作化身A11，同时用户Ub可以使用信息处理设备100b来操作化身A12。化身A11和化身A12还能够彼此交互。因此，建立了通过AR应用进行的用户间通信。化身A13可以是又一个用户的化身或根据某种算法来自主行动的角色（也称为非玩家角色（NPC））。

这样，当利用AR技术使用用户的化身作为虚拟对象时，简单地使真实空间的图像作为化身是活动的这样空间的背景未充分展示增强现实的吸引力。因此，在以下部分中所详细描述的各种实施例实现了一种用于提供良好使用与虚拟现实相对的增强现实的特性的有吸引力的用户体验的机构。

注意，在以下描述中，当信息处理设备100a和100b彼此没有不同时，通过省略附图标记中的后缀字母来将这些设备将统称为信息处理设备100。

在图1和图2中，将平板设备示出为信息处理设备100的一个示例。然而，信息处理设备100不限于这样的示例。信息处理设备100还可以是例如个人计算机（PC）、个人数字助理（PDA）、智能电话、游戏控制台、便携式导航设备（PND）、内容播放器或数字装置等。另外，信息处理设备100还可以是可穿戴设备，诸如头戴式显示器（HMD）。而且，代替AR应用在用户操作的客户端上运行，AR应用还可以在能够与客户端进行通信的另一个设备（例如应用服务器）上运行。

<2.根据实施例的信息处理设备的示例性配置>

[2-1.硬件配置]

图3是示出了根据实施例的信息处理设备100的硬件配置的示例的框图。参照图3，信息处理设备100配备有相机102、传感器104、输入界面106、存储器108、显示器110、通信接口112、总线116和处理器118。

（1）相机

相机102是对图像进行捕获的相机模块。相机102是使用图像传感器来捕获真实空间并生成捕获图像的设备，该图像传感器诸如电荷耦合设备（CCD）或互补金属氧化物半导体（CMOS）传感器。通过相机102所生成的捕获图像成为用于由处理器118执行的信息处理的输入图像。注意，相机102并不严格地限于是信息处理设备100的一部分。例如，还可以将以有线或无线方式与信息处理设备100连接的图像捕获设备视作相机102。

（2）传感器

传感器104是包括定位传感器的传感器模块，该定位传感器测量信息处理设备100的地理位置。例如，定位传感器可以接收全球定位***（GPS）信号以测量纬度、经度和海拔高度，或基于向无线接入点发送和从无线接入点接收的无线信号来测量位置。而且，传感器104还可以包括其他类型的传感器，诸如加速度传感器和陀螺传感器。由传感器104所生成的传感器数据可以用于各种应用，诸如帮助识别真实空间、获取针对地理位置的特定数据或检测用户输入。

（3）输入界面

输入界面106是用户为了操作信息处理设备100或将信息输入到信息处理设备100所使用的输入设备。输入界面106可以包括例如触摸传感器，该触摸传感器检测由用户对显示器110的屏幕（或屏幕的相反侧的壳表面）所执行的触摸。代替上述内容（或除上述内容之外），输入界面106还可以包括其他类型的输入设备，诸如按钮、开关、小键盘或定点设备。另外，输入界面106还可以包括语音输入模块或凝视检测模块，语音输入模块识别由用户发出的作为用户输入的语音命令，凝视检测模块检测作为用户输入的用户凝视的方向。

（4）存储器

存储器108实现有诸如半导体存储器或硬盘的存储介质，并存储在信息处理设备100的处理中所使用的程序和数据。存储器108所存储的数据可以包括捕获图像数据、传感器数据和在后续讨论的数据存储单元内部的各种数据。注意，本说明书中所描述的程序和数据中的一些程序和数据还可以从外部数据源（诸如数据服务器、网络存储器或外部附接存储器）来获取，而不存储在存储器108中。

（5）显示器

显示器110是包括如下显示器的显示模块：诸如液晶显示器（LCD）、有机发光二极管（OLED）或阴极射线管（CRT）。例如，使用显示器110来显示通过信息处理设备100所生成的AR应用图像。注意，显示器110同样并不严格地限于是信息处理设备100的一部分。例如，还可以将以有线或无线方式与信息处理设备100连接的图像显示设备视作显示器110。

（6）通信接口

通信接口112是作为信息处理设备100与另一个设备之间的通信的媒介的通信接口。通信接口112支持任意无线通信协议或有线通信协议，并建立与另一个设备的通信连接。

（7）总线

总线116将相机102、传感器104、输入界面106、存储器108、显示器110、通信接口112和处理器118彼此连接。

（8）控制器

处理器118可以对应于中央处理单元（CPU）或数字信号处理器（DSP）等。处理器118通过执行存储在存储器108或另一个存储介质中的程序来使后续描述的信息处理设备100的各种功能进行操作。

[2-2.逻辑功能配置]

图4是示出了通过图3所示的信息处理设备100的存储器108和处理器118所实现的逻辑功能的示例性配置的框图。参照图4，信息处理设备100配备有图像获取单元120、数据获取单元130、AR处理单元140和数据存储单元160。AR处理单元140包括识别单元142、AR空间设置单元144和对象控制单元146。

（1）图像获取单元

图像获取单元120从相机102获取示出了真实空间的捕获图像作为输入图像。通过图像获取单元120所获取的输入图像典型地是构成视频的各种帧。图像获取单元120将所获取的输入图像输出至AR处理单元140。

（2）数据获取单元

数据获取单元130获取AR处理单元140为了使AR应用进行操作所使用的数据。例如，数据获取单元130获取通过传感器104所生成的传感器数据和经由通信接口112从外部设备接收的外部数据。后续描述的数据存储单元160内部的各种数据可以被信息处理设备100预先存储或从外部设备动态地接收。

（3）识别单元

识别单元142识别从图像获取单元120输入的输入图像中示出的真实对象，并生成表达每个所识别的真实对象在真实空间中的位置和取向的真实空间映射164。另外，识别单元142还识别信息处理设备100（相机102）的位置和取向。识别单元142可以例如根据所建立的图像识别算法诸如同时定位和映射（SLAM）技术的运动恢复结构（SfM）技术来识别真实对象和信息处理设备100的三维位置和取向。作为示例，JP2011-159162A公开了用于通过使用SLAM技术来动态地构造真实空间映射（环境映射）的技术。通过应用这样的技术，识别单元142能够实时地识别真实对象和信息处理设备100的三维位置和取向，并生成真实空间映射164。另外，识别单元142还可以基于来自相机102中可以附加设置的深度传感器的深度数据，识别真实对象相对于信息处理设备100的相对的位置和取向。识别单元142还可以基于来自环境识别***诸如红外线测距***或运动捕获***的输出数据来执行识别处理。识别单元142使数据存储单元160存储真实空间映射164，该真实空间映射164可以在每次输入新的输入图像时被更新。

（4）AR空间设置单元

AR空间设置单元144设置虚拟地增强输入图像中示出的真实空间的增强现实空间（AR空间）。在本实施例中，AR空间是与真实空间相关联地设置的三维空间。使用图1和图2所描述的化身和其他虚拟对象放置在通过AR空间设置单元144所设置的AR空间内，并在AR空间内进行各种动作。由于与真实空间相关联地设置AR空间，所以即使例如相机102的视角改变，仍可以呈现其中虚拟对象表现为保持在真实空间内的相同位置处的显示或其中化身表现为在真实对象的表面上移动的显示。AR空间设置单元144生成或获取表达待设置的AR空间的AR空间模型166，并使数据存储单元160存储该AR空间模型166。

在实施例中，AR空间设置单元144通过以体素为单位对输入图像中示出的真实空间内的真实对象（例如，通过真实空间映射164所表达的各个对象）进行离散化来生成AR空间模型166。体素是具有体积的单位元素。通常，可以使用较小的三维立方块作为体素。在另一个实施例中，AR空间设置单元144获取基于另一个用户的作为外部数据的捕获图像所生成的AR空间模型166。通过AR空间模型166所表达的AR空间可以根据与捕获图像相关的相关信息而不同。后续将进一步描述用于设置这样的AR空间的各种技术。

在AR空间模型166中，与真实空间内的真实对象对应的虚拟对象以体素为单位离散地表达例如这些真实对象的形状。AR空间设置单元144可以根据各种条件来设置这些虚拟对象的显示属性（诸如纹理和色彩）。后续将进一步描述用于设置虚拟对象的显示属性的各种条件。

（5）对象控制单元

对象控制单元146将虚拟对象放置于AR空间内，并使所放置的虚拟对象显示在屏幕上。由对象控制单元146所放置的虚拟对象包括如使用图1和图2所描述的用户化身。另外，虚拟对象还可以包括与化身不同的对象（诸如，用于聊天或其他通信的消息对象或例如自主行动的角色）。对象控制单元146还可以例如将化身或角色放置在通过AR空间模型166所表达的水平面上的位置处。而且，对象控制单元146可以将与一些真实对象相关的虚拟对象靠近该真实对象来放置。典型地，对象控制单元146放置每个虚拟对象使得虚拟对象彼此不冲突。在本文中，冲突指两个或更多个虚拟对象占据AR空间内的同一体积元素（并且还可以表达为对象碰撞）。例如，如果化身与对应于真实对象的虚拟对象冲突，则可以在输出图像中呈现其中化身表现为陷入到真实对象中的异常显示。后续将进一步描述对象之间的这样的冲突的避免。

在放置于AR空间内的虚拟对象被用户可操作的情况下，对象控制单元146根据用户输入来确定针对该虚拟对象的动作。而且，对象控制单元146根据某种自主控制算法（或人工智能（AI））来确定针对自主行动的虚拟对象的动作。然后，对象控制单元146使虚拟对象执行所确定的动作。后续将进一步描述用户操作虚拟对象（例如，化身）所借助的各种用户界面。

对象控制单元146基于从图像获取单元120输入的输入图像和用户输入来动态地更新通过AR空间设置单元144所设置的AR空间内的一个或更多个虚拟对象的状态，并生成虚拟对象的图像。例如，可以基于相机102的位置和取向以及AR空间内的每个虚拟对象的位置和取向根据针孔模型来生成各个虚拟对象的图像。然后，对象控制单元146使叠加有虚拟对象图像的真实空间的图像（输出图像）显示在显示器110的屏幕上。由于这样动态地更新输出图像，所以可以实现其中真实空间表现为被虚拟对象增强的屏幕上显示。

（6）数据存储单元

数据存储单元160存储真实对象数据162、真实空间映射164、AR空间模型166和虚拟对象数据168。

真实对象数据162是限定可以存在于真实空间中的真实对象的特征的数据。例如，真实对象数据162可以限定针对各个真实对象的形状、大小和纹理，或包括针对各个真实对象的图像特征。例如，真实对象数据162可以用于识别单元142识别捕获图像中示出的真实对象。

真实空间映射164是表达通过识别单元142所识别的各个真实对象在真实空间内的位置和取向的数据。例如，可以在AR空间设置单元144设置AR空间时参考真实空间映射164。另外，可以通过真实空间映射164来表达相机102的位置和取向。

AR空间模型166是表达通过AR空间设置单元144所设置的AR空间的数据。例如，可以在对象控制单元146将虚拟对象放置在AR空间中或确定针对虚拟对象的动作时参考AR空间模型166。AR空间模型166还可以包括表达每个放置的虚拟对象的位置和取向的数据。

虚拟对象数据168是限定可以放置在AR空间中的虚拟对象的特征的数据。例如，虚拟对象数据168限定针对被各个用户选择的化身的可执行动作的类型、昵称和外观。另外，虚拟对象数据168还可以限定针对与化身不同的虚拟对象的可执行动作的类型和外观。例如，同样可以在对象控制单元146将虚拟对象放置在AR空间中或确定针对虚拟对象的动作时参考虚拟对象数据168。

在接下来的部分中将进一步描述可以通过这样的信息处理设备100所实现的AR应用的细节。

<3.AR空间设置>

在该部分中，将描述用于与真实空间相关联地设置AR空间的各种技术。

[3-1.AR空间的坐标系]

用AR空间的坐标系（在后文中称为AR坐标系）来表达虚拟对象的位置和取向。AR坐标系可以与用于表达真实空间映射164中的真实对象的位置和取向的坐标系相同。AR坐标系可以根据输入图像中示出的某一真实对象来设置，或根据可以基于传感器数据所估计出的水平面来设置。

作为示例，将在用户开始AR应用时所捕获到的真实对象指定为参考对像。可以参考通过识别单元142所识别的参考对象的位置和取向来设置AR坐标系。参照图5，示出了真实对象R11a。真实对象R11a是其上写有字母“A”的海报。在本文中，使用真实对象R11a作为参考对象。根据参考对象R11a的位置和取向来设置图5所示的X-Y-Z坐标系。可以使用该X-Y-Z坐标系作为AR坐标系。可以将AR坐标系的比例尺设置成与参考对象R11a的大小匹配。注意，在根据较早描述的SLAM技术来识别真实空间的情况下，在识别的初始阶段中捕获参考对象之后，即使参考对象在视角外移动，也可以在不丢失对AR坐标系的跟踪的情况下持续对真实空间的识别。

[3-2.根据真实空间映射构造AR空间]

在实施例中，例如，AR空间设置单元144通过如较早所述以体素为单位来对通过识别单元142所生成的真实空间映射164内的各个真实对象进行离散化来构造AR空间。

图6是用于描述对真实对象的离散化的示例的说明图。参照图6的上部分，示出了存在于真实对象R10a的表面上的真实对象R12。由于通过识别单元142所执行的识别处理而在真实空间映射164中陈述了真实对象R12在AR坐标系中的位置和取向（P12，W12）。可以通过真实对象数据162来预限定真实对象R12的形状和大小。因此，AR空间设置单元144基于真实对象R12的位置、取向、形状和大小来计算真实对象R12的空间边界，并能够确定真实对象R12所占据的体素的范围。

在图6的下部分中，示出了与被真实对象R12所占据的该体素集合对应的虚拟对象V12。例如，由于体素VX1的至少一半的体积在真实对象R12的空间边界的内部，所以体素VX1构成虚拟对象V12的一部分。另一方面，由于体素VX2在真实对象R12的空间边界的外部，所以体素VX2不构成虚拟对象V12的一部分。例如，可以针对每个体素通过一比特信息来表达每个体素是否构成真实对象的一部分的问题。这样，在AR空间模型166中以体素为单位对真实对象进行离散化并区分被真实对象占据的体素和未被占据的体素，这在处理AR空间时产生了许多优点。后续将进一步描述这些优点。

图7是用于描述根据真实空间映射所构造的AR空间的示例的说明图。在图7的上部分中，概念上示出了针对使用图1来描述的真实空间11a的真实空间映射，该真实空间映射可以通过识别单元142来生成。该真实空间映射包括真实对象R10a的位置和取向（P10，W10）、真实对象R11a的位置和取向（P11，W11）、真实对象R12a的位置和取向（P12，W12）以及真实对象R13a的位置和取向（P13，W13）。在图7的下部分中，概念上示出了AR空间模型M10，该AR空间模型M10可以通过对针对真实空间11a的真实空间映射进行离散化来生成。AR空间模型M10区分在空间上被真实对象R10a、R11a、R12和R13占据的体素。分别地，虚拟对象V10a对应于真实对象R10a，虚拟对象V11a对应于真实对象R11a，虚拟对象V12对应于真实对象R12，以及虚拟对象V13对应于真实对象R13。这样的AR空间模型可以被用于控制AR空间内的化身和其他虚拟对象的动作。

注意，可以使用多输入图像基于累积识别结果来分别生成真实空间映射和AR空间模型。换句话说，在构造AR空间的阶段中，单个用户可以移动相机102的视角使得扫描附近的真实空间，从而生成在通过多个帧所识别的宽空间范围内的真实空间映射和AR空间模型。另外，在宽空间范围内的真实空间映射和AR空间模型还可以根据被多个用户并行捕获的真实空间的多个输入图像来协作生成。

[3-3.定制AR空间]

还可以由用户根据通过对真实空间进行离散化所构造的状态来定制AR空间。图8是用于描述对AR空间的定制的示例的说明图。参照图8，又示出了图7的下部分所示的AR空间模型M10。然而，在图8的示例中，AR空间模型M10包括虚拟对象V16和洞H17。虚拟对象V16是一组虚拟块，并且不对应于真实对象。同样可以通过AR空间模型M10来区分被虚拟对象V16占据的体素。后续将进一步描述用于添加虚拟块的用户界面的示例。洞H17是本应当被真实对象占据的体素，并对应于不存在真实对象的体素。如果能够获得对AR空间的这样的定制，则用户可以根据他或她自己的意向来独立地构造游戏场地或与其他用户通信的场地。例如，在竞争性多玩家游戏场地中，虚拟对象V16可以变成障碍物，而洞H17可以变成陷阱。

[3-4.设置虚拟对象显示属性]

AR空间设置单元144可以根据各种条件在AR空间模型166中设置与真实对象对应的虚拟对象的显示属性。可以通过AR空间设置单元144来设置的虚拟对象的显示属性可以包括虚拟对象的纹理和色彩。在后文中，将描述用于设置与真实对象对应的虚拟对象的显示属性的技术的若干示例。

（1）第一示例

图9是用于描述设置虚拟对象的纹理或色彩的技术的第一示例的说明图。在第一示例中，AR空间设置单元144基于每个真实对象的纹理或色彩来设置与该每个真实对象对应的每个虚拟对象的纹理或色彩。在图9的上部分中，示出了真实对象R12。真实对象R12是书，并在封面上绘制有图案。在真实对象R12的侧面可见叠层页的边缘。AR空间设置单元144基于可以从输入图像中获取的真实对象R12的纹理或色彩来设置与这样的真实对象R12对应的虚拟对象V12的表面的纹理或色彩。在图9的下部分中，示出了具有所应用的纹理或色彩的虚拟对象V12。在图9的示例中，针对每个体素面确定纹理或色彩。注意，还可以针对每个对象或针对虚拟对象的每个面来确定虚拟对象的纹理或色彩。根据这样的技术，经离散化的虚拟对象的外观将类似于对应的真实对象的外观，从而，即使在不显示真实对象而显示对应的虚拟对象的情况下也能够使用户容易查明输出图像中的真实空间的条件。

（2）第二示例

图10是用于描述设置虚拟对象的纹理或色彩的技术的第二示例的说明图。在第二示例中，AR空间设置单元144基于参考对象的纹理或色彩来设置与每个真实对象对应的每个虚拟对象的纹理或色彩。在图10的上部分中，示出了真实对象R12和真实对象R19。真实对象R12是书。真实对象R19是饮料罐。从这两个真实对象中假定真实对象R19是参考对象。AR空间设置单元144基于参考对象R19的纹理或色彩来设置与真实对象R12对应的虚拟对象V12的表面的纹理或色彩。在图10的下部分中，示出了具有所应用的纹理的虚拟对象V12。在图10的示例中，虚拟对象V12的纹理表示与参考对象R19的外观类似的外观。根据这样的技术，可以提供特定的AR空间，如其中用户的房间的空间装饰有被用户捕获的特定真实对象的外观的AR空间。而且，计划针对特定产品的销售活动的公司还可以提供使用产品作为参考对象的AR应用。在这样的情况下，用户的附近空间装饰有产品的包装或标志的外观，从而提高了用户对产品的意识，并潜在地诱发了用户的购买愿望。

（3）示例性修改

图11是用于描述对设置虚拟对象的显示属性的技术的示例性修改的说明图。在本文中，AR空间设置单元144基于每个真实对象的形貌参数（topographical parameter）来设置与每个真实对象对应的每个虚拟对象的外观类型。真实对象的形貌参数可以包括例如水平宽度、相距某参考表面的高度和真实对象的位置。在图11的上部分中，示出了真实对象R12和R13。真实对象R12具有大于第一阈值的宽度和大于第二阈值的高度。真实对象R13具有小于第一阈值的宽度和大于第二阈值的高度。AR空间设置单元144基于这样的形貌参数将与真实对象R12对应的虚拟对象V12的外观类型设置为山。而且，AR空间设置单元144将与真实对象R13对应的虚拟对象V13的外观类型设置为树。AR空间设置单元144还可以分别地将高度等于参考表面的区域的外观类型设置为地面，并将高度低于参考表面的区域的外观类型设置为水面。在这样的技术下，可以向用户提供其中用户的附近空间表现为装饰有自然景观的特定AR空间。

[3-5.共享AR空间]

使用到目前为止所描述的技术来构造的AR空间可以被用于单个用户享用AR应用，或被用于多个用户经由虚拟对象诸如化身进行通信。在后者情况下，简单地使多个用户分别地且单独地构造AR空间不会产生这些AR空间被共享的结果。因此，在该部分中，将描述用于在多个用户间共享AR空间的技术的若干示例。

（1）第一示例

图12是用于描述在多个用户间共享AR空间的技术的第一示例的说明图。在第一示例中，在AR空间被多个用户共享的情况下，AR空间设置单元144将基于来自这些多个用户中的父用户的捕获图像所设置的AR空间应用于该多个用户中的每个用户。图12示出了用户Ua、Ub和Uc。在这些用户中，用户Ua是父用户，而用户Ub和Uc是子用户。AR空间模型M11是表达基于来自父用户Ua的捕获图像所设置的AR空间的模型（在后文中称为父AR空间模型）。例如，可以通过对父用户Ua附近的真实空间进行离散化来生成父AR空间模型M11。后续，从父用户Ua的设备或应用服务器向子用户Ub和Uc的设备分别传送父AR空间模型M11。子用户侧的信息处理设备100的AR空间设置单元144参考经由数据获取单元130所获取的父AR空间模型，并与通过图像获取单元120所获取的输入图像中示出的真实空间相关联地设置通过父AR空间模型所表达的AR空间。根据这样的技术，可以实现例如其中子用户的化身表现为参观所选择的父用户的房间的AR应用。

（2）第二示例

图13是用于描述在多个用户间共享AR空间的技术的第二示例的说明图。在第二示例中，在AR空间被多个用户共享的情况下，AR空间设置单元144通过合并多个特定于用户的AR空间来形成单个AR空间，该多个特定于用户的AR空间分别基于来自这些多个用户的捕获图像来构造。AR空间设置单元144可以通过以体素为单位计算多个特定于用户的AR空间的和来合并该多个特定于用户的AR空间。图13示出了用户Ua和Ub。用户Ua和Ub是彼此的伙伴用户。在图13的左上部中，示出了特定于用户的AR空间模型M21，该特定于用户的AR空间模型M21表达通过对用户Ua附近的真实空间进行离散化所构造的特定于用户的AR空间。在图13的右上部中，示出了特定于用户的AR空间模型M22，该特定于用户的AR空间模型M22表达通过对用户Ub附近的真实空间进行离散化所构造的特定于用户的AR空间。在用户Ua和Ub的设备上或在应用服务器上合并该特定于用户的AR空间模型M21和M22以形成单个合并的AR空间模型M23。在图13的示例中，首先通过以参考对象的位置和取向作为参考来对准特定于用户的AR空间模型M21和M22，然后通过以体素为单位计算逻辑或（OR）来合并该特定于用户的AR空间模型M21和M22，从而形成该合并的AR空间模型M23。在本文中，逻辑或是指：被区分为在至少一个特定于用户的AR空间模型中被真实（虚拟）对象占据的体素还被区分为在合并的AR空间模型中被真实（虚拟）对象占据。例如，特定于用户的AR空间模型M21包括与真实对象对应的虚拟对象V21和V22。特定于用户的AR空间模型M22包括与真实对象对应的虚拟对象V23和V24。合并的AR空间模型M23包括所有这些虚拟对象V21、V22、V23和V24。

在后文中，出于比较的目的，假定在用户Ua和Ub之间共享特定于用户的AR空间模型M22（而非合并的AR空间模型M23）。使用图1和图2所描述的化身可以在AR空间内移动使得不与其他虚拟对象碰撞。然而，由于特定于用户的AR空间模型M22不包括虚拟对象V22，所以化身可以通过虚拟对象V22的位置。由于在用户Ub侧在虚拟对象V22的位置处不存在真实对象，所以这样的化身移动不会产生问题。然而，在用户Ua侧，在虚拟对象V22的位置处存在真实对象，而因此可以呈现其中化身表现为直穿过真实对象的异常显示。相比之下，在用户Ua和Ub之间共享合并的AR空间模型M23的情况下，合并的AR空间模型M23包括所有的虚拟对象V21、V22、V23和V24，从而有效地防止了共享的AR空间内的化身与任一个用户附近的真实对象冲突。如果以体素为单位对特定于用户的AR空间模型进行离散化，则可以通过使用简单算法基于逻辑操作以体素为单位在小计算量情况下合并AR空间模型。注意，在其他示例中，还可以计算逻辑与（AND）来代替逻辑或。

（3）第三示例

图14是用于描述在多个用户间共享AR空间的技术的第三示例的说明图。在第三示例中，在AR空间被多个用户共享的情况下，AR空间设置单元144通过合并多个特定于用户的AR空间来形成单个AR空间，该多个特定于用户的AR空间分别基于来自这些多个用户的捕获图像来构造。AR空间被分割成分别分配给每个用户的多个区，并且AR空间设置单元144可以通过根据各个区的用户分配针对各个区分别选择不同的特定于用户的增强现实空间来合并特定于用户的增强现实空间。图14示出了用户Ua和Ub。用户Ub是用户Ua的对手。在图14的左上部中，示出了特定于用户的AR空间模型M31，该特定于用户的AR空间模型M31表达通过对用户Ua附近的真实空间进行离散化所构造的特定于用户的AR空间。在图14的右上部中，示出了特定于用户的AR空间模型M32，该特定于用户的AR空间模型M32表达通过对用户Ub附近的真实空间进行离散化所构造的特定于用户的AR空间。在用户Ua和Ub的设备上或在应用服务器上合并该特定于用户的AR空间模型M31和M32以形成单个合并的AR空间模型M33。在图14的示例中，AR空间的左半部是分配给用户Ua的区Ta，而AR空间的右半部是分配给用户Ub的区Tb，其中以参考对象的位置作为参考。AR空间设置单元144针对区Ta选择特定于用户的AR空间模型M31，针对区Tb选择特定于用户的AR空间模型M32，并通过在区边界处联合这些所选择的特定于用户的AR空间模型来形成合并的AR空间模型M33。该合并的AR空间模型M33包括在特定于用户的AR空间模型M31中被包括在区Ta中的虚拟对象V31，并包括在特定于用户的AR空间模型M32中被包括在区Tb中的虚拟对象V32和V33。

根据这样的技术，多个用户可以将构造AR空间和定制AR空间的任务分到独立的区中。而且，在竞争性多玩家游戏应用（诸如，用化身玩的生存游戏、躲避球或打雪仗）中，每个用户可以构造他或她自己的库，其中联合特定于用户的库以整体地形成单个多玩家场地。

注意，在任一种技术中，例如，AR空间设置单元144还可以基于输入图像中示出的真实空间内的参考对象的大小来设置被多个用户共享的AR空间的显示比例。为此，例如，在从服务器传送的AR空间模型被用于设置AR空间的情况下，可以避免所设置的AR空间表现为在真实空间上方浮动或相反地陷入到真实空间中的异常显示。另外，例如，可以基于相机与真实空间中的某种参考表面之间的距离来设置AR空间的显示比例，该参考表面诸如地板表面、墙壁表面或桌子表面。

[3-6.与所共享的对象相关的设置]

（1）虚拟对象显示属性

在多个用户之间共享AR空间的情况下，存在在所共享的AR空间模型中包括与不存在于给定用户附近的真实对象对应的虚拟对象的可能性。在该情况下，如果不显示该虚拟对象，则用户将不能识别出该对象的存在。另一方面，即使不显示与存在于用户附近的真实对象对应的虚拟对象，由于真实对象被示出在输入图像中，所以用户能够识别出该对象的存在。当使与真实对象对应的虚拟对象显示在屏幕上时，对象控制单元146可以根据哪个用户的捕获图像示出了与该虚拟对象对应的真实对象来改变虚拟对象的显示属性。例如，对象控制单元146可以使与来自当前设备的用户的捕获图像中示出的真实对象对应的虚拟对象隐藏或半透明，并仅将与来自其他用户的捕获图像中示出的真实对象对应的虚拟对象叠加到输入图像上。另外，对象控制单元146还可以针对每个用户以不同方式设置与来自其他用户的捕获图像中示出的真实对象对应的虚拟对象的纹理或色彩。

图15是用于描述对被多个用户共享的AR空间的显示的示例的说明图。参照图15，示出了被用户Ua持有的信息处理设备100a。在信息处理设备100a的屏幕上显示了叠加到输入图像上的用户Ua的化身A11和用户Ub的化身A12。输入图像示出了真实对象R12。真实对象R12存在于用户Ua附近的真实空间中。另外，在信息处理设备100a的屏幕上显示了虚拟对象V15。在用户Ua附近的真实空间中不存在与虚拟对象V15对应的真实对象，然而在用户Ub附近的真实空间中存在与虚拟对象V15对应的真实对象（未示出）。通过这样设置虚拟对象的显示属性（在图15的示例中，显示/隐藏），用户能够区分出存在于他或她自己附近的对象与AR应用图像内的所有其他对象。而且，在针对每个用户独立地设置虚拟对象的显示属性的情况下，用户可以区分出哪些虚拟对象源自哪个用户附近的真实对象。

（2）共享的/不共享的设置

在多个用户之间共享AR空间的情况下，存在用户不希望其他用户了解在他或她自己附近存在哪种真实对象的可能性。如果开始AR应用包括了在物理上从真实空间中移除用户不希望其他用户了解的真实对象，则会使用户不方便。因此，AR空间设置单元144还可以通过仅对被用户指定的真实对象进行离散化来设置AR空间。另外，AR空间设置单元144还可以提示用户指定待从AR空间中排除的真实对象，并通过对未被排除的真实对象进行离散化来设置AR空间。

图16是用于描述用户指定待共享或不共享的对象所借助的用户界面的示例的说明图。参照图16，在信息处理设备100a中在屏幕上显示示出了真实空间11a的图像Im13。图像Im13示出了存在于真实空间11a中的真实对象R12。例如，识别单元142使用真实对象数据162来识别真实对象R12。在设置AR空间之前，AR空间设置单元144将询问是否从AR空间中排除所识别的真实对象R12的消息MSG11叠加到图像Im13上。例如，在用户选择从AR空间中排除真实对象R12的情况下，在AR空间模型中不包括与真实对象R12对应的虚拟对象。另一方面，在用户选择不从AR空间中排除真实对象R12的情况下，在AR空间模型中包括与真实对象R12对应的虚拟对象。通过提供这样的用户界面，可以在AR应用中仅共享用户允许与其他用户共享的对象。

（3）体素粒度

AR空间设置单元144还可以提示用户指定用于对真实对象进行离散化的体素的粒度。如果体素粒度较小，则与真实对象对应的虚拟对象可以清晰地再现该真实对象的外观。如果体素粒度较大，则与真实对象对应的虚拟对象仅可以模糊地再现该真实对象的外观。

图17是用于描述对体素粒度的设置的说明图。在图17的左部，以示例示出了真实对象R19。在图17的右部，示出了与真实对象R19对应的虚拟对象V19a、V19b和V19c。虚拟对象V19a的体素粒度相对较大，并且虚拟对象V19a由三个体素组成。虚拟对象V19b的体素粒度小于虚拟对象V19a的体素粒度，并且虚拟对象V19b由24个体素组成。虚拟对象V19c的体素粒度更小于虚拟对象V19b的体素粒度，并且虚拟对象V19c由更多个体素组成。如图17所示，与虚拟对象V19a和虚拟对象V19b相比，虚拟对象V19c较清晰地再现了真实对象R19的外观。

例如，在用户注重真实空间的再现性的情况下，用户可以指定较小的体素粒度。相反，在与真实空间的再现性相比用户更注重保护隐私的情况下，用户可以指定较大的体素粒度。如果提供了能够指定这样的体素粒度的用户界面，则用户可以在各个时刻选择与他或她自己的意向匹配的体素粒度。

代替直接由用户来指定，还可以基于用户的隐私设置来确定体素粒度。如图17所示，在用户寻求高级别的隐私保护的情况下，AR空间设置单元144确定较大的体素粒度。另一方面，在用户允许低级别的隐私保护的情况下，AR空间设置单元144确定较小的体素粒度。如果提供了能够指定这样的隐私级别的用户界面，则AR应用可以适应性地调节体素粒度以匹配用户所寻求的隐私保护的级别。

<4.虚拟对象操作>

在该部分中，将描述与对放置于AR空间内的化身和其他虚拟对象的操作相关的各种实施例。

[4-1.操作窗口示例]

（1）化身选择窗口

图18是用于描述化身选择窗口的示例的说明图。化身选择窗口是可以在用户开始基于化身的AR应用时或在用户将用户数据注册在应用中时所显示的窗口。在图18的示例中，四个化身显示在化身选择窗口Im21中。例如，用户能够通过在左右方向上轻拂来改变当前所选择的候选化身。如果用户轻击同意（OK）按钮，则此时所选择的候选化身（通常，该化身显示在前面）被选择作为针对用户的化身。

（2）操作窗口

图19是用于描述基本操作窗口的示例的说明图。操作窗口是可以在执行AR应用的同时显示的窗口。在图19的示例中，在操作窗口Im22中显示通过对象控制单元146所生成的输出图像。例如，可以通过将虚拟对象叠加到示出了真实空间的输入图像上来生成该输出图像。在图19的示例中，化身A11和化身A12被显示为虚拟对象。而且，按钮B1、B2、B3和B4被叠加到操作窗口Im22上。

如使用图1和图2所描述的，在使用AR应用的同时，用户一般而言举起指向真实空间的设备（相机）。相机指向哪个方向的问题对于AR应用是重要的。相机取向的无意摇动还会不利地影响真实空间识别的精度。另外，大多数移动设备具有触摸板显示器并实现了基于触摸输入的用户界面，但是触摸输入比较容易引起设备取向的摇动。相比之下，通过尽可能降低设备取向的摇动，该部分中所描述的用户界面实现了AR应用的一致操作和改进的操作性。

例如，对象控制单元146将被用户操作的用户界面叠加到显示AR空间内的对象的操作窗口的右边缘区和左边缘区中至少一者上。右边缘区和左边缘区是抓住显示器的用户的拇指所达到的区。在图19的示例中，按钮B1和B2被叠加到用户右手拇指所达到的右边缘区Rg1上，而按钮B3和B4被叠加到用户左手拇指所达到的左边缘区Rg2上。在这样的用户界面放置下，用户能够在用双手支承信息处理设备100的同时触摸按钮B1、B2、B3或B4。对象控制单元146还可以自动区分用户的惯用手，并将更多的用户界面放置在用户优势手侧的边缘区中。

而且，例如，对象控制单元146基于AR空间内的对象与相机的光轴之间的位置关系来确定在AR空间内所执行的动作的目标位置。相机的光轴通常是在从中心图像捕获平面的深度方向上与图像捕获平面正交地延伸的直线。在图19中，用“X”符号表示AR空间内的桌子的表面与相机的光轴之间的交点C1。在接下来的部分中将描述基于AR空间中的对象与相机的光轴之间的这样的位置关系的化身动作的若干示例。

[4-2.化身动作]

作为示例，对象控制单元146基于AR空间内的对象与相机的光轴之间的交点的位置来确定被化身所执行的动作的目标位置。例如，化身可以在AR空间内移动。在该情况下，化身移动的目的地是动作的目标位置。而且，化身可以使用AR空间内的项目。在该情况下，被化身使用的项目的应用点是动作的目标位置。

（1）移动/停止

图20是用于描述对化身进行移动的操作的示例的说明图。在图20的上部分中，示出了图像Im23a。在图像Im23a中，显示了化身A11。在本文中，为了简单起见，使与真实对象对应的虚拟对象的体素呈现为格子。然而，体素可以实际上不可见。化身A11被放置在虚拟对象V10的顶部上。位置P11是虚拟对象V10与相机的光轴之间的交点的位置。为了使用户能够察觉位置P11，还可以显示表示位置P11的标记。化身A11以位置P11为目的地在AR空间内移动。在图20的下部分所示出的图像Im23b中，化身A11更接近位置P11。通过移动信息处理设备100并改变相机的方向，用户能够使化身朝向期望的目的地移动。这里，由于用户不触摸屏幕，所以用户能够在稳定地支承信息处理设备100的同时移动化身。注意，移动的目的地（动作的目标位置）还可以不与对象和相机的光轴之间的交点的位置匹配。例如，还可以将与该交点具有固定偏移的位置确定为动作的目标位置。

注意，即使移动的目的地根据用户操作而改变，对象控制单元146也不立即将化身移动至该目的地，而是以比目的地改变速度慢的速度朝向目的地移动化身。另外，可以通过以体素为单位对真实对象进行离散化来生成AR空间模型，并且对象控制单元146可以如图20的示例以体素为单位来确定动作的目标位置。因此，即使对象与相机的光轴之间的交点的位置由于相机取向的微小摇动而略微变动，只要该变动保持在一个体素的范围内，动作的目标位置就不改变。在这些创新情况下，使化身运动免于对相机运动过度敏感。因此，在AR应用中实现了自然化身运动。对象控制单元146还可以以包括多个体素的体素集为单位而不是以单个的体素为单位来确定动作的目标位置。通过随着从相机到对象的距离增大而增大体素集的大小，还可以在不受距离影响的情况下稳定化身运动的敏感性。

在诸如竞争性多玩家游戏的应用中，例如，还重要的一点是，另外提供一种快速移动化身的方式。这样的快速移动可以经由后输入界面（诸如设置在屏幕相反侧的壳表面上的触摸传感器）与用户输入相关联。

在从化身的当前位置到目的地的线性路线上存在成为障碍物的虚拟对象的情况下，对象控制单元146可以自动地设置非线性路线使得化身自动地避免障碍物。在通过以体素为单位所离散化的AR空间模型来表达AR空间的情况下，容易确定AR空间内的给定坐标点是否被某种对象占据。因此，对象控制单元146能够参考这样的AR空间模型并以低计算代价自动地设置化身路线。

按钮B1是用于使用户能够选择动作类型的用户界面。与按钮B1相关联的动作类型包括移动化身和停止化身。在图20的示例中，已经选择移动化身来作为动作。

图21是用于描述停止化身移动的操作的示例的说明图。在图21的上部分中，又示出了图像Im23b。在图像Im23b中，显示了化身A11。位置P11是虚拟对象V10与相机的光轴之间的交点的位置，并是化身A11的移动的目的地。这里，如果用户用他或她的右手拇指轻击按钮B1，例如，则化身A11的移动停止。在图21的下部分所示出的图像Im23c中，化身A11停止在此时的位置处。由于按钮B1被放置在操作窗口的右边缘区中，所以用户能够在不从信息处理设备100中移除他或她的右手的情况下停止化身。如果用户又轻击按钮B1，则可以恢复化身A11的移动。

（2）改变方向

可以使用若干技术来实现改变化身的方向。例如，化身可以简单地面向移动目的地的方向。图22是用于描述对化身的方向进行改变的操作的示例的说明图。在图22的上部分中，又示出了图像Im23b。在图像Im23b中，显示了化身A11。位置P11是虚拟对象V10与相机的光轴之间的交点的位置，并是化身A11的移动的目的地。在此之后，假定位置P12由于用户移动信息处理设备100和改变相机的方向而成为移动的新目的地。在图22的下部分所示出的图像Im23d中，化身A11面向位置P12的方向。在这样，通过移动信息处理设备100，用户还能够改变化身的方向。

而且，还可以实现用于改变化身的方向的另一个用户界面，例如，对象控制单元146可以基于围绕相机的光轴的转动来控制化身的取向。图23是用于描述对化身的方向进行改变的操作的另一个示例的说明图。在图23的上部分中，又示出了图像Im23b。这里，假定用户围绕光轴来转动信息处理设备100。对象控制单元146根据由识别单元142对相机取向的识别结果来检测该转动，并改变化身A11的方向。在图23的下部分所示出的图像Im23e中，化身A11已转向其左方。

注意，用户使用如在图23的下部分中倾斜的信息处理设备100来持续化身操作可能会不舒服。因此，对象控制单元146还可以仅在触摸或按压所指定的按钮（未示出）的状态下基于围绕相机的光轴的转动来改变化身的取向。因此，用户能够在使化身免于回复到其原始取向的同时使信息处理设备100返回到其原始取向。

用于改变化身的方向的技术不限于以上示例。例如，在化身附近存在所指定的关注对象的情况下，对象控制单元146还可以朝向该关注对象自动地改变化身的方向。例如，关注对象可以包括另一个用户的化身或一些其他的预限定的虚拟对象。

（3）使用项目

图24A和图24B是用于描述由化身执行的使用项目动作的第一示例的说明图。在图24A的上部分中，示出了图像Im24a。在图像Im24a中，示出了化身A11。位置P11是虚拟对象V10与相机的光轴之间的交点的位置。按钮B2是用于使用户能够选择动作类型的用户界面。与按钮B2相关联的动作类型包括放置块。在图24A的示例中，化身A11由于用户轻击按钮B2而拿着块BL1。如果用户另外地轻击屏幕，则化身A11将块BL1放置在AR空间内，从而取位置P11作为应用的项目点（在该情况下，块的放置点）。在图24A的下部分所示出的图像Im24b中，化身A11朝向位置P11投掷块BL1。而且，在图24B的上部分所示出的图像Im24c中，块BL1已经着陆在位置P11处。根据这样的用户界面，用户能够通过移动信息处理设备100来改变相机的方向使化身将块放置在AR空间内的期望位置处。在该情况下，用户能够在不从信息处理设备100移除他或她的手的情况下指定期望位置。在图24B的下部分所示出的图像Im24d中，在AR空间内放置了更多的块。例如，这样的用户界面还可以被实现为使用户能够如图8所述来定制AR空间。另外，例如，该用户界面可以被实现为实现与积木或3D块匹配游戏类似的AR应用。

图25是用于描述对被化身使用的项目进行切换的操作的示例的说明图。在图25中，示出了图像Im25。在图像Im25中，叠加了按钮B2。如果用户对按钮B2执行轻拂输入，则可使用的项目在多个项目候选之间切换（项目候选可以被转换）。在图25中，示出了5种类型的项目候选。例如，这些项目候选可以包括具有不同纹理或色彩的块或除块之外的其他项目。注意，可使用的项目候选还可以根据用户所负担的成本而进行改变（诸如，货币成本如项目购买费、或在工作方面的成本如在AR空间内的活动成绩）。在接下来的示例中，化身使用了用于打碎放置块的锤子。

图26是用于描述由化身执行的使用项目动作的第二示例的说明图。在图26的上部分中，示出了图像Im26a。在图像Im26a中，示出了化身A11。位置P13是虚拟对象V10与相机的光轴之间的交点的位置。在图26的示例中，化身A11由于用户轻击按钮B2而拿着锤子HM1。如果用户另外地轻击屏幕，则化身A11挥动锤子HM1，从而取位置P13作为应用的项目点（在该情况下，是锤子击打的点）。在图26的下部分所示出的图像Im26b中，化身A11挥动了锤子HM1，并且存在于位置P13处的块BL12已被打碎。根据这样的用户界面，用户能够通过移动信息处理设备100来改变相机的方向使化身打碎放置在AR空间内的期望位置处的块。在该情况下，用户能够在不从信息处理设备100移除他或她的手的情况下指定期望位置。

注意，在执行如该部分中的示例所示的动作的情况下，当真实空间内的与目标位置对应的真实对象能够进行反应时，对象控制单元146可以指令真实对象进行反应。例如，在真实空间映射164表示在锤子被挥动到其上的目标位置处存在容纳有振动器的客户端设备（真实对象）的情况下，对象控制单元146可以将无线信号发送至该客户端设备并使振动器振动。真实对象的反应不限于这样的示例，而还可以例如是来自发光二极管（LED）的光发射或来自扬声器的声音效果的输出。因此，可以呈现真实空间与AR空间之间的密切联系，并提高AP应用的真实性。

[4-3.使用化身进行的通信]

还可以出于通过化身在用户间进行通信的目的来执行化身动作。对象控制单元146根据用户输入使化身执行用于通过化身进行通信的动作。

图27是用于描述通过化身进行的通信的第一示例的说明图。在图27的上部分中，示出了图像Im31a。在图像Im31a中，显示了化身A11和化身A12。化身A11是被用户操作的化身。化身A12是另一个用户的化身。按钮B3是用于通过化身进行的通信的、在显示动作菜单和隐藏动作菜单之间进行切换的用户界面。在图27的示例中，由于用户轻击按钮B3，所以包含7个命令按钮的动作菜单被叠加到图像上。在这些命令按钮之中，命令按钮CO1是用于使化身执行挥手动作的用户界面。在图27的下部分所示的图像Im31b中，化身A11由于用户轻击命令按钮CO1而挥动他的手。还能够将这样的动作显示在对化身A12进行操作的另一个用户的设备的屏幕上。因此，建立了通过化身进行的通信。

图28是用于描述通过化身进行的通信的第二示例的说明图。在图28的上部分中，示出了图像Im31c。在图像Im31c中，显示了化身A11和化身A12。例如，按钮B5是用于通过化身进行的聊天的用户界面，并显示为动作菜单的一部分。在轻击按钮B5的情况下，还可以将使用户能够输入聊天消息的软件键盘显示在屏幕上。另外，还可以通过语音输入界面来输入聊天消息。在图28的下部分所示的图像Im31d中，显示被用户输入的聊天消息的弹出式菜单CB1被叠加在化身A11附近。还将这样的聊天动作显示在对化身A12进行操作的另一个用户的设备的屏幕上。因此，建立了好像化身正在交谈一样的通信。

为了促进通过化身在用户间进行的通信，还重要的是，用户应了解与在AR空间内遇到的其他用户的化身有关的信息。图29是用于描述对化身信息进行显示的操作的示例的说明图。在图29中，示出了图像Im32。在图像Im32中，显示了化身A11和化身A12。例如，如果用户轻击屏幕上的化身A12，则显示针对化身A12的化身信息的弹出式菜单CB2被叠加在化身A12附近。例如，弹出式菜单CB2显示化身A12的昵称和其他属性信息（或化身A12的用户）。

[4-4.对AR空间的操作]

如到目前为止所描述的，原则上，与输入图像中示出的真实空间相关联地设置AR空间。另外，如果相机的视角改变，则屏幕上的AR空间的视野发生改变以跟踪视角的改变。然而，用户不方便持续移动相机或移动他自己或她自己以便于看见AR空间中的用户希望看见的位置。因此，如后文所述，重要的是，提供使用户能够控制AR空间自身的位置和取向的用户界面。

图30是用于描述对AR空间的位置进行改变的操作的示例的说明图。在图30的上部分中，示出了图像Im33a，在图像Im33a中，示出了化身A12。然而，化身A12定位在窗口边界的附近。因此，用户在双手的拇指触摸屏幕的情况下以多触摸手势向右（在附图中是D1方向）拖动两个拇指。对象控制单元146在检测到这样的用户输入的情况下平行于拖动方向移动AR空间相对于相机的相对位置。在图30的下部分所示的图像Im33b中，由于AR空间平行向右（在附图中是D2方向）移动，所以化身A12的显示位置更接近窗口中心。通过提供这样的用户界面，可以更容易在屏幕上察觉定位在远离用户的位置处的虚拟对象而无需用户他自己或她自己进行移动。

图31是用于描述对AR空间的取向进行改变的操作的示例的说明图。在图31的上部分中，示出了图像Im34a。在图像Im34a中，显示了化身A11和化身A12。然而，化身A11被隐藏在化身A12的阴影中。因此，例如，用户在双手拇指触摸屏幕的情况下以多触摸手势分别向下（在附图中是D3方向）拖动他或她的左手拇指并向上（在附图中是D4方向）拖动他或她的右手拇指。对象控制单元146在检测到这样的用户输入的情况下，转动AR空间相对于相机的相对取向。在图31的下部分所示的图像Im34b中，由于AR空间绕Z轴在附图的D5方向上转动，所以化身A11不再被化身A12隐藏。通过提供这样的用户界面，可以更容易在屏幕上察觉隐藏在另一个对象的阴影中的虚拟对象而无需用户他自己或她自己进行移动。

注意，对象控制单元146还可以基于所指定的用户输入（诸如，挤压或伸展）来修改AR空间的比例而非AR空间相对于相机的相对位置或取向。

[4-5.其他操作]

配置不限于之前的示例，而还可以在AR应用中实现各种操作。例如，图29所示的操作窗口Im22的按钮B4是用于在显示和隐藏可以实现在AR应用中的若干另外的菜单之间进行切换的用户界面。图32示出了可以由于轻击按钮B4而被显示的操作菜单的示例。在图32所示的图像Im35中，如果用户对按钮B4执行轻拂输入，则可选择的操作菜单在多个菜单候选之间进行切换（菜单候选可以被转换）。在图32中，示出了4种类型的项目候选B11、B12、B13和B14。例如，菜单候选B11是用于取消被化身执行的动作（将AR空间恢复到动作之前的状态）的操作菜单。菜单候选B12是用于重设AR空间的状态（例如，去除所有放置块）的操作菜单。菜单候选B13是用于切换AR应用的操作模式的操作菜单，后续将对其进行描述。菜单候选B14是用于用户退出AR空间（登出）的操作菜单。

[4-6.各种操作模式]

在该部分中，将描述可以被信息处理设备100支持的若干操作模式。

（1）实时模式/快照模式

到目前为止所描述的AR应用通常在屏幕上显示在AR空间内的被叠加到每帧更新的（通过图像获取单元120连续获取的）输入图像上的虚拟对象。在本说明书中指示这样的操作模式为实时模式。然而，当对若干情景进行成像时，有时可能不期望以实时模式进行操作。

例如，用户在朝向真实空间举起信息处理设备100时会变得很累。然而，在AR应用以实时模式进行操作的情况下，例如，如果用户将信息处理设备100放置在桌子的顶部上，则最新近的输入图像将仅示出桌子的表面，而将不显示AR空间的合适图像。因此，作为示例，信息处理设备100还支持以下所述的快照模式。

在快照模式下，对象控制单元146使AR空间内的虚拟对象叠加到作为单个静止图像（快照图像）的输入图像上而不更新输入图像。可以在从实时模式转变到快照模式时通过图像获取单元120获取快照图像，或者可以在某其他定时处通过图像获取单元120获取快照图像。注意，代替特定时刻的输入图像，还可以使用另一个图像（例如预先准备的针对快照模式的图像）作为快照模式下的背景图像。

图33是用于描述实时模式和快照模式的说明图。在图33的左侧，用户Ua朝向真实空间11a举起信息处理设备100。图像Im41是可以在实时模式下显示的图像。在图像Im41中，示出了真实对象R11a和化身A11。同时，在图33的右侧，信息处理设备100远离用户Ua的手放置在桌子R10a的顶部上。如果信息处理设备100假设地在实时模式下操作，则输入图像将仅示出桌子的表面（或输入图像由于照明不充分而被盖住）。然而，在信息处理设备100在快照模式下操作的情况下，在将信息处理设备100放置在桌子R10a的顶部上之前所获取的快照持续被用作输入图像。图像Im42是可以在快照模式下显示的图像。图像Im42与图像Im41类似地显示真实对象R11a和化身A11。

通过支持这样的快照模式，即使用户临时停止举起信息处理设备100，也可以持续呈现AR应用的合适显示。因此，可以降低对用户的物理应力。注意，在快照模式下，基于较早所述的在AR空间内的对象与相机的光轴之间的位置关系的用户界面被禁用。例如，可以在快照模式下提供基于屏幕上触摸位置（例如，触摸位置可以用作动作的目标位置）的用户界面作为替换的用户界面。因此，用户仍能够在快照模式下操作化身。还可以在屏幕上显示用于向用户通知当前操作模式是实时模式还是快照模式的指示符。

图34是用于描述图33所示的两类操作模式之间的转变的说明图。在图34中，触发事件T1是用于从实时模式转变到快照模式的触发事件。触发事件T1可以包括检测出已被放下的设备、检测出所指示的用户输入和未能持续识别真实空间。触发事件T1是用于从快照模式转变到实时模式的触发事件。触发事件T2可以包括检测出已拿起设备、检测出所指示的用户输入和成功地识别了真实空间。

例如，对象控制单元146可以基于通过数据获取单元130所获取的传感器数据来自动检测出已放下（或拿起）设备。另外，对象控制单元146还可以检测出用于通过如图32的示例所示的菜单候选B13的用户界面来对操作模式进行切换的用户输入。

另外，对象控制单元146可以在在实时模式下在指定的数量的帧上持续地未能识别出输入图像中示出的真实对象的情况下将操作模式切换到快照模式。例如，在基于识别输入图像内的特征的识别单元142来生成真实空间映射的情况下，如果输入图像中示出的特征的数量极大地减少，则可能不能识别出真实对象（以及相机的位置和取向）。如果这样的识别失败持续，则对象控制单元146变得难于将虚拟对象诸如化身放置在合适的位置处，并且AR应用的显示变得不一致。因此，通过在显示变得不一致之前自动地将操作模式切换到快照模式，对象控制单元146能够防止不一致的、异常的图像呈现给用户。注意，对象控制单元146还可以在将操作模式切换到快照模式之前在屏幕上显示警告消息。另外，对象控制单元146可以响应于识别真实对象的失败来改变用户的化身的显示属性（诸如闪烁或半透明）。因此，可以向用户通知化身表现出不一致行为的原因。

（2）蓝图模式

蓝图模式是一种应用模式。可以在用户定制AR空间时利用蓝图模式，或者在与积木类似的应用使用中利用蓝图模式。

图35是用于描述蓝图模式的说明图。参照图35，示出了放置有化身A11的AR空间的图像Im43。在该AR空间中，存在包括已被化身A11设置的块BL21的块组。图像Im43不仅显示了该已设置块组，而且显示了包括块BL22的未设置半透明块组。例如，在用户通过叠置多个块来形成某种虚拟对象时按照蓝图来参考该未设置块组的显示。块BL23是化身A11试图重新设置的块。在图Im43的上部分中，还示出了直到完成虚拟对象为止剩余块的数量。蓝图数据可以由数据存储单元160来预先存储，或通过数据获取单元130从外部设备诸如应用服务器来获取。

（3）化身视角模式

对象控制单元146通常取相机102的位置和取向作为参考来生成AR空间的图像。在本说明书中指示这样的显示模式为相机视角模式。相比之下，在化身视角模式下，对象控制单元146通过取放置于AR空间内的化身的位置和取向作为参考来生成AR空间的图像。

图36是用于描述相机视角模式和化身视角模式的说明图。在图36的上部分中，示出了在相机视角模式下所生成的图像Im44a。在图像Im44a中，显示了化身A11和化身A12。弹出式菜单CB3被叠加在化身A12附近。弹出式菜单CB3是显示由化身A12的用户输入的聊天消息的虚拟对象。在图36的下部分中，示出了在化身视角模式下生成的图像Im44b。图像Im44b是基于化身A11的位置和取向所生成的图像。在图像Im44b中，化身A12被显示得较大，好像在用户眼前一样。而且，同样，弹出式菜单CB3以较大的尺寸被叠加到图像Im44b上。通过引入这样的化身视角模式，提高了用户浸入AR空间的感觉。

图37是用于描述图36所示的两类显示模式之间的转变的说明图。在图37中，触发事件T3是用于从相机视角模式转变到化身视角模式的触发事件。触发事件T3可以包括指定的事件的发生和检测出指定的用户输入。触发事件T4是用于从化身视角模式转变到相机视角模式的触发事件。触发事件T4可以包括发生的事件的结束、检测出指定的用户输入和固定量时间的过去。指定的事件可以例如包括如使用图27和图28所述的化身间通信、化身与另一个虚拟对象（例如，被另一个化身投掷的块）之间的碰撞、以及竞争性多玩家游戏中的攻击和防护。通过这样在两类显示模式之间转变，可以向用户提供更多种AR应用图像，而非来自视角的改变甚微的单调图像。

<5.AR社区>

在本部分中，将在如下假定下来描述各种实施例：多个用户利用使用到目前为止所描述的机构作为平台的AR社区。

注意，在以下描述中，参与特定AR空间的用户被称为“登入（checkin）”到AR空间。离开AR空间的用户被称为从AR空间“登出（checkout）”。如果用户登入到AR空间，则对象控制单元146例如将用户的化身放置在该AR空间内。后续，在放置的化身进入相机102的视角的情况下，该化身的图像被显示在屏幕上。

[5-1.形成AR社区]

与参与AR社区的多个用户相关的一个重要问题是哪些用户将与哪些其他的用户共同存在于针对这些用户所设置的共享的AR空间中。如果在没有任何根据的情况下设置被所有用户共享的AR空间，则大量化身在AR空间内以混乱方式行为，并且不能预期到良好的用户体验。因此，作为示例，AR空间设置单元144根据与输入图像相关的相关信息（在后文中称为图像相关信息）来与输入图像中示出的真实图像相关联地设置不同的AR空间。例如，针对捕获到输入图像的用户，AR空间设置单元144可以设置根据图像相关信息选自预先准备的多个AR空间候选中的AR空间。除了以上内容之外还包括（或除以上内容外），针对捕获到输入图像的用户，AR空间设置单元144还可以设置通过根据图像相关信息来调节AR空间候选的可变参数所形成的AR空间。

（1）AR空间选择的第一示例

图38是用于描述对AR空间进行选择的技术的第一示例的说明图。在第一示例中，图像相关信息包括输入图像中示出的参考对象的属性。作为示例，参考对象的属性包括参考对象的类型。AR空间设置单元144针对捕获到同样类型的参考对象的用户设置共享的AR空间。在图38的上部分中，示出了5个用户Ua、Ub、Uc、Ud和Ue。

例如，用户Ua捕获到真实对象R11a作为参考对象。因此，用户Ua的设备的AR空间设置单元144针对用户Ua设置AR空间M41a。而且，用户Ub捕获到真实对象R11b作为参考对象。真实对象R11b是与真实对象R11a具有相同类型的对象（例如，具有相同纹理的海报）。因此，用户Ub的设备的AR空间设置单元144针对用户Ub设置与用户Ua共享的AR空间M41a。

同时，用户Uc捕获到真实对象R19c作为参考对象。真实对象R19c是与真实对象R11a和R11b具有不同类型的对象。因此，用户Uc的设备的AR空间设置单元144针对用户Uc设置与AR空间M41a不同的AR空间M41b。同时，用户Ud捕获真实对象R19d作为参考对象。真实对象R19d是与真实对象R19c具有相同类型的对象（例如，相同饮品的饮料罐）。因此，用户Ud的设备的AR空间设置单元144针对用户Ud设置与用户Uc共享的AR空间M41b。而且，用户Ue捕获到真实对象R19e作为参考对象。真实对象R19e是与真实对象R19c和R19d具有相同类型的对象。因此，用户Ue的设备的AR空间设置单元144针对用户Ue设置与用户Uc和Ue共享的AR空间M41b。

这样，通过根据输入图像中示出的参考对象的属性来将用户分配在不同的AR空间之中，可以形成以下AR社区：其中，相对于已拥有的对象具有共同之处的用户的化身聚集在单个AR空间中。例如，在产品销售应用中，由于获取了特定产品的用户形成AR社区并彼此通信，所以预期到产品将变成交谈的话题，从而产生了以加速速率提高产品意识的效果。

注意，AR空间M41a和M41b可以分别地通过AR应用供应者来预先构造，或在用户登入时根据使用图12至图14所描述的任一种方法来动态地构造。

（2）AR空间选择的第二示例

图39是用于描述对AR空间进行选择的技术的第二示例的说明图。在第二示例中，图像相关信息包括输入图像中示出的参考对象的属性，并且所述参考对象是来自给定艺术家的音乐压缩盘（CD）。在这里，使用参考对象的发行年份而非参考对象的类型来作为用于分配用户的参考属性。AR空间设置单元144针对捕获到在同一年发行的音乐CD的用户设置共享的AR空间。在图39的上部分中，示出了5个用户Ua、Ub、Uc、Ud和Ue。

例如，用户Ua捕获到真实对象R21a作为参考对象。真实对象R21a的发行年份是2009年。因此，用户Ua的设备的AR空间设置单元144针对用户Ua设置AR空间M42a。而且，用户Ub捕获到真实对象R21b作为参考对象。真实对象R21b是在与真实对象R21a具有相同年份的2009年发行的音乐CD。因此，用户Ub的设备的AR空间设置单元144针对用户Ub设置与用户Ua共享的AR空间M42a。

同时，用户Uc捕获到真实对象R21c作为参考对象。真实对象R21c是在与真实对象R21a和R21b具有不同年份的2012年发行的音乐CD。因此，用户Uc的设备的AR空间设置单元144针对用户Uc设置与AR空间M42a不同的AR空间M42b。而且，用户Ud捕获到真实对象R21d作为参考对象。真实对象R21d是在与真实对象R21c具有相同年份的2012年发行的音乐CD。因此，用户Ud的设备的AR空间设置单元144针对用户Ud设置与用户Uc共享的AR空间M42b。而且，用户Ue捕获到真实对象R21e作为参考对象。真实对象R21e是与真实对象R21c和R21d具有相同年份的2012年发行的音乐CD。因此，用户Ue的设备的AR空间设置单元144针对用户Ue设置与用户Uc和Ue共享的AR空间M42b。

同样在第二示例中，通过根据输入图像中示出的参考对象的属性来将用户分配在不同的AR空间之中，可以形成以下AR社区：其中，相对于已拥有的对象具有共同之处的用户的化身聚集在单个AR空间中。

注意，用于分配用户的参考对象属性不限于以上示例。例如，还可以使用如下各种属性来将用户分配在AR空间之中：诸如参考对象名称、出售公司、产品的地点、销售数量或关注度（例如社交网站（SNS）上的相关投票的数量）。

在第一示例和第二示例中，可以通过识别单元142来识别参考对象属性。另外，可以将表示所识别的属性的参考对象数据发送到具有分配用户的功能的设备（诸如应用服务器或父用户的设备），并且可以通过数据获取单元130从该设备获取针对所选择的AR空间的AR空间模型。另外，可以根据具有分配用户的功能的设备上的输入图像来识别参考对象属性。

与第一示例类似，在第二示例中，AR空间M42a和M42b同样可以分别地通过AR应用供应者来预先构造，或在用户登入时根据使用图12至图14所描述的任一种方法来动态地构造。

（3）AR空间选择的第三示例

图40是用于描述对AR空间进行选择的技术的第三示例的说明图。在第三示例中，图像相关信息包括输入图像的捕获位置。AR空间设置单元144针对捕获到在同一地点中的相同或不同的参考对象的用户设置共享的AR空间。在图40的上部分中，示出了5个用户Ua、Ub、Uc、Ud和Ue。

例如，用户Ua和Ub位于真实空间中的同一地点K1中。因此，用户Ua和Ub的设备的AR空间设置单元144分别针对用户Ua和Ub设置共享的AR空间M43a。用户Uc、Ud和Ue位于真实空间中的同一地点K2中。因此，用户Uc、Ud和Ue的设备的AR空间设置单元144分别针对用户Uc、Ud和Ue设置共享的AR空间M43b。

这样，通过根据输入图像的捕获位置来将用户分配在不同的AR空间之中，可以形成以下AR社区：其中，相对于位置具有共同之处的多个用户的化身聚集在单个AR空间中。因此，与多个用户的化身以混乱方式登入到AR空间中的情况相比，可以强健AR社区中用户间的通信。

注意，例如，可以通过传感器104来测量输入图像的捕获位置。另外，可以将传感器数据发送到具有分配用户的功能的设备（诸如应用服务器或父用户的设备），并且可以通过数据获取单元130从该设备获取针对所选择的AR空间的AR空间模型。

与第一示例和第二示例类似，在第三示例中，AR空间M43a和M43b同样可以分别地通过AR应用供应者来预先构造，或在用户登入时根据使用图12至图14所描述的任一种方法来动态地构造。

在第一示例和第二示例中，根据输入图像中示出的参考对象的属性来将用户分配在不同的AR空间之中。因此，可以实现概念上被称为“登入对象”的参与AR社区的技术。另一方面，在图3的示例中，根据捕获位置将用户分配在不同的AR空间之中。因此，可以实现概念上被称为“登入位置（或地点）”的参与AR社区的技术。注意，可以用来将用户分配在AR空间之中的图像相关信息不限于这样的示例。例如，图像相关信息还可以包括捕获到输入图像的图像捕获设备的属性。图像捕获设备的属性例如可以是图像捕获的类型、型号名称、或制造者名称。因此，相对于图像捕获设备具有共同之处的多个用户（例如，用来自相同制造者的设备捕获输入图像的用户）的化身可以聚集在单个AR空间中并形成AR社区。

（4）AR空间选择的第四示例

图41是用于描述对AR空间进行选择的技术的第四示例的说明图。在第四示例中，AR空间设置单元144从多个AR空间候选中选择由用户从根据图像相关信息所确定的子集中指定的AR空间，并针对该用户设置所选择的AR空间。在图41的上部分中，示出了四个AR空间候选M44a、M44b、M44c和M44d。

例如，假定在被用户Ua捕获到的输入图像中示出了作为参考对象的真实对象R11a。然后，识别单元142识别出在输入图像中示出了真实对象R11a。AR空间设置单元144基于来自识别单元142的识别结果来获取真实对象R11a的属性作为图像相关信息。后续，AR空间设置单元144根据真实对象R11a的属性来确定AR空间候选的子集。在图41的示例中，AR空间候选M44a和M44b包括在所确定的子集中。接下来，AR空间设置单元144将包括在子集中的AR空间候选的列表显示在图像Im51中，并提示用户来指定用户Ua希望登入的AR空间候选。在图41的示例中，AR空间设置单元144针对用户Ua设置由用户Ua指定的AR空间M44a。

这样，还可以逐步进行将用户分配在AR空间中。具体地，通过逐步将根据图像相关信息（诸如位置或参考对象的属性）的分配与用户指定进行组合，可以减少在从许多AR空间候选之中选择AR空间方面的用户困惑，同时用户仍能离开房间来作出选择。

注意，在根据图像相关信息未确定出AR空间的情况下，AR空间设置单元144可以针对用户设置不依赖于图像相关信息的默认AR空间（还称为匿名空间）。根据图像相关信息未确定出AR空间的情况可以包括例如：输入图像中未示出参考对象的情况、未获取位置数据的情况或用户期望选择预定AR空间的情况。预定AR空间可以是仅简单地存在有化身在其上活动的水平面（地面）的简约的空间、或较丰富的空间。

[5-2.调节可变参数]

如较早所述，AR空间设置单元144还可以根据图像相关信息来调节待设置给用户的AR空间的可变参数。AR空间的可变参数可以包括例如：AR空间的大小、NPC的数量、多边形分辨率、可以参与的用户的数量的上限、虚拟对象的纹理或色彩、在AR空间内可执行的动作的类型或在AR空间内可使用的项目的类型。

（1）第一示例

图42是用于描述对AR空间的可变参数进行调节的第一示例的说明图。在图42的示例中，AR空间的可变参数包括空间大小和NPC的数量。可以针对每个AR空间根据参考对象的类型来调节这些可变参数。在图42的上部分中，示出了5个用户Ua、Ub、Uc、Ud和Ue。

例如，用户Ua捕获到真实对象R11a作为参考对象。用户Ub捕获到真实对象R11b作为参考对象。真实对象R11a和R11b是相同类型的对象。因此，在用户Ua和Ub的设备中设置共享的AR空间M45a。AR空间设置单元144将AR空间M45a的空间大小设置成较小，并将NPC的数量设置成1。

同时，用户Uc捕获到真实对象R19c作为参考对象。用户Ud捕获到真实对象R19d作为参考对象。用户Ud捕获到真实对象R19d作为参考对象。因此，在用户Uc、Ud和Ue的设备中设置共享的AR空间M45b。AR空间设置单元144将AR空间M45b的空间大小设置成较大，并将NPC的数量设置成3。

这样，通过根据图像相关信息来调节AR空间的可变参数，可以向用户清晰地展现每个AR空间的特征的差别。因此，可以给予用户动力来努力捕获各种对象或捕获各种位置中的真实空间，并强健AR社区。而且，在预期许多用户在销售应用等中登入相同类型的对象的情景的情况下，可以通过针对与产品相关的AR空间设置充分大的空间大小来防止AR空间中的拥挤。

（2）第二示例

图43是用于描述对AR空间的可变参数进行调节的第二示例的说明图。在图43的示例中，AR空间的可变参数包括多边形分辨率、NPC的数量和用户上限。针对每个用户根据在显示AR空间中所涉及的设备的性能来调节可变参数。在图43的上部分中，示出了两个用户Ua和Ub。

例如，用户Ua捕获到真实对象R11a作为参考对象。用户Ub捕获到真实对象R11b作为参考对象。真实对象R11a和R11b是相同类型的对象。因此，在用户Ua和Ub的设备中设置共享的AR空间。然而，假定用户Ub的设备的性能与用户Ua的设备的性能相比较低，以及用户Ub的设备难于以与用户Ua的设备显示的图像质量相同的图像质量来显示AR空间的图像。

因此，用户Ub的设备的AR空间设置单元144调节待设置的AR空间的可变参数。在图43的示例中，AR空间设置单元144针对用户Ub将AR空间M46b中的多边形分辨率和NPC的数量分别设置成“较低”和“1”，并对用户的数量施加上限。另一方面，用户Ua的设备的AR空间设置单元144针对用户Ua将AR空间M46a中的多边形分辨率和NPC的数量分别设置成“较高”和“3”。由于AR空间M46a是与AR空间M46b共享的空间，所以可以对AR空间M46a中的用户的数量施加上限。

这样，通过针对每个用户根据在显示AR空间中所涉及的设备的性能来调节AR空间的可变参数，可以在多种设备上确保AR空间的合适显示，从而使更多用户能够利用AR应用。注意，对象控制单元146可以针对预限定的朋友用户保持该朋友用户的化身的丰富图像表示（例如，较高的多边形分辨率或完整的化身图像），而仅简化其他化身的图像表示（例如，较低的多边形分辨率或通过仅显示面部图像）。

[5-3.设置初始位置]

对象控制单元146可以基于各种条件来确定虚拟对象如置于AR空间内的化身的初始位置。例如，对象控制单元146可以基于较早论述的图像相关信息或基于用户属性来确定化身的初始位置。

（1）第一示例

图44是用于描述对AR空间中的虚拟对象的初始位置进行设置的技术的第一示例的说明图。在图44的示例中，基于图像相关信息来确定虚拟对象的初始位置。图像相关信息包括捕获位置。在图44的上部分中，示出了两个用户Ua和Ub。用户Ua位于真实空间中的位置PRa处。用户Ub位于真实空间中的位置PRb处。

例如，由于用户Ua和用户Ub捕获到相同类型的参考对象，所以在用户Ua和Ub的设备中设置共享的AR空间M47。对象控制单元146将用户Ua的化身A11放置在AR空间M47内的位置PAa处。位置PAa对应于用户Ua在真实空间内的位置PRa。而且，对象控制单元146将用户Ub的化身A12放置在AR空间M47内的位置PAb处。位置PAb对应于用户Ub在真实空间内的位置PRb。

这样，在多个用户共享AR空间的情况下，通过基于图像相关信息来确定虚拟对象的初始位置，可以将具有更多共同交谈话题的用户靠近彼此来放置，从而鼓励用户间的通信。

（2）第二示例

图45是用于描述对AR空间中的虚拟对象的初始位置进行设置的技术的第二示例的说明图。在图45中，基于用户属性来确定虚拟对象的初始位置。在本文中，用户属性可以例如是用户的年龄、性别、职业、工作地点、喜好或预定义组。在图44的上部分中，示出了四个用户Ua、Ub、Uc和Ud。用户Ua和Uc属于用户组UG1。用户Ub和Ud属于用户组UG2。

例如，在用户Ua、Ub、Uc和Ud的设备中设置共享的AR空间M48。对象控制单元146将用户Ua的化身A11放置在AR空间M48内的位置PAa处。可以预先确定位置PAa作为针对用户组UG1的初始位置。而且，对象控制单元146将用户Ub的化身A12放置在AR空间M48内的位置PAb处。可以预先确定位置PAb作为针对用户组UG2的初始位置。

这样，在多个用户共享AR空间的情况下，通过基于其属性对用户进行分组来确定针对每个用户的初始位置，可以将具有相互类似的属性的用户一起靠近来放置，从而鼓励用户间的通信。而且，在用户主动希望与具有不同于他自己或她自己的属性的其他用户进行通信的情况下，用户可以将他或她自己的化身移动到远离初始位置的区域，并试图与该区域中的其他用户进行通信。

[5-4.各种访问模式]

（1）正常模式

在正常访问模式下，对象控制单元146实时地将访问同一AR空间的一个或更多个用户的化身（或一些其他的虚拟对象）放置在该AR空间内。后续，对象控制单元146实时地与其他用户的设备（例如，通过应用服务器或直接地）交换陈述被用户操作的化身的动作的动作数据。而且，对象控制单元146与其他用户的设备共享放置于AR空间内的NPC（非用户角色）的动作场景。在这里，动作场景是沿时间轴来陈述每个NPC的未来动作的数据。因此，多个用户可以同时体验其中化身和NPC以相同方式行动的共享的AR应用的世界。例如，可以在固定时间间隔处广播动作场景，或在每个用户登入时将动作场景传送给每个用户的设备。

图46是用于描述在正常模式下AR空间中的化身的数量的改变的说明图。参照图46，示出了从附图的顶部进行到底部的时间轴和在时间轴左侧的五个用户Ua、Uf、Ug、Uh和Ui。用户Uf在时刻t11登入到AR空间，并在时刻t13从AR空间登出。用户Ug在时刻t12登入到AR空间，并在时刻t18从AR空间登出。用户Uh在时刻t15登入到AR空间。用户Ui在时刻t16登入到AR空间。同时，用户Ua在时刻t14登入到AR空间。

当用户Ua在时刻t14登入到AR空间M51时，除了用户Ua的化身A11之外，在AR空间M51中还存在NPC和一个用户（用户Ug）的化身。在此之后，在时刻t17，用户增加了，并且除了用户Ua的化身A11之外，在AR空间M51中还存在NPC和三个用户（用户Ug、Uh和Ui）的化身。

这样，在许多用户共享单个AR空间的情况下，即使仅有实时地访问AR应用的用户的化身放置于AR空间中，也能确保充足数量的同时玩的用户。然而，在共享AR空间的用户不多的情况下，在完全实时访问模式下，还预期到在同一时刻仅一个用户访问AR应用的情景。在这样的情景下，重要的是使用接下来描述的重放模式来代替以上正常模式。

（2）重放模式

在重放模式下，对象控制单元146还将之前访问同一AR空间的用户的化身放置在该AR空间内。

图47是用于描述在重放模式下AR空间中的化身的数量的改变的说明图。参照图47，示出了从附图的顶部进行到底部的时间轴和在时间轴左侧的三个用户Ua、Uf和Ug。用户Uf在时刻t21登入到AR空间，并在时刻t22从AR空间登出。用户Ug在时刻t23登入到AR空间，并在时刻t24从AR空间登出。同时，用户Ua在时刻t25登入到AR。

用户Ua是在用户Ua在时刻t25登入到AR空间M52时的时刻实际访问AR空间M52的唯一用户。在该情况下，如果根据较早讨论的正常模式将化身放置于AR空间M52内，则用户Ua将不知道其他用户的存在。然而，在重放模式下，对象控制单元146还将之前访问了AR空间M52的用户Uf和Ug的化身也放置于AR空间M52内。在图47的示例中，从时刻t26延伸到过去的时间帧TF包括时刻t21、t22、t23和t24。因此，对象控制单元146不仅将用户Ua的化身A11还将用户Uf的化身A21和用户Ug的化身A22放置于AR空间M52内。然后，用户Ua能够通过用户界面诸如使用图29所描述的用户界面而了解化身A21和A22所属于的用户的种类。

通过提供这样的重放模式，可以防止AR空间表现荒凉，并即使在共享AR空间的用户不多的情况下也能保持用户对AR空间的兴趣。而且，捕获到稀有项目作为参考对象的用户可以了解什么样的其他用户示出对相同项目的兴趣。注意，可以预先静态地限定时间帧TF的长度，或根据参数诸如用户数量来动态地设置时间帧TF的长度。

（3）痕迹模式

代替重放模式，对象控制单元146还可以支持接下来描述的痕迹模式。在痕迹模式下，对象控制单元146表达之前访问了同一AR空间的用户的化身在该AR空间中的痕迹。

图48是用于描述痕迹模式的说明图。参照图48，示出了从附图的顶部进行到底部的时间轴和在时间轴左侧的三个用户Ua、Uf和Ug。登入和登出AR空间的用户Ua、Uf和Ug的时刻与图47中的示例类似。

在时刻t21与时刻t22之间的时刻t27，将用户Uf的化身A21放置在AR空间M53中。接下来，在时刻t23与时刻t24之间的时刻t28，将用户Ug的化身A22放置在AR空间M53中。尽管用户Uf的化身A21已退出AR空间M53，表达化身A21存在过的痕迹TR21仍保留在AR空间M53中。接下来，在比时刻t25晚的时刻t29，将用户Ua的化身A11放置在AR空间M53中。尽管用户Uf的化身A21和用户Ug的化身A22已退出AR空间M53，表达化身A21和A22存在过的痕迹TR21和TR22仍保留在AR空间M53中。注意，这些痕迹还可以随时间在视觉上淡出（见痕迹TR21）。

通过提供这样的痕迹模式，用户能够根据痕迹了解在AR空间中之前存在多少用户和这些化身进行了什么活动。

（4）在AR空间之间移动

在登入给定AR空间之后用户的兴趣转换到另一个AR空间的情况下，用户首先登出当前AR空间然后又登入另一个AR空间是不方便的。因此，AR空间设置单元144还可以在针对用户所设置的AR空间内放置使化身能够移动到另一个AR空间的路径。

图49是用于描述在AR空间之间移动的路径的示例的说明图。参照图49，在图像Im51中示出了AR空间M54。化身A11放置于AR空间M54中。而且，具有阶梯形状的路径PT11放置于AR空间M54内。路径PT11与另一个AR空间M55连接。例如，如果用户通过如使用图20所述的用户界面一样的用户界面使化身A11在路径PT11上移动，则AR空间设置单元144针对用户重新设置AR空间M55。

通过提供用于在AR空间之间移动的这样的路径，化身容易走过各个AR社区。而且，不仅使当前AR空间而且使其他可进入的AR空间在屏幕上可见，这诱发了用户的好奇心，并且可以鼓励用户参与各种AR社区。

<6.处理流程示例>

[6-1.登入时的屏幕转变]

图50A和50B是用于描述用户登入AR空间时的屏幕转变的示例的转变图。

参照图50A，首先，AR空间设置单元144使菜单MN1显示在屏幕上。菜单MN1包括菜单项目MN11（“独自玩”）、菜单项目MN12（“与每个人玩（变成父级）”）和菜单项目MN13（“与每个人玩”）。在用户选择菜单项目MN11的情况下，AR空间设置单元144使菜单MN2显示在屏幕上。菜单MN2包括菜单项目MN21（“构造新地点”）和菜单项目MN22（“加载数据”）。

在用户选择菜单MN2上的菜单项目MN21的情况下，图像获取单元120获取捕获图像作为输入图像以便于重新构造AR空间（步骤S12）。

另一方面，在用户选择菜单MN2上的菜单项目MN22的情况下，AR空间设置单元144使另一个菜单MN3显示在屏幕上。菜单MN3包括所存储的AR空间模型的列表。后续，如果用户选择AR空间模型中的一个，则AR空间设置单元144从数据存储单元160加载所选择的AR空间模型（步骤S11）。图像获取单元120获取捕获图像作为输入图像以便于使所加载的AR空间与真实空间相关联（步骤S12）。

后续，AR空间设置单元144基于由识别单元142针对输入图像的识别结果与输入图像上示出的真实空间相关联地设置AR空间，或通过使用所加载的AR空间模型来设置AR空间。因此，开始AR应用（步骤S13）。

在选择菜单MN1上的菜单项目MN12或MN13的情况下，AR空间设置单元144使菜单MN4显示在屏幕上。参照图50B，菜单MN4包括菜单项目MN41（“用相机登入”）、菜单项目MN42（“用当前位置登入”）、菜单项目MN43（“从完整列表中选择”）和菜单项目MN44（“与上次相同的社区”）

在用户选择菜单MN4上的菜单项目MN41的情况下，AR空间设置单元144将通过图像获取单元120所获取的捕获图像发送至具有分配用户的功能的设备（步骤S14）。在本文中，作为示例，假定应用服务器具有用于分配用户的功能。而且，在用户选择菜单MN4上的菜单项目MN42的情况下，AR空间设置单元144将通过图像获取单元130所获取的位置数据发送至应用服务器（步骤S15）。而且，在用户选择菜单MN4上的菜单项目MN43的情况下，AR空间设置单元144将请求传送AR空间候选列表的请求发送至应用服务器。在所有情况下，AR空间设置单元144从应用服务器接收AR空间候选列表（步骤S16）。

AR空间设置单元144在从应用服务器接收到的AR空间候选列表包括多个AR空间候选的情况下使菜单MN5显示在屏幕上。在AR空间候选列表仅包括一个AR空间候选的情况下可以省略菜单MN5的显示。后续，AR空间设置单元144从应用服务器接收由用户在菜单MN5上指定的AR空间或包括在AR空间候选列表中的单个AR空间的AR空间模型（步骤S17）。

另一方面，在用户选择菜单MN4上的菜单项目MN44的情况下，AR空间设置单元144从数据存储单元160获取用户最后登出的AR空间的标识符，并从应用服务器接收通过该标识符识别出的AR空间的AR空间模型（步骤S17）。

后续，图像获取单元120获取捕获图像作为输入图像（步骤S18）。AR空间设置单元144使用从应用服务器接收的AR空间模型来与输入图像中示出的真实空间相关联地设置AR空间（步骤S18）。后续，开始AR应用（步骤S19）。

[6-2.执行AR应用]

图51是示出了用于执行AR应用的信息处理的流程的示例的流程图。

参照图51，首先，图像获取单元120从相机102获取示出真实空间的捕获图像作为输入图像（步骤S110）。后续，图像获取单元120将所获取的输入图像输出至AR处理单元140。

接下来，识别单元142识别从图像获取单元120输入的输入图像中示出的真实对象的位置和取向（步骤S115）。另外，识别单元142还可以识别信息处理设备100的位置和取向。后续，识别单元142基于识别结果来生成或更新真实空间映射164，并使真实空间映射164存储在数据存储单元160中。

接下来，AR空间设置单元144与通过真实空间映射164所表达的真实空间相关联地设置AR空间（步骤S120）。这里所设置的AR空间可以是通过以体素为单位对输入图像中示出的真实空间内的真实对象进行离散化所构造的空间，或可以是通过从另一个设备所接收的AR空间模型所表达的空间。

接下来，AR空间设置单元144将一个或更多个化身和其他的虚拟对象放置在所设置的AR空间内（步骤S125）。这里所放置的化身可以包括主用户的化身以及共享AR空间的其他用户的化身。而且，这里所放置的虚拟对象可以包括NPC（非用户角色）。

接下来，对象控制单元146根据可以预先获取的动作场景来确定置于AR空间内的NPC的行为（步骤S130）。

而且，对象控制单元146执行动作确定处理，并确定针对主用户的化身的动作（步骤S140）。后续，在与另一个用户共享AR空间（步骤S160）的情况下，对象控制单元146与该其他的用户的设备交换动作数据（步骤S165）。

接下来，对象控制单元146更新AR空间的状态（诸如包括化身的一个或更多个虚拟对象的位置和取向）（步骤S170）。后续，对象控制单元146使叠加有虚拟对象图像的输出图像（并且可以包括化身动作的动画）显示在显示器110的屏幕上（步骤S175）。

在此之后，在此时的操作模式是实时模式的情况下，该处理返回到步骤S110，并重复以上处理，从而取下一帧作为输入图像。另一方面，在操作模式是快照模式的情况下，不获取新的输入图像，并且重复步骤S130及其后步骤中的以上处理（步骤S180）。

[6-3.动作确定处理]

图52是示出了图51所示的动作确定处理的详细流程的示例的流程图。参照图52，动作确定处理根据此时的操作模式是实时模式还是快照模式来进行分支（步骤S142）。

在操作模式是实时模式的情况下，对象控制单元146基于AR空间内的对象与相机的光轴之间的位置关系来确定动作的目标位置（步骤S144）。另一方面，在操作模式是快照模式的情况下，对象控制单元146确定动作的目标位置，但不是基于对象与相机的光轴之间的位置关系（步骤S146）。

接下来，对象控制单元146根据用户输入检测结果来确定待被主用户的化身执行的动作（步骤S148）。

<7.示例性修改>

[7-1.客户端/服务器链接]

图4所示的框图示出了用户客户端（即，信息处理设备100）包括主要功能诸如真实空间识别、AR空间设置和对象控制的示例。然而，根据本公开内容的技术还可适用于这些功能中至少一部分功能实现在外部设备（诸如应用服务器或另一个附近的客户端）中的示例。因此，在这一部分中，将描述一种这样的示例性修改。

图53是示出了根据示例性修改的信息处理设备200的逻辑功能的配置的示例的框图。信息处理设备200的硬件配置可以与图3所示的信息处理设备100的硬件配置类似。参照图53，信息处理设备200配备有图像获取单元120、数据获取单元130和服务器链接单元250。服务器链接单元250包括数据发送单元252和AR图像接收单元254。

数据发送单元252通过通信接口将输入图像发送至服务器设备300，该服务器设备300包括与信息处理设备100的AR空间设置单元144和对象控制单元146相同的功能。数据发送单元252还可以在检测到用户输入的情况下将用户输入数据发送至服务器设备300。而且，数据发送单元252可以将传感器数据发送至服务器设备300，该传感器数据可以包括表示信息处理设备200的当前位置的位置数据。

AR图像接收单元254从服务器设备300中接收AR图像。被AR图像接收单元254接收的AR图像是例如表达在AR空间内所执行的动作的图像。可以通过以体素为单位对输入图像中示出的真实对象进行离散化来与输入图像相关联地设置AR空间。另外，可以根据与输入图像相关的图像相关信息来设置AR空间。还可以基于AR空间内的对象与相机的光轴之间的位置关系来确定动作的目标位置。后续，AR图像接收单元254将输出图像输出至显示器110，并使AR应用图像显示在屏幕上。

[7-2.简单的真实空间识别]

之前的实施例主要描述了如下示例：其中，通过识别单元142首先生成表达真实空间内的位置和取向的真实空间映射并然后AR空间设置单元144对真实空间映射进行离散化来生成表示虚拟对象放置的AR空间模型。然而，还可以使用较简单的技术来确定虚拟对象放置。

图54是用于描述确定虚拟对象放置的技术的示例性修改的说明图。参照图54，示出了作为真实对象的示例的标记对象MK1以及在内容字典中的与标记对象MK1相关联的虚拟对象VM1和绘图模型DM1。在图54的示例中，绘图模型DM1是表达船的外形的图像数据。绘图模型DM1还可以是虚拟对象的类型。内容字典另外地限定了用作虚拟对象VM1和绘图模型DM1相对于标记对象MK1的相对放置的参考的参考点RP1。识别单元142使用所建立的图像识别技术来识别输入图像中示出的标记对象MK1。AR空间设置单元144基于所识别的标记对象MK1的位置和内容字典中的限定来确定输入图像内的参考点RP1的位置。后续，AR空间设置单元144（或对象控制单元146）取所确定的参考点RP1的位置作为参考来放置虚拟对象VM1（附图中的步骤S21）。虚拟对象VM1可以是占据一个或更多个体素的透明对象。另外，对象控制单元146取参考点RP1的位置作为参考来在屏幕上将绘图模型DM1叠加到标记对象MK1上（附图中的步骤S22）。化身在对象控制单元146的控制下好像移动以例如避免虚拟对象VM1或登上虚拟对象VM1。化身还可以根据用户的操作将块堆叠到虚拟对象VM1上。因此，可以在屏幕上显示好像化身正在与通过绘图模型DM1所表达的船进行交互一样的输出图像。注意，标记对象可以是具有某种纹理的任意对象（诸如海报或产品包装）。内容字典还可以限定针对任意数量的标记对象的数据。

<8.结论>

之前使用图1至图54这样描述了根据本公开内容的技术的各种实施例。根据之前的实施例，通过各种视角改进了用户体验的增强现实的吸引力，诸如真实对象与虚拟对象之间的加强的关联、特定于AR应用的改进的操作性和在AR社区中的强健的通信。

例如，在通过以体素为单位对捕获图像中示出的真实空间内的真实对象进行离散化来设置AR空间的情况下，可以容易地防止在AR空间内活动的化身或一些其他虚拟对象与真实对象冲突。与直接根据陈述真实对象的位置和取向的信息来确定冲突的技术（诸如较早描述的真实空间映射、或在JP2011-159162A中描述的环境映射）相比，这样的技术使得能够降低计算量并简化确定算法。因此，例如，还容易确保多个设备彼此链接的AR应用中的实时性能。

而且，在基于AR空间内的对象与图像捕获设备的光轴之间的位置关系来确定在AR空间内执行的动作的目标位置的情况下，例如，可以在无用户输入如触摸输入或按钮按压的情况下确定目标位置。因此，降低了在用户控制虚拟对象的动作时设备取向的摇动，从而实现了AR应用的一致操作和改进的操作性。

而且，在根据与捕获图像相关的图像相关信息来设置不同的AR空间的情况下，例如，可以形成具有共同之处的用户的化身聚集在共享的AR空间中的AR社区，而不是许多用户以混乱方式聚集在AR空间中。当利用AR应用时，用户通常捕获图像。因此，根据本技术，可以在不对用户施加另外的工作以便于获取图像相关信息的情况下形成用于用户间通信的有效AR社区。

注意，典型地使用软件来实现由如本公开内容的实施例所描述的各种装置执行的一系列处理。作为一个示例，由实现这样的一系列处理的软件组成的程序预先存储在在这样装置的内部或外部设置的存储介质（非暂态介质）中。作为一个示例，在执行过程中，这样的程序然后被写入到RAM（随机访问存储器）中并通过处理器如CPU来执行。

尽管以上参照附图详细地描述了本公开内容的优选实施例，但是本公开内容的技术范围不限于此。本领域内技术人员应当理解，可以根据设计需求和其他因素进行各种修改、组合、子组合和替换，只要这些修改、合并、子合并和替换在所附权利要求或其等同方案的范围之内即可。

因此，本公开技术还可以如下来配置。

（1）一种信息处理设备，包括：

图像获取单元，所述图像获取单元从图像捕获设备获取真实空间的捕获图像；

设置单元，所述设置单元与所述真实空间相关联地设置虚拟地增强所述捕获图像中示出的所述真实空间的增强现实空间；以及

控制单元，所述控制单元基于所述增强现实空间内的对象与所述图像捕获设备的光轴之间的位置关系来确定在所述增强现实空间内执行的动作的目标位置。

（2）根据（1）所述的信息处理设备，其中

所述控制单元将用户化身放置在所述增强现实空间内，并基于所述位置关系来确定被所述化身执行的动作的目标位置。

（3）根据（2）所述的信息处理设备，其中

所述控制单元将所述目标位置确定为所述化身移动的目的地。

（4）根据（2）所述的信息处理设备，其中

所述控制单元将所述目标位置确定为所述化身所使用的项目的应用点。

（5）根据（2）至（4）中任一项所述的信息处理设备，其中

所述控制单元基于围绕所述图像捕获设备的光轴的转动来控制所述化身的取向。

（6）根据（1）至（5）中任一项所述的信息处理设备，其中

所述控制单元基于指定的用户输入来改变所述增强现实空间相对于所述图像捕获设备的相对位置、取向或比例。

（7）根据（1）至（6）中任一项所述的信息处理设备，其中

所述控制单元将用于使用户选择动作类型的用户界面叠加到显示增强现实空间内的对象的窗口的左边缘区和右边缘区中至少一者上，以及

所述右边缘区和所述左边缘区是用户握住显示器的拇指所达到的区。

（8）根据（1）至（7）中任一项所述的信息处理设备，其中

所述信息处理设备另外地包括识别单元，所述识别单元识别捕获图像中示出的真实对象在真实空间内的位置和取向，以及

所述控制单元使用通过所述识别单元对真实对象的识别结果来控制与该真实对象相关的动作。

（9）根据（1）至（8）中任一项所述的信息处理设备，其中

通过以体素为单位对所述真实对象进行离散化来确定捕获图像中示出的真实对象在增强现实空间内的放置。

（10）根据（9）所述的信息处理设备，其中

所述控制单元以体素为单位来确定动作的目标位置。

（11）根据（1）至（10）中任一项所述的信息处理设备，其中

在第一操作模式下，所述控制单元将增强现实空间内的对象叠加到每帧更新的捕获图像上以用于在屏幕上显示，以及在第二操作模式下，所述控制单元在不更新捕获图像的情况下将增强现实空间内的对象显示在屏幕上。

（12）根据（11）所述的信息处理设备，其中

所述控制单元根据指定的用户输入来在第一操作模式与第二操作模式之间进行切换。

（13）根据（11）所述的信息处理设备，其中

所述控制单元在未能识别出捕获图像中示出的真实对象持续达指定数量的帧的情况下从第一操作模式切换到第二操作模式。

（14）根据（11）至（13）中任一项所述的信息处理设备，其中

在第二操作模式下，所述控制单元确定在增强现实空间内执行的动作的目标位置，但不是基于增强现实空间内的对象与图像捕获设备的光轴之间的位置关系来。

（15）根据（1）至（10）中任一项所述的信息处理设备，其中

在相机视角模式下，所述控制单元取图像捕获设备的位置和取向作为参考来生成增强现实空间的图像，以及在化身视角模式下，所述控制单元取放置于增强现实空间内的化身的位置和取向作为参考来生成增强现实空间的图像。

（16）根据（15）所述的信息处理设备，其中

所述控制单元根据指定的用户输入或增强现实空间内的指定的事件的发生来从相机视角模式切换到化身视角模式。

（17）根据（1）至（16）中任一项所述的信息处理设备，其中

在执行动作的情况下，当真实空间内的与目标位置对应的真实对象能够进行反应时，所述控制单元指令真实对象进行反应。

（18）一种客户端设备，包括：

图像捕获单元，所述图像捕获单元通过捕获真实空间来生成捕获图像；

通信单元，所述通信单元与服务器设备进行通信，所述服务器设备与捕获图像中示出的真实空间相关联地设置虚拟地增强所述真实空间的增强现实空间，并基于所设置的增强现实空间内的对象与图像捕获单元的光轴之间的位置关系来确定在增强现实空间内执行的动作的目标位置；以及

控制单元，所述控制单元使表达了在增强现实空间内在由服务器设备所确定的目标位置处执行的动作的图像显示在屏幕上。

（19）一种信息处理方法，所述信息处理方法通过设置有图像捕获单元和与服务器设备进行通信的通信单元的客户端设备来执行，

其中所述服务器设备与捕获图像中示出的真实空间相关联地设置虚拟地增强所述真实空间的增强现实空间，并基于所设置的增强现实空间内的对象与图像捕获单元的光轴之间的位置关系来确定在增强现实空间内执行的动作的目标位置，

所述信息处理方法包括：

通过使用所述图像捕获单元捕获真实空间来生成所述捕获图像；以及

使表达了在增强现实空间内在由服务器设备所确定的目标位置处执行的动作的图像显示在屏幕上。

（20）一种程序，其使控制客户端设备的计算机用作：

图像获取单元，所述图像获取单元从图像捕获设备获取真实空间的捕获图像；以及

控制单元，所述控制单元使表达了在增强现实空间内在目标位置处执行的动作的图像显示在屏幕上，所述目标位置通过服务器设备来设置，所述服务器设备与捕获图像中示出的真实空间相关联地设置虚拟地增强所述真实空间的增强现实空间，并基于所设置的增强现实空间内的对象与图像捕获设备的光轴之间的位置关系来确定在增强现实空间内执行的动作的目标位置。

另外，如下的配置也属于本公开内容的技术范围。

（1）一种信息处理设备，包括：

图像获取单元，所述图像获取单元从图像捕获设备获取真实空间的捕获图像；

设置单元，所述设置单元通过以体素为单位对所述捕获图像中示出的所述真实空间内的真实对象进行离散化来与所述真实空间相关联地设置虚拟地增强所述真实空间的增强现实空间；以及

控制单元，所述控制单元控制放置于所述增强现实空间内的虚拟对象的动作。

（2）根据（1）所述的信息处理设备，其中

所述虚拟对象包括用户化身。

（3）根据（1）或（2）所述的信息处理设备，其中

所述虚拟对象包括与所述真实对象对应的对象，以及

所述设置单元基于所述真实对象的纹理或色彩来设置与所述真实对象对应的所述虚拟对象的纹理或色彩。

（4）根据（1）或（2）所述的信息处理设备，其中

所述虚拟对象包括与所述真实对象对应的对象，以及

所述设置单元基于所述捕获图像中示出的参考对象的纹理或色彩来设置与所述真实对象对应的所述虚拟对象的纹理或色彩。

（5）根据（1）或（2）所述的信息处理设备，其中

所述虚拟对象包括与所述真实对象对应的对象，以及

所述设置单元基于所述真实对象的形貌参数来设置与所述真实对象对应的所述虚拟对象的显示属性。

（6）根据（1）至（5）中任一项所述的信息处理设备，其中

所述信息处理设备还包括识别单元，所述识别单元通过识别所述捕获图像中示出的所述真实对象在所述真实空间内的位置和取向来生成真实空间映射，以及

所述设置单元通过以体素为单位对由所述识别单元生成的所述真实空间映射进行离散化来构造所述增强现实空间。

（7）根据（1）至（6）中任一项所述的信息处理设备，其中

在所述增强现实空间被多个用户共享的情况下，所述设置单元将基于来自所述多个用户之中的父用户的所述捕获图像所设置的所述增强现实空间应用于所述多个用户中的每个用户。

（8）根据（1）至（6）中任一项所述的信息处理设备，其中

在所述增强现实空间被多个用户共享的情况下，所述设置单元通过对基于所述多个用户的所述捕获图像所分别构造的多个特定于用户的增强现实空间进行合并来形成所述增强现实空间。

（9）根据（8）所述的信息处理设备，其中

所述设置单元通过以体素为单位计算所述多个特定于用户的增强现实空间的和来合并所述多个特定于用户的增强现实空间。

（10）根据（8）所述的信息处理设备，其中

所述增强现实空间被分割成分别分配给用户的多个区，以及

所述设置单元通过针对每个区选择被分配了该区的用户的所述特定于用户的增强现实空间来合并所述多个特定于用户的增强现实空间。

（11）根据（7）至（10）中任一项所述的信息处理设备，其中

所述控制单元根据哪个用户的捕获图像显示了与虚拟对象对应的真实对象来改变叠加于所述捕获图像上的所述虚拟对象的显示属性。

（12）根据（7）至（11）中任一项所述的信息处理设备，其中

所述设置单元基于所述捕获图像中示出的参考对象的大小来设置被所述多个用户共享的所述增强现实空间的显示比例。

（13）根据（1）至（12）中任一项所述的信息处理设备，其中

所述设置单元使用具有用户指定的粒度的体素以对所述真实对象进行离散化。

（14）根据（1）至（12）中任一项所述的信息处理设备，其中

所述设置单元使用具有基于用户隐私设置所确定的粒度的体素以对所述真实对象进行离散化。

（15）根据（1）至（14）中任一项所述的信息处理设备，其中

所述设置单元通过对被用户指定的所述真实对象或未被用户排除的所述真实对象进行离散化来设置所述增强现实空间。

（16）一种客户端设备，包括：

图像捕获单元，所述图像捕获单元通过捕获真实空间来生成捕获图像；

通信单元，所述通信单元与服务器设备进行通信，所述服务器设备通过以体素为单位对所述捕获图像中示出的所述真实空间内的真实对象进行离散化来与所述真实空间相关联地设置虚拟地增强所述真实空间的增强现实空间；以及

控制单元，所述控制单元使放置于通过所述服务器设备所设置的所述增强现实空间内的虚拟对象的图像显示在屏幕上。

（17）一种信息处理方法，所述信息处理方法通过设置有图像捕获单元和与服务器设备进行通信的通信单元的客户端设备来执行，

其中所述服务器设备通过以体素为单位对所述捕获图像中示出的所述真实空间内的真实对象进行离散化来与所述真实空间相关联地设置虚拟地增强所述真实空间的增强现实空间，

所述信息处理方法包括：

通过使用所述图像捕获单元捕获真实空间来生成所述捕获图像；以及

使放置于通过所述服务器设备所设置的所述增强现实空间内的虚拟对象的图像显示在屏幕上。

（18）一种程序，其使控制客户端设备的计算机用作：

图像获取单元，所述图像获取单元从图像捕获设备获取真实空间的捕获图像；以及

控制单元，所述控制单元使放置于增强现实空间内的虚拟对象的图像显示在屏幕上，所述增强现实空间通过服务器设备来设置，所述服务器设备通过以体素为单位对所述捕获图像中示出的所述真实空间内的真实对象进行离散化来与所述真实空间相关联地设置虚拟地增强所述真实空间的增强现实空间。

另外，如下的配置也属于本公开内容的技术范围。

（1）一种信息处理设备，包括：

图像获取单元，所述图像获取单元从图像捕获设备获取真实空间的捕获图像；

设置单元，所述设置单元与所述真实空间相关联地设置虚拟地增强所述捕获图像中示出的所述真实空间的增强现实空间，所述增强现实空间根据与捕获图像相关的相关信息而不同；以及

控制单元，所述控制单元使针对每个用户在增强现实空间内放置的虚拟对象的图像显示在屏幕上。

（2）根据（1）所述的信息处理设备，其中

所述虚拟对象包括针对每个用户的化身。

（3）根据（1）或（2）所述的信息处理设备，其中

所述相关信息包括捕获图像中示出的参考对象的属性。

（4）根据（1）或（2）所述的信息处理设备，其中

所述相关信息包括所述捕获图像的捕获位置。

（5）根据（1）或（2）所述的信息处理设备，其中

所述相关信息包括所述图像捕获设备的属性。

（6）根据（3）至（5）中任一项所述的信息处理设备，其中

所述设置单元设置根据相关信息选自预先准备的多个增强现实空间候选之中的增强现实空间。

（7）根据（6）所述的信息处理设备，其中

所述设置单元从多个增强现实空间候选中选择由用户从根据相关信息所确定的子集中指定的增强现实空间。

（8）根据（3）至（6）中任一项所述的信息处理设备，其中

所述设置单元根据所述相关信息调节待设置的增强现实空间的可变参数。

（9）根据（1）至（8）中任一项所述的信息处理设备，其中

所述设置单元基于在显示增强现实空间中所涉及的设备的性能来调节待设置的增强现实空间的可变参数。

（10）根据（1）至（9）中任一项所述的信息处理设备，其中

所述控制单元基于相关信息来确定放置于增强显示空间内的虚拟对象的初始位置。

（11）根据（1）至（9）中任一项所述的信息处理设备，其中

所述控制单元基于用户的属性来确定放置于增强现实空间内的虚拟对象的初始位置。

（12）根据（1）至（11）中任一项所述的信息处理设备，其中

在根据相关信息未确定出待设置的增强现实空间的情况下，所述设置单元设置不依赖于相关信息的默认增强现实空间候选作为增强现实空间。

（13）根据（1）至（12）中任一项所述的信息处理设备，其中

所述虚拟对象包括针对每个用户的化身，以及

所述控制单元实时地将访问同一增强现实空间的一个或更多个用户的化身放置在该增强现实空间内。

（14）根据（13）所述的信息处理设备，其中

所述控制单元另外地将之前访问了同一增强现实空间的用户的化身放置在该增强现实空间内。

（15）根据（13）所述的信息处理设备，其中

所述控制单元在该增强现实空间内表达之前访问了同一增强现实空间的用户的化身的痕迹。

（16）根据（13）至（15）中任一项所述的信息处理设备，其中

所述控制单元使放置在增强现实空间内的非用户角色的动作场景在一个或更多个用户的设备之间共享。

（17）根据（1）至（16）中任一项所述的信息处理设备，其中

所述虚拟对象包括针对每个用户的化身，以及

所述设置单元将使化身能够移动到另一个增强现实空间的路径放置在所设置的增强现实空间内。

（18）一种客户端设备，包括：

图像捕获单元，所述图像捕获单元通过捕获真实空间来生成捕获图像；

通信单元，所述通信单元与服务器设备进行通信，所述服务器设备与所述真实空间相关联地设置虚拟地增强捕获图像中示出的所述真实空间的增强现实空间，所述增强现实空间根据与捕获图像相关的相关信息而不同；以及

控制单元，所述控制单元使针对每个用户在由服务器设备所设置的增强现实空间内放置的虚拟对象的图像显示在屏幕上。

（19）一种信息处理方法，所述信息处理方法通过设置有图像捕获单元和与服务器设备进行通信的通信单元的客户端设备来执行，

其中所述服务器设备与所述真实空间相关联地设置虚拟地增强捕获图像中示出的所述真实空间的增强现实空间，所述增强现实空间根据与捕获图像相关的相关信息而不同，

所述信息处理方法包括：

通过使用所述图像捕获单元捕获真实空间来生成所述捕获图像；以及

使针对每个用户在由服务器设备所设置的增强现实空间内放置的虚拟对象的图像显示在屏幕上。

（20）一种程序，其使控制客户端设备的计算机用作：

图像获取单元，所述图像获取单元从图像捕获设备获取真实空间的捕获图像；以及

控制单元，所述控制单元使针对每个用户在增强现实空间内放置的虚拟对象的图像显示在屏幕上，所述增强现实空间通过服务器设备来设置，所述服务器设备与所述真实空间相关联地设置虚拟地增强捕获图像中示出的所述真实空间的增强现实空间，所述增强现实空间根据与捕获图像相关的相关信息而不同。

Claims (18)

1.一种信息处理设备，包括：

图像获取单元，所述图像获取单元从图像捕获设备获取真实空间的捕获图像；

设置单元，所述设置单元通过以体素为单位对所述捕获图像中示出的所述真实空间内的真实对象进行离散化来与所述真实空间相关联地设置虚拟地增强所述真实空间的增强现实空间；以及

控制单元，所述控制单元控制放置于所述增强现实空间内的虚拟对象的动作。

2.根据权利要求1所述的信息处理设备，其中

所述虚拟对象包括用户化身。

3.根据权利要求1所述的信息处理设备，其中

所述虚拟对象包括与所述真实对象对应的对象，以及

所述设置单元基于所述真实对象的纹理或色彩来设置与所述真实对象对应的所述虚拟对象的纹理或色彩。

4.根据权利要求1所述的信息处理设备，其中

所述虚拟对象包括与所述真实对象对应的对象，以及

所述设置单元基于所述捕获图像中示出的参考对象的纹理或色彩来设置与所述真实对象对应的所述虚拟对象的纹理或色彩。

5.根据权利要求1所述的信息处理设备，其中

所述虚拟对象包括与所述真实对象对应的对象，以及

所述设置单元基于所述真实对象的形貌参数来设置与所述真实对象对应的所述虚拟对象的显示属性。

6.根据权利要求1所述的信息处理设备，还包括：

识别单元，所述识别单元通过识别所述捕获图像中示出的所述真实对象在所述真实空间内的位置和取向来生成真实空间映射，

其中所述设置单元通过以体素为单位对由所述识别单元生成的所述真实空间映射进行离散化来构造所述增强现实空间。

7.根据权利要求1所述的信息处理设备，其中

在所述增强现实空间被多个用户共享的情况下，所述设置单元将基于来自所述多个用户之中的父用户的捕获图像所设置的增强现实空间应用于所述多个用户中的每个用户。

8.根据权利要求1所述的图像处理设备，其中

在所述增强现实空间被多个用户共享的情况下，所述设置单元通过对基于所述多个用户的所述捕获图像所分别构造的多个特定于用户的增强现实空间进行合并来形成所述增强现实空间。

9.根据权利要求8所述的信息处理设备，其中

所述设置单元通过以体素为单位计算所述多个特定于用户的增强现实空间的和来合并所述多个特定于用户的增强现实空间。

10.根据权利要求8所述的信息处理设备，其中

所述增强现实空间被分割成分别分配给用户的多个区，以及

所述设置单元通过针对每个区选择被分配了该区的用户的特定于用户的增强现实空间来合并所述多个特定于用户的增强现实空间。

11.根据权利要求7所述的信息处理设备，其中

所述控制单元根据哪个用户的捕获图像示出了与虚拟对象对应的真实对象来改变叠加于所述捕获图像上的所述虚拟对象的显示属性。

12.根据权利要求7所述的信息处理设备，其中

所述设置单元基于所述捕获图像中示出的参考对象的大小来设置被所述多个用户共享的所述增强现实空间的显示比例。

13.根据权利要求1所述的信息处理设备，其中

所述设置单元使用具有用户指定的粒度的体素以对所述真实对象进行离散化。

14.根据权利要求1所述的信息处理设备，其中

所述设置单元使用具有基于用户隐私设置所确定的粒度的体素以对所述真实对象进行离散化。

15.根据权利要求1所述的信息处理设备，其中

所述设置单元通过对被用户指定的真实对象或未被用户排除的真实对象进行离散化来设置所述增强现实空间。

16.一种客户端设备，包括：

图像捕获单元，所述图像捕获单元通过捕获真实空间来生成捕获图像；

通信单元，所述通信单元与服务器设备进行通信，所述服务器设备通过以体素为单位对所述捕获图像中示出的所述真实空间内的真实对象进行离散化来与所述真实空间相关联地设置虚拟地增强所述真实空间的增强现实空间；以及

控制单元，所述控制单元使放置于通过所述服务器设备所设置的所述增强现实空间内的虚拟对象的图像显示在屏幕上。

17.一种信息处理方法，所述信息处理方法通过设置有图像捕获单元和与服务器设备进行通信的通信单元的客户端设备来执行，

其中所述服务器设备通过以体素为单位对所述捕获图像中示出的所述真实空间内的真实对象进行离散化来与所述真实空间相关联地设置虚拟地增强所述真实空间的增强现实空间，

所述信息处理方法包括：

通过使用所述图像捕获单元捕获真实空间来生成所述捕获图像；以及

使放置于通过所述服务器设备所设置的所述增强现实空间内的虚拟对象的图像显示在屏幕上。

18.一种程序，其使控制客户端设备的计算机用作：

图像获取单元，所述图像获取单元从图像捕获设备获取真实空间的捕获图像；以及

控制单元，所述控制单元使放置于增强现实空间内的虚拟对象的图像显示在屏幕上，所述增强现实空间通过服务器设备来设置，所述服务器设备通过以体素为单位对所述捕获图像中示出的所述真实空间内的真实对象进行离散化来与所述真实空间相关联地设置虚拟地增强所述真实空间的增强现实空间。