CN104937641A - 信息处理装置、客户端装置、信息处理方法以及程序 - Google Patents

Abstract

提供一种迷人的用户体验，该迷人的用户体验利用了增强现实特性。所提供的是一种信息处理装置，包括：图像获取单元，从图像捕获装置获取真实空间的捕获图像；设置单元，将增强现实空间与真实空间相关联并且进行设置，该增强现实空间是在捕获图像中所示出的真实空间的虚拟增强版本并且根据与捕获图像有关的相关信息而不同；以及控制单元，将在增强现实空间内针对每个用户所布置的虚拟对象的图像显示在画面上。

Description

信息处理装置、客户端装置、信息处理方法以及程序

技术领域

本公开涉及一种信息处理装置、客户端装置、信息处理方法以及程序。

背景技术

过去，已经实际地实现了将人工地构建的虚拟空间呈现给用户的多种虚拟现实(VR)技术。例如，专利文献1提议了下述技术：该技术用于当用户对在存在于虚拟空间中的替身进行操作时实现高的可操作性。相反，成为近来关注的焦点的增强现实(AR)技术通过对真实空间部分地进行修改来将增强现实空间(AR空间)呈现给用户。采用典型的AR技术，虚拟地生成的对象(虚拟对象)被叠加在来自指向真实空间的图像捕获装置的图像上，从而提供了仿佛对象存在于在图像中所描绘的真实空间中的用户体验。

引用列表

专利文献

专利文献1JP 2003-150978A

发明内容

技术问题

在AR技术中通过使用用户替身作为虚拟对象，实现了可以表示AR替身的应用。然而，简单地使得真实空间的图像作为替身活动的空间的背景，不能充分地展现增强现实的吸引力。

因此，本公开提议了下述机制：与虚拟现实相反，该机制用于提供良好地利用了增强现实的特性的具有吸引力的用户体验。

问题的解决方案

根据本公开的实施例，提供了一种信息处理装置，包括：图像获取单元，从图像捕获装置获取真实空间的捕获图像；设置单元，与真实空间相关联地设置增强现实空间，该增强现实空间虚拟地增强了在捕获图像中所描绘的真实空间，增强现实空间根据与捕获图像有关的相关信息而不同；以及控制单元，使得在增强现实空间内针对每个用户所放置的虚拟对象的图像显示在画面上。

根据本公开的实施例，提供了一种客户端装置，包括：图像捕获单元，通过对真实空间进行捕获生成捕获图像；通信单元，与服务器装置进行通信，该服务器装置与真实空间相关联地设置增强现实空间，该增强现实空间虚拟地增强了在捕获图像中所描绘的真实空间，增强现实空间根据与捕获图像有关的相关信息而不同；以及控制单元，使得在增强现实空间内针对每个用户所放置的虚拟对象的图像显示在画面上。

根据本公开的实施例，提供了一种信息处理方法，该信息处理方法由客户端装置所执行，该客户端装置设置有图像捕获单元和与服务器装置进行通信的通信单元。服务器装置与真实空间相关联地设置增强现实空间，该增强现实空间虚拟地增强了在捕获图像中所描绘的真实空间，增强现实空间根据与捕获图像有关的相关信息而不同，该信息处理方法包括通过使用图像捕获单元对真实空间进行捕获来生成捕获图像，以及使得在由服务器装置所设置的增强现实空间内针对每个用户所放置的虚拟对象的图像显示在画面上。

根据本公开的实施例，提供了一种程序，该程序用于使得控制客户端装置的计算机用作：图像获取单元，从图像捕获装置获取真实空间的捕获图像；以及控制单元，使得在增强现实空间内针对每个用户所放置的虚拟对象的图像显示在画面上，该增强现实空间由服务器装置所设置，该服务器装置与真实空间相关联地设置增强现实空间，该增强现实空间虚拟地增强了在捕获图像中所描绘的真实空间，该增强现实空间根据与捕获图像有关的相关信息而不同。

发明的有利效果

根据依照本公开的技术，可以提供良好地利用了增强现实的特性的具有吸引力的用户体验。

附图说明

图1是用于描述根据实施例的信息处理装置的概述的第一说明图；

图2是用于描述根据实施例的信息处理装置的概述的第二说明图；

图3是示出了根据实施例的信息处理装置的硬件配置的示例的框图；

图4是示出了根据实施例的信息处理装置的逻辑功能的配置的示例的框图；

图5是用于描述用于AR空间的坐标***的说明图；

图6是用于描述真实对象的离散化的示例的说明图；

图7是用于描述从真实空间映射所构建的AR空间的示例的说明图；

图8是用于描述AR空间的定制化的示例的说明图；

图9是用于描述设置虚拟对象的纹理或颜色的技术的第一示例的说明图；

图10是用于描述设置虚拟对象的纹理或颜色的技术的第二示例的说明图；

图11是用于描述设置虚拟对象的显示属性的技术的示例性修改的说明图；

图12是用于描述在多个用户之间共享AR空间的技术的第一示例的说明图；

图13是用于描述在多个用户之间共享AR空间的技术的第二示例的说明图；

图14是用于描述在多个用户之间共享AR空间的技术的第三示例的说明图；

图15是用于描述由多个用户所共享的AR空间的显示的示例的说明图；

图16是用于描述指定对象进行共享或不进行共享的用户界面的示例的说明图；

图17是用于描述体元粒度的设置的说明图；

图18是用于描述替身选择窗口的示例的说明图；

图19是用于描述基本操作窗口的示例的说明图；

图20是用于描述移动替身的操作的示例的说明图；

图21是用于描述停止替身移动的操作的示例的说明图；

图22是用于描述改变替身的方向的操作的示例的说明图；

图23是用于描述改变替身的方向的操作的另一示例的说明图；

图24A是用于描述由替身所执行的物品使用动作的第一示例的第一说明图；

图24B是用于描述由替身所执行的物品使用动作的第一示例的第二说明图；

图25是用于描述切换由替身所使用的物品的操作的示例的说明图；

图26是用于描述由替身所执行的物品使用动作的第二示例的说明图；

图27是用于描述经由替身进行的通信的第一示例的说明图；

图28是用于描述经由替身进行的通信的第二示例的说明图；

图29是用于描述显示替身信息的操作的示例的说明图；

图30是用于描述改变AR空间的位置的操作的示例的说明图；

图31是用于描述改变AR空间的定向的操作的示例的说明图；

图32是用于描述可以在AR应用中实现的若干菜单的示例的说明图；

图33是用于描述实时模式和快照模式的说明图；

图34是用于描述图33所示的两种类型的操作模式之间的转变的说明图；

图35是用于描述蓝图模式的说明图；

图36是用于描述摄像装置视角模式和替身视角模式的说明图；

图37是用于描述图36所示的两种类型的显示模式之间的转变的说明图；

图38是用于描述选择AR空间的技术的第一示例的说明图；

图39是用于描述选择AR空间的技术的第二示例的说明图；

图40是用于描述选择AR空间的技术的第三示例的说明图；

图41是用于描述选择AR空间的技术的第四示例的说明图；

图42是用于描述调整AR空间的可变参数的第一示例的说明图；

图43是用于描述调整AR空间的可变参数的第二示例的说明图；

图44是用于描述设置在AR空间中虚拟对象的初始位置的技术的第一示例的说明图；

图45是用于描述设置在AR空间中虚拟对象的初始位置的技术的第二示例的说明图；

图46是用于描述在正常模式下AR空间中替身数量的改变的说明图；

图47是用于描述在回放模式下AR空间中替身数量的改变的说明图；

图48是用于描述追踪模式的说明图；

图49是用于描述在AR空间之间移动的路径的示例的说明图；

图50A是用于描述登记进入(check into)AR空间的画面转变的示例的转变图的第一部分；

图50B是用于描述登记进入AR空间的画面转变的示例的转变图的第二部分；

图51是示出了用于执行AR应用的信息处理的流程的示例的流程图；

图52是示出了图51所示的动作确定处理的详细流程的示例的流程图；

图53是示出了根据示例性修改例的信息处理装置的逻辑功能的配置的示例的框图；以及

图54是用于描述确定虚拟对象放置的技术的示例性修改例的说明图。

具体实施方式

在下文中，将参照附图详细地描述本发明的优选实施例。注意，在本说明书和附图中，采用相同的附图标记来标示基本上具有相同的功能和结构的元件，并且省略重复的说明。

另外，将按照下面的顺序继续描述。

1.概述

2.根据实施例的信息处理装置的示例性配置

2-1.硬件配置

2-2.逻辑功能配置

3.AR空间设置

3-1.AR空间的坐标***

3-2.从真实空间映射构建AR空间

3-3.对AR空间进行定制

3-4.设置虚拟对象显示属性

3-5.共享AR空间

3-6.与共享对象有关的设置

4.虚拟对象操作

4-1.操作窗口示例

4-2.替身动作

4-3.使用替身进行的通信

4-4.对AR空间的操作

4-5.其他操作

4-6.各种操作模式

5.AR社群(coummunity)

5-1.形成AR社群

5-2.调整可变参数

5-3.设置初始位置

5-4.各种访问模式

6.处理流程示例

6-1.登记进入处的画面转变

6-2.执行AR应用

6-3.动作确定处理

7.示例性修改例

7-1.客户端/服务器链接

7-2.简单真实空间识别

8.结论

<1.概述>

首先，将使用图1和图2来描述根据本公开的技术的概述。图1和图2是用于描述根据实施例的信息处理装置100的概述的说明图。

参照图1，示出了由用户Ua所拥有的信息处理装置100a。用户Ua朝向真实空间11a举起信息处理装置100a。信息处理装置100a配备有摄像装置(图像捕获装置)，该摄像装置包括指向真实空间11a的透镜和显示屏幕。在图1的示例中，真实对象R10a、R11a、R12以及R13存在于真实空间11a中。真实对象R10a是桌子。真实对象R11a是海报。真实对象R12是书。真实对象R13是杯子。信息处理装置100a的摄像装置通过对真实空间11a进行捕获来生成捕获图像。信息处理装置100a的显示器可以在屏幕上显示捕获图像。信息处理装置100a可以配备有控制器(未示出)，该控制器使得增强现实(AR)应用进行操作。AR应用接收描绘真实空间的捕获图像作为输入图像，并且将叠加有虚拟对象的输出图像输出到显示器。在图1的示例中，虚拟对象A11被叠加在输出图像Im11上，仿佛虚拟对象A11站立在桌子R10a之上。

参照图2，示出了由用户Ub所拥有的信息处理装置100b。用户Ub朝向真实空间11b举起信息处理装置100b。信息处理装置100b配备有摄像装置(图像捕获装置)，该摄像装置包括指向真实空间11b的透镜和显示屏幕。在图2的示例中，真实对象R10b、R11b、R14以及R15存在于真实空间11b中。真实对象R10b是桌子。真实对象R11b是海报。真实对象R14是笔。真实对象R15是咖啡杯。信息处理装置100b的摄像装置通过对真实空间11b进行捕获来生成捕获图像。信息处理装置100b的显示器可以在屏幕上显示捕获图像。信息处理装置100b可以配备有控制器(未示出)，该控制器使得AR应用进行操作。AR应用接收描绘真实空间的捕获图像作为输入图像，并且将叠加有虚拟对象的输出图像输出到显示器。在图2的示例中，虚拟对象A11、A12以及A13被叠加在输出图像Im12上，仿佛虚拟对象A11、A12以及A13在桌子R10a之上行走。

在图1的示例中，虚拟对象A11是用户Ua的替身。替身A11被放置在与现实空间11a相关联地设置的增强现实空间(AR空间)中，并且可以执行各种动作。用户Ua能够通过查看或操作在屏幕上所显示的替身A11来享受AR应用。

AR应用可以由单独的用户使用，或可以由多个用户使用。在图2的示例中，虚拟对象A11是用户Ua的替身，而虚拟对象A12是用户Ub的替身。换言之，与图1中的真实空间11a相关联地所设置的AR空间通用地共享的AR空间被与图2中的真实空间11b相关联地设置。作为结果，在用户Ua与用户Ub之间共享同一AR空间。用户Ua可以使用信息处理装置100a以对替身A11进行操作，而用户Ub可以使用信息处理装置100b以对替身A12进行操作。替身A11和替身A12也能够彼此交互。作为结果，创建经由AR应用进行的用户之间的通信。替身A13可以是另一用户的替身，或可以根据某种算法自主地进行动作的角色(也被称为非玩家角色(NPC))。

以这种方式，当采用AR技术用户替身被用作虚拟对象时，简单地使得真实空间的图像作为在其中替身活动的空间的背景不能充分地展示增强现实的吸引力。因此，在下面的部分中详细地描述的各种实施例实现了下述机制：与虚拟现实相反，该机制用于提供良好地利用增强现实的特性的具有吸引力的用户体验。

注意，在下面的说明中，当信息处理装置100a和100b不彼此进行区分时，通过省略附图标记中尾部的字母来将这些装置整体地称为信息处理装置100。

在图1和图2中，平板式装置被示为信息处理装置100的一个示例。然而，信息处理装置100不限于这样的示例。信息处理装置100还可以是例如个人计算机(PC)、个人数字助理(PDA)、智能电话、游戏控制器、便携式导航装置(PND)、内容播放器、数字设备等。另外，信息处理装置100还可以是可穿戴装置，诸如头戴式显示器(HMD)。另外，代替于在由用户所操作的客户端上进行操作的AR应用，AR应用还可以在能够与客户端进行通信的另一装置(例如，应用服务器)上进行操作。

<2.根据实施例的信息处理装置的示例性配置>

[2-1.硬件配置]

图3是示出了根据实施例的信息处理装置100的硬件配置的示例的框图。参照图3，信息处理装置100配备有摄像装置102、传感器104、输入接口106、存储器108、显示器110、通信接口112、总线116以及处理器118。

(1)摄像装置

摄像装置102是对图像进行捕获的摄像模块。摄像装置102是下述装置：该装置使用诸如电耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器的图像传感器对真实空间进行捕获并且生成捕获图像。由摄像装置102所生成的捕获图像是用于由处理器118所执行的信息处理的输入图像。注意，摄像装置102未被严格地限制为信息处理装置100的一部分。例如，以有线方式或无线方式连接到信息处理装置100的图像捕获装置也可以被当做摄像装置102。

(2)传感器

传感器104是传感器模块，该传感器模块包括测量信息处理装置100的地理位置的定位传感器。例如，定位传感器可以接收全球定位***(GPS)信号以测量纬度、经度以及高度，或基于被传送到无线接入点以及从无线接入点所接收的无线信号测量位置。此外，传感器104还可以包括其他类型的传感器，诸如加速度传感器和陀螺仪传感器。由传感器104所生成的传感器数据可以被用于各种应用，诸如被用于辅助于真实空间的识别、被用于获取用于地理位置的专业数据、或被用于检测用户输入。

(3)输入接口

输入接口106是为了使得用户对信息处理装置100进行操作或将信息输入到信息处理装置100所使用的输入装置。输入接口106可以包括例如触摸传感器，该触摸传感器检测由用户在显示器110的屏幕(或在屏幕相对侧的壳体表面)上所执行的触摸。代替于上述(或除了上述之外)，输入接口106还可以包括其他类型的输入装置，诸如按钮、开关、按键或指点装置。另外，输入接口106还可以包括：语音输入模块，该语音输入模块将由用户所发出的语音命令识别为用户输入；或凝视检测模块，该凝视检测模块将用户的凝视的方向检测为用户输入。

(4)存储器

存储器108被实现为诸如半导体存储器或硬盘的存储介质，并且存储由信息处理装置100进行的处理中所使用的程序和数据。由存储器108所存储的数据可以包括捕获图像数据、传感器数据以及在稍后讨论的数据存储单元内部的各种数据。注意，在本说明书中所讨论的一些程序和数据还可以从外部数据源(诸如，数据服务器、网络存储、或外部地附接的存储器，例如)获取而不是被存储在存储器108中。

(5)显示器

显示器110是显示模块，该显示模块包括显示器，诸如液晶显示器(LCD)、有机发光二极管(OLED)、或阴极射线管(CRT)。显示器110被用于例如显示由信息处理装置100所生成的AR应用图像。注意显示器110同样地未被严格地限制为信息处理装置100的一部分。例如，以有线方式或无线方式连接到信息处理装置100的图像显示装置也可以被当做显示器110。

(6)通信单元

通信接口112是在信息处理装置100与其他装置之间传达通信的通信接口。通信接口112支持任意无线通信协议或有线通信协议，并且创建与其他装置的通信连接。

(7)总线

总线116将摄像装置102、传感器104、输入接口106、存储器108、显示器110、通信接口112以及处理器118彼此连接。

(8)控制器

处理器118可以对应于中央处理单元(CPU)、数字信号处理器(DSP)等。处理器118通过执行在存储器108或其他存储介质中所存储的程序，使得稍后描述的信息处理装置100的各种功能进行操作。

[2-2.逻辑功能配置]

图4是示出了由图3所示的信息处理装置100的存储器108和处理器118所实现的逻辑功能的示例性配置的框图。参照图4，信息处理装置100配备有图像获取单元120、数据获取单元130、AR处理单元140以及数据存储单元160。AR处理单元140包括识别单元142、AR空间设置单元144以及对象控制单元146。

(1)图像获取单元

图像获取单元120从摄像装置102获取描绘真实空间的捕获图像作为输入图像。由图像获取单元120所获取的输入图像通常为构成视频的各个帧。图像获取单元120将所获取的输入图像输出到AR处理单元140。

(2)数据获取单元

数据获取单元130获取为了AR处理单元140使得AR应用进行操作所使用的数据。例如，数据获取单元130获取由传感器104所生成的传感器数据，和经由通信接口112从外部装置所接收到的外部数据。稍后描述的数据存储单元160内部的各个数据可以由信息处理装置100预先存储，或可以从外部装置动态地接收。

(3)识别单元

识别单元142识别在从图像获取单元120所输入的输入图像中所描绘的真实对象，并且生成真实空间映射164，该真实空间映射表示每个所识别出的真实对象在真实空间中的位置和定向。另外，识别单元142还识别信息处理装置100(摄像装置102)的位置和定向。识别单元142例如可以根据所创建的图像识别算法(诸如同时定位与建图(SLAM)技术的运动结构(SfM)技术)识别真实对象和信息处理装置100的三维位置和定向。作为示例，JP 2011-159162A公开了通过利用SLAM技术动态地构建真实空间映射(环境映射)的技术。通过应用这样的技术，识别单元142能够实时地识别真实对象和信息处理装置100的三维位置和定向，并且生成真实空间映射164。另外，识别单元142还可以基于来自可以在摄像装置102中额外地提供的深度传感器的深度数据，识别真实对象关于信息处理装置100的相对位置和定向。识别单元142还可以基于来自诸如红外测距***或运动捕获***的环境识别***的输出数据执行识别处理。识别单元142使得数据存储单元160存储真实空间映射164，其可以每当输入新的输入图像时进行更新。

(4)AR空间设置单元

AR空间设置单元144设置增强现实空间(AR空间)，该增强现实空间虚拟地增强在输入图像中所描绘的真实空间。在本实施例中，AR空间是与真实空间相关联地设置的三维空间。使用图1和图2所描述的替身和其他虚拟对象被放置在由AR空间设置单元144所设置的AR空间中，并且在AR空间内进行各种动作。因为AR空间与真实空间相关联地设置，所以即使摄像装置102的视角改变，例如，仍然可以呈现虚拟对象在真实空间内显得保持在同一位置的显示，或呈现替身显得在真实对象的表面上移动的显示。AR空间设置单元144生成或获取表示要设置的AR空间的AR空间模型166，并且使得数据存储单元160存储AR空间模型166。

在工作示例中，AR空间设置单元144通过以体元为单位使得在输入图像中所描绘的真实空间内的真实对象(例如，由真实空间映射164所表示的各个对象)离散化来生成AR空间模型166。体元是具有体积的单位要素。通常地，较小的三维立体块可以被用作体元。在另一工作示例中，AR空间设置单元144获取基于作为外部数据的另一用户捕获图像所生成的AR空间模型166。由AR空间模型166所表示的AR空间可以依赖于与捕获图像有关的相关信息而不同。稍后将进一步地描述用于设置这样的AR空间的各种技术。

在AR空间模型166中，与真实空间中的真实对象相对应的虚拟对象例如以体元为单位离散地表示这些真实对象的形状。AR空间设置单元144可以根据各种条件设置这些虚拟对象的显示属性(例如，诸如纹理和颜色)。稍后将进一步描述用于设置虚拟对象的显示属性的各种条件。

(5)对象控制单元

对象控制单元146将虚拟对象放置在AR空间中，并且使得所放置的虚拟对象显示在屏幕上。由对象控制单元146所放置的虚拟对象包括使用图1和图2所描述的用户替身。另外，虚拟对象还可以包括不同于替身的对象(诸如用于聊天或其他通信的消息对象，或自主地进行动作的角色，例如)。对象控制单元146例如还可以将替身或角色放置在由AR空间模型166所表示的水平平面上。另外，对象控制单元146可以放置与接近该真实对象的一些真实对象有关的虚拟对象。通常地，对象控制单元146放置每个虚拟对象，使得虚拟对象不彼此妨碍。在此，妨碍指的是两个或更多个虚拟对象占据AR空间内的同一体积要素(并且还可以表示为对象冲突)。例如，如果替身与对应于真实对象的虚拟对象相妨碍，则在输出图像中可能会呈现不自然的显示，其中，替身显得被吸入到真实对象。稍后将进一步描述避免对象之间的这样的妨碍。

当在AR空间中所放置的虚拟对象可由用户所操作的情况下，对象控制单元146根据用户输入确定用于该虚拟对象的动作。另外，对象控制单元146根据某种自动控制算法(或人工智能(AI))确定用于自助地进行动作的虚拟对象的动作。然后，对象控制单元146使得虚拟对象执行所确定的动作。稍后将进一步描述用户通过其对虚拟对象(例如，替身)进行操作的各种用户接口。

对象控制单元146基于从图像获取单元120所输入的输入图像和用户输入，对在由AR空间设置单元144所设置的AR空间内的一个或更多个虚拟对象的状态动态地进行更新，并且生成虚拟对象的图像。可以根据针孔模型，例如基于摄像装置102的位置和定向以及在AR空间内的每个虚拟对象的位置和定向生成各个虚拟对象的图像。然后，对象控制单元146使得叠加有虚拟对象图像的真实空间的图像(输出图像)显示在显示器110的屏幕上。作为以这种方式对输出图像动态地进行更新的结果，可以实现真实空间显得由虚拟对象增强的屏幕上显示。

(6)数据存储单元

数据存储单元160存储真实对象数据162、真实空间映射164、AR空间模型166以及虚拟对象数据168。

真实对象数据162是限定在真实空间中可能存在的真实对象的特征的数据。例如，真实对象数据162可以限定用于各个真实对象的形状、大小以及纹理，或包括用于各个真实对象的图像特征。真实对象数据162可以被用于例如为了识别单元142识别出捕获图像中所描绘的真实对象。

真实空间映射164是表示用于由识别单元142所识别的各个真实对象的真实空间内的位置和定向的数据。当AR空间设置单元144设置AR空间时，例如，可以参考真实空间映射164。摄像装置102的位置和定向可以额外地由真实空间映射164所表示。

AR空间模型166是表示由AR空间设置单元144所设置的AR空间的数据。例如，当对象控制单元146将虚拟对象放置在AR空间中时，或确定用于虚拟对象的动作时，可以参考AR空间模型166。AR空间模型166还可以包括表示每个所放置的虚拟对象的位置和定向的数据。

虚拟对象数据168是限定可能被放置在AR空间中的虚拟对象的特征的数据。例如，虚拟对象数据168限定由各个用户所选择的替身的昵称、外观、以及可执行的动作的类型。另外，虚拟对象数据168还可以限定用于与替身不同的虚拟对象的外观和可执行的动作的类型。，例如，当对象控制单元146将虚拟对象放置在AR空间中时，或确定用于虚拟对象的动作时，同样地可以参考虚拟对象数据168。

在下一部分中将进一步描述由这样的信息处理装置100可以实现的AR应用的详情。

<3.AR空间设置>

在这部分中，将描述用于与真实空间相关联地设置AR空间的各种技术。

[3-1.AR空间的坐标***]

虚拟对象的位置和定向表示在AR空间的坐标***中(在下文中被称为AR坐标***)。AR坐标***可以与为了表示真实对象在真实空间映射164中的位置和定向所使用的坐标***相同。可以根据在输入图像中所描绘的一些真实对象设置AR坐标***，或可以根据传感器数据所估计的水平平面设置AR坐标***。

作为示例，当用户开始AR应用时所捕获的真实对象被指定为参考对象。可以参照由识别单元142所识别的参考对象的位置和定向设置AR坐标***。参照图5，示出了真实对象R11a。真实对象R11a是在其上写有字母“A”的海报。在此，真实对象R11a被用作参考对象。根据参考对象R11a的位置和定向设置图5所示的X-Y-Z坐标***。此X-Y-Z坐标***可以被用作AR坐标***。AR坐标***的标度可以被设置为与参考对象R11a的大小相匹配。注意，在根据之前所讨论的SLAM技术识别真实空间的情况下，在识别的初始阶段中捕获参考对象之后，可以继续进行真实空间的识别而不损失AR坐标***的追踪，即使参考对象移动到视角之外也如此。

[3-2.根据真实空间映射构建AR空间]

在工作示例中，AR空间映射单元144通过以如之前所讨论的体元为单位例如将在由识别单元142所生成的真实空间映射164内的各个真实对象离散化来构建AR空间。

图6是用于描述真实对象的离散化的示例的说明图。参照图6的上部，示出了存在于真实对象R10a的表面上的真实对象R12。作为由识别单元142所执行的识别处理的结果，在真实空间映射164中声明了真实对象R12在AR坐标***中的位置和定向(P12，W12)。真实对象R12的形状和大小可以由真实对象数据162预先限定。结果，AR空间设置单元144基于真实对象R12的位置、定向、形状和尺寸计算真实对象R12的空间边界，并且能够确定真实空间R12所占据的体元的范围。

在图6的下部中，示出了与由真实对象R12所占据的体元集合所对应的虚拟对象V12。例如，因为体元VX1的至少一半体积在真实对象R12的空间边界内部，所以体元VX1构成了虚拟对象V12的一部分。另一方面，因为体元VX2在真实对象R12的空间边界的外部，所以体元VX2不构成虚拟对象V12的部分。每个体元是否构成真实对象的一部分的问题可以由例如针对每个体元的一个比特的信息所表示。当对AR空间进行处理时，以这种方式，以体元为单位对真实对象进行离散化，以及对在AR空间模型166中由真实对象所占据的体元和未占据的体元进行区分取得了各种优点。稍后将进一步描述这些优点。

图7是用于描述根据真实空间映射所构建的AR空间的示例的说明图。在图7的上部中，概念性地示出了针对使用图1所描述的真实空间11a可以由识别单元142所生成的真实空间映射。该真实空间映射包括真实对象R10a的位置和定向(P10，W10)、真实对象R11a的位置和定向(P11，W11)、真实对象R12的位置和定向(P12，W12)以及真实对象R13的位置和定向(P13，W13)。在图7的下部中，概念性地示出了可以通过针对真实空间11a对真实空间映射进行离散化生成的AR空间模型M10。AR空间模型M10对由真实对象R10a、R11a、R12以及R13空间地占据的体元进行区分。分别地，虚拟对象V10a对应于真实对象R10a、虚拟对象V11a对应于真实对象R11a、虚拟对象V12对应于真实对象R12、以及虚拟对象V13对应于真实对象R13。可以使用这样的AR空间模型，以用于控制在AR空间内的替身和其他虚拟对象的动作。

注意，可以基于使用多个输入图像进行的累积识别的结果，生成真实空间映射和AR空间模型。换言之，在构建AR空间的阶段期间，单个用户可以移动摄像装置102的视角，以便扫描附近的真实空间，从而在跨越多个帧所识别出的宽的空间范围上生成真实空间映射和AR空间模型。另外，还可以根据由多个用户并行地捕获的真实空间的多个输入图像协作地生成在宽的空间范围上的真实空间映射和AR空间模型。

[3-3.对AR空间进行定制化]

AR空间还可以由用户根据通过对真实空间进行离散化所构建的状态进行定制化。图8是用于描述AR空间的定制化的示例的说明图。参照图8，再次示出了图7的下部所示的AR空间模型M10。然而，在图8的示例中，AR空间模型M10包括虚拟对象V16和空洞H17。虚拟对象V16是虚拟块的集合，并且不对应于真实对象。由虚拟对象V16所占据的体元同样地可以由AR空间模型M10进行区分。稍后将进一步描述用于添加虚拟块的用户接口的示例。空洞H17是应当由真实对象所占据的体元，并且对应于在其处不存在真实对象的体元。如果能够进行AR空间的这样的定制化，则对于用户变得可以根据他或她自身的意愿独立地构建游戏场地或与用于与其他用户进行通信的场地。例如，在针对竞争性的多玩家游戏的场地中，虚拟对象V16可以变为障碍，而空洞H17可以变为陷阱。

[3-4.设置虚拟对象显示属性]

AR空间设置单元144可以根据各种条件设置与AR空间模式166中的真实对象相对应的虚拟对象的显示属性。可以由AR空间设置单元144所设置的虚拟对象的显示属性可以包括虚拟对象的纹理和颜色。在下文中，将描述用于设置与真实对象相对应的虚拟对象的显示属性的技术的若干示例。

(1)第一示例

图9是用于描述设置虚拟对象的纹理或颜色的技术的第一示例的说明图。在第一示例中，AR空间设置单元144基于该真实对象的纹理或颜色，设置与每个真实对象相对应的每个虚拟对象的纹理或颜色。在图9的上部中，示出了真实对象R12。真实对象R12是书，并且在封面上画有图案。在真实物体R12的侧面，堆叠的书页的边缘是可见的。AR空间设置单元144基于可以从输入图像所获取的真实对象R12的纹理或颜色，设置与这样的真实对象R12相对应的虚拟对象V12的表面的纹理或颜色。在图9的下部中，示出了应用了纹理或颜色的虚拟对象V12。在图9的示例中，针对每个体元面确定纹理或颜色。注意，还可以针对每个对象或针对每个虚拟对象的每个面确定虚拟对象的纹理或颜色。根据这样的技术，离散化的虚拟对象的外观将类似于相对应的真实对象的外观，从而使得用户能够容易地确定输出图像中真实空间的状况，即使在代替于真实对象显示相对应的虚拟对象现的情况下也如此。

(2)第二示例

图10是用于描述设置虚拟对象的纹理或颜色的技术的第二示例的说明图。在第二示例中，AR空间设置单元144基于参考对象的纹理或颜色设置与每个真实对象相对应的每个虚拟对象的纹理或颜色。在图10的上部中，示出了真实对象R12和R19。真实对象R12是书。真实对象R19是饮料罐。在这两个真实对象之间，假定真实对象R19是参考对象。AR空间设置单元144基于参考对象R19的纹理或颜色设置与真实对象R12相对应的虚拟对象V12的表面的纹理或颜色。在图10的下部中，示出了应用了纹理的虚拟对象V12。在图10的示例中，虚拟对象V12的纹理指示与参考对象R19的外观类似的外观。根据这样的技术，变为可以提供特别的AR空间，诸如下述AR空间：在该AR空间中，用户房间的空间被装饰有由用户所捕获的特定真实对象的外观。另外，规划针对特定产品的市场活动的公司还可以提供使用该产品作为参考对象的AR应用。在这样的情况下，用户附近空间装饰有产品的封装或标志的外观，从而提高了用户对该产品的认识，并且潜在地使用户愿意进行购买。

(3)示例性修改例

图11是用于描述设置虚拟对象的显示属性的技术的示例性修改例的说明图。在此，AR空间设置单元144基于该真实对象的拓扑参数设置与每个真实对象相对应的每个虚拟对象的外观。真实对象的拓扑参数例如可以包括水平宽度，从某一参考表面起的高度，以及真实对象的位置。在图11的上部中，示出了真实对象R12和R13。真实对象R12具有大于第一阈值的宽度以及大于第二阈值的高度。真实对象R13具有低于第一阈值的宽度以及大于第二阈值的高度。AR空间设置单元144基于这样的拓扑参数，将与真实对象R12相对应的虚拟对象V12的外观类型设置为山。另外，AR空间设置单元144将与真实对象R13相对应的虚拟对象V13的外观类型设置为树。AR空间设置单元144还可以分别地将具有等于参考表面的高度的区域的外观类型设置为地面，以及将具有低于参考表面的高度的区域的外观类型设置为水面。采用这样的技术，可以为用户提供下述特别的AR空间：在该AR空间中，用户附近空间呈现为装饰有自然风景。

[3-5.共享AR空间]

采用与在此之前所描述的技术类似的技术所构建的AR空间可以被利用以为了单个用户享受AR应用，或被利用以为了多个用户经由诸如替身的虚拟对象进行通信。在后者的情况下，简单地使得多个用户分别地并且独立地构建AR空间未导致这些AR空间被共享。因此，在这部分中，将描述在多个用户之间共享AR空间的技术的若干示例。

(1)第一示例

图12是用于描述在多个用户之间共享AR空间的技术的第一示例的说明图。在第一示例中，在AR空间由多个用户共享的情况下，AR空间设置单元144将基于来自这些多个用户之中的父用户的捕获图像所设置的AR空间应用到多个用户中的每个用户。图12示出了用户Ua、Ub以及Uc。在这些用户之中，用户Ua是父用户，而用户Ub和用户Uc是子用户。AR空间模型M11是表示基于来自父用户Ua的捕获图像所设置的AR空间的模型(在下文中被称为父AR空间模型)。父AR空间模型M11例如可以通过对父用户Ua附近的真实空间进行离散化而生成。随后，父AR空间模型M11分别地从父用户Ua的装置或应用服务器被递送到子用户Ub和Uc的装置。子用户侧的信息处理装置100的AR空间设置单元144参考经由获取单元130所获取的父AR空间模型，并且与在由图像获取单元120所获取的输入图像中所描绘的真实空间相关联地设置由父AR空间模型所表示的AR空间。根据这样的技术，变为可以实现下述AR应用：在该AR应用中，子用户的替身呈现为例如访问所选择的父用户的房间。

(2)第二示例

图13是用于描述在多个用户之间共享AR空间的技术的第二示例的说明图。在第二示例中，在由多个用户共享AR空间的情况下，AR空间设置单元144通过对基于来自这些多个用户的捕获图像分别地构建的多个用户特有AR空间进行合并来形成单个AR空间。AR空间设置单元144可以通过以体元为单位计算多个用户特有的AR空间的和来对多个用户特有的AR空间进行合并。图13示出了用户Ua和Ub。用户Ua和Ub是相互对等的用户。在图13的左上部中，示出了用户特有的AR空间模型M21，其表示通过对在用户Ua附近的真实空间进行离散化所构建的用户特有的AR空间。在图13的右上部中，示出了用户特有的AR空间模型M22，其表示通过对在用户Ub附近的真实空间进行离散化所构建的用户特有的AR空间。用户特有的AR空间模型M21和M22在用户Ua和Ub的装置上或在应用服务器上被合并以形成单个的合并AR空间模型M23。在图13的示例中，用户特有的AR空间模型M21和M22首先以参考对象的位置和定向作为参考而对准，然后通过以体元为单位进行逻辑OR(或)计算而合并，从而形成合并的AR空间模型M23。在此，逻辑或意味着被区分为由在至少一个用户特有的AR空间模型中的真实(虚拟)对象所占据的体元，也被区分为由在合并AR空间模型中的真实(虚拟)对象所占据。例如，用户特有的AR空间模型M21包括与真实对象相对应的虚拟对象V21和V22。用户特有的AR空间模型M22包括与真实对象相对应的虚拟对象V23和V24。合并AR空间模型M23包括所有这些虚拟对象V21、V22、V23以及V24。

在此，针对比较的目的，假定下述情形：在该情形中，在用户Ua与用户Ub之间共享用户特有的AR空间模型M22(不是合并AR空间模型M23)。使用图1和图2所描述的替身可以在AR空间内移动，以便不与其他虚拟对象冲突。然而，因为用户特有的AR空间模型M22不包括虚拟对象V22，所以替身可以通过虚拟对象V22的位置。因为真实对象不存在于在用户Ub侧的虚拟对象V22的位置处，所以这样的替身移动未形成问题。然而，在用户Ua侧，真实对象存在于虚拟对象V22的位置处，并且由于这个原因，可以呈现不自然的显示，在该不自然的显示中，替身显得直接通过该真实物体。相反，当在用户Ua与Ub之间共享合并AR空间模型M23的情况下，合并AR空间模型M23包括所有的虚拟对象V21、V22、V23以及V24，从而有效地防止了在共享AR空间内的替身与在任意用户附近的真实对象相妨碍。如果以体元为单位对用户特有的AR空间模型进行离散化，则通过使用基于以体元为单位的逻辑操作的简单算法可以以较小的计算负载对AR空间模型进行合并。注意，在其他示例中，代替于逻辑或也可以进行逻辑与(AND)计算。

(3)第三示例

图14是用于描述在多个用户之间共享AR空间的技术的第三示例的说明图。在第三示例中，当在由多个用户共享AR空间的情况下，AR空间设置单元144通过对基于来自这些多个用户的捕获图像分别地构建的多个用户特有的AR空间进行合并形成单个AR空间。AR空间被分割为分别地被分配给每个用户的多个领域，以及AR空间设置单元144例如可以通过根据各个领域的用户分配分别地针对各个领域选择不同的用户特有的增强现实空间，合并用户特有的增强现实空间。图14示出了用户Ua和Ub。用户Ub是用户Ua的相对方(opponent)。在图14的左上部，示出了用户特有的AR空间模型M31，其表示通过对在用户Ua附近的真实空间进行离散化所构建的用户特有的AR空间。在图14的右上部，示出了用户特有的AR空间模型M32，其表示通过对在用户Ub附近的真实空间进行离散化所构建的用户特有的AR空间。在用户Ua和Ub的装置上或在应用服务器上对用户特有的AR空间模型M31和M32进行合并，以形成单个合并的AR空间模型M33。在图14的示例中，以参考对象的位置作为参考，AR空间的左半边是被分配给用户Ua的领域Ta，而AR空间的右半边是被分配给用户Ub的领域Tb。AR空间设置单元144选择用于领域Ta的用户特有的AR空间模型M31，选择用于领域Tb的用户特有的AR空间模型M32，以及通过在领域边界处将这些所选择的用户特有的AR空间模型进行连接形成合并的AR空间模型M33。合并的AR空间模型M33包括虚拟对象V31，其被包括在领域Ta中的用户特有的AR空间模型M31中，并且包括虚拟对象V32和V33，其被包括在领域Tb中的用户特有的AR空间模型M32中。

根据这样的技术，对于多个用户变为可以将构建并且定制AR空间的任务划分到分离的区域中。另外，在竞争性多玩家游戏应用(诸如在采用替身进行的生存游戏、躲避球、或打雪仗)中，对于每个用户变为可以构建他或她自己的基地，在其中，对用户特有的基地进行连接以将单个的多个用户的场地形成为整体。

注意，在任一技术中，AR空间设置单元144还可以基于例如在输入图像中所描绘的真实空间内的参考对象的大小，设置由多个用户所共享的AR空间的显示标度。由于这个原因，在从服务器所递送的AR空间模型被用于设置AR空间的情况下，例如，可以避免不自然的显示，在该不自然的显示中所设置的AR空间显得浮在真实空间之上或相反地沉浸在真实空间中。另外，例如可以基于摄像装置与某种参考表面(诸如真实空间中的地板表面、墙壁表面、或桌子表面)之间的距离设置AR空间的显示标度。

[3-6.显示共享对象]

(1)虚拟对象显示属性

在当在多个用户之间共享AR空间的情况下，存在下述可能性：与不存在于给定的用户附近的真实对象相对应的虚拟对象被包括在共享的AR空间模型中。在这种情况下，如果虚拟对象未被显示，则用户将不能识别该对象的存在。另一方面，即使与存在于用户附近的真实对象相对应的虚拟对象未被显示，因为在输入图像中描绘了真实对象，所以用户能够识别该对象的存在。当使得与真实对象相对应的虚拟对象被显示在屏幕上时，对象控制单元146可以根据哪个用户捕获图像描绘了与该虚拟对象相对应的真实对象来改变虚拟对象的显示属性。例如，对象控制单元146可以使得在来自当前装置的用户的捕获图像中所描绘的真实对象相对应的虚拟对象隐藏或半透明，并且仅将与在来自其他用户的捕获图像中所描绘的真实对象相对应的虚拟对象叠加在输入图像上。另外，对象控制单元146还可以针对每个用户不同地设置与在来自其他用户的捕获图像中所描绘的真实对象相对应的虚拟对象的纹理或颜色。

图15是用于描述由多个用户所共享的AR空间的显示的示例的说明图。参照图15示出了由用户Ua所拥有的信息处理装置100a。在信息处理装置100a的屏幕上，显示有被叠加在输入图像上的用户Ua的替身A11和用户Ub的替身A12。输入图像描绘了真实对象R12。真实对象R12存在用户Ua附近的真实空间中。另外，虚拟对象V15显示在信息处理装置100a的屏幕上。与虚拟对象V15相对应的真实对象不存在于用户Ua附近的真实空间中，但是存在于用户Ub(未示出)附近的真实空间中。通过按照这种方式(在图15的示例中为显示/隐藏)设置虚拟对象的显示属性，用户能够在存在于他或她附近的对象与在AR应用图像内的所有其他对象之间进行区分。另外，在针对每个用户分别地设置虚拟对象的显示属性的情况下，对于用户变得可以区分哪个虚拟对象源于在哪个用户附近的真实对象。

(2)共享/非共享设置

当在多个用户之间共享AR空间的情况下，存在下述可能性：用户不想其他用户知道在他或她附近存在何种真实对象。如果开始AR应用需要从真实空间物理地移动用户不想其他用户知道的真实对象，则用户将会不便。因此，AR空间设置单元144还可以通过仅对由用户所指定的真实对象进行离散化来设置AR空间。另外，AR空间设置单元144还可以提示用户对真实对象进行指定以从AR空间中将其排除，并且通过对未被排除的真实对象进行离散化来设置AR空间。

图16是用于描述用户通过其指定要共享或不要共享的对象的用户接口的示例的说明图。参照图16，描绘了真实空间11a的图像Im13被显示在信息处理装置100a的屏幕上。图像Im13描绘了在真实空间11a中所存在的真实对象R12。例如，识别单元142使用真实对象数据162以识别真实对象R12。在设置AR空间之前，AR空间设置单元144将询问是否从AR空间中排除所识别的真实对象R12的消息MSG11叠加在图像Im13上。例如，在用户选择从AR空间中排除真实对象R12的情况下，与真实对象R12相对应的虚拟对象未被包括在AR空间模型中。另一方面，在用户选择不从AR空间中排除真实对象R12的情况下，与真实对象R12相对应的虚拟对象被包括在AR空间模型中。通过提供这样的用户接口，变为可以仅对用户允许在AR应用中与其他用户共享的对象进行共享。

(3)体元粒度

AR空间设置单元144还可以提示用户指定为了对真实对象进行离散化所使用的体元的粒度。如果体元粒度较小，则与真实对象相对应的虚拟对象可以清楚地对该真实对象的外观进行再现。如果体元粒度较大，则与真实对象相对应的虚拟对象可以仅模糊地对该真实对象的外观进行再现。

图17是用于描述体元粒度的设置的说明图。在图17的左侧，作为示例示出了真实对象R19。在图17的右侧，示出了与真实对象R19相对应的虚拟对象V19a、V19b以及V19c。虚拟对象V19a的体元粒度相对较大，而虚拟对象V19a由三个体元构成。虚拟对象V19b的体元粒度小于虚拟对象V19a，而虚拟对象V19b由24个体元构成。虚拟对象V19c的体元粒度甚至小于虚拟对象V19b，而虚拟对象V19c由甚至更多个体元构成。如图17所示，与虚拟对象V19a和V19b相比，虚拟对象V19c更加清楚地对真实对象R19的外观进行再现。

例如，在用户对真实空间的可再现性施加重要性的情况下，用户可以指定较小的体元粒度。相反，在与真实空间的可再现性相比用户对保护隐私施加更多的重要性的情况下，用户可以指定较大的体元粒度。如果提供了使得能够指定这样的体元粒度的用户接口，则对于用户可以以各自的时间选择与他或她自身意愿相匹配的体元粒度。

代替于由用户直接地进行指定，还可以基于用户的隐私设置确定体元粒度。如图17所示，在用户追求较高等级的隐私保护的情况下，AR空间设置单元144确定较大的体元粒度。另一方面，在用户允许较低等级的隐私保护的情况下，AR空间设置单元144确定较小的体元粒度。如果提供使得能够进行这样的隐私等级指定的用户接口，则对于AR应用变为可以自适应地调整体元粒度以与由用户所追求的隐私保护的等级相匹配。

<4.虚拟对象操作>

在这部分中，将描述与对在AR空间中所放置的替身和其他虚拟对象进行的操作有关的各种工作示例。

[4-1.操作窗口示例]

(1)替身选择窗口

图18是用于描述替身选择窗口的示例的说明图。替身选择窗口是当用户开始基于替身的AR应用时或当用户在应用中等级用户数据时，可以被显示的窗口。在图18的示例中，在替身选择窗口Im21中显示了四个替身。用户能够通过例如沿着向左的方向和向右的方向轻拂来改变当前所选择的候选替身。如果用户轻敲OK按钮，则在该时间所选择的候选替身(通常，前端显示的替身)被选择为用于该用户的替身。

(2)操作窗口

图19是用于描述基本操作窗口的示例的说明图。操作窗口是当执行AR应用时可以被显示的窗口。在图19的示例中，由对象控制单元146所生成的输出图像显示在操作窗口Im22上。例如，此输出图像可以通过将虚拟对象叠加在描绘真实空间的输入图像上而生成。在图19的示例中，替身A11和替身A12被显示为虚拟对象。另外，按钮B1、B2、B3以及B4被叠加在操作窗口Im22上。

如使用图1和图2所描述地，当使用AR应用时，作为一般规则，用户举起指向真实空间的装置(摄像装置)。对于AR应用，摄像装置指向哪个方向的问题是重要的。摄像装置定向的无意识的摆动也可以不利地影响真实空间识别的精度。另外，大多数移动装置具有触摸面板显示器，并且基于触摸输入实现用户接口，但是触摸输入使得装置定向的摆动相对容易。相反，通过尽可能地降低装置定向的摆动，在这部分中所描述的用户接口实现了AR应用的一致操作和改进的可操作性。

例如，对象控制单元146将由用户所操作的用户接口叠加在将对象显示在AR应用内的操作窗口的左边缘区域和右边缘区域中的至少一个上。右边缘区域和左边缘区域是由用户抓握显示器的拇指可以达到的区域。在图19的示例中，按钮B1和按钮B2被叠加到由用户的右手拇指所达到的右边缘区域Rg1，而按钮B3和B4被叠加到由用户左手拇指所达到的左边缘区域Rg2。采用这样的接口布置，用户能够触摸按钮B1、B2、B3或B4，而同时采用双手支撑信息处理装置100。对象控制单元146还可以自动地对用户的用手习惯进行区分，并且在用户的惯用手侧的边缘区域中放置更多的用户接口。

另外，对象控制单元146例如基于AR空间内的对象与摄像装置的光轴之间的位置关系，确定AR空间内所执行的动作的目标位置。摄像装置的光轴通常为沿着深度方向从中心图像捕获平面正交地延伸到图像捕获屏幕的直线。在图19中，AR空间内的桌子的表面与摄像装置的光轴的交叉点C1被指示为“X”标记。在下一个部分中将描述基于AR空间中的对象与摄像装置的光轴之间的这样的位置关系的替身动作的若干示例。

[4-2.替身动作]

作为示例，对象控制单元146基于AR空间内的对象与摄像装置的光轴之间的交叉点的位置确定由替身所执行的动作的目标位置。例如，替身可以在AR空间内移动。在这种情况下，替身移动的目的地是动作的目标位置。另外，替身可以使用AR空间内的物品。在这种情况下，由替身所使用的物品的应用的点为动作的目标位置。

(1)移动/停止

图20是用于描述移动替身的操作的示例的说明图。在图20的上部中，示出了图像Im23a。在图像Im23a中，替身A11被显示。在此，出于简化的目的，与真实对象相对应的虚拟对象的体元被可视化地渲染为网格。然而，体元实际上可以不可见。替身A11被放置在虚拟对象V10的顶部。位置P11是虚拟对象V10与摄像装置的光轴之间的交叉点的位置。为了使得用户能够察觉到位置P11，还可以显示指示位置P11的标记。替身A11以位置P11作为目的地而在AR空间内移动。在图20的下部中所示的图像Im23b中，替身A11接近位置P11。通过移动信息处理装置100并且改变摄像装置的方向，用户能够使得替身朝向期望的目的地移动。此时，因为用户不需要触摸屏幕，所以用户能够移动替身而同时稳定地支撑信息处理装置100。注意，移动的目的地(动作的目标位置)还可以与对象与摄像装置的光轴之间的交叉点的位置不匹配。例如，具有与该交叉点固定偏移的位置也可以被确定为动作的目标位置。

注意，即使移动目的地根据用户操作而改变，对象控制单元146也不立即地将替身移动到该目的地，而是以低于目的地改变速度的较低的速度朝向目的地移动替身。另外，AR空间模型可以通过以体元为单位对真实对象进行离散化而生成，并且对象控制单元146可以以体元为单位确定动作的目标位置，如同图20的示例一样。结果，即使对象与摄像装置的光轴的交叉点的位置由于摄像装置的定向的微小摆动而轻微地涨落，只要涨落保持在一个体元的范围内，则动作的目标位置不改变。采用这些创新，防止替身移动相对于摄像装置运动过分敏感。作为结果，在AR应用中实现了自然的替身运动。对象控制单元146还可以以包括多个体元的体元集为单位确定动作的目标位置，而不是以单个体元为单位。通过随着从摄像装置到对象的距离的增加而增加体元集的大小，还可以使得替身运动的敏感度稳定而不受距离影响。

在诸如竞争性多玩家游戏的应用中，例如，额外地提供快速地移动替身的方式也是有价值的。这样的快速移动可以与经由背面输入接口(诸如在屏幕的相对侧的壳体表面上所提供的触摸传感器)进行的用户输入相关联。

当在存在有从替身当前位置到目的地的直线路径上的障碍上所放置的虚拟对象的情况下，对象控制单元146可以自动地设置非线性路径，使得替身自动地躲避障碍。当在AR空间由以体元为单位而离散化的AR空间模型所表示的情况下，容易确定在AR空间内的给定的坐标点是否由某种对象所占据。结果，对象控制单元146能够参考这样的AR空间模型并且以较低的计算成本自动地设置替身路径。

按钮B1是用于使得用户能够选择动作类型的用户接口。与按钮B1相关联的动作类型包括移动和停止替身。在图20的示例中，移动替身已经被选择为动作。

图21是用于描述停止替身移动的动作的示例的说明图。在图21的上部中，再次示出了图像Im23b。在图像Im23b中，显示替身A11。位置P11是虚拟对象V10与摄像装置的光轴之间的交叉点的位置，并且是替身A11的移动的目的地。此时，如果用户采用他或她的右手拇指轻敲按钮B1，例如，则替身A11的移动停止。在图21的下部所示出的图像Im23c中，替身A11在该时刻停止在该位置处。因为按钮B1被放置在操作窗口的右边缘区域中，所以用户能够停止替身而不将他或她的右手从信息处理装置100上移除。如果用户再次轻敲按钮B1，则可以恢复替身A11的移动。

(2)改变方向

可以使用若干技术实现替身的方向的改变。例如，替身可以简单地面向移动目的地的方向。图22是用于描述替身的方向的改变的操作的示例的说明图。在图22的上部，再次示出了图像Im23b。在图像Im23b中，替身A11被显示。位置P11是虚拟对象V10与摄像装置的光轴之间的交叉点的位置，并且是替身A11的移动的目的地。之后，作为用户移动信息处理装置100并且改变摄像装置的方向的结果，假定P12变为移动的新的目的地。在图22的下部所示的图像Im23d中，替身A11面向位置P12的方向。以这种方式，通过移动信息处理装置100，用户还能够改变替身的方向。

此外，还可以实现改变替身的方向的额外的用户接口。例如，对象控制单元146可以基于关于摄像装置的光轴的旋转控制替身的定向。图23是用于描述改变替身的方向的操作的另一示例的说明图。在图23的上部中，再次示出了图像Im23b。此时，假定用户关于光轴旋转信息处理装置100。对象控制单元146根据由识别单元142进行的针对摄像装置定向的识别结果检测此旋转，并且改变替身A11的方向。在图22的下部所示出的图像Im23e中，替身A11转向其左侧。

注意，用户采用如图23的下部所倾斜的信息处理装置100继续替身操作可能是不舒适的。结果，对象控制单元146还可以例如仅当在触摸或压下指定按钮(未示出)的状态下基于关于摄像装置的光轴的旋转，改变替身的定向。作为结果，用户能够将信息处理装置100返回到原始定向，而同时防止替身重返其原始定向。

用于改变替身的方向的技术不限于以上示例。例如，在关注的指定对象存在于替身附近的情况下，对象控制单元146可以自动地改变替身的方向朝向关注的对象。关注的对象可以包括另一用户的替身，或例如一些其他预先限定的虚拟对象。

(3)使用物品

图24A和图24B是用于描述由替身所执行的物品使用动作的第一示例的说明图。在图24A的上部中，示出了图像Im24a。在图像Im24a中，替身A11被显示。位置P11是虚拟对象V10与摄像装置的光轴之间的交叉点的位置。按钮B2是用于使得用户能够选择动作类型的用户接口。与按钮B2相关联的动作类型包括放置块。在图24A的示例中，作为用户轻敲按钮B2的结果替身A11携带块BL1。如果用户额外地轻敲屏幕，则替身A11将块BL1放置在AR空间内，取位置P11作为物品的应用点(在这种情况下，为块的放置点)。在图24A的下部所示的图像Im24b中，替身A11朝向位置P11投掷块BL1。此外，在图24B的上部所示的图像Im24c中，块BL1在位置P11处着陆。根据这样的用户接口，用户能够使得替身通过移动信息处理装置100以改变摄像装置的方向，来将块放置在AR空间内的期望位置处。在这种情况下，用户能够指定期望的位置而不从信息处理装置100移除他或她的手。在图24B的下部所示的图像Im24d中，更多的块被放置在AR空间内。例如，为了使得用户能够如使用图8所描述地对AR空间进行定制，还可以实现这样的用户接口。另外，例如，为了实现与建筑块或3D块匹配游戏类似的AR应用，可以实现此用户接口。

图25是用于描述切换由替身所使用的物品的操作的示例的说明图。在图25中，示出了图像Im25。在图像Im25中，叠加有按钮B2。如果用户对按钮B2执行轻拂输入，则在多个物品候选之间切换可使用的物品(可以切换物品候选)。在图25中，示出了五种类型的物品候选。例如，这些物品候选可以包括具有不同的纹理或颜色的块，或不同于块的物品。注意，可使用物品候选还可以根据用户所承担的成本(诸如类似于物品购买费用的金钱成本，或类似于在AR空间内的活动成就的就工作而言的成本)改变。在接下来的示例中，用于撞击所放置的块的锤子由替身所使用。

图26是用于描述由替身所执行的物品使用动作的第二示例的说明图。在图26的上部中，示出了图像Im26a。在图像Im26a中，替身A11被显示。位置P13是虚拟对象V10与摄像装置的光轴的交叉点的位置。在图26的示例中，作为用户轻敲按钮B2的结果，替身A11携带锤子HM1。如果用户额外地轻敲屏幕，则替身A11摆动锤子HM1，取位置P13作为物品的应用点(在这种情况下，为锤子击打的点)。在图26的下部所示的图像Im26b中，替身A11摆动锤子HM1，并且在位置P13处所存在的块BL12被击碎。根据这样的用户接口，通过移动信息处理装置100以改变摄像装置的方向，用户能够使得替身击碎在AR空间内的期望位置处所放置的块。在这种情况下，用户能够指定期望的位置而不从信息处理装置100上移除他或她的手。

注意，当在类似于由此部分中的示例所示出地执行动作的情况下，当与目标位置相对应的真实空间内的真实对象能够执行反应时，对象控制单元146可以指示真实对象执行该反应。例如，在真实空间映射164指示容置有振动器的客户端装置(真实对象)存在于锤子摆动的目标位置处的情况下，对象控制单元146可以将无线信号传送到该客户端装置并且使得振动器进行振动。真实对象的反应不限于这样的示例，并且例如还可以是来自发光二极管(LED)的光发射，或来自扬声器的音效的输出。作为结果，可以呈现真实空间与AR空间之间的紧密联系，并且增加AR应用的真实性。

[4-3.使用替身进行的通信]

还可以针对经由替身进行用户之间的通信的目的执行替身动作。针对经由替身进行通信的目的，对象控制单元146根据用户输入使得替身执行动作。

图27是用于描述经由替身进行的通信的第一示例的说明图。在图27的上部中，示出了图像Im31。在图像Im31a中，替身A11和替身A12被显示。替身A11是由用户所操作的替身。替身A12是另一用户的替身。按钮B3是用于针对经由替身进行通信的目的在对动作菜单进行显示和隐藏之间进行切换的用户接口。在图27的示例中，作为用户轻敲按钮B3的结果，包含七个命令按钮的动作菜单被叠加到图像。在这些命令按钮之中，命令按钮CO1是用于使得替身执行摆手动作的用户接口。在图27的下部所示的图像Im31b中，作为用户轻敲命令按钮CO1的结果替身A11摆动他的手。这样的动作还被显示在对替身A12进行操作的其他用户的装置的屏幕上。作为结果，创建了经由替身进行的通信。

图28是用于描述经由替身进行通信的第二示例的说明图。在图28的上部中，示出了图像Im31c。在图像Im31c中，替身A11和替身A12被显示。按钮B5是例如针对经由替身进行聊天的目的的用户接口，并且被显示为动作菜单的一部分。在轻敲按钮B5的情况下，能够使得用户输入聊天消息的软件键盘还被显示在屏幕上。另外，聊天消息还可以经由语音输入接口被输入。在图28的下部所示的图像Im31d中，显示由用户所输入的聊天消息的弹出窗口CB1被叠加在替身A11附近。这样的聊天动作也被显示在对替身A12进行操作的其他用户的装置的屏幕上。作为结果，建立了通信仿佛替身进行交谈。

为了提示经由替身进行的用户之间的通信，使得用户知道关于在AR空间内所遇到的其他用户的替身的信息也是有价值的。图29是用于描述显示替身信息的操作的示例的说明图。在图29中，示出了图像Im32。在图像Im32中，替身A11和替身A12被显示。例如，如果用户轻敲在屏幕上的替身A12，则显示用于替身A12的替身信息的弹出窗口CB2被叠加在替身A12附近。弹出窗口CB2例如显示替身A12(或替身A12的用户的)昵称和其他属性信息。

[4-4.对AR空间的操作]

如在此之前所描述地，理论上，AR空间与在输入图像中所描绘的真实空间相关联地设置。另外，如果摄像装置的视角发生改变，则在屏幕上的AR空间的视角发生改变以追踪视角的改变。然而，如果用户被要求连续地移动摄像装置或移动用户他或她自身以看见用户想要看见的AR空间的位置，则其会是不便的。因此，如在下文中所描述地，提供使得用户能够控制AR空间自身的位置和定向的用户接口是有价值的。

图30是用于描述改变AR空间的位置的操作的示例的说明图。在图30的上部，示出了图像Im33a。在图像Im33a中，替身A12被显示。然而，替身A12位于窗口边界附近。因此，例如用户采用触摸屏幕的双手的拇指以多点触摸手势将两个拇指向右拖拽(图中的D1方向)。在检测到这样的用户输入的情况下，对象控制单元146与拖拽方向平行地移动AR空间关于摄像装置的相对位置。在图30的下部所示的图像Im33b中，作为AR空间向右(图中的D2方向)平行地移动的结果，替身A12的显示位置接近窗口中心。通过提供这样的用户接口，变为可以更容易地察觉屏幕上远离用户的位置处的虚拟对象，而不必使得用户他或她自身移动。

图31是用于描述改变AR空间的定向的操作的示例的说明图。在图31的上部中，示出了图像Im34a。在图像Im34a中，替身A11和替身A12被显示。然而，替身A11被隐藏在替身A12的阴影中。因此，例如用户采用触摸屏幕的双手的拇指以多点触摸手势分别地向下(图中的D3方向)拖拽他或她左手拇指以及向上(图中的D4方向)拖拽他或她的右手拇指。在检测到这样的用户输入的情况下，对象控制单元146旋转AR空间关于摄像装置的相对定向。在图31的下部所示的图像Im34b中，作为AR空间沿着图的D5方向关于Z轴的旋转的结果，替身A11不在被替身A12隐藏。通过提供这样的用户接口，变为可以更容易地察觉屏幕上被隐藏在另一对象的阴影中的虚拟对象，而不必使得用户他或她自身移动。

注意，对象控制单元146还可以基于所指定的用户输入(例如，诸如捏合(pinch-in)或张开(pinch-out))对AR空间的标度进行修改，而不是对AR空间关于摄像装置的相对位置或定向进行修改。

[4-5.其他操作]

配置不限于前述示例，并且在AR应用中还可以实现各种操作。例如，图29所示的操作窗口22的按钮B4是用于在对在AR应用中可以实现的若干额外的菜单进行显示和隐藏之间进行切换的用户接口。图32示出了作为轻敲按钮B4的结果可以显示的操作菜单的示例。在图32所示的图像Im35中，如果用户对按钮B4执行轻拂输入，则可选择操作菜单在多个菜单候选之间进行切换(可以对菜单候选进行切换)。在图32中，示出了四个类型的菜单候选B11、B12、B13以及B14。例如，菜单候选B11是用于撤销由替身所执行的动作(将AR空间恢复到动作之前的状态)的操作菜单。菜单候选B12是用于对AR空间的状态进行重置(例如，移除所有放置的块)的操作菜单。菜单候选B13是用于对AR应用的操作模式(将稍后描述)进行切换的操作菜单。菜单候选B14是用于用户退出AR空间(登记离开)的操作菜单。

[4-6.各种操作模式]

在此部分中，将描述由信息处理装置100可以支持的若干操作模式。

(1)实时模式/快照模式

在此之前所描述的AR应用通常将叠加到每帧地进行更新(由图像获取单元120连续地获取)的输入图像上的AR空间内的虚拟图像显示在屏幕上。在本说明书中，这样的操作模式被指定为实时模式。然而，当对若干情形进行成像时，有时实时模式中的操作可能是不期望的。

例如，当朝向真实空间举起信息处理装置100时，用户可能变得疲劳。然而，在AR应用在实时模式中进行操作的情况下，如果例如用户将信息处理装置100放置在桌子之上，则最新近的输入图像将仅描绘桌子的表面，并且将未显示AR空间的适合的图像。因此，作为示例，信息处理装置100还支持以下描述的快照模式。

在快照模式中，对象控制单元146使得在AR空间内的虚拟对象叠加在为单一静态图像(快照图像)的输入图像上，而不对输入图像进行更新。当从实时模式转变到快照模式时，快照图像可以由图像获取单元120所获取，或可以在其他某些定时由图像获取单元120所获取。注意，替代于在特定时间的输入图像，另一图像(例如，预先准备的快照模式所特有的图像)也可以被用作快照模式中的背景图像。

图33是用于描述实时模式和快照模式的说明图。在图33的左侧，用户Ua朝向真实空间11a举起信息处理装置100。图像Im41是可以显示在实时模式中的图像。在图像Im41中，真实对象R11a和替身A11被显示。同时，在图33的右侧，信息处理装置100被放置在桌子R10a之上，远离用户Ua的手。如果假设信息处理装置100操作在实时模式中，则输入图像将仅描绘桌子的表面(或输入图像将由于不足的光线而变黑)。然而，在信息处理装置100操作在快照模式中的情况下，在信息处理装置100被放置在桌子R10a之上之前所获取的快照连续地被用作输入图像。图像Im42是可以显示在快照模式中的图像。类似于图像Im41，图像Im42显示真实对象R11a和替身A11。

通过支持这样的快照模式，变为可以继续呈现AR应用的适合的显示，即使用户暂时地停止举起信息处理装置100也如此。作为结果，可以减轻对于用户的物理压力。注意在快照模式中，如之前所讨论地，基于AR空间内的对象与摄像装置的光轴之间的位置关系的用户接口被禁用。作为替代的用户接口，例如在快照模式中可以提供基于屏幕上触摸位置的用户接口(例如，触摸位置可以被用作用于动作的目标位置)。作为结果，用户仍然可以对替身进行操作而同时处于快照模式中。用于将当前操作模式是实时模式还是快照模式通知给用户的指示符也被显示在屏幕上。

图34是用于描述图33所示的两种类型的操作模式之间的转变的说明图。在图34中，触发器T1是用于从实时模式到快照模式的转变的触发器。触发器T1可以包括：检测装置已经被放下，检测指定的用户输入，以及无法连续地识别真实空间。触发器T2是用于从快照模式到实时模式的转变的触发器。触发器T2可以包括：检测装置已经被拾起，检测指定的用户输入，以及成功地识别真实空间。

例如，对象控制单元146可以基于由数据获取单元130所获取的传感器数据自动地检测装置已经被放下(或被拾起)。另外，类似于由图32的所示出的菜单候选B13，对象控制单元146还可以检测用于经由用户接口切换操作模式的用户输入。

另外，当在实时模式中输入图像所描绘的真实对象在指定数量的帧上连续地无法被识别的情况下，对象控制单元146可以将操作模式切换到快照模式。例如，在基于识别单元142识别出输入图像内的特征生成真实空间映射的情况下，如果在输入图像中所描绘的特征的数量极度减少，则真实对象(以及摄像装置的位置和定向)可能无法被识别。如果这样的识别故障继续，对于对象控制单元146变为难以将诸如替身的虚拟对象放置在适合的位置，并且AR应用的显示变得不一致。因此，对象控制单元146通过在显示变得不一致之前自动地将操作模式切换到快照模式可以防止不一致、不自然的图像被呈现给用户。注意，对象控制单元146还可以在将操作模式切换到快照模式之前，将警告消息显示在屏幕上。另外，对象控制单元146可以响应于对真实对象的识别的故障来显示用户的替身的显示属性(例如，诸如闪烁或半透明)。作为结果，可以将替身展现出不一致的行为的成因通知给用户。

(2)蓝图模式

蓝图模式是应用模式的一个类型。当用户对AR空间进行定制化时可以使用蓝图模式，或可以在与建筑块类似的应用使用中使用蓝图模式。

图35是用于描述蓝图模式的说明图。参照图35，示出了放置有替身A11的AR空间的图像Im43。在此AR空间中，存在包括已经由替身A11装配的块BL21的块分组。图像Im43不仅显示已经装配的块的此分组，而且还显示包括块BL22的未装配块的半透明的分组。当用户例如通过堆叠多个块形成某种虚拟对象时，未装配的块的此分组的显示被称为蓝图。块BL23是替身A11尝试新近地装配的块。在图Im43的上部中，还显示有在虚拟对象完成之前的剩余块的数量。蓝图数据可以由数据存储单元160预先存储，或可以通过数据获取单元130从诸如应用服务器的外部装置获取。

(3)替身视角模式

对象控制单元146通常通过取摄像装置102的位置和定向作为参考来生成AR空间的图像。在本说明书中，这样的显示模式是指定的摄像装置视角模式。相反，在替身视角模式中，对象控制单元146通过取在AR空间内所放置的替身的位置和定向作为参考生成AR空间的图像。

图36是用于描述摄像装置视角模式和替身视角模式的说明图。在图36的上部中，示出了在摄像装置视角模式中所生成的图像Im44a。在图像Im44a中，替身A11和替身A12被显示。弹出窗口CB3被叠加在替身A12附近。弹出窗口CB3是显示由替身A12的用户所输入的聊天消息的虚拟对象。在图36的下部中，示出了在替身视角模式中所生成的图像Im44b。图像Im44b是基于替身A11的位置和定向所生成的图像。在图像Im44b中，替身A12被显示为较大，仿佛在用户眼前。此外，弹出窗口CB3同样地可以较大的尺寸叠加在图像Im44b上。通过引入这样的替身视角模式，增强了用户到AR空间中的沉浸感。

图37是用于描述图36所示的两种类型的显示模式之间的转变的说明图。在图37中，触发器T3是用于从摄像装置视角模式到替身视角模式的转变的触发器。触发器T3可以包括指定事件的发生和检测指定的用户输入。触发器T4是用于从替身视角模式到摄像装置视角模式的转变的触发器。触发器T4可以包括发生事件的结束、检测指定的用户输入、以及固定的时间量的流逝。指定的事件可以包括：例如，使用图27和图28所描述的替身之间的通信，替身与其他虚拟对象(例如，由其他替身所投掷的块)之间的冲突，以及在竞争性多玩家游戏中的进攻与防守。通过以这种方式进行的两种类型的显示模式之间的转变，变为可以为用户提供更多种类的AR应用图像，而不是来自具有很少改变的视角的单调的图像。

<5.AR社群>

在此部分中，将在多个用户利用使用在此之前所描述的机制的AR社群作为平台的假定之下描述各种工作示例。

注意，在下面的说明中，参与特定AR空间的用户被指定为“登记进入”AR空间。离开AR空间的用户被指定为“登记离开”AR空间。如果用户登记进入AR空间，则例如对象控制单元146将用户的替身放置在该AR空间内。随后，在所放置的替身进入摄像装置102的视角的情况下，该替身的图像显示在屏幕上。

[5-1.形成AR社群]

与参与AR社群的多个用户有关的一个重要问题是哪个用户与哪个其他用户共同存在于针对这些用户所设置的共享AR空间中。如果无任何根据地设置由所有用户所共享的AR空间，则较大数量的替身在AR空间内以无序的方式做出行为，并且不能期望良好的用户体验。因此，作为示例，AR空间设置单元144根据与输入图像有关的相关信息(在下文中，被称为图像相关信息)，与在输入图像中所描绘的真实空间相关联地设置不同的AR空间。例如，AR空间设置单元144可以针对捕获输入图像的用户，设置根据来自预先准备的多个AR空间候选的图像相关信息所选择的AR空间。除了上述(或除上述之外还)，AR空间设置单元144还可以针对捕获输入图像的用户，设置通过根据图像相关信息对AR空间候选的可变参数进行调整所形成的AR空间。

(1)AR空间选择的第一示例

图38是用于描述选择AR空间的技术的第一示例的说明图。在第一示例中，图像相关信息包括在输入图像中所描绘的参考对象的属性。作为示例，参考对象的属性包括参考对象的类型。AR空间设置单元144针对捕获相同类型的参考对象的用户设置共享AR空间。在图38的上部，示出了五个用户Ua、Ub、Uc、Ud以及Ue。

例如，用户Ua捕获真实对象R11a作为参考对象。作为结果，用户Ua的装置的AR空间设置单元144针对用户Ua设置AR空间M41a。另外，用户Ub捕获真实对象R11b作为参考对象。真实对象R11b与真实对象R11a具有相同的对象类型(例如，具有相同的纹理的海报)。因此，用户Ub的装置的AR空间设置单元144针对用户Ub设置与用户Ua共享的AR空间M41a。

同时，用户Uc捕获真实对象R19c作为参考对象。真实对象R19c是与真实对象R11a和R11b不同的对象类型。作为结果，用户Uc的装置的AR空间设置单元144针对用户Uc设置与AR空间M41a不同的AR空间M41b。另外，用户Ud捕获真实对象R19d作为参考图像。真实对象R19d是与真实对象R19c相同的对象类型(例如，针对同一饮品的饮料罐)。因此，用户Ud的装置的AR空间设置单元144针对用户Ud设置与用户Uc共享的AR空间M41b。另外，用户Ue捕获真实对象R19e作为参考对象。真实对象R19e是与真实对象R19c和R11d相同的对象类型。因此，用户Ue的装置的AR空间设置单元144针对用户Ue设置与用户Uc和Ud共享的AR空间M41b。

以这种方式，通过根据在输入图像中所描绘的参考对象的属性将用户分布在不同的AR空间中，变为可以形成下述AR社群：在该AR社群中，关于所处理的对象具有共同点的用户的替身被聚集在单一AR空间中。例如，在产品市场推销应用中，作为获取指定产品的用户形成AR社群并且彼此交流的结果，期望该产品将变为交谈的主题，从而建立了加速地增加该产品的认知度的效果。

注意AR空间M41a和M41b可以由AR应用提供商预先地分别地构建，或根据使用图12至图14所描述的任一方法在用户登记进入时动态地构建。

(2)AR空间选择的第二示例

图39是用于描述选择AR空间的技术的第二示例的说明图。在第二示例中，图像相关信息包括在输入图像中所描绘的参考对象的属性，以及参考对象是来自给定艺术家的音乐压缩盘(CD)。在此，参考对象的发行年份，而不是参考对象的类型被用作对用户进行分布的参考对象属性。AR空间设置单元144针对捕获在同一年份所发行的音乐CD的用户设置共享AR空间。在图39的上部，示出了五个用户Ua、Ub、Uc、Ud以及Ue。

例如，用户Ua捕获真实对象R21a作为参考对象。真实对象R21a的发行年份为2009。作为结果，用户Ua的装置的AR空间设置单元144针对用户Ua设置AR空间M42a。另外，用户Ub捕获真实对象R21b作为参考对象。真实对象R21b是在2009年发行的音乐CD，与真实对象R21a为同一年。因此，用户Ub的装置的AR空间设置单元144针对用户Ub设置与用户Ua所共享的AR空间M42a。

同时，用户Uc捕获真实对象R21c作为参考对象。真实对象R21c是在2012年所发行的音乐CD，不同于真实对象R21a和R21b。作为结果，用户Uc的装置的AR空间设置单元144针对用户Uc设置不同于AR空间M42a的AR空间M42b。另外，用户Ud捕获真实对象R21d作为参考对象。真实对象R21d是在2012年所发行的音乐CD，与真实对象R21c为同一年。因此，用户Ud的装置的AR空间设置单元144针对用户Ud设置与用户Uc所共享的AR空间M42b。另外，用户Ue捕获真实对象R21e作为参考对象。真实对象R21e是在2012年所发行的音乐CD，与真实对象R21c和R21d为同一年。因此，用户Ue的装置的AR空间设置单元144针对用户Ue设置与用户Uc和Ud所共享的AR空间M42b。

与第二实施例同样地，通过根据在输入图像中所描绘的参考对象的属性将用户分布在不同的AR空间中，变为可以形成下述AR社群：在该AR社群中，关于所处理的对象具有共同点的用户的替身被聚集在单一AR空间中。

注意被用于对用户进行分布的参考对象属性不限于上述示例。例如，下述各种属性也可以被用于将用户分布在AR空间中：诸如参考对象名称、进行销售的公司、产地、销售的数量、或关注的程度(例如在SNS上相关投票的数量)。

在第一示例和第二示例中，可以通过识别单元142对参考对象属性进行识别。另外，指示所识别出的属性的参考对象数据可以被传送到具有用于对用户进行分布的装置(例如，诸如应用服务器或父用户的装置)，并且用于所选择的AR空间的AR空间模型可以由数据获取单元130从该装置所获取。另外，可以根据在具有用于对用户进行分布的装置上的输入图像来识别参考对象属性。

类似于第一示例，在第二示例中，AR空间M42a和M42b同样地可以由AR应用提供商预先地分别地构建，或根据使用图12至图14所描述的任一方法在用户登记进入时动态地构建。

(3)AR空间选择的第三示例

图40是用于描述选择AR空间的技术的第三示例的说明图。在第三示例中，图像相关信息包括输入图像的捕获位置。AR空间设置单元144针对在同一位置捕获相同或不同的参考对象的用户设置共享AR空间。在图40的上部中，示出了五个用户Ua、Ub、Uc、Ud以及Ue。

例如，用户Ua和Ub被置于真实空间的同一地点K1。因此，用户Ua和Ub的装置的AR空间设置单元144针对用户Ua和Ub分别地设置共享的AR空间M43a。用户Uc、Ud以及Ue被置于真实空间中的同一地点K2。因此，针对用户Uc、Ud以及Ue，用户Uc、Ud以及Ue的装置的AR空间设置单元144分别地设置共享的AR空间M43b。

以这种方式，通过根据输入图像的捕获位置将用户分布在不同的AR空间中，变为可以形成下述AR社群：在该AR社群中，关于位置具有共同点的多个用户的替身被聚集在单一AR空间中。作为结果，与以无序的方式多个用户的替身登记进入AR空间的情况相比，可以鼓励AR社群中用户之间的通信。

注意，例如，输入图像的捕获位置可以由传感器104测量。另外，传感器数据可以被传送到具有用于对用户进行分布的功能的装置(例如，诸如应用服务其或父用户的装置)，并且可以由数据获取单元130从该装置获取所选择的AR空间的AR空间模型。

类似于第一示例和第二示例，在第三示例中，AR空间M43a和M43b同样地可以由AR应用服务提供商预先地分别地构建，或根据使用图12至图14中所描述的任一方法在用户登记进入时动态地构建。

在第一示例和第二示例中，根据在输入图像中所描绘的参考对象的属性，用户被分布在不同的AR空间之中。结果，可以实现被概念性地称为“登记进入对象”的参与AR社群的技术。另一方面，在图3的示例中，根据捕获位置用户被分布到不同的AR空间中。结果，可以实现被概念性地称为“登记进入位置(或地点)”的参与AR社群的技术。注意，可以被用于将用户分布在AR空间之中的图像相关信息不限于这样的示例。例如，图像相关信息还可以包括捕获输入图像的图像捕获装置的属性。图像捕获装置的属性可以是例如图像捕获装置的类型、型号名称、或制造商名称。作为结果，对于关于图像捕获装置具有共同点的多个用户(例如，采用来自同一制造商的装置捕获输入图像的用户)的替身变为可以聚集在单一AR空间中并且形成AR社群。

(4)AR空间选择的第四示例

图41是用于描述选择AR空间的技术的第四示例的说明图。在第四示例中，AR空间设置单元144选择根据根据来自多个AR空间候选的图像相关信息所确定的子集中由用户所指定的AR空间，并且针对该用户设置所选择的AR空间。在图41的上部，示出了四个AR空间候选M44a、M44b、M44c以及M44d。

例如，假定在由用户Ua所捕获的输入图像中描绘了作为参考对象的真实对象R11a。然后，识别单元142识别出在输入图像中描绘了该真实对象R11a。AR空间设置单元144基于来自识别单元142的识别结果获取真实对象R11a的属性作为图像相关信息。随后，AR空间设置单元144根据真实对象R11a的属性确定AR空间候选的子集。在图41的示例中，AR空间候选M44a和M44b被包括在所确定的子集中。接下来，AR空间设置单元144将在子集中所包括的AR空间候选列表显示在图像Im51中，并且提示用户指定用户Ua想要登记进入的AR空间候选。在图41的示例中，AR空间设置单元144针对用户Ua设置由用户Ua所指定的AR空间M44a。

以这种方式，还可以分阶段进行AR空间之中的用户的分布。具体地，通过分阶段地将根据图像相关信息(诸如参考对象的属性或位置)的分布与用户指定进行组合，可以降低用户对选择许多AR空间候选中的AR空间的困惑，而仍然为用户留有空间以进行选择。

注意，在未根据图像相关信息确定AR空间的情况下，AR空间设置单元144可以针对用户设置不依赖于图像相关信息的默认AR空间(也被称为匿名空间)。未根据图像相关信息确定AR空间的情况可以包括：例如未在输入图像中描绘参考对象的情况，未获取位置数据的情况，或用户期望选择预定AR空间的情况。预定AR空间可以是简单空间，在其中，仅简单地存在有水平平面(地面)，在其上替身进行活动，或预定AR空间可以是更丰富的空间。

[5-2.调整可变参数]

如之前所讨论地，AR空间设置单元144还可以根据图像相关信息调整针对用户要设置的AR空间的可变参数。AR空间的可变参数可以包括例如AR空间的大小、NPC的数量、多边形分辨率、可以参与的用户的数量的上限、虚拟对象的纹理或颜色、在AR空间内可执行的动作的类型或在AR空间内可使用的物品的类型。

(1)第一示例

图42是用于描述调整AR空间的可变参数的第一示例的说明图。在图42的示例中，AR空间的可变参数包括空间大小和NPC数量。根据参考对象的类型针对每个AR空间调整这些可变参数。在图42的上部中，示出了五个用户Ua、Ub、Uc、Ud以及Ue。

例如，用户Ua捕获真实对象R11a作为参考对象。用户Ub捕获真实对象R11b作为参考对象。真实对象R11a和R11b是相同类型的对象。作为结果，在用户Ua和Ub的装置中设置共享的AR空间M45a。AR空间设置单元144将AR空间M45a的空间大小设置为小，并且将NPC的数量设置为1。

同时，用户Uc捕获真实对象R19c作为参考对象。用户Ud捕获真实对象R19d作为参考对象。用户Ue捕获真实对象R19e作为参考对象。作为结果，在用户Uc、Ud以及Ue的装置中设置共享的AR空间M45b。AR空间设置单元144将AR空间M45b的空间大小设置为大，并且将NPC的数量设置为3。

以这种方式，通过根据图像相关信息调整AR空间的可变参数，可以清楚地将每个AR空间的特征的差异示出给用户。作为结果，可以给予用户尝试在各种位置捕获各种对象或捕获真实空间的动机，并且孤立AR社群。另外，当在市场推广应用等中预期许多用户登记进入同一类型的对象的情形的情况下，通过针对与产品相关的AR空间设置足够大的空间大小可以防止AR空间中的拥挤。

(2)第二示例

图43是用于描述调整AR空间的可变参数的第二示例的说明图。在图43的示例中，AR空间的可变参数包括多边形分辨率、NPC的数量以及用户上限。根据在显示AR空间中所涉及的装置的性能针对每个用户调整这些可变参数。在图43的上部中，示出了两个用户Ua和Ub。

例如，用户Ua捕获真实对象R11a作为参考对象。用户Ub捕获真实对象R11b作为参考对象。真实对象R11a和R11b是相同类型的对象。作为结果，在用户Ua和Ub的装置中设置共享的AR空间。然而，假定与用户Ua的装置的性能相比，用户Ub的装置的性能较低，并且假定对于用户Ub的装置难以按照与用户Ua的装置相同的图像质量显示AR空间的图像。

因此，用户Ub的装置的AR空间设置单元144调整要设置的AR空间的可变参数。在图43的示例中，AR空间设置单元144针对用户Ub分别地将多边形分辨率和AR空间M46b中的NPC的数量设置为“低”和“1”，并且对用户的数量施加上限。另一方面，用户Ua的装置的AR空间设置单元144针对用户Ua分别地将多边形分辨率和AR空间M46a中的NPC的数量设置为“高”和“3”。因为与AR空间M46b共享AR空间M46a，所以可以对AR空间M46a中的用户的数量施加上限。

以这种方式，针对每个用户，通过根据在显示AR空间中所涉及的装置的性能对AR空间的可变参数进行调整，可以在多种装置上确保AR空间的适合的显示，从而使得更多用户能够利用AR应用。注意对象控制单元146可以针对预定的好友用户维持该好友用户的替身的富图像表示(例如，高多边形分辨率或完整的替身图像)，并且仅对其他替身的代表图像进行简化(例如，低多边形分辨率或通过仅显示面部图像)。

[5-3.设置初始位置]

对象控制单元146可以基于各种条件确定在AR空间内所放置的虚拟对象诸如替身的初始位置。例如，对象控制单元146可以基于之前所讨论的图像相关信息或基于用户属性确定替身的初始位置。

(1)第一示例

图44是用于描述在AR空间内设置虚拟对象的初始位置的技术的第一示例的说明图。在图44的示例中，基于图像相关信息确定虚拟对象的初始位置。图像相关信息包括捕获位置。在图44的上部，示出了两个用户Ua和Ub。用户Ua被置于真实空间中的位置PRa处。用户Ub被置于真实空间中的位置PRb处。

例如，作为用户Ua和用户Ub捕获相同类型的参考对象的结果，在用户Ua和用户Ub的装置中设置共享的AR空间M47。对象控制单元146在AR空间M47内的位置PAa处放置用户Ua的替身A11。位置PAa对应于在真实空间内用户Ua的位置PRa。另外，对象控制单元146将用户Ub的替身A12放置在AR空间M47内的位置PAb处。位置PAb对应于真实空间内用户Ub的位置PRb。

以这种方式，在由多个用户共享AR空间的情况下，通过基于图像相关信息确定虚拟对象的初始位置，具有更多相同交谈主题的用户可以被放置为彼此更接近，从而鼓励用户之间的交流。

(2)第二示例

图45是用于描述设置AR空间中虚拟对象的初始位置的技术的第二示例的说明图。在图45的示例中，基于用户属性确定虚拟对象的初始位置。在此，用户属性可以是例如用户的年龄、性别、职业、工作地点、偏好或预定的群组。在图44的上部中，示出了四个用户Ua、Ub、Uc以及Ud。用户Ua和Uc属于用户群组UG1。用户Ub和Ud属于用户群组UG2。

例如，在用户Ua、Ub、Uc以及Ud的装置中设置共享的AR空间M48。对象控制单元146在AR空间M48内的位置PAa处放置用户Ua的替身A11。位置PAa可以预先被确定为用于用户群组UG1的初始位置。另外，对象控制单元146在AR空间M48内的位置PAb处放置用户Ub的替身A12。位置PAb可以是预先被确定为用户群组UG2的初始位置。

以这种方式，在由多个用户共享AR空间的情况下，通过基于用户的属性对用户进行分组来确定针对每个用户的初始位置，具有互相类似属性的用户可以更紧密地被放置在一起，从而鼓励用户之间的交流。另外，在用户主动地想要与具有不同于他自身或她自身的属性的其他用户进行交流的情况下，用户可以将他或她自身的替身移动至离开初始位置的区域，并且尝试与在该区域中的其他用户进行交流。

[5-4.各种访问模式]

(1)正常模式

在正常访问模式中，对象控制单元146实时地将访问同一AR空间的一个或更多个用户替身(或一些其他虚拟对象)放置在该AR空间内。随后，对象控制单元146与其他用户的装置实时地(例如，经由应用服务器或直接地)交换动作数据，其指示由用户所操作的替身的动作。另外，对象控制单元146与其他用户的装置共享在AR空间内所放置的NPC(非用户角色)的动作情景。在此，动作情景是沿着时间轴呈现每个NPC的将来动作的数据。作为结果，对于多个用户变为可以同时地体验共享的AR应用的世界，其中，替身与NPC以相同的方式进行动作。动作情景可以以固定的时间段进行广播，或例如当每个用户登记进入时被递送到每个用户的装置。

图46是用于描述在正常模式中改变AR空间中的替身的数量的说明图。参照图46，示出了从图的顶部继续到底部的时间轴，以及在时间轴左侧的五个用户Ua、Uf、Ug、Uh以及Ui。用户Uf在时间t11处登记进入AR空间，而在时间t13处登记离开AR空间。用户Ug在时间t12处登记进入AR空间，而在时间t18处登记离开AR空间。用户Uh在时间t15处登记进入AR空间。用户Ui在时间t16处登记进入AR空间。同时，用户Ua在时间t14处登记进入AR空间。

当用户Ua在时间t14处登记进入AR空间M51时，除了用户Ua的替身A11之外，在AR空间M51中还存在一个用户(用户Ug)的替身和NPC。之后，在时间t17处，用户增加，并且除了用户Ua的替身A11之外，在AR空间M51中，还存在三个用户(用户Ug、Uh以及Ui)的替身和NPC。

以这种方式，在许多用户共享单一AR空间的情况下，确保足够数量的用户同时进行游戏，即使在AR空间中仅放置实时地访问AR应用的用户的替身时也如此。然而，在存在共享AR空间的较少的用户的情况下，在完整地实时访问模式中，还期望同时仅一个用户访问AR应用的情形。在这样的情形下，代替于以上的正常模式使用接下来描述的回放模式是有价值的。

(2)回放模式

在回放模式中，对象控制单元146还将之前访问同一AR空间的用户的替身放置在该AR空间内。

图47是用于描述在回放模式中改变AR空间中替身的数量的说明图。参照图47，示出了从图的顶部继续到底部的时间轴，以及在时间轴左侧的三个用户Ua、Uf以及Ug。用户Uf在时间t21处登记进入AR空间，而在时间t22处登记离开AR空间。用户Ug在时间t23处登记进入AR空间，而在时间t24处登记离开AR空间。同时用户Ua在时间t25处登记进入AR空间。

用户Ua是为当用户Ua在时间t25处登记进入AR空间M52时在该时间处实际上访问AR空间M52的唯一用户。在这种情况下，如果根据之前所讨论的正常模式在AR空间M52内放置替身，则用户Ua不可以知道其他用户的存在。然而，在回放模式中，对象控制单元146还将在之前访问AR空间M52的用户Uf和Ug的替身放置在AR空间M52中。在图47的示例中，从时间t26扩展到过去的时间帧TF包括时间t21、t22、t23以及t24。因此，对象控制单元146不仅将用户Ua的替身A11，而且还将用户Uf的替身A21以及用户Ug的替身A22放置在AR空间M52中。然后，经由诸如图29中所描述的用户接口的用户接口，用户Ua能够知道替身A21和A22所属的用户的种类。

通过提供这样的回放模式，可以防止AR空间显得荒弃的，并且维持用户对AR空间的兴趣，即使在很少用户共享AR空间的情况下也如此。另外，对于捕获罕见的物品作为参考对象的用户可以知道其他何种用户对相同的物品展现出兴趣。注意，可以预先地静态地限定时间帧TF的长度，或可以根据诸如用户数量的参数动态地设置时间帧TF的长度。

(3)追踪模式

代替于回放模式，对象控制单元146还可以支持接下来描述的追踪模式。在追踪模式中，对象控制单元146将之前访问同一AR空间的用户的替身的踪迹表示在该AR空间中。

图48是用于描述追踪模式的说明图。参照图48，示出了从图的顶部继续到底部的时间轴，以及在时间轴左侧的三个用户Ua、Uf以及Ug。用户Ua、Uf以及Ug登记进入AR空间以及登记离开AR空间的定时与图47的示例类似。

在时间t21与时间t22之间的时间t27处，用户Uf的替身A21被放置在AR空间M53中。接下来，在时间t23与时间t24之间的时间t28处，用户Ug的替身A22被放置在AR空间M53中。尽管用户Uf的替身A21已经退出AR空间M53，但是表示替身A21存在的踪迹TR21保持在AR空间M53中。接下来，在晚于时间t25的时间t29处，用户Ua的替身A11被放置在AR空间M53中。尽管用户Uf的替身A21和用户Ug的替身A22已经退出AR空间M53，但是表示替身A21和A22存在的踪迹TR21和TR22保持在AR空间M53中。注意，这些踪迹还可以随时间视觉地淡出(参见踪迹TR21)。

通过提供这样的追踪模式，用户能够根据踪迹知道在AR空间中之前存在多少用户替身，以及这些替身进行了何种动作。

(4)AR空间之间的移动

当在登记进入给定的AR空间之后用户的兴趣转移到其他AR空间的情况下，如果要求用户首先登记离开当前AR空间然后再次登记进入其他AR空间是不方便的。因此，AR空间设置单元144还可以在针对用户所设置的AR空间内放置能够使得替身移动到其他AR空间的路径。

图49是用于描述在AR空间之间进行移动的路径的示例的说明图。参照图49，在图像Im51中描绘AR空间M54。替身A11被放置在AR空间M54中。另外，为楼梯形状的路径PT11被放置在AR空间M54中。路径PT11连接到其他AR空间M55。例如，如果用户使得替身A11经由类似于使用图20所描述的用户接口的用户接口在路径PT11上移动，则AR空间设置单元144新近地针对用户设置AR空间M55。

通过提供在AR空间之间移动的这样的路径，对于替身变为容易地跨越各种AR社群进行行走。另外，不仅使得当前AR空间而且还使得其他可进入AR空间在画面上可见引起了用户的好奇，并且可以鼓励用户参与到各种AR社群中。

<6.处理流程示例>

[6-1.登记进入处的画面转变]

图50A和图50B是用于描述用户登记进入AR空间时画面转变的示例的转变图。

参照图50A，首先，AR空间设置单元144使得菜单MN1显示在屏幕上。菜单MN1包括菜单项MN11(“单人游戏”)、菜单项MN12(“与任何人进行游戏(成为父用户)”)、以及菜单项MN13(“与任何人进行游戏”)。在用户选择菜单项MN11的情况下，AR空间设置单元144使得菜单MN2显示在屏幕上。菜单MN2包括菜单项MN21(“构建新空间”)和菜单项MN22(“载入数据”)。

在用户选择在菜单MN2上的菜单项MN21的情况下，图像获取单元120获取捕获图像作为输入图像，以新近地构建AR空间(步骤S12)。

另一方面，在用户选择在菜单MN2上的菜单项MN22的情况下，AR空间设置单元144使得另一菜单MN3被显示在屏幕上。菜单MN3包括所存储的AR空间模型的列表。随后，如果用户选择AR空间模型中之一，则AR空间设置单元144从数据存储单元160载入所选择的AR空间模型(步骤S11)。图像获取单元120获取所捕获的图像作为输入图像，以将所载入的AR空间与真实空间相关联(步骤S12)。

随后，AR空间设置单元144基于由识别单元142针对输入图像的识别结果，或通过使用所载入的AR空间模型，与在输入图像上所描绘的真实空间相关联地设置AR空间。作为结果，开始AR应用(步骤S13)。

在选择了菜单MN1上的菜单项MN12或MN13的情况下，AR空间设置单元144使得菜单MN4显示在屏幕上。参照图50B，菜单MN4包括菜单项MN41(“采用摄像装置登记进入”)、菜单项MN42(“通过当前位置登记进入”)、菜单项MN43(“从完整列表进行选择”)以及菜单项MN44(“与上次相同的社群”)。

在用户选择菜单MN4上的菜单项MN41的情况下，AR空间设置单元144将由图像获取单元120所获取的捕获图像传送到具有对用户进行分布的功能的装置(步骤S14)。在此，作为示例，假定应用服务器具有对用户进行分布的功能。另外，在用户选择在菜单MN4上的菜单项MN42的情况下，AR空间设置单元144将由数据获取单元130所获取的位置数据传送到应用服务器(步骤S15)。另外，在用户选择在菜单MN4上的菜单项MN43的情况下，AR空间设置单元144将请求AR空间候选列表的递送的请求传送到应用服务器。在所有情况下，AR空间设置单元144从应用服务器接收AR空间候选列表(步骤S16)。

在从应用服务器所接收的AR空间候选列表包括多个AR空间候选的情况下，AR空间设置单元144使得菜单MN5显示在屏幕上。在AR空间候选列表仅包括一个AR空间候选的情况下，菜单MN5的显示可以被省略。随后，AR空间设置单元144从应用服务器接收由用户在菜单MN5上所指定的AR空间，或在AR空间候选列表中所包括的单一AR空间的AR空间模型(步骤S17)。

另一方面，在用户选择在菜单MN4上的菜单项MN44的情况下，AR空间设置单元144从数据存储单元160获取用户上次离开的AR空间的标识符，并且从应用服务器接收由该标识符所标识的AR空间的AR空间模型(步骤S17)。

随后，图像获取单元120获取捕获图像作为输入图像(步骤S18)。AR空间设置单元144使用从应用服务器所接收的AR空间模型来与在输入图像中所描绘的真实空间相关联地设置AR空间(步骤S18)。随后，开始AR应用(步骤S19)。

[6-2.执行AR应用]

图51是示出了执行AR应用的信息处理的流程的示例的流程图。

参照图51，首先，图像获取单元120从摄像装置102获取描绘真实空间的捕获图像作为输入图像(步骤S110)。随后，图像获取单元120将所获取的输入图像输出到AR处理单元140。

接下来，识别单元142识别从图像获取单元120所输入的输入图像中所描绘的真实对象的位置和定向(步骤S115)。另外，识别单元142还可以识别信息处理装置110的位置和定向。随后，识别单元142基于识别结果生成或更新真实空间映射164，并且使得真实空间映射164被存储在数据存储单元160中。

接下来，AR空间设置单元144与由真实空间映射164所表示的真实空间相关联地设置AR空间(步骤S120)。此时所设置的AR空间可以是通过以体元为单位对在输入图像中所描绘的真实空间内的真实对象进行离散化所构建的空间，或可以是由从另一装置所接收到的AR空间模型所表示的空间。

接下来，AR空间设置单元144将一个或更多个替身以及其他虚拟对象放置在所设置的AR空间内(步骤S125)。此时所放置的替身可以包括主要用户的替身以及共享AR空间的其他用户的替身。另外，此时所放置的虚拟对象可以包括NPC(非用户角色)。

接下来，对象控制单元146根据可以预先获取的动作情景确定在AR空间内所放置的NPC的行为(步骤S130)。

另外，对象控制单元146执行动作确定处理并且确定用于主要用户的替身的动作(步骤S140)。随后，在与其他用户共享AR空间(步骤S160)的情况下，对象控制单元146与该其他用户的装置交换动作数据(步骤S165)。

接下来，对象控制单元146对AR空间的状态进行更新(例如，诸如包括替身的一个或更多个虚拟对象的位置和定向)(步骤S170)。随后，对象控制单元146使得叠加有虚拟对象图像的输出图像(以及可以包括替身动作的动画)被显示在显示器110的屏幕上(步骤S175)。

之后，在此时的操作模式为实时模式的情况下，处理返回到步骤S110，并且重复以上处理，取下一帧作为输入图像。另一方面，在操作模式是快照模式的情况下，未获取新的输入图像，并且重复在步骤S130以及之后的上述处理(步骤S180)。

[6-3.动作确定处理]

图52是示出了图51所示的动作确定处理的详细流程的示例的流程图。参照图52，动作确定处理依赖于在该时间处的操作模式是实时模式还是快照模式来分支(步骤S142)。

在操作模式是实时模式的情况下，对象控制单元146基于AR空间内的对象与摄像装置的光轴之间的位置关系确定动作的目标位置(步骤S144)。另一方面，在操作模式是快照模式的情况下，对象控制单元146不基于对象与摄像装置的光轴之间的位置关系确定动作的目标位置(步骤S146)。

接下来，对象控制单元146根据用户输入检测结果确定要由主用户的替身所执行的动作(步骤S148)。

<7.示例性修改例>

[7-1.客户端/服务器链接]

图4所示的框图示出了下述示例：在该示例中，用户客户端(即，信息处理装置100)包括诸如真实空间识别、AR空间设置以及对象控制的主要功能。然而，根据本公开的技术还可以应用到下述示例：在该示例中，这些功能的至少一部分在外部装置中实现(例如，诸如应用服务器或其他附近的客户端)。因此，在这部分中，将描述一个这样的示例性修改例。

图53是示出了根据示例性修改例的信息处理装置200的逻辑功能的配置的示例的框图。信息处理装置200的硬件配置可以类似于图3所示的信息处理装置100的硬件配置。参照图53，信息处理装置200配备有图像获取单元120、数据获取单元130以及服务器链接单元250。服务器链接单元250包括数据传送单元252和AR图像接收单元254。

数据传送单元252将输入图像经由通信接口传送到服务器装置300，该服务器装置300包括与信息处理装置100的AR空间设置单元144和对象控制单元146相同的功能。在检测到用户输入的情况下，数据传送单元252还可以将用户输入数据传送到服务器装置300。另外，数据传送单元252可以将传感器数据传送到服务器装置300，该传感器数据可以包括指示信息处理装置200的当前位置的位置数据。

AR图像接收单元254从服务器装置300接收AR图像。例如，由AR图像接收单元254所接收的AR图像是表示在AR空间内所执行的动作的图像。可以通过以体元为单位对在输入图像中所描绘的真实对象进行离散化来与输入图像相关联地设置AR空间。另外，可以根据与输入图像有关的图像相关信息设置AR空间。还可以基于在AR空间内的对象与摄像装置的光轴之间的位置关系确定用于动作的目标位置。随后，AR图像接收单元254将输出图像输出到显示器110，并且使得AR应用图像显示在屏幕上。

[7-2.简单的真实空间识别]

前述实施例主要描述了下述示例：在该示例中，首先通过由识别单元142生成表示在真实空间内的位置和定向的真实空间映射并且然后由AR空间设置单元144对真实空间映射进行离散化，来生成指示虚拟对象放置的AR空间模型。然而，还可以采用更简单的技术确定虚拟对象放置。

图54是用于描述确定虚拟对象放置的技术的示例性修改例的说明图。参照图54，示出了标记对象MK1作为真实对象的示例，以及示出了在内容字典中与标记对象MK1相关联的虚拟对象VM和绘图模型DM1。在图54的示例中，绘图模型DM1是表示船的外形的图像数据。绘图模型DM1还可以是虚拟对象的类型。内容字典针对标记对象MK1额外地限定参考点RP1，该参考点RP1用作用于虚拟对象VM1和绘图模型DM的相对放置的参考。识别单元142使用所创建的图像识别技术来识别在输入图像中所描绘的标记对象MK1。AR空间设置单元144基于所识别的标记对象MK1的位置和在内容字典中的定义确定输入图像内的参考点RP1的位置。随后，AR空间设置单元144(或对象控制单元146)取参考点RP1的确定的位置作为参考放置虚拟对象VM1(图中的步骤S21)。虚拟对象VM1可以是占据一个或更多个体元的透明对象。额外地，对象控制单元146将绘图模型DM1叠加在屏幕上的标记对象MK1，取参考点RP1的位置作为参考(图中的步骤S22)。例如，在对象控制单元146的控制之下，替身仿佛移动通过以躲避虚拟对象VM1或登上虚拟对象VM1。替身还可以根据用户进行的操作将块堆叠在虚拟对象VM1上。作为结果，可以将输出图像显示在屏幕上，仿佛替身与由绘图模型DM1所表示的船进行交互。注意，标记对象可以是具有某种纹理的任意对象(例如，诸如海报或产品封装)。内容字典还可以针对任何数量的标记对象限定数据。

<8.结论>

因此前述使用图1至图54描述了根据本公开的技术的各种实施例。根据前述实施例，经由各种视角改进了由用户所体验的增强现实的体验，诸如真实对象与虚拟对象之间的增强的关联，针对AR应用的改进的可操作性以及在AR社群中的被鼓励的交流。

例如在通过以体元为单位对在捕获图像中所描绘的真实空间内的真实对象进行离散化来设置AR空间的情况下，可以容易地防止在AR空间内的替身或一些其他虚拟对象活动与真实对象相妨碍。与下述技术相比这样的技术能够使得减少计算负载并且简化确定算法：该技术根据呈现真实对象的位置和定向的信息直接地确定妨碍(例如，诸如之前所讨论的真实空间映射，或在JP 2011-159162 A中所描述的环境映射)。作为结果，例如还可以变为容易地确保在AR应用中的实时性能，在AR应用中多个装置彼此链接。

另外，在基于AR空间内的对象与图像捕获装置的光轴之间的位置关系确定AR空间内所执行的动作的目标位置的情况下，例如，可以确定目标位置而不需要用户输入(诸如触摸输入或按钮按下)。作为结果，降低了当用户控制虚拟对象的动作时装置定向的摇摆，从而实现了一致的操作和改进的AR应用的可操作性。

另外，例如在根据与捕获图像有关的图像相关信息设置不同的AR空间，而不是以无序地方式许多用户聚集在AR空间中的情况下，变为可以形成AR社群，在该AR社群中，具有共同点的用户的替身聚集在共享的AR空间中。当利用AR应用时，通常用户捕获图像。结果，根据本技术可以形成在用户之间进行交流的有效的AR社群，而不对用户施加额外的工作以用于获取图像相关的信息。

注意，由如本公开的实施例所描述的各种设备所执行的处理系列典型地使用软件实现。作为一个示例，由实现这样的处理系列的软件所构成的程序预先被存储在内部地或外部地设置到这样的设备的记录介质(永久介质)上。作为一个示例，在执行期间，这样的程序然后被写入到RAM(随机存取存储器)并且由诸如CPU的处理器所执行。

以上参照附图描述了本发明的优选实施例，但是本发明当然不限于以上的示例。本领域内技术人员可以在所附的权利要求的范围内发现各种替换和修改，并且应当理解其自然地在本发明的技术范围内。

另外，本技术还可以如下配置。

(1)一种信息处理装置，包括：

图像获取单元，从图像捕获装置获取真实空间的捕获图像；

设置单元，与所述真实空间相关联地设置增强现实空间，所述增强现实空间虚拟地增强在所述捕获图像中所描绘的真实空间；以及

控制单元，基于在所述增强现实空间内的对象与所述图像捕获装置的光轴之间的位置关系，确定在所述增强现实空间内所执行的动作的目标位置。

(2)根据(1)所述的信息处理装置，其中，

所述控制单元将用户替身放置在所述增强现实空间内，并且基于所述位置关系确定由所述替身所执行的动作的目标位置。

(3)根据(2)所述的信息处理装置，其中，

所述控制单元将所述目标位置确定为由所述替身进行的移动的目的地。

(4)根据(2)所述的信息处理装置，其中，

所述控制单元将所述目标位置确定为由所述替身所使用的物品的应用点。

(5)根据(2)至(4)中任一项所述的信息处理装置，其中，

所述控制单元基于关于所述图像捕获装置的光轴的旋转控制所述替身的定向。

(6)根据(1)至(5)中任一项所述的信息处理装置，其中，

所述控制单元基于所指定的用户输入，改变所述增强现实空间关于所述图像捕获装置的相对位置、定向或标度。

(7)根据(1)至(6)中任一项所述的信息处理装置，其中，

所述控制单元将用于使得用户选择动作类型的用户接口叠加在显示所述增强现实空间内的对象的窗口的右边缘区域和左边缘区域中至少之一上，以及

所述右边缘区域和所述左边缘区域是由用户抓握显示器的拇指可达到的区域。

(8)根据(1)至(7)中任一项所述的信息处理装置，其中

所述设置单元还包括识别单元，所述识别单元识别在所述捕获图像中所描绘的真实对象的真实空间内的位置和定向。

(9)根据(1)至(8)中任一项所述的信息处理装置，其中

通过以体元为单位对该真实对象进行离散化，确定在所述捕获图像中所描绘的真实对象的增强现实空间内的放置。

(10)根据(9)所述的信息处理装置，

其中，所述控制单元以体元为单位确定所述动作的目标位置。

(11)根据(1)至(10)中任一项所述的信息处理装置，其中

在第一操作模式中，所述控制单元将在所述增强现实空间内的对象叠加在以每帧进行更新的捕获图像上以用于在画面上的显示；以及在第二操作模式中，所述控制单元将在所述增强现实空间内的对象显示在画面上而不对所述捕获图像进行更新。

(12)根据(11)所述的信息处理装置，其中

所述控制单元根据所指定的用户输入在所述第一操作模式与所述第二操作模式之间进行切换。

(13)根据(11)所述的信息处理装置，其中

所述控制单元在识别所述捕获图像中所描绘的真实对象的故障持续指定数量的帧的情况下，从所述第一操作模式切换到所述第二操作模式。

(14)根据(11)至(13)中任一项所述的信息处理装置，其中

在所述第二操作模式中，所述控制单元不基于在所述增强现实空间内的对象与所述图像捕获装置的光轴之间的位置关系，确定在所述增强现实空间内所执行的动作的目标位置。

(15)根据(1)至(10)中任一项所述的信息处理装置，其中

在摄像装置视角模式中，所述控制单元取所述图像捕获装置的位置和定向作为参考生成所述增强现实空间的图像；以及在替身视角模式中，所述控制单元取在所述增强现实空间内所放置的替身的位置和定向作为参考生成所述增强现实空间的图像。

(16)根据(15)所述的信息处理装置，其中

所述控制单元根据所指定的用户输入或在所述增强现实空间内所指定的事件的发生，从所述摄像装置视角模式切换到所述替身视角模式。

(17)根据(1)至(16)中任一项所述的信息处理装置，其中

在执行动作的情况下，当与所述目标位置相对应的真实空间内的真实对象能够执行反应时，所述控制单元指令该真实对象执行反应。

(18)一种客户端装置，包括：

图像捕获单元，通过对真实空间进行捕获生成捕获图像；

通信单元，与服务器装置进行通信，所述服务器装置与在所述捕获图像中所描绘的真实空间相关联地设置增强现实空间，所述增强现实空间虚拟地增强真实空间，并且基于在所设置的增强现实空间内的对象与所述图像捕获单元的光轴之间的位置关系确定在所述增强现实空间内所执行的动作的目标位置；以及

控制单元，使得在由所述服务器装置所确定的目标位置处表示在所述增强现实空间内所执行的动作的图像被显示在画面上。

(19)一种由客户端装置所执行的信息处理方法，所述客户端装置设置有图像捕获单元和与服务器装置进行通信的通信单元，

其中，所述服务器装置与在捕获图像中所描绘的真实空间相关联地设置增强现实空间，所述增强现实空间虚拟地增强真实空间，并且基于在所设置的增强现实空间内的对象与所述图像捕获单元的光轴之间的位置关系确定在所述增强现实空间内所执行的动作的目标位置，

所述信息处理方法包括：

通过使用所述图像捕获单元对真实空间进行捕获生成所述捕获图像；以及

使得在由所述服务器装置所确定的目标位置处表示在所述增强现实空间内所执行的动作的图像被显示在画面上。

(20)一种程序，所述程序用于使得控制客户端装置的计算机用作：

图像获取单元，从图像捕获装置获取真实空间的捕获图像；以及

控制单元，使得在目标位置处表示在所述增强现实空间内所执行的动作的图像被显示在画面上，所述目标位置由所述服务器装置所设置，所述服务装置与在所述捕获图像中所描绘的真实空间相关联地设置增强现实空间，并且基于在所设置的增强现实空间内的对象与所述图像捕获单元的光轴之间的位置关系确定在所述增强现实空间内所执行的动作的目标位置。

另外，如同下述的配置也属于本公开的技术范围。

(1)一种信息处理装置，包括：

图像获取单元，从图像捕获装置获取真实空间的捕获图像；

设置单元，与所述真实空间相关联地设置增强现实空间，所述增强现实空间通过以体元为单位对在所述捕获图像中所描绘的真实空间内的真实对象进行离散化，虚拟地增强所述真实空间；以及

控制单元，控制在所述增强现实空间内所放置的虚拟对象的动作。

(2)根据(1)所述的信息处理装置，其中，

所述虚拟对象包括用户替身。

(3)根据(1)或(2)所述的信息处理装置，其中，

所述虚拟对象包括与所述真实对象相对应的对象，以及

所述设置单元基于所述真实对象的纹理或颜色，设置与所述真实对象相对应的虚拟对象的纹理或颜色。

(4)根据(1)或(2)所述的信息处理装置，其中，

所述虚拟对象包括与所述真实对象相对应的对象，以及

所述设置单元基于在所述捕获图像中所描绘的参考对象的纹理或颜色，设置与所述真实对象相对应的虚拟对象的纹理或颜色。

(5)根据(1)或(2)所述的信息处理装置，其中，

所述虚拟对象包括与所述真实对象相对应的对象，以及

所述设置单元基于所述真实对象的拓扑参数，设置与所述真实对象相对应的虚拟对象的纹理或颜色。

(6)根据(1)至(5)中任一项所述的信息处理装置，其中，

所述设置单元还包括识别单元，所述识别单元通过识别在所述捕获图像中所描绘的真实对象的真实空间内的位置和定向生成真实空间映射，以及

所述设置单元通过以体元为单位对由所述识别单元所生成的真实空间映射进行离散化，构件所述增强现实空间。

(7)根据(1)至(6)中任一项所述的信息处理装置，其中，

在由多个用户共享所述增强现实空间的情况下，所述设置单元将基于所述多个用户之中的父用户的捕获图像所设置的增强现实空间应用到所述多个用户中的每个。

(8)根据(3)所述的信息处理装置，其中

在由多个用户共享所述增强现实空间的情况下，所述设置但与通过将基于多个用户的捕获图像分别地构建的多个用户特有的增强现实空间进行合并，形成所述增强现实空间。

(9)根据(8)所述的信息处理装置，其中

所述设置单元通过以体元为单位计算所述多个用户特有的增强现实空间的和，对所述多个用户特有的增强现实空间进行合并。

(10)根据(8)所述的信息处理装置，其中，

所述增强现实空间被分割为分别地被分配给用户的多个领域，以及

所述设置单元通过针对每个领域选择该领域被分配至的用户的用户特有的增强现实空间，对所述多个用户特有的增强现实空间进行合并。

(11)根据(7)至(10)中任一项所述的信息处理装置，其中

所述控制单元根据哪个用户的捕获图像描绘了与该虚拟对象相对应的真实对象，改变被叠加到所述捕获图像上的虚拟对象的显示属性。

(12)根据(7)至(11)中任一项所述的信息处理装置，其中

所述设置单元基于在所述捕获图像中所描绘的参考对象的大小，设置由所述多个用户所共享的增强现实空间的标度。

(13)根据(1)至(12)中任一项所述的信息处理装置，其中

所述设置单元使用具有用户特有的粒度的体元以对所述真实对象进行离散化。

(14)根据(1)至(12)中任一项所述的信息处理装置，其中

所述设置单元使用具有基于用户隐私设置所确定的粒度的体元以对所述真实对象进行离散化。

(15)根据(1)至(14)中任一项所述的信息处理装置，其中

所述设置单元通过对由用户所指定的真实对象或未由用户所排除的真实对象进行离散化，设置所述增强现实空间。

(16)一种客户端装置，包括：

图像捕获单元，通过对真实空间进行捕获生成捕获图像；

通信单元，与服务器装置进行通信，所述服务器装置与所述真实空间相关联地设置增强现实空间，所述增强现实空间通过以体元为单位对在所述捕获图像中所描述的真实空间内的真实对象进行离散化虚拟地增强真实空间；以及

控制单元，使得在由所述服务器装置所设置的增强现实空间内所放置的虚拟对象的图像被显示在画面上。

(17)一种由客户端装置所执行的信息处理方法，所述客户端装置设置有图像捕获单元和与服务器装置进行通信的通信单元，

其中，所述服务器装置与所述真实空间相关联地设置增强现实空间，所述增强现实空间通过以体元为单位对在所述捕获图像中所描述的真实空间内的真实对象进行离散化虚拟地增强真实空间

所述信息处理方法包括：

通过使用所述图像捕获单元对真实空间进行捕获生成所述捕获图像；以及

使得在由所述服务器装置所设置的增强现实空间内所放置的虚拟对象的图像被显示在画面上。

(18)一种程序，所述程序使得控制客户端装置的计算机用作：

图像获取单元，从图像捕获装置获取真实空间的捕获图像；

控制单元，使得在增强现实空间内所放置的虚拟对象的图像被显示在画面上，所述增强现实空间由所述服务器装置所设置，所述服务装置与真实空间相关联地设置增强现实空间，所述增强现实空间通过以体元为单位对在所述捕获图像中所描绘的真实空间内的真实对象进行离散化，虚拟地增强所述真实空间。

另外，本技术还可以如下配置。

(1)一种信息处理装置，包括：

图像获取单元，从图像捕获装置获取真实空间的捕获图像；

设置单元，与所述真实空间相关联地设置增强现实空间，所述增强现实空间虚拟地增强在所述捕获图像中所描绘的真实空间，所述增强现实空间根据与所述捕获图像有关的相关信息而不同；以及

控制单元，使得在所述增强现实空间内针对每个用户所放置的虚拟对象的图像被显示在画面上。

(2)根据(1)所述的信息处理装置，

其中，所述虚拟对象包括针对每个用户的替身。

(3)根据(1)或(2)所述的信息处理装置，

其中，所述相关信息包括在所述捕获图像中所描绘的基准对象的属性。

(4)根据(1)或(2)所述的信息处理装置，

其中，所述相关信息包括所述捕获图像的捕获位置。

(5)根据(1)或(2)所述的信息处理装置，

其中，所述相关信息包括所述图像捕获装置的属性。

(6)根据(3)至(5)中任一项所述的信息处理装置，

其中，所述设置单元设置从预先所准备的多个增强现实空间候选中根据所述相关信息所选择的增强现实空间。

(7)根据(6)所述的信息处理装置，

其中，所述设置单元选择从所述多个增强现实空间候选中根据所述相关信息所确定的子集中由用户所指定的增强现实空间。

(8)根据(3)至(6)中任一项所述的信息处理装置，

其中，所述设置单元根据所述相关信息对要设置的增强现实空间的变量参数进行调整。

(9)根据(1)至(8)中任一项所述的信息处理装置，

其中，所述设置单元基于在对所述增强现实空间进行显示时所涉及的装置的性能，对要设置的增强现实空间的变量参数进行调整。

(10)根据(1)至(9)中任一项所述的信息处理装置，

其中，所述控制单元基于所述相关信息确定在所述增强现实空间内所放置的所述虚拟对象的初始位置。

(11)根据(1)至(9)中任一项所述的信息处理装置，

其中，所述控制单元基于所述用户的属性确定在所述增强现实空间内所放置的所述虚拟对象的初始位置。

(12)根据(1)至(11)中任一项所述的信息处理装置，

其中，在未根据所述相关信息确定要设置的增强现实空间的情况下，所述设置单元将不依赖于所述相关信息的默认增强现实空间候选设置为所述增强现实空间。

(13)根据(1)至(12)中任一项所述的信息处理装置，

其中，所述虚拟对象包括针对每个用户的替身，以及

其中，所述控制单元将实时地访问同一增强现实空间的一个或更多个用户的替身放置在所述增强现实空间内。

(14)根据(13)所述的信息处理装置，

其中，所述控制单元还将之前访问过所述同一增强现实空间的用户的替身放置在所述增强现实空间内。

(15)根据(13)所述的信息处理装置，

其中，所述控制单元在所述增强现实空间内表示之前访问过所述同一增强现实空间的用户的替身的踪迹。

(16)根据(13)至(15)中任一项所述的信息处理装置，

其中，所述控制单元在所述一个或更多个用户的装置之间共享在所述增强现实空间内所放置的非用户角色的动作情景。

(17)根据(1)至(16)中任一项所述的信息处理装置，

其中，所述虚拟对象包括针对每个用户的替身，以及

其中，所述设置单元将能够使得所述替身移动到其他增强现实空间的路径放置在所设置的增强现实空间内。

(18)一种客户端装置，包括：

图像捕获单元，通过对真实空间进行捕获生成捕获图像；

通信单元，与服务器装置进行通信，所述服务器装置与所述真实空间相关联地设置增强现实空间，所述增强现实空间虚拟地增强在所述捕获图像中所描绘的真实空间，所述增强现实空间根据与所述捕获图像有关的相关信息而不同；以及

控制单元，使得在由所述服务器装置所设置的增强现实空间内针对每个用户所放置的虚拟对象的图像被显示在画面上。

(19)一种由客户端装置所执行的信息处理方法，所述客户端装置设置有图像捕获单元和与服务器装置进行通信的通信单元，

其中，所述服务器装置与真实空间相关联地设置增强现实空间，所述增强现实空间虚拟地增强在捕获图像中所描绘的真实空间，所述增强现实空间根据与所述捕获图像有关的相关信息而不同，

所述信息处理方法包括：

通过使用所述图像捕获单元对真实空间进行捕获生成所述捕获图像；以及

使得在由所述服务器装置所设置的增强现实空间内针对每个用户所放置的虚拟对象的图像被显示在画面上。

(20)一种程序，所述程序用于使得控制客户端装置的计算机用作：

图像获取单元，从图像捕获装置获取真实空间的捕获图像；以及

控制单元，使得在增强现实空间内针对每个用户所放置的虚拟对象的图像被显示在画面上，所述增强现实空间由所述服务装置所设置，所述服务器装置与所述真实空间相关联地设置所述增强现实空间，所述增强现实空间虚拟地增强在所述捕获图像中所描绘的真实空间，所述增强现实空间根据与所述捕获图像有关的相关信息而不同。

参考标记列表

100  信息处理装置

102  摄像装置(图像捕获单元)

110  显示器(显示单元)

112  通信接口(通信单元)

118  处理器(控制单元)

120  图像获取单元

130  数据获取单元

142  识别单元

144  AR空间设置单元

146  对象控制单元

200  客户端装置

Claims (20)

1.一种信息处理装置，包括：

图像获取单元，从图像捕获装置获取真实空间的捕获图像；

设置单元，与所述真实空间相关联地设置增强现实空间，所述增强现实空间虚拟地增强在所述捕获图像中所描绘的真实空间，所述增强现实空间根据与所述捕获图像有关的相关信息而不同；以及

控制单元，使得在所述增强现实空间内针对每个用户所放置的虚拟对象的图像被显示在画面上。

2.根据权利要求1所述的信息处理装置，

其中，所述虚拟对象包括针对每个用户的替身。

3.根据权利要求1所述的信息处理装置，

其中，所述相关信息包括在所述捕获图像中所描绘的基准对象的属性。

4.根据权利要求1所述的信息处理装置，

其中，所述相关信息包括所述捕获图像的捕获位置。

5.根据权利要求1所述的信息处理装置，

其中，所述相关信息包括所述图像捕获装置的属性。

6.根据权利要求3所述的信息处理装置，

其中，所述设置单元设置从预先所准备的多个增强现实空间候选中根据所述相关信息所选择的增强现实空间。

7.根据权利要求6所述的信息处理装置，

其中，所述设置单元选择从所述多个增强现实空间候选中根据所述相关信息所确定的子集中由用户所指定的增强现实空间。

8.根据权利要求3所述的信息处理装置，

其中，所述设置单元根据所述相关信息对要设置的增强现实空间的变量参数进行调整。

9.根据权利要求1所述的信息处理装置，

其中，所述设置单元基于在对所述增强现实空间进行显示时所涉及的装置的性能，对要设置的增强现实空间的变量参数进行调整。

10.根据权利要求1所述的信息处理装置，

其中，所述控制单元基于所述相关信息确定在所述增强现实空间内所放置的所述虚拟对象的初始位置。

11.根据权利要求1所述的信息处理装置，

其中，所述控制单元基于所述用户的属性确定在所述增强现实空间内所放置的所述虚拟对象的初始位置。

12.根据权利要求1所述的信息处理装置，

其中，在未根据所述相关信息确定要设置的增强现实空间的情况下，所述设置单元将不依赖于所述相关信息的默认增强现实空间候选设置为所述增强现实空间。

13.根据权利要求1所述的信息处理装置，

其中，所述虚拟对象包括针对每个用户的替身，以及

其中，所述控制单元将实时地访问同一增强现实空间的一个或更多个用户的替身放置在所述增强现实空间内。

14.根据权利要求13所述的信息处理装置，

其中，所述控制单元还将之前访问过所述同一增强现实空间的用户的替身放置在所述增强现实空间内。

15.根据权利要求13所述的信息处理装置，

其中，所述控制单元在所述增强现实空间内表示之前访问过所述同一增强现实空间的用户的替身的踪迹。

16.根据权利要求13所述的信息处理装置，

其中，所述控制单元在所述一个或更多个用户的装置之间共享在所述增强现实空间内所放置的非用户角色的动作情景。

17.根据权利要求1所述的信息处理装置，

其中，所述虚拟对象包括针对每个用户的替身，以及

其中，所述设置单元将能够使得所述替身移动到其他增强现实空间的路径放置在所设置的增强现实空间内。

18.一种客户端装置，包括：

图像捕获单元，通过对真实空间进行捕获生成捕获图像；

通信单元，与服务器装置进行通信，所述服务器装置与所述真实空间相关联地设置增强现实空间，所述增强现实空间虚拟地增强在所述捕获图像中所描绘的真实空间，所述增强现实空间根据与所述捕获图像有关的相关信息而不同；以及

控制单元，使得在由所述服务器装置所设置的增强现实空间内针对每个用户所放置的虚拟对象的图像被显示在画面上。

19.一种由客户端装置所执行的信息处理方法，所述客户端装置设置有图像捕获单元和与服务器装置进行通信的通信单元，

其中，所述服务器装置与真实空间相关联地设置增强现实空间，所述增强现实空间虚拟地增强在捕获图像中所描绘的真实空间，所述增强现实空间根据与所述捕获图像有关的相关信息而不同，

所述信息处理方法包括：

通过使用所述图像捕获单元对真实空间进行捕获生成所述捕获图像；以及

使得在由所述服务器装置所设置的增强现实空间内针对每个用户所放置的虚拟对象的图像被显示在画面上。

20.一种程序，所述程序用于使得控制客户端装置的计算机用作：

图像获取单元，从图像捕获装置获取真实空间的捕获图像；以及

控制单元，使得在增强现实空间内针对每个用户所放置的虚拟对象的图像被显示在画面上，所述增强现实空间由所述服务装置所设置，所述服务器装置与所述真实空间相关联地设置所述增强现实空间，所述增强现实空间虚拟地增强在所述捕获图像中所描绘的真实空间，所述增强现实空间根据与所述捕获图像有关的相关信息而不同。