CN110168615B - 信息处理设备、信息处理方法和存储介质 - Google Patents

Abstract

[问题]提出了信息处理设备、信息处理方法和程序，利用该信息处理设备、信息处理方法和程序，可以在用于显示视频的空间中自适应地显示基于感测到的三维信息的视频。[解决方案]提供了信息处理设备，该信息处理设备包括确定单元，该确定单元基于第二真实空间中的感测结果来确定与根据在第一真实空间中感测到的第一三维信息的视频的显示相关的设置，所述设置是针对在第二真实空间中显示所述视频的情况来确定的。

Description

信息处理设备、信息处理方法和存储介质

技术领域

本公开内容涉及信息处理设备、信息处理方法和程序。

背景技术

常规地，已经开发了用于显示过去拍摄的与真实世界相关联的图像的各种技术，例如增强现实(AR)。

例如，下面的专利文献1公开下述技术：头戴式显示器(HMD)在判断出存在在HMD的当前位置处拍摄的运动图像的情况下显示运动图像的标题图像。

引用列表

专利文献

专利文献1：日本专利申请公开第2014-90386号

发明内容

本发明要解决的问题

然而，在专利文献1中公开的技术中，没有考虑显示与在真实空间中感测到的三维信息对应的视频。

因此，本公开内容提出了能够在显示视频的空间中自适应地显示与感测到的三维信息对应的视频的新的经改进的信息处理设备、信息处理方法和程序。

问题的解决方案

根据本公开内容，提供了一种信息处理设备，包括：确定单元，当在第二真实空间中显示与在第一真实空间中感测到的第一三维信息对应的视频时，该确定单元基于第二真实空间中的感测结果来确定与视频的显示相关的设置。

此外，根据本公开内容，提供了一种信息处理方法，包括：当在第二真实空间中显示与在第一真实空间中感测到的第一三维信息对应的视频时，由处理器基于第二真实空间中的感测结果来确定与视频的显示相关的设置。

此外，根据本公开内容，提供了一种用于使计算机充当确定单元的程序，当在第二真实空间中显示与在第一真实空间中感测到的第一三维信息对应的视频时，该确定单元基于第二真实空间中的感测结果来确定与视频的显示相关的设置。

本发明的效果

如上所述，根据本公开内容，可以在显示视频的空间中自适应地显示与感测到的三维信息对应的视频。注意，此处描述的效果不必受限制，并且本公开内容中描述的任何效果均可以被实施。

附图说明

图1是示出根据本公开内容的实施方式的信息处理***的配置示例的说明图。

图2是示出根据同一实施方式的再现装置30的配置示例的功能框图。

图3是示出根据同一实施方式的服务器10的配置示例的功能框图。

图4是示出根据同一实施方式的运动图像DB 124的配置示例的说明图。

图5是示出根据同一实施方式的元信息1248的配置示例的说明图。

图6是示出根据同一实施方式的用于指定要再现的视频的显示区域的图形用户界面(GUI)的显示示例的图。

图7是示出根据同一实施方式的用于指定要再现的视频的显示区域的GUI的另一显示示例的图。

图8是示出根据同一实施方式的要再现的视频的显示区域的候选的显示示例的图。

图9是示出根据同一实施方式的要再现的视频的显示区域的候选的另一显示示例的图。

图10是示出根据同一实施方式的与要再现的视频相关的预览视频的显示示例的图。

图11是示出根据同一实施方式的用于指定前景部分的由用户在操作画面上对前景部分的指定示例的图。

图12是示出根据同一实施方式的用于要再现的运动图像的颜色转换处理的流程的流程图。

图13是示出根据同一实施方式的在设置空间固定模式时的视频的显示示例的图。

图14是示出根据同一实施方式的在设置移动体固定模式时的视频的显示示例的图。

图15是示出根据同一实施方式的处理流程的一部分的序列图。

图16是示出根据同一实施方式的处理流程的一部分的序列图。

图17是示出根据同一实施方式的服务器10的硬件配置的示例的说明图。

具体实施方式

下面将参照附图详细描述本公开内容的优选实施方式。注意，在本说明书和附图中，相同的附图标记被赋予具有基本上相同的功能配置的组成元件，并且省略冗余的说明。

此外，在本说明书和附图中，可以通过在相同的附图标记之后附加不同的字母来区分具有基本上相同的功能配置的多个组成元件。例如，根据需要，像服务器10a和服务器10b那样区分具有基本上相同的功能配置的多个配置。然而，在不必特别区分具有基本上相同的功能配置的多个组成元件中的每一个的情况下，仅附加相同的附图标记。例如，在不需要特别区分服务器10a和服务器10b的情况下，将服务器10a和服务器10b简称为服务器10。

此外，将根据如下所示的项目的顺序来描述“具体实施方式”。

1.信息处理***的配置

2.实施方式的具体描述

3.硬件配置

4.修改例

<<1.信息处理***的配置>>

首先，将参照图1描述根据本公开内容的实施方式的信息处理***的配置示例。如图1所示，根据本实施方式的信息处理***具有服务器10、记录装置20、再现装置30和通信网络32。

<1-1.记录装置20>

记录装置20是用于记录真实空间的深度信息和运动图像的装置。记录装置20可以包括相机(RGB相机)。然后，记录装置20可以基于例如用户的操作等拍摄运动图像。例如，记录装置20通过经由包括在相机中的镜头将光聚焦到包括在相机中的成像元件来拍摄运动图像。

此外，记录装置20可以包括深度传感器、立体相机、测距仪等。然后，例如，记录装置20可以以预定时间间隔顺序地记录该记录装置20前方的深度图(深度信息)。

此外，记录装置20可以包括位置信息获取单元(未示出)。该位置信息获取单元可以包括接收器，该接收器接收来自定位卫星(例如全球定位***(GPS)、全球导航卫星***(GLONASS)、伽利略(Galileo)、北斗或Michibiki)的定位信号。注意，位置信息获取单元也可以从一种类型的卫星接收定位信号，或者也可以从多种类型的卫星接收定位信号并对所接收的信号进行组合，以对当前位置进行定位。

此外，位置信息获取单元可以包括例如通信天线、网卡等。在这种情况下，位置信息获取单元可以通过从例如蓝牙(注册商标)接入点、Wi-Fi(注册商标)接入点、RFID标签等接收位置信息来获取当前位置信息。替选地，位置信息获取单元可以通过接收这些装置的ID，然后向预定装置(未示出)查询与ID对应的位置信息并从预定装置获取位置信息，从而获取当前位置信息。

此外，记录装置20还可以通过使用诸如同时定位和映射(SLAM)的技术来估计记录装置20的自身位置。例如，记录装置20基于由记录装置20的相机等拍摄的图像来识别位于记录装置20周围的特定对象，然后从例如预定装置获取对象的位置信息，以估计记录装置20的自身位置。

此处，将更详细地描述由记录装置20进行的运动图像的记录方法和深度信息。例如，记录装置20同时记录运动图像和深度图，并且在记录时与运动图像相关联地记录位置信息。此外，记录装置20可以与运动图像和深度图相关联地记录元信息。作为示例，记录装置20将所拍摄的运动图像、所感测的深度图和元信息集中地收集为一个文件。此处，元信息包括例如运动图像的ID、标题、缩略图、记录人的姓名、记录的日期和时间、记录时的位置信息、记录时记录装置20的姿势信息等。

此外，记录装置20可以具有通过有线通信或无线通信与另一装置通信的功能。例如，记录装置20基于用户的操作将所拍摄的运动图像以及与运动图像相关联的深度图和元信息经由如稍后描述的通信网络32发送到服务器10。

<1-2.服务器10>

服务器10是根据本公开内容的信息处理设备的示例。服务器10是用于管理诸如由记录装置20记录的运动图像的信息的装置。例如，服务器10对所接收的运动图像、深度图和元信息进行关联和管理。

此外，例如，服务器10可以具有经由通信网络32与另一装置通信的功能。例如，服务器10基于从如稍后描述的再现装置30接收的对运动图像的获取请求，向再现装置30发送与获取请求对应的运动图像和深度图。

<1-3.再现装置30>

再现装置30是用于显示与由记录装置20记录的运动图像和深度图对应的视频的装置。例如，再现装置30请求服务器10提供在(再现装置30的)当前位置信息的附近记录的运动图像和深度图。然后，再现装置30显示与从服务器10接收的运动图像和深度图对应的视频。

例如，再现装置30可以是诸如HMD的头戴式装置。注意，HMD可以是光学透视型装置或视频传输型装置。在视频传输型装置的情况下，再现装置30具有用于在再现装置30前方拍摄视频的相机，然后，可以在如稍后描述的显示单元326上顺序地显示由相机拍摄的视频。因此，用户可以通过显示在显示单元326上的视频看到用户前方的风景。

注意，本发明不限于这样的示例，并且再现装置30可以是例如具有诸如液晶显示器(LCD)或有机发光二极管(OLED)的显示器的预定便携式装置。例如，预定便携式装置可以是诸如智能手机、平板型终端或便携式音乐播放器的移动电话。

<1-4.通信网络32>

通信网络32是从连接到通信网络32的装置发送的信息的有线或无线传输路径。例如，通信网络32可以包括诸如电话网络、因特网或卫星通信网络的公共网络；包括以太网(注册商标)的各种局域网(LAN)；广域网(WAN)等。此外，通信网络32可以包括诸如互联网协议-虚拟专用网络(IP-VPN)的专用网络。

<1-5.问题摘要>

上面已经描述了根据本实施方式的信息处理***的配置。顺便提及，已经常规地开发了与虚拟现实(VR)相关的各种技术。根据该技术，通过允许观看者/收听者观看虚拟空间的视频，可以向观看者/收听者呈现进入虚拟空间的体验。

然而，利用常规技术，不可能将所拍摄的运动图像等叠加在观看者/收听者所在的空间上。因此，根据常规技术，例如，由于观看者/收听者的身体未被显示的原因，观看者/收听者难以获得真实的感觉。

因此，以上述情况为着眼点，创建了根据本实施方式的服务器10。当由再现装置30显示与由记录装置20感测到的运动图像和深度图对应的视频时，根据本实施方式的服务器10基于再现装置30所在的空间中的感测结果来确定与视频的显示相关的设置。因此，例如，服务器10可以使再现装置30显示针对再现装置30所在的空间而优化的视频。

<<2.实施方式的详细描述>>

<2-1.配置：再现装置30>

接下来，将详细描述根据本实施方式的再现装置30的配置。图2是示出根据本实施方式的再现装置30的配置示例的功能框图。如图2所示，再现装置30具有控制单元300、通信单元320、位置信息接收单元322、传感器单元324、显示单元326和存储单元328。

{2-1-1.控制单元300}

控制单元300可以包括诸如中央处理单元(CPU)或图形处理单元(GPU)的处理电路。控制单元300全面控制再现装置30的操作。此外，如图2所示，控制单元300具有位置信息获取单元302、检测结果获取单元304、识别单元306、运动图像获取单元308和显示控制单元310。

{2-1-2.位置信息获取单元302}

位置信息获取单元302基于如稍后描述的位置信息接收单元322的测量结果以及如稍后描述的传感器单元324的感测结果来获取再现装置30的当前位置信息。例如，位置信息获取单元302基于从位置信息接收单元322接收的一种类型的卫星的定位信号来指定当前位置信息。替选地，位置信息获取单元302可以基于从多种类型的卫星接收的定位信号的组合来指定当前位置信息。

此外，在位置信息接收单元322接收到发送器ID的情况下，位置信息获取单元302可以向例如预定装置查询与发送器ID对应的位置信息并获取位置信息，从而获取当前位置信息。

此外，例如，位置信息获取单元302还可以通过使用传感器单元324的感测结果和诸如SLAM的技术来估计再现装置30的自身位置。例如，位置信息获取单元302首先基于由传感器单元324拍摄的图像、感测到的深度图等来识别位于再现装置30周围的特定对象。然后，位置信息获取单元302从例如预定装置获取对象的位置信息，以估计再现装置30的自身位置。

{2-1-3.检测结果获取单元304}

检测结果获取单元304通过传感器单元324获取感测结果。例如，检测结果获取单元304获取由传感器单元324拍摄的图像、感测到的深度图以及感测到的(再现装置30的)姿势、加速度等。

{2-1-4.识别单元306}

识别单元306基于由检测结果获取单元304获取的感测结果来执行各种类型的识别处理。例如，识别单元306基于由传感器单元324拍摄的使用再现装置30的用户(在下文中，在一些情况下称为观看者/收听者)的眼睛的图像来顺序地识别用户的视线方向。此外，检测结果获取单元304对由传感器单元324收集的观看者/收听者的话语进行声音识别，然后，分析识别结果的含义。

{2-1-5.运动图像获取单元308}

运动图像获取单元308从服务器10获取与由位置信息获取单元302获取的位置信息对应的运动图像和深度图。例如，运动图像获取单元308使通信单元320向服务器10发送包括所获取的位置信息的对运动图像的获取请求，以从服务器10获取与位置信息对应的运动图像以及与该运动图像相关联的深度图。此处，运动图像的获取请求还可以包括关于由检测结果获取单元304获取的再现装置30的姿势、识别单元306的识别结果等的信息。

{2-1-6.显示控制单元310}

显示控制单元310使显示单元326显示由运动图像获取单元308获取的运动图像以及与深度图对应的视频。例如，显示控制单元310首先基于所获取的运动图像和深度图来构建三维数据。然后，显示控制单元310基于三维数据以及显示单元326的位置信息和姿势信息来确定要在显示单元326上显示的视频，并且使显示单元326显示该视频。

{2-1-7.通信单元320}

通信单元320可以包括例如通信天线、网卡等。通信单元320向其他装置发送信息，并且从其他装置接收信息。例如，通信单元320在运动图像获取单元308的控制下将运动图像的获取请求发送到服务器10。此外，通信单元320从服务器10接收运动图像和深度图。

{2-1-8.位置信息接收单元322}

位置信息接收单元322可以包括接收器，该接收器接收来自定位卫星(例如GPS、全球卫星导航***、伽利略、北斗或Michibiki)的定位信号。注意，位置信息接收单元322也可以从一种类型的卫星接收定位信号，或者也可以从多种类型的卫星接收定位信号并将所接收的信号进行组合以对当前位置进行定位。

此外，位置信息接收单元322可以包括例如通信天线、网卡等。例如，位置信息接收单元322可以通过从例如蓝牙接入点、Wi-Fi接入点或RFID标签接收位置信息来获取当前位置信息。替选地，位置信息接收单元322可以通过接收这些装置(发送器)的ID、向预定装置(未示出)查询与ID对应的位置信息并从预定装置获取位置信息，从而获取当前位置信息。

{2-1-9.传感器单元324}

传感器单元324可以包括例如相机(图像传感器)、深度传感器、麦克风、加速度传感器、陀螺仪、地磁传感器等。例如，传感器单元324拍摄外部环境(例如，再现装置30的前方等)的图像并且感测深度图。此外，传感器单元324收集外部环境中的声音。此外，传感器单元324感测再现装置30的姿势、加速度等。

{2-1-10.显示单元326}

显示单元326在显示控制单元310的控制下显示视频。例如，显示单元326可以具有图像投影装置，并且再现装置30可以具有左眼镜头和右眼镜头(或者护目镜型镜头)。在这种情况下，图像投影装置投影使左眼镜片和右眼镜片(或护目镜型镜片)中的每一个的至少部分区域作为投影平面的视频。注意，左眼镜片和右眼镜片(或护目镜型镜片)可以由例如树脂或玻璃等透明材料形成。

替选地，显示单元326可以具有液晶面板，并且液晶面板的透射率可以被控制。因此，可以将显示单元326控制为透明或半透明状态。

替选地，显示单元326可以被配置成非透射显示装置，并且可以顺序地显示由传感器单元324拍摄的用户的视线方向的视频。例如，显示单元326可以包括液晶显示器(LCD)或有机发光二极管(OLED)。

{2-1-11.存储单元328}

存储单元328存储各种数据片段和各种类型的软件。

<2-2.配置：服务器10>

接下来，将详细描述根据本实施方式的服务器10的配置。图3是示出根据本实施方式的服务器10的配置示例的功能框图。如图3所示，服务器10包括控制单元100、通信单元120和存储单元122。

{2-2-1.控制单元100}

例如，控制单元100可以包括诸如如稍后描述的CPU 150或GPU的处理电路。控制单元100全面控制服务器10的操作。此外，如图3所示，控制单元100包括登记单元102、选择单元104、确定单元106和显示控制单元108。

{2-2-2.登记单元102}

登记单元102将从记录装置20接收的运动图像、深度图、元信息等登记在运动图像DB 124中。例如，每次从记录装置20获取运动图像或深度图时，登记单元102都将运动图像和深度图顺序登记在运动图像DB 124中。

(运动图像DB 124)

图4是示出运动图像DB 124的配置示例的说明图。如图4所示，例如，位置信息1240、元信息1248、运动图像数据1250和深度图1252与运动图像DB 124相关联。此处，在位置信息1240中，存储如下位置信息，在该位置信息中记录对应的运动图像和深度图。此外，如图4所示，位置信息1240包括例如纬度1242、经度1244、区域1246等。纬度1242和经度1244分别存储其中记录对应的运动图像和深度图的纬度和经度。此外，在区域1246中，例如，存储其中记录对应的运动图像和深度图的设施中的特定位置(例如，设施中的楼层、房间号等)。

此外，元信息1248存储与对应的运动图像相关联的元信息。注意，稍后将描述元信息1248的详情。此外，运动图像数据1250存储对应的运动图像的数据(文件)。此外，与对应的运动图像相关联地感测到的深度图被存储在深度图1252中。

此处，参照图5，将描述元信息1248的详情。如图5所示，元信息1248包括例如运动图像ID 1260、装置ID 1262、标题1264、缩略图1266、记录人1268、拍摄日期和时间1270、拍摄位置和姿势1272以及同步拍摄的运动图像1274。此处，运动图像ID 1260存储分配给对应的运动图像的ID。此外，装置ID 1262存储拍摄了对应的运动图像的记录装置20的标识信息。此外，标题1264存储由例如对应的运动图像的记录人给出的标题。此外，缩略图1266存储对应的运动图像的缩略图。此外，记录人1268存储记录对应的运动图像的人的标识信息(例如姓名)。此外，拍摄日期和时间1270存储对应的运动图像的拍摄日期和时间。此外，拍摄位置和姿势1272存储拍摄对应的运动图像时的位置信息和姿势信息。此外，同步拍摄的运动图像1274存储存在或不存在与对应的运动图像同步拍摄的另一运动图像、另一运动图像的ID(在存在另一运动图像的情况下)等。

{2-2-3.选择单元104}

(2-2-3-1.基于位置信息的选择)

-选择例1

选择单元104基于从再现装置30接收的对运动图像的获取请求，从运动图像DB124中选择要再现的运动图像。例如，选择单元104基于所接收的对运动图像的获取请求中包括的位置信息和姿势信息，从运动图像DB 124中选择要再现的运动图像。作为示例，选择单元104可以从存储在运动图像DB 124中的多个运动图像之中选择最接近于在所接收的获取请求中包括的位置信息拍摄的运动图像作为要再现的运动图像。替选地，选择单元104可以在运动图像DB 124中搜索具有在所接收的获取请求中包括的位置信息与拍摄时的位置信息之间的差异以及在获取请求中包括的姿势信息与所接收的获取请求中包括的拍摄时间处的姿势信息之间的差异的最小组合的图像，并且选择指定的运动图像作为要再现的运动图像。

-选择例2

替选地，选择单元104可以从与距接收到的对运动图像的获取请求中包括的位置信息预定范围内的位置信息相关联的多个运动图像之中选择由观看者/收听者指定的运动图像作为要再现的运动图像。例如，选择单元104首先从运动图像DB 124中选择与距接收到的位置信息预定范围内的位置信息相关联的所有运动图像作为要再现的运动图像的候选。随后，选择单元104使通信单元120将要再现的运动图像的所选候选中的每一个的元信息发送到再现装置30。

在这种情况下，例如，对于要再现的运动图像的每个候选，再现装置30可以在显示单元326上将运动图像的标题、缩略图等与拍摄运动图像的位置信息相关联地显示。然后，例如，在检测到再现装置30已经接近由与要再现的运动图像的每个候选相关联的位置信息中的任何一个所指示的位置的情况下，选择单元104可以选择与该位置信息对应的运动图像作为要再现的运动图像。替选地，在与要再现的运动图像的每个候选相关联的位置信息片段位于预定范围内(即，接近地收集)并且识别出再现装置30已经移动到预定范围内的情况下，选择单元104可以在要再现的运动图像的候选之中选择与检测到的用户的指令(例如，手势、声音命令等)对应的运动图像作为要再现的运动图像。注意，作为修改例，在这种情况下，选择单元104还可以选择要再现的运动图像的所有候选作为要再现的运动图像。

(2-2-3-2.基于其他信息的选择)

替选地，在接收到的对运动图像的获取请求中包括用户的指定信息(例如，运动图像的搜索关键字等)的情况下，选择单元104从运动图像DB 124中选择与该指示信息对应的运动图像作为要再现的运动图像。注意，在存在与指定信息对应的多个运动图像的情况下，选择单元104可以选择多个运动图像中的任何一个作为要再现的运动图像，或者可以选择所有多个运动图像(同时再现的)作为要再现的运动图像。

(2-2-3-3.动态切换)

-切换示例1

此外，选择单元104可以将由再现装置30再现的运动图像动态地切换为另一个运动图像。例如，选择单元104基于由再现装置30感测到的位置信息的变化来动态地选择与正在再现的运动图像不同的运动图像作为要再现的运动图像。

例如，每当获取位置信息的感测结果和再现装置30的姿势信息时，选择单元104针对与位置信息附近相关联的多个运动图像中的每一个顺序地计算评估值(指示对应的运动图像被适当显示的程度)。然后，在任何其他运动图像的评估值大于当前正在再现的运动图像的评估值的情况下，选择单元104将正在再现的运动图像动态地切换为具有最大评估值的另一运动图像。

此处，例如，可以计算每个运动图像的评估值，使得再现装置30的位置信息和姿势信息的组合与拍摄运动图像时的位置信息和姿势信息的组合之间的差异越小，评估值越大。此外，每个运动图像的评估值可以根据拍摄对象与记录装置20之间的距离而变化。例如，即使拍摄时的位置与再现时的位置之间的位移相同，当运动图像的拍摄时的位置与对象之间的距离更大时(即，在拍摄远处场景时)，评估值仍被计算为更小。注意，通常，在再现装置30在拍摄方向上移动的情况下，运动图像与由相机拍摄的再现装置30的前方的拍摄图像之间的偏差倾向于较小。因此，对于每个运动图像，可以以比其他区域更高的评估值来计算从拍摄运动图像时的记录装置20的位置沿拍摄方向延伸的椭圆区域。

-切换示例2

注意，如果要再现的运动图像频繁切换，则观看者/收听者会不自然地感知。因此，选择单元104可以具有滞后性并且将正在再现的运动图像切换为另一个运动图像。例如，仅在所计算的任何其他运动图像的评估值大于当前再现的运动图像的评估值的状态的持续时间的长度大于特定时间的情况下，选择单元104可以将正在再现的运动图像切换为具有最大评估值的另一个运动图像。

{2-2-4.确定单元106}

当再现装置30基于预定标准来显示与由选择单元104选择的要再现的运动图像对应的视频时，确定单元106确定与视频的显示相关的设置。例如，确定单元106基于接收到的对运动图像的获取请求来确定与视频的显示相关的设置。

(2-2-4-1.对齐)

此处，显示条件可以包括当再现装置30显示要再现的运动图像时的显示位置和取向。例如，确定单元106基于获取请求中包括的深度图与和要再现的运动图像相关联的深度图之间的比较来确定要再现的运动图像被显示的位置和取向。作为示例，确定单元106调整运动图像的显示位置和取向，使得从获取请求中包括的深度图和与运动图像相关联的深度图指定的公共平面一致，以确定要再现的运动图像的显示。此外，确定单元106调整运动图像的显示位置和取向，使得从获取请求中包括的深度图指定的多个特征点的一部分和从与运动图像相关联的深度图指定的多个特征点的一部分一致，以确定要再现的运动图像的显示。

(2-2-4-2.显示区域的确定)

此外，上述显示条件可以包括显示区域，在该显示区域中，在再现装置30所在的真实空间中显示对应的运动图像。在这种情况下，确定单元106可以基于获取请求中包括的深度图来确定显示区域。

-(a)平面检测结果的使用

例如，确定单元106基于从获取请求中包括的深度图指定的平面来确定对应的运动图像的显示区域。此外，确定单元106可以基于从获取请求中包括的深度图指定的竖直方向(重力方向)来确定对应的运动图像的显示区域。例如，确定单元106基于从获取请求中包括的深度图指定的任何平面以及从深度图指定的竖直方向来确定预定三维空间作为对应的运动图像的显示区域。

更具体地，确定单元106首先基于获取请求中包括的深度图来计算点云，然后，例如使用诸如RANSAC的算法基于点云来计算所有闭合平面。注意，此时，确定单元106可以使用时间序列滤波器去除(关于对应的运动图像的)时间方向上的噪声。此外，确定单元106可以检测三维空间而不是检测平面。

随后，确定单元106基于预定指标(例如，尺寸、形状、位置、距观看者/收听者的距离等)将检测到的所有闭合平面中的任何一个确定为对应的运动图像的显示区域。例如，确定单元106确定例如满足下述条件中的一个或更多个的闭合平面作为对应的运动图像的显示区域：闭合平面的尺寸等于或大于预定尺寸；与观看者/收听者的距离是预定尺寸或更大；面对方向是面向观看者/收听者；纵横比在预设范围内等。

-(b)通过GUI的确定

此外，确定单元106还可以基于获取请求中包括的深度图以及由再现装置30显示的GUI上的观看者/收听者的操作的检测结果来确定对应的运动图像的显示区域。注意，GUI是根据本公开内容的操作图像的示例。

-显示示例1

图6是示出GUI的显示示例的说明图。注意，在图6所示的示例中，再现装置30位于特定房间中，并且再现装置30的显示单元326的如图6所示的GUI 420被显示在房间内的桌子的上表面上。

如图6所示，GUI 420包括手柄GUI 422。在图6所示的示例中，在识别出执行观看者/收听者的握住手柄GUI 422的手势的情况下，确定单元106将当前设置模式更改为调整尺寸模式。在该调整尺寸模式中，GUI420的区域可以基于握住手柄GUI 422的手的位置的改变(例如，移动手、改变手之间的间隔等)的检测结果而平行移动、按比例改变或者旋转。注意，服务器10(确定单元106)可以使用三维空间中的坐标或者使用显示在显示单元326上的屏幕的坐标系(屏幕坐标系)来确定手柄GUI 422与观看者/收听者的手之间的接触。根据后一种判定方法，即使在手柄GUI422位于远离对应真实空间中的观看者/收听者的情况下，观看者/收听者也可以容易地操作GUI 420。

此外，例如，当检测到从手柄GUI 422松开手的手势时，确定单元106结束调整尺寸模式。然后，确定单元106将调整尺寸模式结束时的GUI420的区域确定为对应的运动图像的显示区域。

-显示示例2

图7是示出GUI的另一显示示例的说明图。注意，在图7所示的示例中，示出了如下示例：用于供观看者/收听者指定与对应的运动图像相关的特定显示参数的值的菜单430连同图6中的GUI 420一起被显示在显示单元326上。如图7所示，菜单430包括例如：指定字段432a，用于指定是否使对应的运动图像的显示区域被捕捉到附近的平面；指定字段432b，用于指定是否执行显示，使得对应的运动图像的高度方向与真实空间中的重力方向一致；以及指定字段432c，用于指定是否将对应的运动图像设置为显示全尺寸。

在图7所示的示例中，在检测到已经发出用于将对应的运动图像的显示区域捕捉到附***面的预定声音命令的情况下，确定单元106确定将对应的运动图像的显示区域捕捉到附近的平面。

注意，在使用显示单元326上显示的屏幕的屏幕坐标系来确定手柄GUI 422与观看者/收听者的手之间的(如上所述的)接触的情况下，仅有两个输入自由度。因此，在这种情况下，希望自动设置为使对应的运动图像的显示区域被捕捉到附近的平面并且使对应的运动图像的高度方向与真实空间的重力方向一致。因此，观看者/收听者可以按预期来操作GUI420。

-(c)向观看者/收听者询问

此外，确定单元106可以基于获取请求中包括的深度图来确定对应的运动图像的显示区域的多个候选(在下文中，称为区域候选)，然后，基于确定被观看者/收听者从多个区域候选之中选择的区域候选来确定运动图像的显示区域。

此处，参照图8至图10，将更详细地描述上述功能。例如，确定单元106首先基于获取请求中包括的深度图来计算点云，然后，例如使用诸如RANSAC的算法基于点云来计算多个闭合平面，并且将检测到的闭合平面设置为候选区域。替选地，确定单元106可以检测多个空白空间(三维空间)，然后，使用检测到的空白空间作为区域候选。

随后，确定单元106基于预定指标(例如，区域候选的尺寸、形状、位置、距用户的距离等)从所有检测到的区域候选中提取多个区域候选。然后，如稍后描述的显示控制单元108例如使所提取的多个区域候选440(或区域候选442)显示在再现装置30(的显示单元326)上，如图8或图9所示。

随后，确定单元106基于用户的视线方向或面部方向相对于显示单元326的检测结果、手势(例如，手指指向等)的检测结果或者已发出预定声音命令(例如，“设置到桌面上！”、“设置到右侧区域！”等)的事实的检测结果，从多个区域候选之中指定任何一个。然后，如稍后描述的显示控制单元108在再现装置30上强调并显示所指定的区域候选。例如，如图10所示，显示控制单元108可以使再现装置30在对应的区域候选(图10中的区域候选440c)中显示从服务器10接收的对应的运动图像的预览视频444。此处，如图10所示，预览视频444是以与正常再现时的视频不同的显示模式显示的视频(例如，其以灰度显示、以更高的透明度显示等)。因此，用户可以理解所显示的视频是预览视频。

此后，在检测到用于确定显示区域的预定手势或者检测到发出了用于确定显示区域的预定声音命令(例如，“那里”等)的情况下，确定单元106将对应的区域候选确定为运动图像的显示区域。

-(d)多个显示区域的确定

此外，在同时再现多个运动图像(例如，基于用户指定等)的情况下，确定单元106可以确定多个运动图像中的每个显示区域，使得多个运动图像以预定位置关系对齐。例如，确定单元106基于显示在显示单元326上的GUI上的操作的检测结果、声音命令的检测结果等来确定多个运动图像的显示区域，使得要再现的多个运动图像的中心位置以规则间隔排列。替选地，确定单元106可以确定多个运动图像的显示区域，使得多个运动图像的中心位置彼此一致，或者特定轴方向与多个运动图像的中心位置一致。替选地，确定单元106确定多个运动图像的显示区域，使得多个运动图像的竖直方向(重力方向)彼此一致。

此处，中心位置可以是针对存储在运动图像DB 124中的每个运动图像预设的原点。替选地，在未预先设置原点的情况下，当与要再现的多个运动图像对应的点云被对齐以便彼此交叠时，中心位置可以是每个原点。替选地，可以将中心位置设置为与预定图案或预定形状(例如，预定招牌、标记等)对应的位置。

例如，在要再现的多个运动图像是同一体育场的运动图像的情况下，可以预先获得与多个运动图像中的每一个对应的位置和姿势的偏移量，使得每个运动图像中的轨迹的显示位置在显示多个运动图像时一致。

注意，在同时再现多个运动图像的情况下，可以彼此交叠地显示多个运动图像，从而认为难以看到运动图像。因此，如稍后描述的显示控制单元108可以基于例如观看者/收听者的视线方向等的检测结果来改变显示模式，使得针对被确定为不吸引观看者/收听者的注意力的图像的运动图像的可视性降低。例如，显示控制单元108可以半透明地显示对应的运动图像，或者将对应的运动图像的显示颜色改变为另一种颜色以供显示。

(2-2-4-3.运动图像中的显示部分的确定)

此外，确定单元106可以确定基于预定标准在再现装置30上仅显示要再现的运动图像的一部分。例如，确定单元106可以确定在再现装置30上仅显示基于预定标准确定的要再现的运动图像中的前景部分的区域。

-(a)用户指定

-虚拟对象的指示

此处，可以由运动图像的拍摄者针对每个运动图像预设与前景部分对应的空间。例如，可以基于拍摄者(或运动图像的发布者)对于虚拟对象的指令来设置与前景部分对应的空间。作为一个示例，可以基于拍摄者对于预定操作画面的输入来设置与前景部分对应的空间。此处，在操作画面上，可以显示基于由记录装置20感测到的深度图的视频。例如，如图11所示，在用户在操作画面上显示的视频中排列预定对象(例如，立方体、球体、网格等)的情况下，可以将与对象对应的空间设置为前景。此外，在用户布置多个对象的情况下，可以将与多个对象的合成(例如，和、积等)对应的空间设置为前景部分。注意，可以针对运动图像的每个再现时间单独设置前景部分。

-真实空间中的指定

替选地，可以基于拍摄者在真实空间中移动了的路径的检测结果来设置与前景部分对应的空间。例如，首先，感测拍摄者在真实空间中移动了的路径，然后，可以指定与路径对应的闭合平面(闭合区域)。然后，可以将与指定的闭合平面、重力方向、高度的设置值(例如，从地板到天花板的高度、预设的上限值和下限值等)对应的空间设置为与前景部分对应的空间。注意，在这种情况下，指示设置空间范围的显示可以由拍摄者所在的真实空间中的显示单元(未示出)显示。此处，显示单元可以是拍摄者佩戴的HMD，或者可以是投影仪等。注意，记录装置20可以包括显示单元。

此外，在检测到用于改变前景部分的预定手势(例如，向前移动手掌等)的情况下，可以基于检测结果来改变所设置的前景部分。例如，在检测到向前移动手掌的手势的情况下，可以将与前景部分对应的空间改变为与以下两者的合成(和、积等)对应的空间：与设置的前景部分对应的空间以及与手势对应的空间(例如，通过张开手掌而获得的平面、与以手掌为中心的球体对应的空间等)。注意，此时，可以在上述显示单元上进一步显示指示与手势对应的空间(或者与改变之后的前景部分对应的空间)的范围的显示。

-(b)对象识别结果

替选地，可以根据基于运动图像或与运动图像相关联的深度图的对象识别结果，针对每个运动图像设置与前景部分对应的空间。

例如，服务器10的控制单元100首先基于运动图像的颜色信息、从运动图像检测的特征点和/或与运动图像相关联的深度图来执行对象识别，然后，将与识别出的对象对应的空间设置为与前景部分对应的空间。此处，与对象对应的空间的范围可以由用户指定，或者可以根据所识别的对象来确定。例如，在识别出人的面部的情况下，控制单元100基于预先设置的与面部相关联的空间范围(例如，以面部为中心的前、后、左和右1m以内、向上1m以内、向下2m以内的范围等)来设置与前景部分对应的空间。此外，在识别出人的整个身体的情况下，控制单元100将整个身体设置为与前景部分对应的空间。此外，在识别出预定标记的情况下，控制单元100将例如距标记5m半径内的空间设置为与前景部分对应的空间。此外，在识别出预定颜色或图案的纸张的情况下，将纸张、纸张面向的单向方向(例如，纸张的向上方向等)以及由预定距离确定的空间设置为与前景部分对应的空间。

注意，在将运动图像和深度图发送到再现装置30时，控制单元100可以针对运动图像和深度图中的每个对前景部分(集合)以外的区域执行掩蔽处理，然后，对于掩蔽区域不执行编码并且不发送。因此，可以节省通信频带。此外，作为修改例，服务器10的显示控制单元108可以使通信单元120将指示掩蔽的目标区域的数据(在下文中称为掩蔽数据)连同运动图像和深度图一起发送到再现装置30。在这种情况下，再现装置30的显示控制单元310可以首先针对所接收的运动图像和深度图中的每一个执行切除掉由所接收的掩蔽数据指示的区域的处理，然后，使显示单元326显示与经处理的运动图像和深度图对应的视频。

-(c)三维信息的时间序列变化的检测结果

替选地，可以基于运动图像或与运动图像相关联的深度图根据对象运动识别的结果针对每个运动图像设置与前景部分对应的空间。例如，可以基于根据深度图生成的点云来识别运动矢量，并且可以将与所识别的运动矢量对应的空间设置为与前景部分对应的空间。

作为示例，服务器10的控制单元100首先针对(例如，记录时彼此的位置信息片段接近的)多个运动图像，基于与每个运动图像相关联的深度图来指定点云，并且点云被叠加在预定体素上。随后，在预定体素中，控制单元100指定以等于或大于预定值的概率(连续达预定时间)继续存在的体素的元素(即，位于元素内的对象被估计为静止的元素)，并且将与指定元素对应的空间设置为与背景部分对应的空间。注意，此时，控制单元100还可以基于如上所述的对象识别结果，通过使用与前景部分对应的空间的设置方法来设置与背景部分对应的空间。例如，在与该元素对应的空间包括与基于所识别的对象和上述设置方法指定的前景部分对应的空间(在下文中称为空间A)的情况下，控制单元100可以将从与元素对应的空间中排除掉空间A的空间设置为与背景部分对应的空间。

随后，控制单元100将与背景部分对应的空间以外的空间设置为与前景部分对应的空间。注意，在将运动图像和深度图发送到再现装置30时，控制单元100可以针对运动图像和深度图中的每个对背景部分的区域执行掩蔽处理(设置)，并且对于掩蔽区域不进行发送。替选地，(如上所述)显示控制单元108可以使通信单元120将指示掩蔽的目标区域的掩蔽数据连同运动图像和深度图一起发送到再现装置30。

-(d)拍摄时的三维信息与再现时的三维信息之间的比较结果

替选地，可以基于拍摄要再现的运动图像时的三维信息与再现运动图像时的三维信息之间的比较结果来设置与前景部分对应的空间。

例如，首先，服务器10的控制单元100例如使用诸如特征点基础或者迭代最近点(ICP)的算法来计算用于将基于从再现装置30接收的对运动图像的获取请求中包括的深度图指定的点云和基于与要再现的运动图像相关联的深度图指定的点云进行叠加的变换矩阵。随后，控制单元100根据两个点云中的每一个生成背景体素。然后，控制单元100将所生成的两个背景体素的乘积设置为(最终)背景体素。然后，控制单元100例如将背景体素中包括的空间之外的空间设置为与前景部分对应的空间。

注意，在将运动图像和深度图发送到再现装置30时，控制单元100可以针对运动图像和深度图中的每个对除了前景部分(集合)之外的区域执行掩蔽处理，并且针对掩蔽区域不进行发送。替选地，(如上所述)显示控制单元108可以使通信单元120将指示掩蔽的目标区域的掩蔽数据连同运动图像和深度图一起发送到再现装置30。

(2-2-4-4.颜色转换)

-色温的调整

注意，在照明条件等在拍摄与再现之间差别很大的情况下(例如，在白天再现夜间拍摄的图像等的情况下)，如果要再现的运动图像在再现时的环境中原样显示，则色调差异很大，使得观看者/收听者会不自然地感知运动图像。因此，确定单元106可以基于由再现装置30的相机拍摄的图像来执行对要再现的运动图像的背景部分的掩蔽处理，或者对要再现的运动图像执行颜色转换。

此处，参照图12，将描述上述处理的流程。如图12所示，例如，首先，服务器10的控制单元100基于要再现的运动图像来计算照度和白平衡(S101)。接下来，控制单元100基于由再现装置30拍摄的图像来计算照度和白平衡(S103)。然后，控制单元100将两个计算结果进行比较(S105)。

在比较结果超过预定范围(S107：否)的情况下，控制单元100使再现装置30(显示单元326)显示警告消息(S109)。此后，在接受显示被输入(S111：是)的情况下，控制单元100执行对要再现的运动图像和与运动图像相关联的深度图的背景部分的掩蔽处理(S113)。然后，再现装置30(的显示单元326)显示与掩蔽后的运动图像和掩蔽后的深度图对应的视频。此后，处理结束。

另一方面，在不接受显示被输入(S111：否)的情况下，控制单元100确定停止显示要再现的运动图像(S115)。注意，作为修改例，代替S109至S115，服务器10的控制单元100可以重新选择另一运动图像作为要再现的运动图像，并且使再现装置30(的显示单元326)执行显示，以向观看者/收听者推荐所选择的运动图像的再现。

另一方面，在比较结果落入预定范围内(S107：是)的情况下，控制单元100基于由再现装置30的相机拍摄的图像对要再现的运动图像执行颜色转换。更具体地，首先，控制单元100计算基于要再现的运动图像计算的照度与基于再现装置30拍摄的图像计算的照度之间的差，以计算用于校正要再现的运动图像的矩阵A。随后，控制单元100计算基于要再现的运动图像计算的白平衡与基于再现装置30拍摄的图像计算的白平衡之间的差，以计算用于校正要再现的运动图像的矩阵B(S117)。

随后，控制单元100计算矩阵A与矩阵B的逆矩阵的乘积的特征值。然后，在特征值落入预定范围内的情况下，控制单元100针对要再现的运动图像中包括的每个像素计算矩阵A乘以矩阵B的逆矩阵的乘积，从而校正照度和白平衡(S119)。注意，在特征值超过预定范围的情况下，控制单元100可以确定不可能进行校正，并且执行对要再现的运动图像的背景部分的掩蔽处理。

-调整分辨率

此外，在再现装置30是非透射HMD的情况下，在由再现装置30的相机拍摄的图像的分辨率与对应的运动图像的分辨率不同的情况下，确定单元106可以执行将一个分辨率降低到另一个较低分辨率的处理。

(2-2-4-5.收费状态)

-视频的显示模式的改变

此外，确定单元106还可以基于指示观看者/收听者的收费状态的数据或者指示观看者/收听者的权限的数据来确定对应的运动图像的显示尺寸。此处，指示观看者/收听者的收费状态的数据或者指示观看者/收听者权限的数据可以被存储在用户DB 126中。此处，用户DB 126是存储与每个用户(拍摄者、观看者/收听者等)相关联的信息的数据库。

例如，当观看者/收听者支付的金额较大时，确定单元106增加运动图像之中的显示空间的范围。作为示例，在支付金额是“0日元”的情况下(在免费的情况下)，确定单元106将对应空间的范围设置为“1.0m×1.0m×1.0m”。此外，在支付金额是“100日元”的情况下，确定单元106将对应空间的范围设置为“1.5m×1.5m×1.5m”。此外，在支付金额为“200日元”的情况下，确定单元106将对应空间的范围设置为“2.0m×2.0m×2.0m”。此外，在支付金额大于“200日元”的情况下，确定单元106将对应空间的范围设置为所有拍摄空间。替选地，确定单元106可以根据观看者/收听者支付的金额来改变对应的运动图像中的显示空间的高度和深度的范围。

替选地，在支付金额为“0日元”的情况下(在免费的情况下)，确定单元106仅将视频发送到再现装置30，并且确定不将深度图发送到再现装置30。即，将二维视频显示在再现装置30(的显示单元326)上。此外，在支付金额大于“0日元”并且等于或小于预定金额的情况下，确定单元106将对应的运动图像的显示尺寸确定为“缩小的尺寸”。此外，在支付金额大于预定金额的情况下，确定单元106将对应的运动图像的显示尺寸确定为全尺寸。

替选地，在支付金额为“0日元”并且观看者/收听者指定全尺寸作为要再现的运动图像的显示尺寸的情况下，确定单元106可以确定预定广告对象被自动叠加并显示在对应的运动图像中。

替选地，确定单元106可以根据观看者/收听者支付的金额来改变对应的运动图像和/或与对应的运动图像相关联的深度图的压缩率。例如，在支付金额为“0日元”的情况下(在免费的情况下)，确定单元106(可以不改变深度图)可以减少部分颜色信息，例如降低对应的运动图像的分辨率。替选地，在这种情况下，例如，确定单元106可以减少深度图的数据量(分辨率等)的一部分，使得每个对象的形状是粗糙的。

-视频的处理可用性

此外，确定单元106可以根据观看者/收听者支付的金额来设置观看者/收听者对对应的运动图像的处理的可用性。例如，在支付金额等于或大于预定金额的情况下，确定单元106可以执行设置，使得观看者/收听者可以将预定虚拟对象(例如，广告的新颖性等)添加到对应的运动图像。注意，在添加虚拟对象之后，即使在由另一观看者/收听者再现对应的运动图像的情况下，也可以再现添加了虚拟对象的对应的运动图像。

此外，在支付金额等于或大于预定金额的情况下，确定单元106可以执行设置，使得观看者/收听者可以将感测到的三维信息(例如，点云等)添加到对应的运动图像。此处，该三维信息可以是与再现装置30或者布置在观看者/收听者周围的另一个三维传感器(深度传感器等)的感测结果对应的三维信息(点云等)。例如，三维信息可以是包括观看者/收听者身体的全部或一部分的空间的三维信息。

此外，在支付金额等于或大于预定金额的情况下，确定单元106可以使观看者/收听者能够将预定虚拟对象添加到对应的运动图像，并且还使对应虚拟对象的位置和姿势能够根据观看者/收听者使用的便携式装置的感测结果(例如，便携式装置的位置信息和姿势信息的感测结果等)而改变。注意，虚拟对象可以是例如“化学光”类型的对象等。根据这些控制示例，观看者/收听者可以在对应的运动图像上自由地反映观看者/收听者本身、便携式装置的运动等，然后，可以与其他观看者/收听者共享所反映的信息。

(2-2-4-6.显示模式)

此外，确定单元106可以基于预定标准来确定对应的运动图像的显示模式。例如，可以预先准备两种类型的显示模式，即空间固定模式和移动体固定模式。在这种情况下，确定单元106可以基于用户的指定将两种类型的显示模式中的任何一种确定为显示模式。替选地，确定单元106可以基于所确定的显示区域(例如，显示区域的尺寸等)自动地将两种类型的显示模式中的任何一种确定为显示模式。

此处，空间固定模式是连续显示整个拍摄空间的模式。图13是示出在设置空间固定模式时的视频的显示示例的说明图。在图13所示的示例中，在确定的显示区域440b中，连续显示与整个滑冰链接的运动图像对应的视频446。

此外，移动体固定模式是连续显示拍摄空间内的特定移动对象(例如，人、面部、车辆、机器人等)的模式。例如，在移动体固定模式中，在要再现的运动图像中跟踪用户指定的移动对象，使得可以在确定的显示区域中连续显示移动体。作为示例，可以针对每个轴方向上的值和旋转角度的范围来设置诸如最大值和最小值的约束。然后，在基于针对用户预先设置的信息而被指定超出限制的帧中，可以剪裁帧的一部分区域，可以重复移动体的运动，或者可以折叠和显示移动体的位置。

图14是示出在设置移动体固定模式时的视频的显示示例的说明图。在图14所示的示例中，例如，拍摄了(整个或部分)滑冰链接的运动图像中的滑冰运动员被设置为运动对象，并且包括运动图像中的滑冰运动员的图像区域的视频448被连续显示在所确定的显示区域440c中。

(2-2-4-7.再现开始时刻)

此外，确定单元106还可以基于预定标准来确定当开始由再现装置30再现的运动图像的显示时的再现开始时刻。例如，确定单元106基于再现装置30的感测结果(例如，拍摄的图像等)来确定再现开始时刻。作为示例，在对应的运动图像包括折纸讲座的视频并且再现装置30的相机拍摄了观看者/收听者的手向前移动的图像的情况下，显示控制单元108可以将运动图像中的讲座的开始时刻确定为再现开始时刻。

{2-2-5.显示控制单元108}

(2-2-5-1.运动图像站点的显示)

显示控制单元108控制关于再现装置30的各种类型的信息的显示。例如，显示控制单元108可以使再现装置30基于从再现装置30接收的对运动图像的获取请求来显示示出与获取请求对应的运动图像的列表的画面。作为示例，显示控制单元108使用所接收的获取请求中包括的位置信息、关键字等作为搜索关键字在运动图像DB 124中执行搜索，然后，使再现装置30显示示出搜索到的运动图像的列表(例如，每个运动图像的标题、缩略图、记录时的位置信息等)的画面。

(2-2-5-2.视频再现)

此外，显示控制单元108基于与由确定单元确定的视频的显示相关的设置，使再现装置30显示与要再现的运动图像和与运动图像相关联的深度图对应的视频。例如，显示控制单元108首先生成用于在由确定单元106确定的视频的显示区域中并以所确定的显示尺寸显示视频的控制信息。然后，显示控制单元108使通信单元120将要再现的运动图像、与运动图像相关联的深度图以及控制信息发送到再现装置30。

(2-2-5-3.再现速度和比例的调整)

此外，显示控制单元108可以基于指示再现时的状况的数据来改变对应的视频的再现速度和再现位置。例如，在手部图像被包括在对应的运动图像中的情况下，显示控制单元108可以改变对应的视频的比例(显示放大率)，使得基于由再现装置30的相机拍摄的图像而识别的观看者/收听者的手的尺寸与运动图像中的手的图像的尺寸相匹配。因此，观看者/收听者可以更容易地理解对应的视频中的手的运动。

此外，显示控制单元108可以基于根据手的图像而识别的手的骨骼与基于由再现装置30拍摄的图像而识别的观看者/收听者的手的骨骼之间的比较来顺序地改变视频的再现速度，使得观看者/收听者的手部运动的识别结果与对应的视频中的手部运动尽可能地匹配。因此，例如，在再现其中使用手来执行一系列工作的场景的运动图像时，每当观看者/收听者执行一件工作时，可以顺序显示指示一系列工作中的下一工作的内容的视频。

此外，例如，在对应的视频包括用户对诸如折纸的预定对象进行操作的视频的情况下，显示控制单元108可以改变对应的视频的比例，使得基于由再现装置30的相机拍摄的图像而识别的位于观看者/收听者的手上的对象(例如，握在手中的对象等)与对应的视频中的预定对象具有相同的尺寸。因此，观看者/收听者可以更容易地理解对预定对象的操作的情况。

(2-2-5-4.引导显示)

注意，作为修改例，例如，在再现装置30的位置和姿势在很大程度上偏离在拍摄要再现的运动图像时记录装置20的位置和姿势的情况下，例如，显示控制单元108可以在视频上叠加引导显示(例如，箭头的图标等)或者指示使视频看起来更适当的位置或方向的警告，并且使再现装置30显示叠加的视频。此处，引导显示可以是下述显示，该显示用于引导观看者/收听者，使得再现装置30的位置和姿势接近于在拍摄运动图像时记录装置20的位置和姿势。

(2-2-5-5.广告和评论的显示)

此外，例如，显示控制单元108可以使诸如广告、评论、字幕等的虚拟对象叠加在对应的视频上并且显示在再现装置30上。例如，广告可以被预先登记在与真实空间中的表面(墙壁、道路等)、空中、在真实空间中设置的预定标记等相关联的预定数据库(未示出)中。在这种情况下，例如，显示控制单元108可以从数据库中提取与从再现装置30接收的位置信息和姿势信息对应的广告，然后，将所提取的广告叠加在对应的视频上，并且使再现装置30(的显示单元326)显示叠加的视频。此外，服务器10(的控制单元100)可以确定与和观看者/收听者面向的方向或观看者/收听者的视线方向的检测结果对应的空间相关联的广告已被观看，以计算每个广告的命中率、命中数等。因此，广告公司可以向对应的运动图像的拍摄者或发布者支付与所计算的命中率或命中数对应的广告费。

注意，作为修改例，在用户基于例如手势、声音命令等来选择在再现装置30的显示单元326上显示的任何广告的情况下，显示控制单元108可以使再现装置30显示WEB站点(例如，EC站点等)的WEB页面。因此，观看者/收听者可以购买与广告相关的商品和服务。

此外，由观看者/收听者发布(说出)的评论可以与发布时观看者/收听者的位置信息或者发布时观看者/收听者的视线前方的空间(或对象)相关联，并且被登记在预定数据库(未示出)中。在这种情况下，例如，显示控制单元108可以指定与观看者/收听者面向的方向或观看者/收听者的视线方向相关联的评论，然后将所指定的评论叠加在对应的视频上，并且使再现装置30显示所叠加的视频。

{2-2-6.通信单元120}

通信单元120可以包括例如如稍后描述的通信装置162。通信单元120与其他装置发送和接收信息。例如，通信单元120从记录装置20接收运动图像、深度图和元信息。此外，通信单元120从再现装置30接收对运动图像的获取请求。此外，通信单元120在显示控制单元108的控制下将运动图像、深度图和控制信息发送到再现装置30。

{2-2-7.存储单元122}

存储单元122可以包括例如如稍后描述的存储装置160。存储单元122存储各种类型的数据和各种类型的软件。例如，如图3所示，存储单元122存储运动图像DB 124和用户DB126。

注意，根据本实施方式的服务器10的配置不限于上述示例。例如，运动图像DB 124和用户DB 126中的一个或更多个可以被存储在连接到通信网络32的另一个装置(未示出)中，而不是被存储在存储单元122中。

<2-3.处理流程>

上面已经描述了本实施方式的配置。接下来，将参照图15和图16描述根据本实施方式的处理流程的示例。注意，此处将描述在如下场景中的处理流程的示例，其中，使用再现装置30的用户希望观看登记在服务器10中的运动图像。

如图15所示，首先，再现装置30的位置信息获取单元302基于由位置信息接收单元322接收的信息来获取当前位置信息。此外，检测结果获取单元304基于传感器单元324的感测结果来获取再现装置30的姿势信息(S201)。

随后，检测结果获取单元304获取由传感器单元324感测到的深度图(S203)。

此后，例如，当识别出来自用户的指令时，运动图像获取单元308生成包括S201中获取的位置信息和姿势信息以及S203中获取的深度图的对运动图像的获取请求。然后，在运动图像获取单元308的控制下，通信单元320将获取请求发送到服务器10(S205)。

此后，服务器10的选择单元104基于在S205中接收的获取请求中包括的位置信息和姿势信息，从运动图像DB 124中搜索要再现的运动图像(S207)。然后，通信单元120在选择单元104的控制下将搜索结果列表发送到再现装置30(S209)。

此后，再现装置30的显示单元326在显示控制单元310的控制下显示所接收的搜索结果的列表。例如，对于列表中包括的每个运动图像，显示单元326显示诸如与记录运动图像时的位置信息相关联的运动图像的标题和缩略图的信息(S211)。

然后，当观看者/收听者从S211中显示的列表中选择任何运动图像(S213)时，通信单元320在控制单元300的控制下将所选择的运动图像的标识信息发送到服务器10(S215)。

此后，服务器10的选择单元104将与所接收的标识信息对应的运动图像确定为要再现的运动图像(S217)。

此处，参照图16，将描述S217之后的处理流程。如图16所示，服务器10的确定单元106基于在S205中接收的获取请求中包括的深度图以及在S217中确定的要再现的运动图像来确定运动图像的显示区域的多个候选(S221)。然后，通信单元120在确定单元106的控制下将显示区域的所有确定的候选发送到再现装置30(S223)。

此后，再现装置30的显示单元326在显示控制单元310的控制下显示所有接收到的显示区域的候选(S225)。

然后，当识别出观看者/收听者已经选择了所有显示的候选中的任一个(S227)时，通信单元320在控制单元300的控制下将所选择的候选的标识信息发送到服务器10(S229)。

此后，服务器10的确定单元106将与所接收的标识信息对应的候选确定为对应的视频的显示区域(S231)。随后，确定单元106根据所确定的显示区域确定对应的视频的显示尺寸(S233)。

随后，显示控制单元108生成用于在S231中确定的显示区域中显示具有在S233中确定的显示尺寸的对应视频的控制信息。然后，通信单元120将运动图像、与运动图像相关联的深度图以及所生成的控制信息发送到再现装置30(S235)。

此后，再现装置30的显示控制单元310基于所接收的控制信息根据所接收的运动图像和深度图生成视频，然后，使显示单元326显示对应的视频(S237)。

<2-4.效果>

{2-4-1.效果1}

如上所述，根据本实施方式，当由再现装置30显示与由记录装置20感测到的深度图对应的视频时，服务器10基于再现装置30所在的空间中的感测结果来确定与视频的显示相关的设置。因此，例如，服务器10可以使再现装置30显示针对再现装置30所在的空间优化的视频。

{2-4-2.效果2}

此外，根据本实施方式，观看者/收听者可以自由地选择是将在服务器10中登记的运动图像作为普通2D运动图像来观看，将运动图像作为AR来体验，还是将运动图像作为VR来体验。

{2-4-3.效果3}

此外，根据本实施方式，观看者/收听者可以选择是在拍摄了运动图像的地方重新体验拍摄时的情况，还是在与拍摄地点不同的地方观看运动图像。此外，在观看者/收听者选择了重新体验的情况下，服务器10可以根据观看者/收听者的操作实时地改变对应的视频的再现速度和比例。因此，例如，观看者/收听者可以更直接且更详细地观看视频中包括的运动图像。

{2-4-4.效果4}

此外，根据本实施方式，可以通过与常规的二维运动图像拍摄类似的操作过程来记录和再现三维视频。此外，例如，不需要诸如点云登记的特殊环境。

<2-5.应用示例>

接下来，将在“2-5-1.应用示例1”和“2-5-2.应用示例2”中描述本实施方式的应用示例。

{2-5-1.应用示例1}

首先，将描述本实施方式的应用示例1。该应用示例1是观看者/收听者(用户A)观看在同一地点的街道上进行的滑冰状态下拍摄的运动图像的场景的应用示例。

首先，例如，假设用户A浏览由服务器10管理的运动图像站点，在运动图像站点上找到运动图像，然后，期望观看该运动图像。然后，用户A希望以更高的真实感来观看运动图像，前往拍摄运动图像的地方，然后，佩戴再现装置30(其为透射式可穿戴装置)，并且给出再现该运动图像的指令。

在这种情况下，再现装置30的位置信息获取单元302获取当前位置信息。然后，通信单元320在显示控制单元310的控制下将对包括位置信息的运动图像的获取请求发送到服务器10。

此后，服务器10的选择单元104选择与所接收的获取请求对应的运动图像作为要再现的运动图像。随后，显示控制单元108执行从由再现装置30的相机拍摄的图像指定的特征点与从要再现的运动图像指定的特征点之间的匹配，然后，指定适当地再现对应的运动图像的推荐再现点。然后，显示控制单元108使再现装置30的显示单元326显示指示指定的推荐再现点的位置的标记。注意，在该示例中，假设存在与对应的运动图像同时拍摄的一个或更多个其他运动图像。

此处，推荐再现点可以是这样的空间，在该空间中，指示对应的运动图像以何种程度被适当显示(在再现装置30所处的空间中)的评估值等于或大于特定值。注意，评估值的计算方法可以类似于由选择单元104执行流的切换决定时的计算方法(在章节2-2中描述过)。

此后，用户A希望在可以俯瞰楼梯的推荐再现点观看运动图像，然后移动到推荐再现点。在这种情况下，服务器10的显示控制单元108使再现装置30的显示单元326显示指示当再现运动图像时推荐的再现装置30的取向的引导显示。然后，当用户A根据引导显示来改变姿势时，显示控制单元108基于所接收的再现装置30的姿势变化的检测结果来执行运动图像的校准，之后，使再现装置30显示与运动图像以及与运动图像相关联的深度图对应的视频。

此后，例如，当显示背景部分的视频时，用户A感到难以观看，因为背景部分的视频与真实风景交叠，并且用户A通过声音命令来指定不显示背景部分。在这种情况下，服务器10的显示控制单元108在基于由再现装置30的相机拍摄的图像和由再现装置30感测到的深度图的对象识别的结果的基础上，使再现装置30仅在再现装置30上显示前景部分(即，滑冰的选手)的区域的视频。

然后，当用户A在视频的再现期间移动时，服务器10的选择单元104基于移动后的再现装置30的位置信息选择另一个更合适的运动图像，然后，将已再现的运动图像切换为另一个运动图像。此外，当用户A在执行诸如暂停和步骤再现的操作的同时移动时，用户A可以详细检查滑冰的选手的形态等。

注意，在以上描述中，描述了用户A仅一个人观看运动图像的示例。然而，本发明不限于该示例。例如，也可以是两个或更多个用户在相同位置同时一起观看运动图像。

{2-5-2.应用示例2}

接下来，将描述本实施方式的应用示例2。该应用示例2是用户(用户A)拍摄自己的舞蹈的运动图像然后将该运动图像上传到服务器10的场景的应用示例。

首先，用户A将智能手机(记录装置20a)的相机面向用户A的方向固定在预定房间中。然后，记录装置20a拍摄用户A的视频。此外，位于房间内的另一个用户(用户B)用比记录装置20a更靠近用户A的携带的记录装置20b拍摄用户A。注意，假设记录装置20b被设置为与记录装置20a同步地拍摄视频。此外，用户A将观看由记录装置20a拍摄的运动图像设置为免费，并且将观看由记录装置20b拍摄的运动图像设置为要付费。

此外，关于由记录装置20a和记录装置20b拍摄的运动图像，用户A将用户A在其上跳舞的地板上的仅1m×2m设置为前景空间，并且将前景空间之外的空间的视频设置为不发布。

此后，另一个用户C在服务器10管理的运动图像站点上找到由记录装置20a拍摄的运动图像，希望免费查看运动图像，然后将自己房间的桌面上指定为运动图像的显示区域。在这种情况下，服务器10的确定单元106基于用户C的指定，将用户C的房间的桌面上确定为运动图像的显示区域，然后，将运动图像的显示尺寸确定为“缩小的尺寸”。随后，显示控制单元108使由用户C佩戴的再现装置30a在显示区域中并以所确定的显示尺寸仅显示从运动图像生成的前景部分和与运动图像相关联的深度图的视频。

此外，显示控制单元108使再现装置30a进一步显示同时观看对应的视频的其他观看者/收听者的头像。因此，可以改善真实感。此外，显示控制单元108可以使再现装置30a(的显示单元326)在每次诸如声音、评论等的信息被从其他观看者/收听者发布时进一步显示所发布的信息。

此外，另一个用户D在运动图像站点中发现由记录装置20a拍摄的视频，希望观看运动图像，然后，指定将用户D自己房间的地板(面积大于1m×2m)作为显示区域。此外，用户D希望以全尺寸再现运动图像并且支付预定金额。

在这种情况下，服务器10的确定单元106基于在用户D的房间中感测到的深度图来确定可以全尺寸显示运动图像的显示区域的多个候选，然后，使佩戴在用户D的头上的再现装置30b(的显示单元326)显示该显示区域的多个候选。此后，当检测到用户D已经移动到显示区域的多个候选之中的任何位置时，服务器10的确定单元106将与该位置对应的候选确定为对应的运动图像的显示区域。然后，显示控制单元108使再现装置30b(的显示单元326)在所确定的显示区域中以全尺寸显示与对应的运动图像以及与运动图像相关联的深度图对应的视频。因此，用户D可以以更高的真实感来观看视频。

<<3.硬件配置>>

上面已经描述了该实施方式的应用示例。接下来，将参照图17描述根据本实施方式的服务器10的硬件配置。如图17所示，服务器10包括CPU 150、只读存储器(ROM)152、RAM154、总线156、接口158、存储装置160和通信装置162。

CPU 150充当操作处理装置和控制装置，并且根据各种程序来控制服务器10中的整体操作。此外，CPU 150实现服务器10中的控制单元100的功能。注意，CPU 150包括诸如微处理器的处理器。

ROM 152存储控制数据，例如由CPU 150使用的程序或操作参数等。

RAM 154临时存储例如由CPU 150执行的程序、正在使用的数据等。

总线156包括CPU总线等。总线156将CPU 150、ROM 152和RAM154相互连接。

接口158将存储装置160和通信装置162连接到总线156。

存储装置160是用于存储数据的装置，存储装置160充当存储单元122。存储装置160包括例如存储介质、在存储介质中记录数据的记录装置、从存储介质读取数据的读取装置、删除存储介质中记录的数据的删除装置等。

通信装置162是包括例如用于连接到通信网络32等的通信装置(例如，网卡等)等的通信接口。此外，通信装置162可以是无线LAN兼容通信装置、长期演进(LTE)兼容通信装置或者执行有线通信的有线通信装置。通信装置162充当通信单元120。

<<4.修改例>>

虽然已经参照附图详细描述了本公开内容的优选实施方式，但是本公开内容不限于这些示例。显然，具有本公开内容所属的技术领域中的普通知识的人员可以在权利要求书中描述的技术构思的范围内构想出各种变化和修改，当然，可以理解，这些变化和修改属于本公开内容的技术范围。

<4-1.修改例1>

例如，在运动图像DB 124中登记了同步拍摄的多个运动图像的情况下，服务器10(的选择单元104)可以共同选择多个运动图像作为要再现的运动图像，并且显示控制单元108可以使再现装置30(的显示单元326)同时显示多个运动图像。替选地，显示控制单元108可以使再现装置30显示基于多个对应的运动图像生成的三维信息(例如，深度数据、点云、网格等)(而不是多个运动图像)。根据该变形例，例如，即使再现装置30的位置和姿势与拍摄运动图像时记录装置20的位置和姿势大大偏离，也可以减轻对图画的破坏。

<4-2.修改例2>

此外，服务器10(的显示控制单元108)可以基于例如用户指令针对被选择为要再现的运动图像的(单个)运动图像设置多个再现开始时间。然后，显示控制单元108可以使再现装置30的显示单元326关于多个再现开始时间中的每一个，在该再现开始时间处在不同显示区域中同时显示运动图像。也就是说，可以同时再现多个再现开始时间的数量的单个运动图像。因此，观看者/收听者可以详细检查运动图像中的运动中的变化等，特别是在检查运动员的形态的场景、检查监视摄像机拍摄的运动图像的场景等中。

<4-3.修改例3>

此外，在上述实施方式中，已经描述了服务器10选择要再现的运动图像或者确定运动图像的显示区域的示例，但是本发明不限于这样的示例。例如，再现装置30可以选择要再现的运动图像，或者可以确定运动图像的显示区域。也就是说，上述选择单元104、确定单元106和显示控制单元108的全部或部分功能可以被包括在再现装置30中而不是服务器10中。此外，在这种情况下，根据本公开内容的信息处理设备可以是再现装置30。

作为示例，再现装置30首先从服务器10接收在距由位置信息获取单元302获取的位置信息预定范围内拍摄的运动图像的列表。然后，例如，在检测到再现装置30接近与运动图像列表中包括的每个运动图像相关联的位置信息的任何位置的情况下，再现装置30可以将与位置信息相关联的运动图像确定为要再现的运动图像。此外，再现装置30可以基于由传感器单元324感测到的深度图来识别例如再现装置30所在的真实空间中的平面、特征点等，以确定要再现的运动图像的显示区域以及运动图像的显示尺寸。然后，再现装置30可以使显示单元326在所确定的显示区域中并以所确定的显示尺寸显示与运动图像以及与运动图像相关联的深度图对应的视频。

<4-4.修改例4>

此外，根据上述实施方式的信息处理***的配置不限于图1中所示的示例。例如，尽管图1中仅示出了一个服务器10，但是实施方式不限于该示例，并且多个计算机可以协同操作以实现根据本实施方式的服务器10的功能。

此外，在上述实施方式中，描述了根据本公开内容的信息处理设备是服务器10的示例，但是本发明不限于这样的示例。例如，信息处理设备可以是通用个人计算机(PC)、平板终端、游戏机、诸如智能手机的移动电话、便携式音乐播放器、机器人等。

<4-5.修改例5>

此外，上述实施方式的处理流程中的每个步骤可以不必按所描述的顺序处理。例如，可以以适当改变的顺序处理每个步骤。此外，可以部分并行地或单独地处理每个步骤而不是按时间顺序处理。此外，可以省略所描述的一些步骤，或者可以添加附加步骤。

此外，根据上述实施方式，还可以提供用于使诸如CPU 150、ROM152、RAM 154等的硬件展现与根据上述实施方式的服务器10的每个配置相同的功能的计算机程序。此外，还提供了记录有计算机程序的记录介质。

此外，本说明书中描述的效果仅是说明性或示例性的，而不是限制性的。也就是说，连同上述效果或者代替上述效果，根据本公开内容的技术可以根据本说明书的描述展现对于本领域技术人员而言明显的其他效果。

注意，以下配置也在本公开内容的技术范围内。

(1)一种信息处理设备，包括：

确定单元，当在第二真实空间中显示与在第一真实空间中感测到的第一三维信息对应的视频时，所述确定单元基于所述第二真实空间中的感测结果来确定与所述视频的显示相关的设置。

(2)根据上述(1)所述的信息处理设备，其中，根据与所述第一三维信息的感测相关联的在所述第一真实空间中拍摄的运动图像和所述第一三维信息来生成所述视频。

(3)根据上述(2)所述的信息处理设备，

其中，与所述视频的显示相关的设置包括与显示区域相关的设置，在所述显示区域中所述视频被显示在所述第二真实空间中，

所述确定单元基于所述第二真实空间中的感测结果来确定所述视频的显示区域，并且

所述第二真实空间中的显示单元与所述视频的显示区域相关联地显示所述视频。

(4)根据上述(3)所述的信息处理设备，其中，所述第二真实空间中的感测结果包括在所述第二真实空间中感测到的第二三维信息。

(5)根据上述(4)所述的信息处理设备，其中，所述确定单元基于所述第二真实空间中的平面的感测结果以及所述第二真实空间中的竖直方向上的感测结果来确定所述视频的显示区域。

(6)根据上述(3)至(5)中任一项所述的信息处理设备，

其中，所述确定单元基于所述第二真实空间中的感测结果来确定所述视频的显示区域在所述第二真实空间中的多个候选，

所述信息处理设备还包括显示控制单元，所述显示控制单元使所述显示单元显示所述视频的显示区域的所述多个候选，并且

所述确定单元将所述视频的显示区域的所述多个候选之中的确定被所述第二真实空间中的用户选择的候选确定为所述视频的显示区域。

(7)根据上述(3)至(6)中任一项所述的信息处理设备，其中，当在所述第二真实空间中显示与在所述第一真实空间中感测到的多个三维信息片段对应的多个视频时，所述确定单元还确定所述多个视频中的每个的显示区域，使得所述多个视频中的每个以预定位置关系来显示。

(8)根据上述(3)至(7)中任一项所述的信息处理设备，其中，与所述视频的显示相关的设置还包括与所述视频的显示尺寸相关的设置。

(9)根据上述(8)所述的信息处理设备，其中，所述确定单元根据所述视频的显示区域的尺寸来确定所述视频的显示尺寸。

(10)根据上述(9)所述的信息处理设备，其中，与所述视频的显示相关的设置还包括与所述视频的再现速度或再现开始时刻相关的设置。

(11)根据上述(9)或(10)所述的信息处理设备，

其中，与所述视频的显示相关的设置还包括与所述视频的显示模式相关的设置，并且

所述确定单元基于所述第二真实空间中的感测结果将第一显示模式和第二显示模式中的任何显示模式确定为所述视频的显示模式，在所述第一显示模式中连续显示以所述第一真实空间中的预定空间为基准的视频，在所述第二显示模式中连续显示以所述第一真实空间中的预定移动体为基准的视频。

(12)根据上述(9)至(11)中任一项所述的信息处理设备，还包括显示控制单元，所述显示控制单元使所述显示单元与所述视频的显示区域相关联地显示所述视频。

(13)根据上述(12)所述的信息处理设备，其中，所述显示控制单元使所述显示单元在由所述确定单元确定的所述视频的显示区域中以由所述确定单元确定的显示尺寸显示所述视频。

(14)根据上述(13)所述的信息处理设备，其中，所述视频是与所述第一真实空间中的预定空间对应的视频，所述预定空间包括基于所述第一三维信息或所述运动图像识别的预定对象。

(15)根据上述(13)所述的信息处理设备，其中，所述视频是与所述第一真实空间中的由用户指定的预定空间对应的视频。

(16)根据上述(13)至(15)中任一项所述的信息处理设备，

其中，所述第二真实空间中的感测结果包括在所述第二真实空间中拍摄的图像，并且

基于从所述运动图像指定的色温与从所述捕获图像指定的色温之间的比较来校正所述运动图像的颜色信息，并且根据所校正的运动图像来生成所述视频。

(17)根据上述(2)至(16)中任一项所述的信息处理设备，

其中，所述第二真实空间中的感测结果包括所述第二真实空间的位置信息的感测结果，并且

还根据所述第一真实空间与所述第二真实空间之间的位置关系生成所述视频。

(18)根据上述(17)所述的信息处理设备，其中，所述第一真实空间是位于距所述第二真实空间预定阈值内的空间。

(19)一种信息处理方法，包括：当在第二真实空间中显示与在第一真实空间中感测到的第一三维信息对应的视频时，由处理器基于所述第二真实空间中的感测结果来确定与所述视频的显示相关的设置。

(20)一种用于使计算机充当确定单元的程序，当在第二真实空间中显示与在第一真实空间中感测到的第一三维信息对应的视频时，所述确定单元基于所述第二真实空间中的感测结果来确定与所述视频的显示相关的设置。

附图标记列表

10 服务器

20 记录装置

30 再现装置

32 通信网络

100、300 控制单元

102 登记单元

104 选择单元

106 确定单元

108、310 显示控制单元

120、320 通信单元

122、328 存储单元

124 运动图像DB

126 用户DB

302 位置信息获取单元

304 检测结果获取单元

306 识别单元

308 运动图像获取单元

322 位置信息接收单元

324 传感器单元

326 显示单元

Claims (18)

1.一种信息处理设备，包括：

确定单元，当在第二真实空间中显示与在第一真实空间中感测到的第一三维信息对应的视频时，所述确定单元基于所述第二真实空间中的感测结果来确定与所述视频的显示相关的设置，

其中，与所述视频的显示相关的设置包括与在所述第二真实空间中所述视频的显示区域的尺寸相关的设置，

其中，所述第二真实空间中的所述感测结果包括在所述第二真实空间中感测到的第二三维信息，所述第二三维信息包括所述第二真实空间的一部分的三维信息；以及

其中，所述确定单元基于所述第二真实空间中的平面的感测结果以及所述第二真实空间中的竖直方向上的感测结果来确定所述视频的所述显示区域。

2.根据权利要求1所述的信息处理设备，其中，根据与所述第一三维信息的感测相关联的在所述第一真实空间中拍摄的运动图像和所述第一三维信息来生成所述视频。

3.根据权利要求2所述的信息处理设备，

其中，与所述视频的显示相关的所述设置包括与所述显示区域相关的设置，在所述显示区域中所述视频被显示在所述第二真实空间中，

所述确定单元基于所述第二真实空间中的所述感测结果来确定所述视频的所述显示区域，并且

所述第二真实空间中的显示单元与所述视频的所述显示区域相关联地显示所述视频。

4.根据权利要求3所述的信息处理设备，

其中，所述确定单元基于所述第二真实空间中的所述感测结果来确定所述视频的所述显示区域在所述第二真实空间中的多个候选，

所述信息处理设备还包括显示控制单元，所述显示控制单元使所述显示单元显示所述视频的所述显示区域的所述多个候选，并且

所述确定单元将所述视频的所述显示区域的所述多个候选之中的确定被所述第二真实空间中的用户选择的候选确定为所述视频的所述显示区域。

5.根据权利要求3所述的信息处理设备，其中，当在所述第二真实空间中显示与在所述第一真实空间中感测到的多个三维信息片段对应的多个视频时，所述确定单元还确定所述多个视频中的每个的所述显示区域，使得所述多个视频中的每个以预定位置关系来显示。

6.根据权利要求3所述的信息处理设备，其中，与所述视频的所述显示相关的设置还包括与所述视频的显示尺寸相关的设置。

7.根据权利要求6所述的信息处理设备，其中，所述确定单元根据所述视频的所述显示区域的所述尺寸来确定所述视频的所述显示尺寸。

8.根据权利要求7所述的信息处理设备，其中，与所述视频的所述显示相关的设置还包括与所述视频的再现速度或再现开始时刻相关的设置。

9.根据权利要求7所述的信息处理设备，

其中，与所述视频的所述显示相关的设置还包括与所述视频的显示模式相关的设置，并且

所述确定单元基于所述第二真实空间中的所述感测结果将第一显示模式和第二显示模式中的任何显示模式确定为所述视频的显示模式，在所述第一显示模式中连续显示以所述第一真实空间中的预定空间为基准的视频，在所述第二显示模式中连续显示以所述第一真实空间中的预定移动体为基准的视频。

10.根据权利要求7所述的信息处理设备，还包括显示控制单元，所述显示控制单元使所述显示单元与所述视频的所述显示区域相关联地显示所述视频。

11.根据权利要求10所述的信息处理设备，其中，所述显示控制单元使所述显示单元在由所述确定单元确定的所述视频的显示区域中以由所述确定单元确定的所述显示尺寸显示所述视频。

12.根据权利要求11所述的信息处理设备，其中，所述视频是与所述第一真实空间中的预定空间对应的视频，所述预定空间包括基于所述第一三维信息或所述运动图像识别的预定对象。

13.根据权利要求11所述的信息处理设备，其中，所述视频是与所述第一真实空间中的由用户指定的预定空间对应的视频。

14.根据权利要求11所述的信息处理设备，

其中，所述第二真实空间中的所述感测结果还包括在所述第二真实空间中拍摄的图像，并且

基于从所述运动图像指定的色温与从所述拍摄的图像指定的色温之间的比较来校正所述运动图像的颜色信息，并且根据所校正的运动图像来生成所述视频。

15.根据权利要求2所述的信息处理设备，

其中，所述第二真实空间中的所述感测结果还包括所述第二真实空间的位置信息的感测结果，并且

还根据所述第一真实空间与所述第二真实空间之间的位置关系生成所述视频。

16.根据权利要求15所述的信息处理设备，其中，所述第一真实空间是位于距所述第二真实空间预定阈值内的空间。

17.一种信息处理方法，包括：当在第二真实空间中显示与在第一真实空间中感测到的第一三维信息对应的视频时，由处理器基于所述第二真实空间中的感测结果来确定与所述视频的显示相关的设置，

其中，与所述视频的显示相关的设置包括与在所述第二真实空间中所述视频的显示区域的尺寸相关的设置，

其中，所述第二真实空间中的所述感测结果包括在所述第二真实空间中感测到的第二三维信息，所述第二三维信息包括所述第二真实空间的一部分的三维信息；以及

其中，由所述处理器基于所述第二真实空间中的平面的感测结果以及所述第二真实空间中的竖直方向上的感测结果来确定所述视频的所述显示区域。

18.一种计算机可读存储介质，其上存储有计算机可执行程序，当所述计算机可执行程序被处理器执行时，使得所述处理器执行一种信息处理方法，包括：

当在第二真实空间中显示与在第一真实空间中感测到的第一三维信息对应的视频时，由处理器基于所述第二真实空间中的感测结果来确定与所述视频的显示相关的设置，

其中，与所述视频的显示相关的设置包括与在所述第二真实空间中所述视频的显示区域的尺寸相关的设置，

其中，所述第二真实空间中的所述感测结果包括在所述第二真实空间中感测到的第二三维信息，所述第二三维信息包括所述第二真实空间的一部分的三维信息；以及

其中，由所述处理器基于所述第二真实空间中的平面的感测结果以及所述第二真实空间中的竖直方向上的感测结果来确定所述视频的所述显示区域。