CN108062158A - 信息处理***和信息处理方法 - Google Patents

Abstract

信息处理***和信息处理方法。一种信息处理***包括属性信息获取单元和识别单元。属性信息获取单元根据关于被拍摄对象图像的存在于真实空间中的对象的信息来获取所述对象的属性。识别单元识别作为与属性信息获取单元所获取的属性关联的虚拟图像的图像，所述图像要与对象图像组合。

Description

信息处理***和信息处理方法

技术领域

本发明涉及信息处理***和信息处理方法。

背景技术

例如，日本未审查专利申请公布No.2002-169980公开了一种销售和提供***，其包括浏览/选择单元、验证单元和数据提供单元。浏览/选择单元允许通过网络来浏览和选择虚拟结构、用于构成虚拟结构的部分等。验证单元允许验证通过将虚拟结构与用于构成虚拟结构的部分等组合或合并而变化的虚拟结构的形式、性能、特征等。数据提供单元通过连接至网络的销售装置或另一终端来向用户提供关于虚拟结构、用于构成虚拟结构的部分等的电子数据。

迄今为止，在诸如通过向真实空间增加信息来增强真实世界的增强现实(AR)技术的情况下，真实空间信息和虚拟空间信息被组合在一起，或者真实空间信息被并入虚拟空间信息中。在这样的情况下，如果真实空间信息与虚拟空间信息高度相关，则处理结果可伴有身临其境之感。

发明内容

因此，本发明的目的在于当处理关于存在于真实空间中的对象的信息时，与不获取对象的属性的配置相比，使所述信息伴有身临其境之感。

根据本发明的第一方面，提供了一种信息处理***，其包括属性信息获取单元和识别单元。属性信息获取单元根据关于被拍摄对象图像的存在于真实空间中的对象的信息来获取所述对象的属性。识别单元识别作为与属性信息获取单元所获取的属性关联的虚拟图像的图像，所述图像要与对象图像组合。

根据本发明的第二方面，根据第一方面的信息处理***还包括显示器，该显示器显示通过将识别单元所识别的图像与对象图像组合在一起而生成的合成图像。

根据本发明的第三方面，根据第一或第二方面的信息处理***还包括存储器，该存储器存储对象存在于真实空间中的位置的属性与虚拟图像关联的关联性。识别单元识别在所述关联性中与属性信息获取单元所获取的属性关联的虚拟图像，作为要与对象图像组合的图像。

根据本发明的第四方面，提供了一种信息处理***，其包括识别单元、性能信息获取单元和并入单元。识别单元识别与存在于真实空间中的对象对应的虚拟图像。识别单元根据关于被拍摄对象图像的对象的信息来识别虚拟图像。性能信息获取单元获取指示对象的性能的性能信息。并入单元将所获取的性能信息以及与对象对应的虚拟图像彼此关联地并入虚拟空间中。

根据本发明的第五方面，提供了一种信息处理***，其包括识别单元、性能信息获取单元和并入单元。识别单元识别与存在于真实空间中的对象对应的虚拟图像。识别单元根据从对象发出的声音来识别虚拟图像。性能信息获取单元获取指示对象的性能的性能信息。并入单元将所获取的性能信息以及与对象对应的虚拟图像彼此关联地并入虚拟空间中。

根据本发明的第六方面，提供了一种信息处理***，其包括图像获取单元和位置识别单元。图像获取单元获取在真实空间中拍摄的图像。位置识别单元识别预定图像要与图像获取单元所获取的图像组合的位置。位置识别单元根据所述预定图像的属性来识别所述位置。

根据本发明的第七方面，提供了一种信息处理方法，其包括以下步骤：根据关于被拍摄对象图像的存在于真实空间中的对象的信息来获取对象的属性；以及识别作为与所获取的属性关联的虚拟图像的图像，所述图像要与所述对象图像组合。

根据本发明的第一和第七方面，在处理关于存在于真实空间中的对象的信息的情况下，与不获取对象的属性的配置相比，处理结果可伴有身临其境之感。

根据本发明的第二方面，在图像与对象图像组合的情况下，用户可验证组合的结果。

根据本发明的第三方面，在处理关于存在于真实空间中的对象的信息的情况下，与没有获取对象存在于真实空间中的位置的属性的配置相比，处理结果可伴有身临其境之感。

根据本发明的第四方面，在处理关于存在于真实空间中的对象的信息的情况下，与没有识别与对象对应的虚拟图像的配置相比，处理结果可伴有身临其境之感。

根据本发明的第五方面，在处理关于存在于真实空间中的对象的信息的情况下，与没有识别与对象对应的虚拟图像的配置相比，处理结果可伴有身临其境之感。

根据本发明的第六方面，在图像与在真实空间中拍摄的图像组合的情况下，与没有考虑组合的图像的属性的配置相比，处理结果可伴有身临其境之感。

附图说明

将基于以下附图来详细描述本发明的示例性实施方式，附图中：

图1是示出根据示例性实施方式的信息处理***的示例总体配置的示图；

图2是示出根据示例性实施方式的操作终端的示例硬件配置的示图；

图3是示出根据示例性实施方式1的操作终端的示例功能配置的框图；

图4是示出根据示例性实施方式1的虚拟图像数据库(DB)的示例的表；

图5是示出根据示例性实施方式1的操作终端所执行的处理步骤的示例的流程图；

图6A、图6B和图6C是用于说明根据示例性实施方式1的操作终端所执行的一系列步骤的示例的示图；

图7是示出根据示例性实施方式1的操作终端所执行的步骤的不同示例的流程图；

图8是示出根据示例性实施方式2的操作终端的示例功能配置的框图；

图9是示出根据示例性实施方式2的虚拟图像DB的示例的表；

图10是示出根据示例性实施方式2的操作终端所执行的处理步骤的示例的流程图；

图11A和图11B是用于说明根据示例性实施方式2的操作终端所执行的一系列步骤的示例的示图；

图12是示出根据示例性实施方式3的操作终端的示例功能配置的框图；

图13是示出根据示例性实施方式3的虚拟图像DB的示例的表；

图14是示出根据示例性实施方式3的操作终端所执行的处理步骤的示例的流程图；以及

图15A和图15B是用于说明根据示例性实施方式3的操作终端所执行的一系列步骤的示例的示图。

具体实施方式

***配置

以下，将参照附图详细描述本发明的示例性实施方式。

首先，将描述根据示例性实施方式的信息处理***1的总体配置。图1是示出根据各个示例性实施方式的信息处理***1的示例总体配置的示图。如图1所示，信息处理***1包括通过网络300彼此连接的操作终端100和管理服务器200。

操作终端100是具有所谓的AR功能的计算机。操作终端100的示例包括移动游戏机、移动信息终端(例如，智能电话或平板终端)和个人计算机(PC)。诸如可穿戴计算机眼镜的可穿戴计算机也可用作操作终端100。操作终端100根据用户操作运行诸如应用的各种程序，并且执行将虚拟空间信息增加到真实空间信息的处理、将真实空间信息并入虚拟空间中的处理以及其它处理。需要指出的是，真实空间是现实存在的空间，而虚拟空间现实不存在，而是可利用操作终端100虚拟地操作的空间。

管理服务器200是向操作终端100提供各种信息的计算机。管理服务器200的示例包括PC和工作站。管理服务器200向操作终端100提供要在例如虚拟空间中使用的各种数据。

网络300是用于操作终端100与管理服务器200之间的信息通信的通信介质，并且是例如互联网、公共网络或局域网(LAN)。

操作终端的硬件配置

将描述根据示例性实施方式的操作终端100的硬件配置。图2是示出根据示例性实施方式的操作终端100的示例硬件配置的示图。

如图2所示，操作终端100包括作为算术单元的中央处理单元(CPU)101、作为存储器的主存储器102以及磁盘装置103。CPU 101运行操作***(OS)以及诸如应用的各种程序，从而实现操作终端100的各种功能。主存储器102用作存储各种程序、用于运行程序的数据等的存储器区域。另外，磁盘装置103用作存储要输入至各种程序的数据、从各种程序输出的数据等的存储器区域。

操作终端100还包括：通信单元104，是用于与外部设备通信的接口；显示器105，包括视频存储器、显示器和其它组件，并显示画面；以及操作单元106，是可由用户操作的输入装置。操作单元106可以是任何输入装置，操作单元106的示例包括操作按钮、键盘和鼠标。显示器105和操作单元106可使用显示画面从而从用户接收操作的触摸面板等一体地形成。操作终端100还包括：成像单元107，例如拍摄被摄体的图像以获取静止图像或视频的图像数据的相机；以及声音检测单元108，例如检测操作终端100外部的声音的麦克风。

需要指出的是，图2仅举例说明了优选应用示例性实施方式的操作终端100的硬件配置，实现示例性实施方式的配置不限于图2所示的配置。

示例性实施方式1

操作终端的功能配置

将描述根据示例性实施方式1的操作终端100的功能配置。在示例性实施方式1中，操作终端100获取使用成像单元107通过用户操作在真实空间中拍摄的图像的数据图像(以下，基于图像数据并且在真实空间中拍摄的图像被称作真实数据图像)。操作终端100将所获取的真实数据图像分割成与对象对应的区域。另外，操作终端100识别各个区域的属性(即，各个对象的属性)。操作终端100基于与区域的属性关联的图像数据(以下，称作虚拟数据图像)将区域的真实数据图像与虚拟空间中的图像组合。

图3是示出根据示例性实施方式1的操作终端100的示例功能配置的框图。根据该示例性实施方式的操作终端100包括真实图像获取单元111、区域分割单元112、区域属性识别单元113、虚拟图像存储单元114、虚拟图像获取单元115和组合单元116。

真实图像获取单元111基于关于使用成像单元107在真实空间中拍摄的图像的图像数据来获取真实数据图像。

区域分割单元112基于从真实图像获取单元111所获取的真实数据图像提取的特征量来将真实数据图像分割成与对象对应的区域。现有的技术可用于区域分割。例如，使用现有的区域分割算法(例如，区域延伸方法或图割)。所使用的特征量的示例包括图像中的像素的像素值(例如，亮度或颜色信息)和图像的频率(空间频率)。

区域属性识别单元113识别区域分割单元112所分割的各个区域的属性。属性也可使用现有的技术来识别。

例如，区域属性识别单元113将区域分割单元112所分割的区域的特征量与各个属性预定的参考特征量进行比较。区域属性识别单元113将具有最接近区域的特征量的参考特征量的区域的属性识别为区域的属性。

另选地，例如，区域属性识别单元113可使用机器学习按照诸如提取具有该属性的图像的图案及其判定规则的方式来识别区域的属性。在这种情况下，例如，用户准备具有各个属性的多个图像作为学习用图像。区域属性识别单元113从所准备的各个学习用图像提取特征量，并且通过将所提取的特征量与图像的属性关联来进行学习。区域属性识别单元113如上所述进行学习，从而将具有与区域的特征量最接近的特征量的学习用图像的属性识别为区域的属性。

虚拟图像存储单元114中存储有指定与要在虚拟空间中使用的图像数据对应的虚拟数据图像的数据库(以下，称作虚拟图像DB)。虚拟图像DB是关联性的示例，各个虚拟数据图像与属性关联。属性表示对应虚拟数据图像所指示的对象存在于真实空间中的位置。更具体地讲，例如，鸟的虚拟数据图像与真实空间中存在鸟的天空的属性“天空”关联。另外，例如，鹿的虚拟数据图像与真实空间中存在鹿的山的属性“山”关联。

虚拟图像获取单元115从虚拟图像存储单元114获取虚拟数据图像作为要与真实数据图像组合的数据图像。虚拟图像获取单元115首先根据预定规则从区域分割单元112所分割的真实数据图像的区域(对象)当中选择一个或更多个区域。虚拟图像获取单元115从虚拟图像存储单元114获取与所选择的各个区域的属性关联的虚拟数据图像。

需要指出的是，预定规则的示例包括根据预先指派给属性的优先级或顺序选择一个或更多个区域以及随机地选择一个或更多个区域。

组合单元116将区域的真实数据图像与和该区域的属性所关联的虚拟数据图像组合。组合单元116执行控制以在显示器105上显示通过组合而获得的数据图像(以下，称作合成数据图像)。

在此示例性实施方式中，真实图像获取单元111用作图像获取单元的示例。区域属性识别单元113用作属性信息获取单元的示例。虚拟图像获取单元115用作识别单元的示例。组合单元116和显示器105各自用作显示器的示例。虚拟图像存储单元114用作存储器的示例。

需要指出的是，包括在图3所示的操作终端100中的功能单元在软件与硬件资源之间协作实现。具体地讲，为了使用图2所示的硬件配置来实现操作终端100，例如，存储在磁盘装置103中的OS和应用程序被载入主存储器102中并由CPU 101运行，从而实现诸如真实图像获取单元111、区域分割单元112、区域属性识别单元113、虚拟图像获取单元115和组合单元116的功能。虚拟图像存储单元114通过诸如磁盘装置103的存储器来实现。

虚拟图像DB

将描述虚拟图像DB。图4是示出根据示例性实施方式1的虚拟图像DB的示例的表。

作为“属性”，示出预先分别与虚拟数据图像关联的属性。图2示出鸟作为例如与属性“天空”关联的虚拟数据图像，鹿作为例如与属性“山”关联的虚拟数据图像。各个属性可与多个虚拟数据图像关联。图2中的示例示出鱼和鲸作为与属性“海”关联的虚拟数据图像。

操作终端所执行的处理步骤

将描述根据此示例性实施方式的操作终端100所执行的处理步骤。图5是示出根据示例性实施方式1的操作终端100所执行的处理步骤的示例的流程图。

首先，当用户操作操作终端100并使用成像单元107获取被摄体的图像时，真实图像获取单元111获取使用成像单元107拍摄的真实数据图像(步骤S101)。区域分割单元112基于从真实数据图像提取的特征量来将真实数据图像分割成区域(步骤S102)。区域属性识别单元113识别从区域分割单元112所执行的分割得到的各个区域(对象)的属性(步骤S103)。

虚拟图像获取单元115根据预定规则从真实数据图像的区域当中选择一个或更多个区域(步骤S104)。虚拟图像获取单元115从虚拟图像存储单元114获取分别与所选择的一个或更多个区域的一个或更多个属性关联的一个或更多个虚拟数据图像(步骤S105)。组合单元116将所选择的一个或更多个区域中的每一个的真实数据图像与虚拟图像获取单元115所获取的对应虚拟数据图像组合，从而生成合成数据图像(步骤S106)。组合单元116将合成数据图像显示在显示器105上(步骤S107)。然后处理终止。

更具体地讲，例如，在步骤S104中，虚拟图像获取单元115选择天空图像和山图像。在步骤S105中，虚拟图像获取单元115获取鸟的虚拟数据图像和鹿的虚拟数据图像作为分别与区域的属性关联的虚拟数据图像。在这种情况下，在步骤S106中，组合单元116将天空图像与鸟的虚拟数据图像组合，将山图像与鹿的虚拟数据图像组合。组合单元116从而生成合成数据图像。

这里，将具体地描述用户使用成像单元107记录视频的情况。在记录视频的同时，用户所记录的被摄体随时间而变化。因此，例如，与一个帧对应的每一时间段(例如，在60fps的情况下，约每17毫秒)重复图5所示的处理。在步骤S104中，重复地获取与先前获取的区域(或者包括所获取的区域的区域)相同的区域。另外在步骤S105中，重复地获取与先前获取的虚拟数据图像相同的虚拟数据图像。各个虚拟数据图像被重复地组合以用于视频。

操作终端所执行的一系列步骤

将描述根据此示例性实施方式的操作终端100所执行的一系列步骤。图6A至图6C是用于说明根据示例性实施方式1的操作终端100所执行的一系列步骤的示例的示图。

图6A是示出使用成像单元107拍摄的真实数据图像11A的示例的示图。例如，用户操作操作终端100并使用成像单元107拍摄被摄体的图像。结果，真实图像获取单元111获取图6A所示的真实数据图像11A作为使用成像单元107拍摄的数据图像。图6A所示的真实数据图像11A是用户所拍摄的天空和山的图像。真实数据图像11A包括分别为天空图像和山图像的数据图像11B和数据图像11C。

在真实图像获取单元111获取真实数据图像11A之后，区域分割单元112基于从真实数据图像11A提取的特征量来将真实数据图像11A分割成区域。区域分割单元112将真实数据图像11A分割成数据图像11B和数据图像11C。区域属性识别单元113分别识别所分割的数据图像11B和所分割的数据图像11C的属性。更具体地讲，区域属性识别单元113将例如数据图像11B的特征量与基于每属性预定的参考特征量进行比较，从而识别数据图像11B的属性。本文中，数据图像11B的属性和数据图像11C的属性分别被识别为属性“天空”和属性“山”。

虚拟图像获取单元115根据预定规则从区域分割单元112所分割的真实数据图像的区域当中选择一个或更多个区域。在图6A所示的示例中，虚拟图像获取单元115选择作为具有属性“天空”的区域的数据图像11B。虚拟图像获取单元115随后从虚拟图像存储单元114获取与属性“天空”关联的鸟的虚拟数据图像。随后，组合单元116将具有属性“天空”的数据图像11B与鸟的虚拟数据图像组合，从而生成合成数据图像。

图6B是示出合成数据图像11D的示例的示图。在图6B所示的合成数据图像11D中，如上所述，具有属性“天空”的数据图像11B与鸟的虚拟数据图像11E组合。

需要指出的是，可以想到例如在不确定真实数据图像的区域的属性的情况下，即，基于可从例如全球定位***(GPS)获取的关于真实空间中的位置的信息，虚拟数据图像与真实数据图像组合。在这种情况下，基于关于真实空间中的位置的信息来组合虚拟数据图像，而不管真实空间中被拍摄图像的被摄体。因此，如图6C所示，具有属性“山”的数据图像11C可能与鸟的虚拟数据图像11E组合。在这种情况下，鸟存在于真实空间中的天空中，但是被显示为就像鸟存在于山中一样。结果是导致用户感觉违和的不自然合成并且未伴有身临其境之感。

相比之下，在此示例性实施方式中，组合单元116基于真实数据图像的区域的属性来组合虚拟数据图像。结果是不会导致用户感觉违和的自然合成，因此伴有身临其境之感。

另外，如果用户使用成像单元107来记录视频，则视频帧中的天空和山图像的位置和尺寸随时间而变化。因此，例如，如果虚拟图像获取单元115针对所述帧获取鸟的虚拟数据图像11E，则组合单元116将各个帧中随时间而变化的天空的数据图像11B与鸟的虚拟数据图像11E组合。作为附加说明，例如，如果用户所记录的视频具有不包括天空并对应于特定时间段的帧，则鸟的虚拟数据图像11E不与该时间段所对应的帧中的真实数据图像11A组合。

操作终端所执行的步骤的不同示例

将描述操作终端100所执行的步骤的不同示例。在上述示例中，虚拟图像获取单元115选择真实数据图像的一个或更多个区域，并且组合单元116将各个区域的真实数据图像与虚拟数据图像组合。相比之下，在不同的示例中，虚拟图像获取单元115根据预定规则来获取虚拟数据图像(预定数据图像)。然后，组合单元116基于所识别的属性识别所获取的虚拟数据图像的属性，并且确定真实数据图像中要组合的虚拟数据图像的区域(位置)。需要指出的是，在此示例性实施方式中，组合单元116用作位置识别单元的示例。

图7是示出根据示例性实施方式1的操作终端100所执行的步骤的不同示例的流程图。

由于步骤S201至S203与图5中的步骤S101至S103相同，本文中省略其说明。在步骤S203中区域属性识别单元113识别真实数据图像的各个区域的属性之后，虚拟图像获取单元115根据预定规则从虚拟图像存储单元114获取虚拟数据图像(步骤S204)。预定规则的示例包括根据预先指派给虚拟数据图像的优先级或顺序来获取虚拟数据图像以及随机地获取虚拟数据图像。

组合单元116基于存储在虚拟图像存储单元114中的信息识别与虚拟图像获取单元115所获取的虚拟数据图像关联的属性。组合单元116判断具有所识别的属性的区域是否存在于真实数据图像中(步骤S205)。如果组合单元116判断不存在具有所识别的属性的区域(步骤S205中为否)，则在不组合虚拟数据图像的情况下终止处理。

相比之下，如果组合单元116判断存在具有所识别的属性的区域(步骤S205中为是)，则组合单元116将区域的真实数据图像与虚拟数据图像组合，从而生成合成数据图像(步骤S206)。作为附加说明，步骤S205和S206可被当作基于虚拟数据图像的属性来识别用于将虚拟数据图像与真实数据图像组合的位置的步骤。组合单元116将合成数据图像显示在显示器105上(步骤S207)。然后处理终止。

更具体地讲，例如，在步骤S204中，虚拟图像获取单元115获取鸟的虚拟数据图像。在步骤S205中，组合单元116将与鸟的虚拟数据图像关联的属性识别为“天空”。如果存在具有属性“天空”的区域(步骤S205中为是)，则组合单元116将天空图像与鸟的虚拟数据图像组合，从而生成合成数据图像。然后处理终止。

需要指出的是，在步骤S204中，虚拟图像获取单元115可获取多个虚拟数据图像。在这种情况下，针对各个虚拟数据图像执行步骤S205和S206。具体地讲，判断是否存在具有虚拟数据图像的属性的区域，并且如果存在所述区域，则虚拟数据图像与真实数据图像组合。

在如上所述的此示例性实施方式中，操作终端100将真实数据图像的区域中使用成像单元107拍摄的真实数据图像与该区域的属性所关联的虚拟数据图像组合。因此，与例如在不考虑真实数据图像的区域的属性和虚拟数据图像的属性的情况下执行组合的配置相比，结果是不会导致用户感觉违和的自然合成，因此伴有身临其境之感。

示例性实施方式2

操作终端的功能配置

将描述根据示例性实施方式2的操作终端100的功能配置。在示例性实施方式1中，操作终端100将真实数据图像与虚拟数据图像组合，从而生成合成数据图像。相比之下，在示例性实施方式2中，操作终端100识别真实数据图像中的对象的属性并执行使用与该属性关联的虚拟数据图像将关于该对象的信息并入虚拟空间中的处理。

图8是示出根据示例性实施方式2的操作终端100的示例功能配置的框图。根据此示例性实施方式的操作终端100包括真实图像获取单元121、对象识别单元122、虚拟图像存储单元123、性能信息获取单元124和虚拟图像并入单元125。

真实图像获取单元121基于关于使用成像单元107在真实空间中拍摄的图像的图像数据来获取真实数据图像。

对象识别单元122基于包括在真实图像获取单元121所获取的真实数据图像中的预定对象的图像来识别对象的属性。为了识别属性，可使用现有的技术。例如，用户实际地拍摄各种对象的图像，从而准备关于对象的图像数据。对象识别单元122对所获取的真实数据图像执行诸如图案匹配的图像处理，从而识别对象的属性。

虚拟图像存储单元123中存储有虚拟图像DB，它是指定与要在虚拟空间中使用的图像数据对应的虚拟数据图像的数据库。在虚拟图像DB中，基于每预定对象属性来指定与预定对象对应的虚拟数据图像。另外，基于每预定对象属性，还存储例如通过实际拍摄对象的图像而获取的数据图像。更具体地讲，例如，如果在虚拟空间中玩竞速游戏，则虚拟图像DB中基于每摩托车配件属性(例如，针对排气管、轮胎和把手)存储虚拟数据图像。另外，基于每摩托车配件属性，还存储例如通过实际拍摄摩托车配件的图像而获取的数据图像。

性能信息获取单元124获取关于通过对象识别单元122识别属性的对象的性能的信息(以下，称作性能信息)。性能信息获取单元124通过网络300从诸如管理服务器200的外部设备获取对象性能信息。更具体地讲，性能信息获取单元124例如通过互联网搜索对象，从而获取对象性能信息。

虚拟图像并入单元125执行将性能信息获取单元124所获取的对象性能信息以及与对象对应的虚拟数据图像并入虚拟空间中的处理。在并入处理中，虚拟图像并入单元125从虚拟图像存储单元123获取与通过对象识别单元122识别属性的对象对应的虚拟数据图像，换言之，与对象的属性关联的虚拟数据图像。虚拟图像并入单元125将性能信息和虚拟数据图像彼此关联地并入虚拟空间中。并入虚拟空间中导致虚拟数据图像用作虚拟空间中具有性能信息所指示的性能的对象的图像。

更具体地讲，例如，如果要玩竞速游戏，则对象识别单元122将排气管识别为对象的属性。在这种情况下，性能信息获取单元124通过互联网搜索排气管，并获取关于排气管的性能信息。虚拟图像并入单元125从虚拟图像存储单元123获取与排气管对应的虚拟数据图像。虚拟图像并入单元125将性能信息和虚拟数据图像彼此关联地并入竞速游戏中。并入竞速游戏中使得用户能够在竞速游戏中使用具有性能信息所指示的性能的排气管。

在此示例性实施方式中，性能信息获取单元124用作性能信息获取单元的示例。虚拟图像并入单元125用作识别单元和并入单元中的每一个的示例。

需要指出的是，类似包括在图3所示的操作终端100中的功能单元，包括在图8所示的操作终端100中的功能单元以软件和硬件资源之间的协作来实现。具体地讲，为了使用图2所示的硬件配置实现操作终端100，存储在磁盘装置103中的OS和应用程序被载入主存储器102中并由CPU 101运行，从而实现诸如真实图像获取单元121、对象识别单元122、性能信息获取单元124和虚拟图像并入单元125的功能。虚拟图像存储单元123通过诸如磁盘装置103的存储器来实现。

虚拟图像DB

将描述虚拟图像DB。图9是示出根据示例性实施方式2的虚拟图像DB的示例的表。

作为“对象属性”，示出预定对象的属性。在图9中的示例中，示出“来自公司A的排气管”、“来自公司B的排气管”以及“来自公司C的轮胎”作为摩托车配件。作为“拍摄的数据图像”，示出通过实际拍摄对象的图像而获取的数据图像。作为“虚拟数据图像”，示出在诸如竞速游戏的虚拟空间中使用对象的情况的数据图像。

操作终端所执行的处理步骤

将描述根据此示例性实施方式的操作终端100所执行的处理步骤。图10是示出根据示例性实施方式2的操作终端100所执行的处理步骤的示例的流程图。

当用户操作操作终端100并使用成像单元107拍摄被摄体的图像时，真实图像获取单元121获取使用成像单元107拍摄的真实数据图像(步骤S301)。对象识别单元122基于存储在虚拟图像存储单元123中的信息来判断真实数据图像是否具有预定对象的属性(步骤S302)。如果对象识别单元122判断真实数据图像不具有预定对象的属性(步骤S302中为否)，则处理终止。

相比之下，如果对象识别单元122判断真实数据图像具有预定对象的属性(步骤S302中为是)，则性能信息获取单元124获取与该预定对象对应的性能信息(步骤S303)。虚拟图像并入单元125从虚拟图像存储单元123获取与预定对象关联的虚拟数据图像(步骤S304)。虚拟图像并入单元125将性能信息和虚拟数据图像彼此关联地并入虚拟空间中(步骤S305)。然后处理终止。

操作终端所执行的一系列步骤

将描述根据此示例性实施方式的操作终端100所执行的一系列步骤。图11A和图11B是用于说明根据示例性实施方式2的操作终端100所执行的一系列步骤的示例的示图。将说明在虚拟空间中玩竞速游戏的情况作为示例。

图11A是示出使用成像单元107拍摄的真实数据图像21A的示例的示图。例如，用户操作操作终端100并使用成像单元107拍摄被摄体的图像。结果，真实图像获取单元111获取图11A所示的真实数据图像21A作为使用成像单元107拍摄的数据图像。图11A所示的真实数据图像21A是用户所拍摄的摩托车的排气管的图像并且包括数据图像21B作为排气管图像。

在真实图像获取单元121获取真实数据图像21A之后，对象识别单元122基于存储在虚拟图像存储单元123中的信息来判断真实数据图像21A是否具有预定对象的属性。例如，如果数据图像21B与图9所示的来自公司A的排气管的拍摄图像相同(或相似)，则对象识别单元122基于图案匹配等来判断真实数据图像21A具有预定对象的属性。

性能信息获取单元124通过网络300从诸如管理服务器200的外部设备获取关于属性被判断为包括在真实数据图像21A中的来自公司A的排气管的性能信息。例如，获取指示296ps的马力(pferde starke)和38kgm的转矩的信息作为关于来自公司A的排气管的性能信息。虚拟图像并入单元125从虚拟图像存储单元123获取与“来自公司A的排气管”关联的虚拟数据图像。虚拟图像并入单元125将性能信息和虚拟数据图像彼此关联地并入竞速游戏中。

图11B是示出在被并入竞速游戏中之后显示在显示器105上的数据图像21C的示例的示图。在图11B所示的示例中，与“来自公司A的排气管”关联的虚拟数据图像21D显示在显示器105上作为用户所拍摄的排气管的图像，摩托车设置有虚拟数据图像21D。用户可在竞速游戏中使用具有性能信息所指示的性能的来自公司A的排气管。

在如上所述的此示例性实施方式中，操作终端100从使用成像单元107拍摄的真实数据图像识别对象的属性，并将与属性被识别的对象对应的虚拟数据图像和性能信息并入虚拟空间中。虚拟数据图像和性能信息并入虚拟空间中使得用户能够在虚拟空间中使用关于被拍摄图像的被摄体中的对象的信息。

需要指出的是，尽管在此示例性实施方式中虚拟图像并入单元125通过网络300从诸如管理服务器200的外部设备获取性能信息，但是性能信息可包括在虚拟图像DB中。在这种情况下，图9所示的虚拟图像DB中还基于每对象属性(例如，针对“来自公司A的排气管”、“来自公司B的排气管”和“来自公司C的轮胎”)存储性能信息。

另外，尽管在此示例性实施方式中真实图像获取单元121获取使用成像单元107实际拍摄的图像，但是配置不限于这种配置。例如，真实图像获取单元121可通过网络300从管理服务器200或者从诸如紧凑盘只读存储器(CD-ROM)的记录介质获取使用另一成像单元拍摄的数据图像。

示例性实施方式3

操作终端的功能配置

将描述根据示例性实施方式3的操作终端100的功能配置。在示例性实施方式2中，操作终端100从真实数据图像识别对象的属性并执行将关于属性被识别的对象的性能信息并入虚拟空间中的处理。在示例性实施方式3中，操作终端100从声音(声音数据)识别对象的属性并执行将关于属性被识别的对象的性能信息并入虚拟空间中的处理。

图12是示出根据示例性实施方式3的操作终端100的示例功能配置的框图。根据此示例性实施方式的操作终端100包括声音收集单元131、对象识别单元132、虚拟图像存储单元133、性能信息获取单元134和虚拟图像并入单元135。

声音收集单元131收集通过声音检测单元108在真实空间中检测的声音(声音数据)并将所收集的声音记录在诸如磁盘装置103的存储器中。

对象识别单元132基于包括在声音收集单元131所收集的声音中的预定对象的声音(从预定对象发出的声音)来识别对象的属性。现有的技术可用于识别。例如，用户准备了各种对象的声音。对象识别单元132对例如声音收集单元131所收集的声音的波形执行诸如图案匹配的处理，从而识别对象的属性。

虚拟图像存储单元133中存储虚拟图像DB，它是指定与虚拟空间中要使用的图像数据对应的虚拟数据图像的数据库。在虚拟图像DB中，基于每预定对象属性来指定与预定对象对应的虚拟数据图像。另外，基于每预定对象属性，还存储与各个对象关联的声音。更具体地讲，例如，如果在虚拟空间中玩竞速游戏，则虚拟图像DB中基于每汽车属性(例如，针对“来自公司A的汽车”和“来自公司B的汽车”)存储虚拟数据图像。基于每汽车属性，还存储诸如汽车的引擎声和关门声的声音作为与各个汽车关联的声音。

性能信息获取单元134获取指示属性被对象识别单元132识别的对象的性能的性能信息。性能信息获取单元134通过网络300从诸如管理服务器200的外部设备获取对象性能信息。更具体地讲，性能信息获取单元134例如通过互联网搜索对象，从而获取对象性能信息。

虚拟图像并入单元135执行将性能信息获取单元134所获取的关于对象的性能信息以及与对象对应的虚拟数据图像并入虚拟空间中的处理。虚拟图像并入单元135从虚拟图像存储单元133获取与属性被对象识别单元132识别的对象对应的虚拟数据图像，换言之，与对象的属性关联的虚拟数据图像。虚拟图像并入单元135将性能信息和虚拟数据图像彼此关联地并入虚拟空间中。并入虚拟空间中使得虚拟数据图像用作虚拟空间中具有性能信息所指示的性能的对象的图像。

更具体地讲，例如，如果要玩竞速游戏，则对象识别单元132将“来自公司A的汽车”识别为对象的属性。在这种情况下，性能信息获取单元134通过互联网搜索来自公司A的汽车并获取关于来自公司A的汽车的性能信息。虚拟图像并入单元135从虚拟图像存储单元133获取与来自公司A的汽车对应的虚拟数据图像。虚拟图像并入单元135将性能信息和虚拟数据图像彼此关联地并入竞速游戏中。并入竞速游戏中使得用户能够在竞速游戏中使用具有性能信息所指示的性能的来自公司A的汽车。

在此示例性实施方式中，性能信息获取单元134用作性能信息获取单元的示例。虚拟图像并入单元135用作识别单元和并入单元中的每一个的示例。

需要指出的是，类似图3所示的操作终端100中所包括的功能单元，图12所示的操作终端100中所包括的功能单元以软件和硬件资源之间的协作来实现。具体地讲，为了使用图2所示的硬件配置来实现操作终端100，存储在磁盘装置103中的OS和应用程序被载入主存储器102中并由CPU 101执行，从而实现诸如声音收集单元131、对象识别单元132、性能信息获取单元134和虚拟图像并入单元135的功能。虚拟图像存储单元133通过诸如磁盘装置103的存储器来实现。

虚拟图像DB

将描述虚拟图像DB。图13是示出根据示例性实施方式3的虚拟图像DB的示例的表。

作为“对象属性”，示出预定对象的属性。在图13的示例中，示出了“来自公司A的汽车”、“来自公司B的汽车”和“来自公司C的汽车”作为汽车。作为“声音”，示出了与各个对象关联的声音。例如，示出来自公司A的汽车的引擎声和来自公司A的汽车的关门声作为来自公司A的汽车的声音。尽管在图13中的示例中使用诸如“引擎声”和“关门声”的字符，关于诸如实际引擎声和实际关门声的声音的数据被存储在虚拟图像DB中。另外，作为“虚拟数据图像”，示出了针对在诸如竞速游戏的虚拟空间中使用对象的情况的数据图像。

操作终端所执行的处理步骤

将描述根据此示例性实施方式的操作终端100所执行的处理步骤。图14是示出根据示例性实施方式3的操作终端100所执行的处理步骤的示例的流程图。

当用户操作操作终端100时并且当声音检测单元108检测到声音时，声音收集单元131收集声音并将声音记录在存储器中(步骤S401)。对象识别单元132基于存储在虚拟图像存储单元133中的信息来判断声音收集单元131所收集的声音是否具有预定对象的属性(步骤S402)。如果对象识别单元132判断声音不具有预定对象的属性(步骤S402中为否)，则处理终止。

相比之下，如果对象识别单元132判断声音具有预定对象的属性(步骤S402中为是)，则性能信息获取单元134获取与该预定对象对应的性能信息(步骤S403)。虚拟图像并入单元135从虚拟图像存储单元133获取与预定对象关联的虚拟数据图像(步骤S404)。虚拟图像并入单元135将性能信息和虚拟数据图像彼此关联地并入虚拟空间中(步骤S405)。然后处理终止。

操作终端所执行的一系列步骤

将描述根据此示例性实施方式的操作终端100所执行的一系列步骤。图15A和图15B是用于说明根据示例性实施方式3的操作终端100所执行的一系列步骤的示例的示图。将描述在虚拟空间中玩竞速游戏的情况作为示例。

图15A是用于说明声音检测单元108所获取的声音的示例的示图。例如，用户实际运转汽车的引擎，并且声音检测单元108检测引擎声。结果，声音收集单元131收集声音检测单元108所检测的声音。

在声音收集单元131收集引擎声之后，对象识别单元132基于存储在虚拟图像存储单元133中的信息来判断所收集的引擎声是否具有预定对象的属性。如果所收集的引擎声与例如图13所示的来自公司A的汽车的引擎声相同(或相似)，则对象识别单元132基于图案匹配等来判断所收集的引擎声是否具有来自公司A的汽车的属性。

性能信息获取单元134通过网络300从诸如管理服务器200的外部设备获取与属性被判断为包括在所收集的引擎声中的来自公司A的汽车对应的性能信息。例如，获取指示5000cc的排量、280ps的马力和200km/h的最大速度的信息作为关于来自公司A的汽车的性能信息。虚拟图像并入单元135从虚拟图像存储单元133获取与来自公司A的汽车关联的虚拟数据图像。虚拟图像并入单元135将性能信息和虚拟数据图像彼此关联地并入竞速游戏中。

图15B是示出被并入竞速游戏中然后显示在显示器105上的数据图像31A的示例的示图。在图15B所示的示例中，来自公司A的汽车的虚拟数据图像31B显示在显示器105上作为与所收集的引擎声关联的数据图像。性能信息指示5000cc的排量、280ps的马力和200km/h的最大速度。用户可在竞速游戏中使用具有性能信息所指示的性能的来自公司A的汽车。

在如上所述的此示例性实施方式中，操作终端100从声音收集单元131所收集的声音识别对象的属性，并且将与属性被识别的对象对应的虚拟数据图像和性能信息并入虚拟空间中。虚拟数据图像和性能信息并入虚拟空间中使得用户能够在虚拟空间中使用关于与所收集的声音关联的对象的信息。

需要指出的是，尽管在此示例性实施方式中虚拟图像并入单元135通过网络300从诸如管理服务器200的外部设备获取性能信息，但是如示例性实施方式2中一样，性能信息可包括在虚拟图像DB中。在这种情况下，图13所示的虚拟图像DB中还基于每对象属性(例如，针对“来自公司A的汽车”、“来自公司B的汽车”以及“来自公司C的汽车”)存储性能信息。

尽管在此示例性实施方式中声音收集单元131收集通过声音检测单元108实际检测到的声音，但是配置不限于这种配置。例如，声音收集单元131可收集通过网络300从管理服务器200接收的声音或者按照存储在诸如CD-ROM的记录介质中的方式提供的声音作为声音数据。

根据示例性实施方式1至3中的对应一个的各个操作终端100所执行的处理不必仅由操作终端100执行，可与另一设备共享。例如，在示例性实施方式1中，操作终端100可具有真实图像获取单元111和组合单元116的功能，管理服务器200可具有区域分割单元112、区域属性识别单元113、虚拟图像存储单元114和虚拟图像获取单元115的功能。在这种情况下，例如，操作终端100获取真实数据图像，随后将所获取的真实数据图像发送给管理服务器200。管理服务器200识别要与真实数据图像组合的虚拟数据图像，并将所识别的虚拟数据图像发送给操作终端100。这使得操作终端100将真实数据图像与虚拟数据图像组合，从而生成合成数据图像。

另外，需要指出的是，用于实现本发明的示例性实施方式的程序可不仅通过通信介质来提供，而且按照被存储在诸如CD-ROM的记录介质中的方式来提供。

需要指出的是，上面作为示例性实施方式1至3描述的各种示例性实施方式和修改可被组合。即，为了实现操作终端100，例如，示例性实施方式1至3中的所有或两个可被组合在一起。另选地，例如，示例性实施方式1至3中的一个可用于实现操作终端100。

本公开不限于上述示例性实施方式，在不脱离本公开的精神的情况下可按照各种形式来实现。

为了例示和描述的目的提供了本发明的示例性实施方式的以上描述。其并不旨在为穷尽性的或者将本发明限于所公开的精确形式。显然，对于本领域技术人员而言许多修改和变化将是显而易见的。选择并描述实施方式以便最佳地说明本发明的原理及其实际应用，从而使得本领域技术人员能够理解本发明的各种实施方式以及适合于可以想到的具体用途的各种改型。本发明的范围旨在由随附权利要求书及其等同物限定。

Claims (7)

1.一种信息处理***，该信息处理***包括：

属性信息获取单元，该属性信息获取单元根据关于被拍摄对象图像的存在于真实空间中的对象的信息来获取所述对象的属性；以及

识别单元，该识别单元识别作为与所述属性信息获取单元所获取的所述属性关联的虚拟图像的图像，所述图像要与所述对象图像组合。

2.根据权利要求1所述的信息处理***，该信息处理***还包括：

显示器，该显示器显示通过将所述识别单元所识别的图像与所述对象图像组合在一起而生成的合成图像。

3.根据权利要求1或2所述的信息处理***，该信息处理***还包括：

存储器，该存储器存储所述对象存在于所述真实空间中的位置的属性与所述虚拟图像关联的关联性，

其中，所述识别单元识别在所述关联性中与所述属性信息获取单元所获取的所述属性关联的所述虚拟图像，作为要与所述对象图像组合的所述图像。

4.一种信息处理***，该信息处理***包括：

识别单元，该识别单元识别与存在于真实空间中的对象对应的虚拟图像，所述识别单元根据关于被拍摄对象图像的所述对象的信息来识别所述虚拟图像；

性能信息获取单元，该性能信息获取单元获取指示所述对象的性能的性能信息；以及

并入单元，该并入单元将所获取的性能信息以及与所述对象对应的所述虚拟图像彼此关联地并入虚拟空间中。

5.一种信息处理***，该信息处理***包括：

识别单元，该识别单元识别与存在于真实空间中的对象对应的虚拟图像，所述识别单元根据从所述对象发出的声音来识别所述虚拟图像；

性能信息获取单元，该性能信息获取单元获取指示所述对象的性能的性能信息；以及

并入单元，该并入单元将所获取的性能信息以及与所述对象对应的所述虚拟图像彼此关联地并入虚拟空间中。

6.一种信息处理***，该信息处理***包括：

图像获取单元，该图像获取单元获取在真实空间中拍摄的图像；以及

位置识别单元，该位置识别单元识别预定图像要与所述图像获取单元所获取的所述图像组合的位置，所述位置识别单元根据所述预定图像的属性来识别所述位置。

7.一种信息处理方法，该信息处理方法包括以下步骤：

根据关于被拍摄对象图像的存在于真实空间中的对象的信息来获取所述对象的属性；以及

识别作为与所获取的属性关联的虚拟图像的图像，所述图像要与所述对象图像组合。