CN108320333A - 场景适应型虚拟现实转换设备和虚拟现实的场景适应方法 - Google Patents

Abstract

本发明提供一种场景适应型虚拟现实转换设备和虚拟现实的场景适应方法，属于虚拟现实VR技术领域。本发明的场景适应型VR转换设备包括计算处理部件，所述计算处理部件包括：用于对从现实空间中采集的场景与物体信息进行场景和物体的识别的场景与物体识别模块，用于对识别的场景进行三维重建以得到三维空间模型的三维重建模块，以及用于至少基于所述三维空间模型对虚拟世界进行修改以至于修改后的虚拟世界下的可活动区域与现实空间中的可活动区域相适应的融合模块。本发明的VR转换设备成本低，空间要求小，容易被用户接受。

Description

场景适应型虚拟现实转换设备和虚拟现实的场景适应方法

技术领域

本发明属于虚拟现实（Virtual Reality, VR）技术领域，涉及场景适应型的虚拟现实转换设备、虚拟现实转换设备和虚拟现实的场景适应方法。

背景技术

虚拟现实（VR）技术发展非常迅速，各种VR产品和设备开始走向市场应用。但是由于VR技术的局限性，产品甚少价格昂贵。目前，市面上使用较多的设备还是VR产品，VR产品无需感知现实世界，这容易导致使用者完全脱离现实世界，当现实场景存在阻挡物体，很容易造成用户撞伤等事故，极大地限制了用户的使用体验；另外，VR产品的VR场景中难以接入各种支付验证设备，导致新的支付技术或形态无法在VR场景中推进，也限制了VR产品的商业前景。

目前，在研究未来支付场景（VR支付场景）时，遇到如下两方面的问题：（1）虚拟现实能否走向广大用户，即VR支付场景规模问题；（2）VR支付的形态。

针对问题（1），目前VR高端产品还未能在大众中普遍使用，一是由于高端产品成本还未平民化，二是由于普通用户家庭缺少VR产品所需的空间。现有的虚拟现实（VR）产品或设备中，需要在一个固定的无障碍空间，而一般家庭或办公室内缺少这样的无障碍空间，这在一定程度上限制了VR产品的推广。并且，如果空地空间上有障碍物体，也容易导致VR用户撞伤。

针对问题（2），目前的VR支付例如有两种，一种是脱离VR世界进行支付，另一种是VR世界中使用例如虚拟键盘方式进行验证，两者都很不便。然而，目前支付市场的支付方式逐渐向生物特征方向发展，如人脸识别、指纹识别、掌静脉识别、虹膜识别等，而现有的VR设备完全不支持这种生物识别方式的支付验证。

发明内容

本发明的目标是公开一种解决方案，该解决方案消除或至少减轻现有技术方案中出现的如上所述的缺陷的至少一方面。本发明的目标也是实现下面的优点的一个或多个：

- 提供一种低成本的VR转换设备；

- 解决目前VR设备对无障碍空间要求高的问题；

- 提高在VR场景下的VR支付体验；

- 大规模推广VR设备在用户中使用；

- 推广各种新型支付方式在VR场景中应用。

为实现以上目的或者其他目的，本发明提供以下技术方案。

按照本发明的第一方面，提供一种场景适应型虚拟现实转换设备，其包括计算处理部件，所述计算处理部件包括：

场景与物体识别模块，其用于对从现实空间中采集的场景与物体信息进行场景和物体的识别；

三维重建模块，其用于对识别的场景进行三维重建以得到三维空间模型；以及

融合模块，其用于至少基于所述三维空间模型对虚拟世界进行修改以至于修改后的虚拟世界下的可活动区域与现实空间中的可活动区域相适应。

根据本发明一实施例的场景适应型虚拟现实转换设备，其中，还包括用于采集所述场景与物体信息的传感器。

根据本发明一实施例的场景适应型虚拟现实转换设备，其中，所述传感器为以下部件中任意一种或它们的组合：图像传感器、红外传感器、深度信息传感器。

根据本发明一实施例的场景适应型虚拟现实转换设备，其中，所述三维重建模块还用于对识别的物体进行三维重建以得到相应的三维物体模型以及该三维物体模型在所述虚拟世界已知的坐标参考系下的坐标、方向和尺寸信息；

所述融合模块还用于至少基于所述三维物体模型及其坐标、方向和尺寸信息对修改后的虚拟世界下的可活动区域中的相应位置的虚拟物体进行匹配融合。

根据本发明一实施例的场景适应型虚拟现实转换设备，其中，所述融合模块还用于至少基于所述三维物体模型及其坐标、方向和尺寸信息对修改后的虚拟世界下的可活动区域中的相应位置的虚拟物体进行尺寸、颜色和/或显示方式方面的匹配融合。

根据本发明一实施例的场景适应型虚拟现实转换设备，其中，所述融合模块还用于至少基于某个物体的所述三维物体模型及其坐标、方向和尺寸信息对修改后的虚拟世界下的可活动区域中的相应位置的某个虚拟物体进行尺寸和颜色方面的一致性修改。

根据本发明一实施例的场景适应型虚拟现实转换设备，其中，所述某个物体为支付验证设备。

根据本发明一实施例的场景适应型虚拟现实转换设备，其中，所述支付验证设备为以下部件中任意一种或它们的组合：人脸识别部件、指纹识别部件、掌静脉识别部件、步态识别部件。

根据本发明一实施例的场景适应型虚拟现实转换设备，其中，所述三维重建模块还用于得到相应的三维空间模型在所述虚拟世界已知的坐标参考系下的坐标、方向和尺寸信息；

所述融合模块还用于基于所述三维空间模型及其坐标、方向和尺寸信息确定所述现实空间中的可活动区域。

根据本发明一实施例的场景适应型虚拟现实转换设备，其中，所述融合模块还用于至少基于所述三维空间模型及其坐标、方向和尺寸信息对所述虚拟世界中的虚拟场景和/或虚拟物体进行尺寸、颜色和/或显示方式方面的匹配融合。

根据本发明一实施例的场景适应型虚拟现实转换设备，其中，所述场景与物体识别模块还用于使用深度学习方法对场景和物体进行识别。

根据本发明一实施例的场景适应型虚拟现实转换设备，其中，所述场景与物体识别模块还用于识别所述物体的类别。

按照本发明的第二方面，提供一种场景适应型虚拟现实***，包括：

虚拟现实设备，其用于提供包括虚拟场景和虚拟物体的虚拟世界；以及

以上任一所述的场景适应型虚拟现实转换设备。

按照本发明的第三方面，提供一种虚拟现实转换设备，其包括计算处理部件，所述计算处理部件包括：

场景与物体识别模块，其用于对从现实空间中采集的场景与物体信息进行场景和物体的识别；

三维重建模块，其用于对识别的物体进行三维重建以得到相应的三维物体模型以及该三维物体模型在所述虚拟世界已知的坐标参考系下的坐标、方向和尺寸信息；以及

融合模块，其用于至少基于所述三维物体模型及其坐标、方向和尺寸信息对虚拟世界下的可活动区域中的相应位置的虚拟物体进行尺寸和颜色方面的一致性修改。

根据本发明一实施例的虚拟现实转换设备，其中，所述现实空间的物体为支付验证设备。

根据本发明一实施例的虚拟现实转换设备，其中，所述支付验证设备为以下部件中任意一种或它们的组合：人脸识别部件、指纹识别部件、掌静脉识别部件、步态识别部件。

根据本发明一实施例的虚拟现实转换设备，其中，还包括用于采集所述场景与物体信息的传感器。

按照本发明的第四方面，提供一种虚拟现实***，其包括：

虚拟现实设备，其用于提供包括虚拟场景和虚拟物体的虚拟世界；以及

以上任一所述的虚拟现实转换设备。

按照本发明的第五方面，提供一种虚拟现实的场景适应方法，其包括步骤：

对从现实空间中采集的场景与物体信息进行场景和物体的识别；

对识别的场景进行三维重建以得到三维空间模型；以及

至少基于所述三维空间模型对虚拟世界进行修改以至于修改后的虚拟世界下的可活动区域与现实空间中的可活动区域相适应。

根据本发明一实施例的场景适应方法，其中，还包括步骤：

对识别的物体进行三维重建以得到相应的三维物体模型以及该三维物体模型在所述虚拟世界已知的坐标参考系下的坐标、方向和尺寸信息；和

至少基于所述三维物体模型及其坐标、方向和尺寸信息对修改后的虚拟世界下的可活动区域中的相应位置的虚拟物体进行匹配融合。

根据本发明一实施例的场景适应方法，其中，至少基于所述三维物体模型及其坐标、方向和尺寸信息对修改后的虚拟世界下的可活动区域中的相应位置的虚拟物体进行尺寸、颜色和/或显示方式方面的匹配融合。

根据本发明一实施例的场景适应方法，其中，在所述匹配融合步骤中：至少基于某个物体的所述三维物体模型及其坐标、方向和尺寸信息对修改后的虚拟世界下的可活动区域中的相应位置的某个虚拟物体进行尺寸和颜色方面的一致性修改。

按照本发明的第六方面，提供一种虚拟现实的场景适应方法，包括步骤：

对从现实空间中采集的场景与物体信息进行场景和物体的识别；

对识别的物体进行三维重建以得到相应的三维物体模型以及该三维物体模型在所述虚拟世界已知的坐标参考系下的坐标、方向和尺寸信息；以及

至少基于所述三维物体模型及其坐标、方向和尺寸信息对虚拟世界下的可活动区域中的相应位置的虚拟物体进行尺寸和颜色方面的一致性修改。

按照本发明的第七方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上任一所述方法的步骤。

按照本发明的第八方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行以实现以上任一所述方法的步骤。

根据以下描述和附图本发明的以上特征和操作将变得更加显而易见。

附图说明

从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。

图1是按照本发明一实施例的VR***一应用场景示意图。

图2是按照本发明一实施例的VR***的结构示意图，其中使用了本发明一实施例的VR转换设备。

图3是按照本发明一实施例的虚拟现实的场景适应方法的流程图。

图4是按照本发明又一实施例的虚拟现实的场景适应方法的流程图。

具体实施方式

现在将参照附图更加完全地描述本发明，附图中示出了本发明的示例性实施例。但是，本发明可按照很多不同的形式实现，并且不应该被理解为限制于这里阐述的实施例。相反，提供这些实施例使得本公开变得彻底和完整，并将本发明的构思完全传递给本领域技术人员。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或者在一个或多个硬件模块或集成电路中实现这些功能实体，或者在不同处理装置和/或微控制器装置中实现这些功能实体。

图1所示为按照本发明一实施例的VR***一应用场景示意图；图2所示为按照本发明一实施例的VR***的结构示意图，其中使用了本发明一实施例的VR转换设备。以下结合图1和图2，示例说明的VR转换设备200、VR***20。

以应用于如图1所示的现实的房间的空间90为实施例，房间的空间90中，房间的墙壁、地板、天花板等构成了既定的场景，其主要地决定了现实世界中的可活动区域； 空间90的场景中还存在各种物体，例如，相对较大的很可能影响活动区域的窗911以及床912和桌子913等大件物品；在该空间90的场景中，还存在相对较小的物体或物品，例如椅子921、空气净化器922、书本923等物体，较小的物体甚至还有支付验证设备931，支付验证设备931具体可以是人脸识别部件、指纹识别部件、掌静脉识别部件或步态识别部件，或者是它们的组合，支付验证设备931的具体类型不是限制性的，在现实世界中可以用来进行支付验证的设备（例如各种支持生物特征识别的验证设备）均可以应用于本发明。

将理解，场景主要地决定了空间90的可活动区域，场景中的物体可能会对空间90的可活动区域产生一定的活动不便的影响，也可会具备影响空间90的可活动区域。

VR***20中包括VR设备100，VR设备100可穿戴部分（例如VR头盔）可以被用户80使用并向用户80呈现虚拟世界。VR设备100可以包括相应的计算处理装置，其具体结构和类型不是限制性的。

如图2所示，VR转换设备200与VR设备100（例如VR设备100的计算处理装置）耦接在一起，例如其可以一种外接式产品实现，可以便捷地连接至VR设备100，从而形成本发明实施例的VR***20。

VR转换设备200可以是场景适应型VR转换设备，其使用例如通过处理器或芯片实现的计算处理部件220，还使用传感器210采集空间90中的场景与物体信息的传感器210，传感器210可以为以下部件中任意一种或它们的组合：图像传感器、红外传感器、深度信息传感器。示例地，传感器210为图像传感器，其可以对空间90进行多视角拍摄，以尽可能全面、准确地获取空间90中的场景与物体信息。具体地，在房间多处较高处墙壁附近固定放置摄像头，使用一个移动摄像头对空间90进行多角度拍摄以采集图片，可使用用户辅助的方式测量房间尺寸作为尺寸标准，为提高后续三维重建的精准度可以同时结合采用深度信息传感器。将理解，传感器210不限于为一个，其可以是安装在不同位置的多个传感器。

如图2所示，计算处理部件220中设置有场景与物体识别模块221，场景与物体识别模块221对从现实空间90中采集的场景与物体信息进行场景和物体的识别。示例地，可以识别空间90中的墙壁、天花板、地板等场景，还可以识别窗911以及床912和桌子913等大件物体，还可以识别椅子921、空气净化器922、书本923等物体。在该识别过程中可以使用各种图形处理技术来提高识别的准确性。

在一实施例中，场景与物体识别模块221使用深度学习方法对空间90的场景和物体进行识别。示例地，在场景识别中，使用LSUN（large-scale scene understanding，大规模场景理解）数据库对室内场景训练，得出FCN（Fully Convolutional Networks,全卷积网络）分割模型以及ResNet（Deep Residual Net，深度残差网络）分类模型，使用这些模型，对输入的图片（由传感器210采集得到）进行上采样并计算，得到一个与输入图片相同尺寸的概率图；通过对概率值的筛选，对于房型（墙壁与天花板等）进行识别，与辅助方式测量得到的尺寸信息一起构建房型边界轮廓。在物体识别中，先确定一般情况下家庭室内会出现的物体，例如椅子921、桌子913、床912、窗户911等，并针对这些物体参数训练出Faster-Rcnn（Faster Regions with CNN，快速区域卷积网络）深度学习检测模型；使用该模型能够识别出物体轮廓在图像中的位置，并计算出该物体对应每件训练集中物体的概率，最终确定物体的类别。因此，场景与物体识别模块还用于识别各种物体的类别。

继续如图2所示，计算处理部件220中设置有三维重建模块222，三维重建模块222用于对识别的场景进行三维重建以得到三维空间模型；也即是说，三维重建模块222可以对场景进行三维建模，进而可以得到三维空间模型，基于该三维空间模型，可以得到场景、物体与虚拟世界已知的坐标参考系下的坐标、方向和尺寸信息。在一实施例中，三维重建模块222还用于得到相应的三维空间模型在所述虚拟世界已知的坐标参考系下的坐标、方向和尺寸信息，这些信息将可以用来计算或确定现实空间中的可活动区域。

三维重建还可以掌握空间90中的物品的尺寸、位置、方向，固定的传感器210（例如摄像头）将会定位各种物品与空间90的相对位置。因此，在训练深度学习模型时，可采用每种物品在不同尺寸、不同型号、不同角度下的图片信息进行训练。

将理解，重建的三维空间模型与场景是基本契合的，更精确的物体模型会提升后续虚拟场景融合效果。在一实施例中，三维重建模块222还用于对识别的物体进行三维重建以得到相应的三维物体模型以及该三维物体模型在所述虚拟世界已知的坐标参考系下的坐标、方向和尺寸信息。将理解，收集更多不同的房间与家居物体（例如，空气净化器922、书本923等）的数据，将会提高场景与物体识别的精确度，提升三维重建的三维物体模型精细度。

在三维重建模块222进行三维物体模型重建时，首先获取传感器210（例如摄像头）参数与旋转角度，并选取空间90中一个可视角作为空间原点，如果无可视角，可以选用墙与地面的交点作为原点。其次，识别出的物体在水平面上的位置，即x与y坐标，可以通过摄像头向物体投射出的光线与水平面的交点获得。物体在z轴上的高度，可由摄像头按照墙面高度（若只能看到墙面的消失线，按摄像头高度计算）按比例地计算得出。这样就得出了某物体在房间中的x、y、z轴坐标，便于在空间90中进行三维重建。

需要说明的是，窗户911的三维重建可以进行特别处理，因为窗户911附着在墙面上而非地面上，重建时需找出窗户911与墙体的长方形交界即可。

继续如图2所示，计算处理部件220中设置有融合模块223，融合模块223主要用于至少基于三维空间模型对虚拟世界进行修改以至于修改后的虚拟世界下的可活动区域与现实空间90中的可活动区域相适应。这样，可以使虚拟世界下的可活动区域由现实空间90中的可活动区域来决定，房间的空间90与虚拟场景空间实现了融合，用户80在穿戴VR设备100进入虚拟世界时，用户80将会基本在现实空间90中的可活动区域中活动，避免仅使用VR设备100时完全脱离现实空间的场景的问题，从而解决目前VR设备对无障碍空间要求高的问题。

在一实施例中，融合模块223至少基于三维物体模型及其坐标、方向和尺寸信息对修改后的虚拟世界下的可活动区域中的相应位置的虚拟物体进行匹配融合。从而，可以根据空间90的场景中的物体对虚拟场景的布置进行调整，保证虚拟世界下的可活动区域不受空间90的场景中的物体阻碍，虚拟世界下虚拟的物体更准确地限制虚拟世界下的可活动区域。

具体地，融合模块223可以实现虚拟世界根据三维重建的场景与物体模型进行修正，从而将虚拟世界的构成数据与三维重建的场景和物体模型进行匹配融合。其中，虚拟场景包含了视野区域与可活动区域，视野区域是指在虚拟世界下用户80能够看到的区域，可活动区域是指用户在虚拟世界下能够触及到的区域。融合模块223进行场景融合时候，可缩小或者放大可活动区域，确保可活动范围小于等于空间90的可活动区域，而视野区域无需限制。融合后，用户看不到现实场景与三维重建的场景。在一实施例中，可采用用户靠近活动区域边界则出现提示等方式进行预警的机制。

需要说明的是，在实际操作时，空间90中存在的物体类别、尺寸、位置、方向等信息；此时，可以计算出可自由活动区域大小，若满足VR活动区域要求，则无需进行虚拟场景融合，将VR活动区域限制在此区域即可；若不能满足VR活动区域要求，则计算出每件物体在空间中的相对大小，再结合物体的类别，尺寸，进行如下方法融合与修正。

对于较大的如床912、桌子913等不可移动的较大的物品，有两种操作方式：（a）如果虚拟场景中有相应尺寸的物品例如阶梯、箱子、大树等，可直接进行匹配融合；（b）将这些物品直接隐藏，缩小可活动区域，从而使这些物品在活动区域之外。对于操作方式（a），例如床912与虚拟场景中的多个大箱子融合，这样，多个大箱子之上的区域也是属于虚拟世界下的可活动区域，用户80可以体验爬到箱子上的行为。

在一实施例中，融合模块223还至少基于所述三维物体模型及其坐标、方向和尺寸信息对修改后的虚拟世界下的可活动区域中的相应位置的虚拟物体进行尺寸、颜色和/或显示方式方面的匹配融合。根据物体尺寸、类别与虚拟场景物体进行匹配建立对应关系并进行融合，通过颜色或者透明度对现实场景模型进行标记，便于用户80在虚拟世界下识别出对其活动可能产生阻碍的物体。

示例地，对于可移动的小物体，根据类别、尺寸与虚拟世界物品进行匹配融合，融合时可使用小尺度的尺寸变换使虚拟物品与三维物体模型更契合；修改后的虚拟场景中，匹配过的虚拟物体与未匹配过的虚拟物体将会使用不同的颜色或者透明度或者靠近变色预警等方式，与纯虚拟物品进行区分，方便用户识别，防止物品损坏。可选地，修正的虚拟物体的尺寸稍大于实际物体尺寸，用户与虚拟物体交互时（比如拿起物品），不必触碰到现实空间90中的物体。

在还一实施例中，融合模块223还至少基于某个物体的三维物体模型及其坐标、方向和尺寸信息对修改后的虚拟世界下的可活动区域中的相应位置的某个虚拟物体进行尺寸和颜色方面的一致性修改。

示例地，上述某个物体为支付验证设备931时，根据支付验证设备931的三维物体模型及其坐标、方向和尺寸信息，甚至还可以根据颜色等信息，对修改后的虚拟世界下的可活动区域中的相应位置的某个虚拟物体（例如虚拟世界下的支付验证设备）进行尺寸和颜色方面的一致性修改，这样，虚拟世界下的支付验证设备基本真实体现支付验证设备931，用户在虚拟场景下进行虚拟支付时，虚拟世界中立即呈现与支付验证设备931基本一致的虚拟物体，根据虚拟世界的场景，用户80可以真实地触摸到支付验证设备931，从而完成例如掌静脉验证（如果支付验证设备931为掌静脉识别部件）。

融合模块223修改后的虚拟场景可以通过VR设备100呈现在用户90眼前，用户90可以进入虚拟世界进行体验。

以上实施例的VR转换设备200实现成本低，并且可以方便地随VR设备100一起使用形成VR***20。VR***20 使用户80不与现实完全隔离，但又保证了VR世界的沉浸性。VR转换设备200解决了目前VR设备100对无障碍空间要求高的问题，容易被用户接受，有利于大规模推广VR设备在用户中使用；同时，以上实施例的VR转换设备200可以在VR支付中应用，提高在VR场景下的VR支付体验，也容易推广各种新型支付方式在VR场景中应用。因此，使VR设备的商业前景大大改善，VR支付也更容易走进用户中，它们二者相辅相成地彼此促进。

需要理解的是，尽管以上是示例的VR转换设备200是基于场景适应型VR转换设备进行说明的，但是，在又一实施例中，VR转换设备200也可以不一定必须具备场景适应型功能。具体地，如图2所示，VR转换设备200的场景与物体识别模块221同样用于对从现实空间中采集的场景与物体信息进行场景和物体的识别；三维重建模块221主要用于对识别的物体进行三维重建以得到相应的三维物体模型以及该三维物体模型在虚拟世界已知的坐标参考系下的坐标、方向和尺寸信息；融合模块223主要用于至少基于三维物体模型及其坐标、方向和尺寸信息对虚拟世界下的可活动区域中的相应位置的虚拟物体进行尺寸和颜色方面的一致性修改。示例地，上述某个物体为支付验证设备931时，根据支付验证设备931的三维物体模型及其坐标、方向和尺寸信息，甚至还可以根据颜色等信息，对虚拟世界下的相应位置的某个虚拟物体（例如虚拟世界下的支付验证设备）进行尺寸和颜色方面的一致性修改，这样，虚拟世界下的支付验证设备基本真实体现支付验证设备931，用户在虚拟场景下进行虚拟支付时，虚拟世界中立即呈现与支付验证设备931基本一致的虚拟物体，根据虚拟世界的场景，用户80可以真实地触摸到支付验证设备931，从而完成例如掌静脉验证（如果支付验证设备931为掌静脉识别部件）。

图3所示为按照本发明一实施例的虚拟现实的场景适应方法的流程图。以下结合图1至图3进行示例说明。

首先，步骤S310，采集现实空间90的场景与物体信息。在该步骤中，通过传感器210实现，采集过程可以为多次。

进一步，对从现实空间中采集的场景与物体信息进行场景和物体的识别，也即步骤S320。

进一步，步骤S330，对识别的场景进行三维重建以得到三维空间模型。在该步骤S330中，根据需要，还可以对识别的物体进行三维重建以得到相应的三维物体模型以及该三维物体模型在所述虚拟世界已知的坐标参考系下的坐标、方向和尺寸信息。

进一步，步骤S340，至少基于三维空间模型对虚拟世界进行修改，以至于修改后的虚拟世界下的可活动区域与现实空间中的可活动区域相适应。在还一实施例中，还包括步骤：至少基于步骤S330中获得的三维物体模型及其坐标、方向和尺寸信息，对修改后的虚拟世界下的可活动区域中的相应位置的虚拟物体进行匹配融合；例如，至少基于三维物体模型及其坐标、方向和尺寸信息，对修改后的虚拟世界下的可活动区域中的相应位置的虚拟物体进行尺寸、颜色和/或显示方式方面的匹配融合；或者例如，至少基于某个物体的三维物体模型及其坐标、方向和尺寸信息对修改后的虚拟世界下的可活动区域中的相应位置的某个虚拟物体进行尺寸和颜色方面的一致性修改，从而在虚拟世界中可以介入显示世界中的某个物体，特别是支付验证设备，有利于在VR支付场景中使用各种类型的支付验证设备，提高VR支付体验。

进一步，输入修改的虚拟世界，即步骤S350。

以具体应用于VR支付过程为示例，首先，将VR转换设备200与支付验证设备931接入VR设备100的主机，这里以支付验证设备931为立式掌静脉识别部件为示例，将掌静脉识别部件放置在VR设备100所要求空间区域内。

进一步，使用摄像头进行数据采集，例如，多角度地进行采集，从而获得场景与物体信息。

进一步，对现实空间90的场景与物体进行识别，并且进行三维建模和匹配融合，从而，在不需要进行VR支付的时候，掌静脉识别部件被虚拟世界的物体所覆盖，用户在掌静脉识别部件对应的位置上看到的是虚拟世界的物体，当需要进行VR支付的场合，掌静脉识别部件在虚拟世界的相应位置出现（掌静脉识别部件所渲染的颜色分布依然可以根据虚拟世界的主题来实现与其保持一致），VR设备100的主机与掌静脉设备通信，开始采集生物特征数据，用户80将手掌放置在掌静脉识别部件上，完成身份验证与支付过程。

步骤S310~S330是在用户80可以在体验虚拟现实之前一次性设置或运行完成，即后续虚拟场景更换时候，只需重新进行虚拟场景融合，即步骤S340即可。例如，用户80布置好设备、采集了房间的空间90的信息后，后台开始进行步骤S320~步骤S330，用户80进入游戏界面，后台进行步骤S340对虚拟游戏的多个场景进行融合修正，从而保证用户能够流畅体验。

图4所示为按照本发明又一实施例的虚拟现实的场景适应方法的流程图。其中，示意了示例说明了融合过程和原理。

需要说明的是，本发明的以上实施例的计算处理部件220可以由计算机程序指令实现，例如，通过专用的程序来实现，可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以构成本发明实施例的计算处理部件220，并且，可以由计算机或其他可编程数据处理设备的处理器执行的这些指令来创建用于实施这些流程图和/或框和/或一个或多个流程框图中指定的功能/操作的单元或部件。

并且，可以将这些计算机程序指令存储在计算机可读存储器中，这些指令可以指示计算机或其他可编程处理器以特定方式实现功能，以便存储在计算机可读存储器中的这些指令构成包含实施流程图和/或框图的一个或多个框中指定的功能/操作的指令部件的制作产品。

还应该注意在一些备选实现中，框中所示的功能/操作可以不按流程图所示的次序来发生。例如，依次示出的两个框实际可以基本同时地执行或这些框有时可以按逆序执行，具体取决于所涉及的功能/操作。

需要说明的是，本文公开和描绘的元件（包括附图中的流程图、方块图）意指元件之间的逻辑边界。然而，根据软件或硬件工程实践，描绘的元件及其功能可通过计算机可执行介质在机器上执行，计算机可执行介质具有能够执行存储在其上的程序指令的处理器，所述程序指令作为单片软件结构、作为独立软件模块或作为使用外部程序、代码、服务等的模块，或这些的任何组合，且全部这些执行方案可落入本公开的范围内。

虽然不同非限制性实施方案具有特定说明的组件，但本发明的实施方案不限于这些特定组合。可能使用来自任何非限制性实施方案的组件或特征中的一些与来自任何其它非限制性实施方案的特征或组件组合。

虽然示出、公开和要求了特定步骤顺序，但应了解步骤可以任何次序实施、分离或组合，除非另外指明，且仍将受益于本公开。

前述描述是示例性的而非定义成受限于其内。本文公开了各种非限制性实施方案，然而，本领域的一般技术人员将意识到根据上述教示，各种修改和变更将落入附属权利要求的范围内。因此，将了解在附属权利要求的范围内，可实行除了特定公开之外的公开内容。由于这个原因，应研读附属权利要求来确定真实范围和内容。

Claims (25)

1.一种场景适应型虚拟现实转换设备，其特征在于，包括计算处理部件，所述计算处理部件包括：

场景与物体识别模块，其用于对从现实空间中采集的场景与物体信息进行场景和物体的识别；

三维重建模块，其用于对识别的场景进行三维重建以得到三维空间模型；以及

融合模块，其用于至少基于所述三维空间模型对虚拟世界进行修改以至于修改后的虚拟世界下的可活动区域与现实空间中的可活动区域相适应。

2.如权利要求1所述的场景适应型虚拟现实转换设备，其特征在于，还包括用于采集所述场景与物体信息的传感器。

3.如权利要求1所述的场景适应型虚拟现实转换设备，其特征在于，所述传感器为以下部件中任意一种或它们的组合：图像传感器、红外传感器、深度信息传感器。

4.如权利要求1所述的场景适应型虚拟现实转换设备，其特征在于，所述三维重建模块还用于对识别的物体进行三维重建以得到相应的三维物体模型以及该三维物体模型在所述虚拟世界已知的坐标参考系下的坐标、方向和尺寸信息；

所述融合模块还用于至少基于所述三维物体模型及其坐标、方向和尺寸信息对修改后的虚拟世界下的可活动区域中的相应位置的虚拟物体进行匹配融合。

5.如权利要求4所述的场景适应型虚拟现实转换设备，其特征在于，所述融合模块还用于至少基于所述三维物体模型及其坐标、方向和尺寸信息对修改后的虚拟世界下的可活动区域中的相应位置的虚拟物体进行尺寸、颜色和/或显示方式方面的匹配融合。

6.如权利要求4所述的场景适应型虚拟现实转换设备，其特征在于，所述融合模块还用于至少基于某个物体的所述三维物体模型及其坐标、方向和尺寸信息对修改后的虚拟世界下的可活动区域中的相应位置的某个虚拟物体进行尺寸和颜色方面的一致性修改。

7.如权利要求6所述的场景适应型虚拟现实转换设备，其特征在于，所述某个物体为支付验证设备。

8.如权利要求7所述的场景适应型虚拟现实转换设备，其特征在于，所述支付验证设备为以下部件中任意一种或它们的组合：人脸识别部件、指纹识别部件、掌静脉识别部件、步态识别部件。

9.如权利要求1所述的场景适应型虚拟现实转换设备，其特征在于，所述三维重建模块还用于得到相应的三维空间模型在所述虚拟世界已知的坐标参考系下的坐标、方向和尺寸信息；

所述融合模块还用于基于所述三维空间模型及其坐标、方向和尺寸信息确定所述现实空间中的可活动区域。

10.如权利要求9所述的场景适应型虚拟现实转换设备，其特征在于，所述融合模块还用于至少基于所述三维空间模型及其坐标、方向和尺寸信息对所述虚拟世界中的虚拟场景和/或虚拟物体进行尺寸、颜色和/或显示方式方面的匹配融合。

11.如权利要求1所述的场景适应型虚拟现实转换设备，其特征在于，所述场景与物体识别模块还用于使用深度学习方法对场景和物体进行识别。

12.如权利要求1所述的场景适应型虚拟现实转换设备，其特征在于，所述场景与物体识别模块还用于识别所述物体的类别。

13.一种场景适应型虚拟现实***，其特征在于，包括：

虚拟现实设备，其用于提供包括虚拟场景和虚拟物体的虚拟世界；以及

如权利要求1至12中任一所述的场景适应型虚拟现实转换设备。

14.一种虚拟现实转换设备，其特征在于，包括计算处理部件，所述计算处理部件包括：

场景与物体识别模块，其用于对从现实空间中采集的场景与物体信息进行场景和物体的识别；

三维重建模块，其用于对识别的物体进行三维重建以得到相应的三维物体模型以及该三维物体模型在所述虚拟世界已知的坐标参考系下的坐标、方向和尺寸信息；以及

融合模块，其用于至少基于所述三维物体模型及其坐标、方向和尺寸信息对虚拟世界下的可活动区域中的相应位置的虚拟物体进行尺寸和颜色方面的一致性修改。

15.如权利要求1所述的虚拟现实转换设备，其特征在于，所述现实空间的物体为支付验证设备。

16.如权利要求15所述的虚拟现实转换设备，其特征在于，所述支付验证设备为以下部件中任意一种或它们的组合：人脸识别部件、指纹识别部件、掌静脉识别部件、步态识别部件。

17.如权利要求15所述的虚拟现实转换设备，其特征在于，还包括用于采集所述场景与物体信息的传感器。

18.一种虚拟现实***，其特征在于，包括：

虚拟现实设备，其用于提供包括虚拟场景和虚拟物体的虚拟世界；以及

如权利要求14至17中任一所述的虚拟现实转换设备。

19.一种虚拟现实的场景适应方法，其特征在于，包括步骤：

对从现实空间中采集的场景与物体信息进行场景和物体的识别；

对识别的场景进行三维重建以得到三维空间模型；以及

至少基于所述三维空间模型对虚拟世界进行修改以至于修改后的虚拟世界下的可活动区域与现实空间中的可活动区域相适应。

20.如权利要求19所述的场景适应方法，其特征在于，还包括步骤：

对识别的物体进行三维重建以得到相应的三维物体模型以及该三维物体模型在所述虚拟世界已知的坐标参考系下的坐标、方向和尺寸信息；和

至少基于所述三维物体模型及其坐标、方向和尺寸信息对修改后的虚拟世界下的可活动区域中的相应位置的虚拟物体进行匹配融合。

21.如权利要求20所述的场景适应方法，其特征在于，至少基于所述三维物体模型及其坐标、方向和尺寸信息对修改后的虚拟世界下的可活动区域中的相应位置的虚拟物体进行尺寸、颜色和/或显示方式方面的匹配融合。

22.如权利要求20所述的场景适应方法，其特征在于，在所述匹配融合步骤中：至少基于某个物体的所述三维物体模型及其坐标、方向和尺寸信息对修改后的虚拟世界下的可活动区域中的相应位置的某个虚拟物体进行尺寸和颜色方面的一致性修改。

23.一种虚拟现实的场景适应方法，其特征在于，包括步骤：

对从现实空间中采集的场景与物体信息进行场景和物体的识别；

对识别的物体进行三维重建以得到相应的三维物体模型以及该三维物体模型在所述虚拟世界已知的坐标参考系下的坐标、方向和尺寸信息；以及

至少基于所述三维物体模型及其坐标、方向和尺寸信息对虚拟世界下的可活动区域中的相应位置的虚拟物体进行尺寸和颜色方面的一致性修改。

24.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求19至23中任一所述方法的步骤。

25.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行以实现如权利要求19至23中任一所述方法的步骤。