CN114415827A - 一种为虚拟物体提供实体交互的方法、***及装置 - Google Patents

Abstract

本发明公开了一种为虚拟物体提供实体交互的方法、***及装置，能够本发明提出的技术能够实时为不同的虚拟物体提供实体反馈，通过使用移动装置自动组装基本体，构成虚拟物体对应的非预制实体，提供实体交互。一种为虚拟物体提供实体交互的方法包括如下步骤：根据用户所指定虚拟物体获取虚拟物体特征。基于虚拟物体特征计算虚拟物体的实体基本体组成信息。根据构成虚拟物体的虚拟基本体信息，控制装置将实体基本体进行实时搭建。根据终端设备虚拟场景和现实场景构建对应的虚拟场景，实现用户与虚拟物体的实体交互。本发明提出的方法可以实时为用户创建当前虚拟物体对应的物理实体模块，为虚拟物体提供可交互实体，提供丰富的触觉交互。

Description

一种为虚拟物体提供实体交互的方法、***及装置

技术领域

本发明涉及虚拟现实技术领域，具体涉及一种为虚拟物体提供实体交互的方法、***及装置。

背景技术

论文：Robotic Assembly of Haptic Proxy Objects for TangibleInteraction and Virtual Reality公开了使用小型机器人进行实时的组装，为虚拟环境中的虚拟物体提供实体交互。装有小型轮子的小型机器人通过2.4G无线电控制器位置，通过高速DLP结构的光投影仪进行光学跟踪来检测其实时位置和方向，小型机器人通过磁铁进行吸附组装。通过引入2.5D机器人外壳构成特定形状的实体，通过加入斜坡装置，实现两层物体的组装。这种小型机器人只能在平面空间进行运动组装，使用斜坡装置最多实现两层物体的组装。其次，该文章只实现了机器人的组装方式，可以为物体提供实体交互，需要根据虚拟物体预先定义机器人的运动模式。

论文：TanGi:Tangible Proxies for Embodied Object Exploration andManipulation in Virtual Reality公开了用户可以通过手动组装包括立方体、三角形、半球形和棒状的原始形状，为虚拟环境中的物体提供实体交互。其中，可使用尼龙搭扣带将原始形状组合成更大的篮球大小的复合对象。该技术需要用户根据虚拟形象手动组装基础形状，需要在沉浸在虚拟环境前进行组装，不能实现自动组装。

在虚拟环境中，虚拟物体一般只具有虚拟形象而不具有物理实体，用户与之交互时由于缺乏力反馈，物体交互性降低，易打破用户沉浸感。目前实体模块已常被用于为虚拟物物体提供力反馈。一种方式是通过一一对应的物理道具为对应虚拟物体提供力反馈，因为道具数量有限，但虚拟物体种类繁多且物理属性如形状、大小等都较为容易改变，该方式不适于为大量多种类虚拟物体提供物理实体。一种方式是通过组合基础形状为不同的虚拟物体提供力反馈，但目前通常需要用户提前进行组装进行预置，不具有实时性，很难适应具有不同的虚拟物体的虚拟场景。

发明内容

有鉴于此，本发明提供了一种为虚拟物体提供实体交互的方法、***及装置，能够本发明提出的技术能够实时为不同的虚拟物体提供实体反馈，通过使用移动装置自动组装基本体，构成虚拟物体对应的非预制实体，提供实体交互。

为达到上述目的，本发明的技术方案——一种为虚拟物体提供实体交互的方法包括如下步骤：

步骤1)根据用户所指定虚拟物体获取虚拟物体特征。

步骤2)基于虚拟物体特征计算虚拟物体的虚拟基本体组成信息。

步骤3)根据构成虚拟物体的虚拟基本体信息，确定实体基本体，并利用控制装置将实体基本体进行实时搭建。

步骤4)根据终端设备虚拟场景和现实场景构建对应的虚拟场景，实现用户与虚拟物体的实体交互。

进一步地，根据用户所指定虚拟物体获取虚拟物体特征，具体为：

虚拟物体来自于其他终端设备或者服务器，并存储在服务器中，终端设备在接收到获取虚拟物体的指令后，从服务器加载虚拟物体到终端设备中。

虚拟物体由用户实时创建，通过相机或者扫描仪获取远端物品的RGB图像或者胜读图像信息，通过实时重建方法完成3D虚拟模型的构建。

根据虚拟物体模型信息获取虚拟物体特征，虚拟物体特征包括虚拟物体的大小、方向、表面纹理信息，使用体素、三维点云、Mesh网格、八叉树表示以及TSDF方法进行虚拟物体信息存储。

进一步地，基于虚拟物体特征计算虚拟物体实体基本体组成信息，具体为：

根据虚拟物体特征计算所需要的基本体的类别、大小、数量和位姿信息，虚拟物体特征包括虚拟物体的大小、方向和表面纹理信息；基本体包含正方体、长方体、球体、半球体以及椎体，一个虚拟物体对应实体由一种以上的基本体组成，基本体具有多种尺寸，实体的基本体和虚拟物体的基本体具有相同的尺寸。

进一步地，根据虚拟物体特征计算所需要的基本体的类别、大小、数量和位姿信息，采用如下强化学习的方式计算：

先根据现有的基本体构建包含所有虚拟基本体的组合库。

然后开始时，虚拟环境中不包含虚拟基本体，代理人执行增加的动作，添加任意一个虚拟基本体组合库中的一个虚拟基本体，在虚拟环境中添加一个虚拟基本体，并计算奖励或者惩罚；代理根据当前虚拟环境中的虚拟基本体执行动作，动作为对虚拟环境中的每个虚拟基本体进行增加、删除、左移、右移、上移、下移、前移、后移，当前虚拟环境为现有虚拟体的数量、类型、位姿、大小，得到一个新的状态，同时产生一个强化信号，强化信号为奖励或者惩罚，代理根据当前环境和强化信号再选择下一个动作。

其中强化信号，即奖励和惩罚的具体计算方式为根据已选择的虚拟基本体的位姿、大小和虚拟物体的大小计算体积重合程度，重合程度比执行动作前高记为奖励，否则记为惩罚；如果为奖励，则下一个动作为增加、左移、右移、上移、下移、前移、后移中一种，如果为惩罚，则下一个动作为删除、左移、右移、上移、下移、前移、后移中一种；增加为基本体组合库中的一个虚拟基本体，其他动作作用于一个环境中已有的虚拟基本体。

动作一直执行直到选取放置的虚拟基本体与虚拟物体的大小体积重合程度最大，此时的选取放置的虚拟基本体的种类、位姿等信息即为虚拟物体虚拟基本体信息。

进一步地，根据虚拟物体特征计算所需要的基本体的类别、大小、数量和位姿信息，采用卷积神经网络的学习方式计算：

首先构建训练样本，训练网络的输入为多种物体的体素或者点云信息，经过卷积网络，预测所需虚拟基本体的种类、位姿，然后根据预测结果计算损失，进行反向传播，更新网络参数；损失包括：预测虚拟基本体的和虚拟物体的大小重合程度；虚拟基本体组合的物理合理性，例如，虚拟基本体不能悬空，需要放置在地面或者其他虚拟基本体上。对网络进行训练，当损失不再减小时候停止。

使用时，输入虚拟物体特征，即体素或者点云信息，经过卷积网络得到的预测虚拟基本体的种类、位姿，即为虚拟物体虚拟基本体信息。

进一步地，根据构成虚拟物体的虚拟基本体信息，控制装置将实体基本体进行实时搭建，具体为：

根据已有虚拟场景，将构建实体的虚拟物体渲染到虚拟场景中，用户通过显示设备看到虚拟物体，并在真实环境中与虚拟物体对应的实体进行交互，形成力反馈。

交互过程中，如果虚拟物体进行了移动，进行实时更新，重新进行部分实体的组装。

与实体的交互是通过在实体上安装传感器或者通过获取实际环境图像进行用户的交互检测。

本发明的另一实施例提供了一种为虚拟物体提供实体交互的***，包括计算模块，控制模块，显示模块和交互模块。

计算模块包括虚拟物体特征获取模块，虚拟基本体提取模块，实体基本体控制信息计算模块，虚拟场景控制模块。虚拟物体特征获取模块用于根据用户所指定的虚拟物体获取该虚拟物体的特征，并传输给虚拟基本体提取模块。虚拟基本体提取模块用于基于虚拟物体虚拟特征计算虚拟物体虚拟基本体信息传输给实体基本体控制信息计算模块。实体基本体控制信息计算模块用于根据构成虚拟物体的虚拟基本体信息，计算组装实体基本体的确定、组合顺序以及组合路径规划，传输给控制模块。虚拟场景控制模块用于计算其他虚拟场景以及具有物理实体的虚拟物体的信息，传输给显示模块进行渲染显示。

控制模块根据组装实体基本体的确定、组合顺序以及组合路径规划信息，将实体基本体模块进行组装。

显示模块用于现实虚拟场景信息，包括原有虚拟场景信息以及具有实体的虚拟物体。

交互模块用于获取用户的交互信息，并传输给计算模块。

本发明的另一实施例提供了一种为虚拟物体提供实体交互的***装置，该***装置包括处理器、控制装置、显示装置、交互装置和存储器；***装置中各部分通过有线或者无线进行相连。

处理器与存储器相连；存储器存储处理器可读指令，指令可由处理器执行完成上述***的功能。

存储器为非易失性计算机可读介质，其上存储有计算机程序；存储器为本地存储器或者云端存储器，处理器为本地处理器或者云端存储器。

显示装置用于显示上述提及虚拟环境及其中的虚拟物体，与处理器相连；处理器和存储器位于显示装置中或者单独分开。

控制装置用于控制实体的组合，可使用外界固定装置和移动装置。

交互装置由检测用户交互意图的装置，为至少一个的检测设备构成，交互装置位于显示装置上，或者位于实际环境中，包括但不限于眼动检测设备、头动检测设备、手势检测设备、压力传感器以及温度传感器。

有益效果：

1、本发明提出一种为虚拟物体提供可交互实体的方法、***及装置，能够使用有限种类的基本体组合为不同虚拟物体对应实体，为虚拟环境中虚拟物体提供力反馈，提高用户在虚拟环境中的沉浸感、娱乐性、交互效率。降低实体构建成本，实体基本体可以重复使用，用于不同的虚拟物体，避免类似3D打印技术打印物体只能为单一的虚拟物体提供力反馈的问题；提高实体构建效率，处理器可以根据虚拟物体信息自动提取基本体构建信息，并通过控制设备自动完成构建过程，无需人为为不同的虚拟物体手动进行构建。本发明提出的方法可以实时为用户创建当前虚拟物体对应的物理实体模块，为虚拟物体提供可交互实体，提供丰富的触觉交互。

2、本发明可实时根据虚拟物体信息，通过神经网络将虚拟物体抽象成为可由基础模块构成的形态，移动装置根据该形态信息控制实体基础模块的组装，从而为虚拟物体提供实体反馈。

3、本发明使用有限种类的基本体不同组合为不同的虚拟物体提供力反馈；使用算法自动计算基本体构建信息，而非传统人工构建方式，提高组合效率；通过机械臂、机器人等控制装置，自动完成基本体的组合，降低人工组合成本，提高组合效率。

附图说明

图1是本发明实施例中基本体示例示意图；

图2是本发明提供的一种为虚拟物体提供实体交互的***构成示意图；

图3是本发明提供的一种为虚拟物体提供实体交互的***流程图；

图4是本发明实施例中单一基本体构成的示例示意图；其中：图4中的(a)机械臂完成虚拟对象单一对应实体的组装示意图；图4中的(b)具有单一实体反馈的虚拟物体的实现示意图；

图5是本发明实施例中多种基本体构成的示例示意图；其中：图5中的(a)机械臂完成虚拟多种对象对应实体的组装示意图；图5中的(b)具有多种实体反馈的虚拟物体的实现示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明可实时根据虚拟物体信息，通过神经网络将虚拟物体抽象成为可由基础模块构成的形态，移动装置根据该形态信息控制实体基础模块的组装，从而为虚拟物体提供实体反馈。

本发明提供了一种为虚拟环境中虚拟物体提供实体交互的方法、***和装置。

具体方法为：1)根据用户所指定虚拟物体获取虚拟物体特征；2)基于虚拟物体特征计算虚拟物体实体基本体组成信息；3)根据构成虚拟物体的虚拟基本体信息，控制装置将实体基本体进行实时搭建；4)根据终端设备虚拟场景和现实场景构建对应的虚拟场景，实现用户与虚拟物体的实体交互。

1)根据所指定的虚拟物体获取该虚拟物体的特征。

虚拟物体可以来自于其他终端设备或者服务器，并存储在服务器中，终端设备在接收到获取虚拟物体的指令后，可以从服务器加载虚拟物体到终端设备中。虚拟物体也可以由用户实时创建，例如，通过相机或者扫描仪获取远端物品的RGB图像或者胜读图像信息，通过实时重建方法完成3D虚拟模型的构建。

根据虚拟物体模型信息获取虚拟物体特征信息，用于下一步骤进行虚拟物体对应基本体的生成。特征信息可包括虚拟物体的大小、方向、表面纹理信息等，可以使用体素、三维点云、Mesh网格、八叉树表示、TSDF等方法进行虚拟物体信息存储。

虚拟物体可具有不同的尺寸和形状，例如，射击枪和办公桌。

2)基于虚拟物体虚拟特征计算虚拟物体虚拟基本体信息。

根据虚拟物体大小、方向、纹理等信息计算所需要的基本体的类别、大小、数量、位姿等信息。基本体由正方体、长方体、球体、半球体、椎体等构成，实际使用时可包含一种及其以上的基本体，如图1所示。基本体具有多种尺寸，分为实体基本体和虚拟基本体。实体基本体和虚拟基本体具有相同的尺寸。

此外，基本体模块上可以添加附加模块，比如，在模块下方添加轮子，使得模块能够在真实环境中移动；添加震动模块，提供主动力反馈。

计算方法可使用传统计算方法，也可使用基于神经网络的强化学习和深度学习方法进行计算。实体基本体为现实场景中具有的实际的实体模块，已有实体模块的数量、尺寸等需要输入到计算中作为约束，保证计算得到的需要的虚拟基本体为已有基本体。此外，需要考虑实体组合的物理属性，进行约束，比如，基本体不能悬空存在。计算获得的需要的虚拟基本体组成信息包括需要使用的基本体的类别、数量以及每个基本体的六自由度位姿信息。

其中一种方式是通过用户直接指定需要进行组装的实体模块的类别、数量以及每个基本体的位置以及方向。

其中一种传统的计算方式为用户将一定数量的小的基本虚拟方块与虚拟物体进行交并比计算，得到相交的虚拟方块，然后对虚拟方块进行合并，计算能够构成的不同的基本虚拟体。

其中一种基于强化学习的方式，该方式是一种决策框架，代理通过执行动作和环境进行交互的带一个新的状态，并获得奖励或惩罚，从而决定更新环境。奖励和惩罚的计算是根据虚拟物体特征和组合基本体计算得到。

在该发明中，具体为：首先根据现有的基本体构建包含所有虚拟基本体的组合库。然后开始时，虚拟环境中不包含虚拟基本体，代理人执行增加的动作，添加任意一个虚拟基本体组合库中的一个虚拟基本体，在虚拟环境中添加一个虚拟基本体，并计算奖励或者惩罚。代理根据当前环境中的虚拟基本体执行动作，动作为对环境中的每个虚拟基本体进行增加、删除、左移、右移、上移、下移、前移、后移，当前虚拟环境为现有虚拟体的数量、类型、位姿、大小，得到一个新的状态，同时产生一个强化信号(奖励或者惩罚)，代理根据当前虚拟环境和强化信号再选择下一个动作。

其中奖励和惩罚的具体计算方式为根据已选择的虚拟基本体的位姿、大小和虚拟物体的大小计算体积重合程度，重合程度比执行动作前高记为奖励，否则记为惩罚。如果为奖励，则下一个动作为增加、左移、右移、上移、下移、前移、后移中一种，如果为惩罚，则下一个动作为删除、左移、右移、上移、下移、前移、后移中一种；增加为基本体组合库中的一个虚拟基本体，其他动作作用于一个环境中已有的虚拟基本体。

动作一直执行直到选取放置的虚拟基本体与虚拟物体的大小体积重合程度最大，此时的选取放置的虚拟基本体的种类、位姿等信息即为虚拟物体虚拟基本体信息。

其中一种深度学习的方式为基于卷积神经网络的学习方式。

首先构建训练样本，训练网络的输入为多种物体的体素或者点云信息，经过卷积网络，预测所需虚拟基本体的种类、位姿，然后根据预测结果计算损失，进行反向传播，更新网络参数。损失包括：预测虚拟基本体的和虚拟物体的大小重合程度；虚拟基本体组合的物理合理性，例如，虚拟基本体不能悬空，需要放置在地面或者其他虚拟基本体上。对网络进行训练，当损失不再减小时候停止。

使用时，输入物体的体素或者点云信息，经过卷积网络得到的预测虚拟基本体的种类、位姿，即为虚拟物体虚拟基本体信息。

3)根据构成虚拟物体的虚拟基本体信息，确定实体基本体，并利用控制装置将实体基本体进行实时搭建，构建组合实体，其中实体基本体的控制信息是根据虚拟基本体的信息得到的。

控制装置根据上述步骤生成的虚拟物体对应的虚拟基本体的类别、数量及六自由度信息确定需要进行组装的实体基本体，并规划组合顺序以及组合路径，控制实体基本体的移动及组合。

组装实体基本体的确定、组合顺序以及组合路径规划每一个步骤都可以通过用户进行指定或者自动方式。用户指定方式通过用户直接指定需要组装的基本体以及每个基本体的搭建顺序，搭建路径。自动方式中基本体的确定可以通过采集所有实体基本体的RGB或RGBD图像或者其他信息，经过计算，先获取每个基本体的大小尺寸等，更具上一步骤生成的信息确定需要使用的基本体；自动方式中组合顺序的确定可以根据上一步骤生成的信息按照一定规则进行计算得到基本体的组合顺序，例如先放最下层物体，最下层物体先放置大的物体等等；自动方式中的路径规划可根据每个实体基本体的现有位姿以及该实体在组合中的位姿进行计算得到。

实体基本体需要能够有效连接，比如，实体基本体具有磁力，能够进行较稳定的连接。

4)根据终端设备已有虚拟场景和现实场景构建对应的虚拟场景，实现用户与虚拟物体的实体交互，并可更具虚拟物体的移动对基本体进行构建。

根据已有虚拟场景，将构建实体的虚拟物体渲染到虚拟场景中，用户能够通过显示设备看到虚拟物体，并能够在真实环境中与虚拟物体对应的实体进行交互，形成力反馈。交互过程如果虚拟物体进行了移动，可进行实时更新，重新进行部分实体的组装。

此外，用户交互可以导致虚拟物体或者实体的变化。如当用户与特定物***置交互时，改变虚拟物体的颜色，或者导致虚拟物体移动，当导致虚拟物体移动时，需要实时进行实体的重组装。用户交互可以通过虚拟交互信息或者实体交互信息进行检测。虚拟交互信息包括用户虚拟手、头部射线、眼动等信息。实体交互可以通过在实体上安装传感器(例如压力传感器、温度传感器等)或者通过获取实际环境图像等进行用户的交互检测。

本发明实施例还提供了一种为虚拟环境中虚拟物体提供实体交互的***，该***包括：计算模块，控制模块，显示模块，交互模块，如图2所示。

计算模块包括虚拟物体特征获取模块，虚拟基本体提取模块，实体基本体控制信息计算模块，虚拟场景控制模块。虚拟物体特征获取模块用于根据用户所指定的虚拟物体获取该虚拟物体的特征，并传输给虚拟基本体提取模块。虚拟基本体提取模块用于基于虚拟物体虚拟特征计算虚拟物体虚拟基本体信息传输给实体基本体控制信息计算模块。实体基本体控制信息计算模块用于根据构成虚拟物体的虚拟基本体信息，计算组装实体基本体的确定、组合顺序以及组合路径规划，传输给控制模块。虚拟场景控制模块用于计算其他虚拟场景以及具有物理实体的虚拟物体的信息，传输给显示模块进行渲染显示。

控制模块根据组装实体基本体的确定、组合顺序以及组合路径规划信息，将实体基本体模块进行组装。

显示模块用于现实虚拟场景信息，包括原有虚拟场景信息以及具有实体的虚拟物体。

交互模块用于获取用户的交互信息，并传输给计算模块。

***工作流程图如图3所示：首先从虚拟环境确定需要进行实体交互的虚拟物体，然后进行改虚拟物体的虚拟物体特征提取，根据提取信息计算构建所需的虚拟基本体的信息，然后计算得到其对应实体的类别、数量、组合顺序和组合路径，根据计算结果可以进行实体组合，组合的实体和虚拟环境中的选定的虚拟物体对应，其虚拟物体和虚拟环境中通过显示设备显示给用户；用户可以和虚拟环境中包括选定的虚拟物体进行交互，也可和选定虚拟物体对应的组合的实体进行交互，交互结果将作用于包括选定的虚拟物体的虚拟环境。

该***装置包括处理器、控制装置、显示装置、交互装置、存储器。***装置通过有线或者无线进行相连。

处理器与存储器相连。存储器存储处理器可读指令，指令可由处理器执行完成上述***的功能。存储器为非易失性计算机可读介质，其上存储有计算机程序。存储器可以为本地存储器或者云端存储器，处理器可以为本地处理器或者云端存储器。

显示装置用于显示上述提及虚拟环境及其中的虚拟物体，与处理器相连。处理器和存储器可以位于显示装置，也可单独分开。

控制装置用于控制实体的组合，可使用外界固定装置和移动装置，例如，移动机器人、机械臂等。

交互装置由检测用户交互意图的装置，为大于等于一个的检测设备构成，可以位于显示装置上，也可位于实际环境中，包括但不限于眼动检测设备、头动检测设备、手势检测设备、压力传感器、温度传感器等等。

图4展示了一个由单一基本体构成的示例，在该示例中，单一基本体为正方体。图4(a)中机械臂作为控制装置，根据虚拟物体计算得到的对应实体的信息将已有的实体基本体组装成为虚拟物体的对应实体。如图4(b)所示，用户能够在真实环境中与实体进行交互，实体为对应虚拟物体提供力反馈。

图5展示了一个由多个基本体构成的示例，在示例中，基本体由正方体、长方体、半球体构成。

综上，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种为虚拟物体提供实体交互的方法，其特征在于，包括如下步骤：

步骤1)根据用户所指定虚拟物体获取虚拟物体特征；

步骤2)基于虚拟物体特征计算虚拟物体的虚拟基本体组成信息；

步骤3)根据构成虚拟物体的虚拟基本体信息，确定实体基本体，并利用控制装置将实体基本体进行实时搭建；

步骤4)根据终端设备虚拟场景和现实场景构建对应的虚拟场景，实现用户与虚拟物体的实体交互。

2.如权利要求1所述的方法，其特征在于，所述根据用户所指定虚拟物体获取虚拟物体特征，具体为：

所述虚拟物体来自于其他终端设备或者服务器，并存储在所述服务器中，终端设备在接收到获取所述虚拟物体的指令后，从服务器加载虚拟物体到所述终端设备中；

虚拟物体由用户实时创建，通过相机或者扫描仪获取远端物品的RGB图像或者胜读图像信息，通过实时重建方法完成3D虚拟模型的构建；

根据虚拟物体模型信息获取虚拟物体特征，虚拟物体特征包括虚拟物体的大小、方向、表面纹理信息，使用体素、三维点云、Mesh网格、八叉树表示以及TSDF方法进行虚拟物体信息存储。

3.如权利要求1或2所述的方法，其特征在于，所述基于虚拟物体特征计算虚拟物体实体基本体组成信息，具体为：

根据虚拟物体特征计算所需要的基本体的类别、大小、数量和位姿信息，所述虚拟物体特征包括虚拟物体的大小、方向和表面纹理信息；所述基本体包含正方体、长方体、球体、半球体以及椎体，一个虚拟物体对应实体由一种以上的基本体组成，基本体具有多种尺寸，实体的基本体和虚拟物体的基本体具有相同的尺寸。

4.如权利要求3所述的方法，其特征在于，所述根据虚拟物体特征计算所需要的基本体的类别、大小、数量和位姿信息，采用如下强化学习的方式计算：

先根据现有的基本体构建包含所有虚拟基本体的组合库；

然后开始时，虚拟环境中不包含虚拟基本体，代理人执行增加的动作，添加任意一个虚拟基本体组合库中的一个虚拟基本体，在虚拟环境中添加一个虚拟基本体，并计算奖励或者惩罚；代理根据当前虚拟环境中的虚拟基本体执行动作，动作为对虚拟环境中的每个虚拟基本体进行增加、删除、左移、右移、上移、下移、前移、后移，当前虚拟环境为现有虚拟体的数量、类型、位姿、大小，得到一个新的状态，同时产生一个强化信号，所述强化信号为奖励或者惩罚，代理根据当前环境和强化信号再选择下一个动作；

其中强化信号，即奖励和惩罚的具体计算方式为根据已选择的虚拟基本体的位姿、大小和虚拟物体的大小计算体积重合程度，重合程度比执行动作前高记为奖励，否则记为惩罚；如果为奖励，则下一个动作为增加、左移、右移、上移、下移、前移、后移中一种，如果为惩罚，则下一个动作为删除、左移、右移、上移、下移、前移、后移中一种；增加为基本体组合库中的一个虚拟基本体，其他动作作用于一个环境中已有的虚拟基本体；

动作一直执行直到选取放置的虚拟基本体与虚拟物体的大小体积重合程度最大，此时的选取放置的虚拟基本体的种类、位姿等信息即为虚拟物体虚拟基本体信息。

5.如权利要求3所述的方法，其特征在于，所述根据虚拟物体特征计算所需要的基本体的类别、大小、数量和位姿信息，采用卷积神经网络的学习方式计算：

首先构建训练样本，训练网络的输入为多种物体的体素或者点云信息，经过卷积网络，预测所需虚拟基本体的种类、位姿，然后根据预测结果计算损失，进行反向传播，更新网络参数；损失包括：预测虚拟基本体的和虚拟物体的大小重合程度；虚拟基本体组合的物理合理性，例如，虚拟基本体不能悬空，需要放置在地面或者其他虚拟基本体上。对网络进行训练，当损失不再减小时候停止；

使用时，输入虚拟物体特征，即体素或者点云信息，经过卷积网络得到的预测虚拟基本体的种类、位姿，即为虚拟物体虚拟基本体信息。

6.如权利要求3、4或5所述的方法，其特征在于，所述根据构成虚拟物体的虚拟基本体信息，确定实体基本体，并利用控制装置将实体基本体进行实时搭建，具体为：

根据已有虚拟场景，将构建实体的虚拟物体渲染到虚拟场景中，用户通过显示设备看到虚拟物体，并在真实环境中与虚拟物体对应的实体进行交互，形成力反馈；

交互过程中，如果虚拟物体进行了移动，进行实时更新，重新进行部分实体的组装；

与实体的交互是通过在实体上安装传感器或者通过获取实际环境图像进行用户的交互检测。

7.一种为虚拟物体提供实体交互的***，其特征在于，包括计算模块，控制模块，显示模块和交互模块；

所述计算模块包括虚拟物体特征获取模块，虚拟基本体提取模块，实体基本体控制信息计算模块，虚拟场景控制模块。虚拟物体特征获取模块用于根据用户所指定的虚拟物体获取该虚拟物体的特征，并传输给虚拟基本体提取模块。虚拟基本体提取模块用于基于虚拟物体虚拟特征计算虚拟物体虚拟基本体信息传输给实体基本体控制信息计算模块。实体基本体控制信息计算模块用于根据构成虚拟物体的虚拟基本体信息，计算组装实体基本体的确定、组合顺序以及组合路径规划，传输给控制模块。虚拟场景控制模块用于计算其他虚拟场景以及具有物理实体的虚拟物体的信息，传输给显示模块进行渲染显示；

所述控制模块根据组装实体基本体的确定、组合顺序以及组合路径规划信息，将实体基本体模块进行组装；

所述显示模块用于现实虚拟场景信息，包括原有虚拟场景信息以及具有实体的虚拟物体；

所述交互模块用于获取用户的交互信息，并传输给计算模块。

8.一种为虚拟物体提供实体交互的***装置，其特征在于，该***装置包括处理器、控制装置、显示装置、交互装置和存储器；***装置中各部分通过有线或者无线进行相连；

处理器与存储器相连；存储器存储处理器可读指令，指令可由处理器执行完成上述***的功能；

存储器为非易失性计算机可读介质，其上存储有计算机程序；存储器为本地存储器或者云端存储器，处理器为本地处理器或者云端存储器；

显示装置用于显示上述提及虚拟环境及其中的虚拟物体，与处理器相连；处理器和存储器位于显示装置中或者单独分开；

控制装置用于控制实体的组合，可使用外界固定装置和移动装置；

交互装置由检测所述用户交互意图的装置，为至少一个的检测设备构成，交互装置位于显示装置上，或者位于实际环境中，包括但不限于眼动检测设备、头动检测设备、手势检测设备、压力传感器以及温度传感器。

Images