CN107463248A - 一种基于动态捕捉与全息投影的远程交互方法 - Google Patents

Abstract

本发明涉及一种基于动态捕捉与全息投影的远程交互方法，属于人机交互领域。在云端存储共享虚拟场景和共享虚拟模型，在用户个人的数据库内存储自定义虚拟场景和虚拟模型，使用光运动捕捉设备进行运动捕捉，使用音频输入设备进行语音捕捉；然后在云端建立逻辑主机管理一级逻辑从机及二级逻辑从机对采集的数据进行处理，最后客户端使用三维全息立体投影技术将接收到的云端处理好的立体场景全息信息投影到空气或者水雾上，实现用户与三维影像的交互。本发明利用运动捕捉和全息投影等技术，将视频通话拓展为远程虚拟交互的裸眼增强现实技术。

Description

一种基于动态捕捉与全息投影的远程交互方法

技术领域

本发明涉及一种基于动态捕捉与全息投影的远程交互方法，属于人机交互 领域。

背景技术

现有的视频交互过程中，由于屏幕是二维的，交互的方式不够自然，绝大部分时间滞留在电脑前的一小块区域，且无法完成远程控制实体的交互，因此非常限制交互的内容，比如参加学术交流必须本人亲自到场才能讲解，路程远的一旦延误就只能作罢。

发明内容

本发明所要解决的技术问题：针对现有技术的不足，本发明利用运动捕捉和全息投影等技术，将视频通话拓展为远程虚拟交互的裸眼增强现实技术。

本发明采用的技术方案：一种基于动态捕捉和全息投影的远程交互方法，包括如下步骤：

（一）数据采集

1.1在云端存储共享虚拟场景，利用建模软件绘制出模型周围的虚拟场景，在云端提供多种常用模型场景的共享；

1.2在云端存储共享虚拟模型，利用建模软件制作出经典的虚拟模型，在云端提供多种常用虚拟模型的共享；

1.3在用户个人的数据库内存储自定义虚拟场景，用户自定义的虚拟场景，是通过建模软件建模或者通过照片拍照建模方式建立的场景；

1.4在用户个人的数据库内存储自定义虚拟模型，用户自定义的虚拟模型，是通过建模软件建模或者三维人体扫描仪扫描出的目标模型；

1.5使用光运动捕捉设备进行运动捕捉，捕捉到精确的骨骼运动数据，骨骼运动数据实时传输到云端以与虚拟模型实时绑定；

1.6使用音频输入设备进行语音捕捉，语音数据实时传输到云端以与虚拟模型实时绑定；

（二） 数据处理

2.1云端建立逻辑主机管理一级逻辑从机；

2.2一级逻辑从机调用个人模型数据、骨骼运动数据、场景数据、实时语音进行绑定，并按用户预设处理合成的场景，同时分配三个虚拟摄像机位置：分别是一个观察者视角与两个独立的交互者眼睛视角；

2.3一级逻辑从机下设两个二级逻辑从机，用于信息的发送和接收，默认分别用来从两个独立的交互者眼睛视角来观察场景，用户设定观察者视角时，将其对应的二级逻辑从机使用观察者视角；

（三）图像呈现

客户端使用三维全息立体投影技术将接收到的云端处理好的立体场景全息信息投影到空气或者水雾上，实现用户与三维影像的交互。

优选的，所述数据处理中可在研讨中心或者展厅中设置逻辑从机用于进行多个人信息的同时绑定和合成，实现群组视频功能。

优选的，由于信息控制是由逻辑主机完成的，那么可以专设一类逻辑从机来进行多个人信息的同时绑定和合成，实现群组“视频”功能，这种逻辑从机采用分布式计算来快速处理减少延迟。设置在一些重要研讨中心或者展厅中，即使无人可以到场，一样不会影响向观众展示。

优选的，基于人的语言通常不是指令式的那么严谨，可以将设置语音“命令识别”或者某一特定动作等来触发语音识别库和动作识别库，表示接下来是比较精确的操作。

优选的，将3DMAX或者MAYA等软件的可操作性集成到客户端的***功能中，比如通过简单的拉伸平移旋转来创作一个桌子或者演示一些操作，以便最终扩展为一个三维版的智能操作***。

优选的，确定修改场景后将场景传回云端同步，并且同一时间只能有一个人操作场景。

优选的，客户端可以用Kinect进行模糊捕捉（精度1cm）以降低成本，研究机构的演示可以通过光运动捕捉进行精确高速捕捉（精度1mm），展厅和报告厅可以使用“群组”功能来为研究机构和公司服务，也可以将模型绑定机器人来进行远程实体操作。

本发明的有益效果：

1、更贴近自然交互；

2、交互的内容更加丰富；

3、通过绑定机器人可以完成简单的实体交互；

4、研讨会、演唱会等大型会展可以同时转播，实况观看；

5、帮助残疾人、无法回家的工作者等特殊群体实现更贴近真实的远程交流。

附图说明

图1为本发明的远程交互方法流程图；

图2 为本发明的远程交互原理图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

实施例1：如图1所示，首先用户1使用客户端向服务端申请连接用户2，如果被拒绝则结束。若被用户2接收请求，客户端则向服务器端查询通用户1是否存在可用的模型和场景来判断其是否为第一次使用，如果不存在可用的模型和场景则询问是否新创建。如果用户选择新创建则通过三维人体扫描仪扫描得到模型，通过3D场景设置获取场景模型或者通过建模工具建模构建上述模型，经处理为标准模型数据和场景设置参数数据后上传到用户资料库；否则用户需要从提供的共享模型和场景中选取并重新申请连接用户2。如果存在可用的模型和场景，用户1选择交互时使用的模型和场景，考虑到模型和场景信息中有大量重复和冗余信息，可以从服务端同步场景模型信息到本地，并通过动态捕捉设备捕捉动作信息和麦克风设备捕捉声音信息，经过客户端处理后得到标准骨骼运动数据和标准音频数据，上传到服务器端。

服务器端逻辑主机收到请求，分配闲置二级从机接收，二级逻辑从机接收数据完成通知逻辑主机。考虑到每个节点物理上不止一台，选取闲置状态的机器优先使用，逻辑主机指定二级从机上传数据到某一级逻辑从机。二级从机上传数据到一级逻辑从机。一级逻辑从机接收数据完成后合并场景并设置视角，向逻辑主机，请求发送到二级逻辑从机。逻辑主机分配闲置二级从机接收，接着一级逻辑从机发送场景全息数据和设置数据，二级逻辑从机接收数据，完成后通知逻辑主机，逻辑主机指定二级逻辑从机向客户端发送数据。

客户端接收全息数据和设置数据，客户端按设置处理为观察者位置视角或者某一用户视角，还原全息数据为3D场景，最后全息投影3D场景到用户1的场景。

实施例2：如图2 所示，纵向的虚线将整个图分为实虚两部分，指的是现实与虚像，而上下两个矩形虚线框内则是交互的两个客户端构建的场景。可以看到从左上通过中间的处理服务到右下的箭头所在路径，表示用户1的实际情况在用户2所在客户端处映射了一个用户1的像，实际的用户2就与这个用户1的像建立了交互，这里只是概述，详细流程见图1说明；而从左下通过中间的处理服务到右上的箭头所在路径，表示用户2的实际情况在用户1所在客户端处映射了一个用户2的像，实际的用户1就与这个用户2的像建立了交互。这种交互类似与远程视频交互但是可以交互更多的信息，尤其是当像对视角等要求降低，甚至可以用机械跟随运动时，远程会议等特殊需求可以得到满足。

通过本发明提供的远程交互方法，能够更加自然、多样化地进行远程交互。如图2本发明的远程交互原理图，可以很自然的将虚像与现实联系起来。通过三维人体扫描仪来创建逼真的用户模型，通过高精度的运动捕捉***来获取用户的行为信息，通过语音***获取用户的音频信息，通过互联网技术实现用户的远程信息交换，通过3D建模技术创建定制的交互场景，通过全息投影技术呈现可全方位裸眼观测的增强现实环境，可有助于精确构建逼真的交互环境，实现人与人之间更丰富的交互体验，而且可以做通常的视频通话做不到的远程行为演示和远程实体操作。

实施例3：在本发明的数据采集中，所述三维人体扫描仪类型在保障不伤害人体的前提下采用激光等精确定位技术，逐层绘制模型。人静止而激光定位点快速螺旋上升或者下降，可绘制360度的人体表面精确位置。所述模型按骨骼结构进行分割，通过将生成模型传入云端处理，为了与人的动作实时绑定，骨骼关节处转动和折叠最为频繁，而其他部分的形变相比较小，因此以人体骨骼结构划分各部分的控制区域更为快速且能保持一定的准确性。

在本发明的数据采集中，所述运动捕捉技术为光运动捕捉：光运动捕捉比传感器捕捉更为贴近人的自然本性，特殊机构的场地和灯光可以专门设置来克服大量的光学捕捉器，固定的场地可以有一次标定永久使用的好处，且精确度不变；家用可以使用精确度较低的光学设备，如Kinect。通过减轻甚至移除人需要携带的标记物来取得用户的好感比降低成本繁琐的穿戴笨重的设备更加贴近自然交互，更容易被接受。通过降低精确度来降低家用设备成本来应对不同层次的需求。

在数据处理中，所述逻辑主机并不止有一台物理主机，且稳定性要好。一个逻辑主机节点可以是一个计算集群，且担当着大脑的角色，因此稳定性要最优先考虑，必要时要有多个物理主机进行协同任务。因此应以分布式集群搭建计算环境，且必要时使用第三方集群如zookeeper这样的高可用服务进行监听和通知逻辑主机节点状态。二级逻辑从机必须有足够快的通信速度，且接收的是采集信息，发送的是全息信息。

在数据传输中，连接采用TCP协议并且远程通信时采用UDP协议的混合方式，由于连接的建立稳定性更重要，而交互期间则常常以实时性更重要，那么可以在建立连接时采用TCP协议连接保证稳定性，而在传输语音动作等数据时采用UDP协议使得传输及时性得到保证。

在图像呈现中，全息投影技术投影出的是可以从任意角度裸眼观察的图像。与带着特制眼睛或者头盔相比，裸眼观察可以更加方便的进行交互。

其中全息投影的屏幕必须是自然空气中可以含有的成分。 现在比较成熟的技术有空气投影以及激光束投射实体的3D影像的交互技术。空气投影：在气流形成的墙上投影出具有交互功能的图像。此技术来源海市蜃楼的原理，将图像投射在水蒸气液化形成的小水珠上，由于分子震动不均衡，可以形成层次和立体感很强的图像。激光束投射实体的3D影像：这种技术是利用氮气和氧气在空气中散开时，混合成的气体变成灼热的浆状物质，并在空气中形成一个短暂的3D图像。这种方法主要是不断在空气中进行小型***来实现的。

相比于当前不太美观、规模过小且色调单一的激光束投射实体的3D影像，完全自然存在的空气和喷射出一定量的水蒸气（不可见）可以让人有更好的体验。

在本发明的远程交互***中，针对多人情况应专设一类逻辑从机来进行多个人信息的同时绑定和合成，实现群组“视频”功能。

人与人之间的交互习惯与人机交互是不同的，需要区别开以防止误操作。随意的话对人来说是友好的，而特定的指令对人显的生硬，但反过来对机器而言是精确的。

由于本发明所述的运动捕捉***精度很高，可以通过角度和位置训练比较精确的动作识别，特定动作可以修改这个基于增强现实的***中的虚拟部分，操作后可以传到云端同步。所述的修改这个基于增强现实的***中的虚拟部分同一时间只能有一个人操作，同步到云端的时候必须保护进程，防止同时同步。虽然可以设置缓存到客户端保存当前的修改结果，但是同时操作是很危险的，因此同步到云端的时候应禁止一个以上的人同步，并给出警告正在同步其他人的设定。

在本发明的远程交互***中，所述的设备的选取跟需求有关。客户端可以用Kinect进行模糊捕捉（精度1cm）以降低成本，研究机构的演示可以通过光运动捕捉进行精确高速捕捉（精度1mm），展厅和报告厅可以使用群组功能来为研究机构和公司服务，也可以将模型绑定机器人来进行远程实体操作。

所述的机器人结构也应是按骨骼结构划分的，且为两足机器人，以免控制过程中出现意外情况。

在本发明的远程交互***中，每套设备都应有唯一的一个UUID作为辨识其在互联网上的身份，如同域名与IP地址的绑定一样，利用与http协议相似的一种协议即可寻到目标地址。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (4)

1.一种基于动态捕捉和全息投影的远程交互方法，其特征在于：包括如下步骤：

（一）数据采集

1.1在云端存储共享虚拟场景，利用建模软件绘制出模型周围的虚拟场景，在云端提供多种常用模型场景的共享；

1.2在云端存储共享虚拟模型，利用建模软件制作出经典的虚拟模型，在云端提供多种常用虚拟模型的共享；

1.3在用户个人的数据库内存储自定义虚拟场景，用户自定义的虚拟场景，是通过建模软件建模或者通过照片拍照建模方式建立的场景；

1.4在用户个人的数据库内存储自定义虚拟模型，用户自定义的虚拟模型，是通过建模软件建模或者三维人体扫描仪扫描出的目标模型；

1.5使用光运动捕捉设备进行运动捕捉，捕捉到精确的骨骼运动数据，骨骼运动数据实时传输到云端以与虚拟模型实时绑定；

1.6使用音频输入设备进行语音捕捉，语音数据实时传输到云端以与虚拟模型实时绑定；

（二） 数据处理

2.1云端建立逻辑主机管理一级逻辑从机；

2.2一级逻辑从机调用个人模型数据、骨骼运动数据、场景数据、实时语音进行绑定，并按用户预设处理合成的场景，同时分配三个虚拟摄像机位置：分别是一个观察者视角与两个独立的交互者眼睛视角；

2.3一级逻辑从机下设两个二级逻辑从机，用于信息的发送和接收，默认分别用来从两个独立的交互者眼睛视角来观察场景，用户设定观察者视角时，将其对应的二级逻辑从机使用观察者视角；

（三）图像呈现

客户端使用三维全息立体投影技术将接收到的云端处理好的立体场景全息信息投影到空气或者水雾上，实现用户与三维影像的交互。

2.根据权利要求1所述的基于动态捕捉和全息投影的远程交互方法，其特征在于：所述数据处理中可在研讨中心或者展厅中设置逻辑从机用于进行多个人信息的同时绑定和合成，实现群组视频功能。

3.根据权利要求1所述的基于动态捕捉和全息投影的远程交互方法，其特征在于：所述数据采集中利用3DMAX或者MAYA软件绘制虚拟场景，可集成到客户端的***功能中。

4.根据权利要求1所述的基于动态捕捉和全息投影的远程交互方法，其特征在于：所述客户端利用Kinect进行模糊捕捉，研究机构的演示通过光运动捕捉进行精确高速捕捉，展厅和报告厅可以使用群组功能，或将模型绑定机器人来进行远程实体操作。