CN101510074A - 一种高临场感智能感知交互运动***及实现方法 - Google Patents

Abstract

本发明涉及一种高临场感的智能感知交互运动***及其实现方法，本发明所述***由运动平台子***、虚拟现实子***、投影显示子***组成；所述运动平台子***由N自由度并联运动平台、伺服电机驱动器、运动控制器、传感器组成；所述虚拟现实子***由运动控制端计算机、网络服务端计算机、场景渲染端计算机组成。所述投影显示子***由边缘融合器、投影仪、音响设备、环幕组成。本发明的有益效果是为运动平台提供了身临其境的虚拟现实环境，同时虚拟现实环境为运动平台反馈控制信息实现运动与环境的互动，增强临场感，使参与者具有高沉浸感；从而提高健身乐趣，达到保健效果。

Description

一种高临场感智能感知交互运动***及实现方法

技术领域

本发明涉及一种高临场感智能感知交互运动***及实现方法，属于机器人应用及分布式虚拟现实等技术领域。

背景技术

中国专利“非行走型多维运动模拟健身马”(专利号：200610048379.9)是一种六自由度仿生机器马，上述专利采用3-2-1型的六自由度结构，其结构如下：底座上安装中间支架、右前支架和右后支架，中间支架上安装3个直线运动驱动支路，右前支架上安装2个直线运动驱动支路，右后支架上安装1个直线驱动支路。通过6个直线运动驱动支路的直线驱动，可实现模型的多维空间运动，可以真实的模拟马运动时马背的运动状态。

其中6个直线驱动支路上均安装PanasoniC Minas A4系列AC伺服驱动器及适配电机。

与上述专利配套使用的控制***“一种新型仿生机器马的控制***设计”(于2008年9月20日发表于第19届中国过程控制会议论文集Voll.1211-1214)，所述控制***采用美国NI公司的运动控制卡PCI-7356作为运动控制器，结合新型正交六自由度并联机构，根据LabVI EW简单易用的特点，设计出了控制方便、多功能的仿生机器马控制***。

上述运动平台及控制***虽然能够模拟马行走和奔跑的运动，参与者可以根据自身的需求，调整运动方式，达到健身的效果，但是上述运动平台没有建立对应的运动虚拟环境，没有进行运动平台的反馈控制。考虑到键身活动大多在室内进行，参与者没有身临其境的感受，缺乏锻炼的趣味性。

发明内容

本发明所要解决的技术问题是针对上述现有技术中的缺点，而提供一种让参与者达到身临其境的感受，提高健身乐趣，达到保健效果的高临场感的智能感知交互运动***及其实现方法。

本发明解决其技术问题所采用的技术方案：

技术方案一：

本发明所述***由运动平台子***、虚拟现实子***、投影显示子***组成；所述运动平台子***由N自由度并联运动平台、伺服电机驱动器、运动控制器、传感器组成，运动控制器的输出端接伺服电机驱动器的输入端，伺服电机驱动器的输出端接N自由度并联运动平台的输入端，所述传感器由速度传感器和方向传感器组成；

所述虚拟现实子***由运动控制端计算机、网络服务端计算机、场景渲染端计算机组成，运动控制端计算机的输出端接所述运动控制器的输入端，所述运动控制端计算机的相应输入端接所述传感器的输出端，网络服务端计算机分别与运动控制端计算机和场景渲染端计算机双向连接；

所述投影显示子***由边缘融合器、投影仪、音响设备、环幕组成；边缘融合器的输入端接所述场景渲染端计算机的输出端，边缘融合器三路输出分别接相应的投影仪的输入端，所述投影仪的输出投影至环幕上，场景渲染端计算机的音频输出端接相应的音响设备。

技术方案二：

本发明所述方法的技术方案如下：

(1)运动平台子***的控制***的实现方法：

所述运动平台子***的控制***是在图形化编程语言LabVIEW环境下辅以Motion运动控制模块开发的(Motion运动控制模块不是属于运动控制器部分的，它是LabVIEW这种软件工具中所提供的一部分。就像是word这种工具中提供画图模块一个道理。LabVIEW是一种常用的控制软件工具。)，采用层次化体系结构；

首先给出所述运动平台的运动轨迹，通过对真实的马在慢走、小跑、快跑三种状态下的运动进行图象或视频采集，再根据图像标定及特征点提取的轨迹得到三种典型的运动轨迹，再由上位机将所述三种典型的运动轨迹写入所述运动控制器的Butter缓存中，通过LabVIEW Notifier同步通信技术实现所述运动平台的运动控制及其时序同步，运用所述运动控制器的BreaKpoints高速捕获技术，实时监测各轴的给进，控制所述运动平台完成运动过程；

(2)虚拟现实子***的控制部分的实现方法：

虚拟现实子***的控制部分采用基于开源的图形渲染引擎构建，集成协同交互技术的包含运动控制端、网络服务端、场景渲染端的分布式架构：

网络服务端以网络引擎RAKNET为基础，定义基于XML的动态数据结构及各层次之间的通信协议，利用IDENTIFY作为互联标识，完成对于多运动控制端和多场景渲染端的对应信号传输，以实现通讯的实时性和准确性；网络服务端一方面接收运动控制端的控制信息送入互联标识相同的场景渲染端，另一方面将场景渲染端的实时信息反馈到运动控制端；

运动控制端通过串口与所述运动平台相连，采用中断触发的方式实时读取串口数据，同时将串口信息转换为渲染场景的运行信息，如：速度、方向、位置等，发送到网络服务端；运动控制端接受由场景渲染端经网络服务端发来的场景反馈信息，通过串口读入所述运动控制器，完成所述运动平台的运动方式调整；

场景渲染端利用开源的面向对象的图形渲染引擎OGRE和三维图形工具3DMAX来完成高沉浸感的虚拟现实场景的开发，同时引入物理引擎PhysX实现物理特效，增强场景真实感；

(3)投影显示子***的实现方法：

投影显示子***采用三通道环幕投影方法，利用边缘融合器实现立体视觉效果的投影显示。

本发明能够根据运动平台的特征和运动状态，设置对应的虚拟现实场景。在运动中，将运动平台的运动状态，如速度、方向等参数实时传递给虚拟环境，使环境与运动平台同步变化，同时，将环境中的反馈量，如碰撞、地形变化等实时传递运动平台，对于运动平台的运动状态进行调整，从而使参与者达到身临其境的心理感受。

本发明还提供了分布式多交互的虚拟现实子***。完成虚拟环境与被控对象以及同一环境中不同对象之间的智能感知和交互。

本发明的有益效果是由于将虚拟现实技术引入，为运动平台提供了身临其境的虚拟现实环境，同时虚拟现实环境为运动平台反馈控制信息实现运动与环境的互动，增强临场感，使参与者具有高沉浸感；从而提高健身乐趣，达到保健效果。

附图说明

图1本发明所述***的原理框图；

图2虚拟现实子***硬件配置示意图；

图3投影显示子***硬件配置示意图；

图4运动平台子***运动控制流程图；

图5虚拟现实子***软件结构图；

图6虚拟场景渲染流程图；

图7碰撞检测流程图；

图8交互控制流程图。

在图2-3中，1运动控制端计算机、2网络服务端计算机、3场景渲染端计算机、4多模光纤局域网、5边缘融合器、6投影仪、7音响设备、8环幕。

具体实施方式

本发明所述***的实施例如下(见图1-3)：

本实施例由运动平台子***、虚拟现实子***、投影显示子***组成；所述运动平台子***由N自由度并联运动平台、伺服电机驱动器、运动控制器、传感器组成，运动控制器的输出端接伺服电机驱动器的输入端，伺服电机驱动器的输出端接N自由度并联运动平台的输入端，所述传感器由速度传感器和方向传感器组成；

所述虚拟现实子***由运动控制端计算机、网络服务端计算机、场景渲染端计算机组成，运动控制端计算机的输出端接所述运动控制器的输入端，所述运动控制端计算机的相应输入端接所述传感器的输出端，网络服务端计算机分别与运动控制端计算机和场景渲染端计算机双向连接；

所述投影显示子***由边缘融合器、投影仪、音响设备、环幕组成；边缘融合器的输入端接所述场景渲染端计算机的输出端，边缘融合器三路输出分别接相应的投影仪的输入端，所述投影仪的输出投影至环幕上，场景渲染端计算机的音频输出端接相应的音响设备。

所述N自由度并联运动平台采用六自由度并联机器马(参见上述背景技术部分中的ZL200610048379.9)。

所述N自由度并联运动平台也可采用跑步机、健身自行车等。

所述运动控制器采用美国NI公司的PCI-7356运动控制卡，其数控***为“上位机+运动控制卡”的开放式集散控制结构。

所述伺服电机驱动器的型号为MADDT1205。

所述速度传感器的型号为霍尔JK80020，所述速度传感器安装在六自由度并联机器马身体的前下方的运动平台上；所述方向传感器采用旋转扭矩传感器，其型号为ORT-8036，所述方向传感器安装在六自由度并联机器马头部位置。所述场景渲染终端计算机要作为图形工作站，因此需要处理大量的图形信息，要求计算机内存配置比较高。以普通的惠普图形工作站为例：

CPU频率/主频：2000MHz

处理器类型：AMD Opteron 2212

CPU：双核，64位计算技术可提供卓越的计算及可视化功能

全双工PCIe＊16端口支持2个高端显卡，可用于4个3D显卡显示器

显卡型号：NVIDIA Quadro FX1500

显卡芯片：Q uadro FX1500

显存容量：256(MB)

硬盘容量：160G。

投影显示子***的硬件如下：

环幕：金属幕，弧度210°；高2200mm；直径6000mm

投影仪3台，高度4000流明；分辨率1280×768；镜头1：1.8

边缘融合器：对于来自计算机的VGA图像信号，必须采用外加的硬件融合器来完成。融合器型号：安恒AH640

音响设备：采用BOSEAM15的5.1声道音箱。

2、本发明所述方法的实施例如下(见图1-8)：

(1)运动平台子***的控制***的实现方法(参见图4)：

所述运动平台子***的控制***是在图形化编程语言LabVIEW环境下辅以Motion运动控制模块开发的，采用层次化体系结构(参见上述背景技术中的“一种新型仿生机器马的控制***设计”)；

首先给出所述运动平台的运动轨迹，通过对真实的马在慢走、小跑、快跑三种状态下的运动进行图象或视频采集，再根据图像标定及特征点提取的轨迹得到三种典型的运动轨迹，再由上位机将所述三种典型的运动轨迹写入所述运动控制器的Butter缓存中，通过LabVIEW Notifier同步通信技术实现所述运动平台的高精度运动控制及其时序同步，运用所述运动控制器的BreaKpoints高速捕获技术，实时监测各轴的给进，控制所述运动平台完成运动过程；

(2)虚拟现实子***的控制部分的实现方法(参见图5)：

虚拟现实子***的控制部分采用基于开源的图形渲染引擎构建，集成协同交互技术的包含运动控制端、网络服务端、场景渲染端的分布式架构：

网络服务端以网络引擎RAKNET为基础，定义基于XML的动态数据结构及各层次之间的通信协议，利用IDENTIFY作为互联标识，完成对于多运动控制端和多场景渲染端的对应信号传输，以实现通讯的实时性和准确性；网络服务端一方面接收运动控制端的控制信息送入互联标识相同的场景渲染端，另一方面将场景渲染端的实时信息反馈到运动控制端；

运动控制端通过串口与所述运动平台相连，采用中断触发的方式实时读取串口数据，同时将串口信息转换为渲染场景的运行信息，如：速度、方向、位置等，发送到网络服务端；运动控制端接受由场景渲染端经网络服务端发来的场景反馈信息，通过串口读入所述运动控制器，完成所述运动平台的运动方式调整；

场景渲染端位于图形服务器上，可以与显示器、投影***以及头盔显示器等显示设备相连。场景渲染端利用开源的面向对象的图形渲染引擎OGRE和三维图形工具3DMAX来完成高沉浸感的虚拟现实场景的开发，同时引入物理引擎PhysX实现物理特效，增强场景真实感；具体过程如图6所示，初始化完成场景资源(XML)文件及第三方模型数据(包括静态模型、动态实体对象及骨骼动画)的加载，设置光效并创建摄像机，同时创建帧监听类；循环监听过程中外部更新数据触发帧响应处理；帧响应处理主要实现碰撞检测及渲染场景的更新。场景仿真首先更新渲染目标，然后更新与之关联的视口并产生FPS统计信息，视口调用与之关联的摄像机的render sCene方法进行渲染，最后更新的场景经渲染子***类实现仿真。为保证视角范围的立体化，创建上、下、左、右、前、后六个摄像机视口。由于实体对象的运动具有很大的随意性，为达到实时交互的目标又要保证视觉上自然流畅，设定33毫秒的逻辑更新定时器，每一次逻辑更新都会进行渲染触发。

(3)投影显示子***的实现方法：

投影显示子***采用三通道环幕投影方法，利用边缘融合器实现立体视觉效果的投影显示。

所述虚拟现实子***中的场景变化的速度和方向的实现方法如下：

首先，运动控制端通过串口程序读取速度、方向等参数，然后通过服务器逻辑将信息发给与运动控制端标示端口相同的场景渲染端；场景渲染端利用OGRE的渲染更新类，在每个更新帧的操作中，将速度信息按匀速运动处理得到在当前的速度下，下一帧可能的位置，根据得到的位置信息渲染可见的场景信息；为了保证视觉上的自然流畅，设定33ms的帧定时器，每一次逻辑更新都会进行渲染触发。

所述虚拟现实子***中的碰撞及地形检测的实现方法如下(参见图7)：

借助于物理引擎PhysX来实现碰撞检测反馈和地形检测反馈，以实现场景的高沉浸感，即体现物体的碰撞效果及地形的凹凸效果；

采用面向对象的包围盒碰撞射线检测方法，采用沿坐标轴的包围盒(AABB)描述静态物体的碰撞模型，为了减少相交检测的计算量，降低碰撞时间，将盒与盒间的相交检测简化为面向具有运动特性对象的射线检测；即用面向对象的方法表示虚拟环境中的物体，但只将具有运动特性的物体作为碰撞检测主体对象，其他物体视作静态盒子；只有当运动对象的位置或方向发生变化时才检测是否与发生了碰撞，并做出相应的碰撞响应；碰撞检测的具体实现利用物理引擎PhysX；在生成场景的同时，创建相应的物理世界，使虚拟场景中的每一个实体模型都有一个与之对应的物理世界对象，通过代码指令获得指向物理对象的指针，利用指针调用PhysX引擎提供的碰撞射线检测函数，实现碰撞检测；然后利用函数返回信息来更新场。

所述虚拟现实子***和所述运动平台的交互的实现方法如下(参见图8)：

虚拟现实子***和所述运动平台的交互是指，一方面虚拟现实子***要根据当产所述运动平台的运动速度、方向信息实时的调控要显示的场景画面；另一方面虚拟现实***还会根据场景反馈信息到运动平台的控制***；

当所述运动平台以很快的速度运动时，相应的呈现的场景的变化速度也会很快，方向上也要和所述运动平台保持一致；如果在运动过程中的场景中遇到障碍物，就要发生碰撞，虚拟现实子***就会将碰撞信息反馈给所述运动平台，所述运动平台就会依此产生制动或减速；同样，如果在场景中遇到的是地形上的小坑或坡，所述运动平台就会根据反馈信息调整运动的位姿。

正向控制的实现通过速度、方向传感器检测所述运动平台的速度、方向等参数，检测得到的数据经过A/D转换为数字信号，通过RS-232串口送到运动控制端计算机；运动控制端计算机读取相关信息并进行数据打包按照传输协议发送到网络服务端计算机，网络服务端计算机根据多交互的端口逻辑，将数据包发送到和运动控制端计算机端口一致的场景渲染端计算机；场景渲染端计算机接收到数据包后通过解压操作得到相应的速度、方向参数信息，并根据此信息进行相关场景的渲染；

反馈控制的实现基于虚拟场景的碰撞检测，在场景渲染端计算机中利用面向对象的包围盒碰撞射线检测算法进行实时地碰撞检测，并在碰撞反馈部分分析发生碰撞可能产生的信息及对应操作同样以数据包的形式发送到网络服务端计算机，网络服务端计算机利用端口逻辑反馈给对应的运动控制端计算机，在运动控制端计算机利用运动控制卡PCI-7356实现所述运动平台的中断处理。

Claims (9)

1、高临场感的智能感知交互运动***，其特征在于它由运动平台子***、虚拟现实子***、投影显示子***组成；所述运动平台子***由N自由度并联运动平台、伺服电机驱动器、运动控制器、传感器组成，运动控制器的输出端接伺服电机驱动器的输入端，伺服电机驱动器的输出端接N自由度并联运动平台的输入端，所述传感器由速度传感器和方向传感器组成；

所述虚拟现实子***由运动控制端计算机、网络服务端计算机、场景渲染端计算机组成，运动控制端计算机的输出端接所述运动控制器的输入端，所述运动控制端计算机的相应输入端接所述传感器的输出端，网络服务端计算机分别与运动控制端计算机和场景渲染端计算机双向连接；

所述投影显示子***由边缘融合器、投影仪、音响设备、环幕组成；边缘融合器的输入端接所述场景渲染端计算机的输出端，边缘融合器的三路输出分别接相应投影仪的输入端，所述投影仪的输出投影至环幕上，场景渲染端计算机的音频输出端接相应的音响设备。

2、根据权利要求1所述的高临场感的智能感知交互运动***，其特征在于所述N自由度并联运动平台采用六自由度并联机器马。

3、根据权利要求2所述的高临场感的智能感知交互运动***，其特征在于所述运动控制器采用PCI-7356运动控制卡，其数控***为“上位机+运动控制卡”的开放式集散控制结构。

4、根据权利要求3所述的高临场感的智能感知交互运动***，其特征在于所述伺服电机驱动器的型号为MADDT1205。

5、根据权利要求4所述的高临场感的智能感知交互运动***，其特征在于所述速度传感器的型号为霍尔JK80020，所述速度传感器安装在六自由度并联机器马身体的前下方的运动平台上；所述方向传感器采用旋转扭矩传感器，其型号为ORT-8036，所述方向传感器安装在六自由度并联机器马头部位置。

6、根据权利要求1所述的高临场感的智能感知交互运动***的实现方法，其特征在于：

(1)运动平台子***的控制***的实现方法：

所述运动平台子***的控制***是在图形化编程语言LabVIEW环境下辅以Motion运动控制模块开发的，采用层次化体系结构；

首先给出所述运动平台的运动轨迹，通过对真实的马在慢走、小跑、快跑三种状态下的运动进行图象或视频采集，再根据图像标定及特征点提取的轨迹得到三种典型的运动轨迹，再由上位机将所述三种典型的运动轨迹写入所述运动控制器的Butter缓存中，通过LabVIEW Notifier同步通信技术实现所述运动平台的运动控制及其时序同步，运用所述运动控制器的BreaKpointS高速捕获技术，实时监测各轴的给进，控制所述运动平台完成运动过程；

(2)虚拟现实子***的控制部分的实现方法：

虚拟现实子***的控制部分采用基于开源的图形渲染引擎构建，集成协同交互技术的包含运动控制端、网络服务端、场景渲染端的分布式架构：

网络服务端以网络引擎RAKNET为基础，定义基于XML的动态数据结构及各层次之间的通信协议，利用IDENTIFY作为互联标识，完成对于多运动控制端和多场景渲染端的对应信号传输，以实现通讯的实时性和准确性；网络服务端一方面接收运动控制端的控制信息送入互联标识相同的场景渲染端，另一方面将场景渲染端的实时信息反馈到运动控制端；

运动控制端通过串口与所述运动平台相连，采用中断触发的方式实时读取串口数据，同时将串口信息转换为渲染场景的运行信息，如：速度、方向、位置等，发送到网络服务端；运动控制端接受由场景渲染端经网络服务端发来的场景反馈信息，通过串口读入所述运动控制器，完成所述运动平台的运动方式调整；

场景渲染端利用开源的面向对象的图形渲染引擎OGRE和三维图形工具3DMAX来完成高沉浸感的虚拟现实场景的开发，同时引入物理引擎PhySX来实现物理特效，增强场景真实感；

(3)投影显示子***的实现方法：

投影显示子***采用三通道环幕投影方法，利用边缘融合器实现立体视觉效果的投影显示。

7、根据权利要求6所述的高临场感的智能感知交互运动***的实现方法，其特征在于所述虚拟现实子***中的场景变化的速度和方向的实现方法如下：

首先，运动控制端通过串口程序读取速度、方向参数，然后通过服务器逻辑将信息发给与运动控制端标示端口相同的场景渲染端；场景渲染端利用OGRE的渲染更新类，在每个更新帧的操作中，将速度信息按匀速运动处理得到在当前的速度下，下一帧可能的位置，根据得到的位置信息渲染可见的场景信息；为了保证视觉上的自然流畅，设定33mS的帧定时器，每一次逻辑更新都会进行渲染触发。

8、根据权利要求7所述的高临场感的智能感知交互运动***的实现方法，其特征在于所述虚拟现实子***中的碰撞及地形检测的实现方法如下：

借助于物理引擎PhySX来实现碰撞检测反馈和地形检测反馈，以实现场景的高沉浸感，即体现物体的碰撞效果及地形的凹凸效果；

采用面向对象的包围盒碰撞射线检测方法，采用沿坐标轴的包围盒(AABB)描述静态物体的碰撞模型，将盒与盒间的相交检测简化为面向具有运动特性对象的射线检测；即用面向对象的方法表示虚拟环境中的物体，但只将具有运动特性的物体作为碰撞检测主体对象，其他物体视作静态盒子；只有当运动对象的位置或方向发生变化时才检测是否与发生了碰撞，并做出相应的碰撞响应；碰撞检测的具体实现利用物理引擎PhySX；在生成场景的同时，创建相应的物理世界，使虚拟场景中的每一个实体模型都有一个与之对应的物理世界对象，通过代码指令获得指向物理对象的指针，利用指针调用PhySX引擎提供的碰撞射线检测函数，实现碰撞检测；然后利用函数返回信息来更新场。

9、根据权利要求8所述的高临场感的智能感知交互运动***的实现方法，其特征在于所述虚拟现实子***和所述运动平台的交互的实现方法如下：

正向控制的实现通过速度、方向传感器检测所述运动平台的速度、方向参数，检测得到的数据经过A/D转换为数字信号，通过RS-232串口送到运动控制端计算机；运动控制端计算机读取相关信息并进行数据打包按照传输协议发送到网络服务端计算机，网络服务端计算机根据多交互的端口逻辑，将数据包发送到和运动控制端计算机端口一致的场景渲染端计算机；场景渲染端计算机接收到数据包后通过解压操作得到相应的速度、方向参数，并根据此信息进行相关场景的渲染；

反馈控制的实现基于虚拟场景的碰撞检测，在场景渲染端计算机中利用面向对象的包围盒碰撞射线检测算法进行实时地碰撞检测，并在碰撞反馈部分分析发生碰撞可能产生的信息及对应操作同样以数据包的形式发送到网络服务端计算机，网络服务端计算机利用端口逻辑反馈给对应的运动控制端计算机，在运动控制端计算机利用运动控制卡PCI-7356实现所述运动平台的中断处理。

Images