CN102622509A - 基于单目视频的三维游戏交互*** - Google Patents

Abstract

本发明涉及基于视频的运动捕获技术领域，公开了一种基于单目视频的三维游戏交互***，该***包括：运动捕获模块，该模块用于处理摄像头的视频输入数据，然后输出三维模型的运动数据，游戏主***提取运动数据并根据它们来驱动玩家模型，以及，三维引擎模块，作为该***的主模块，用于处理与3D绘制，并提供与Ogre引擎相关的接口。与现有方法相比，本发明的优势在于：将关键的交互功能由软件实现；一般电脑都配有摄像头，设备简单易得。这样，当玩家想进行交互式电子游戏时，不需购置专门设备，就能体验体感游戏的乐趣。

Description

基于单目视频的三维游戏交互***

技术领域

本发明涉及基于视频的运动捕获技术领域，特别涉及基于单目视频的人体运动捕获技术。

背景技术

当前，电子游戏产业高度发展，对越来越多人的娱乐方式，甚至是生活方式产生了巨大影响。随着电子游戏产业的飞速发展，开发人员更多地将他们的工作重点转移到游戏的人机交互体验上来，而游戏的控制信号的输入方式是其关注焦点之一。用户借助于各类的输入设备，如键盘、鼠标、手柄等游戏控制器来控制游戏，由于用户的操作在游戏中的实际表现有较大的不同，所以游戏的真实感、沉浸感比较差。近年来，方向盘控制器、运动遥感控制器等设备的出现在一定程度上提高了游戏的交互体验，但是仍然要求用户在游戏进行过程中必须使用或携带它们，对用户的运动附加了额外的妨碍和限制，而且这些控制设备需要特殊的传感器硬件。基于视频的人体运动捕获技术为这一问题提供了一种解决途径。

基于视频的人体运动捕获是指从一个视角或多个视角已同步的图像序列中恢复出人体姿态参数(关节点位置或关节角度)的过程，这里的姿态指头、躯干和四肢的运动，不包括表情和手语等小尺度动作。随着计算机视觉理论研究的发展，基于视频的人体运动捕获正从理论研究走向实用化，特别是近年来在电子游戏产业中有着广阔的应用前景。采用这种技术的游戏***，不需要传感器，玩家只需在摄像头前作出动作，***即可识别。代表***有SCE公司EYETOY和微软公司的Kinect，EYETOY的原理是：摄像头以固定的速率采集图像，当场景内无变化时，前后两幅图像内容一致，当有物体运动时则产生差异，因此通过简单的对相邻两帧图像相减，得到画面中不同的部分，即可以感知是否有运动物体及运动物体的一些属性，比如大小，位置和颜色等。而Kinect则更为高级，它使用激光散斑(laser speckle)来获得摄像头面前玩家的三维动作信息，在2米范围内其精度可以到达1厘米。

发明内容

基于上述现有技术存在的问题，本发明提出一种基于单目视频的三维游戏交互***，即采用单个普通摄像头捕获人体的运动信息，然后将视频数据交给电脑上运行的游戏软件进行分析处理，并由游戏软件输出相应的反馈信息，从而实现人机交互功能。

本发明提出了的一种基于单目视频的三维游戏交互***，该***包括：

运动捕获模块，该模块用于处理摄像头的视频输入数据，然后输出三维模型的运动数据，游戏主***提取运动数据并根据它们来驱动玩家模型，该模块包括以下处理：

首先在程序中加载指导者的骨骼模型，记录两组数据：一组是身体关节点的二维坐标，另一组是与此二维坐标在同一时间片的模型的各个骨骼的三维转角数据，将得到的三维转角数据存入文件，供以后匹配时调用；

游戏进行过程中，不断获取摄像头的视频数据流，处理图像得到关节点位置并将该数据转化成多张连续图片，然后将图片转化成为人体关节点的二维坐标数据，将二维坐标数据与上文中提到的数据文件中的二维坐标数据进行比对，找出相似的数据，得到该时间片上的三维骨骼转角数据，驱动玩家模型做出三维动画表现出来的动作；

以及三维引擎模块，作为该***的主模块，用于处理与3D绘制相关的所有工作，它提供了一些与Ogre引擎相关的接口。

该***还包括关卡模块，作为数据模块，主要用于将用户选择的数据进行存储和传递，这些数据包括人物模型、场景数据、音乐数据等。

该***还包括音乐模块：负责在用户选择音乐和进行舞蹈的时候，进行音乐的播放和控制。

该***还包括文件控制模块，用于读取文件，并把文件内容提交给需要的游戏模块，主要是关卡模块和音乐模块；它提供了一个特制的接口用于获得文件名。

该***还包括用户界面模块：用于绘制用户接口，游戏的主模块通过调用它来实现用户界面的绘制并获得用户指令。

该***每隔1/10秒从运动捕获模块中获取一次当前时间片上的三维骨骼转角数据，然后和上一帧组合生成一段长度为1/10秒的动画，然后播放该动画。

与现有方法相比，本发明的有益效果是：游戏玩家可以不必配置特定体感游戏***，仅使用自己现有的电脑和摄像头就能体验体感游戏的乐趣；同时希望本发明能为更多交互式电子游戏的设计提供参考思路。与采用以Kinect为代表的专门外设的游戏***相比，本发明的优势在于：将关键的交互功能由软件实现；一般电脑都配有摄像头，设备简单易得。这样，当玩家想进行交互式电子游戏时，不需购置专门设备，就能体验体感游戏的乐趣。

附图说明

图1为本发明实施例的硬件环境示意图；

图2为本发明的硬件位置关系示意图；

其中：1、电脑显示器，2、摄像头，3、用户

图3为本发明的三维游戏***中的运动捕获模块算法流程示意图；

图4为本发明的运动捕获模块中三维骨骼转角数据处理流程示意图。

具体实施方式

本发明以舞蹈游戏为例阐述了所述三维游戏***的设计方案。作为交互式电子游戏中的一种，舞蹈类游是一种既可以达到娱乐目的，又能锻炼身体的游戏。进行游戏时，玩家根据游戏界面的提示输入“上、下，左、右”等信息来控制游戏中代表自己的角色，游戏根据输入信息的正确率给玩家打分和晋级。控制信息既可以通过普通键盘输入，也可以通过此类游戏的专门设备——跳舞毯来输入，这时，玩家根据提示信息用脚踩相应踏板即可。以跳舞毯方式进行游戏时，玩家达到了娱乐身心的目的，正因为如此，舞蹈类游戏一直广受欢迎。但该类游戏仍有一个显而易见的不足：游戏与玩家的交互方式过于简单，导致游戏缺乏真实性；进行“舞蹈”的仅仅是游戏中的动画角色，而玩家的动作离“舞蹈“相去甚远。舞蹈类游戏存在上述缺陷的原因在于没有捕获玩家全部肢体动作的设备及处理捕获数据的方法。而且，以舞蹈游类戏为代表的很多交互式电子游戏仅仅需要获得玩家的肢体运动信息即可很好地完成交互任务，这可以用本专利提出的方法和设备实现。

以下结合附图，对本发明的具体实施进行详细说明：

本发明包括舞蹈游软件及支持和运行游戏软件的硬件***。其中舞蹈游戏软件，特别是游戏软件中采用的基于单目视频的运动捕获算法是本发明的关键。

本发明支持的游戏行为是玩家在摄像头前做出游戏中的作为指导者身份存在的3D舞蹈者模型所示范的动作，***将捕获玩家的舞蹈动作，实时控制游戏内另一个代表玩家自己的3D模型。同时***将对两者的运动进行比较，来评价玩家的舞蹈动作。出于游戏性的考虑，本发明还提供了与核心游戏功能相关的其他定制功能，包括音乐选择、模型选择和场景选择等。

硬件***：

如图1所示，一台可以运行一般电子游戏的普通电脑连接一个分辨率30万像素以上，帧频20帧/秒以上的普通摄像头。

如图2所示，摄像头2应放置于电脑显示器1正上方或正前方，用户3站在摄像头正前方5～10米处。其中：

电脑运行舞蹈游戏***，接收摄像头传来的视频数据。

摄像头捕获玩家动作，传输给电脑。

游戏软件：

舞蹈游戏软件由以下功能模块构成：

运动捕获模块：

该模块处理摄像头的视频输入数据然后输出三维模型的运动数据。游戏主***提取运动数据并根据它们来驱动玩家模型。

如图3所示，运动捕获模块使用的运动捕获算法是基于数据查找的，首先在程序中加载指导者的骨骼模型，然后播放动画，在播放动画的过程中记录两组数据，第一组是身体关节点的二维坐标，另一组是与此二维坐标在同一时间片的模型的各个骨骼的三维转角数据，得到之后把这些数据按照一定的格式存入文件，供以后匹配时使用。

游戏进行过程中，本模块会不断的获取摄像头的视频数据流，处理图像得到关节点位置并将该数据转化成多张连续图片，然后通过剪除背景，骨架化和关节点标定等一系列图形学方法把它们转化成为人体关节点的二维坐标数据，然后使用这些数据与上文中提到的数据文件中的二维坐标数据进行比对，找出相似的数据，从而得到该时间片上的三维骨骼转角数据，拥有该数据即可驱动玩家模型做出三维动画表现出来的动作。

如图4所示，运动捕获***最后处理得到某一时间片上的三维骨骼转角数据后，游戏主***就可以获取并使用这些数据了，本***中，每隔1/10秒，运动捕获***就可以处理出一个可用的骨骼转角数据，所以在游戏***中，每隔1/10秒从运动捕获***中获取一次数据，然后和上一帧(即1/10秒以前的那帧)组合生成一段长度为1/10秒的动画，然后播放该动画。

本实施例的舞蹈软件还包括：

三维引擎模块：用于处理与3D绘制相关的所有工作。它提供了一些与Ogre引擎相关的接口。它是游戏的主模块。

文件控制模块：用于读取文件，并把文件内容提交给需要的游戏模块，主要是关卡模块和音乐模块。它提供了一个特制的接口用于获得文件名。

用户界面模块：用于绘制用户接口，游戏的主模块通过调用它来实现用户界面的绘制并获得用户指令。

关卡模块：是一个数据模块，主要用于将用户选择的数据进行存储和传递，这些数据包括人物模型、场景数据、音乐数据等。

音乐模块：负责在用户选择音乐和进行舞蹈的时候，进行音乐的播放和控制。它与三维引擎关联紧密。

本发明提出了一种基于单目视频的三维游戏交互设备，并以舞蹈游戏为例设计了所述设备中的软件部分。游戏玩家使用本发明进行交互游戏时，控制信息的输入方式是在摄像头前作出特定肢体动作，控制游戏进行。本发明使游戏玩家摆脱了键盘、鼠标、手柄的输入设备的束缚，以更加自然的方式与游戏交互。并且，本发明的硬件***由普通电脑和普通摄像头组成，这使得本发明很容易推广，能使更多的人体验到体感游戏的乐趣。最后，本发明能为某些交互式电子游戏的设计提供一定的参考思路。

Claims (6)

1.一种基于单目视频的三维游戏交互***，其特征在于，该***包括：

运动捕获模块，该模块用于处理摄像头的视频输入数据，然后输出三维模型的运动数据，游戏主***提取运动数据并根据它们来驱动玩家模型，该模块包括以下处理：

首先在程序中加载指导者的骨骼模型，记录两组数据：一组是身体关节点的二维坐标，另一组是与此二维坐标在同一时间片的模型的各个骨骼的三维转角数据，将得到的三维转角数据存入文件，供以后匹配时调用；

游戏进行过程中，不断获取摄像头的视频数据流，处理图像得到关节点位置并将该数据转化成多张连续图片，然后将图片转化成为人体关节点的二维坐标数据，将二维坐标数据与上文中提到的数据文件中的二维坐标数据进行比对，找出相似的数据，得到该时间片上的三维骨骼转角数据，驱动玩家模型做出三维动画表现出来的动作；

以及，三维引擎模块，作为该***的主模块，用于处理与3D绘制，并提供与Ogre引擎相关的接口。

2.如权利要求1所述的基于单目视频的三维游戏交互***，其特征在于，该***还包括关卡模块，作为数据模块，主要用于将用户选择的数据进行存储和传递，这些数据包括人物模型、场景数据、音乐数据等。

3.如权利要求1所述的基于单目视频的三维游戏交互***，其特征在于，该***还包括音乐模块：负责在用户选择音乐和进行舞蹈的时候，进行音乐的播放和控制。

4.如权利要求2或3所述的基于单目视频的三维游戏交互***，其特征在于，该***还包括文件控制模块，用于读取文件，并把文件内容提交给需要的游戏模块，主要是关卡模块和音乐模块；它提供了一个特制的接口用于获得文件名。

5.如权利要求1所述的基于单目视频的三维游戏交互***，其特征在于，该***还包括用户界面模块：用于绘制用户接口，游戏的主模块通过调用它来实现用户界面的绘制并获得用户指令。

6.如权利要求1所述的基于单目视频的三维游戏交互***，其特征在于，该***每隔1/10秒从运动捕获模块中获取一次当前时间片上的三维骨骼转角数据，然后和上一帧组合生成一段长度为1/10秒的动画，然后播放该动画。 

Images