CN105959595A - 一种虚拟现实实时交互中虚拟对现实自主响应方法 - Google Patents

Abstract

本发明提出了一种虚拟与现实自主响应交互技术，其是将摄像机拍摄的图像实时地与计算机三维图形进行合成，形成一种新的电视节目制作***。本发明所采取的技术方案如下：一种虚拟现实实时交互中虚拟对现实自主响应方法，包括以下步骤：步骤1，确定蓝箱坐标中心b(0,0)的位置:预先设定辅助摄像机摄像广角和主摄像机的相对位置关系,将相邻的二帧图像输入到虚拟现实实时交互软件；步骤2，确定目标物体b,(x,y)的位置:以步骤1中区域A为前景，辅助摄像机实时拍摄目标物体的图像，通过图像处理***实时计算出目标物体相对于参考坐标中心b(0,0)的位移，从而得到以帧为采样单位的目标物体的位置坐标b,(x,y)；步骤3，三维渲染设备进行渲染并输出。

Description

一种虚拟现实实时交互中虚拟对现实自主响应方法

技术领域

本发明涉及虚拟演播室技术领域，特别涉及一种虚拟现实实时交互中虚拟对现实自主响应方法。

背景技术

随着计算机网络和三维图形软件等先进信息技术的发展，电视节目制作方式发生了很大的变化。视觉和听觉效果以及人类的思维都可以靠虚拟与现实自主响应交互装置来实现。它升华了人类的逻辑思维。虚拟演播室则是虚拟与现实自主响应交互装置与人类思维相结合在电视节目制作中的具体体现。虚拟演播***的主要优点是它能够更有效地表达新闻信息，增强信息的感染力和交互性。传统的演播室对节目制作的限制较多。虚拟演播***制作的布景是合乎比例的立体设计，当摄像机移动时，虚拟的布景与前景画面都会出现相应的变化，从而增加了节目的真实感。用虚拟场景在很多方面成本效益显著。如它具有及时更换场景的能力，在演播室布景制作中节约经费。不必移动和保留景物，因此可减轻对雇员的需求压力。在使用背景和摄像机位置不变的系列节目中它可以节约大量的资金。另外，虚拟演播室具有制作优势。当考虑节目格局时，制作人员的选择余地大，他们不必过于受场景限制。对于同一节目可以不用同一演播室，因为背景可以存入磁盘。它可以充分发挥创作人员的艺术创造力与想象力，利用现有的多种三维动画软件，创作出高质量的背景。

发明内容

本发明提出了一种虚拟与现实自主响应交互技术，其是将摄像机拍摄的图像实时地与计算机三维图形进行合成，形成一种新的电视节目制作***。虚拟与现实自主响应交互装置充分利用了计算机三维图形技术和视频合成技术，根据摄像机的位置参数，使三维虚拟场景的透视关系与前景保持一致，从而创造出逼真的、立体感很强的电视演播室效果，节省了传统的基于搭设真实布景的电视节目制作中设计、材料、施工、场地等昂贵费用，克服了传统布景不宜随便搬动，灵活性差，场地不能重复利用的缺点，满足了电视节目制作与播出。具体是将一个安装在演播室蓝箱适当位置的辅助摄像机和一个实时图像处理装置，辅助摄像机输出摄取的蓝箱中前景的图像，实时图像处理装置以场频速度实时采集图像并进行图像处理，提取图像中特征数据并进行计算变换，得到前景主持人或物体在蓝箱中的平面位置坐标参数。该装置将输出的前景平面位置坐标参数输入给虚拟演播室的三维渲染设备，经过方程矩阵计算，实现三维虚拟场景和真实前景的位置关系的无缝匹配，使得真实前景自动恰当融入三维虚拟场景的空间合适位置之中，并反映正确的三维虚拟空间遮挡关系。本发明识别精度高，稳定性好，抗干扰能力强，不受环境光、温度、声波影响。

为实现上述目的，本发明所采取的技术方案如下：

一种虚拟现实实时交互中虚拟对现实自主响应方法，包括以下步骤：

步骤1，确定蓝箱坐标中心b(0,0)的位置:预先设定辅助摄像机摄像广角和主摄像机的相对位置关系,根据辅助摄像机拍摄到的图像，确定前景在蓝箱中的区域A,将拍摄到区域A的前帧图像作为后帧图像的模版，将此相邻的二帧图像输入到虚拟现实实时交互软件，根据虚拟现实实时交互软件得到的图像数据，采用数字图像的模板匹配技术，对真实蓝箱场景中的人或物体进行图像的检测识别和跟踪，实现真实场景中的人或物体与蓝箱背景的分割，进而得到真实场景中的人或物体在蓝箱中地面的投影坐标，同时采集真实场景中的人或物体在蓝箱中的运动范围，根据该范围经软件换算后标定出投影中心的平面位置坐标b(0,0)，将确定的蓝箱坐标中心b(0,0)输送给辅助摄像机图像处理***；

步骤2，确定目标物体b,(x,y)的位置:以步骤1中区域A为前景，辅助摄像机实时拍摄目标物体的图像，通过图像处理***实时计算出目标物体相对于参考坐标中心b(0,0)的位移，从而得到以帧为采样单位的目标物体的位置坐标b,(x,y)；

步骤3，三维渲染设备进行渲染并输出：将步骤2得到的目标物体b,(x,y)的位置，根据步骤1辅助摄像机摄像广角和主摄像机的相对位置关系，得到目标物体的景深位置参数，将此位置输入到三维渲染设备，再经过对矩阵方程的解算，让主摄像机三维空间生成目标的具***置关系与辅助摄像机相对于蓝箱坐标中心取得的前景具体三维位置坐标无缝匹配。

进一步地，所述辅助摄像机为彩色或黑白摄像机、模拟或数字摄像机、CCD或CMOS型等摄像机，所述辅助摄像机安装在蓝箱附近，对准前景的所有摄像机摄取图像的方式。

进一步地，步骤1中投影中心的平面位置坐标的换算方法为：

根据辅助摄像机取得蓝箱中前景的投影，得到投影两端水平坐标点；

根据得到投影两端水平坐标点，取其平均值作为投影中心的平面位置坐标。

进一步地，所述实时交互软件包括图像输入单元、图像处理单元和景深位置数据输出和虚拟现实实时交互算法单元，其图像输入单元用于视频图像处理单元的图像信号输入；其图像处理单元通过图像处理算法，得到前景物体在蓝箱中的平面坐标位置及景深数据，表现形式为经过计算确定前景物体在指定坐标系中的平面坐标位置，通过虚拟演播室三维渲染引擎计算匹配，用于虚拟演播室***的前景位置确定。

进一步地，所述图像输入单元可以是图像采集卡，也可以是自有设计的电路，用于图像实时输入给图像处理单元；所述图像处理单元可以是一台计算机，也可以是自有设计的具有数据处理能力的电路，在软件算法的支持下用于图像坐标点的数据处理，得到前景在蓝箱中的位置数据。

进一步地，辅助摄像机将图像形式输入，图像输入单元将辅助摄像机传来的视频图像数据以场频速度连续采集到图像处理单元，图像处理单元通过景深位置识别算法单元，得到前景物体在蓝箱中的坐标位置及景深数据，确定前景物体在指定坐标系中的坐标位置，通过数据输出单元传给虚拟演播室三维渲染引擎计算匹配。

进一步地，所述辅助摄像机安装在蓝箱任意位置，并对准前景即蓝箱中的节目主持人或物体摄取图像。

进一步地，所述景深位置识别算法单元为利用相邻图像数据帧的相关性和蓝箱的特殊性，实现前景物体与背景物体的分割，进而得到前景在蓝箱地面的投影中心，经过换算得到投影中心的位置坐标。

本技术主要体现一下三个主要的技术特征：

浸没感又称作临场感，指用户感到作为主角存在于模拟环境中的真实程度。理想的模拟环境应该使用户难以分辨真假，使用户全身心地投入到计算机创建的三维虚拟环境中，该环境中的一切看上去是真的，听上去是真的，动起来是真的，甚至闻起来、尝起来等一切感觉都是真的，如同在现实世界中的感觉一样。

交互性指前景对虚拟场景内物体的可操作程度和从环境得到反馈的自然程度(包括实时性)。例如，用户可以用手去直接抓取虚拟场景中虚拟的物体，这时观众看到手有握着东西的感觉，并可以感觉物体的重量，视野中被抓的物体也能立刻随着手的移动而移动。

构想性强调虚拟现实实时交互技术应具有广阔的可想像空间，可拓宽人类认知范围，不仅可再现真实存在的环境，也可以随意构想客观不存在的甚至是不可能发生的环境。

由于虚拟与现实自主响应交互技术的这三个特征，使其可以实现传统演播室不能实现的创作效果，使电视制作不再是只有立竿才能见影，而是只要能想到就能做得到，因此，受到了电视制作部门的欢迎。现在，随着技术的熟练运用，很多台都实现了几个甚至几十个栏目共用一套虚拟演播室***，不仅节约了场地、资金，减少了人员配备，降低了电视节目制作成本，而且提高了节目制作效率和制作质量，其优点越来越显现出来。而它的逼真性会使电视节目达到最佳的视觉效果，为电视节目制作拓展更大的空间。

本发明的有益效果是：

1、此***可以将摄像机拍摄的图像实时地与计算机三维图形进行合成，形成一种新的电视节目制作***。虚拟与现实自主响应交互装置充分利用了计算机三维图形技术和视频合成方法，根据摄像机的位置参数，使三维虚拟场景的透视关系与前景保持一致，从而创造出逼真的、立体感很强的电视演播室效果，节省了传统的基于搭设真实布景的电视节目制作中设计、材料、施工、场地等昂贵费用，克服了传统布景不宜随便搬动，灵活性差，场地不能重复利用的缺点，满足了电视节目制作与播出。

2、定位处理的结果一般是前景主持人可以在复杂三维虚拟场景中合理穿插走动，得到有真实感的前景与三维虚拟空间的视频合成图像，而不是简单的前景叠加虚拟背景，也不是人为的用遮挡键来进行前景在三维虚拟空间场景中的遮挡反映。同时，利用三维建模实现高质量的虚拟克隆，变成用户可触及的东西，缩短生活中重要的人员、地点和活动之间的距离(社区、工作地点、玩游戏、教学等)。通过使用这项技术，我们可以在虚拟世界中实现更多的惊奇体验，比如在虚拟空间场景中见面握手。

附图说明

图1是本发明交互软件结构示意图；

图2是本发明实施例结构示意图；

图3为本发明虚拟现实实时交互装置1示意图；

具体实施方式

为了使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

参见图1，一种虚拟现实实时交互中虚拟对现实自主响应方法，包括以下步骤：

步骤1，确定蓝箱坐标中心b(0,0)的位置:预先设定辅助摄像机摄像广角和主摄像机的相对位置关系,根据辅助摄像机拍摄到的图像，确定前景在蓝箱中的区域A,将拍摄到区域A的前帧图像作为后帧图像的模版，将此相邻的二帧图像输入到虚拟现实实时交互软件，根据虚拟现实实时交互软件得到的图像数据，采用数字图像的模板匹配技术，对真实蓝箱场景中的人或物体进行图像的检测识别和跟踪，实现真实场景中的人或物体与蓝箱背景的分割，进而得到真实场景中的人或物体在蓝箱中地面的投影坐标，同时采集真实场景中的人或物体在蓝箱中的运动范围，根据该范围经软件换算后标定出投影中心的平面位置坐标b(0,0)，将确定的蓝箱坐标中心b(0,0)输送给辅助摄像机图像处理***；

步骤2，确定目标物体b,(x,y)的位置:以步骤1中区域A为前景，辅助摄像机实时拍摄目标物体的图像，通过图像处理***实时计算出目标物体相对于参考坐标中心b(0,0)的位移，从而得到以帧为采样单位的目标物体的位置坐标b,(x,y)；

步骤3，三维渲染设备进行渲染并输出：将步骤2得到的目标物体b,(x,y)的位置，根据步骤1辅助摄像机摄像广角和主摄像机的相对位置关系，得到目标物体的景深位置参数，将此位置输入到三维渲染设备，再经过对矩阵方程的解算，让主摄像机三维空间生成目标的具***置关系与辅助摄像机相对于蓝箱坐标中心取得的前景具体三维位置坐标无缝匹配。

进一步地，所述辅助摄像机为彩色或黑白摄像机、模拟或数字摄像机、CCD或CMOS型等摄像机，所述辅助摄像机安装在蓝箱附近，对准前景的所有摄像机摄取图像的方式。

进一步地，步骤1中投影中心的平面位置坐标的换算方法为：

根据辅助摄像机取得蓝箱中前景的投影，得到投影两端水平坐标点；

根据得到投影两端水平坐标点，取其平均值作为投影中心的平面位置坐标。

进一步地，所述实时交互软件包括图像输入单元、图像处理单元和景深位置数据输出和虚拟现实实时交互算法单元，其图像输入单元用于视频图像处理单元的图像信号输入；其图像处理单元通过图像处理算法，得到前景物体在蓝箱中的平面坐标位置及景深数据，表现形式为经过计算确定前景物体在指定坐标系中的平面坐标位置，通过虚拟演播室三维渲染引擎计算匹配，用于虚拟演播室***的前景位置确定。

进一步地，所述图像输入单元可以是图像采集卡，也可以是一部分自己设计的电路，用于图像实时输入给图像处理单元；所述图像处理单元可以是一台计算机，也可以是一部分自己设计的具有数据处理能力的电路，在软件算法的支持下用于图像坐标点的数据处理，得到前景在蓝箱中的位置数据。

还包括安装在虚拟演播室蓝(或绿等颜色，下同)箱附近适当位置的辅助摄像机：对准蓝箱中的前景(包括节目主持人或物体)，用于将实时产生的前景图像传输给位置识别装置；

图像输入单元：可以是图像采集卡，也可以是自己设计的电路，用于图像实时采集并输入给图像处理单元；

图像处理单元：可以是一台计算机，也可以是自己设计的具有数据处理能力的电路，在软件算法的支持下用于图像坐标点的数据处理，得到前景在蓝箱中的位置数据；

虚拟与现实自主响应交互软件：用于图像输入单元、图像处理单元和景深位置数据输出，通过网络传输给虚拟演播室***的三维图形渲染工作站，用于将前景动态融合到三维虚拟场景中，增强前景在虚拟演播室***三维场景中的景深位置真实感，并正确反映前景在三维虚拟场景中的位置关系。

根据所述的虚拟演播室***中虚拟与现实自主响应交互装置，其辅助摄像机包括彩色或黑白摄像机、模拟或数字摄像机、CCD或CMOS型等摄像机，安装在蓝箱附近，对准前景(蓝箱中的节目主持人或物体)的所有摄像机摄取图像的方式；其图像输入单元用于视频图像处理单元的图像信号输入；其图像处理单元通过图像处理算法，得到前景物体在蓝箱中的平面坐标位置及景深数据，表现形式为经过计算确定前景物体在指定坐标系中的平面坐标位置，通过虚拟演播室三维渲染引擎计算匹配，用于虚拟演播室***的前景位置确定。

虚拟演播室***中虚拟与现实自主响应交互装置，其虚拟与现实自主响应交互模块通过计算处理辅助摄像机视频图像坐标数据，得到并输出一个前景(蓝箱中的节目主持人或物体)的景深位置数据，用于虚拟演播室***的前景位置定位与匹配处理，定位处理的结果一般是前景主持人可以在复杂三维虚拟场景中合理穿插走动，得到有真实感的前景与三维虚拟空间的视频合成图像，而不是简单的前景叠加虚拟背景，也不是人为的用遮挡键来进行前景在三维虚拟空间场景中的遮挡反映。其图像处理算法利用了相邻图像数据帧的相关性和蓝箱的特殊性等因素，实现前景物体与背景物体的分割，进而得到前景在蓝箱地面的投影中心，经过换算得到投影中心的平面位置坐标。

而虚拟演播室***中虚拟与现实自主响应交互装置，其包含两种形式，装置一中，图像输入单元为一块普通图像采集卡，图像处理单元为一台计算机，通过虚拟与现实自主响应交互软件实时计算出景深位置数据，通过网络传送给虚拟演播室中三维虚拟场景渲染计算机进行前景与三位虚拟场景的匹配。

如图3，图像输入单元为自己设计的具有数据转换功能的视频输入电路，图像处理单元为以DSP为核心的数据处理电路，图像处理软件算法以编译过的DSP程序文件方式保存在DSP电路中的程序引导存储器中，实时处理得到的景深位置数据通过渲染计算机总线传送给渲染计算机进行三维虚拟场景与前景景深位置数据的匹配处理。

实施例一：

如图2，一个设置在蓝箱演播室前方的前景摄像机110，在演播室蓝箱101上安装有辅助摄像机102，辅助摄像机102通过视频线103与虚拟现实实时交互***104内的视频图像采集模块105的输入端连接，视频图像采集模块105用于实时采集辅助摄像机102的视频信号，三维渲染机107通过网线106与虚拟现实实时交互***104连接，同时通过网线106与控制机108连接，前景摄像机110通过视频线109与控制机108连接。当工作时，先在演播室蓝箱101确定一个中心位置的三维位置坐标(0，0，0)，即把辅助摄像机102采集到的前帧图像作为后帧图像的模版，将此相邻的二帧图像输入到虚拟现实实时交互***104内的视频图像采集卡105中，得到其相关点，这种图像处理算法利用了相邻图像数据帧的相关性和蓝箱的特殊性等因素，实现前景物体与背景物体的分割，进而得到前景在蓝箱地面的投影中心，经过换算得到投影中心的平面位置坐标。利用中心位置的三维位置坐标(0，0，0)，再得到根据其演播室蓝箱101中具体目标111相对于蓝箱坐标中心(0,0，0)的位置三维坐标数据(x,y,0),其中的z值由主摄像机所摄取的前景平面图像与该前景景深xy位置参数的匹配结果来表现。这样就可以取得蓝箱中具体目标111的位置。对取得的具体目标111的坐标数据经过对矩阵方程的解算，实现三维虚拟场景和控制机108从前景摄像机110真实前景的景深位置关系的无缝匹配，使得真实前景自动恰当融入三维虚拟场景的合适空间位置之中，并反映正确的三维虚拟空间遮挡关系。

以上所述，仅是本发明的较佳实施例而己，并非对本发明作任何形式上的限制。虽然本发明己以较佳实施例揭露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (8)

1.一种虚拟现实实时交互中虚拟对现实自主响应方法，其实现步骤如下：

步骤1，确定蓝箱坐标中心b(0,0)的位置:预先设定辅助摄像机摄像广角和主摄像机的相对位置关系,根据辅助摄像机拍摄到的图像，确定前景在蓝箱中的区域A,将拍摄到区域A的前帧图像作为后帧图像的模版，将此相邻的二帧图像输入到虚拟现实实时交互软件，根据虚拟现实实时交互软件得到的图像数据，采用数字图像的模板匹配技术，对真实蓝箱场景中的人或物体进行图像的检测识别和跟踪，实现真实场景中的人或物体与蓝箱背景的分割，进而得到真实场景中的人或物体在蓝箱中地面的投影坐标，同时采集真实场景中的人或物体在蓝箱中的运动范围，根据该范围经软件换算后标定出投影中心的平面位置坐标b(0,0)，将确定的蓝箱坐标中心b(0,0)输送给辅助摄像机图像处理***；

步骤2，确定目标物体b,(x,y)的位置:以步骤1中区域A为前景，辅助摄像机实时拍摄目标物体的图像，通过图像处理***实时计算出目标物体相对于参考坐标中心b(0,0)的位移，从而得到以帧为采样单位的目标物体的位置坐标b,(x,y)；

步骤3，三维渲染设备进行渲染并输出：将步骤2得到的目标物体b,(x,y)的位置，根据步骤1辅助摄像机摄像广角和主摄像机的相对位置关系，得到目标物体的景深位置参数，将此位置输入到三维渲染设备，再经过对矩阵方程的解算，让主摄像机三维空间生成目标的具***置关系与辅助摄像机相对于蓝箱坐标中心取得的前景具体三维位置坐标无缝匹配。

2.根据权利要求1所述的一种虚拟现实实时交互中虚拟对现实自主响应方法，其特征在于，所述辅助摄像机为彩色或黑白摄像机、模拟或数字摄像机、CCD或CMOS型等摄像机，所述辅助摄像机安装在蓝箱附近，对准前景的所有摄像机摄取图像的方式。

3.根据权利要求1所述的一种虚拟现实实时交互中虚拟对现实自主响应方法，其特征在于，步骤1中投影中心的平面位置坐标的换算方法为：

根据辅助摄像机取得蓝箱中前景的投影，得到投影两端水平坐标点；

根据得到投影两端水平坐标点，取其平均值作为投影中心的平面位置坐标。

4.根据权利要求1所述的一种虚拟现实实时交互中虚拟对现实自主响应方法，其特征在于，所述实时交互软件包括图像输入单元、图像处理单元和景深位置数据输出和虚拟现实实时交互算法单元，其图像输入单元用于视频图像处理单元的图像信号输入；其图像处理单元通过图像处理算法，得到前景物体在蓝箱中的平面坐标位置及景深数据，表现形式为经过计算确定前景物体在指定坐标系中的平面坐标位置，通过虚拟演播室三维渲染引擎计算匹配，用于虚拟演播室***的前景位置确定。

5.根据权利要求1所述的一种虚拟现实实时交互中虚拟对现实自主响应方法，其特征在于，所述图像输入单元可以是图像采集卡，也可以是自有设计的电路，用于图像的实时采集并输入给图像处理单元；所述图像处理单元可以是一台计算机，也可以是自有设计的具有数据处理能力的电路，在软件算法的支持下用于图像坐标的数据处理，得到前景在蓝箱中的位置数据。

6.根据权利要求1或4或5所述的一种虚拟现实实时交互中虚拟对现实自主响应方法，其特征在于，辅助摄像机将图像形式输入，图像输入单元将辅助摄像机传来的视频图像数据以场频速度连续采集到图像处理单元，图像处理单元通过景深位置识别算法单元，得到前景物体在蓝箱中的坐标位置及景深数据，确定前景物体在指定坐标系中的坐标位置，通过数据输出单元传给虚拟演播室三维渲染引擎计算匹配。

7.根据权利要求1所述的一种虚拟现实实时交互中虚拟对现实自主响应方法，其特征在于，所述辅助摄像机安装在蓝箱任意位置，并对准前景即蓝箱中的节目主持人或物体摄取图像。

8.根据权利要求1所述的一种虚拟现实实时交互中虚拟对现实自主响应方法，其特征在于，所述景深位置识别算法单元为利用相邻图像数据帧的相关性和蓝箱的特殊性，实现前景物体与背景物体的分割，进而得到前景在蓝箱地面的投影中心，经过换算得到投影中心的位置坐标。