CN106997618A - 一种虚拟现实与真实场景融合的方法 - Google Patents

Abstract

本发明提供了一种虚拟现实与真实场景融合的方法，通过获取虚拟现实设备内部的图像信息，生成虚拟现实场景；以接近用户视角的拍摄视角拍摄真实场景影像，并且提供表示该真实场景影像的拍摄视角的参数；以用户视角为基准，调整所述真实场景影像，使调整后的真实场景影像的成像视角与用户视角相一致；并且从调整后的真实场景影像中识别并提取出真实目标场景信息；根据所述真实目标场景信息与虚拟现实场景，于虚拟现实设备内部生成融合场景。以实现在虚拟现实过程中能够结合真实场景，实现虚拟与现实融合的效果，能够增进人机交互、提升用户体验。

Description

一种虚拟现实与真实场景融合的方法

技术领域

本发明涉及虚拟现实技术领域，特别是涉及一种虚拟现实与真实场景融合的方法。

背景技术

虚拟现实(VirtualReality,以下简称VR)技术是主要通过综合利用计算机图形***和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。

增强现实(AugmentedReality,以下简称AR)技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。

现有技术中的一种头盔显示器，比如，类似Oculus的产品，能够让用户体验VR效果，像***眼镜类似的产品能够让用户体验AR效果。

发明人在实现本发明实施例的过程中发现：现有的VR头盔能够观看虚拟的场景、人物等，但这些虚拟的场景人物都是预先设计好的，或者是按照特定算法渲染而成的，并没有结合用户使用VR头盔时的场景，缺少与现实环境的互动。而现有的AR眼镜能够看到用户眼前的真实环境，并能够分析图像，给出一些提示信息，但不能体验逼真的虚拟场景带来的愉悦，也即AR很难做好虚拟真实的结合。

发明内容

基于此，有必要提供一种虚拟现实与真实场景融合的方法，以实现在虚拟现实过程中能够结合真实场景，实现虚拟与现实融合的效果，能够增进人机交互、提升用户体验。

一种虚拟现实与真实场景融合的方法，包括：

获取虚拟现实设备内部的图像信息，生成虚拟现实场景；

以接近用户视角的拍摄视角拍摄真实场景影像，并且提供表示该真实场景影像的拍摄视角的参数；以用户视角为基准，调整所述真实场景影像，使调整后的真实场景影像的成像视角与用户视角相一致；并且从调整后的真实场景影像中识别并提取出真实目标场景信息；

根据所述真实目标场景信息与虚拟现实场景，于虚拟现实设备内部生成融合场景。

在其中一个实施例中，所述获取虚拟现实设备内部的图像信息，生成虚拟现实场景，包括：

对虚拟现实设备内部的图像进行读取、分析、识别，并利用识别结果生成不同的虚拟现实场景。

在其中一个实施例中，所述对虚拟现实设备内部的图像进行读取、分析、识别，并利用识别结果生成不同的虚拟现实场景，包括：

对虚拟现实设备内部的图像进行读取；

对读取到的图像进行数据分析获取图像的特征点；

将获取的图像特征点与数据库中图像进行对比得到识别结果；

利用所述识别结果生成不同的虚拟现实场景。

在其中一个实施例中，所述以接近用户视角的拍摄视角拍摄真实场景影像，并且提供表示该真实场景影像的拍摄视角的参数；以用户视角为基准，调整所述真实场景影像，使调整后的真实场景影像的成像视角与用户视角相一致；并且从调整后的真实场景影像中识别并提取出真实目标场景信息的步骤之后，还包括：

采集用户所在真实环境的真实环境参数；拍摄用户的实时画面，从中识别和提取用户的行为动作，并确定用户的行为动作与真实场景对象的关联度。

在其中一个实施例中，所述根据所述真实目标场景信息与虚拟现实场景，于虚拟现实设备内部生成融合场景，包括：

给图像中每一个像素点赋予一个初始速度矢量形成图像运动场；

根据各个像素点的速度矢量特征对图像进行动态分析；

判断图像中是否有运动物体，若图像中没有运动物体，则光流矢量在整个图像区域是连续变化的；若图像中有运动物体，真实目标场景和图像背景存在相对运动，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置；

获得图像特征点新的位置；

根据获得的图像特征点新的位置与原始位置，基于3D摄像头的物理参数计算出三维空间内物体的平移、旋转与缩放矢量；

将虚拟现实场景赋予得到的平移、旋转与缩放矢量完成虚拟现实场景与真实目标场景融合。

上述实施例中提供了一种虚拟现实与真实场景融合的方法，通过获取虚拟现实设备内部的图像信息，生成虚拟现实场景；以接近用户视角的拍摄视角拍摄真实场景影像，并且提供表示该真实场景影像的拍摄视角的参数；以用户视角为基准，调整所述真实场景影像，使调整后的真实场景影像的成像视角与用户视角相一致；并且从调整后的真实场景影像中识别并提取出真实目标场景信息；根据所述真实目标场景信息与虚拟现实场景，于虚拟现实设备内部生成融合场景。以实现在虚拟现实过程中能够结合真实场景，实现虚拟与现实融合的效果，能够增进人机交互、提升用户体验。

附图说明

图1为一个实施例中一种虚拟现实与真实场景融合的方法流程图；

图2为图1中步骤S10的具体流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

除非上下文另有特定清楚的描述，本发明中的元件和组件，数量既可以单个的形式存在，也可以多个的形式存在，本发明并不对此进行限定。本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。

需要说明的是，真实场景信息包括由3D摄像机实时拍摄的周围环境信息，比如，左右两个摄像头分别按照用户左右眼的视线方向实时拍摄真实场景的图像序列，在某一时刻t，可以从左摄像头提供的图像序列中获取一张图像，作为左图，从右摄像头提供的图像序列中获取一张图像，作为右图，其中，左图模拟了用户左眼看到的内容，右图模拟了用户右眼看到的内容。虚拟现实场景信息包括虚拟现实模型的图像信息，比如，虚拟现实场景模型的左视图及右视图。

在本发明实施例中，增强现实场景是指利用增强现实技术将真实场景信息进行呈现的场景，虚拟现实场景是指利用虚拟现实技术将虚拟现实场景信息进行呈现的场景。

在本发明实施例中，虚拟现实设备可以为智能穿戴设备，而智能穿戴设备可以包括具备AR及VR功能的头戴式智能设备，比如，智能眼镜或头盔。

在一个实施例中，如图1所示，一种虚拟现实与真实场景融合的方法，包括：

S10、获取虚拟现实设备内部的图像信息，生成虚拟现实场景；

具体的，虚拟现实设备对其内部的图像进行读取、分析、识别，并利用识别结果生成不同的虚拟现实场景。

在其中一个实施例中，如图2所示，所述步骤S10包括：

S101、对虚拟现实设备内部的图像进行读取；

S102、对读取到的图像进行数据分析获取图像的特征点；

S103、将获取的图像特征点与数据库中图像进行对比得到识别结果；

S104、利用所述识别结果生成不同的虚拟现实场景。

在实际应用中，在将***启动初始化后，***通过图像读取单元读取虚拟现实设备中存取的指定图像；在虚拟现实设备中存取的图像文件均是用户通过摄像拍摄的照片或是通过其他的途径获取的图片，将这些照片及图片存储到虚拟现实设备中的图像数据库中，供给后续需要选择各种图像的来源。

在对图像进行分析的过程中可以先将图像文件的分辨率进行统一，将其分辨率压缩到较低，例如分辨率320*240大小，在将分辨率调整后对图像文件需要进行格式转化，将图像的彩色格式转化为灰度格式，将转化格式后的图像利用二维图像亮度变化距离的点或图像边缘曲线上具有曲率极大值的点分析图像角点的特征，并以分析的图像角点特征作为图像特征点。

再利用局部随机二值特征，分别计算在上述中获取的特征点信息和数据库中图像的特征描述信息，在通过各个角点的描述信息来判断他们在两张图像中的对应关系，去除两张图片中错误匹配的外点，保留下正确匹配的内点，当保留的正确北配特征点的数量超过了设定的阈值，则判断为识别成功进入下一个步骤；若识别不成功，则返回上述步骤中重新对图片进行循环处理直到识别成功为止。

利用上述步骤的识别结果得到识别到的目标编号，按照编号在数据库中检索出相对应的虚拟内容，并生成虚拟现实场景。

S20、以接近用户视角的拍摄视角拍摄真实场景影像，并且提供表示该真实场景影像的拍摄视角的参数；以用户视角为基准，调整所述真实场景影像，使调整后的真实场景影像的成像视角与用户视角相一致；并且从调整后的真实场景影像中识别并提取出真实目标场景信息；

在本发明实施例中，3D摄像机以接近用户视角的拍摄视角拍摄真实场景影像，并且提供表示该真实场景影像的拍摄视角的参数；以用户视角为基准，调整所述真实场景影像，使调整后的真实场景影像的成像视角与用户视角相一致；并且从调整后的真实场景影像中识别并提取出真实目标场景信息。在其中一个优选的实施例中，可以为：追踪人眼的视线变化，根据所述人眼的视线变化，调整所述3D摄像机双摄像头方向，以使所述双摄像头的方向与所述人眼视线变化后的视线方向一致，获取所述双摄像头按照调整后的方向实时采集的真实场景信息。为了实现双摄像头模拟人眼拍摄真实场景信息，需要摄像头按照人眼视线方向，采集真实场景信息。为了获取人眼的视线变化，在VR头盔内部可以安装眼部视线追踪模块，以追踪视线变化。为了让两个摄像头能够更好的模拟双眼看到的场景，智能穿戴设备例如VR头盔内部的处理器需要根据双眼视线变化参数来分别调节左右两个摄像头的观看角度。双摄像头画面的实时获取并分别呈现给左右眼，此时能够复现人眼的观看效果。具体的，可以利用现有技术中的眼球跟踪技术，例如根据眼球和眼球周边的特征变化进行跟踪、根据虹膜角度变化进行跟踪、主动投射红外线等光束到虹膜来提取特征进行跟踪来确定人眼的视线变化等。当然，本发明实施例不限于此，在本发明的技术构思下，本领域技术人员可以利用任意可行的技术追踪人眼的视线变化进而调整模拟人眼的左右眼摄像头的采集方向，实时采集真实场景信息。

在其中一个实施例中，所述步骤S20之后，还包括：

采集用户所在真实环境的真实环境参数；拍摄用户的实时画面，从中识别和提取用户的行为动作，并确定用户的行为动作与真实场景对象的关联度。

S30、根据所述真实目标场景信息与虚拟现实场景，于虚拟现实设备内部生成融合场景。

在本发明的一个实施例中，所述根据所述真实目标场景信息与虚拟现实场景，于虚拟现实设备内部生成融合场景，可具体包括：

将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图；

将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图；

根据所述融合场景左图及右图，生成融合场景。

具体而言，将虚拟场景信息与真实场景信息叠加，比如，将虚拟模型信息叠加至真实场景时，需要左右两个摄像头提供真实场景实时的图像序列，在某一时刻t，可以从左摄像头提供的图像序列中获取一张图像，作为左图，从右摄像头提供的图像序列中获取一张图像，作为右图。左图模拟了左眼看到的内容，右图模拟了右眼看到的内容。左右摄像头提供实时的图像序列，这些图像序列可以通过多种方法获取，一种方法是使用摄像头厂商提供的SDK(SoftwareDevelopmentKit)进行图像获取，另一种方法是使用一些常用的开源工具从摄像头中读取图像，如Opencv。为了得到真实场景的层次关系，可以计算视差后，用视差的层次关系表示场景的层次关系。计算左右图之间的视差，可以使用BM、图割、ADCensus等任意一种视差计算方法进行计算。有了视差就得知了场景层次信息，场景的层次信息也称为场景的景深信息，景深信息可以用来指导虚拟模型与真实场景的融合，让虚拟模型更加合理放到真实场景中。具体方法为，虚拟模型在左右图的最小视差要比虚拟模型在左右图的覆盖区域的最大视差大，并且使用视差之前需要对视差信息进行中值平滑。在左图和右图中分别加入虚拟模型，设虚拟模型在左右图中的最小视差为d，d需要大于虚拟模型覆盖区域的最大视差。将虚拟模型对应的左视图叠加到左图中，将虚拟模型对应的右视图叠加到右图中，就可以生成融合场景。

在本发明的另一个实施例中，所述根据所述真实目标场景信息与虚拟现实场景，于虚拟现实设备内部生成融合场景，可具体包括：

给图像中每一个像素点赋予一个初始速度矢量形成图像运动场；

根据各个像素点的速度矢量特征对图像进行动态分析；

判断图像中是否有运动物体，若图像中没有运动物体，则光流矢量在整个图像区域是连续变化的；若图像中有运动物体，真实目标场景和图像背景存在相对运动，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置；

获得图像特征点新的位置；

根据获得的图像特征点新的位置与原始位置，基于3D摄像头的物理参数计算出三维空间内物体的平移、旋转与缩放矢量；

将虚拟现实场景赋予得到的平移、旋转与缩放矢量完成虚拟现实场景与真实目标场景融合。

具体而言，图像中每一个像素点赋予一个初始速度矢量，使其形成场景图像运动场，在运行的特定时刻，使其图像上的点与三维物体上的点一一对应，这种对应关系可以由投影关系得到，根据各个像素点的所读矢量特征，对图像进行动态分析，判断图像中是否有运动的物体，如果图像中没有物体在运动，则光流矢量在整个图像区域是连续变化的；如果图像中有运动的物体，则目标和图像背景存在相对运动，运动物体所形成的速度矢量必然和邻域背景矢量不同，从而检测出运动物体及位置，使其得到场景图像特征点的新位置。

将静态图像转化成虚拟内容和动态的真实场景均准备妥当后，在摄像设备空间中将上述识别的虚拟内容置于跟踪的特征点空间位置，将虚拟内容与真实场景进行融合；再根据上述步骤得到的场景图像特征点新的位置与原始位置，依据摄像头的物理参数计算出在三维图像空间内物体的平移、旋转与缩放矢量，这时将激发的虚拟内容赋予计算出来在三维空间内物体的平移、旋转与缩放矢量上，就实现了虚拟内容与真实场景的完整融合。

在本实施例中，可通过采用单一图片作为输入源，识别该图片从而激发虚拟内容；同时利用场景特征追踪技术，将虚拟内容置于用户的真实环境中，从而实现增强现实的效果，解除了特征图像激发虚拟内容的限制，促进了产业的发展。

在本发明其中一个实施例中，将叠加有虚拟模型左视图的左图，以及叠加有虚拟模型右视图的右图进行合成后一起送入显示器，分别在显示器的左半部分和右半部分显示，即可呈现所述融合场景，这样，用户分别通过左右眼观看，此时就能够体验真实场景与虚拟模型的良好融合。

在本发明实施例中，除了实现真实场景信息与虚拟场景信息融合，生成融合场景外，还可以根据所述3D摄像机双摄像头采集的真实场景信息，生成增强现实场景，或者，根据所述虚拟现实场景信息，生成虚拟现实场景，在本发明实施例中，生成增强现实场景或虚拟现实场景，即AR功能或VR功能，本领域技术人员结合本发明实施例，可以实现，此处不再赘述。

上述实施例中提供了一种虚拟现实与真实场景融合的方法，通过获取虚拟现实设备内部的图像信息，生成虚拟现实场景；以接近用户视角的拍摄视角拍摄真实场景影像，并且提供表示该真实场景影像的拍摄视角的参数；以用户视角为基准，调整所述真实场景影像，使调整后的真实场景影像的成像视角与用户视角相一致；并且从调整后的真实场景影像中识别并提取出真实目标场景信息；根据所述真实目标场景信息与虚拟现实场景，于虚拟现实设备内部生成融合场景。以实现在虚拟现实过程中能够结合真实场景，实现虚拟与现实融合的效果，能够增进人机交互、提升用户体验。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种虚拟现实与真实场景融合的方法，其特征在于，包括：

获取虚拟现实设备内部的图像信息，生成虚拟现实场景；

以接近用户视角的拍摄视角拍摄真实场景影像，并且提供表示该真实场景影像的拍摄视角的参数；以用户视角为基准，调整所述真实场景影像，使调整后的真实场景影像的成像视角与用户视角相一致；并且从调整后的真实场景影像中识别并提取出真实目标场景信息；

根据所述真实目标场景信息与虚拟现实场景，于虚拟现实设备内部生成融合场景。

2.根据权利要求1所述的方法，其特征在于，所述获取虚拟现实设备内部的图像信息，生成虚拟现实场景，包括：

对虚拟现实设备内部的图像进行读取、分析、识别，并利用识别结果生成不同的虚拟现实场景。

3.根据权利要求2所述的方法，其特征在于，所述对虚拟现实设备内部的图像进行读取、分析、识别，并利用识别结果生成不同的虚拟现实场景，包括：

对虚拟现实设备内部的图像进行读取；

对读取到的图像进行数据分析获取图像的特征点；

将获取的图像特征点与数据库中图像进行对比得到识别结果；

利用所述识别结果生成不同的虚拟现实场景。

4.根据权利要求1所述的方法，其特征在于，所述以接近用户视角的拍摄视角拍摄真实场景影像，并且提供表示该真实场景影像的拍摄视角的参数；以用户视角为基准，调整所述真实场景影像，使调整后的真实场景影像的成像视角与用户视角相一致；并且从调整后的真实场景影像中识别并提取出真实目标场景信息的步骤之后，还包括：

采集用户所在真实环境的真实环境参数；拍摄用户的实时画面，从中识别和提取用户的行为动作，并确定用户的行为动作与真实场景对象的关联度。

5.根据权利要求4所述的方法，其特征在于，所述根据所述真实目标场景信息与虚拟现实场景，于虚拟现实设备内部生成融合场景，包括：

给图像中每一个像素点赋予一个初始速度矢量形成图像运动场；

根据各个像素点的速度矢量特征对图像进行动态分析；

判断图像中是否有运动物体，若图像中没有运动物体，则光流矢量在整个图像区域是连续变化的；若图像中有运动物体，真实目标场景和图像背景存在相对运动，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置；

获得图像特征点新的位置；

根据获得的图像特征点新的位置与原始位置，基于3D摄像头的物理参数计算出三维空间内物体的平移、旋转与缩放矢量；

将虚拟现实场景赋予得到的平移、旋转与缩放矢量完成虚拟现实场景与真实目标场景融合。