CN106997617A - 混合现实虚拟呈现方法及装置 - Google Patents

Abstract

本发明实施例公开了一种混合现实虚拟呈现方法及装置，所述方法包括：通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像；根据至少两张平面确定图像，绘制用户视野中包括的空间网格平面；根据空间网格平面，确定与待显示3D物体对应的虚拟场景；将虚拟场景输出至混合现实眼镜，以使用户观测到由虚拟场景以及混合现实眼镜获取的真实场景融合后的混合现实场景。本发明实施例通过摄像机采集的图像确定现实场景对应的空间平面，并将3D物体与空间平面相融合形成虚拟影像，这样形成的虚拟影像真实感强，一定程度上达到了欺骗人大脑的目的，让人不易分辨现实场景和虚拟场景，并且能够降低实现成本。

Description

混合现实虚拟呈现方法及装置

技术领域

本发明实施例涉及混合现实技术领域，尤其涉及一种混合现实虚拟呈现方法及装置。

背景技术

MR(Mixed Reality，混合现实技术)，是一种将真实世界信息和虚拟世界信息混合叠加呈现的技术，涉及多媒体处理、三维建模、实时视频显示及控制、实时跟踪以及场景融合等新技术与新手段。MR***具有三个突出的特点：①真实世界和虚拟世界的信息集成；②具有实时交互性；③是在三维尺度空间中增添定位虚拟物体。MR技术可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。

为了实现混合现实效果，目前通常的呈现方式，比如谷歌眼镜、微软hololens等都是将虚拟构建的显示图像直接叠加到现实图像中进行混合显示，但是，显示图像中往往内容复杂，需要复杂的算法计算虚拟图像与现实图像的叠加位置以及虚拟图像需要进行的缩放、旋转等处理，才能最大程度的使得叠加后的混合图像真实感强。因此，现有技术的缺陷在于MR***实现技术复杂，成本高，真实感不佳。

发明内容

本发明实施例提供一种混合现实虚拟呈现方法及装置，能够在降低实现成本的基础上，高真实度的实现混合现实的虚拟呈现。

第一方面，本发明实施例提供了一种混合现实虚拟呈现方法，包括：

通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像，其中，所述摄像头配置于所述用户佩戴的混合现实眼镜之上；

根据所述至少两张平面确定图像，绘制所述用户视野中包括的空间网格平面；

根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景；

将所述虚拟场景输出至所述混合现实眼镜，以使所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景。

第二方面，本发明实施例还提供了一种混合现实虚拟呈现装置，包括：

平面确定图像获取模块，用于通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像，其中，所述摄像头配置于所述用户佩戴的混合现实眼镜之上；

空间网格平面绘制模块，用于根据所述至少两张平面确定图像，绘制用户视野中包括的空间网格平面；

虚拟场景确定模块，用于根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景；

虚拟场景输出模块，用于将所述虚拟场景输出至所述混合现实眼镜，以使所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景。

本发明实施例通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像；根据所述至少两张平面确定图像，绘制用户视野中包括的空间网格平面；根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景；将所述虚拟场景输出至所述混合现实眼镜，以实现所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景的效果，这样形成的虚拟影像真实感强，一定程度上达到了欺骗人大脑的目的，让人不易分辨真实场景和虚拟场景，与现有的谷歌眼镜、微软hololens相比，实现成本低。

附图说明

图1是本发明实施例一提供的一种混合现实虚拟呈现方法的流程图；

图2a是本发明实施例二提供的一种混合现实虚拟呈现方法的流程图；

图2b是本发明实施例二提供的混合现实虚拟呈现方法中t-1时刻的特征点位置分布示意图；

图2c是本发明实施例二提供的一种混合现实虚拟呈现方法中的t时刻的特征点位置分布示意图；

图2d是本发明实施例二提供的一种混合现实虚拟呈现方法中提取的图像特征点分布示意图；

图2e是本发明实施例二提供的一种混合现实虚拟呈现方法中确定的空间网格平面示意图；

图2f是本发明实施例二提供的一种混合现实虚拟呈现方法中确定的空间网格平面示意图；

图3a是本发明实施例三提供的一种混合现实虚拟呈现方法的流程图；

图3b是本发明实施例三提供的一种待显示3D物体叠加于空间网格平面后的示意图；

图3c是本发明实施例三提供的一种混合现实虚拟呈现方法中的通过两个通道将虚拟场景输出至所述混合现实眼镜的不同镜片中的示意图；

图4是本发明实施例四提供的一种混合现实虚拟呈现装置的结构图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

首先，为了后文便于说明，首先将本发明的发明构思进行简单说明。

在本发明各实施例中，使用了混合现实眼镜，该混合现实眼镜，通过光反射投影到半透明眼镜片上，能够实现宽角度的获取几乎和真实场景一样的场景。该混合现实眼镜上包括有摄像头，用于模拟人眼获取周围环境中的景物，该摄像头拍摄的景物并不是用于生成虚拟场景或者现实场景，而是仅仅用于确定佩戴该混合现实眼镜的用户的视野中包括的空间网格平面。在确定该空间网格平面后，进而可以将待显示的3D物体叠加于所述空间网格平面之上，生成虚拟场景。最后可以将所述虚拟场景输出至所述混合现实眼镜，以使所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景。

实施例一

图1为本发明实施例一提供的一种混合现实虚拟呈现方法的流程图，本实施例适用于融合现实场景和虚拟场景的情况。该方法可以由本发明实施例提供的混合现实虚拟呈现装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成于用于显示混合现实场景的混合现实眼镜中。如图1所示，本实施例的方法具体包括：

S110、通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像。

在本实施例中，所述摄像头配置于所述用户佩戴的混合现实眼镜之上，用于模拟所述用户的眼睛来获取周围环境中的景物，进而可以较准确的确定用户视野中包括的空间网格平面。

其中，所述平面确定图像是指所述摄像头拍摄的，用于确定用户视野中包括的空间网格平面的图像。所述至少两张平面确定图像为摄像头对于同一场景进行连续拍摄，且拍摄过程中经过摄像头的短距离移动而位于不同位置处，从而拍摄的有部分场景重叠的多张图像，也即：不同的平面确定图像中包括有一个或者多个相同的景物。

S120、根据所述至少两张平面确定图像，绘制所述用户视野中包括的空间网格平面。

在本实施例中，在获取至少两张平面确定图像后，可以首先提取各所述平面确定图像中的特征点。所谓特征点，是指图像中体现景物特征的点，这些特征点不受景物的大小和旋转的影响，对于光线、噪声、微视角改变的容忍度也相当高，很容易辨识景物而且鲜有误认的点。在提取不同平面确定图像中的特征点后，通过特征点匹配的方式，获取不同平面确定图像中包括的相同特征点，之后可以根据该相同特征点在不同平面确定图像中的运动轨迹，得到对应的空间网格属性结构，进而可以根据该空间网格属性结构，绘制相应的空间网格平面。空间网格平面用于表征该空间中的至少一个平面，且能够以网格相连的形式来表示各平面。

典型的，可以通过SIFT(Scale-invariant feature transform，尺度不变特征变化)算法获取平面中包括的特征点。

S130、根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景。

其中，所述待显示3D物体具体是指需要与混合现实眼镜获取的真实场景进行融合并显示的虚拟3D物体。其中，发明人发现如果不考虑用户当前视野中的能够观测的内容直接虚拟显示该3D物体，该混合现实场景的真实度低，用户体验差。

相应的，在本实施例中，首先获取用户视野中包括的空间网格平面，之后可以考虑待显示3D物体与各平面的位置关系，从而将该待显示3D物体与所述空间网格平面进行叠加后生成相应的虚拟场景，以增强虚拟影像(即：该待显示3D物体)的真实感。

S140、将所述虚拟场景输出至所述混合现实眼镜，以使所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景。

其中，为了最终获取融合真实场景以及所述虚拟场景的混合现实场景，需要将该虚拟场景输出至混合现实眼镜。

本发明实施例通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像；根据所述至少两张平面确定图像，绘制用户视野中包括的空间网格平面；根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景；将所述虚拟场景输出至所述混合现实眼镜，以实现所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景的效果，这样形成的虚拟影像真实感强，一定程度上达到了欺骗人大脑的目的，让人不易分辨真是场景和虚拟场景，与现有的谷歌眼镜、微软hololens相比，实现成本低。

实施例二

图2a为本发明实施例二提供的一种混合现实虚拟呈现方法的流程图。本实施例以上述实施例为基础进行进一步优化，在本实施例中，将根据所述至少两张平面确定图像，绘制所述用户视野中包括的空间网格平面，具体优化为：分别在所述至少两张平面确定图像中提取特征点，并在所述至少两张平面确定图像中，标记相同特征点的位置；根据所述相同特征点在不同平面确定图像中的位置，获取所述相同特征点的运动特征参数；根据所述运动特征参数，绘制所述用户视野中包括的空间网格平面。

相应的，本实施例的方法具体包括：

S210、通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像，其中，所述摄像头配置于所述用户佩戴的混合现实眼镜之上。

S220、分别在所述至少两张平面确定图像中提取特征点，并在所述至少两张平面确定图像中，标记相同特征点的位置。

在本实施例的一个可选的实施方式中，在所述平面确定图像中提取特征点，具体可以包括下述步骤：

S2201、根据与所述平面确定图像对应的至少两个尺度空间图像，生成高斯差分图像，并在所述高斯差分图像中检测极值点作为特征点。

在本步骤中，可以根据下述公式：

对每幅所述平面确定图像I(x,y)进行多尺度空间变换，生成至少两个尺度空间图像L(x,y,σ)；其中，(x，y)为图像中像素点的二维坐标，I(x,y)为平面确定图像，σ为尺度空间因子，不同σ的高斯函数G(x,y,σ)生成不同的尺度空间图像；

之后，将相邻尺度空间图像的相减结果，作为高斯差分图像D(x，y)，不同的高斯差分图像对应不同层的高斯差分金字塔。

其中，为了后文便于理解，首先介绍图像金字塔的概念。图像金字塔的每组里有若干层，第一组的第一层为原图像(即：I(x,y))，然后将原图像做一次高斯平滑(高斯卷积、高斯模糊)，得到L(x,y,σ)。高斯平滑里有一个参数σ，在SIFT里取1.6，然后将σ乘一个比例系数k作为新的平滑因子来平滑第一组第二层得到第一组第三层。重复若干次，得到第一组的L层分别对应的平滑参数为：0，σ，kσ，k2σ....(在本发明实施例中，将上述各个参数定义为不同的σ)。然后将第一组最后一幅图像做比例因子为2的降采样得到第二组的第一层，然后对第二组的第一层做参数为σ的高斯平滑得到第二组的第二层，对第二组的第二层做kσ的平滑得到第二组的第三层，以此类推，直至最终得到该图像金字塔。

高斯差分(Difference of Gaussian，DoG)金字塔，由上述图像金字塔构造出来，高斯差分金字塔的第一组第一层图像是由图像金字塔的第一组第二层图像减第一组第一层图像得到；高斯差分金字塔的第一组第二层图像是由图像金字塔的第一组第三层图像减第一组第二层图像得到，依次类推。图像金字塔的每组图像都这样处理后就生成了高斯差分金字塔中包括的各高斯差分图像(D(x，y))。

在生成高斯差分金字塔中各层的高斯差分图像后，可以根据公式：对生成的所述高斯差分图像进行求导，并将导数等于0时的极值点作为备选特征点，其中，D_l(x,y)表示所述高斯差分金字塔中第l层的高斯差分图像；

之后，计算如果计算得到的则将相应的备选特征点保留作为所述特征点。0.7为预设的门限值，也可以根据不同需求调整该门限值来作为选择特征点的依据。表示在特征点处的高斯差分图像；表示高斯差分金字塔中第l层在特征点处的高斯差分图像；表示高斯差分金字塔中第l-1层在特征点处的高斯差分图像。

S2202、确定与各所述特征点对应的方向参数，并根据所述方向参数，确定与各所述特征点对应的特征描述子。

在本步骤中，在计算得到各特征点之后，以特征点为中心取16×16的窗口，将所述窗口内包括的各像素点作为与所述特征点关联的关键点；

根据公式：以及θ(x,y)＝tan2((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))，计算各关键点(x，y)处梯度的模值m(x,y)以及梯度的方向θ(x,y)，L为与所述关键点(x，y)对应的尺度空间图像(通过S2201计算得到)；

以顺时针方向，45度角为跨度，选取8个方向值(典型的，0、π/4、π/2、3π/4、π、5π/4、3π/2、7π/4)，根据计算得到的各所述关键点处梯度的模值以及梯度的方向(仅能取前述选取的8个方向值)，构造直方图，并将所述直方图的峰值对应的梯度的方向作为所述特征点的主方向；

将坐标轴旋转至所述特征点的主方向后，根据与所述特征点关联的各关键点处梯度的模值以及梯度的方向，生成所述特征点的特征描述子F；

其中，f(n)∈F，f(n)为与所述特征点关联的第n关键点的特征描述；a₁，a₂，a₃为预设权重值；θ_n为第n关键点处梯度的方向，m_n为第n关键点处梯度的模值，p_n为第n关键点与所述特征点之间的相对位置。其中，n∈[1，N]；N为所述特征点所关联的关键点的总数量。

通过S2202的操作，可以将每一个特征点使用该特征点周围多个关键点的梯度的方向以及梯度的模值构成的特征描述子F来表征。

通过上述S2201以及S2202，可以生成与各平面确定图像分别对应的特征描述子，(典型的，与一个特征点对应的特征描述子为一个128维的向量)，之后可以将相邻拍摄时间的两张平面确定图像中的各特征描述子进行匹配(典型的，可以通过计算欧式距离的方式)，满足预设的匹配条件，即表示在上述两张平面确定图像中包括有相同特征点，进而可以分别在上述两张平面确定图像中标记该相同特征点。

S230、根据所述相同特征点在不同平面确定图像中的位置，获取所述相同特征点的运动特征参数。

在本实施例中，所述运动特征参数可以包括：所述相同特征点的移动方向、移动速度以及位移。

相应的，在本实施例的一个可选的实施方式中，根据所述相同特征点在不同平面确定图像中的位置，获取所述相同特征点的运动特征参数可以包括：

根据所述相同特征点在不同平面确定图像中的位置，计算所述相同特征点的移动方向以及位移值；

根据所述不同平面确定图像的拍摄时间以及所述位移值，计算所述相同特征点的移动速度。

其中，在图2b中示出了本发明实施例二提供的混合现实虚拟呈现方法中t-1时刻的特征点(特征点1、特征点2以及特征点3)位置分布示意图，在图2c中示出了本发明实施例二提供的一种混合现实虚拟呈现方法中的t时刻的特征点位置分布示意图。

以特征点1为例，在确定特征点1在t-1时刻获取的平面确定图像中的位置，以及该特征点1在t时刻获取的平面确定图像中的位置后，根据上述两个位置之间的差异值，确定该特征点1的移动方向以及位移值；之后根据t-1与t之间的时间差值Δt以及所述位移值，计算特征点1的移动速度。

S240、根据所述运动特征参数，绘制所述用户视野中包括的空间网格平面。

在本实施例的一个可选的实施方式中，根据所述运动特征参数，绘制所述用户视野中包括的空间网格平面，可以包括：

根据公式：计算t+1时刻的空间网格属性结构p_t+1；

其中，F_t为t时刻特征点的特征描述子，q_t为t时刻特征点的置信度权重，所述置信度权重根据特征点在至少两个平面确定图像中的相似度距离确定，v_t为t时刻特征点的移动速度，w_t为t时刻特征点的移动方向，n_t为t时刻特征点的位移值，Δt为t+1时刻与t时刻之间的时间增量；(v_t,n_t)Δt为特征描述子增量函数；((w_t,n_t)Δt)为置信度权值增量函数；

根据t+1时刻的空间网格属性结构，绘制在t+1时刻下所述用户视野中包括的空间网格平面。

需要说明的是，为了绘制用户在t+1时刻的空间网格平面，首先需要获取用户在第t时刻的一个或者多个特征点的特征描述子、特征点的移动方向、位移值以及移动速度生成空间网格属性结构p_t+1。

其中，在计算两张平面确定图像中包括的相同特征点时，是基于两张平面确定图像中包括的特征点之间的相似度距离确定的。实际上，通过相似度距离确定的相同特征点可能是正确的，也可能是错误的。因此，在确定空间网格属性结构时，引入了特征点的置信度权重的概念，当计算得到相同特征点时，两个特征点之间的相似度距离越近，该特征点的置信度权重越高。

(v_t,n_t)Δt为特征描述子增量函数，((w_t,n_t)Δt)为置信度权值增量函数，其可以根据实际情况进行自定义设定。其中，特征描述子增量函数由v_t、n_t以及Δt三个参数确定；置信度权值增量函数由w_t n_t以及Δt三个参数确定。

S250、根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景。

S260、将所述虚拟场景输出至所述混合现实眼镜，以使所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景。

其中，在图2d中示出了本发明实施例二提供的一种混合现实虚拟呈现方法中提取的图像特征点分布示意图；在图2e中示出了本发明实施例二提供的一种混合现实虚拟呈现方法中确定的空间网格平面示意图；在图2f中示出了本发明实施例二提供的另一种混合现实虚拟呈现方法中确定的空间网格平面示意图。

由于传统的混合现实装置成本高，技术复杂或体验的真实感不强，不利于规模化推广。与现有技术相比，本实施例技术方案为低成本，高真实感的混合现实虚拟呈现方法，通过摄像机空间平面构建和虚拟影像的融合，虚拟影像的真实感强，一定程度上达到了欺骗人大脑的目的，让人不易分辨现实场景和虚拟场景，从而在教育、游戏等行业应用中，体验效果更好。由于方案成本低，有利于大众化推广应用。

实施例三

图3a为本发明实施例三提供的一种混合现实虚拟呈现方法的流程图。本实施例以上述实施例为基础进行进一步优化，在本实施例中，将根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景进行进一步细化；

在将所述虚拟场景输出至所述混合现实眼镜之前，还优选包括：将所述摄像头拍摄的视频，以及绘制的所述空间网格平面进行屏蔽；

同时，将所述虚拟场景输出至所述混合现实眼镜，具体优化为：将所述虚拟场景分解为双通道视频内容，并将所述双通道视频内容输出至所述混合现实眼镜的不同镜片中。

相应的，本实施例的方法具体包括如下步骤：

S310、通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像，其中，所述摄像头配置于所述用户佩戴的混合现实眼镜之上。

S320、根据所述至少两张平面确定图像，绘制所述用户视野中包括的空间网格平面。

S330、根据所述待显示3D物体的尺寸数据以及所述空间网格平面的大小，控制所述待显示3D物体的缩放比例，将所述待显示3D物体以设定尺寸叠加在所述空间网格平面上，并获取与所述待显示3D物体对应的空间平面坐标。

具体的，根据该待显示3D物体的长、宽、高数据和绘制得到的空间网格平面大小，控制该待显示3D物体的缩放比例，将3D物体叠加在所述空间网格平面上，并对3D物体进行碰撞检测，以避免3D物体穿透真实场景的空间平面，或与真实场景中的其他物体嵌套而影响该混合现实场景的真实性。

S340、根据空间平面坐标以及虚拟坐标之间的映射关系，以及与所述待显示3D物体对应的空间平面坐标，确定所述待显示3D物体的虚拟坐标，以生成与所述待显示3D物体对应的虚拟场景。

其中，在图3b中示出了一种待显示3D物体叠加于空间网格平面后的示意图。

具体的，设虚拟场景中的点P在虚拟坐标系中的虚拟坐标为(X，Y，Z)，在空间平面坐标系中空间平面的(X_O,Y_O,Z_O)之间的变换关系满足如下方程：

其中，X_T,Y_T,Z_T,φ,γ,k分别表示真实空间摄像机位置及方位角度，l是缩放尺度。在虚拟坐标系中，通过驱动虚拟摄像机的位置和角度变换，来变换虚拟场景的成像，用于保证虚拟场景图像与现实场景图像合成时的透视投影关系匹配。进一步的，三维场景点P的坐标值M与其在图像平面上的透视投影点P₁的坐标值m之间的关系为：

其中，C是相机参数矩阵，包括相机内参数：相机焦点坐标(f_x,f_y)和光心坐标(c_x,c_y)，R为相机旋转矩阵，T为相机平移矩阵。

通过上述公式，可以根据与所述待显示3D物体对应的空间平面坐标，确定所述待显示3D物体的虚拟坐标，进而可以生成与所述待显示3D物体对应的虚拟场景。

S350、将所述摄像头拍摄的视频，以及绘制的所述空间网格平面进行屏蔽。

S360、将所述虚拟场景分解为双通道视频内容，并将所述双通道视频内容输出至所述混合现实眼镜的不同镜片中。

其中，在图3c中示出了本发明实施例三提供的一种混合现实虚拟呈现方法中的通过两个通道将虚拟场景输出至所述混合现实眼镜的不同镜片中的示意图。

本实施例通过摄像机采集的图像确定现实场景对应的空间平面，并将3D物体与空间平面相融合形成虚拟影像，这样形成的虚拟影像真实感强，一定程度上达到了欺骗人大脑的目的，让人不易分辨现实场景和虚拟场景，并且能够降低实现成本。

实施例四

图4所示为本发明实施例四提供的一种混合现实虚拟呈现装置的结构示意图。如图4所示，所述装置包括：

平面确定图像获取模块410，用于通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像，其中，所述摄像头配置于所述用户佩戴的混合现实眼镜之上；

空间网格平面绘制模块420，用于根据所述至少两张平面确定图像，绘制用户视野中包括的空间网格平面；

虚拟场景确定模块430，用于根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景；

虚拟场景输出模块440，用于将所述虚拟场景输出至所述混合现实眼镜，以使所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景。

本发明实施例通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像；根据所述至少两张平面确定图像，绘制用户视野中包括的空间网格平面；根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景；将所述虚拟场景输出至所述混合现实眼镜，以实现所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景的效果，这样形成的虚拟影像真实感强，一定程度上达到了欺骗人大脑的目的，让人不易分辨真是场景和虚拟场景，与现有的谷歌眼镜、微软hololens相比，实现成本低。

在上述各实施例的基础上，所述空间网格平面绘制模块，可以包括：

特征点确定单元，用于分别在所述至少两张平面确定图像中提取特征点，并在所述至少两张平面确定图像中，标记相同特征点的位置；

运动特征参数获取单元，用于根据所述相同特征点在不同平面确定图像中的位置，获取所述相同特征点的运动特征参数；

空间网格平面绘制单元，用于根据所述运动特征参数，绘制所述用户视野中包括的空间网格平面。

在上述各实施例的基础上，所述特征点确定单元，具体可以包括：

高斯差分图像生成子单元，用于根据与所述平面确定图像对应的至少两个尺度空间图像，生成高斯差分图像，并在所述高斯差分图像中检测极值点作为特征点；

特征描述子确定子单元，用于确定与各所述特征点对应的方向参数，并根据所述方向参数，确定与各所述特征点对应的特征描述子。

在上述各实施例的基础上，所述高斯差分图像生成子单元，具体可以用于：

根据公式：L(x,y,σ)＝G(x,y,σ)*I(x,y)；以及对所述平面确定图像I(x,y)进行多尺度空间变换，生成至少两个尺度空间图像L(x,y,σ)；其中，(x，y)为图像中像素点的二维坐标，σ为尺度空间因子，不同σ的高斯函数G(x,y,σ)生成不同的尺度空间图像；

将相邻尺度空间图像的相减结果，作为高斯差分图像D(x，y)，不同的高斯差分图像对应不同层的高斯差分金字塔；

根据公式对生成的所述高斯差分图像进行求导，并将导数等于0时的极值点作为备选特征点，其中，D_l(x,y)表示高斯差分金字塔中第l层的高斯差分图像；

计算如果计算得到的则将相应的备选特征点保留作为所述特征点。

在上述各实施例的基础上，所述特征描述子确定子单元，具体可以用于：

以特征点为中心取16×16的窗口，将所述窗口内包括的各像素点作为与所述特征点关联的关键点；

根据公式：以及θ(x,y)＝tan2((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))，计算各关键点(x，y)处梯度的模值m(x,y)以及梯度的方向θ(x,y)，L为与所述关键点(x，y)对应的尺度空间图像；

以顺时针方向，45度角为跨度，选取8个方向值，根据计算得到的各所述关键点处梯度的模值以及梯度的方向，构造直方图，并将所述直方图的峰值对应的梯度的方向作为所述特征点的主方向；

将坐标轴旋转至所述特征点的主方向后，根据与所述特征点关联的各关键点处梯度的模值以及梯度的方向，生成所述特征点的特征描述子F；

其中，f(n)∈F，f(n)为与所述特征点关联的第n关键点的特征描述；a₁，a₂，a₃为预设权重值；θ_n为第n关键点处梯度的方向，m_n为第n关键点处梯度的模值，p_n为第n关键点与所述特征点之间的相对位置。

在上述各实施例的基础上，所述运动特征参数获取单元，具体可以用于：

根据所述相同特征点在不同平面确定图像中的位置，计算所述相同特征点的移动方向以及位移值；

根据所述不同平面确定图像的拍摄时间以及所述位移值，计算所述相同特征点的移动速度。

在上述各实施例的基础上，所述空间网格平面绘制单元，具体可以用于：

根据公式：计算t+1时刻的空间网格属性结构p_t+1；

其中，F_t为t时刻特征点的特征描述子，q_t为t时刻特征点的置信度权重，所述置信度权重根据特征点在至少两个平面确定图像中的相似度距离确定，v_t为t时刻特征点的移动速度，w_t为t时刻特征点的移动方向，n_t为t时刻特征点的位移值，Δt为t+1时刻与t时刻之间的时间增量；(v_t,n_t)Δt为特征描述子增量函数；((w_t,n_t)Δt)为置信度权值增量函数；

根据t+1时刻的空间网格属性结构，绘制在t+1时刻下所述用户视野中包括的空间网格平面。

在上述各实施例的基础上，所述虚拟场景确定模块，具体可以用于：

根据所述待显示3D物体的尺寸数据以及所述空间网格平面的大小，控制所述待显示3D物体的缩放比例，将所述待显示3D物体以设定尺寸叠加在所述空间网格平面上，并获取与所述待显示3D物体对应的空间平面坐标；

根据空间平面坐标以及虚拟坐标之间的映射关系，以及与所述待显示3D物体对应的空间平面坐标，确定所述待显示3D物体的虚拟坐标，以生成与所述待显示3D物体对应的虚拟场景。

在上述各实施例的基础上，还可以包括：屏蔽模块，用于：

在将所述虚拟场景输出至所述混合现实眼镜之前，将所述摄像头拍摄的视频，以及绘制的所述空间网格平面进行屏蔽。

在上述各实施例的基础上，所述虚拟场景输出模块，可以具体用于：

将所述虚拟场景分解为双通道视频内容，并将所述双通道视频内容输出至所述混合现实眼镜的不同镜片中。

上述实施例中提供的混合现实虚拟呈现装置可执行本发明任意实施例所提供的混合现实虚拟呈现方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的混合现实虚拟呈现方法。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种混合现实虚拟呈现方法，其特征在于，包括：

通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像，其中，所述摄像头配置于所述用户佩戴的混合现实眼镜之上；

根据所述至少两张平面确定图像，绘制所述用户视野中包括的空间网格平面；

根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景；

将所述虚拟场景输出至所述混合现实眼镜，以使所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景。

2.根据权利要求1所述的方法，其特征在于，根据所述至少两张平面确定图像，绘制所述用户视野中包括的空间网格平面，包括：

分别在所述至少两张平面确定图像中提取特征点，并在所述至少两张平面确定图像中，标记相同特征点的位置；

根据所述相同特征点在不同平面确定图像中的位置，获取所述相同特征点的运动特征参数；

根据所述运动特征参数，绘制所述用户视野中包括的空间网格平面。

3.根据权利要求2所述的方法，其特征在于，在所述平面确定图像中提取特征点，具体包括：

根据与所述平面确定图像对应的至少两个尺度空间图像，生成高斯差分图像，并在所述高斯差分图像中检测极值点作为特征点；

确定与各所述特征点对应的方向参数，并根据所述方向参数，确定与各所述特征点对应的特征描述子。

4.根据权利要求3所述的方法，其特征在于，根据与所述平面确定图像对应的至少两个尺度空间图像，生成高斯差分图像，并在所述高斯差分图像中检测极值点作为特征点，包括：

根据公式：L(x,y,σ)＝G(x,y,σ)*I(x,y)；以及对所述平面确定图像I(x,y)进行多尺度空间变换，生成至少两个尺度空间图像L(x,y,σ)；其中，(x，y)为图像中像素点的二维坐标，σ为尺度空间因子，不同σ的高斯函数G(x,y,σ)生成不同的尺度空间图像；

将相邻尺度空间图像的相减结果，作为高斯差分图像D(x，y)，不同的高斯差分图像对应不同层的高斯差分金字塔；

根据公式对生成的所述高斯差分图像进行求导，并将导数等于0时的极值点作为备选特征点，其中，D_l(x,y)表示高斯差分金字塔中第l层的高斯差分图像；

计算如果计算得到的则将相应的备选特征点保留作为所述特征点；

表示在特征点处的高斯差分图像；表示高斯差分金字塔中第l层在特征点处的高斯差分图像；表示高斯差分金字塔中第l-1层在特征点处的高斯差分图像。

5.根据权利要求3或4所述的方法，其特征在于，确定与各所述特征点对应的方向参数，并根据所述方向参数，确定与各所述特征点对应的特征描述子，包括：

以特征点为中心取16×16的窗口，将所述窗口内包括的各像素点作为与所述特征点关联的关键点；

根据公式：以及θ(x,y)＝tan2((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))，计算各关键点(x，y)处梯度的模值m(x,y)以及梯度的方向θ(x,y)，L为与所述关键点(x，y)对应的尺度空间图像；

以顺时针方向，45度角为跨度，选取8个方向值，根据计算得到的各所述关键点处梯度的模值以及梯度的方向，构造直方图，并将所述直方图的峰值对应的梯度的方向作为所述特征点的主方向；

将坐标轴旋转至所述特征点的主方向后，根据与所述特征点关联的各关键点处梯度的模值以及梯度的方向，生成所述特征点的特征描述子F；

其中，f(n)∈F，f(n)为与所述特征点关联的第n关键点的特征描述；a₁，a₂，a₃为预设权重值；θ_n为第n关键点处梯度的方向，m_n为第n关键点处梯度的模值，p_n为第n关键点与所述特征点之间的相对位置。

6.根据权利要求2所述的方法，其特征在于，根据所述相同特征点在不同平面确定图像中的位置，获取所述相同特征点的运动特征参数，包括：

根据所述相同特征点在不同平面确定图像中的位置，计算所述相同特征点的移动方向以及位移值；

根据所述不同平面确定图像的拍摄时间以及所述位移值，计算所述相同特征点的移动速度。

7.根据权利要求6所述方法，其特征在于，根据所述运动特征参数，绘制所述用户视野中包括的空间网格平面，包括：

根据公式：计算t+1时刻的空间网格属性结构p_t+1；

其中，F_t为t时刻特征点的特征描述子，q_t为t时刻特征点的置信度权重，所述置信度权重根据特征点在至少两个平面确定图像中的相似度距离确定，v_t为t时刻特征点的移动速度，w_t为t时刻特征点的移动方向，n_t为t时刻特征点的位移值，Δt为t+1时刻与t时刻之间的时间增量；(v_t,n_t)Δt为特征描述子增量函数；((w_t,n_t)Δt)为置信度权值增量函数；

根据t+1时刻的空间网格属性结构，绘制在t+1时刻下所述用户视野中包括的空间网格平面。

8.根据权利要求1所述的方法，其特征在于，根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景，包括：

根据所述待显示3D物体的尺寸数据以及所述空间网格平面的大小，控制所述待显示3D物体的缩放比例，将所述待显示3D物体以设定尺寸叠加在所述空间网格平面上，并获取与所述待显示3D物体对应的空间平面坐标；

根据空间平面坐标以及虚拟坐标之间的映射关系，以及与所述待显示3D物体对应的空间平面坐标，确定所述待显示3D物体的虚拟坐标，以生成与所述待显示3D物体对应的虚拟场景。

9.根据权利要求1所述的方法，其特征在于，在将所述虚拟场景输出至所述混合现实眼镜之前，还包括：

将所述摄像头拍摄的视频，以及绘制的所述空间网格平面进行屏蔽。

10.根据权利要求9所述的方法，其特征在于，将所述虚拟场景输出至所述混合现实眼镜，包括：

将所述虚拟场景分解为双通道视频内容，并将所述双通道视频内容输出至所述混合现实眼镜的不同镜片中。

11.一种混合现实虚拟呈现装置，其特征在于，包括：

平面确定图像获取模块，用于通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像，其中，所述摄像头配置于所述用户佩戴的混合现实眼镜之上；

空间网格平面绘制模块，用于根据所述至少两张平面确定图像，绘制用户视野中包括的空间网格平面；

虚拟场景确定模块，用于根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景；

虚拟场景输出模块，用于将所述虚拟场景输出至所述混合现实眼镜，以使所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景。