CN109544694A - 一种基于深度学习的增强现实***虚实混合建模方法 - Google Patents

Abstract

本发明请求保护一种基于深度学习的增强现实***虚实混合建模方法，针对增强现实***虚实混合建模问题，该方法首先将相邻帧的虚拟模型视图和实际物体图片有差异的区域全部提取出来，输入的图像首先经过PBAS算法进行检测，完成对前景目标的分割，然后将分割得到的疑似目标区域送入VGGNet‑16模型进行二次判断，将判断出的前景图像坐标输出，结合模型贴图与初始图像，得到虚实混合的模型结果。利用本发明提出的虚实混合建模方案，既能够大幅度降低算法整体的运算量，有效地降低算法对硬件的需求，又能够充分利用深度卷积神经网络模型VGGNET‑16的高图像分类准确率保证目标检测效果，有效提高建模精确度。

Description

一种基于深度学习的增强现实***虚实混合建模方法

技术领域

本发明属于增强现实技术领域，具体涉及一种基于深度学习的增强现实***虚实混合建模方法。

背景技术

增强现实(Augmented Reality,AR)技术作为一门新兴技术，可将计算机生成的二维或三维虚拟物体与真实场景实时叠加；并利用交互技术实现真实场景与虚拟物体之间的互动，从视听感觉上给人带来超越现实的体验，其通过附加虚拟的数字信息以提升用户与真实环境的交互体验。增强现实的大致流程为：首先在真实场景中定位摄像机位姿，然后采用计算机图形渲染技术将虚拟物体注册到真实场景中生成虚实融合的应用视图。但是由于单摄像机透视关系进行虚实合成的图像不能根据所摄物体深度关系进行识别和优化显示，所合成的虚实结合模型常常存在真实感差，结合较为粗糙等问题。

针对增强现实***虚实混合建模问题，由于现存深度识别配准方法不能满运动目标足较长时间跨度的虚实建模对准，长间隔图像序列会导致帧间背景的较大变化，帧差法、高斯混合模型等方法对背景变化较大时的适应性不足，VIBE方法也采用了恒定的背景更新阈值，均难以用于强现实***虚实混合建模。PBAS算法是近年提出的一种有效运动目标检测方法，其利用了背景建模的方法，背景更新阈值与前景分割阈值都可以随背景复杂度自适应改变，同时对于光照具有一定的鲁棒性。基于深度学习的分类器进行二次判断，可以有效提高建模精确度。本发明融合以上几种方案的优点，提出一种基于深度学习的增强现实***虚实混合建模方法。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种既能够大幅度降低算法整体的运算量，有效地降低算法对硬件的需求，又能够充分利用深度卷积神经网络模型VGGNET-16的高图像分类准确率保证目标检测效果，有效提高建模精确度的基于深度学习的增强现实***虚实混合建模方法。本发明的技术方案如下：

一种基于深度学习的增强现实***虚实混合建模方法，其包括以下步骤：

1)、输入虚拟模型视图和实际物体图像，首先基于目标先验知识对相邻帧的虚拟模型视图和实际物体图片进行了初步筛选，去除掉显著地虚假目标有差异的区域；

2)、完成第一步之后的虚拟模型视图和实际物体图像经过PBAS算法进行检测，完成对前景目标的分割，得到疑似目标区域；其中，PBAS算法中融合了SACON算法的背景建模部分和VIBE算法的前景检测部分；

3)、然后将分割得到的疑似目标区域送入VGGNet-16模型进行二次判断，将判断出的前景图像坐标输出；

4)、结合模型贴图与初始图像，得到虚实混合的模型结果。

进一步的，所述步骤1)是基于目标先验知识对结果进行了初步筛选，去除掉显著虚假目标。

进一步的，所述步骤2)经过PBAS算法进行检测，完成对前景目标的分割，得到疑似目标区域具体包括：

A1、采用类似SACON算法的背景建模方法，收集前N帧像素作为背景建模，得到背景模型；

A2、在步骤A1背景模型下，当前像素属于前景还是背景通过比较当前帧I(x_i)与背景模型B(x_i)来决定，通过比较样本集合中的像素值与当前帧像素值在颜色空间的欧氏距离，若距离小于距离阈值R(x_i)的样本个数比当前帧像素值在颜色空间的欧氏距离样本个数S_dmin少，则判定当前像素点为前景点，否则为背景点；

A3、背景模型的更新和背景复杂度的计算；

A4、前景分割阈值的自适应调整及更新策略；

A5、空洞填充与非目标区域消除步骤。

进一步的，所述步骤A1具体包括：对于每个像素来说，其背景模型表示为：

B(x_i)＝{B₁(x_i),…,B_k(x_i),…,B_N(x_i)}

其中，x_i代表第i帧图像的第一个像素，B(x_i)表示第i帧时的背景模型，B_k(x_i)代表背景模型B(x_i)中的一个样本的像素值，对于彩色图像来说，B_k(x_i)＝(r_i,g_i,b_i)，对应其在RGB空间的值；针对灰度图像，则为灰度值。

进一步的，所述步骤A2的前景检测结果为：

F(x_i)为前景图像像素点x_i的集合，其中若距离小于距离阈值R(x_i)的样本个数比当前帧像素值在颜色空间的欧氏距离样本个数S_dmin少则为前景点，数值为1，否则为背景点，数值为0，dist表示像素点与其在背景模型对应的点在颜色空间上的欧氏距离。

进一步的，所述步骤A3模型的更新和背景复杂度的计算具体包括：

背景模型更新过程中，随机选择需要被替换的样本，随机选择像素邻域的样本集合更新，具体来说前景区域不进行更新，背景区域以当前的背景更新概率随机选取背景模型中的一个样本像素值B_k(x_i)，与当前像素值I(x_i)进行替换，每个背景像素被替换的概率是与此同时，在随机选定的x_i的邻域内，再随机选取一个像素点y_i，采取相同的方式用当前的像素值V(y_i)替换背景像素点B_k(y_i)；

采用样本集合中样本更新时最小距离的平均值作为背景复杂度的度量，背景复杂度的计算过程如下：构建背景模型B(x_i)的同时，也构建一个最小距离模型D(x_i)：

D(x_i)＝{D₁(x_i),…,D_N(x_i)}

当前最小距离值为d_min(x_i)＝min_kdist(I(x_i),B_k(x_i))，按照以上步骤即可构建出最小距离模型，对应关系为d_min(x_i)→D_k(x_i)，通过最小距离的均值来确定此时背景的复杂程度：N为最小距离样本数。

进一步的，所述步骤A4前景分割阈值的自适应调整及更新策略，具体包括：

R(x_i)为前景检测结果，R_inc\dec与R_scale是恒定常数；

背景模型更新速率的自适应调整当前像素点x_i为背景点时，更新其对应的背景模型，如果x_i的邻域点y_i为前景像素点，同样也会发生背景模型的更新，引入参数T(x_i)动态控制这一进程的速度，使其在像素点被判定为背景时，更新速率提高，被判定为前景时，更新速率降低；当场景变化比较剧烈的时候，背景复杂度比较高，前景分割比较容易发生误判，此时更新速率的提高或者降低可以适当减慢；反之，场景比较稳定的时候，更新速率的提高或者降低应适当加快，其更新策略具体如下

F(x_i)为前景检测结果，T_inc和T_dec分别表示更新率的增加、减小的幅度。

进一步的，所述步骤A5空洞填充与非目标区域消除步骤，具体包括：

首先，使用形态学开运算来进行空洞消除；

提取前景图像上的联通区域的面积，丢弃像素面积小于100的区域；

计算留下的区域的外接矩形的长宽比，将长宽比大于4：3的区域丢弃。

进一步的，所述步骤3)将VGGNET-16模型的输出层分类类别数设置为2，网络其余部分结构保持不变，即解决实景图片及模型图片的两类分类问题，在微调过程中，使用经ImageNet数据集训练的原始VGGNET-16网络模型参数初始化整个调整后的卷积神经网络，然后利用增强现实***采集到的样本对参数进行微调，得到用于二次判断的新的卷积神经网络，若输出的前景图像坐标精度未达标则返回，否则将判断出的前景图像坐标输出，结合模型贴图与初始图像，得到虚实混合的模型结果。

本发明的优点及有益效果如下：

本发明的目的在于提供一种基于深度学习的增强现实***虚实混合建模方法，针对增强现实***虚实混合建模问题，该方法首先将相邻帧的虚拟模型视图和实际物体图片有差异的区域全部提取出来，输入的图像首先经过PBAS算法进行检测，完成对前景目标的分割，然后将分割得到的疑似目标区域送入VGGNet-16模型进行二次判断，将判断出的前景图像坐标输出，结合模型贴图与初始图像，得到虚实混合的模型结果。利用本发明提出的虚实混合建模方案，既能够大幅度降低算法整体的运算量，有效地降低算法对硬件的需求，又能够充分利用深度卷积神经网络模型VGGNET-16的高图像分类准确率保证目标检测效果，有效提高建模精确度。

附图说明

图1是本发明提供优选实施例提供的一种基于深度学习的增强现实***虚实混合建模方法流程示意图。

图2是本发明提供的基于PBAS算法的初步检测示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

一种基于深度学习的增强现实***虚实混合建模方法，主要包括以下步骤：

1.图像输入，并且基于目标先验知识对结果进行了初步筛选，去除掉显著地虚假目标。

2.基于PBAS算法的初步检测。采用综合性能较好的PBAS算法进行目标检测，PBAS算法中的背景建模部分借鉴了SACON算法，前景检测部分借鉴了VIBE算法，使得算法能够根据背景的复杂程度自适应地改变背景模型的更新速率以及前景分割的判断阈值，从而适应场景的变化。

1)PBAS算法采用类似SACON算法的背景建模方法，收集前N帧像素作为背景建模，则对于每个像素来说，其背景模型可以表示为：

B(x_i)＝{B₁(x_i),…,B_k(x_i),…,B_N(x_i)}

其中，x_i代表第i帧图像的第一个像素，B(x_i)表示第i帧时的背景模型。B_k(x_i)代表背景模型B(x_i)中的一个样本的像素值。对于彩色图像来说，B_k(x_i)＝(r_i,g_i,b_i)，对应其在RGB空间的值；针对灰度图像，则为灰度值。

2)前一步骤所建立的模型是一种基于采样统计的背景模型，在此类背景模型下，当前像素属于前景还是背景可以通过比较当前帧I(x_i)与背景模型B(x_i)来决定。通过比较样本集合中的像素值与当前帧像素值在颜色空间的欧氏距离，若距离小于距离阈值R(x_i)的样本个数比S_dmin少，则判定当前像素点为前景点，否则为背景点。前景检测结果：

3)模型的更新和背景复杂度的计算。

a)背景模型更新过程中，随机选择需要被替换的样本，随机选择像素邻域的样本集合更新。具体来说前景区域不进行更新，背景区域以当前的背景更新概率随机选取背景模型中的一个样本像素值B_k(x_i)，与当前像素值I(x_i)进行替换。每个背景像素被替换的概率是与此同时，在随机选定的x_i的邻域内，再随机选取一个像素点y_i，采取相同的方式用当前的像素值V(y_i)替换背景像素点B_k(y_i)。

b)采用样本集合中样本更新时最小距离的平均值作为背景复杂度的度量。背景复杂度的计算过程如下：构建背景模型B(x_i)的同时，也构建一个最小距离模型D(x_i)：

D(x_i)＝{D₁(x_i),…,D_N(x_i)}

当前最小距离值为d_min(x_i)＝min_kdist(I(x_i),B_k(x_i))。按照以上步骤即可构建出最小距离模型，对应关系为d_min(x_i)→D_k(x_i)。通过最小距离的均值来确定此时背景的复杂程度：

4)前景分割阈值的自适应调整及更新策略。

a)前景分割阈值的调整过程中，场景变化越剧烈，背景复杂度越高，背景像素点越容易被误判断为前景，所以此时分割阈值应该相应增大，用以保证背景像素不被误判为前景；反之场景越稳定，背景复杂度越低，分割阈值应该越小，用以保证对前景分割完整，具体的调整策略如下：

R(x_i)为前景检测结果，R_inc\dec与R_scale是恒定常数。

b)背景模型更新速率的自适应调整当前像素点x_i为背景点时，会更新其对应的背景模型，如果x_i的邻域点y_i为前景像素点，同样也会发生背景模型的更新，这表明长时间静止的前景区域的边缘会逐渐被判断为背景。本算法引入参数T(x_i)动态控制这一进程的速度，使其在像素点被判定为背景时，更新速率提高，被判定为前景时，更新速率降低。当场景变化比较剧烈的时候，背景复杂度比较高，前景分割比较容易发生误判，此时更新速率的提高或者降低可以适当减慢；反之，场景比较稳定的时候，更新速率的提高或者降低应适当加快，其更新策略具体如下

F(x_i)为前景检测结果，T_inc和T_dec分别表示更新率的增加、减小的幅度。

5)空洞填充与非目标区域消除

经过前景分割处理后，在前景区域可能产生空洞现象，而且原始检测结果也有可能本身存在残缺，这会对检测的精确性产生影响。同时也需要减少送入卷积神经网络进行二次判断的区域数量，进而减少整体计算量。综上所述，需要对于分割出的前景区域进行以下处理：

a)首先，使用形态学开运算来进行空洞消除。本算法采用的是3像素宽度的膨胀与腐蚀；

b)提取前景图像上的联通区域的面积，丢弃像素面积小于100的区域；

c)计算留下的区域的外接矩形的长宽比，将长宽比大于4：3的区域丢弃。以上步骤中的3像素宽度，前景面积区域阈值100与长宽比4：3都是通过反复试验得到。

3.基于深度学习算法的二次分类判断

用上述方法所筛选出来的前景图像坐标中仍然包含大量虚假数据，需要通过分类精度较高的卷积神经网络模型进行进一步分类判断。

对于卷积神经网络进行迁移学习，本发明主要是对于整个卷积神经网络的全部参数或者某一部分层的参数进行微调，修改最后一层的输出类别数并利用目标场景的样本微调VGGNET-16网络模型。

将VGGNET-16模型的输出层分类类别数设置为2，网络其余部分结构保持不变，即解决实景图片及模型图片的两类分类问题。在微调过程中，使用经ImageNet数据集训练的原始VGGNET-16网络模型参数初始化整个调整后的卷积神经网络，然后利用增强现实***采集到的样本对参数进行微调，得到用于二次判断的新的卷积神经网络。

4.若输出的前景图像坐标精度未达标则返回步骤3，否则将判断出的前景图像坐标输出，结合模型贴图与初始图像，得到虚实混合的模型结果。

具体的，如图1所示，一种基于深度学习的增强现实***虚实混合建模方法具体运行流程如下：

步骤1、图像输入，采用并且基于目标先验知识对结果进行了初步筛选，去除掉显著地虚假目标。

步骤2、基于PBAS算法的初步检测如图2所示。步骤3、基于深度学习算法的二次分类判断。

步骤4、若输出的前景图像坐标精度未达标则返回步骤3，否则将判断出的前景图像坐标输出，结合模型贴图与初始图像，得到虚实混合的模型结果。

1、本发明针对增强现实***虚实混合建模问题，该方法首先将相邻帧的虚拟模型视图和实际物体图片有差异的区域全部提取出来，输入的图像首先经过PBAS算法进行检测，完成对前景目标的分割，然后将分割得到的疑似目标区域送入VGGNet-16模型进行二次判断，将判断出的前景图像坐标输出，结合模型贴图与初始图像，得到虚实混合的模型结果。利用本发明提出的虚实混合建模方案，既能够大幅度降低算法整体的运算量，有效地降低算法对硬件的需求，又能够充分利用深度卷积神经网络模型VGGNET-16的高图像分类准确率保证目标检测效果，有效提高建模精确度。

2、采用综合性能较好的PBAS算法进行目标检测，PBAS算法中的背景建模部分借鉴了SACON算法，前景检测部分借鉴了VIBE算法，使得算法能够根据背景的复杂程度自适应地改变背景模型的更新速率以及前景分割的判断阈值，从而适应场景的变化。特别地，PBAS算法采用类似SACON算法的背景建模方法，收集前N帧像素作为背景建模，则对于每个像素来说，其背景模型可以表示为：

B(x_i)＝{B₁(x_i),…,B_k(x_i),…,B_N(x_i)}

3、通过比较样本集合中的像素值与当前帧像素值在颜色空间的欧氏距离，若距离小于距离阈值R(x_i)的样本个数比S_dmin少，则判定当前像素点为前景点，否则为背景点。前景检测结果：

4、前景区域不进行更新，背景区域以当前的背景更新概率随机选取背景模型中的一个样本像素值B_k(x_i)，与当前像素值I(x_i)进行替换。每个背景像素被替换的概率是与此同时，在随机选定的x_i的邻域内，再随机选取一个像素点y_i，采取相同的方式用当前的像素值V(y_i)替换背景像素点B_k(y_i)。

5、构建背景模型B(x_i)的同时，也构建一个最小距离模型D(x_i)：

D(x_i)＝{D₁(x_i),…,D_N(x_i)}

6、前景分割阈值的自适应调整策略如下：

7、更新策略具体如下

8、空洞填充与非目标区域消除中对于分割出的前景区域进行以下处理：

a)首先，使用形态学开运算来进行空洞消除。本算法采用的是3像素宽度的膨胀与腐蚀；

b)提取前景图像上的联通区域的面积，丢弃像素面积小于100的区域；

c)计算留下的区域的外接矩形的长宽比，将长宽比大于4：3的区域丢弃。以上步骤中的3像素宽度，前景面积区域阈值100与长宽比4：3都是通过反复试验得到。

9、将VGGNET-16模型的输出层分类类别数设置为2，网络其余部分结构保持不变，即解决实景图片及模型图片的两类分类问题。在微调过程中，使用经ImageNet数据集训练的原始VGGNET-16网络模型参数初始化整个调整后的卷积神经网络，然后利用增强现实***采集到的样本对参数进行微调，得到用于二次判断的新的卷积神经网络。

10、若输出的前景图像坐标精度未达标则返回上一步骤，否则将判断出的前景图像坐标输出，结合模型贴图与初始图像，得到虚实混合的模型结果。达到了良好的反馈调节作用。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (9)

1.一种基于深度学习的增强现实***虚实混合建模方法，其特征在于，包括以下步骤：

1)、输入虚拟模型视图和实际物体图像，首先基于目标先验知识对相邻帧的虚拟模型视图和实际物体图片进行了初步筛选，去除掉显著地虚假目标有差异的区域；

2)、完成第一步之后的虚拟模型视图和实际物体图像经过PBAS算法进行检测，完成对前景目标的分割，得到疑似目标区域；其中，PBAS算法中融合了SACON算法的背景建模部分和VIBE算法的前景检测部分；

3)、然后将分割得到的疑似目标区域送入VGGNet-16模型进行二次判断，将判断出的前景图像坐标输出；

4)、结合模型贴图与初始图像，得到虚实混合的模型结果。

2.根据权利要求1所述的一种基于深度学习的增强现实***虚实混合建模方法，其特征在于，所述步骤1)是基于目标先验知识对结果进行了初步筛选，去除掉显著虚假目标。

3.根据权利要求1所述的一种基于深度学习的增强现实***虚实混合建模方法，其特征在于，所述步骤2)经过PBAS算法进行检测，完成对前景目标的分割，得到疑似目标区域具体包括：

A1、采用类似SACON算法的背景建模方法，收集前N帧像素作为背景建模，得到背景模型；

A2、在步骤A1背景模型下，当前像素属于前景还是背景通过比较当前帧I(x_i)与背景模型B(x_i)来决定，通过比较样本集合中的像素值与当前帧像素值在颜色空间的欧氏距离，若距离小于距离阈值R(x_i)的样本个数比当前帧像素值在颜色空间的欧氏距离样本个数S_dmin少，则判定当前像素点为前景点，否则为背景点；

A3、背景模型的更新和背景复杂度的计算；

A4、前景分割阈值的自适应调整及更新策略；

A5、空洞填充与非目标区域消除步骤。

4.根据权利要求3所述的一种基于深度学习的增强现实***虚实混合建模方法，其特征在于，所述步骤A1具体包括：对于每个像素来说，其背景模型表示为：

B(x_i)＝{B₁(x_i),…,B_k(x_i),…,B_N(x_i)}

其中，x_i代表第i帧图像的第一个像素，B(x_i)表示第i帧时的背景模型，B_k(x_i)代表背景模型B(x_i)中的一个样本的像素值，对于彩色图像来说，B_k(x_i)＝(r_i,g_i,b_i)，对应其在RGB空间的值；针对灰度图像，则为灰度值。

5.根据权利要求4所述的一种基于深度学习的增强现实***虚实混合建模方法，其特征在于，所述步骤A2的前景检测结果为：

F(x_i)为前景图像像素点x_i的集合，其中若距离小于距离阈值R(x_i)的样本个数比当前帧像素值在颜色空间的欧氏距离样本个数S_dmin少则为前景点，数值为1，否则为背景点，数值为0，dist表示像素点与其在背景模型对应的点在颜色空间上的欧氏距离。

6.根据权利要求5所述的一种基于深度学习的增强现实***虚实混合建模方法，其特征在于，所述步骤A3模型的更新和背景复杂度的计算具体包括：

背景模型更新过程中，随机选择需要被替换的样本，随机选择像素邻域的样本集合更新，具体来说前景区域不进行更新，背景区域以当前的背景更新概率随机选取背景模型中的一个样本像素值B_k(x_i)，与当前像素值I(x_i)进行替换，每个背景像素被替换的概率是与此同时，在随机选定的x_i的邻域内，再随机选取一个像素点y_i，采取相同的方式用当前的像素值V(y_i)替换背景像素点B_k(y_i)；

采用样本集合中样本更新时最小距离的平均值作为背景复杂度的度量，背景复杂度的计算过程如下：构建背景模型B(x_i)的同时，也构建一个最小距离模型D(x_i)：

D(x_i)＝{D₁(x_i),…,D_N(x_i)}

当前最小距离值为d_min(x_i)＝min_kdist(I(x_i),B_k(x_i))，按照以上步骤即可构建出最小距离模型，对应关系为d_min(x_i)→D_k(x_i)，通过最小距离的均值来确定此时背景的复杂程度：N为最小距离样本数。

7.根据权利要求6所述的一种基于深度学习的增强现实***虚实混合建模方法，其特征在于，所述步骤A4前景分割阈值的自适应调整及更新策略，具体包括：

R(x_i)为前景检测结果，R_inc\dec与R_scale是恒定常数；

背景模型更新速率的自适应调整当前像素点x_i为背景点时，更新其对应的背景模型，如果x_i的邻域点y_i为前景像素点，同样也会发生背景模型的更新，引入参数T(x_i)动态控制这一进程的速度，使其在像素点被判定为背景时，更新速率提高，被判定为前景时，更新速率降低；当场景变化比较剧烈的时候，背景复杂度比较高，前景分割比较容易发生误判，此时更新速率的提高或者降低可以适当减慢；反之，场景比较稳定的时候，更新速率的提高或者降低应适当加快，其更新策略具体如下

F(x_i)为前景检测结果，T_inc和T_dec分别表示更新率的增加、减小的幅度。

8.根据权利要求7所述的一种基于深度学习的增强现实***虚实混合建模方法，其特征在于，所述步骤A5空洞填充与非目标区域消除步骤，具体包括：

首先，使用形态学开运算来进行空洞消除；

提取前景图像上的联通区域的面积，丢弃像素面积小于100的区域；

计算留下的区域的外接矩形的长宽比，将长宽比大于4：3的区域丢弃。

9.根据权利要求6所述的一种基于深度学习的增强现实***虚实混合建模方法，其特征在于，所述步骤3)将VGGNET-16模型的输出层分类类别数设置为2，网络其余部分结构保持不变，即解决实景图片及模型图片的两类分类问题，在微调过程中，使用经ImageNet数据集训练的原始VGGNET-16网络模型参数初始化整个调整后的卷积神经网络，然后利用增强现实***采集到的样本对参数进行微调，得到用于二次判断的新的卷积神经网络，若输出的前景图像坐标精度未达标则返回，否则将判断出的前景图像坐标输出，结合模型贴图与初始图像，得到虚实混合的模型结果。