CN105046710A - 基于深度图分割与代理几何体的虚实碰撞交互方法及装置 - Google Patents

Abstract

基于深度图分割与代理几何体的虚实碰撞交互方法及装置。本申请公开了一种对深度图像中的场景进行分割，并基于分割结果构建代理几何体的方法来实现虚、实物体的碰撞交互的方法。首先获取当前真实场景的彩色图像信息和深度图像信息；然后以深度图像中法向信息和连通性为准则,采用区域生长法对深度图像进行区域分割,并在此基础上利用高斯图像的平面判定技术识别出场景中的主平面区域；对除去主平面区域的其他点云区域进行融合处理，得到场景中的其他主要物体区域；为识别出的主平面构建虚拟平面，为分割出的物体构建包围盒；最后将这些代理几何体叠加到真实物体上，并对之赋予物理属性，模拟实现虚拟物体与真实物体的碰撞交互，本申请的深度图像分割方法快速而有效，虚实交互效果更加逼真。

Description

基于深度图分割与代理几何体的虚实碰撞交互方法及装置

技术领域

本申请属于计算机应用技术中的增强现实领域，具体地说，涉及一种基于深度图像对真实的场景进行分割以及通过构建代理几何体模拟虚拟物体与真实物体碰撞交互的***及方法。

背景技术

增强现实(AugmentedReality，简称AR)是指将计算机生成的场景、虚拟物体或***提示信息叠加到真实场景中，从而实现对现实的增强。增强现实***将真实世界信息与虚拟信息进行了有机结合，两种信息互补、叠加，强化了人们对真实世界的认知和感知.在认知训练、交互场景模拟、游戏、娱乐、广告宣传等许多领域都有重要应用价值，成为近年来研究和应用的热点。增强现实的三个特点是虚实结合、实时交互和三维注册。其中三维注册一直是增强现实***要解决的首要问题，即对相机进行有效标定，实现三维虚拟空间与相机空间的配准，从而可将三维虚拟物体放入相机画面的指定位置。近年来，增强现实中大量的研究集中在这个问题上并取得了一定突破。但三维注册问题仅仅解决的是虚实信息的叠加,尚无法实现虚实物体间的复杂交互(如碰撞等交互行为)。如果在增强现实***中能够实现虚实物体间的实时碰撞交互，那将能更好地体现“虚实结合”这一特点，使用户产生更强的沉浸感，具有广阔的应用价值。

近年来，以Kinect为代表的廉价的三维深度获取设备获得了很大发展。这种设备不仅能获得场景的视觉信息，还能感知场景的深度信息，从而在很多方面具有重要的研究与应用价值，如室内或大规模场景的三维重建，机器人的自主定位与目标识别，手势识别与跟踪，人体部位的识别分析，基于深度视频或深度图像的快速抠图等。

Kinect通过深度传感器能够得到关于周围环境的三维深度信息，这种信息被称为深度图像。深度图像中的像素值记录了摄影机与像素所对应的场景中点的距离。

与彩色图像相比，深度图像能直接反映物体表面的三维特征，且不受光照、阴影和色度等因素的影响，因此在场景信息分析中具有独特的优势，近年来受到计算机视觉领域的重点关注。许多研究者利用深度图像来进行场景的分割。本发明根据这种深度信息对场景进行分析，分割出场景中的一个个独立物体，并由此构建真实物体的代理几何体。

深度图像的分割过程就是把已知的深度图像根据某种图像特征划分成几个具有相关特性信息的区域的过程。其方法大量借鉴了传统图像分割的算法思想，如基于边缘提取的分割方法，基于区域生长的分割方法和基于聚类的分割方法等。

首先，基于边缘提取的方法运算效率较高，但往往不能得到单像素宽度的完整边缘，还需要后续进行边缘细化和封闭连接才能完成区域分割；基于聚类的分割方法通常首先设定一种对像素具有较好分割特性的特征向量，然后在特征向量空间中通过聚类方法完成分割；在基于边缘的分割方法中没有考虑到像素之间的连通性，而区域生长则是在考虑区域连通性的情况下来进行图像分割。

基于以上几种分割技术存在的缺陷，本发明采取了优化的区域生长分割算法。区域生长法可以形成连续封闭的边缘，其实质就是把找到具有相似特性且相近的像素点划为一个区域，形成多个区域后再根据一定的条件判定进行区域合并最后达到划分为一组具有一致性的区域。对于一般的没有复杂表面细节的场景而言，法向的变化都比较平缓，不易出现过分割的问题且比较适于利用连通性进行区域生长分割，因此本发明中选取法向作为生长法则，采用了基于法向和连通性的区域生长分割方法。此外，本发明还采取了大平面区域识别及区域融合策略来进一步优化分割结果。

一般来说，目前AR***中进行虚实物体碰撞检测的方法主要是采用对真实物体进行3D重构的方法，即构建出真实物体的虚拟几何体，这样就把AR环境下的碰撞检测问题降维为VR下的碰撞检测问题了。而VR下的碰撞检测问题已经有比较成熟的解决方法。但依据视频数据对真实物体进行识别和3D重构并非易事，而若想达到实时碰撞交互的程度更为困难。目前已有采用肤色检测、特征点检测等手段来识别手掌，并构建虚拟平面来代替手掌，实现手掌(真实物体)与虚拟球体的碰撞交互。该方法可以达到实时的效率，但仅限于对非常特定的物体(如手掌)与虚拟球体间的碰撞交互；也有将真实物体简化为用平面来表达，将虚拟物体以包围球体来表达，实现虚实物体间的快速碰撞交互，但其真实物体需要用户预先提供先验知识来辅助进行虚拟平面的构建。

本申请基于视觉相机数据或Kinect深度数据，实现虚拟物体与场景中随意摆放的真实物体进行实时的自由碰撞交互，提出了一种实现AR***中虚拟物体与场景真实物体碰撞交互的有效方法。

发明内容

有鉴于此，本申提出一套利用深度图像的法向信息以及邻域点间的连通条件对深度图像表示的场景进行有效分割的算法，并提供一种利用代理几何体来实现虚、实物体碰撞交互的增强现实***的实现方法，具体实现方法如下：

获取当前真实场景的深度图像和彩色图像，并调整深度相机和彩色相机的标定参数将所述深度图像和所述彩色图像对齐；

根据所述彩色图像对所述深度图像进行预处理；

求得所述预处理后的所述深度图像中每个像素点的法向量；

取深度图像中的任意像素点为种子点，根据所述法向量的平行度阈值以及邻域像素点间的连通条件依次判断所述邻域像素点与所述种子点是否为同一区域从而进行区域生长分割，其中，所述平行度阈值是判断度量法向量是否相似的阈值，所述连通是指:如果某像素点与其邻域像素点在空间位置上小于某个阈值，即认为这两个像素点在空间上是“连通的”，否则是“不连通的”。

根据所述同一区域生长分割的结果从所述深度图像中提取出所述当前真实场景中的大平面区域区域；

对所述深度图像中去除所述大平面区域区域之外的所有剩余像素点形成的点云进行融合操作，得到各个主要物体区域；

对所述大平面区域区域构建代理平面；

对所述融合操作得到的所述各个主要物体区域建代理包围盒；

将所述代理平面和所述代理包围盒叠加到真实物体上，并为所述代理平面和所述代理包围盒添加物理属性，从而实现虚拟物体与真实物体的碰撞。

与现有技术相比，本申请提出了一种在增强现实***中能实现虚实物体碰撞交互功能的解决方法，相对于传统的增强现实***，本申请能够提供更为逼真的虚实交互，在增强现实相关的应用领域将具有很好的应用价值。

传统方法中，为进行虚实交互，需要重建场景物体，而本申请并不需要细致地重建场景物体，仅仅通过简单的点云分割、构建虚拟包围盒的方式就可以达到不错的虚实交互效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请实施例一的技术流程图；

图2是本申请实施例二的技术流程图；

图3是本申请实施例三的技术流程图；

图4是本申请实施例四的技术流程图；

图5是本申请实施例高斯图像形状识别示意图；

图6是本申请实施例两个区域的位置关系示意图；

图7是本申请实施例五的技术流程图；

图8是本申请实施例六的装置结构图。

具体实施方式

以下将配合附图及实施例来详细说明本申请的实施方式，藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

实施例一

如图1所示，本申请基于深度图像的场景分割进一步包括如下步骤：

步骤101：获取当前真实场景的深度图像和彩色图像，并调整深度相机和彩色相机的标定参数将所述深度图像和所述彩色图像对齐；

本实施例中，采用Kinect获取当前真实场景的彩色图像信息和深度图像信息。Kinect是微软研发的一款用于体感交互的设备，它通过一种红外摄像头可以获取所拍摄场景的深度信息，从而可以完成对人体动作的识别跟踪，实现体感互动。Kinect在出厂时已经进行了深度相机和彩色相机的预标定，提供了两个相机的内外参数，由此可以很容易实现深度图像与彩色图像的标定及对齐处理。本实施例中对“Kinect相机标定”模块将不再进行详述。

步骤102：根据所述彩色图像对所述深度图像进行预处理；

深度图像预处理的主要目的是补洞和去噪。由于遮挡、表面反光及测量距离限制等原因，Kinect捕捉的深度图像往往会出现空洞区域。

另一方面，直接获取的深度图像中会存在很多噪声点，这些噪点会影响后面的法向求解从而影响分割。因此，为了保证后续步骤区域分割的准确性，这些空洞需要预先处理。

步骤103：求得所述预处理后的所述深度图像中每个像素点的法向量；

本申请采用区域生长法进行区域分割时，需要根据每个像素点的法向量进行属性归类，因此需求得所述预处理后的所述深度图像中每个像素点的法向量。

步骤104：取深度图像中的任意像素点为种子点，根据所述种子点与所述种子点的每个邻域像素点之间的连通条件以及法向类似条件，依次判断每个所述邻域像素点与所述种子点是否为同一区域从而进行生长分割；

区域生长(regiongrowing)是指将成组的像素或区域发展成更大区域的过程。从种子点的集合开始，从这些点的区域增长是通过将与每个种子点有相似属性，如强度、灰度级、纹理颜色、梯度、法向等的相邻像素合并到此区域。它是一个迭代的过程，这里每个种子像素点都迭代生长，直到处理过每个像素，因此形成了不同的区域。

步骤105：根据所述同一区域生长分割的结果从所述深度图像中提取出所述当前真实场景中的大平面区域；

本发明实施例主要针对室内场景，大部分室内应用场景符合一种模式化的结构，即背景是由墙面或类似的大平面区域构成，而场景中的物体都放置在桌面或者地面等承载平面上。这些大平面区域往往占据了较大的区域，并与许多物体相连。如果能将这些大平面区域识别出来并且剔除其包含的点，能大大简化场景复杂度，从而方便场景中其他物体的融合。

步骤106：对所述深度图像中去除所述大平面区域之外的所有剩余像素点形成的点云进行融合操作，得到各个主要物体区域；

区域生长分割得到了一系列的区域，但通常这种分割结果过于零散、破碎，还需要对分割结果进行一定的融合处理才能得到相对独立、完整的物体区域。

步骤107：对所述大平面区域区域构建代理平面；

构建虚拟世界时，需要对识别出的大平面区域区域构建代理平面作为真实场景中大平面区域区域的代理几何体，从而能够将代理几何体叠加到真实物体上实现虚拟物体与真实物体的碰撞交互。

步骤108：对所述融合操作得到的所述各个主要物体区域建代理包围盒；

包围盒算法是一种求解离散点云最优包围空间的方法。基本思想是用体积稍大且特性简单的几何体(称为包围盒)来近似地代替复杂的几何对象。

步骤109：将所述代理平面和所述代理包围盒叠加到所对应的真实物体上，并为所述代理平面和代理包围盒添加物理属性，从而模拟实现虚拟物体与真实物体的碰撞效果。

为所述代理平面和所述代理包围盒添加物理属性后，可将代理包围盒看成是一个盒状的物体，赋予所述盒状的物体一定的物理属性(如质量)。当在虚拟世界中，有别的物体与所述盒状的物体相碰时，就可以检测出这种碰撞，而且可以根据两个物体的物理属性(如质量)而计算出两个物体碰撞后的运动趋势。这样就模拟出了真实的物理世界中的碰撞了。

实施例二

结合图2所示，本发明实施例中，根据所述彩色图像对所述深度图像进行预处理进一步包括如下步骤：

步骤201：根据所述彩色图像与所述深度图像的对齐关系，对所述深度图像中的空洞像素点进行填补，在所述空洞像素点对应的彩色像素点的周围寻找与所述彩色像素点色彩最匹配的像素点，将所述最匹配的像素点的深度值作为所述空洞像素点的深度值。

处理过程借助Kinect拍摄得到的RGB图像即所述彩色图像对空洞区域进行空洞填补。虽然空洞位置是没有深度值的，但是空洞位置所对应像素点的RGB颜色信息是可知的，因此在RGB图像中根据空洞位置所对应像素点的RGB颜色在空洞位置周围寻找与之色彩最匹配的像素点，并将该匹配像素点的深度值作为空洞像素点的深度值即可完成补洞。

步骤202：采用中值滤波法对所述深度图像进行去噪处理。

通常可采取滤波方法来去除图像中的噪点。均值滤波是最常用的去噪工具，但均值滤波会使图像边缘发生模糊，不利于后续的区域分割。采用联合双边滤波器进行去噪处理更加有效果，但计算复杂度过高。因此，本申请实施例采用非线性滤波中常用的中值滤波进行去噪处理，中值滤波可以在去除高频噪声的同时，更好地保持边缘信息，并具有很高的效率。

中值滤波法是一种非线性平滑技术，它是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。

实施例三

结合图3所示，本申请实施例中，采用区域生长法对获取到的真实场景的深度图像进行分割，进一步包括如下步骤：

步骤301：根据当前像素点及其邻域像素点，利用最小二乘法拟合出第一平面，将所述第一平面的法向量作为所述当前像素点的法向量。

本申请实施例中采用局部表面拟合方法求取法向：假设被采样的点云表面处处光滑，由此可以根据当前像素点的邻域通过最小二乘法拟合出一个平面，将该平面的法向作为当所述前像素点的法向量。

最小二乘法又称最小平方法，它是一种数学优化技术，通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以用于曲线或曲面的拟合。

步骤302：任选一个未区分的像素点作为种子点；

所述深度图像中的任意一个像素点都可以作为种子点，因区域生长是一个迭代的过程，这里每个种子像素点都迭代生长，直到每个像素都经过处理。

本申请实施例中，建立一个区域像素队列Q，初始化所述区域像素队列Q为空，任取一个未区分的种子点放入所述区域像素队列Q。

步骤303：依次判断所述种子点与任一邻域像素点是否符合连通条件以及法向类似条件，若同时满足所述法向类似条件及所述连通条件，则判定所述任一邻域像素点与所述种子点属同一区域；

其中，所述法向类似条件是指所述种子点的法向量与所述邻域像素点的法向量基本平行；

所述连通条件是指所述种子点与所述邻域像素点在三维空间位置上小于某个阈值。

本申请实施例中，从所述深度图像中的任意取所述种子点p以及其邻域像素点q，根据所述法向类似条件及所述连通条件判断p、q两点是否应当归为同一区域。

若p、q两点在三维空间中的距离差值小于某个阈值，则判定p、q两像素点符合及连通条件。

若N_p与N_q基本平行，则判定p、q两像素点符合法向类似条件，即N_p·N_q的值近似为1，可用如下公式表示：

N_p·N_q>1-k公式1

公式1N_p与N_q都是单位向量，N_p是像素点p的法向量，N_q是像素点q的法向量，k为法向量的平行度阈值。

本实施例中采用的是八连通。从种子点开始，根据所述法向类似条件及所述连通条件依次判断所述种子点周围8个邻域像素点，如果某邻域像素点符合条件，就将所述某邻域像素点与所述种子点归为同一区域，并将所述邻域像素点放入待扩展的所述区域像素队列Q；每取一个新的种子点都会建立一个新的区域像素队列，以此类推，直到不再新建所述区域像素队列为止才算遍历所述深度图像中的所有像素点。由此按照一种广度优先的顺序完成区域生长。经过此步骤，真实场景的深度图像被分割成了一个个法向类似，而又在空间位置上连通的区域，为下一步的大平面区域识别和区域融合做好了铺垫。

步骤304：根据预设的区域像素点数量阈值判断所述同一区域中像素点的数量大小，当判断所述像素点的数量小于所述区域像素点数量阈值时，判定所述同一区域是噪声，将所述同一区域排除；当判断所述像素点的数量大于或者等于所述区域像素点数量阈值时，判定所述同一区域不是是噪声，保留所述同一区域。

区域生长分割得到的所述同一区域中的像素点的数量是不同的，若所述同一区域中像素点数量小于所述区域像素点数量阈值时，可将所述同一区域判断为噪声，直接排除。在预设所述区域像素点数量阈值时，阈值过小会使一些噪声漏过筛选，过大又会使非噪声区域中损失一些点，因此所述区域像素点数量阈值是一个经验值，根据实验经验将所述第一像素点数量设置为10，去噪和保真效果较优。

实施例四

结合图4，本申请实施例中，从真实场景的深度图中提取出相对独立、完整的物体区域，进一步包括如下步骤：

步骤401：通过基于高斯图的形状识别方法进行大平面区域的识别；

所谓高斯图就是将欧拉空间中的曲面映射到单位球面上的一种映射函数。通过对映射到球面上的点的特征的分析就可以辅助进行原曲面形状的识别。这个单位球就称为高斯球。

在高斯图中，如果点云表示的是平面，那么这些点云在高斯图上会聚集成一个点。但由于在进行法向计算的时候会有噪声等干扰因素，使得在高斯球上显示的平面区域的分布并非是一个点，而是一个小的近似平面的区域，如图5所示。考虑到这个因素，我们通过判断某一区域在高斯球上是否位于一个很小的区域来判断这个区域是否为平面。

步骤401a:根据所述同一区域中的所有像素点的像素值进行求平均计算得到所述同一区域的高斯图像的中心点；

假设G(T_i)为区域T_i的高斯图像，G(T_i)的中心点C_i通过公式2计算：

$C_i=\frac{1}{N}\underset{i\∈N}{\Σ}G\left(p_i\right)$ 公式2

公式2中，p_i∈T_i,N为区域区域T_i的像素点的总数。

步骤401b:连接所述高斯图的中心点和所述高斯图对应的的高斯球的球心点；

如图5所示，连接高斯球球心O和C_i；点p为以C_i为中心的区域T_i上的一点。

步骤401c:计算所述同一区域中的每个像素点距所述中心点的距离，其中，所述距离的即算方法为用所述高斯球的半径乘以所述每个像素点与所述中心点夹角的正弦值；

以所述高斯球的半径乘以预设的角度阈值的正弦值作为第一距离阈值，判断所述每个像素点距所述中心点的距离小于所述第一距离阈值的像素点的数量，当所述数量超过所述同一区域中像素点总数的百分比达到预设的平面像素点数量阈值时，判定所述同一区域为平面；

设定一个角度阈值θ，设第一距离阈值为ab，则第一距离阈值的计算公式如下：

ab＝R·sinθ公式3

公式3中R为高斯球半径，高斯球为单位球，因此R为1,则ab＝sinθ。本申请实施例中，当以C_i为中心的区域T_i上的像素点到C_i的距离小于所述第一距离阈值sinθ的点数超过以C_i为中心的区域T_i的所有像素点数的70％时，判定所述以C_i为中心的区域T_i是平面，本实施例中，预设角度阈值θ为5°。

步骤401d:当检测所述平面中的像素点的数量超过预设的大平面像素点数量阈值时，判定所述平面为大平面区域。

识别出所有平面区域后，如果检测发现某平面区域中像素点数量超过了预设的大平面像素点数量阈值时，就认为该区域表示的是一个大平面区域，本实施例中预设所述大平面像素点数量阈值为所有像素点数的20％

步骤402：计算所述两个区域中距离最小的两个像素点间的距离d，当所述距离d小于所述第二距离阈值时，判定所述两个区域属于同一区域，将所述两个区域融合，同时对除所述大平面区域外的所述剩余区域进行迭代判断，直到没有区域可以被融合为止从而得到各个独立的主要物体区域。

由区域生长分割得到的一个个区域有可能是同一个物体的不同部分。这些部分在法向上具有不同的值，但在位置上连接在一起。本步骤将遍历除去大平面区域外的每个区域对这些“破碎”的区域依据距离进行融合判断，逐步合并出完整的物体区域。

规定两个区域间的“最小距离”小于所述第二距离阈值时即将两个区域融合为同一区域。两个区域M1和M2间的最小距离是指：M1和M2中距离最小的两个像素点间的距离。如图6所示，两个区域M1和M2间的最小距离为图中红圆圈内两个像素间的距离，设其为d。设定第二距离阈值S作为判断两区域是否融合的标准，若d<S则表明两个区域位置上连接在一起，我们判定这两个区域属于同一区域，将两区域融合。

实施例五

本申请实施例中利用代理几何体来实现虚、实物体碰撞交互的增强现实***的实现方法，进一步包括如下步骤：

步骤501：对所述大平面区域内的所有点采用最小二乘法拟合求出第二平面；

步骤502：将所述大平面区域内的所有像素点向所述第二平面投影，得到所有像素点的投影点，并根据所述投影点得一个能包围所有投影点的矩形范围，根据所述范围构建网格得到一张代理平面。

根据所述大平面区域内的所有像素点通过拟合求出一个大平面，用这个大平面作为所述大平面区域内的所有像素点的一个代理。

步骤503：采用方向包围盒，利用主成分分析法得到能够反映物体朝向的三轴坐标系，根据所述三轴坐标系构建所述代理包围盒。

最常见的包围盒算法有AABB包围盒(Axis-alignedboundingbox)，包围球(Sphere)，方向包围盒OBB(Orientedboundingbox)以及固定方向凸包FDH(Fixeddirectionshulls或k-DOP)。本申请采用的OBB是较为常用的包围盒类型，它是包含该对象且相对于坐标轴方向任意的最小的长方体。OBB最大特点是它的方向的任意性，这使得它可以根据被包围对象的形状特点尽可能紧密的包围对象，但同时也使得它的相交测试变得复杂。OBB包围盒比AABB包围盒和包围球更加紧密地逼近物体，能比较显著地减少包围体的个数，从而避免了大量包围体之间的相交检测。

主成份分析方法(PrincipalComponentsAnalysis,简称PCA)用来计算得到能反映物体朝向的三轴坐标系，而后再依据此坐标系构建包围盒。

PCA是一种数学变换的方法，它利用降维思想，把多个指标转化为少数几个综合指标，以获取最主要的信息。

步骤504：提取所述点云的三个最大的特征值，根据所述三个最大的特征值求其对应的三个特征向量，以所述三个特征向量为坐标轴，以所述点云中所有像素点的均值为坐标原点建立坐标系，所述坐标系表示了点云的大体朝向。

首先计算点云区域中所有像素点的均值μ，计算方法如公式4所示：

μ＝(∑Pi)/n公式4

公式4中n表示点云区域中像素点的总数，Pi表示每个像素点的坐标向量；

其次，对于每个点Pi，计算di＝Pi-μ，由此构造一个n×3的矩阵F，通过公式5得到得到3×3的矩阵，公式5如下所示：

H＝(F^TF)/n公式5

对H进行特征分解，得到公式6：

H＝EDE^T公式6

公式6中，D是对角矩阵，表示3个特征值，E是由特征值对应的特征向量组成的矩阵。

最终，以μ为原点，3个特征向量为坐标轴即可构建点云区域的坐标系。沿此坐标系即可构建得到包围点云区域的包围盒。

实施例六

结合图8，本申请涉及到的基于深度图分割与代理几何体的虚实碰撞交互装置，其特征在于，包括：图像获取模块601、图像处理模块602、区域生长分割模块603、大平面获取模块604、代理几何体构建模块605以及虚实叠加模块606。

图像获取模块601，用于获取当前真实场景的深度图像和彩色图像，并调整深度相机和彩色相机的标定参数将所述深度图像和所述彩色图像对齐；

图像处理模块602，用于根据所述彩色图像对所述深度图像进行预处理；

区域生长分割模块603，用于求得所述预处理后的所述深度图像中每个像素点的法向量；用于获取深度图像中的任意像素点为种子点，根据所述法向量的平行度阈值以及邻域像素点间的连通条件依次判断所述邻域像素点与所述种子点是否为同一区域从而进行区域生长分割。

物体区域获取模块604，用于根据所述同一区域生长分割的结果从所述深度图像中提取出所述当前真实场景中的大平面区域区域；用于对所述深度图像中去除所述大平面区域区域之外的所有剩余像素点形成的点云进行融合操作，得到各个主要物体区域；

代理几何体构建模块605，用于对所述大平面区域区域构建代理平面；还用于对所述融合操作得到的所述各个主要物体区域建代理包围盒；

虚实叠加模块606，用于将所述代理平面和所述代理包围盒叠加到真实物体上，并为所述代理平面和所述代理包围盒添加物理属性，从而实现虚拟物体与真实物体的碰撞。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (13)

1.一种基于深度图分割与代理几何体的虚实碰撞交互方法，其特征在于，包括：

获取当前真实场景的深度图像和彩色图像，并调整深度相机和彩色相机和彩色相机的标定参数将所述深度图像和所述彩色图像对齐；

根据所述彩色图像对所述深度图像进行预处理；

求得所述预处理后的所述深度图像中每个像素点的法向量；

取深度图像中的任意像素点为种子点，根据所述种子点与所述种子点的每个邻域像素点之间的连通条件以及法向类似条件，依次判断每个所述邻域像素点与所述种子点是否为同一区域从而进行生长分割；

根据所述同一区域生长分割的结果从所述深度图像中提取出所述当前真实场景中的大平面区域；

对所述深度图像中去除所述大平面区域区域之外的所有剩余像素点形成的点云进行融合操作，得到各个主要物体区域；

对所述大平面区域构建代理平面；

对所述融合操作得到的所述各个主要物体区域建代理包围盒；

将所述代理平面和所述代理包围盒叠加到所对应的真实物体上，并为所述代理平面和代理包围盒添加物理属性，从而模拟实现虚拟物体与真实物体的碰撞效果。

2.如权利要求1所述的方法，其特征在于，对根据所述彩色图像对所述深度图像进行预处理，进一步包括：

根据所述彩色图像与所述深度图像的对齐关系，对所述深度图像中的空洞像素点进行填补，在所述空洞像素点对应的彩色像素点的周围寻找与所述彩色像素点色彩最匹配的像素点，将所述最匹配的像素点的深度值作为所述空洞像素点的深度值。

3.如权利要求1所述的方法，其特征在于，根据所述彩色图像对所述深度图像进行预处理，进一步包括：

采用中值滤波法对所述深度图像进行去噪处理。

4.如权利要求1所述的方法，求得所述预处理后的所述深度图像中每个像素点的法向量，进一步包括：

根据当前像素点及其邻域像素点，利用最小二乘法拟合出第一平面，将所述第一平面的法向量作为所述当前像素点的法向量。

5.如权利要求1所述的方法，根据所述种子点以及所述邻域像素点之间的连通条件以及法向类似条件依次判断每个所述邻域像素点与所述种子点是否为同一区域从而进行生长分割，进一步包括：

任选一个未区分的像素点作为种子点；

依次判断所述种子点与任一邻域像素点是否符合连通条件以及法向类似条件，若同时满足所述法向类似条件及所述连通条件，则判定所述任一邻域像素点与所述种子点属同一区域；

其中，所述法向类似条件是指所述种子点的法向量与所述邻域像素点的法向量基本平行；

所述连通条件是指所述种子点与所述邻域像素点在三维空间位置上小于预定阈值。

6.如权利要求5所述的方法，其特征在于，根据预设的区域像素点数量阈值判断所述同一区域中像素点的数量大小，当判断所述像素点的数量小于所述区域像素点数量阈值时，判定所述同一区域是噪声，将所述同一区域排除；当判断所述像素点的数量大于或者等于所述区域像素点数量阈值时，判定所述同一区域不是噪声，保留所述同一区域。

7.如权利要求1所述的方法，其特征在于，根据所述同一区域生长分割的结果从所述深度图像中提取出所述当前真实场景中的大平面区域，进一步包括：

基于高斯图的形状识别方法进行大平面区域的识别：

根据所述同一区域中的所有像素点的像素值进行求平均计算得到所述同一区域的高斯图的中心点；

连接所述高斯图的中心点和所述高斯图对应的的高斯球的球心点，其中，所述高斯球是一个单位球，所述高斯图就是将欧拉空间中的曲面映射到所述高斯球上的一种映射函数对应的图像；

计算所述同一区域中的每个像素点距所述中心点的距离，其中，所述距离的计算方法为用所述高斯球的半径乘以所述每个像素点与所述中心点夹角的正弦值；

以所述高斯球的半径乘以预设的角度阈值的正弦值作为第一距离阈值，判断所述每个像素点距所述中心点的距离小于所述第一距离阈值的像素点的数量，当所述数量超过所述同一区域中像素点总数的百分比达到预设的平面像素点数量阈值时，判定所述同一区域为平面；

当检测所述平面中的像素点的数量超过预设的大平面像素点数量阈值时，判定所述平面为大平面区域。

8.如权利要求1所述的方法，对所述深度图像中去除所述大平面区域之外的所有剩余像素点形成的点云进行融合操作，得到各个主要物体区域，进一步包括：

遍历除去所述大平面区域外的剩余区域，根据所述剩余区域的区域相邻性进行融合操作，其中，所述融合操作是指分别来自两个区域的像素点间的最小距离小于预设的第二距离阈值时，将所述两个区域融合为同一区域。

9.如权利要求8所述的方法，其特征在于：

计算所述两个区域中距离最小的两个像素点间的距离d，当所述距离d小于所述第二距离阈值时，判定所述两个区域属于同一区域，将所述两个区域融合，同时对除所述大平面区域外的所述剩余区域进行迭代判断，直到没有区域可以被融合为止从而得到各个独立的主要物体区域。

10.如权利要求1所述的方法，其特征在于，对所述大平面区域区域构建代理平面，进一步包括：

对所述大平面区域内的所有点采用最小二乘法拟合求出第二平面；

将所述大平面区域内的所有像素点向所述第二平面投影，得到所有像素点的投影点，并根据所述投影点得一个能包围所有投影点的矩形范围，根据所述范围构建网格得到一张代理平面。

11.如权利要求1所述的方法，其特征在于，对所述融合操作得到的所述各个主要物体区域建代理包围盒，进一步包括：

采用方向包围盒，利用主成分分析法得到能够反映物体朝向的三轴坐标系，根据所述三轴坐标系构建所述代理包围盒。

12.如权利要求11所述的方法，其特征在于，采用主成分分析法计算得到能够反映物体朝向的三轴坐标系，进一步包括：

提取所述点云的三个最大的特征值，根据所述三个最大的特征值求其对应的三个特征向量，以所述三个特征向量为坐标轴，以所述点云中所有像素点的均值为坐标原点建立坐标系，所述坐标系表示了点云的大体朝向。

13.一种基于深度图分割与代理几何体的虚实碰撞交互装置，其特征在于，包括：

图像获取模块，用于获取当前真实场景的深度图像和彩色图像，并调整深度相机和彩色相机的标定参数将所述深度图像和所述彩色图像对齐；

图像处理模块，用于根据所述彩色图像对所述深度图像进行预处理；

区域生长分割模块，用于求得所述预处理后的所述深度图像中每个像素点的法向量；用于获取深度图像中的任意像素点为种子点，根据所述法向量的平行度阈值以及邻域像素点间的连通条件依次判断所述邻域像素点与所述种子点是否为同一区域从而进行区域生长分割；

物体区域获取模块，用于根据所述同一区域生长分割的结果从所述深度图像中提取出所述当前真实场景中的大平面区域区域；用于对所述深度图像中去除所述大平面区域区域之外的所有剩余像素点形成的点云进行融合操作，得到各个主要物体区域；

代理几何体构建模块，用于对所述大平面区域区域构建代理平面；用于对所述融合操作得到的所述各个主要物体区域建代理包围盒；

虚实叠加模块，用于将所述代理平面和所述代理包围盒叠加到真实物体上，并为所述代理平面和所述代理包围盒添加物理属性，从而实现虚拟物体与真实物体的碰撞。