CN102609934A - 一种基于深度图像的多目标分割和跟踪方法 - Google Patents

Abstract

本发明公开了一种基于深度图像的多目标分割和跟踪的方法，属于图像处理、模式识别和计算机应用等领域，该方法包括：采集深度图像；背景建模更新；背景发现；判断是否首次发现前景，若是首次发现前景，则进行目标分割；若不是首次发现前景，则进行目标动态跟踪；判断是否有数据输入，若有数据输入，则取新数据重新进行背景建模更新，若没有则结束。通过高效的目标分割处理和目标动态跟踪处理，有效的提高了目标识别及跟踪的可靠性，为进一步图像分析、动态建模、三维人机交互等后续处理提供了准备信息。

Description

一种基于深度图像的多目标分割和跟踪方法

技术领域

本发明涉及图像处理、模式识别、自动控制及计算机应用领域，尤其涉及一种基于深度图像的多目标分割与跟踪方法。

背景技术

图像分割是图像处理到图像分析的关键步骤，是目标跟踪的准备阶段，也是进一步图像理解的基础。所谓图像分割是指把图像分成各具特性的区域并提取出感兴趣目标的技术和过程。图像分割的应用广泛，几乎出现在有关图像处理的所有领域。例如，在遥感应用中，不同云系背景之间的分割，植被、道路、桥梁、水体间的分割等；在医学应用中，脑部MR图像分割；在交通图像分析中，车辆从背景中的分割、对车牌的分割等；在这些应用中，分割通常是为了进一步对图像进行分析、识别、压缩编码等，分割的准确性将直接影响后续任务的有效性。因此，分割的方法和精确度是至关重要的。

近几年来，研究人员不断改进原有方法并把其他学科的一些理论和方法用于图像分割，提出了不少新的分割方法，有分水岭分割技术、金字塔分割技术以及均值漂移分割技术等技术、遗传技术、尺度空间、多分辨率方法、非线性扩散方程等。目前，图像分割所采用的数据源主要为灰度图像和彩色图像，但都有着不可避免的缺点：就灰度图像而言，当图像中灰度差异不明显或者各物体的灰度范围值有大部分重叠现象时，往往难以得到准确的分割结果，从而产生很多过分割错误；而彩色图像不仅包括亮度信息，而且还有更多的有效信息，如色调、饱和度，实际上同样景物的灰度图像所包含的信息量与彩色图像难以相比，人类对色彩的感知更敏感，一幅质量较差的彩色图像似乎比一幅完美的灰度图像更具有吸引力，但其分割处理太过于复杂，实现也比灰度图像困难的多。

目标动态跟踪涉及了图像处理、模式识别、自动控制及计算机应用领域，是计算机视觉和图像编码研究领域的一个重要课题，在军事武器、工业监控、交通管理等领域都有广泛的应用。目标动态跟踪不仅需要完成背景分割，同时更得对目标进行识别，实现动态定位识别，同时，背景噪声和不特定的干扰等问题，也是需要面临的需要克服的挑战性问题。

发明内容

为了解决灰度图像分割时分辨率低、失误率大及彩色图像分割技术复杂问题和跟踪过程的噪声等干扰问题，本发明提供了基于深度图像的多目标分割和跟踪方法，提高了图像分割的效率，且分割效果好，同时实现了目标的动态跟踪且可靠性高，从而在图像处理和模式识别等方面具有重要的作用。

本发明所处理的数据源是深度图像，这与常见的灰度图像和彩色图像有很大的不同。深度图像是将传感器镜头与目标的各个像素点的距离读取并储存而获得的图像数据。在深度图像中，目标是深度值在一定阈值内平滑的各个像素点的集合。故此，本发明根据深度数据的连续性特点进行多目标分割。

本发明是通过以下方法实现的，本发明是基于深度图像的深度数据连续性准则，从而获得对图像进行多目标分割并且动态跟踪。本发明所提出的一种基于深度图像的多目标分割和跟踪方法，其特征在于，该方法包括以下步骤：

步骤1，采集多帧深度图像；

步骤2，基于采集到的多帧深度图像进行背景建模；

步骤3，基于建立的背景，寻找并显示前景；

步骤4，判断是否为首次发现前景，若是，则转到步骤5，若否，则转到步骤6；

步骤5，对发现的前景进行多目标分割；

步骤6，对发现的前景进行动态跟踪；

步骤7，判断是否有新的深度图像数据输入，若有，则回到步骤2，若无，则结束。

本发明的有益效果是：目标分割快速，分割效果优越，跟踪丢失和误跟踪发生概率低，处理速度快，具有较高的跟踪精度。同时，扩展了图像分割数据源，使得研究更具开放性，多样性。本发明运用前景广泛，在计算机图像处理，模式识别等方面有着重要作用，也为计算机三维应用在分割与跟踪提供了应用趋势。

附图说明

图1是本发明所提出的一种基于深度图像的多目标分割和跟踪方法流程图。

图2是本发明背景建模更新模块流程图。

图3是本发明前景发现模块流程图。

图4是本发明目标分割模块中邻域判断步骤流程图。

图5是本发明目标分割模块主流程图。

图6是本发明目标动态跟踪模块主流程图。

图7是本发明目标动态跟踪模块中寻点处理步骤流程图。

图8是本发明目标动态跟踪模块中发现点部分增长步骤流程图。

图9是本发明目标动态跟踪模块中发现区域扩增步骤流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明是基于深度图像的深度数据连续性准则，对所获取的深度图像进行多目标分割并且能够对感兴趣的目标进行动态跟踪。

图1为本发明所提出的基于深度图像的多目标分割和跟踪方法流程图，所述基于深度图像的多目标分割和跟踪方法具体包括以下步骤：

步骤1，采集多帧深度图像。

所述多帧深度图像为传感器在相同视角的前提下，对不同的感兴趣的活动目标进行拍摄获取的N张深度图像，其中N为大于等于2的正整数。所获取的深度图像所储存的数据是传感器镜头与拍摄视角内各个感兴趣的目标的距离的深度信息。

步骤2，基于采集到的多帧深度图像进行背景建模。

使用背景建模更新模块102将感兴趣的所有像素点从深度图像中分割出来。背景建模更新模块102所处理的数据源是步骤1获得的多帧深度图像数据，因此，我们通过根据上下帧的深度图像数据，依次对比每个像素点的上下帧图像的深度值，求出每个像素点深度的比较值中的较大值，取每个像素点上较大的深度值作为当前背景数据，从而进行背景建模。在目标动态跟踪过程中，根据目标的移动，建模所得到的背景是不断更新的，这有效地避免了噪声的影响和干扰，从而达到了更好的目标分割效果和更准确的动态跟踪目标。

步骤3，基于建立的背景，寻找并显示前景。

前景发现模块103通过读取当前帧的深度图像数据，将其与当前建立好的背景相对比，寻找比背景像素点深度小的像素点，认为该帧图像中所有找到的像素点是感兴趣的前景目标，并将所寻找到的前景目标显示出来。

步骤4，判断是否为首次发现所找到的前景目标，若是，则转到步骤5，若否，则转到步骤6。

对发现的前景进行判断，即判断发现的前景是否为首次发现(模块104)。若是首次发现前景，则转到步骤5，利用目标分割模块105对发现的前景进行分割处理，实现对发现的前景进行多目标分割；若不是首次发现前景，则转到步骤6，直接利用目标动态跟踪模块106对发现的前景进行跟踪处理，实现目标的动态跟踪。

步骤5，对发现的前景进行多目标分割。

利用目标分割模块105对发现的前景进行分割处理，实现将发现的前景进行多目标分割。这里分割处理采用连通域的增长方法，即将相邻像素点的深度值变化符合检测规则的所有像素点归为同一区域，从而达到多目标分割。具体地，从发现的前景的数据中任取一像素点开始，向各个方向生长区域，将此像素点的邻域中所有的符合检测规则的像素点与此像素点归为同一区域。需要说明的是，这里检测规则是指若有两个像素点，当这两个像素点的深度值大小之差大于N(N的取值范围为5～20)单位，则规定这两个像素点的深度值相对于对方而言是突变的；若二者的差小于或等于N单位，则规定这两像素点相对于对方是没有突变的，也就是说这两个像素点相对于对方都是平滑过渡的。重复这一过程，直到该像素点的所有邻域的像素点都判断完毕后，区域增长过程终止，形成一个完整的连通区域。所有前景的像素点检测完毕后，就可以形成若干个独立的连通区域，而这一个个独立的连通区域就是我们所感兴趣的目标区域。

步骤6，对发现的前景进行动态跟踪。

利用目标动态跟踪模块106对发现的前景进行动态跟踪。目标动态跟踪模块106是利用相对于当前帧的上一帧时刻所获取的目标的位置范围，与当前帧的前景数据进行对比，找出二者的交集，然后在交集中任取像素点，进行连通域增长，直到所得到的交集像素点都进行邻域判断完毕，暂停增长，可得到一个个独立的连通区域；将所得到的独立连通区域进行边界增长，直到当前帧的所有的前景的像素点都增长完毕后，可得到完整的新的增长区域，从而实现目标跟踪处理。

步骤7，判断是否有新的深度图像数据输入，若有，则回到步骤2，若无，则结束。

为了保证数据能够持续的循环处理，因此，需要判断是否有新的深度图像数据输入(模块107)，若有数据输入，则回到步骤2，重新背景建模循环处理所获取的深度图像数据；若没有，则处理结束。

下面对上述步骤中涉及的各个主要模块进行详细描述。

1、背景建模更新模块102

在背景建模时，先进行背景数据初始化，即将背景数据设为0，然后再开始读取深度图像数据进行背景建模。背景建模是一个动态的不断更新的过程，需要不断的读取数据判断并重新进行背景建模，具体操作如下：对比当前帧的每个像素点的深度值与上一帧的所建立的背景的相应像素点的深度值，在每个像素点上取二者对比中较大的深度值为当前帧的相应像素点的背景数据。如图2所示，背景建模的具体实现过程进一步包括以下步骤：

步骤21，输入多帧深度图像数据。

数据输入步骤中所采用的数据有两种来源：一是传感器在同一视角下拍摄的实时的深度图像数据；二是已经拍摄并储存的同一视角下的深度图像数据。

步骤22，读取当前帧的深度图像数据。

由于所拍取的深度图像数据是视频帧，若是读取已拍摄好的深度图像数据也是一个个深度数据文件，所以我们处理数据方式是以单位帧为单位读取的。

步骤23，对比当前帧的各像素点的深度值与上一帧所建立的背景相应的各像素点的深度值，将这二者中各个像素点上较大值的深度数据取为背景，即可得到当前帧的相应像素点的背景深度值。

步骤24，检查是否所有的像素点都已更新，若是，储存并更新当前帧的背景数据，若否，则返回步骤23重新建立背景。

2、前景发现模块103

对比当前帧的深度图像数据与上一帧所建立的背景数据，求出二者在每个相对应的像素点的差，并找出差值满足一定条件的各个像素点的位置坐标，找出所得到的各个像素点的位置坐标在当前帧的数据，则这些所得到的数据组成的数组为前景数据。这里的一定条件是指两个像素点的深度距离的差小于N单位(1＜N＜21，N为正整数)。此过程与背景建模相类似，在背景建模中所得到的数据是各个像素点相对应的位置上的较大深度值，而前景发现所得到的是各个像素点相对应的位置上的深度较小值。如图3所示，发现前景的具体实现过程进一步包括以下步骤：

步骤31，读取多帧深度图像数据。

读取数据的方式是以单位帧为单位读取的，数据类型都是深度数据。

步骤32，找出所读取的数据与上一帧建立的背景数据相应位置上在一定条件下的差异像素点对。

这里的一定条件是指两个像素点的深度距离的差小于N单位(1＜N＜21，N为正整数)。寻找差异像素点对需要依次对比当前帧的深度数据与上一帧所建立的背景的深度数据的相应位置的每个像素点，然后找出满足上述一定条件的像素点对。

步骤33，将每对差异像素点的较小深度值取为前景。

由于背景到传感器的距离大于前景到传感器的距离，所以差异像素点中两者的深度值较小的值取为前景数据。

步骤34，显示前景像素点(目标)。

将已求出的不同于背景的像素点显示出，就可以实现前景显示。这里显示的前景只是根据对比求出的差异像素点，这些差异像素点都是离散的，并没有集合成一个个独立的整体，所以前景显示步骤34是为了后续的多目标分割做好了准备。

3、目标分割模块105

目标分割模块105将前景发现的各个像素点组合成整体并分割出不同目标。这里目标分割是利用连通域的增长，而连通域的增长是利用对相应像素点的邻域判断来处理。因此，多目标分割又进一步包括两个步骤：步骤51，邻域判断；步骤52，目标分割。

如图4所示，邻域判断模块用于判断一个像素点的邻域位置上各个像素点是否与这像素点的性质相似，并把这些性质相似的像素点归为同一整体。本发明所采用的相似性质指的是各个像素点的深度值比较相近，步骤51邻域判断又进一步包括以下步骤：

步骤511，在前景中任取一个像素点(假设为像素点A)数据，得到其(像素点A)深度值。

步骤512，读取该像素点A的4-邻域像素点(或者8-邻域像素点)A1、A2、A3、A4的深度值。

步骤513，判断该像素点A邻域中各像素点的深度值相对于像素点A是否有突变。

依次将像素点A的深度值减去像素点A1、A2、A3、A4的深度值，并将各自所得到的差值取绝对值。比如，假设绝对值|A-A1|小于设定值(N单位，4＜N＜21)，则可知像素点的邻域点A1的深度值与像素点A深度值对比，像素点A1没有发生突变，反之则反。同理，像素点A2、A3、A4也是如此判断。

步骤514，将没有发生突变的像素点划为同一邻域整体。

若像素点A有某几个邻域点深度值相对于像素点A没有发生突变，则将像素点A的这几个邻域点与像素点A划为同一整体，反之，则不将这些像素点与深度值有突变的像素点归为同一整体。比如，像素点A1、像素点A4没有突变，像素点A2、像素点A3有突变，则将像素点A1、像素点A4同像素点A归为同一整体，而把像素点A2、像素点A3排除在外。

如图5所示，目标分割模块105是利用连通域的增长进行处理的，以单独像素点为基本参考点进行扩充，逐渐增长为一块块独立区域，则所增长的独立区域就是分辨出来的目标，步骤52目标分割又进一步包括以下步骤：

步骤521，对于前景数据中的任一像素点，得到其邻域整体的边界的所有像素点。

任取前景数据中的一像素点(假设为像素点A)，对该像素点进行邻域判断，得到所述邻域整体的边界的所有像素点。该邻域整体根据步骤51由像素点A和像素点A无突变的邻域点组合产生而成(当像素点A的邻域点都是突变的像素点，则此时亦视像素点A为单独一个整体)。

步骤522，以新加入邻域整体的邻域点作为基准点，对各个基准点进行邻域判断，来扩大邻域整体区域，将各个基准点的邻域中无突变的像素点与原来的邻域整体重新组成一个新的邻域整体。

步骤523，判断是否已无增长像素点，即所有邻域判断都不再有无突变点，若是，则停止判断得到一个独立的邻域整体，若不是，则返回步骤522进行邻域判断有无扩增无突变点，组成新整体，直到已无新增长像素点，这样就可以根据该步骤得到一个新的邻域整体(目标)。

步骤524，判断是否所有的前景像素点都已组成新的邻域整体，若不是则返回步骤521任取某剩余前景数据像素点，进行邻域判断，若是，则停止增长。

步骤525，忽略像素点数目极少的邻域整体。

判断是否有邻域整体的像素点数目极少(小于检测规则设定的值)，若有，则忽略这些邻域整体。

4、目标动态跟踪模块106

如图6所示，目标动态跟踪是在已发现目标的前提下进行的，采取了发现点部分增长与发现区域扩增相结合的方式，有效避免了跟踪过程中错误的识别或者无法跟踪目标等难题，此方法具有高效的运算能力。

动态跟踪步骤进一步包括以下几个步骤：

步骤61，读取数据。

步骤62，找出上一帧时刻所获取的目标的位置范围与当前帧的前景数据之间的一个或多个交集，在所述一个或多个交集中取出发现点，即寻点处理。

步骤63，对所述发现点进行部分增长处理，得到多个发现区域。部分增长处理为：在所述发现点中任取一个未形成连通区域的离散的像素点，进行连通域增长，直到所得到的离散像素点都进行邻域判断完毕，暂停增长，可得到一个个独立的连通区域。

步骤64，扩增发现区域。

如图7所示，步骤62，寻点处理的过程又进一步包括以下几个步骤：

步骤621，先读取上一帧各个目标的位置范围；

步骤622，然后对比当前帧的各个像素点的前景，得到属于上一帧各个目标位置范围的当前前景各个像素点；

步骤623，最后在属于上一帧各个目标的位置范围内的当前前景像素点集合中各任取N点。比如：假设上一帧得到的目标个数为M，我们将在这原有的M目标位置范围内各任取仍属于当前帧的前景的N点，则可得到N×M点(N，M均为正整数)。

如图8所示，步骤63，发现点部分增长的过程又进一步包括以下几个步骤：

步骤631，先对未形成连通区域的离散的像素点在当前帧的前景范围内进行连通域的增长；

步骤632，每增长一次进行增长区域是否超越上一帧目标位置的判断处理，即判断新增长的区域是否超越上一帧相应目标的位置范围。如果没有超越，则继续增长并判断是否在符合的区域内，直到增长到突变点或者超越上一帧目标的位置范围，如果超越，则停止这个目标该位置的增长。

步骤633，然后判断是否所有发现点都增长完毕，若不是，返回步骤631取未增长点进行连通域的增长，若是，则暂停增长。

如图9所示，步骤64，发现区域扩增的过程又进一步包括以下几个步骤：

步骤641，查找还未被归入任何一个发现区域的前景像素点集合A，即将所有前景像素点减去所有已增长像素点而得到的像素点的集合。

步骤642，依次对目前所得到的发现区域进行边界增长。

步骤643，对新增长的边界点进行判断，若新增长的边界点在集合A内则进行判断是否还有剩余的集合A像素点，若有，返回步骤642，若无，结束；若新增长的边界点不在集合A内，则不将新增长的边界点归于此发现区域，然后再判断是否还有剩余的集合A像素点，若有，返回步骤642，若无，结束。

在步骤64，发现区域扩增中，利用了还未被归入任何一个增长区域的前景像素点的集合A这个方法，有效地避免了区域扩增时发生重叠的情形，同时也缩小了扩增所需要查找的像素点的范围，使实现的效率变高。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度图像的多目标分割和跟踪方法，其特征在于，该方法包括以下步骤：

步骤1，采集多帧深度图像；

步骤2，基于采集到的多帧深度图像进行背景建模；

步骤3，基于建立的背景，寻找并显示前景；

步骤4，判断是否为首次发现前景，若是，则转到步骤5，若否，则转到步骤6；

步骤5，对发现的前景进行多目标分割；

步骤6，对发现的前景进行动态跟踪；

步骤7，判断是否有新的深度图像数据输入，若有，则回到步骤2，若无，则结束。

2.根据权利要求1所述的方法，其特征在于，所述多帧深度图像为传感器在相同视角下拍摄得到N张深度图像，其中N为大于等于2的正整数。

3.根据权利要求1所述的方法，其特征在于，所获取的深度图像所储存的数据是传感器镜头与拍摄视角内各个感兴趣的目标的距离的深度信息。

4.根据权利要求1所述的方法，其特征在于，所述背景建模进一步为：对比上下帧深度图像的各个像素点的深度数据，取各个像素点上较大的深度值作为背景数据。

5.根据权利要求1所述的方法，其特征在于，所述发现前景进一步为：对比当前帧的深度图像数据与当前所建立的背景数据，当前帧的深度图像中比背景像素点深度小的像素点的集合，即为该帧图像中感兴趣的前景目标。

6.根据权利要求1所述的方法，其特征在于，所述步骤5进一步为：通过连通域增长方法对发现的前景进行多目标分割，即通过将邻域像素点中深度值大小相差在一定阈值内的两个及以上的像素点归为同一区域，由此不断进行连通域增长，得到各个不同的独立目标。

7.根据权利要求1所述的方法，其特征在于，所述步骤6进一步包括以下步骤：

步骤61，读取数据；

步骤62，找出上一帧时刻所获取的目标的位置范围与当前帧的前景数据之间的一个或多个交集，在所述一个或多个交集中取出发现点，即寻点处理；

步骤63，对所述发现点进行部分增长处理，得到多个发现区域；

步骤64，扩增所述发现区域。

8.根据权利要求7所述的方法，其特征在于，步骤63中对所述发现点进行部分增长处理进一步为：在所述发现点中任取一个未形成连通区域的离散的像素点，进行连通域增长，直到所得到的离散像素点都进行邻域判断完毕，暂停增长，可得到一个个独立的连通区域。

9.根据权利要求8所述的方法，其特征在于，对未形成连通区域的离散的像素点，进行连通域增长进一步包括：每增长一次就判断新增长的区域是否超越上一帧相应目标的位置范围，如果没有超越，则继续增长并判断是否在符合的区域内，直到增长到突变点或者超越上一帧目标的位置范围；如果超越，则停止增长。

10.根据权利要求1所述的方法，其特征在于，步骤64进一步包括以下步骤：

步骤641，查找还未被归入任何一个发现区域的前景像素点集合A；

步骤642，依次对目前所得到的发现区域进行边界增长；

步骤643，对新增长的边界点进行判断，若新增长的边界点在集合A内则判断是否还有剩余的集合A像素点，若有，返回步骤642，若无，结束；若新增长的边界点不在集合A内，则不将新增长的边界点归于此发现区域，然后再判断是否还有剩余的集合A像素点，若有，返回步骤642，若无，结束。

Images