CN107657625A - 融合时空多特征表示的无监督视频分割方法 - Google Patents

Abstract

本发明公开了融合时空多特征表示的无监督视频分割方法，利用目标运动信息，显著性特征及颜色特征的差异，进行目标的特征提取识别，并结合高斯混合模型实现对目标的稳定准确分割。该方法包括超像素分割，光流匹配，优化匹配结果，建立图模型并求解超像素等级的分割结果，利用分割结果训练高斯混合模型参数，求解像素等级分割结果，结合已有的超像素及像素等级分割结果，得到最终的分割结果。对每一帧图像进行超像素分割极大地降低了运算的复杂度，而利用非局部时空信息对光流得到的匹配信息进行优化则可以提高分割的鲁棒性。混合高斯模型的引入弥补了超像素分割过程中边缘匹配误差大的不足，显著性特征则进一步提高了分割结果的准确度及可信度。

Description

融合时空多特征表示的无监督视频分割方法

技术领域

本发明涉及融合时空多特征表示的无监督视频分割方法，属于计算机视觉领域，具体涉及图像处理中的视频分割领域。

背景技术

视频是指一系列连续的单幅图像组成的图像序列，通常还包括文字、语音等信息。为了便于传输和使用，通常需要对视频进行分割，将视频中一些用户不感兴趣的区域剔除，并获得目标内容的数据特征以便后续的特征提取和分析。

视频分割也称运动分割，是指按一定的标准把图像序列分割成多个区域,其目的是为了从视频序列中分离出有意义的实体。在图像处理技术中，图像与视频的分割是非常重要的低层处理技术，它几乎是所有基于图像分析的人工智能技术的基础，它为众多的高层应用提供重要的数据形式，例如：车辆识别、牌照识别、图像/视频检索、医学影像分析、基于视频对象的编码、人脸识别、目标检测跟踪和识别等。在所有这些应用中，分割通常是为了进一步对图像视频进行分析、识别，分割的准确性直接影响后续任务的有效性,因此具有十分重要的意义。

视频分割一直是计算机视觉及机器学习技术中最困难的问题之一。总的来说分割的难点在于分割的目标的无规则运动与形变，快速变换的复杂背景，运动信息不准确与目标的模糊等，但想要获得精确的信息又需要利用准确的分割结果，这样就陷入一个循环之中。至今为止还没有一种通用的、可靠的无监督分割算法可以运用于所有复杂变换的场景，当前国内外众多学者所提出的视频分割算法大部分都针对某一特定的应用场合或者特定种类的图像视频。因此在未来的几年内，视频分割问题将依然是迫切需要解决的研究热点。

当下最主要的视频分割方式基本上都是在静止图像分割研究基础上进行的。图像分割是指将一幅图像按某种规则，分割为多个区域，每个区域是一类像素的集合。图割是当前图像分割最主要也是最基础的方法，该方法基于图论，构造出一个能量函数，通过用户标定的前景与背景来分割图像。所构造的能量函数可以利用最大流/最小割算法来实现全局最优分割。

视频分割不同于静止图像分割的最主要之处在于运动信息的引入。视频分割根据是否需要人工参与指导，可以分为无监督视频分割和半监督视频分割。根据所利用信息的不同，可以分为基于时间信息的视频分割，基于空间信息的视频分割以及联合时空信息的视频分割。

发明内容

针对当前视频分割方法所存在的不足，本发明的目的是基于传统视频分割算法与超像素算法，提出一种新的时间、空间特征，混合高斯模型，显著性特征等多特征相结合的无监督视频分割算法。该方法在传统视频分割方法的基础上，为提高效率及分割准确度，引入超像素的颜色特征和物体的运动关联性等信息，在时间信息的使用上，不再拘束于相邻帧之间的信息传递，利用视频序列的非局部信息来提高算法的鲁棒性，同时在表示超像素的颜色特征的选择上做出优化，在传统RGB颜色特征的基础上引入了一些新的颜色特征，从而提高用于表示每个超像素的特征维度，提高分割精度，优化分割结果，对于单纯利用超像素进行分割会导致边缘误差大的问题，又引入混合高斯模型进行像素等级优化，形成多层级的优化方案，使超像素分割和像素点分割优势互补，有效提升了分割准确度。

为了实现上述目的，本发明是通过以下技术方案实现的：

融合时空多特征表示的无监督视频分割方法，包括：获取所需分割的视频序列，利用超像素分割处理视频序列，利用光流进行前后帧信息匹配，根据视频序列相邻帧的信息获取运动目标的范围作为图模型初始化输入，利用全局信息对匹配结果进行优化，建立图模型并利用图割算法求解初步超像素等级的分割结果，利用初步分割结果训练高斯混合模型参数，求解像素等级分割结果，利用取显著性特征分割结果，结合已有的超像素及像素等级分割结果，利用投票的方式得到最终的分割结果，以及最终所得运动目标的分割输出。

具体步骤为：

1)对视频序列中的所有帧进行超像素分割，降低计算复杂度，提高算法处理速度；

2)计算每个超像素的特征均值，中心点位置；每个超像素的特征项用一个八维向量R，G，B，H，S，V，x，y来表示；

3)由于光流法计算结果的不准确性，无法单独利用光流准确判断目标位置，因此结合光流法与投票的方法，计算出运动目标的大致位置范围，同时判断出各个超像素所属的区域，前景或背景，所得结果将用于图模型的初始化输入；

4)利用光流法所提供的信息计算出相邻帧超像素之间的联系，找出第n帧与第n+1帧之间相互对应的超像素组合。

5)对于所有超像素匹配完成之后的视频序列，对每一帧的每一个超像素计算一个新的非局部超像素特征值，对原超像素进行优化；当n<＝5时，选用前n-1帧图片对该帧中的每一个超像素进行优化计算，n>5时，选用该帧之前的五帧来对其进行优化；

6)建立图模型，所述图模型由一元势函数和互势函数构成；一元势函数包括颜色特征项和位置特征项，互势函数包括时间平滑项和空间平滑项；

7)利用优化后的第n帧超像素信息与第n+1帧超像素信息计算图模型的代价函数，利用图割及最大流最小割算法迭代计算直至收敛，得到最优的超像素等级目标分割结果，即重新判断每个超像素是属于前景还是背景；

8)对于权力得到的超像素等级分割结果，将其作为先验条件用于训练混合高斯模型各参数，并利用训练好的混合高斯模型对输入图片再次进行分割，得到像素点等级的分割结果；

9)对输入图像序列进行显著性特征分析，提取显著性概率大于阈值T的部分，作为显著性分割结果输出；

10)对已得到的超像素等级分割结果、像素等级分割结果、显著性特征分割结果，利用投票的方式对其进行综合分析利用，得到最终的视频目标分割结果并输出。

本发明的有益效果是：(1)将视频分割算法所利用的信息传递推广到全局，利用多帧信息进行优化，使算法的鲁棒性明显提高，达到了良好的去噪效果。(2)将表示每个超像素的特征值维度扩展到八维，在基本不影响计算复杂度的情况下显著改善了分割准确度。(3)结合了超像素等级的分割和像素等级的分割，弥补了超像素分割速度快但边缘分割准确度低的问题。(4)引入显著性特征，利用投票的方式进一步提高分割方案的鲁棒性。

附图说明

图1本方法的总体结构示意图。

图2本方法的最近邻搜索优化超像素特征值流程图。

具体实施方式

下面将结合说明书附图，对本发明作进一步的说明，以令本领域技术人员参照说明书文字能够据以实施。

如图1所示，本发明提供一种基于非局部时空特征学习的无监督视频分割方法，包括获取所需分割的视频序列，利用超像素分割处理视频序列，利用光流进行前后帧信息匹配，根据视频序列相邻帧的光流信息获取运动目标的大致范围，利用非局部时空信息对匹配结果进行优化，建立图模型，求解并输出超像素等级分割结果，利用超像素等级分割结果作为先验条件训练混合高斯模型，利用训练完成的混合高斯模型对输入图片进行像素点等级的分割，利用显著性特征分割结果，像素等级分割结果及超像素等级分割结果进行投票，得到最终的视频目标分割结果；所述的输入视频处理，通过将所需分割的视频输入***，将视频存储为可供处理的单帧图片序列；所述的超像素分割模块将待处理图片序列做超像素分割处理，便于后续算法使用，降低计算复杂度；所述光流匹配模块用于匹配相邻帧之间对应的超像素块，并求取运动目标的大致范围；所述图模型包括一元势函数和互势函数，用于对待处理图像进行数学建模，使其转化为可以利用图割算法求解最小化的模型；所述混合高斯模型训练模块包括各像素点位置特征和颜色特征两个分量，其训练先验条件为超像素等级的目标分割结果；所述投票方案综合选取图割算法的超像素分割结果，混合高斯模型的像素分割结果和各帧图片的显著性特征分割结果，得到最终运动目标分割结果并输出。

如图2所示，最近邻搜索优化超像素特征值采用目标帧之前的五帧图像，对目标帧中的某具体目标超像素，在之前的五帧内所有超像素所构成的集合中，利用KD树算法搜索其最近邻，找出与之最接近的五个最近邻超像素，对每个最近邻根据其与目标超像素欧式距离大小赋予其不同的权值，对目标超像素做加权优化，得到利用非局部特征优化的新超像素，更新后的目标超像素与原超像素的位置信息相同。

以上显示和描述了本方法的基本原理、主要特征及优点。本行业的技术人员应该了解，本设计不受上述实施例的限制，上述实施例和说明书中描述的只是说明本设计的原理，在不脱离本设计精神和范围的前提下，本设计还会有各种变化和改进，这些变化和改进都落入要求保护的本设计范围内。本设计要求的保护范围由所附的权利要求书及其等效物界。

Claims (1)

1.融合时空多特征表示的无监督视频分割方法，其特征在于，包括如下：获取所需分割的视频序列，利用超像素分割处理视频序列，利用光流进行前后帧信息匹配，根据视频序列相邻帧的信息获取运动目标的范围作为图模型初始化输入，利用全局信息对匹配结果进行优化，建立图模型并利用图割算法求解初步超像素等级的分割结果，利用初步分割结果训练高斯混合模型参数，求解像素等级分割结果，利用取显著性特征分割结果，结合已有的超像素及像素等级分割结果，利用投票的方式得到最终的分割结果，以及最终所得运动目标的分割输出；具体步骤如下：

1)对视频序列中的所有帧进行超像素分割，降低计算复杂度，提高算法处理速度；

2)计算每个超像素的特征均值，中心点位置；每个超像素的特征项用一个八维向量R，G，B，H，S，V，x，y来表示；

3)由于光流法计算结果的不准确性，无法单独利用光流准确判断目标位置，因此结合光流法与投票的方法，计算出运动目标的大致位置范围，同时判断出各个超像素所属的区域，前景或背景，所得结果将用于图模型的初始化输入；

4)利用光流法所提供的信息计算出相邻帧超像素之间的联系，找出第n帧与第n+1帧之间相互对应的超像素组合；

5)对于所有超像素匹配完成之后的视频序列，对每一帧的每一个超像素计算一个新的非局部超像素特征值，对原超像素进行优化；当n<＝5时，选用前n-1帧图片对该帧中的每一个超像素进行优化计算，n>5时，选用该帧之前的五帧来对其进行优化；

6)建立图模型，所述图模型由一元势函数和互势函数构成；一元势函数包括颜色特征项和位置特征项，互势函数包括时间平滑项和空间平滑项；

7)利用优化后的第n帧超像素信息与第n+1帧超像素信息计算图模型的代价函数，利用图割及最大流最小割算法迭代计算直至收敛，得到最优的超像素等级目标分割结果，即重新判断每个超像素是属于前景还是背景；

8)对于权力得到的超像素等级分割结果，将其作为先验条件用于训练混合高斯模型各参数，并利用训练好的混合高斯模型对输入图片再次进行分割，得到像素点等级的分割结果；

9)对输入图像序列进行显著性特征分析，提取显著性概率大于阈值T的部分，作为显著性分割结果输出；

10)对已得到的超像素等级分割结果、像素等级分割结果、显著性特征分割结果，利用投票的方式对其进行综合分析利用，得到最终的视频目标分割结果并输出。