CN109165565A - 一种基于耦合动态马尔科夫网络的视频目标发现与分割方法 - Google Patents

Abstract

本发明公开了一种基于耦合动态马尔科夫网络的视频目标发现与分割方法，属于计算机视觉与模式识别领域，步骤包括：首先利用动态马尔科夫网络对视频目标发现与视频目标分割两个问题进行建模；然后利用外观和视频时序信息，对模型中的似然函数、相容性函数和动态函数进行建模，并对目标发现模型进行初始化；最后利用置信度传播的方式求解整体模型，获得具有最大后验概率的视频目标发现与分割结果。本发明可同时解决视频目标发现与分割两个问题，且可实现两个问题的联合优化，最终可使目标发现和目标分割的准确率都得到较大提升。

Description

一种基于耦合动态马尔科夫网络的视频目标发现与分割方法

技术领域

本发明属于计算机视觉与模式识别技术领域，特别涉及一种基于耦合动态马尔科夫网络的视频目标发现与分割方法。

背景技术

伴随着视频数据的快速增长，视频的自动处理技术的重要程度与日俱增。其中视频目标发现与目标分割问题具有越来越大的理论研究价值与实际应用价值。如何自动发现视频中包含的目标并在时间与空间中将其定位出来仍是当前视频处理领域的难点问题。该问题实际包含两个子问题，即视频目标发现与视频目标分割。在该问题中，输入是包含目标也包含背景的视频序列，输出分为两部分，其一是对目标的时间定位，即目标发现的结果；其二是对目标的空间定位，即目标分割的结果。目前传统的方法是将两个子问题独立建模，没有考虑子问题之间的关联，两个子问题不能得到联合优化与求解。

发明内容

本发明的目的在于提供一种基于耦合动态马尔科夫网络的视频目标发现与分割方法，以解决上述存在的技术问题。本发明通过统一的模型即基于耦合动态马尔科夫网络的模型，可将视频目标发现与视频目标分割两个子问题统一在一个框架下，可将两个子问题进行联合优化与求解；可使得两个子问题的求解协同促进，最终可使两个子问题都达到更高的准确率。

为达到上述目的，本发明采用以下技术方案：

一种基于耦合动态马尔科夫网络的视频目标发现与分割方法，包括以下步骤：

步骤1，包含目标的视频序列其中f_t表示视频的第t帧图像，视频序列V共包含T帧图像；利用动态马尔科夫网络对视频序列V建模，获得耦合动态马尔科夫网络框架模型；

获得的耦合动态马尔科夫网络框架模型中包括目标发现的动态马尔科夫网络和目标分割的动态马尔科夫网络；目标发现的动态马尔科夫网络的观测层面为图像目标候选区域；目标分割的动态马尔科夫网络的观测层面为图像超像素；

步骤2，利用步骤1中包含目标的视频序列包含的外观及视频相邻帧之间时序信息，对步骤1获得的耦合动态马尔科夫网络框架模型中的观测似然函数、相容性函数和相邻帧动态函数进行建模，获得耦合动态马尔科夫网络模型；并对获得的耦合动态马尔科夫网络模型中的目标发现模型进行初始化，得到初始目标发现结果；

步骤3：利用置信度传播算法求解所步骤2获得的耦合动态马尔科夫网络模型，得到视频目标发现和视频目标分割的结果。

进一步的，步骤1中利用动态马尔科夫网络对视频序列V建模的具体步骤包括：

步骤1.1，将视频序列V的目标发现标签记为对应的目标发现观测为 其中o_t,i表示f_t的第i个候选区域；

步骤1.2，将视频序列V的目标分割标签记为对应的目标分割观测为 其中s_t,j表示f_t的第j个超像素；

步骤1.3，与之间存在相容性函数Ψ(L,B)。

进一步的，在步骤2中，对获得的耦合动态马尔科夫网络框架模型中的观测似然函数、相容性函数和相邻帧动态函数进行建模具体包括以下步骤：

步骤2.1，对每个候选区域打分，然后建立目标发现的似然函数p(O_t|L_t)；每个候选区域的分数为：

r(o_t,i)＝r_s(o_t,i)·r_a(o_t,i)·r_m(o_t,i)

其中，r_s(o_t,i)表示显著性分数，用于表示对应区域的显著程度；r_a(o_t,i)表示物体分数，用于表示对应区域包含物体的置信度；r_m(o_t,i)表示运动分数，用于表示对应区域包含持续运动物体的置信度；在得到每个候选目标的分数r(o_t,i)之后，目标发现的似然函数建立为公式：

其中，表示r_s(o_t,i)归一化处理之后的分数；

步骤2.2，建立关于目标分割的似然函数p(S_t|B_t)，具体方式为：学习视频的前景高斯混合模型和背景高斯混合模型，其中前景高斯模型表示为h₁；背景高斯模型为h₀；目标分割的似然函数建立为公式：

其中，

步骤2.3，相容性函数的建立，将从L_t到B_t的相容性函数定义为：

Ψ_LB(L_t,B_t)＝IoU(o_t,i,B_t(1))；i∈{1,…,K}

其中，B_t(1)表示计算出来的分割结果，o_t,i表示f_t的第i个候选区域；

将从B_t到L_t的相容性函数定义为：

其中，O_t(1)表示计算出来的目标发现结果，s_t,j表示f_t的第j个超像素；

步骤2.4，将目标发现的动态模型p(L_t|L_t-1)定义为：

其中，表示候选区域o_t,i对于其时间相邻区域o_t-1,m的转移概率，i表示当前帧即第t帧中候选区域的标号，m表示第t帧的前一帧即第t-1帧中的被选为o_t,i的相邻区域的标号；

将目标分割的动态模型定义为：

其中，表示超像素s_t,j对于其时间相邻超像素s_t-1,n的转移概率，j表示当前帧即第t帧中超像素的标号，n表示第t帧的前一帧即第t-1帧中的被选为s_t,j的相邻区域的标号。

进一步的，在步骤2中，目标发现模型的初始化具体包括以下步骤：

(1)通过分类器将已经表示为特征向量的视频帧分为两类，正样本为从视频中均匀采集的帧，负样本为不相关数据集中的图像；

(2)通过步骤(1)中的数据对分类器进行训练，并将属于正样本的置信度大于80％的样本视为正样本，属于正样本的置信度小于30％样本视为负样本；

(3)重复步骤(2)直至分类器收敛；

(4)利用步骤(3)得到的分类器对视频序列V所有帧进行二分类，得到包含目标的帧与不包含目标帧的初始分类结果，实现目标发现模型的初始化。

进一步的，步骤3中利用置信度传播算法求解所建立的模型的过程，具体包括以下步骤：

(1)计算考虑相邻前后帧的置信度，其中从B到L的置信度和从L到B的置信度分别为：

其中为从视频开始到t时刻的目标观测；为从视频结束到t时刻的目标观测；为视频开始到t时刻的分割观测；为从视频结束到t时刻的目标观测；

(2)通过步骤1得到置信度之后，根据置信度传播算法得到最大后验概率的目标发现结果p(L_t|O,S)为：

得到最大后验概率的目标分割p(B_t|O,S)结果为：

与现有技术相比，本发明具有以下有益效果：

本发明的基于耦合动态马尔科夫网络的视频目标发现与分割方法，利用动态马尔科夫网络对视频目标发现与视频目标分割两个问题进行建模；然后将两个动态马尔科夫网络耦合起来，利用置信度传播的方式求解整体模型，获得具有最大后验概率的视频目标发现与分割结果。本发明可以同时解决了视频目标发现与分割两个问题，并且本发明可以实现两个问题的联合优化，从数学上得到了在目标发现和目标分割双重观测下具有最大后验概率的目标发现结果和目标分割结果(即p(L_t|O,S)以及p(B_t|O,S))，最终可使得目标发现和目标分割的准确率都得到较大提升。

进一步的，本发明在初始化目标发现模型时，采用了一种无监督的迭代训练方法。这种方法不依赖人工标注的数据。如果方法依赖于人工标记数据的训练，那么相同的方法在处理不同的数据时必须配套提供相应的人工标记数据，而标记数据是一项耗费大量人力与时间的工作。本方法不依赖人工标注的数据，有利于本发明的推广应用。

附图说明

图1是本发明的一种基于耦合动态马尔科夫网络的视频目标发现与分割方法的流程示意框图；

图2是本发明的一种基于耦合动态马尔科夫网络的视频目标发现与分割方法建立的耦合动态马尔科夫网络模型示意框图；

图3是本发明的一种基于耦合动态马尔科夫网络的视频目标发现与分割方法中初始化目标发现模型的流程示意框图；

图4是不同方法在SegTrack数据集上对目标分割进行评测的结果对比示意图；

图5是不同方法在Noisy-ViDiSeg数据集上对目标发现进行评测的结果对比示意图；

图6是不同方法在Noisy-ViDiSeg数据集上对目标分割进行评测的结果对比示意图。

具体实施方式

为了更清楚地说明本发明，下面结合附图对本发明做进一步说明。

参见图1至图3，本发明的一种基于耦合动态马尔科夫网络的视频目标发现与分割方法，具体包括以下步骤：

步骤1：建立耦合动态马尔科夫网络。给出一个包含单一目标的视频序列其中f_t表示视频的第t帧图像。利用动态马尔科夫网络对V建模，得到耦合动态马尔科夫网络框架模型，其中包括对应视频目标发现的动态马尔科夫网络，观测层面为图像目标候选区域，以及对应视频目标分割的动态马尔科夫网络，观测层面为图像超像素。

步骤1中具体建模步骤包括：

(1)对于包含单一目标的视频序列V，其目标发现标记为对应的观测为 其中o_t,i表示f_t的第i个候选区域。

(2)对于V，其目标分割标记为对应的观测为 其中s_t,j表示f_t的第j个超像素。

(3)与之间存在相容性函数Ψ(L,B)。

(4)将时序信息加入到建立的耦合动态马尔科夫网络中。我们定义从视频开始到t时刻的图像目标观测为从视频结束到t时刻的图像目标观测为类似的，从视频开始到t时刻的图像分割观测为从视频结束到t时刻的图像目标观测为

步骤2：利用视频外观和视频相邻帧之间时序信息，对耦合动态马尔科夫网络中的似然函数、相容性函数和动态函数进行建模，并对目标发现模型进行初始化。建立的模型参见图2，图2模型中包含节点和线，步骤一用于解释节点的物理含义，步骤二用于解释连线的含义和具体建立方法。

具体包括以下步骤：

(1)对于目标发现的似然函数p(O_t|L_t)需要对每一个候选目标打分，打分方式为：

r(o_t,i)＝r_s(o_t,i)·r_a(o_t,i)·r_m(o_t,i)

其中r_s(o_t,i)表示显著性分数，即表示对应区域的显著程度，其具体计算方法为利用已有的显著性方法得到显著性图，然后计算对应区域的显著性的平均值；r_a(o_t,i)表示物体分数，即表示对应区域包含物体的置信度，其具体计算方法为计算对应区域的完整边缘所占所有边缘的比率；r_m(o_t,i)表示运动分数，即表示对应区域包含持续运动物体的置信度，其具体计算方法与r_a(o_t,i)类似，只是将图像边缘替换为光流边缘，其余相同。在得到r(o_t,i)之后，目标发现的似然函数建立为公式：

其中表示在所有分数在所有视频帧中归一化之后的分数。

(2)对于目标分割的似然函数p(S_t|B_t)，需要对视频学习前景和背景两个高斯混合模型，对于前景的模型为h₁，对于背景的模型为h₀。目标分割的似然函数建立为公式：

(3)对于相容性函数的建立我们将从L_t到B_t的相容性函数定义为：

Ψ_LB(L_t,B_t)＝IoU(o_t,i,B_t(1))；i∈{1,…,K}

其中B_t(1)表示计算出来的分割结果。类似的，我们将从B_t到L_t的相容性函数定义为：

其中O_t(1)表示计算出来的目标发现结果。

(4)对于目标发现的动态模型p(L_t|L_t-1)我们定义为：

其中，表示候选区域o_t,i对于其时间相邻区域o_t-1,m的转移概率，i表示当前帧(即第t帧)中候选区域的标号，m表示第t帧的前一帧(即第t-1帧)中的被选为o_t,i的相邻区域的标号。具体计算方式为：

m＝argmax_{i′∈{1,…,K}}IoU(o_t,i,Warp(o_t-1,i′))

其中Warp(o_t-1,i′)是f_t-1中的区域o_t-1,i′按照光流转换到f_t中对应的区域，δ_i＝δ(l_t-1,m,l_t,i)是一个指示变量。它在l_t-1,m≠l_t,i时为1，否则为0。α_i＝EMD(h_c(o_t-1,m),h_c(o_t,i))表示o_t-1,m与o_t,i的颜色直方图的EMD距离。表示o_t-1,i与o_t,m的梯度直方图的卡方距离。

类似的，我们定义目标分割的动态模型为：

其中，表示超像素s_t,j对于其时间相邻超像素s_t-1,n的转移概率，j表示当前帧(即第t帧)中超像素的标号，n表示第t帧的前一帧(即第t-1帧)中的被选为s_t,j的相邻区域的标号。具体计算方式为：

n＝argmax_{j'∈{1,…,J}}IoU(s_t,j,Warp(s_t-1,j'))

其中Warp(s_t-1,j')是f_t-1中的区域s_t-1,j'按照光流转换到f_t中对应的区域，δ_j＝δ(b_t-1,n,b_t,j)是一个指示变量。它在b_t-1,n≠b_t,j时为1，否则为0。ω_j＝||h_m(s_t-1,n)-h_m(s_t,j)||₂表示s_t-1,j与s_t,n的光流梯度直方图的欧氏距离。σ_j也是一个指示变量s_t,j与s_t-1,n都属于目标发现得到的前景时为1，否则为0。μ_j＝IoU(s_t,j,Warp(s_t-1,n))是s_t,j与Warp(s_t-1,n)的IoU分数。

步骤2目标发现模型的初始化流程如图3所示。具体包括以下步骤：

(1)利用分类器将已经表示为特征向量的视频帧分为两类，正样本为从视频中均匀采集的帧，其中可能包含噪声，负样本为不相关数据集中的图像。

(2)利用这些数据对分类器进行训练，并将并将属于正样本的置信度大于80％的样本视为正样本，属于正样本的置信度小于30％样本视为负样本，继续训练。(3)重复(2)直至分类器收敛，利用最终得到的分类器对视频所有帧进行二分类，可以得到包含目标的帧与不包含目标帧的初始分类结果，即为目标发现的初始化结果。

步骤3：利用置信度传播算法求解所建立的模型。具体包括以下步骤：

(1)将置信度算法推广到时间序列上，其中从B到L的置信度m_BL(L_t)和从L到B的置信度m_LB(B_t)分别为：

在得到置信度之后，根据置信度传播算法可以得到最大后验概率的目标发现结果p(L_t|O,S)为：

类似的，最大后验概率的目标分割p(B_t|O,S)结果为：

最终得到的结果是在两种观测条件下的后验概率(即p(L_t|O,S)以及p(B_t|O,S))，这从数学上表明了我们最终结果，统一联合优化了视频目标发现与视频目标分割两个子问题。上述实施例中，表示包含单一目标的视频序列，其中其中f_t表示视频的第t帧图像，视频一共包含T帧图像；表示视频的目标发现标记；表示视频的目标发现观测，其中o_t,i表示f_t的第i个候选区域；表示视频的目标分割标记；表示视频的目标分割观测，其中s_t,j表示f_t的第j个超像素；Ψ(L,B)：表示与之间存在相容性函数，特别的，L_t到B_t的相容性函数为Ψ_LB(L_t,B_t)，从B_t到L_t的相容性函数为Ψ_BL(B_t,L_t)；p(O_t|L_t)：表示视频目标发现的观测似然函数；p(S_t|B_t)：表示视频目标分割的观测似然函数；p(L_t|L_t-1)：表示视频目标发现的动态模型；p(B_t|B_t-1)：表示视频目标分割的动态模型。

本发明适用于自动处理视频，发现视频中的主要目标并将其从背景分割出来。本发明的基于耦合动态马尔科夫网络的视频目标发现与分割方法，首先利用动态马尔科夫网络对视频目标发现与视频目标分割两个问题进行建模；然后利用外观，视频时序等信息，对模型中的似然函数、相容性函数和动态函数进行建模，并对目标发现模型进行初始化；最后利用置信度传播的方式求解整体模型，获得具有最大后验概率的视频目标发现与分割结果。本发明可以同时解决了视频目标发现与分割两个问题，并且本发明可以实现两个问题的联合优化，最终使得目标发现和目标分割的准确率都得到较大提升。

数据分析

图4是不同的方法在用于评价视频目标分割公开数据集SegTrack上的实验结果，由图可以看出，在目标分割中，我们的方法在除了“monkey”和“soldier”视频上都得到了最高的结果，并且综合考虑，即比较平均结果，取得了最高的正确率。

图5为在Noisy-ViDiSeg数据集上对目标发现进行评测的结果，由图可以看出，在目标发现中我们的方法在所有视频中都得到了最高的准确率。

图6为在Noisy-ViDiSeg数据集上对目标分割进行评测的结果，由图可以看出，在目标分割中我们的方法在比较综合所有数据平均结果中得到了最高的准确率。

综上所述，与其他方法相比较，我们的方法在目标分割与目标发现两个问题上都获得了较大的提升。

Claims (5)

1.一种基于耦合动态马尔科夫网络的视频目标发现与分割方法，其特征在于，包括以下步骤：

步骤1，包含目标的视频序列其中f_t表示视频的第t帧图像，视频序列V共包含T帧图像；利用动态马尔科夫网络对视频序列V建模，获得耦合动态马尔科夫网络框架模型；

获得的耦合动态马尔科夫网络框架模型中包括目标发现的动态马尔科夫网络和目标分割的动态马尔科夫网络；目标发现的动态马尔科夫网络的观测层面为图像目标候选区域；目标分割的动态马尔科夫网络的观测层面为图像超像素；

步骤2，利用步骤1中包含目标的视频序列包含的外观及视频相邻帧之间时序信息，对步骤1获得的耦合动态马尔科夫网络框架模型中的观测似然函数、相容性函数和相邻帧动态函数进行建模，获得耦合动态马尔科夫网络模型；并对获得的耦合动态马尔科夫网络模型中的目标发现模型进行初始化，得到初始目标发现结果；

步骤3：利用置信度传播算法求解所步骤2获得的耦合动态马尔科夫网络模型，得到视频目标发现和视频目标分割的结果。

2.根据权利要求1所述的一种基于耦合动态马尔科夫网络的视频目标发现与分割方法，其特征在于，步骤1中利用动态马尔科夫网络对视频序列V建模的具体步骤包括：

步骤1.1，将视频序列V的目标发现标签记为对应的目标发现观测记为其中o_t,i表示f_t的第i个候选区域；

步骤1.2，将视频序列V的目标分割标签记为对应的目标分割观测记为其中s_t,j表示f_t的第j个超像素；

步骤1.3，与之间存在相容性函数Ψ(L,B)。

3.根据权利要求2所述的一种基于耦合动态马尔科夫网络的视频目标发现与分割方法，其特征在于，在步骤2中，对获得的耦合动态马尔科夫网络框架模型中的观测似然函数、相容性函数和相邻帧动态函数进行建模具体包括以下步骤：

步骤2.1，对每个候选区域打分，然后建立目标发现的似然函数p(O_t|L_t)；每个候选区域的分数为：

r(o_t,i)＝r_s(o_t,i)·r_a(o_t,i)·r_m(o_t,i)

其中，r_s(o_t,i)表示显著性分数，用于表示对应区域的显著程度；r_a(o_t,i)表示物体分数，用于表示对应区域包含物体的置信度；r_m(o_t,i)表示运动分数，用于表示对应区域包含持续运动物体的置信度；在得到每个候选目标的分数r(o_t,i)之后，目标发现的似然函数建立为公式：

其中，表示r_s(o_t,i)归一化处理之后的分数；

步骤2.2，建立关于目标分割的似然函数p(S_t|B_t)，具体方式为：学习视频的前景高斯混合模型和背景高斯混合模型，其中前景高斯模型表示为h₁；背景高斯模型为h₀；目标分割的似然函数建立为公式：

其中，

步骤2.3，相容性函数的建立，将从L_t到B_t的相容性函数定义为：

Ψ_LB(L_t,B_t)＝IoU(o_t,i,B_t(1))；i∈{1,…,K}

其中，B_t(1)表示计算出来的分割结果，o_t,i表示f_t的第i个候选区域；

将从B_t到L_t的相容性函数定义为：

其中，O_t(1)表示计算出来的目标发现结果，s_t,j表示f_t的第j个超像素；

步骤2.4，将目标发现的动态模型p(L_t|L_t-1)定义为：

其中，表示候选区域o_t,i对于其时间相邻区域o_t-1,m的转移概率，i表示当前帧即第t帧中候选区域的标号，m表示第t帧的前一帧即第t-1帧中的被选为o_t,i的相邻区域的标号；

将目标分割的动态模型定义为：

其中，表示超像素s_t,j对于其时间相邻超像素s_t-1,n的转移概率，j表示当前帧即第t帧中超像素的标号，n表示第t帧的前一帧即第t-1帧中的被选为s_t,j的相邻区域的标号。

4.根据权利要求1所述的一种基于耦合动态马尔科夫网络的视频目标发现与分割方法，其特征在于，在步骤2中，目标发现模型的初始化具体包括以下步骤：

(1)通过分类器将已经表示为特征向量的视频帧分为两类，正样本为从视频中均匀采集的帧，负样本为不相关数据集中的图像；

(2)通过步骤(1)中的数据对分类器进行训练，并将属于正样本的置信度大于80％的样本视为正样本，属于正样本的置信度小于30％样本视为负样本；

(3)重复步骤(2)直至分类器收敛；

(4)利用步骤(3)得到的分类器对视频序列V所有帧进行二分类，得到包含目标的帧与不包含目标帧的初始分类结果，实现目标发现模型的初始化。

5.根据权利要求4所述的一种基于耦合动态马尔科夫网络的视频目标发现与分割方法，其特征在于，步骤3中利用置信度传播算法求解所建立的模型的过程，具体包括以下步骤：

(1)计算考虑相邻前后帧的置信度，其中从B到L的置信度和从L到B的置信度分别为：

其中为从视频开始到t时刻的目标观测；为从视频结束到t时刻的目标观测；为视频开始到t时刻的分割观测；为从视频结束到t时刻的目标观测；

(2)通过步骤1得到置信度之后，根据置信度传播算法得到最大后验概率的目标发现结果p(L_t|O,S)为：

得到最大后验概率的目标分割p(B_t|O,S)结果为：