CN102163285A - 一种基于主动学习的跨域视频语义概念检测方法 - Google Patents

Abstract

本发明一种基于主动学习的跨域视频语义概念检测方法，包括以下步骤：(1)将高斯随机场作为基准分类器。(2)采用主动学习方法中的最不确定性查询策略选择未标注样本进行标注。(3)更新基准分类器。(4)顺次重复(2)、(3)步骤，直到完成一定的循环次数。本发明将高斯随机场用于构建主动学习的基准分类器。该基准分类器与其他主动学习算法中常用的只使用原始域样本作为基准分类器的训练集相比，使选择被标注的样本更大程度反映目标域数据的分布。加大新选入的来自目标域的已获得标注的样本的权重，使基准分类器能更快适应到目标域数据的特征分布上。本发明还提出一种快速基准模型更新算法，有效降低算法的复杂度，提高算法的适用性。

Description

一种基于主动学习的跨域视频语义概念检测方法

技术领域

本发明涉及一种基于主动学习的跨域视频语义概念检测方法，属视频内容分析和语义概念检测领域。

背景技术

视频语义概念检测是自动检测视频中出现的语义概念，例如“汽车”，“人”和“楼”等。但是随着海量视频数据的增加，越来越多的视频来自不同的领域，例如新闻视频、网络视频和文档类视频等。由于相同的语义概念在不同领域的视频的特征空间中分布不同，所以当使用一个域的视频数据作为训练集的语义概念分类器在另一个域的视频数据上测试时，会得到很差的分类效果。简单的解决办法是为每个新域的语义概念训练一个新的分类器，但是由于视频中包含的语义概念众多，视频数据量巨大，对视频数据进行人工标注和训练分类器都需要消耗很多人力和计算时间。所以现在的研究工作大部分集中在如何利用已全部标注的原始域的数据以及未标注的目标域的数据，通过半监督的机器学习方法，在尽可能少的对目标域样本进行标注的情况下，得到在目标域数据上检测率尽可能高的分类器。

机器学习中的主动学习方法能够主动选择对分类器信息量大的样本进行标注，从而使分类器在使用较小训练集的情况下获得较高的分类正确率。但是传统的主动学习方法假设测试集和训练集具有相同的数据分布，然而在跨域视频语义概念检测中新目标域的视频数据与原始域的数据在特征空间分布不同。在目标域中选择对将原始域数据作为训练集的分类器最有信息量的样本进行标注，对新目标域的预测没有太大作用。

发明内容

本发明克服现有技术的不足，提供一种基于主动学习的跨域视频语义概念检测方法，该方法将高斯随机场作为基准分类器，将原始域和目标域的数据用同一个无向图表示。基于在特征空间距离越小的两个样本应该具有尽可能相近的标注这一原理，通过原始域数据的标记以及两数据域的样本在特征空间的距离关系，预测出未标注的目标域样本的标注。然后采用主动学习中的最不确定性选择策略对目标域数据进行标记，并将其添加到已标注数据集。因为目的是得到在目标域上性能较好的分类器，所以在基准分类器中获得新的目标域样本的标记后，增加所有到这些样本的边的权重，使基准分类器更快的自适应到目标域数据。同时提出一种快速的基准模型更新算法，在每次批量加入新标注的样本时，降低模型更新的时间复杂度，提高了算法的适用性。

本发明的技术解决方案：一种基于主动学习的跨域视频语义概念检测方法包括以下步骤：

(1)将高斯随机场作为基准分类器

(A)将原始域和目标域的每个样本点为一个顶点，将样本点之间在特征空间的距离作为其边的权重，构造一个无向图；

(B)通过最小化高斯随机场的损失函数，得到无向图中的没有标注的样本点标注的估计值，即对目标域中的样本的标注进行预测。因为本发明中视频语义概念检测是二分类问题，所以标注预测值的范围为0～1。

(2)采用主动学习方法中的最不确定性查询策略选择未标注样本进行标注

(A)选择未标注数据集中预测的标注值最不确定的样本进行标注，即预测值最接近0.5的样本，这类样本点对基准分类器具有最大信息量，获得这些样本的真实标注；

(B)将新标注的样本从未标注数据集中去除，将其加入已标注数据集。

(3)更新基准分类器

(A)对于所有连接到目标域中新获得标注的样本的边重新设置权重，并将这些新获得的标注以及更新的权重加入到高斯随机场中，即更新新加入标注的样本的权重值；

(B)根据更新后的高斯随机场，对无向图中的属于目标域的没有标注的样本点的标注进行预测，即更新高斯随机场模型；

(4)顺次重复(2)步骤、(3)步骤，直到完成一定的循环次数。

其中，所述步骤(1)将高斯随机场作为基准分类器的方法如下：

首先，对于步骤(1)中(A)将原始域和目标域中的每一个样本点当成图中的一个顶点：提取每个样本点的视觉特征，其中包括225维度的网格颜色矩特征，48维度的Gabor纹理特征以及73维度的边缘方向直方图特征，将这些特征串联起来得到一个346维度的特征向量；

其次，对于步骤(1)中(A)将样本点之间在特征空间的距离作为其边的权重，构造一个无向图，其计算方法为

其中w_ij表示两个样本点之间的距离，n是样本视觉特征维度，x_id和x_jd分别为样本i和j的第d维特征的值，σ是平滑函数。

再次，对于步骤(1)中(B)根据高斯随机场原理，对无向图中的没有标注的样本点的标注进行预测的方法如下，最小化损失函数

的解满足Δf_u＝0，这里Δ是拉普拉斯矩阵，定义为Δ＝D-W，其中D＝diag(d_i)，W是权重矩阵；其中f_l是有标注的样本的标注值，f_u是没有标注的样本的标注值，得到的解为

其中，所述步骤(2)采用主动学习方法中的最不确定性查询策略选择未标注样本进行标注的步骤如下：

首先，对于步骤(2)中(A)选择标注值f_u接近于0.5的样本进行标注，即

获得它们的真实标注值；

其次，对于步骤(2)中(B)把这些样本从目标域的未标注数据集U中删除出去，并把它们加入到已标注数据集L中。

其中，所述步骤(3)更新基准分类器的步骤如下：

首先，对于步骤(3)中(A)更新新加入标注的样本的权重值，w_ij＝τ×w_ij，其中τ是加权因子，且τ＞1；

其次，对于步骤(3)中(B)更新高斯随机场模型时，采用一种快速的模型更新方法计算在增加k个新的样本的标注后，未标注样本的数目将减小至u-k；对剩下的未标注的样本的预测为f′_u＝(Δ′_uu)^-1W′_ulf′_l，其中Δ′_uu为Δ_uu去掉k行k列的矩阵；

问题转换为在已知矩阵A的逆矩阵A^-1下，如何有效计算矩阵A去掉k行k列后得到的新矩阵

的逆矩阵

假设B＝S(A，i₁，…，i_k)，为将A中的i₁，…，i_k行的元素移动到1，…，k行，将i₁，…，i_k列的元素移动到1，…，k列；可知

根据Woodburymatrix identity定理，将B转换成一个对角块矩阵

其中计算(B⁽²⁾)^-1的时间复杂度为O(k³)；根据

可知计算

的时间复杂度为O(k³)；这样将对未标注样本标记进行预测的时间复杂度从O(u³)减小到O(k³)，这里u是未标记样本的数目，k是每次新选入的样本的数目，k＜＜u。

其中，所述步骤(4)顺次重复(2)步骤、(3)步骤，直到完成一定的循环次数的步骤如下：

顺序重复步骤(2)采用主动学习算法选择样本点进行标注，以及步骤(3)更新基准分类器，直到完成一定循环次数，即选择了足够多的目标域中的样本点进行标注，使基准分类器在目标域中的检测效果达到一定高度。

本发明与现有技术相比的优点在于：主动学习方法作为一种根据一定选择策略选择未标注样本进行标注的方法，能够在尽量选择较少样本的情况下达到较高的分类正确率。对于训练视频语义概念这种需要处理海量视频数据的问题，采用主动学习方法可以极大的降低样本复杂度。考虑到跨域视频语义概念检测问题本身的特点，本发明将高斯随机场用于构建主动学习的基准分类器。该基准分类器与其他主动学习算法中常用的只使用原始域样本作为基准分类器的训练集相比，它基于原始域已标注的样本和目标域数据未标注的样本共同构建而成，根据两个域的数据在特征空间的真实分布对目标域数据的标注进行预测，并在此基础上选择对于基准分类器最不确定性的样本进行标注，使选择被标注的样本能更大程度反映目标域数据的分布。并加大新选入的来自目标域的已获得标注的样本的权重，使基准分类器能更快的适应到目标域数据的特征分布上。同时，为了降低算法时间复杂度，本发明提出一种快速基准模型更新算法，有效的降低了算法的复杂度，提高了算法的适用性。

附图说明

图1为本发明的跨域主动学习算法的流程图；

图2a、2b、2c为本发明与其他模型在公共数据库上跨域语义概念检测的实验结果比较，共在36个语义概念上进行了比较，三个子图分别为12个语义概念的比较结果。

具体实施方式

本发明基于主动学习提出了一种基于主动学习的跨域视频语义概念检测方法，使用高斯随机场作为基准分类器，同时利用已标注的原始域数据和未标注的目标域数据作为训练数据，根据主动学习查询策略中的最不确定性原理选择样本进行标注，将其新标注加入高斯随机场，对模型进行更新，然后重新选择新的最不确定性的样本进行标注，其具体包括以下步骤：

在图1本发明的跨域主动学习算法的流程图中，本发明主要分采用高斯随机场作为基准分类器、根据最不确定性原理选择样本进行标注和更新基准分类器等四个步骤。

第一步：采用高斯随机场作为基准分类器

将原始域和目标域中的每一个样本点当成图中的一个顶点。提取每个样本点的视觉特征，将视频中的每个镜头作为一个视频的代表，提取关键帧代表该镜头。对于每个关键帧提取三种视觉底层特征，包括225维度的网格颜色矩特征，48维度的Gabor纹理特征以及73维度的边缘方向直方图特征，将这些特征串联起来得到一个346维度的特征向量，每个视频将由一个346维度的特征来表示。

在构建无向图时，采用传统的构建方法，将原始域和目标域的数据放在一起构建一个无向图。图的每个顶点代表每个样本数据，图的边为样本之间的权重，由高斯距离进行计算：

其中w_ij表示两个样本点之间的距离，n是样本视觉特征维度，本发明中n＝346，x_id和x_jd分别为样本i和j的第d维特征的值，σ是平滑函数。

根据高斯随机场原理对未标注的目标域样本的标注值进行预测。高斯随机场原理通过最小化损失函数得到未标注的样本的标注值，其中f_i和f_j分别为样本i和样本j的标注值。最小化该损失函数使得边权重w_ij越大的两个样本点，即在特征空间距离越小，具有最相近的标注值，即f_i-f_j越小。

最小化该损失函数的解满足Δf_u＝0，这里Δ是拉普拉斯矩阵，定义为Δ＝D-W，其中D＝diag(d_i)，W是边的权重矩阵。通过矩阵操作可获得Δf_u＝0的解，将W表示成分块矩阵将f表示成

其中f_l是有标注的样本的标注值，f_u是没有标注的样本的标注值，得到的解为

第二步：采用主动学习方法中的最不确定性查询策略选择未标注样本进行标注

选择基准分类器最不确定的样本查询其标注。得到这些样本的标注能在选择标注数目有限的前提下尽可能高的提高基准分类器的分类性能。即选择预测值f_i最接近0.5的样本进行标注，即

获得它们的真实标注值。然后把这些样本从目标域的未标注数据集U中删除出去，并把它们加入到已标注数据集L中。

第三步：更新基准分类器

因为更新新加入标注的样本的权重值，w_ij＝τ×w_ij，其中τ是加权因子。i是新加入的样本的编号，j的取值范围为1，...，N，N为原始域样本和目标域样本个数之和。

更新已标注样本集合和未标注样本集合后，重新预测f_u时，采用一种快速的模型更新方法计算

将对未标注样本标记进行预测的时间复杂度从O(u³)减小到O(k³)，这里u是未标记样本的数目，k是每次新选入的样本的数目，k＜＜u。在增加k个新的样本的标注后，未标注样本的数目将减小至u-k。对剩下的未标注的样本的预测为f′_u＝(Δ′_uu)^-1W′_ulf′_l，其中Δ′_uu为Δ_uu去掉k行k列的矩阵。问题转换为在已知矩阵A的逆矩阵A^-1下，如何计算矩阵A去掉k行k列后得到的新矩阵的逆矩阵

假设B＝S(A，i₁，…，i_k)，为将A中的i₁，…，i_k行的元素移动到1，…，k行，将i₁，…，i_k列的元素移动到1，…，k列。可知

根据矩阵的求逆定理，可知B^-1＝S(A^-1，i₁，…，i_k)，即将A^-1的i₁，…，i_k移动到1，…，k行，将i₁，…，i_k列的元素移动到1，…，k列。可以将B表示成分块矩阵

其中

通过下面两步可将B转换成一个对角块矩阵：

$\left(1\right),B^{\left(1\right)}=\left[\begin{array}{cc}{I}_{k\×k}& 0_{k\×(u-k)}\\ B_3& B_{\⫬1,...,k}\end{array}\right]=B+\mathrm{UCV}$

这里

C＝I_k×k，

根据Woodbury matrix identity可得(B⁽¹⁾)^-1＝(B+UCV)^-1＝B^-1-B^-1U(C^-1+VB^-1U)^-1VB^-1。因为在已知A^-1的情况下B^-1可知，计算(C^-1+VB^-1U)^-1的时间复杂度为O(k³)；

$\left(2\right),B^{\left(2\right)}=\left[\begin{array}{cc}{I}_{k\×k}& o_{k\×(u-k)}\\ 0_{(u-k)\×k}& B_{\⫬1,...,k}\end{array}\right]=B^{\left(1\right)}+U^{\′}{\mathrm{CV}}^{\′}$

这里

根据Woodbury matrix identity可得(B⁽²⁾)^-1＝(B⁽¹⁾+U′CV′)^-1＝G-GU′(C^-1+V′GU′)^-1V′G，这里G＝(B⁽¹⁾)^-1。根据步骤(1)(B⁽¹⁾)^-1已知，计算(B⁽²⁾)^-1的时间复杂度即为计算(C^-1+V′GU′)^-1的时间复杂度O(k³)。因为B⁽²⁾为对角块矩阵，所以

根据步骤(1)和(2)可知，在已知B^-1的情况下计算

计算复杂度可降为O(k³)。

第四步：重复(2)步骤、(3)步骤，直到完成一定的循环次数

顺序重复步骤(2)采用主动学习算法选择样本点进行标注，以及步骤(3)更新基准分类器，直到完成一定循环次数，即选择了足够多的目标域中的样本点进行标注，使基准分类器在目标域中的检测效果达到一定高度。

本发明提出一种基于主动学***均准查准率作为检测标准，在实验中每种模型各执行十次循环，图2显示的是第十次循环时各个模型的平均查准率。同时，与其他模型每次循环中在36个语义概念上的平均查准率的均值进行了比较，比较结果见表1，其中GRF_AL_NW方法为不改变加入新样本的权重。从实验结果可看出，GRF_AL得到了比GRF_AL_NW更好的分类性能。在后面的几次循环中GRF_AL与GRF_AL_NW的结果比较接近，是因为高斯随机场已经加入了足够多的已标注的目标域中的样本，即便不改变新加入样本的权重，该分类器已经适应到目标域样本的特征空间。

表1每次循环中不同模型在36个语义概念上平均检测率的均值

Claims (4)

1.一种基于主动学习的跨域视频语义概念检测方法，其特征在于包括以下步骤：

(1)将高斯随机场作为基准分类器

(A)将原始域和目标域的每个样本点为一个顶点，将样本点之间在特征空间的距离作为其边的权重，构造一个无向图；

(B)通过最小化高斯随机场的损失函数，得到无向图中的没有标注的样本点标注的估计值，即对目标域中的样本的标注进行预测；

(2)采用主动学习方法中的最不确定性查询策略选择未标注样本进行标注

(A)选择未标注数据集中预测的标注值最不确定的样本进行标注，即预测值最接近0.5的样本，这类样本点对基准分类器具有最大信息量，获得这些样本的真实标注；

(B)将新标注的样本从未标注数据集中去除，将其加入已标注数据集；

(3)更新基准分类器

(A)对于所有连接到目标域中新获得标注的样本的边重新设置权重，并将这些新获得的标注以及更新的权重加入到高斯随机场中，即更新新加入标注的样本的权重值；

(B)根据更新后的高斯随机场，对无向图中的属于目标域的没有标注的样本点的标注进行预测，即更新高斯随机场模型；

(4)顺序重复步骤(2)采用主动学习算法选择样本点进行标注，以及步骤(3)更新基准分类器，直到完成一定循环次数，即选择了足够多的目标域中的样本点进行标注，使基准分类器在目标域中的检测效果达到一定高度。

2.根据权利要求1所述的一种基于主动学习的跨域视频语义概念检测方法，其特征在于：所述步骤(1)将高斯随机场作为基准分类器的方法如下：

首先，对于步骤(1)中(A)将原始域和目标域中的每一个样本点当成图中的一个顶点：提取每个样本点的视觉特征，其中包括225维度的网格颜色矩特征，48维度的Gabor纹理特征以及73维度的边缘方向直方图特征，将这些特征串联起来得到一个346维度的特征向量；

其次，对于步骤(1)中(A)将样本点之间在特征空间的距离作为其边的权重，构造一个无向图，其计算方法为

其中w_ij表示两个样本点之间的距离，n是样本视觉特征维度，x_id和x_jd分别为样本i和j的第d维特征的值，σ是平滑函数；

再次，对于步骤(1)中(B)根据高斯随机场原理，对无向图中的没有标注的样本点的标注进行预测的方法如下，最小化损失函数

的解满足Δf_u＝0，这里Δ是拉普拉斯矩阵，定义为Δ＝D-W，其中D＝diag(d_i)，

W是权重矩阵；其中f_l是有标注的样本的标注值，f_u是没有标注的样本的标注值，得到的解为

3.根据权利要求1所述的一种基于主动学习的跨域视频语义概念检测方法，其特征在于：所述步骤(2)采用主动学习方法中的最不确定性查询策略选择未标注样本进行标注的步骤如下：

首先，对于步骤(2)中(A)选择标注值f_u接近于0.5的样本进行标注，即

获得它们的真实标注值；

其次，对于步骤(2)中(B)把这些样本从目标域的未标注数据集U中删除出去，并把它们加入到已标注数据集L中。

4.根据权利要求1所述的一种基于主动学习的跨域视频语义概念检测方法，其特征在于：所述步骤(3)更新基准分类器的步骤如下：

首先，对于步骤(3)中(A)更新新加入标注的样本的权重值，w_ij＝τ×w_ij，其中τ是加权因子，且τ＞1；

其次，对于步骤(3)中(B)更新高斯随机场模型时，采用一种快速的模型更新方法计算

在增加k个新的样本的标注后，未标注样本的数目将减小至u-k；对剩下的未标注的样本的预测为f′_u＝(Δ′_uu)^-1W′_ulf′_l，其中Δ′_uu为Δ_uu去掉k行k列的矩阵；

在已知矩阵A的逆矩阵A^-1下，计算矩阵A去掉k行k列后得到的新矩阵的逆矩阵

假设B＝S(A，i₁，…，i_k)，为将A中的i₁，…，i_k行的元素移动到1，…，k行，将i₁，…，i_k列的元素移动到1，…，k列；可知

根据Woodbury matrixidentity定理，将B转换成一个对角块矩阵其中计算(B⁽²⁾)^-1的时间复杂度为O(k³)；根据

可知计算

的时间复杂度为O(k³)；这样将对未标注样本标记进行预测的时间复杂度从O(u³)减小到O(k³)，这里u是未标记样本的数目，k是每次新选入的样本的数目，k＜＜u。

Images