CN106933816A - 基于全局特征和局部特征的跨镜头目标检索***及方法 - Google Patents

Abstract

本发明公开一种基于全局特征和局部特征的跨镜头目标检索***及方法，从监控视频中获取前景目标图像，对前景目标图像进行预处理，从中提取具有若干特征维度的颜色特征、纹理特征等，降维处理后保存于数据库中形成目标检索***；利用该目标检索***检索查询图像时，首先提取查询图像的特征信息，与目标***中的前景目标图像进行全局特征的相似度计算，得到初次筛选结果，然后提取查询图像的局部特征信息，与通过初次筛选的前景目标图像进行局部特征的相似度计算，以全局特征和局部特征相似度高的前景目标图像作为查询结果图像。本发明能够提高跨镜头目标检索的识别准确度和识别性能。

Description

基于全局特征和局部特征的跨镜头目标检索***及方法

技术领域

本发明涉及一种基于全局特征和局部特征的跨镜头目标检索***及方法，属于图像处理与模式识别技术领域。

背景技术

随着视频监控技术的发展，为实现从海量监控视频中检索目标的高效性，跨摄像头目标检索技术应运而生，该技术的显著特性是能够在很短的时间内从海量监控视频网络中检索查询目标，大大缩短查找原始视频的时间，提高效率和识别准确性。现有跨境头目标检索的方法主要有以下两种：

一种是从原始图像中提取出多种具有稳定性(在不同时刻特征一致)和区别性(同一时刻或不同时刻特征不一致)的特征，将多种特征进行串联拼接，构成目标图像的特征向量。该方法的问题是，必须保证目标裁剪精准以保证准确的特征提取，而现有技术尚无法实现图像的精准分割，为保证提取的特征具有稳定性和区别性，需要人工经验和反复试验，效率低，而且，由于摄像头型号、精度不同，现场拍摄条件复杂，无法保证从原始图像中提取出具有稳定性和区别性的特征。

第二种是利用度量学习的方法对图像的原始特征进行投影，使投影出的特征满足稳定性和区别性。该方法的问题是：需要采集大量不同摄像头对同一目标的原始图像作为样本，采集工作量大，摄像头种类及型号繁多，实现困难，且，需要匹配的两张目标图像拍摄于不同的摄像机，导致图片之间存在各种差异，导致不同摄像头训练得到的矩阵存在差异，仅使用一个度量矩阵不足以将两个不同模态中的特征投影到同一个空间中进行距离计算。

发明内容

鉴于上述原因，本发明的目的在于提供一种基于全局特征和局部特征的跨镜头目标检索***及方法，能够提高跨镜头目标检索的识别准确度和识别性能。

为实现上述目的，本发明采用以下技术方案：

一种基于全局特征和局部特征的跨镜头目标检索***，其建立方法为：

S10：从多个摄像头的监控视频中，获取包含活动目标的前景目标图像；

S11：从该包含活动目标的前景目标图像中提取具有多个特征维度的全局特征，该全局特征包括颜色特征和纹理特征；

S13：将该前景目标图像的全局特征保存于数据库中。

所述步骤S11之后还包括：

S12：对所述前景目标图像的全局特征进行降维处理，生成前景目标图像的图像目标向量；

将该前景目标图像的图像目标向量保存于数据库中。

所述步骤S11中，提取全局特征的方法是：

S111：对所述包含活动目标的前景目标图像进行预处理，包括对该前景目标图像进行颜色增强处理，然后进行归一化处理，将归一化处理后的前景目标图像从上到下均匀分成N个水平条区域图像；

S112：从预处理后的前景目标图像中提取具有多个特征维度的颜色特征；

S113：从预处理后的前景目标图像中提取具有多个特征维度的纹理特征。

所述步骤S12中，利用主成分分析法，对所述前景目标图像的全局特征进行降维处理。

所述步骤S10中，利用混合高斯模型对监控场景进行建模，从监控视频的每一帧图像中提取出若干前景掩膜图像，将前景掩膜图像与其对应的原始帧图像相重叠，生成彩色前景掩膜图像，利用连通域提取方法从该彩色前景掩膜图像中确定掩膜图像的外接矩形框，彩色前景掩膜图像中由矩形框确定的区域为所述前景目标图像。

基于跨镜头目标检索***实现目标检索的方法，包括步骤：

S20：提取查询图像的特征信息，该特征信息包括具有多个特征维度的颜色特征向量和具有多个特征维度的纹理特征向量；

S21：根据该查询图像的特征信息，计算该特征信息与***中前景目标图像的图像目标向量的全局特征相似度，进行初次筛选，得到初次筛选通过的前景目标图像；

S22：从初次筛选通过的前景目标图像的图像目标向量、以及查询图像中，分别提取具有特征点的局部特征信息；

S23：根据所述局部特征信息，计算查询图像与前景目标图像的图像目标向量的局部特征相似度；

S24：加权该全局特征相似度和局部特征相似度，得到查询图像与前景目标图像的总相似度；

S25：对总相似度进行排序，从中确定查询结果图像。

所述步骤21中，计算全局特征相似度的方法是：

S211：定义任意两幅图像关于一种特征向量的相似度计算公式：

公式(4)中，定义两个n维特征向量x_i和x_j，cov(x_i，x_j)为二者的协方差，σ为方差向量，i、j为特征向量的序号。

S212：利用公式(4)分别计算查询图像与***中任一前景目标图像，于每种特征向量上的特征相似度；

S213：利用RankSVM算法，计算查询图像与任一前景目标图像的整体特征相似度；

S214：利用设定的初筛阈值，对前景目标图像进行初次筛选。

所述步骤S212中，计算以下五种特征相似度：查询图像的RGB颜色直方图与任一前景目标图像的RGB颜色直方图的特征相似度、查询图像的HSV颜色直方图与任一前景目标图像的HSV颜色直方图的特征相似度、查询图像的Lab颜色直方图与任一前景目标图像的Lab颜色直方图的特征相似度、查询图像的颜色相关直方图与任一前景目标图像的颜色相关直方图的特征相似度、查询图像的纹理特征与任一前景目标图像的纹理特征相似度。

所述步骤213中，RankSVM算法的计算公式如下：

公式(5)中，q表示查询图像，g表示任一前景目标图像，q_i表示查询图像的某种特征向量，g_i表示前景目标图像的相应的特征向量；w_i为同种特征相似度对应的权值，由RankSVM算法训练得出。

所述步骤23中，计算局部特征相似度的方法是：

如公式(6)，计算查询图像的局部特征与前景目标图像的图像目标向量的局部特征的相似度，

式(6)中，X、Y分别表示查询图像的局部特征向量与前景目标图像的局部特征向量，M表示查询图像含有特征点的个数，表示查询图像中的第i个关键点，P^Y表示前景目标图像中特征点的集合，h(：)表示是否找到匹配点，公式如下：

式(7)中，p^X表示查询图像中某个特征点，P^Y表示前景目标图像中特征点的集合，ratio为设定的比率阈值，d₁为p^X在P^Y中的最近邻距离，d₂为p^X在P^Y中的次近邻距离，sgn(：)为符号函数。

本发明的优点是：

1、对前景目标图像进行预处理，将图像统一到同一种光照强度，然后提取特征，提高了跨镜头目标检索***的识别性能；

2、对前景目标图像的全局特征进行降维处理后保存于数据库，节省了数据库空间，减少了目标检索遍历次数，提高了检索速度；

3、通过查询图像与前景目标图像的全局特征相似度计算进行初筛，能够有效提高跨境头目标检索的准确率，并保证目标检索的实时性；

4、通过查询图像与初筛通过的前景目标图像的局部特征相似度计算进行二次筛选，能够有效提高跨境头目标检索的准确率。

附图说明

图1是本发明的建立跨境头目标检索***的方法流程图。

图2是利用图1所示目标检索***进行目标检索的方法流程示意图。

图3是多个特征向量相级联得到图像特征向量的过程示意图。

具体实施方式

以下结合附图和实施例对本发明作进一步详细的说明。

图1是本发明的建立跨境头目标检索***的方法流程图，如图所示，本发明公开的基于全局特征和局部特征的跨镜头目标检索***，其建立方法为：

S10：从多个摄像头的监控视频中，获取包含活动目标的前景目标图像；

利用混合高斯模型对监控场景进行建模，从监控视频的每一帧图像中提取出一幅背景图像和若干前景掩膜图像，该前景掩膜图像的描述为：

其中，p_mask(x，y)为前景掩膜图像在(x，y)点的像素值，p_f(x，y)为视频帧在(x，y)处的像素点。

该前景掩膜图像为黑白图像，其中像素值为255的点(白色区域)所形成的连通域为掩膜图像，表示活动目标(如，人、车、动物等)，像素值为0的点(黑色区域)为固定背景。将前景掩膜图像与其对应的原始帧图像相重叠，生成彩色前景掩膜图像，然后利用连通域提取方法从该彩色前景掩膜图像中确定掩膜图像的外接矩形框，彩色前景掩膜图像中由矩形框确定的区域即为前景目标图像。

基于目标跟踪算法，将前景目标图像中连续时间内出现的同一活动目标识别为同一目标，以减少后续目标检索的重复量。

S11：从包含活动目标的前景目标图像中提取全局特征；

具体包括：

S111：对包含活动目标的前景目标图像进行预处理；

利用Retinex算法对前景目标图像进行颜色增强处理，生成与场景无关的观测值一致的图像，该图像具有增强的颜色信息(特别是阴影区域)。

利用双线性插值方法将颜色增强处理后的前景目标图像进行归一化处理(归一化为100*100像素)，将归一化处理后的前景目标图像从上到下均匀分成N个水平条区域图像(N＝5)。

S112：从预处理后的前景目标图像中，提取颜色特征和纹理特征。

1)从每个水平条区域图像中提取颜色特征：

基于RGB空间提取颜色直方图，基于HSV空间提取颜色直方图，基于LAB空间提取颜色直方图，共得到9个颜色直方图，每个颜色直方图的颜色特征量化为16维，得到16*9维的颜色特征，

利用同种颜色间的量化距离构建颜色相关直方图，该颜色相关直方图具有颜色分布与空间信息，该颜色直方图的定义为：

定义单通道图像I，将颜色平均分为c类，像素点间距离分为0到d，x、y分别为像素点的横坐标与纵坐标，则颜色相关直方图特征通过以下公式计算：

公式(2)中，i为颜色种类，j为距离，M为图像宽度，N为图像高度，m为领域内一像素点的横坐标，n为领域内一像素点的纵坐标。

于具体实施中，将颜色分为8类(c＝8)，距离从近到远分为8种(d＝8，j的取值范围为0-7)，能够提取出颜色相关直方图的颜色特征为8*8＝64维。

2)从每个水平条区域图像中提取纹理特征：

利用尺度不变局部三元模式提取81维的纹理直方图。

这样，每个水平条区域图像具有共16*9+64+81＝289个特征维度，将N个水平条区域图像的颜色特征和纹理特征进行串联，得到预处理后的前景目标图像的全局特征，该全局特征具有共289*N个特征维度。

在实际应用中，最上和最小两个水平条区域图像基本为背景或阴影部分，因此，可重点从中间水平条区域图像中提取全局特征，该全局特征具有289*(N-2)个特征维度。

S12：对前景目标图像的全局特征进行降维处理，生成前景目标图像的图像目标向量；

如公式(3)所示，利用主成分分析法对具有多个特征维度的全局特征进行降维处理，

y＝M^T(x-mean) (3)

上式中，x表示待降维的m维特征向量，M表示主成分分析法训练得到的n*m维投影矩阵，mean表示主成分分析法训练得到的m维均值向量，y表示降维后得到的n(n＜m)维特征向量。

降维处理后，将三种颜色空间的直方图特征维度由16*9维降维至10维，颜色相关直方图特征维度由64*3维降维至10维，纹理特征维度由81*3维降维至15维，得到共10*4+15＝55维特征维度。

如图3所示，全局特征的多个颜色特征维度和多个纹理特征维度经过主成分分析法降维处理后，将得到的多个特征向量(y)进行级联，得到前景目标图像的图像特征向量。

S13：将前景目标图像的图像目标向量保存于数据库中。

图2是利用图1所示目标检索***进行目标检索的方法流程示意图，如图所示，本发明公开的基于全局特征和局部特征的跨镜头目标检索方法，包括：

S20：输入查询图像，提取该查询图像的特征信息；

该特征信息包括：具有多个特征维度的颜色特征向量和具有多个特征维度的纹理特征向量，并对颜色特征向量及纹理特征维度的多个特征维度进行降维处理，提取的颜色特征包括RGB颜色直方图、HSV颜色直方图、Lab颜色直方图、颜色相关直方图。

S21：根据查询图像的特征信息，对目标检索***中的前景目标图像的图像目标向量进行初次筛选；

S211：定义任意两幅图像关于一种特征向量的相似度计算公式：

公式(4)中，定义两个n维特征向量x_i和x_i，cov(x_i，x_j)为二者的协方差，σ为方差向量，i、j为特征向量序号。

S212：利用公式(4)分别计算查询图像与目标检索***中的任一前景目标图像，于相同特征向量上的特征相似度；

计算以下五种特征相似度：查询图像的RGB颜色直方图与任一前景目标图像的RGB颜色直方图的特征相似度、查询图像的HSV颜色直方图与任一前景目标图像的HSV颜色直方图的特征相似度、查询图像的Lab颜色直方图与任一前景目标图像的Lab颜色直方图的特征相似度、查询图像的颜色相关直方图与任一前景目标图像的颜色相关直方图的特征相似度、查询图像的纹理特征与任一前景目标图像的纹理特征相似度。

S213：利用RankSVM算法，计算查询图像与任一前景目标图像的整体特征相似度；

RankSVM算法的计算公式如下：

公式(5)中，q表示查询图像，g表示任一前景目标图像，q_i表示查询图像的某种特征向量，g_i表示前景目标图像的相应的特征向量；同一种特征之间采用公式(4)计算特征相似度，w_i为同种特征相似度对应的权值，由RankSVM算法训练得出。例如：q_i为查询图像的纹理特征向量，g_i为前景目标图像的纹理特征向量，s(q_i，g_i)为两个纹理特征向量之间的相似度，w_i为纹理特征向量对应的权值。

S214：进行初次筛选；

步骤S211中，当查询图像与任一前景目标图像，于同一特征向量上的特征相似度S(X，Y)大于一设定的初筛阈值时，前景目标图像初次筛选通过。

S22：对初次筛选通过的前景目标图像，进行二次筛选，得到查询结果图像。

S221：从初次筛选通过的前景目标图像的图像目标向量、以及查询图像中，分别提取具有特征点的局部特征信息；

该具有特征点的局部特征信息为SIFT特征。

S222：对局部特征信息提取SIFT(尺度不变特征转换)128维描述子，计算查询图像与前景目标图像的图像目标向量的局部特征相似度；

对具有特征点的局部特征信息提取SIFT128维描述子的方法是：构建尺度空间，检测极值点，获得尺度不变性；对极值点进行过滤并进行精确定位，剔除不稳定的特征点；在特征点处提取特征描述符，为特征点分配方向值；生成特征描述子，利用特征描述符寻找匹配点；以特征点为中心取16*16的邻域作为采样窗口，将采样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图，获得4*4*8＝128维特征描述子。

如公式(6)，计算查询图像的局部特征与前景目标图像的图像目标向量的局部特征的相似度，

式(6)中，X、Y分别表示查询图像的局部特征向量与前景目标图像的局部特征向量，M表示查询图像含有特征点的个数，表示查询图像中的第i个关键点，P^Y表示前景目标图像中特征点的集合，h(：)表示是否找到匹配点，公式如下：

式(7)中，p^X表示查询图像中某个特征点，P^Y表示前景目标图像中特征点的集合，ratio为设定的比率阈值，d₁为p^X在P^Y中的最近邻距离，d₂为p^X在P^Y中的次近邻距离，sgn(：)为符号函数。

其中，两个特征点的距离为欧氏距离。

S223：加权全局特征相似度和局部特征相似度，得到查询图像与前景目标图像的总相似度；

Similarity(X，Y)＝α₁S(X，Y)+α₂L(X，Y) (8)

式(8)中，α₁表示全局特征相似度S(X，Y)的权重，α₂表示局部特征相似度L(X，Y)的权重。

即，利用特征点特征向量的欧式距离，作为查询图像与前景目标图像中特征点的相似性判定度量，以查询图像的某个特征点为准，遍历所有前景目标图像的图像目标向量中距离最近的两个特征点，在这两个特征点中，如果次近距离除以最近距离小于设定的比率阙值，则判定为一对匹配点(如公式(7))，局部特征间的相似度为匹配点的数目与查询图像中特征点的数目的比率(如公式(6))。

S224：对查询图像与所有通过初次筛选的前景目标图像的总相似度进行排序，选择相似度高的前景目标图像作为查询结果图像。

本发明的基于全局特征和局部特征的跨镜头目标检索***及方法，从监控视频中获取前景目标图像，对前景目标图像进行预处理，从中提取具有若干特征维度的颜色特征、纹理特征等，降维处理后保存于数据库中形成目标检索***；利用该目标检索***检索查询图像时，首先提取查询图像的特征信息，与目标***中的前景目标图像进行全局特征的相似度计算，得到初次筛选结果，然后提取查询图像的局部特征信息，与通过初次筛选的前景目标图像进行局部特征的相似度计算，以全局特征和局部特征相似度高的前景目标图像作为查询结果图像。本发明能够提高跨镜头目标检索的识别准确度和识别性能。

以上所述是本发明的较佳实施例及其所运用的技术原理，对于本领域的技术人员来说，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案基础上的等效变换、简单替换等显而易见的改变，均属于本发明保护范围之内。

Claims (10)

1.基于全局特征和局部特征的跨镜头目标检索***，其特征在于，其建立方法为：

S10：从多个摄像头的监控视频中，获取包含活动目标的前景目标图像；

S11：从该包含活动目标的前景目标图像中提取具有多个特征维度的全局特征，该全局特征包括颜色特征和纹理特征；

S13：将该前景目标图像的全局特征保存于数据库中。

2.根据权利要求1所述的基于全局特征和局部特征的跨镜头目标检索***，其特征在于，所述步骤S11之后还包括：

S12：对所述前景目标图像的全局特征进行降维处理，生成前景目标图像的图像目标向量；

将该前景目标图像的图像目标向量保存于数据库中。

3.根据权利要求1或2所述的基于全局特征和局部特征的跨镜头目标检索***，其特征在于，所述步骤S11中，提取全局特征的方法是：

S111：对所述包含活动目标的前景目标图像进行预处理，包括对该前景目标图像进行颜色增强处理，然后进行归一化处理，将归一化处理后的前景目标图像从上到下均匀分成N个水平条区域图像；

S112：从预处理后的前景目标图像中提取具有多个特征维度的颜色特征；

S113：从预处理后的前景目标图像中提取具有多个特征维度的纹理特征。

4.根据权利要求2所述的基于全局特征和局部特征的跨镜头目标检索***，其特征在于，所述步骤S12中，利用主成分分析法，对所述前景目标图像的全局特征进行降维处理。

5.根据权利要求1所述的基于全局特征和局部特征的跨镜头目标检索***，其特征在于，所述步骤S10中，利用混合高斯模型对监控场景进行建模，从监控视频的每一帧图像中提取出若干前景掩膜图像，将前景掩膜图像与其对应的原始帧图像相重叠，生成彩色前景掩膜图像，利用连通域提取方法从该彩色前景掩膜图像中确定掩膜图像的外接矩形框，彩色前景掩膜图像中由矩形框确定的区域为所述前景目标图像。

6.基于权利要求1-5中任意一项权利要求所述的跨镜头目标检索***实现目标检索的方法，其特征在于，包括步骤：

S20：提取查询图像的特征信息，该特征信息包括具有多个特征维度的颜色特征向量和具有多个特征维度的纹理特征向量；

S21：根据该查询图像的特征信息，计算该特征信息与***中前景目标图像的图像目标向量的全局特征相似度，进行初次筛选，得到初次筛选通过的前景目标图像；

S22：从初次筛选通过的前景目标图像的图像目标向量、以及查询图像中，分别提取具有特征点的局部特征信息；

S23：根据所述局部特征信息，计算查询图像与前景目标图像的图像目标向量的局部特征相似度；

S24：加权该全局特征相似度和局部特征相似度，得到查询图像与前景目标图像的总相似度；

S25：对总相似度进行排序，从中确定查询结果图像。

7.根据权利要求6所述的基于全局特征和局部特征的跨镜头目标检索方法，其特征在于，所述步骤21中，计算全局特征相似度的方法是：

S211：定义任意两幅图像关于一种特征向量的相似度计算公式：

$S(x_i,x_j)=\frac{\mathrm{cov}(x_i,x_j)}{{\mathrm{\σ}}_{x_i}{\mathrm{\σ}}_{x_j}}---\left(4\right)$

公式(4)中，定义两个n维特征向量x_i和x_j，cov(x_i，x_j)为二者的协方差，σ为方差向量，i、i为特征向量的序号。

S212：利用公式(4)分别计算查询图像与***中任一前景目标图像，于每种特征向量上的特征相似度；

S213：利用RankSVM算法，计算查询图像与任一前景目标图像的整体特征相似度；

S214：利用设定的初筛阈值，对前景目标图像进行初次筛选。

8.根据权利要求7所述的基于全局特征和局部特征的跨镜头目标检索方法，其特征在于，所述步骤S212中，计算以下五种特征相似度：查询图像的RGB颜色直方图与任一前景目标图像的RGB颜色直方图的特征相似度、查询图像的HSV颜色直方图与任一前景目标图像的HSV颜色直方图的特征相似度、查询图像的Lab颜色直方图与任一前景目标图像的Lab颜色直方图的特征相似度、查询图像的颜色相关直方图与任一前景目标图像的颜色相关直方图的特征相似度、查询图像的纹理特征与任一前景目标图像的纹理特征相似度。

9.根据权利要求7所述的基于全局特征和局部特征的跨镜头目标检索方法，其特征在于，所述步骤213中，RankSVM算法的计算公式如下：

$Similarity1(q,g)=\underset{i=1}{\overset{4}{\Σ}}{w}_{i}s(q_i,g_i)---\left(5\right)$

公式(5)中，q表示查询图像，g表示任一前景目标图像，q_i表示查询图像的某种特征向量，g_i表示前景目标图像的相应的特征向量；w_i为同种特征相似度对应的权值，由RankSVM算法训练得出。

10.根据权利要求7所述的基于全局特征和局部特征的跨镜头目标检索方法，其特征在于，所述步骤23中，计算局部特征相似度的方法是：

如公式(6)，计算查询图像的局部特征与前景目标图像的图像目标向量的局部特征的相似度，

$L(X,Y)=\frac{\underset{i}{\overset{M}{\Σ}}h(p_i^X,P^Y)}{M}---\left(6\right)$

式(6)中，X、Y分别表示查询图像的局部特征向量与前景目标图像的局部特征向量，M表示查询图像含有特征点的个数，表示查询图像中的第i个关键点，P^Y表示前景目标图像中特征点的集合，h(：)表示是否找到匹配点，公式如下：

$h(p^X,P^Y)=\mathrm{sgn}(raito-\frac{d_1}{d_2})---\left(7\right)$

式(7)中，P^X表示查询图像中某个特征点，P^Y表示前景目标图像中特征点的集合，ratio为设定的比率阈值，d₁为P^X在P^Y中的最近邻距离，d₂为P^X在P^Y中的次近邻距离，sgn(：)为符号函数。