CN107563272B

CN107563272B - 一种无重叠视域监控***中目标匹配方法

Info

Publication number: CN107563272B
Application number: CN201710447010.3A
Authority: CN
Inventors: 赵高鹏; 沈玉鹏; 李双双; 刘天宇; 王超尘; 王建宇
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2017-06-14
Filing date: 2017-06-14
Publication date: 2023-06-20
Anticipated expiration: 2037-06-14
Also published as: CN107563272A

Abstract

本发明公开了一种无重叠视域监控***中目标匹配方法，包括以下步骤：1：建立视域A和视域B的背景模型；2：对视域A中行人目标进行跟踪，当目标即将离开视域A时，利用背景差分，分割出完整的行人目标I_A；3：提取行人目标的颜色名特征，作为目标的表现模型M_A；4：在视域B中进行行人目标的检测，利用背景差分，分割出可能的行人目标I_B；5：将行人目标I_A和I_B从RGB空间转到HSV空间，进行亮度校正；6：提取亮度校正后的I_B的颜色名特征，作为目标的表现模型M_B；7：确定监控网络的时空约束；8：由M_A、M_B及监控网络的时空约束构建最大后验概率问题；此方法对无重叠视域下光照变化、环境差异对目标匹配造成的影响具有较强的鲁棒性。

Description

一种无重叠视域监控***中目标匹配方法

技术领域

本发明属于计算机视觉领域，具体涉及视频监控技术领域，特别涉及一种无重叠视域监控***中目标匹配的方法。

背景技术

随着摄像机监控技术的发展，大量的监控摄像头被应用于各种公共场合，视频中的行人是我们重点监控对象之一。由于地理环境和成本的限制，使用摄像机覆盖所有的监控区域很不现实。因此，无重叠视域的摄像机联合监控在监控***中应用越来越多。不同时刻、不同摄像机中同一目标的正确识别，有利于理解目标在整个监控场景中的行为。但是，不同摄像机的姿态、观测方位的不同，使得目标在不同摄像机中的几何特征也有所不同。与其他特征相比，颜色特征对图像本身的尺寸、方向、视角的依赖性较小，具有较高的鲁棒性。但由于摄像机参数、光照条件的影响，目标在不同摄像机中呈现的亮度也会不一样，因此在采用颜色特征时，需要先校正亮度。同时需要考虑监控网络的拓扑结构，从而尽可能地提高无重叠视域下的目标匹配率。

亮度校正函数(Brightness Transfer Function,BTF)是一种颜色校正的方法，为目标的颜色特征在两摄像机之间的变化提供了一种转换模型。Javed O等人在《AppearanceModeling for Tracking in Multiple Non-Overlapping Cameras》中提出以目标作为媒介，建立摄像机监控场景间亮度映射关系的方法。因为同一目标在两个有着明暗差异的不同场景中，显示出的不同亮度特征，反映出的也是这两个场景的亮度差异。

在建立摄像机间的时空约束方面，Javed O等人在《Tracking Across MultipleNon-Overlapping Cameras》中使用Parzen窗和高斯核的混合概率密度估计器估计出无重叠的多个摄像头的拓扑结构和目标路径概率。Ellis等人在《Learning a Multi-Cameratopology》中利用大量的目标观测数据，通过非监督学习的方法，为一个多摄像机空间网络自动建立起摄像机之间的时间空间拓扑关系。但这些摄像机自动标定方法存在较大限制，在某些情况下无法得到或者结果不准确。

基于贝叶斯估计模型的方法被用来融合目标的表现模型的相似信息和监控网络的时空约束信息，从而实现无重叠视域下的目标匹配。如Huang等人在《ObjectIdentification in a Bayesian Context》中建立了一个贝叶斯估计框架来融合车辆出现和离开视域时的时间、位置、速度和目标车辆的颜色信息，从而来匹配识别高速公路上相邻两个摄像机检测到的车辆。

发明内容

本发明的目的：本发明在于提出一种无重叠视域监控***中目标匹配方法，首先通过调整图像HSV空间中V通道的像素值分布进行亮度校正；然后提取亮度校正后目标的颜色名特征作为目标的表现模型；接着在贝叶斯估计模型的框架下，融合目标的表现模型与监控网络的时空约束，构建最大后验概率问题；最终通过后验概率与阈值的比较来判决目标是否一致；此方法对无重叠视域下光照变化、环境差异对目标匹配造成的影响具有较强的鲁棒性。

本发明的具体实现步骤依次为：

一种无重叠视域监控***中目标匹配方法，包括以下步骤：

步骤1：建立视域A和视域B的背景模型；

步骤2：对视域A中行人目标进行跟踪，当目标即将离开视域A时，利用背景差分，分割出完整的行人目标I_A；

步骤3：提取行人目标的颜色名特征，作为目标的表现模型M_A；

步骤4：在视域B中进行行人目标的检测，利用背景差分，分割出可能的行人目标I_B；

步骤5：将行人目标I_A和I_B从RGB空间转到HSV空间，进行亮度校正；

步骤6：提取亮度校正后的I_B的颜色名特征，作为目标的表现模型M_B；

步骤7：确定监控网络的时空约束；

步骤8：由M_A、M_B及监控网络的时空约束构建最大后验概率问题，判决目标是否一致。

更进一步的，所述步骤1建立视域A和B的背景模型采用截取目标离开或进入视域的关键区域作为背景。

更进一步的，所述步骤2中对视域A中行人目标进行跟踪使用矩形框人工标定，利用DSST算法对目标行人进行跟踪。

更进一步的，所述步骤3提取行人目标的颜色名特征包括黑色、蓝色、棕色、灰色、绿色、橘色、粉红色、紫色、红色、白色和黄色。

更进一步的，所述步骤4中使用大津算法进行二值化得到二值图分割出完整的行人目标I_B。

更进一步的，所述步骤5将行人目标I_A和行人目标I_B从RGB空间转到HSV空间，包括以下步骤：

步骤5-1、将视域A和视域B中的行人目标I_A和I_B从RGB空间转到HSV空间，提取V通道；

步骤5-2、调整V通道像素值的高斯分布：

其中，s_v和t_v分别是源图像和目标图像V通道的像素值，

和/>

分别是源图像和目标图像的V通道的标准差，mean(s_v)和mean(t_v)分别是源图像和目标图像V通道的平均值，I_v是源图像亮度校正后V通道的像素值；

步骤5-3、将V通道校正后的HSV空间的图像重新转到RGB空间，从而达到亮度校正的目的。

更进一步的，所述步骤7确定监控网络的时空约束，包括以下步骤：

步骤7-1、利用事先手工标定的样本，提取目标从离开视域A到进入视域B的时间间隔，训练一个混合高斯模型：

p(t＝T|a＝b)＝π₁p(t＝T；μ₁,δ₁)+π₂p(t＝T；μ₂,δ₂)

其中，a是视域A中的目标，b是视域B中的目标；p(t＝T；μ₁,δ₁)是用来拟合速度较快行人的转移时间的高斯概率密度，μ₁是速度较快行人的平均转移时间，δ₁是速度较快行人转移时间的标准差，π₁是拟合速度较快的行人的高斯概率密度的权重；p(t＝T；μ₂,δ₂)是用来拟合速度较慢的行人的转移时间高斯概率密度，μ₂是速度较慢行人花费的平均转移时间，δ₂是速度较慢行人转移时间的标准差，π₂是拟合速度较慢的行人的高斯概率密度的权重；

步骤7-2、利用事先标定的样本，提取目标离开视域A的位置和目标进入视域B的位置，训练一个单高斯模型来拟合位置的变化情况：

p(d＝D|a＝b)＝p(d＝D；μ,δ)

其中，a是视域A中的目标，b是视域B中的目标；p(d＝D；μ,δ)是用来拟合位置变化的高斯概率密度，μ是视域A和视域B中的平均位置变化，δ是位置变化的标准差。

更进一步的，所述步骤8由M_A、M_B及监控网络的时空约束构建最大后验概率问题，包括以下步骤：

步骤8-1、由目标表现模型M_A、M_B及监控网络的时空约束构建最大后验概率问题：

其中，p(a＝b)为目标从视域A到视域B的转移概率，假设为均匀分布；

p(M_A,M_B；T；D)使用一个常数尺度因子表示，则：

p(a＝b|M_A,M_B；T；D)∝p(M_A,M_B；T；D|a＝b)

p(M_A,M_B；T；D|a＝b)取决于目标的表现模型概率p(M_A,M_B|a＝b)、时间转移概率p(t＝T|a＝b)和位置转移概率p(d＝D|a＝b)。假设这三个概率都是独立分布的，则：

p(M_A,M_B；T；D|a＝b)＝p(M_A,M_B|a＝b)×p(t＝T|a＝b)×p(d＝D|a＝b)

利用巴氏系数的平方来定义目标的表现模型概率；

p(d＝D|a＝b)＝p(d＝D；μ,δ)

此时目标的匹配问题归结为：给定视域A中的目标a，在视域B中的找到目标b^*，使得:

b^*＝argmax_b∈Bp(M_A,M_B；T；D|a＝b)

步骤8-2、通过设定阈值

来判决目标是否一致，当/>

时，认为a和b是同一目标。

更进一步的，所述速度较慢行人为行走速度小于行人平均行走速度，所述速度较快行人为行走速度大于行人平均行走速度。

有益效果：本发明方法简单明了，目标匹配速度块，匹配目标准确，能够适应不同光照环境以及不同的环境差异，可有效解决摄像机覆盖监控区域不全的问题。

附图说明

图1是本发明的无重叠视域监控***中目标匹配方法的流程图。

图2是本发明实施例中视域A、B的背景图。

图3是本发明实施例中目标在A中的最后一帧跟踪结果、目标二值图、目标分割图和目标颜色名图。

图4是本发明实施例中视域B中检测结果的目标二值图，目标分割图、未经过亮度校正的目标颜色名图和经过亮度校正的目标颜色名图。

图5是本发明实施例中视域B中检测结果的前5帧与视域A中的目标是同一目标的后验概率。

具体实施方式

本发明无重叠视域监控***中目标匹配方法，包括以下步骤：

步骤1、建立视域A和视域B的背景模型；为了减少背景模型建立的计算量，截取目标离开或进入视域的关键区域作为背景，如图2所示；

步骤2、对监控视域A中需要跟踪的目标使用矩形框人工标定，利用DSST(Discriminative Scale Space Tracker)算法对目标行人进行跟踪。当包围目标的矩形框某一边到达视频帧边界时，认为是目标在视域A中的最后一帧。使用背景差分法和大津算法，得到包含目标的二值图，根据二值图分割出完整行人目标I_A，图3从左往右分别是目标在视域A中的最后一帧、目标的二值图、目标的分割图以及目标的颜色名图；

步骤3、利用颜色名(Color Name,CN)特征，将所有像素点归纳为11个颜色语义标签：黑色(black)，蓝色(blue)，棕色(brown)，灰色(gray)，绿色(green)，橘色(orange)，粉红色(pink)，紫色(purple)，红色(red)，白色(white)，黄色(yellow)。给行人目标I_A中的每一个像素分配一个颜色标签，如图3所示。将行人目标的所有像素映射成11维的颜色名向量，并归一化，得到归一化的颜色名直方图作为目标表现模型M_A；

步骤4、利用背景差分法，在视域B中进行目标检测，并使用大津算法进行二值化，根据二值图分割出完整的行人目标I_B，图4(a)(b)(c)三个子图分别是视域B中检测出的候选目标，图(a)(b)(c)从左往右分别是候选目标在视域B中的检测结果、候选目标的二值图、候选目标的分割图以及候选目标的颜色名图；

步骤5、将I_A，I_B从RGB空间转到HSV空间，进行亮度校正。步骤5具体包括：

步骤5-1、将监控视域A和视域B中的行人目标I_A和I_B从RGB空间转到HSV空间，提取V通道；

步骤5-2、调整V通道像素值的高斯分布：

其中，s_v，t_v分别是源图像和目标图像V通道的像素值，

分别是源图像和目标图像的V通道的标准差，mean(s_v),mean(t_v)分别是源图像和目标图像V通道的平均值，I_v是源图像亮度校正后V通道的像素值；

步骤5-3、将V通道校正后的HSV空间的图像重新转到RGB空间，从而达到亮度校正的目的，如图4所示；

步骤6、利用颜色名特征，给检测到目标I_B中的每一个像素分配一个颜色标签，如图4所示，从而将目标的所有像素映射成11维的颜色名向量，归一化颜色名向量，得到归一化的颜色名直方图作为目标表现模型M_B；

步骤7、确定监控网络的时空约束。步骤7具体包括：

p(t＝T|a＝b)＝π₁p(t＝T；μ₁,δ₁)+π₂p(t＝T；μ₂,δ₂)

其中，a是视域A中的目标，b是视域B中的目标；p(t＝T；μ₁,δ₁)是用来拟合速度较快行人的转移时间的高斯概率密度，μ₁是速度较快行人的平均转移时间，δ₁是速度较快行人转移时间的标准差，π₁是拟合速度较快的行人的高斯概率密度的权重；p(t＝T；μ₂,δ₂)是用来拟合速度较慢的行人的转移时间高斯概率密度，μ₂是速度较慢行人花费的平均转移时间，δ₂是速度较慢行人转移时间的标准差，π₂是拟合速度较慢的行人的高斯概率密度的权重。由于行人速度有快有慢，使用双高斯混合模型拟合转移时间要比单高斯模型更加准确；

p(d＝D|a＝b)＝p(d＝D；μ,δ)

其中，a是视域A中的目标，b是视域B中的目标；p(d＝D；μ,δ)是用来拟合位置变化的高斯概率密度，μ是视域A和视域B中的平均位置变化，δ是位置变化的标准差；

步骤8、由M_A、M_B及监控网络的时空约束构建最大后验概率问题，判决目标是否一致。步骤8具体包括：

其中，p(a＝b)为目标从视域A到视域B的转移概率，假设为均为分布；p(M_A,M_B；T；D)使用一个常数尺度因子表示，则：

p(a＝b|M_A,M_B；T；D)∝p(M_A,M_B；T；D|a＝b)

p(M_A,M_B；T；D|a＝b)＝p(M_A,M_B|a＝b)×p(t＝T|a＝b)×p(d＝D|a＝b)

巴氏系数(Bhattacharyya Coefficient)可以来衡量两个离散概率分布的相似度，利用巴氏系数的平方来定义目标的表现模型概率。之所以选择巴氏系数的平方而不是巴氏系数本身，是为了增强表现模型在后验概率中的影响。

p(M_A,M_B|a＝b)＝BC(M_A,M_B)²

利用步骤7-1中训练的混合高斯模型来衡量时间转移概率：

p(t＝T|a＝b)＝π₁p(t＝T；μ₁,δ₁)+π₂p(t＝T；μ₂,δ₂)

利用步骤7-2中训练的单高斯模型来衡量位置转移概率：

p(d＝D|a＝b)＝p(d＝D；μ,δ)

b^*＝argmax_b∈Bp(M_A,M_B；T；D|a＝b)

步骤8-2、通过设定阈值

来判决目标是否一致，当/>

时，认为a和b是同一目标。

实施例：

为了对本发明算法的有效性进行说明，完成无重叠视域监控***中目标匹配的实验如下：

(1)实验数据及参数设置

测试数据集采用的是NLPR_MCT公开数据集中Dataset 1:Three-camera networkwith non-overlapping views数据集里包含的Cam1和Cam2的序列。

在其中选取40个从Cam1走向Cam2的行人作为训练样本，训练得到的时间转移概率为：

位置转移概率为：

选取阈值T＝10^-5，若p(M_A,M_B；T；D|a＝b)>T，则认为目标一致。选定Cam1中的目标4(目标的序号在数据集annotation文件夹中有说明)为匹配目标，在Cam2中识别对应目标。

(2)实验结果分析

图5是Cam2中检测到的目标与Cam1中选定的目标(目标4)是同一目标的后验概率，计算Cam2中检测到的每个目标与选定目标是同一目标的后验概率(计算前5帧的后验概率)。从图5中可以看出，当阈值T＝10^-5能准确地实现目标的再匹配。

Claims

1.一种无重叠视域监控***中目标匹配方法，包括以下步骤：

步骤1：建立视域A和视域B的背景模型；

步骤5：将行人目标I_A和I_B从RGB空间转到HSV空间，进行亮度校正，具体包括步骤：

步骤5-2、调整V通道像素值的高斯分布：

其中，s_v和t_v分别是源图像和目标图像V通道的像素值，

和/>

步骤5-3、将V通道校正后的HSV空间的图像重新转到RGB空间，从而达到亮度校正的目的；

步骤7：确定监控网络的时空约束，具体包括步骤：

p(t＝T|a＝b)＝π₁p(t＝f；μ₁，δ₁)+π₂p(t＝T；μ₂，δ₂)

其中，a是视域A中的目标，b是视域B中的目标；p(t＝T；μ₁，δ₁)是用来拟合速度较快行人的转移时间的高斯概率密度，μ₁是速度较快行人的平均转移时间，δ₁是速度较快行人转移时间的标准差，π₁是拟合速度较快的行人的高斯概率密度的权重；p(t＝T；μ₂，δ₂)是用来拟合速度较慢的行人的转移时间高斯概率密度，μ₂是速度较慢行人花费的平均转移时间，δ₂是速度较慢行人转移时间的标准差，π₂是拟合速度较慢的行人的高斯概率密度的权重；

p(d＝D|a＝b)＝p(d＝D；μ，δ)

其中，a是视域A中的目标，b是视域B中的目标；p(d＝D；μ，δ)是用来拟合位置变化的高斯概率密度，μ是视域A和视域B中的平均位置变化，δ是位置变化的标准差；

步骤8：由M_A、M_B及监控网络的时空约束构建最大后验概率问题，判决目标是否一致，具体包括步骤：

其中，p(a＝b)为目标从视域A到视域B的转移概率，假设为均匀分布；p(M_A，M_B；T；D)使用一个常数尺度因子表示，则：

p(a＝b|M_A，M_B；T；D)∝p(M_A，M_B；T；D|a＝b)

p(M_A，M_B；T；D|a＝b)取决于目标的表现模型概率p(M_A，M_B|a＝b)、时间转移概率p(t＝T|a＝b)和位置转移概率p(d＝D|a＝b)；假设这三个概率都是独立分布的，则：

p(M_A，M_B；T；D|a＝b)＝p(M_A，M_B|a＝b)×p(t＝T|a＝b)×p(d＝D|a＝b)

利用巴氏系数的平方来定义目标，

此时目标的匹配问题归结为：给定视域A中的目标a，在视域B中找到目标b^*，使得：

b^*＝argmax_b∈Bp(M_A，M_B；T；D|a＝b)

步骤8-2、通过设定阈值

来判决目标是否一致，当/>

时，认为a和b是同一目标。

2.根据权利要求1所述的一种无重叠视域监控***中目标匹配方法，其特征在于，所述步骤1建立视域A和B的背景模型采用截取目标离开或进入视域的关键区域作为背景。

3.根据权利要求1所述的一种无重叠视域监控***中目标匹配方法，其特征在于，所述步骤2中对视域A中行人目标进行跟踪使用矩形框人工标定，利用DSST算法对目标行人进行跟踪。

4.根据权利要求1所述的一种无重叠视域监控***中目标匹配方法，其特征在于，所述步骤3提取行人目标的颜色名特征包括黑色、蓝色、棕色、灰色、绿色、橘色、粉红色、紫色、红色、白色和黄色。

5.根据权利要求1所述的一种无重叠视域监控***中目标匹配方法，其特征在于，所述步骤4中使用大津算法进行二值化得到二值图分割出完整的行人目标I_B。

6.根据权利要求1所述的一种无重叠视域监控***中目标匹配方法，其特征在于，所述速度较慢行人为行走速度小于行人平均行走速度，所述速度较快行人为行走速度大于行人平均行走速度。