CN102819847A - 基于ptz移动摄像头的运动轨迹提取方法 - Google Patents

Abstract

本发明提供一种基于PTZ移动摄像头的运动轨迹提取方法，通过PTZ移动摄像头和行人检测程序将目标对象检测出来，移动摄像头将转过相应的角度从而使目标对象始终处于摄像头捕捉图像的中部位置，保持对目标对象的跟踪。基于目标对象的大小信息以及PTZ移动摄像头的角度变化的信息，可以计算出当前这帧图像中的目标对象在当前坐标系中的位置，继而求出目标对象在总坐标系中的坐标，也就是全局环境中的位置。最后通过滤波函数将不可靠的数据点除去，将正确的位置点连接为全局环境的运动轨迹。本发明的方法精度高，速度快，对运动轨迹提取效果要优于现有的方法。

Description

基于PTZ移动摄像头的运动轨迹提取方法

技术领域

本发明涉及的是一种图像处理分析技术领域的方法，具体是一种基于PTZ移动摄像头的运动轨迹提取方法。

背景技术

近年来，随着图像分析技术、心理学、侦查学等领域的迅速发展，以及公共安全日益重要，异常行为识别技术的应用受到关注，在智能交通***、运动分析和公共场所监控***中都有应用。对行人目标的运动轨迹提取是异常行为识别的重要组成部分，常用的运动轨迹提取方法是基于单个固定摄像头或者多个摄像头阵列的。

对于大范围场景中的运动轨迹提取常常采用摄像头阵列。比如：Emanuel E.Zelniker等人在《The Eighth International Workshop on Visual Surveillance-VS2008，Marseille：France》(第八届国际视觉监控研讨会)发表的“Global Abnormal Behaviour Detection Using a Network ofCCTV Cameras”（利用闭路电视网络全局异常行为的检测）论文中提出的通过摄像头阵列捕捉并合成目标对象的全局环境运动轨迹。为了获得全局运动轨迹，需要将每个摄像头捕捉到的轨迹连接，其难点在于匹配不同摄像头中的相同目标对象，因为在不同摄像头中目标对象的背景不同，对应图像的颜色柱状图差异很大，同时可能会在不同摄像头中有不同物体颜色柱状图比较相似。通过构建了一个图，图中每个结点代表一个轨迹，轨迹的开始与结束是已知的。那么，如果两个摄像头中的不同轨迹随时间变化的特征相似，那么可能这两条轨迹是同一个目标对象的。

一般而言，基于摄像头阵列的运动轨迹提取方法需要准确的排布摄像头阵列才能到达较好的跟踪结果。对于全局环境比较大而摄像头数量有限的情况，这种方法并不适用，然而可以使用移动摄像头解决。理论上，使用单个移动摄像头就能捕捉目标对象在全局环境中的运动，提取出全局环境的运动轨迹，然而摄像头的移动会引入机械误差，并且提高了摄像头标定的难度。

发明内容

本发明针对现有方法存在的上述不足，提出了一种基于PTZ移动摄像头的运动轨迹提取方法。考虑到在跟踪过程中，被检测的目标对象的大小以及PTZ移动摄像头的角度的变化是可以获知的，如果发明人能够基于这些动态信息提取出目标在全局环境中的运动轨迹。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步、通过PTZ移动摄像头将目标对象检测出来；基于被检测到的目标对象，PTZ移动摄像头将转过相应的角度从而使目标对象始终处于摄像头捕捉图像的中部位置；通过这种方式，使得PTZ移动摄像头能够一直保持对目标对象的跟踪；

第二步、基于目标对象的大小信息以及PTZ移动摄像头的角度变化的信息，计算出当前这帧图像中的目标对象在当前坐标系中的位置；

第三步、由当前坐标系中的坐标位置以及不同坐标系间的变换关系，求出目标对象在总坐标系中的坐标，也就是全局环境中的位置；

第四步、通过滤波函数将不可靠的数据点除去，将正确的位置点连接为全局环境的运动轨迹。

优选地，在所述第一步中：PTZ移动摄像头所需转过的角度根据目标对象在图像中的位置确定，其中，通过固定PTZ移动摄像头的转动速度、控制PTZ移动摄像头的转动时间来精确地控制摄像头的转动角度。

优选地，在所述第二步中：根据摄像头标定的原理，得到图像中的目标对象二维坐标与全局环境中的世界坐标之间的变换关系：

其中，（i_x，i_y）是图像平面坐标，(W_x,W_y,W_z)是全局环境中的世界坐标，参数f指代PTZ移动摄像头的聚焦长度，以像素为单位，φ是摄像头俯视角。摄像头高度h是已知的，摄像头俯视角φ是可知的，焦距f是未知的。

优选地，所述的图像中的目标对象二维坐标与全局环境中的世界坐标之间的变换关系，具体地为：

将图像中的目标对象的底部中心坐标（i_x，i_y）和顶部中心坐标（i_x+△i_x，i_y+h₁），以及对应的目标对象在全局环境中的世界坐标（W_x,W_y，0）以及（W_x，W_y，h₀）代入联立求解，能够求解得到目标对象在当前坐标系中的坐标：

其中，h₁是目标对象在图像中的高度，以像素为单位，在计算中使用估测的目标对象平均高度h₀。

优选地，在所述第三步中：

PTZ移动摄像头的每次转动将在地面上产生一个新的坐标系k；坐标系k的原点在摄像头视线与地面的交点处，坐标系k的x轴方向与摄像头视线对地面的垂直投影方向相同，坐标系k的x轴方向与坐标系k的y轴方向在地平面内相互垂直。

针对行人所在的地面是水平的情况，也就是目标对象的世界坐标的z_k为0，那么世界坐标就能简化为二维坐标；

在k时刻，摄像头视线与地平面的交点就是k坐标系的原点；摄像头与k坐标系原点的水平距离就是h/tanφ_k；h是摄像头的高度，φ_k是摄像头的俯视角；根据目标对象在图像中的位置，计算出目标对象的世界坐标P_k（w_xk，w_yk）；其中，跟踪方式是先图像处理检测到目标对象，然后摄像头转动跟踪对象，如此反复；人员控制摄像头转动，使摄像头实现与地平面的交点变成P_k（w_xk，w_yk），如果k时刻至（k+1）时刻间行人目标没有移动，那么此时行人的脚将处于画面的中央；如果k时刻至（k+1）时刻间行人目标移动了，那么此时行人不会在画面中央，摄像头对准的始终是前一帧目标对象脚的位置，即时间上滞后1帧；

（k+1）时刻的坐标原点是转动后的摄像头视线与地平面的交点，也就是P_k（w_xk，w_yk）；θ是摄像头水平转过的角度，φ_k+1是摄像头转动后的绝对俯视角；摄像头与（k+1）坐标系原点的水平距离就是h/tanφ_k+1；再一次图像处理后，将得到目标对象的新的世界坐标P_k+1（w_x(k+1)，w_y(k+1)），之后的变换过程与之前相同。

优选地，通过提取出的相邻坐标系的变换关系，能够计算目标对象在全局坐标系的位置，具体地为：

计算出P_k（w_xk，w_yk）；目标对象的世界坐标与PTZ移动摄像头的直线距离可以表示为：

PTZ移动摄像头需要转动的角度△θ_i由以下公式确定：

最后，世界坐标就能简化为二维坐标（x_k，y_k），它们可以由下式计算得到：

此外，俯视角

由以下公式得到：

其中

是初试时刻摄像头的俯视角，

是相邻时刻间摄像头垂直移动的角度。

优选地，在所述第四步中：具体地为，使用Kalman滤波，若估计值和观测值相差过大，则将该数据认定为是不可靠的，将不可靠的世界坐标数据去出，将其余的数据点连结为运动轨迹。

本发明的原理是，由于摄像头随着目标对象的运动而转动，目标对象在全局环境中的位置与其在摄像头图像中的大小以及摄像头转动的角度间存在对应的变换关系。通过利用摄像头的转动信息和图像中的目标行人信息，并根据摄像头标定的原理，求得目标对象在当前坐标系中的坐标，再根据相邻坐标系间的转换关系，求出行人目标在全局环境中的位置，将可信度高的位置点连接从而提取出运动轨迹。

与现有技术相比，本发明的使用移动摄像头捕捉目标对象在全局环境中的运动，提取出全局环境的运动轨迹，利用摄像头的转动信息和图像中的目标行人信息，额外复杂度低，实时性好，灵活性高。

附图说明

图1是根据本发明提供的基于PTZ移动摄像头的运动轨迹提取方法的框架图。

图2是摄像头侧视图。

图3是摄像头图像中的行人目标信息。

图4是坐标系关系图。

图5是全局环境轨迹平面图。

图6是全局环境轨迹正视图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施例包括以下步骤：

第一步、通过PTZ移动摄像头和行人检测方法将目标对象检测出来。基于被检测到的目标对象，PTZ移动摄像头将转过相应的角度从而使目标对象始终处于摄像头捕捉图像的中部位置。通过这种方式，PTZ移动摄像头能够一直保持对目标对象的跟踪。

在本实施例中，优选地使用基于轮廓的行人检测方法实现对行人目标的检测，使用改进的粒子滤波算法，在每帧画面中保持对目标对象的跟踪。

PTZ移动摄像头所需移动的角度根据行人目标在图像中的位置确定，固定摄像头的转动速度，控制摄像头的转动时间，就可以比较精确地控制摄像头的转动角度。

第二步、基于目标对象的大小信息（一般行人在图像中的大小差别对计算结果影响较小）以及PTZ移动摄像头的角度变化的信息，可以计算出当前这帧图像中的目标对象在当前坐标系中的位置。

根据摄像头标定的原理，可以得到图像中的行人目标二维坐标与全局环境中的世界坐标之间的变换关系：

其中，（i_x，i_y）是图像平面坐标，(W_x，W_y，W_z)是全局环境中的世界坐标，参数f指代PTZ移动摄像头的聚焦长度，以像素（pixel）为单位，φ是摄像头俯视角。摄像头高度h是已知的，摄像头俯视角φ是可知的，焦距f是未知的。

如图3所示，将图像中的目标行人的底部中心坐标（i_x，i_y）和顶部中心坐标为（i_x+Δi_x，i_y+h₁），以及对应的目标对象在全局环境中的世界坐标（w_x，w_y，0）以及（w_x，w_y，h₀）代入联立求解（h₁是目标对象在图像中的高度，以像素为单位，在计算中使用估测的行人平均身高h₀，本实例中为1.75m），可以求解得到目标行人在当前坐标系中的坐标：

第三步、由当前坐标系中的坐标位置以及不同坐标系间的变换关系，求出目标对象在总坐标系中的坐标，也就是全局环境中的位置。

PTZ移动摄像头的每次转动将在地面上产生一个新的坐标系k。坐标系k的原点在PTZ移动摄像头视线与地面的交点处，坐标系k的x轴方向与PTZ移动摄像头视线对地面的垂直投影方向相同，坐标系k的x轴方向与坐标系k的y轴方向在地平面内相互垂直。

如果发明人进一步假设行人所在的地面是水平的，也就是目标对象的世界坐标的z_k为0，那么世界坐标就能简化为二维坐标。

如图4所示，在k时刻，PTZ移动摄像头视线与地平面的交点就是k坐标系的原点。PTZ移动摄像头与k坐标系原点的水平距离就是h/tanφ_k。h是摄像头的高度，φ_k是摄像头的俯视角。根据目标对象在图像中的位置，发明人可以计算出目标对象的世界坐标P_k（w_xk，w_yk）。发明人的跟踪方式是先图像处理检测到目标对象，然后PTZ移动摄像头转动跟踪对象，如此反复。发明人控制PTZ移动摄像头转动，使PTZ移动摄像头实现与地平面的交点变成P_k（w_xk，w_yk），如果k时刻至（k+1）时刻间行人目标没有移动，那么此时行人的脚将处于画面的中央。如果k时刻至（k+1）时刻间行人目标移动了，那么此时行人不会在画面中央，摄像头对准的始终是前一帧目标对象脚的位置，即时间上滞后1帧。

（k+1）时刻的坐标原点是转动后的PTZ移动摄像头视线与地平面的交点，也就是P_k（w_xk，w_yk）。图4中的θ是PTZ移动摄像头水平转过的角度，φ_k+1是PTZ移动摄像头转动后的绝对俯视角。PTZ移动摄像头与（k+1）坐标系原点的水平距离就是h/tanφ_k+1。再一次图像处理后，发明人将得到目标对象的新的世界坐标P_k+1（w_x(k+1)，w_y(k+1)），之后的变换过程与之前相同。下面发明人介绍P_k（w_xk，w_yk）的计算方法。本实例中，h是12m。

通过第二步的结果，可以计算出P_k（w_xk，w_yk）。目标对象的世界坐标与PTZ移动摄像头的直线距离可以表示为：

PTZ移动摄像头需要转动的角度Δθ_i由以下公式确定：

最后，世界坐标就能简化为二维坐标（x_k，y_k），它们可以由下式计算得到：

此外，俯视角φ_k由以下公式得到：

其中φ₀是初试时刻PTZ移动摄像头的俯视角，△φ_i是相邻时刻间PTZ移动摄像头垂直移动的角度。

第四步、通过滤波函数将不可靠的数据点除去，将正确的位置点连接为全局环境的运动轨迹。

在本实例中使用Kalman滤波，当估计值和观测值相差过大时该数据被认为是不可靠的，将不可靠的世界坐标数据去出，将其余的数据点连结为运动轨迹。

实施效果

依据上述步骤，发明人使用一个型号为MG-TK 3518的PTZ移动摄像头用于跟踪使用，同时记录了400组跟踪视频。对于每一个行为样本，发明人手动标定了目标行人对象的全局运动轨迹的真实数据（ground truth），用于衡量本发明的方法提取全局运动轨迹的准确性。所有试验均在PC计算机上实现，该PC计算机的主要参数为：中央处理器Intel(R)Core(TM)2Duo CPU E75002.93GHz，内存2GB。

结果显示，本实施例的准确率达到94.2％，对每帧图像的平均处理时间为39.0ms。相比较为常用的预先标点方法精度更高，速度略快。在处理速度上，比兴趣点匹配这种高精度方法快很多。

Claims (7)

1.一种基于PTZ移动摄像头的运动轨迹提取方法，其特征在于，包括以下步骤：

第一步、通过PTZ移动摄像头将目标对象检测出来；基于被检测到的目标对象，PTZ移动摄像头将转过相应的角度从而使目标对象始终处于摄像头捕捉图像的中部位置；通过这种方式，使得PTZ移动摄像头能够一直保持对目标对象的跟踪；

第二步、基于目标对象的大小信息以及PTZ移动摄像头的角度变化的信息，计算出当前这帧图像中的目标对象在当前坐标系中的位置；

第三步、由当前坐标系中的坐标位置以及不同坐标系间的变换关系，求出目标对象在总坐标系中的坐标，也就是全局环境中的位置；

第四步、通过滤波函数将不可靠的数据点除去，将正确的位置点连接为全局环境的运动轨迹。

2.根据权利要求1所述的基于PTZ移动摄像头的运动轨迹提取方法，其特征在于，在所述第一步中：

PTZ移动摄像头所需转过的角度根据目标对象在图像中的位置确定，其中，通过固定PTZ移动摄像头的转动速度、控制PTZ移动摄像头的转动时间来精确地控制摄像头的转动角度。

3.根据权利要求1所述的基于PTZ移动摄像头的运动轨迹提取方法，其特征在于，在所述第二步中：

根据摄像头标定的原理，得到图像中的目标对象二维坐标与全局环境中的世界坐标之间的变换关系：

其中，（i_x，i_y）是图像平面坐标，(W_x,W_y,W_z)是全局环境中的世界坐标，参数f指代PTZ移动摄像头的聚焦长度，以像素为单位，φ是摄像头俯视角；摄像头高度h是已知的，摄像头俯视角φ是可知的，焦距f是未知的。

4.根据权利要求3所述的基于PTZ移动摄像头的运动轨迹提取方法，其特征在于，所述的图像中的目标对象二维坐标与全局环境中的世界坐标之间的变换关系，具体地为：

将图像中的目标对象的底部中心坐标（i_x，i_y）和顶部中心坐标（i_x+△i_x，i_y+h₁），以及对应的目标对象在全局环境中的世界坐标（W_x,W_y，0）以及（W_x,W_y，h₀）代入联立求解，能够求解得到目标对象在当前坐标系中的坐标：

其中，h₁是目标对象在图像中的高度，以像素为单位，在计算中使用估测的目标对象平均高度h₀。

5.根据权利要求1所述的基于PTZ移动摄像头的运动轨迹提取方法，其特征在于，在所述第三步中：

PTZ移动摄像头的每次转动将在地面上产生一个新的坐标系k；坐标系k的原点在摄像头视线与地面的交点处，坐标系k的x轴方向与摄像头视线对地面的垂直投影方向相同，坐标系k的x轴方向与坐标系k的y轴方向在地平面内相互垂直；

针对行人所在的地面是水平的情况，也就是目标对象的世界坐标的z_k为0，那么世界坐标就能简化为二维坐标；

在k时刻，摄像头视线与地平面的交点就是k坐标系的原点；摄像头与k坐标系原点的水平距离就是h/tanφ_k；h是摄像头的高度，φ_k是摄像头的俯视角；根据目标对象在图像中的位置，计算出目标对象的世界坐标P_k（w_xk，w_yk）；其中，跟踪方式是先图像处理检测到目标对象，然后摄像头转动跟踪对象，如此反复；控制摄像头转动，使摄像头实现与地平面的交点变成P_k（w_xk，w_yk），如果k时刻至（k+1）时刻间行人目标没有移动，那么此时行人的脚将处于画面的中央；如果k时刻至（k+1）时刻间行人目标移动了，那么此时行人不会在画面中央，摄像头对准的始终是前一帧目标对象脚的位置，即时间上滞后1帧；

（k+1）时刻的坐标原点是转动后的摄像头视线与地平面的交点，也就是P_k（w_xk，w_yk）；θ是摄像头水平转过的角度，φ_k+1是摄像头转动后的绝对俯视角；摄像头与（k+1）坐标系原点的水平距离就是h/tanφ_k+1；再一次图像处理后，将得到目标对象的新的世界坐标P_k+1（w_x(k+1)，w_y(k+1)），之后的变换过程与之前相同。

6.根据权利要求5所述的基于PTZ移动摄像头的运动轨迹提取方法，其特征在于，通过提取出的相邻坐标系的变换关系，能够计算目标对象在全局坐标系的位置，具体地为：

计算出P_k（w_xk，w_yk）；目标对象的世界坐标与PTZ移动摄像头的直线距离可以表示为：

PTZ移动摄像头需要转动的角度Δθ_i由以下公式确定：

最后，世界坐标就能简化为二维坐标（x_k，y_k），它们可以由下式计算得到：

此外，俯视角

由以下公式得到：

其中

是初试时刻摄像头的俯视角，

是相邻时刻间摄像头垂直移动的角度。

7.根据权利要求1所述的基于PTZ移动摄像头的运动轨迹提取方法，其特征在于，在所述第四步中：

具体地为，使用Kalman滤波，若估计值和观测值相差过大，则将该数据认定为是不可靠的，将不可靠的世界坐标数据去出，将其余的数据点连结为运动轨迹。

Images