CN105933678B - 基于多目标智能跟踪的多焦距镜头联动成像装置 - Google Patents

Abstract

本发明提供一种基于多目标智能跟踪的多焦距镜头联动成像装置，该装置通过使用多焦距镜头对大范围区域同时进行监控，采集得到的超高分辨率图像横向视场角大于90°，从而使得该装置能够在大范围场景监控中实现无死角全覆盖，并在距装置130m范围内，采集影像的像素密度大于125像素/米，使得整个监控图像的像素达到了一亿以上。

Description

基于多目标智能跟踪的多焦距镜头联动成像装置

技术领域

本发明涉及图像成像技术领域，具体的涉及一种基于多目标智能跟踪的多焦距镜头联动成像装置。

背景技术

目前，在政府广场、大型停车场、机场候车厅、车站候车厅等大范围区域的视频监控方案中，现有监控方案主要采用多台枪机和高速球相配合进行监控。现有的长焦镜头枪机视野范围有限；而安装短焦镜头的枪机，对于远处的目标则仅能获得像素不足的目标图像；另一方面，高速球的观察范围有限，不能同时兼顾整个场景和局部同时得到具有准确对应关系的局部放大和全貌图像，使用时会存在盲区。对于用户来说，当采用现有的监控方案时,还需在多台摄像机的图像之间进行切换，才能进行监控，非常不方便，降低了监控效率，增加了监控难度。

常用的去噪算法有均值滤波算法和中值滤波算法，以及各类在前述算法基础上改进得到的算法。中值滤波算法的基本原理是在在尽可能地保护信号原有特征的同时滤除掉其中噪声的一种处理方法，该方法得到了较广泛的应用。中值滤波算法的基本原理是把数字图像中每一像素点的值设置为该点某邻域窗口内所有像素点值的中值，根据所处理噪声的特点，使得所设置窗口中的中值点一般不为噪声点，从而达到抑制噪声的目的。

现有的中值滤波算法包括以下步骤：

设a_m,n为所处理视频流中图像在(m,n)处的像素值，Z是一个(2N+1)×(2N+1)的滤波窗口：

由以上公式得到以a_(m,n)为中心的4个子窗口的中值，然后再由以下公式对4个中值取最大值，作为窗口的滤波值：

y(m,n)＝max[Z₁(m,n),Z₂(m,n),Z₃(m,n),Z₄(m,n)]

上式所示的中值算法保留了信号的几何特性，结合图像所有一维的特性进行二维估计，保留了二维图像的一维特性，但所得结果本质上不对称，对噪声比较密集的区域，抑制噪声能力有限。

发明内容

本发明的目的在于提供一种基于多目标智能跟踪的多焦距镜头联动成像装置，该发明解决了现有技术中对于大范围区域进行实时监控时，仅依靠一套监控装置难以兼顾远景目标清晰成像和整个场景全覆盖监控的限制；以及摄像机云台装置在近景成像和远景成像不断切换时造成的监控遗漏；现有中值滤波算法对噪声密集区域滤波效果不好的技术问题。

本发明提供一种基于多目标智能跟踪的多焦距镜头联动成像装置，包括：

视频采集模块，用于获取监控区域的实时图像信息，设置于监控区域附近，包括至少一个用于采集低分辨率的监控区域场景概貌图像信息的概貌采集单元和至少十个用于采集监控区域中目标物的细节图像信息的细节采集单元，

细节采集单元的各镜头焦距不同，；

存储模块，用于存储视频采集模块获取的图像信息；

视频管理模块，用于对场景概貌图像和细节图像进行空间配准，并根据空间配准信息对概貌采集单元和细节采集单元所获取的图像进行协同联动预览和回放；

视频管理模块中包括空间配准模块，空间配准模块用以实现概貌采集单元和细节采集单元之间的空间配准，获得两者之间的映射关系，空间配准模块通过空间配准方法实现概貌采集单元和细节采集单元所得图像的空间配准；

空间配准方法包括以下步骤：

(1)分别建立各单镜头单元的采集图像坐标系X_pY_pO_p，同时采用球型模型建立空间坐标系X_sY_sZ_sO_s，以单镜头单元的左方为X_p轴正方向，下方为Y_p轴正方向，空间坐标系X_sY_sZ_sO_s的X_s轴正方向与X_p轴正方向相反，Y_s轴正方向与Y_p轴正方向相反，前方为Z_p轴正方向；

取以空间坐标系X_sY_sZ_sO_s的原点为球心半径为1的球面上的一点m_s，m_s的奇次坐标为(x_s,y_s,z_s,1)^T，m_p点为m_s点在采集图像坐标系X_pY_pO_p上的成像点，其奇次坐标为m_p＝(x_p,y_p,1)^T，空间坐标中的点m_s到采集图像坐标系上点m_p的对应关系表示为：

m_p＝K(R,0)m_s＝(KR,0)m_s＝Pm_s (1)

其中，矩阵P＝K(R,0)通常称为摄像机矩阵，是摄像机的内参数矩阵，f_x＝f/d_x，f_y＝f/d_y，分别称为X_p轴和Y_p轴上的归一化焦距；f为镜头单元的焦距，d_x和d_y分别表示X_p轴和Y_p轴上单位像素的尺寸大小，c_x和c_y表示光学中心，(R,0)为单镜头单元的外参数矩阵，其中R基于点m_s到单镜头单元光轴的水平夹角α和垂直夹角β计算得到：

(2)分别对场景概貌图像和10个细节采集单元的视频图像采样：

分别预览场景概貌图像和一个细节图像，并对相同物体同一点在两个图像中的像素坐标进行记录，每组记录组成一个像素坐标组，共记录6组像素坐标组，按照这种方法，分别采集场景概貌图像和每一个细节图像的像素坐标组，以完成场景概貌图像分别与每一个细节采集单元获取的图像的像素坐标采样。

计算场景概貌图像和任一细节图像中对应像素坐标组中，场景概貌图像中同一物体同一点的像素坐标与细节图像中物体同一点的像素坐标的映射关系：首先根据公式(1)，将对应像素坐标组中的6个场景概貌图像像素坐标转换为空间坐标系X_sY_sZ_sO_s，得到包含6个向量v1,v2…v6的概貌向量；

将对应像素坐标组中细节采集单元所获取的图像上的6个像素坐标转换为空间坐标系X_sY_sZ_sO_s，得到包含6个向量v1',v2'…v6'的细节向量，按照公式(5)～(7)以概貌向量组成矩阵MatH，细节向量组成矩MatD，求解旋转矩阵MatH2D：

MatD＝[v1,v2,v3,v4,v5,v6] (5)

MatH＝[v1',v2',v3',v4',v5',v6'] (6)

MatH2D＝MatD×PINV(MatH) (7)，

其中，PINV(Matrix)为矩阵Matrix的广义逆；

重复节采集单元个数次，得到场景概貌图像对应每一个细节采集单元图像的旋转矩阵；

(3)匹配联动预览或回放时，首先获取选取的概貌图像上的场景坐标(x_p,y_p,1)^T，根据公式(1)，计算该点在空间坐标系X_sY_sZ_sO_s下的奇次坐标v＝(x_s,y_s,z_s,1)^T；遍历每一个细节采集单元的旋转矩阵MatH2D，由v×MatH2D＝v'(9)得到各概貌向量对应的坐标点在每一个细节采集单元图像下的空间坐标v_a',v_b'…v_j'，最后由v_a',v_b'…v_j'，根据公式(1)计算所选取场景在每一个细节采集单元中的像素坐标(x_a',y_a')，(x_b',y_b')…(x_j',y_j')，去掉不合理的结果，并选取其中距细节采集单元中心坐标最近的一个像素坐标作为概貌图像中与细节图像中匹配联动的对象。

进一步地，概貌采集单元和细节采集单元设置于壳体内，壳体内间隔设置第一平板、第二平板和第三平板，第二平板和第三平板均与水平面平行，第一平板向水平面倾斜设置；概貌采集单元设置于第二平板的中间，细节采集单元围绕概貌采集单元设置。

进一步地，第一平板与水平面所成锐角为20°。

进一步地，包括10个细节采集单元，每个细节采集单元均包括细节网络摄像机，细节网络摄像机的视频采集分辨率为4000×3000，编码方式为h264标准，其中任意3台细节网络摄像机的前端均设置中焦距镜头组成近距离摄像组，用于构成横向90°的视场角以覆盖近距离区域，近距离摄像组设置于第一平板上；

余下7台细节网络摄像机前端均设置长焦距镜头，组成远距离摄像组，用于构成横向90°的视场角以覆盖远距离区域，远距离摄像组均匀设置于第二平板和第三块平板上。

进一步地，概貌采集单元通过用于调节倾角的基座与第二平板相连接，基座与水平面的倾角为20°。

进一步地，壳体由导热金属制成。

进一步地，概貌采集单元包括概貌网络摄像机，概貌网络摄像机为1080P网络摄像机，编码方式使用h264标准，其前端连接短焦距镜头，横向视场角达到90度。

进一步地，存储模块包括彼此独立的第一网口和第二网口，第一网口，用于联通视频采集模块获取的图像信息与存储模块。第二网口，用于联通储存模块与视频管理模块。。

本发明的技术效果：

1、本发明提供基于多目标智能跟踪的多焦距镜头联动成像装置，能够实现场景概貌和超高分辨率图像的联动监控，并且设备横向视场角大于90°，能够在大范围场景监控中实现无死角全覆盖，并在距装置130m的范围内，采集影像的像素密度大于125像素/米，可识别人或者车辆等物体。

2、本发明提供基于多目标智能跟踪的多焦距镜头联动成像装置，通过增加多目标跟踪模块能够使联动成像***能够进行实时的多目标智能跟踪，方便对感兴趣的目标在联动成像***覆盖范围内进行实时监控。

3、本发明提供基于多目标智能跟踪的多焦距镜头联动成像装置，通过对现有中值滤波算法的改进，能够对本实施例中的视频合成处理输出***合成以后的一路视频有效的进行噪声抑制，使输出的视频效果更好，利于观察调用。

具体请参考根据本发明的基于多目标智能跟踪的多焦距镜头联动成像装置提出的各种实施例的如下描述，将使得本发明的上述和其他方面显而易见。

附图说明

图1是本发明优选实施例基于多目标智能跟踪的多焦距镜头联动成像装置结构示意图；

图2是本发明优选实施例壳体安装状态示意图，其中(a)是壳体主视图(b)式壳体侧视图；

图3是本发明优选实施例提供的基于多目标智能跟踪的多焦距镜头联动成像装置视场覆盖范围示意图；

图4是本发明优选实施例中对单一镜头单元采集图像建立的采集图像坐标系X_pY_pO_p坐标系和空间坐标系X_sY_sZ_sO_s坐标系模型示意图；

图5是本发明提供的基于多特征联合与Mean Shift算法的多目标跟踪方法流程示意图；

图6是本发明优选实施例中网络视频合成处理输出模块硬件结构示意图。

图例说明：

110、概貌采集单元；120、细节采集单元；210、第一平板；220、第二平板；230、第三平板；400、视频管理模块。

具体实施方式

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

为了克服现有监控方案在大范围区域内，视频监控应用上的不足，本发明提供了一种基于多目标智能跟踪的多焦距镜头联动成像装置。只需要在监控区域安装一套设备，就可以替代现有监控方案中所需的所有监控设备，并且操作方便，使用简单。该装置包含视频采集模块，存储模块和视频管理模块400。

参见图1，视频采集模块包含至少一个概貌采集单元110和至少十个细节采集单元120，细节采集单元120中各镜头的焦距不同，用于采集监控区域中目标物的超高分辨率图像信息。概貌采集单元110，用于采集低分辨率的监控区域全景概貌图像信息。

存储模块，用于存储视频采集模块获取的图像信息。

视频管理模块400，用于对场景概貌图像和细节图像进行空间配准，并根据空间配准信息对概貌采集单元110和细节采集单元120所获取的图像进行协同联动预览和回放；

视频管理模块400所具有的回放功能可通过onvif协议搜索和查询得到视频文件，并对查询到的视频文件进行回放。在回放过程中，在场景概貌图像选择需要放大查看的场景细节，通过空间配准信息计算后，在超高分辨率图像显示窗口中，对选择的细节清晰的放大显示，在距采集装置130m的范围内，所获取的视频图像可以用于识别目标人或车辆等物体的各项特征。

视频管理模块400接入网络视频存储设备后，通过空间配准功能，对场景概貌图像和细节图像分别采样，计算得到空间配准信息。空间配准信息用于场景概貌单元和细节单元的匹配联动。

设备协同联动预览功能是指，使用者在场景概貌图像选择需要预览的细节，通过空间配准信息计算，得到细节采集单元120的序号及图像对应的坐标后，在超高分辨率图像显示窗口中，对使用者选择的细节进行清晰的放大显示。

设备协同联动回放功能是指，用户可以通过onvif协议搜索和查询录像文件，并对查询到的录像文件进行回放。在回放过程中，使用者在场景概貌图像中选择所需查看的场景的细节，通过空间配准信息计算后，得到细节采集单元120的序号及图像对应的坐标后，在超高分辨率图像显示窗口中，对使用者选择的细节进行联动匹配放大回放。

如果想让概貌采集单元110和细节采集单元120之间可以正确的匹配联动，就需要获得两者之间的映射关系，即相同场景在两者采集图像中的对应关系。视频管理模块400中加入了空间配准模块通过空间配准方法，用以实现概貌采集单元110和细节采集单元120之间的空间配准，获得两者之间的映射关系，继而解决镜头单元之间的匹配联动问题。

为使概貌采集单元110和细节采集单元120实现匹配联动，首先需要获得两者之间的映射关系，即确定相同场景在两者采集图像中的对应关系。视频管理模块400中包括空间配准模块，用以实现概貌采集单元110和细节采集单元120之间的空间配准，获得两者之间的映射关系，为实现概貌采集单元110和细节采集单元120之间的匹配联动提供映射关系。

空间配准模块通过空间配准方法实现概貌采集单元110和细节采集单元120所得图像的空间配准。如图3～4所示，其中所用空间配准方法是对概貌采集单元110和细节采集单元120所获取的视频图像中的某一图像进行空间配准，解决各镜头单元之间的匹配联动问题，通过对场景概貌图像和细节显示图像分别采样，计算得到各图像的空间配准信息，所得空间配准信息可用于场景概貌单元和细节单元的匹配联动。空间配准方法包括以下步骤：

(1)分别建立各单镜头单元的采集图像坐标系X_pY_pO_p，同时采用球型模型建立空间坐标系X_sY_sZ_sO_s，以单镜头单元的左方为X_p轴正方向，下方为Y_p轴正方向，如图4所示。空间坐标系X_sY_sZ_sO_s的X_s轴正方向与X_p轴正方向相反，Y_s轴正方向与Y_p轴正方向相反，前方为Z_s轴正方向。

取以空间坐标系X_sY_sZ_sO_s的原点为球心半径为1的球面上的一点m_s，m_s的奇次坐标为(x_s,y_s,z_s,1)^T，m_p点为m_s点在采集图像坐标系X_pY_pO_p上的成像点，其奇次坐标为m_p＝(x_p,y_p,1)^T，空间坐标中的点m_s到采集图像坐标系上点m_p的对应关系表示为：

m_p＝K(R,0)m_s＝(KR,0)m_s＝Pm_s (1)

其中，矩阵P＝K(R,0)通常称为摄像机矩阵，是摄像机的内参数矩阵，f_x＝f/d_x，f_y＝f/d_y，分别称为X_p轴和Y_p轴上的归一化焦距；f为镜头单元的焦距，d_x和d_y分别表示X_p轴和Y_p轴上单位像素的尺寸大小，c_x和c_y表示光学中心，通常位于图像中心处，这里为采集图像坐标系X_pY_pO_p原点O_p。

(R,0)为单镜头单元的外参数矩阵，其中R基于点m_s到单镜头单元光轴的水平夹角α和垂直夹角β计算得到：

此处的单镜头单元是指视频采集模块中包含的至少一个概貌采集单元110和多个细节采集单元120。

(2)分别对场景概貌图像和10个细节采集单元120的视频图像采样：

分别预览场景概貌单元采集的图像和一个细节采集单元120获取的图像，并对相同物体同一点在两个图像中的的像素坐标进行记录，每组记录组成一个像素坐标组，共记录6组像素坐标组，按照这种方法，分别采集场景概貌图像和每一个细节图像的像素坐标组，以完成场景概貌图像分别与每一个细节采集单元120获取的图像的像素坐标采样。

计算场景概貌单元获取的图像和任一细节采集单元120获取的图像中对应像素坐标组中，场景概貌单元采集的图像中同一物体同一点的像素坐标与细节采集单元120获取图像中物体同一点的像素坐标的映射关系。

计算方法：首先根据公式(1)，将对应像素坐标组中的6个场景概貌图像像素坐标转换为空间坐标系X_sY_sZ_sO_s，得到包含6个向量v1,v2…v6的概貌向量；

将对应像素坐标组中细节采集单元120所获取的图像上的6个像素坐标转换为空间坐标系X_sY_sZ_sO_s，得到包含6个向量v1',v2'…v6'的细节向量，按照公式(5)～(7)以概貌向量组成矩阵MatH，细节向量组成矩MatD，求解旋转矩阵MatH2D：

MatD＝[v1,v2,v3,v4,v5,v6] (5)

MatH＝[v1',v2',v3',v4',v5',v6'] (6)

MatH2D＝MatD×PINV(MatH) (7)，

其中，PINV(Matrix)为矩阵Matrix的广义逆。

重复节采集单元个数次，得到场景概貌图像对应每一个细节采集单元120图像的旋转矩阵；

(3)匹配联动预览或回放时，首先获取选取的概貌图像上的场景坐标(x_p,y_p,1)^T，根据公式(1)，计算该点在空间坐标系X_sY_sZ_sO_s下的奇次坐标v＝(x_s,y_s,z_s,1)^T；

遍历每一个细节采集单元120的旋转矩阵MatH2D，由v×MatH2D＝v'(9)得到各概貌向量对应的坐标点在每一个细节采集单元120图像下的空间坐标v_a',v_b'…v_j'，最后由v_a',v_b'…v_j'，根据公式(1)计算所选取场景在每一个细节采集单元120中的像素坐标(x_a',y_a')，(x_b',y_b')…(x_j',y_j')，去掉不合理的结果，并选取其中距细节采集单元120中心坐标最近的一个像素坐标作为概貌图像中与细节图像中匹配联动的对象。

从而实现了概貌采集单元110中目标物在细节采集单元120图像的对应，充分利用细节图像对概貌图像中的目标物进行监控。

运用多焦距镜头超高分辨率联动成像***，能够实现场景概貌和超高分辨率图像的联动监控，并且设备横向视场角大于90°，能够在大范围场景监控中实现无死角全覆盖，并在距装置130m的范围内，采集影像的像素密度大于125像素/米，可识别人或者车辆等物体。

使用者通过视频管理模块400，在场景概貌图像信息中，选择需要预览或回放的场景细节，在细节显示图像中，就对选择的场景细节进行联动匹配放大预览或回放。本发明的基于多目标智能跟踪的多焦距镜头联动成像装置使用概貌采集单元110采集的场景概貌与多个不同焦距的细节采集单元120获取的超高分辨率拼接图像联动，实现对场景的无死角全覆盖监控，并在距装置130m范围内，采集影像的像素密度大于125像素/米，达到可以识别人体特征的技术要求，同时整个监控图像像素也达到了一亿以上。同时通过空间配准方法和细节采集单元120匹配联动成像，在场景概况图像中选择需要预览的某一场景的细节情况时，则会在细节图像中清晰的放大显示被选择的部分。

根据所获取的场景概貌，预览场景概况并通过空间配准法对其进行处理后，配合细节采集单元120所获取的细节图像进行匹配联动成像。细节采集单元120采集得到的图像像素数过高，对该图像进行处理时对后端设备的要求较高。通过搭配概貌采集单元110使用，则可在保证所获取监控结果准确性的前提下，降低后端设备所处理图像的像素。

还包括视频处理模块，用于对所述视频采集模块获取的概貌视频流进行接入、存储和输出，用于对所述视频采集模块获取的细节视频流合成为一路高清视频存储并输出；

所述细节视频流合成后对其按公式(9)进行去噪处理：

y(m,n)＝median[Y₁(m,n),Y₂(m,n),a_m,n] (9)

其中，

其中，a_m,n为所处理视频流中图像在(m,n)处的像素值，Z是一个(2N+1)×(2N+1)的滤波窗口。公式(9)是对背景技术部分的公式进行改进得到的。如式(9)所示的算法在保持现有中值滤波算法优点的同时,解决了它的不足之处。本发明在FPGA上对公式(9)所示算法进行了实现,设计算法实现的逻辑结构,完成了对合成后的一路视频的去噪处理。(请补充效果如何)

视频处理模块可以为包含上述算法的常用模块。视频处理模块也可以为包含两个独立的千兆网口，并通过前端网口接入前端视频采集装置，获取多路视频流接入基于FPGA的多路视频合成装置，该装置将多路细节视频流合并处理后转换为一路高清视频存储并根据视频管理模块的需求输出，以便其进行处理。通过该多路视频合成装置可以同时实现在视频管理模块上对多路视频信号的采集和显示，也可以对某一路信号进行全屏放大显示。该多路视频合成装置包括：硬件平台、视频合成后的去噪处理。

采用上述视频处理模块能使输入的多路高清视频合并为一路可监控的高清视频(一路高清视频分块显示各路输入视频，不丢失信息)，并能够对其中用户感兴趣的监控目标视频进行实时调用，合成一路高清视频后，大大降低了对网络传输和数据存储的要求，更加利于实际需求。

多路视频合成装置的硬件平台；

以输入多路高清视频为例，参见图6，包括按钮组、视频解码芯片、视频编码芯片、FPGA(现场可编程门阵列)模块和SRAM存储器。SRAM存储器中包含DDR2。该多路视频合成装置接收16路由高清CMOS摄像头采集的模拟视频信号，作为视频输入信号，通过视频解码芯片转换为PAL制式的数字视频信号后，通过FPGA模块对数字视频信号进行抽取和帧合成数据格式转换，再经视频编码芯片对其进行数模转换后，送入VGA显示器进行显示。

视频解码芯片选用SAA7113H作为视频模数转换器件；视频编码芯片选用SAA7121作为数模转换器件；片外存储器SRAM采用IS61LV51216，FPGA采用德州仪器公司的DM6467芯片。

还包括多目标跟踪单元，用于对所述视频采集模块获取的图像信息中所含运动目标进行追踪；该模块设置于另一辅助功能电路板上。

参见图5，所多目标跟踪单元多目标跟踪单元采用基于多特征联合与Mean Shift算法的多目标跟踪方法进行目标跟踪，该方法包括以下步骤：

步骤S100：采用背景差法和帧差法融合检测所获取的监控视频图像，获取其中的多运动目标；此处的融合检测是指将帧差法和背景差法相结合进行使用，从而实现二者的优势互补。背景差法利用视频流中的当前帧与预先建立的背景模型进行差分，与背景模型中不同的区域即可作为需要检测目标的区域。同时采用背景差法能实现初始化的背景建模，并持续对背景进行更新，当将背景差法所得的精确背景模型用于帧差法中，并采用背景差法对图像中的背景进行实时更新时，帧差法无法判断颜色近似目标物内部元素的等等问题均得到克服。

步骤S200：对二值化图像依序进行去噪和多目标分割，得到分割图像；

步骤S300：基于多特征联合和Mean Shift算法对所得分割图像进行多运动目标跟踪运算。

重复步骤S100～S200完成对待跟踪目标在下一帧图像中的跟踪至视频结束。

其中，步骤S100和S200中所述各方法可按现有的方法步骤进行处理，是针对所有待处理视频图像所必须的步骤，属于对视频图像进行多目标跟踪前的预处理步骤。

步骤S300：基于多特征联合和Mean Shift算法对所得分割图像进行多运动目标跟踪运算

在利用基于多特征联合的跟踪技术进行目标跟踪时，特征提取技术是其基础，而主要用于本发明的目标跟踪中常用的典型特征有：颜色特征和HOG特征。

颜色特征本质上颜色模型是坐标***和子空间的说明，坐标***每个点都表示着一种颜色。在图像处理中，RGB(红、绿、蓝)模型是面向硬件的模型，经常用于彩色监视器和摄像机。HIS(色调、饱和度、亮度)模型则更符合人描述和解释颜色的方式，且可以解除图像中的颜色和灰度信息的联系，适用于图像处理。

对于RGB颜色模型，每种颜色都可以分解成红、绿、蓝三种分量。RGB的颜色子空间示意图如图2所示。RGB***与人眼强烈感知红绿蓝三原色的事实能很好地匹配，但是RGB模型不能很好地适应人解释的颜色。比如我们通常不会认为彩色图像是由三原色图像混合而成的。为了更好地解释颜色，引入了色调、饱和度和亮度这三种属性，来更好地使用于图像处理和机器视觉的算法中。这就是HIS模型。

HIS颜色模型能很好的用于图像处理和机器视觉的算法中，色调是描述一种纯色的颜色属性，饱和度是一种纯色被白光稀释程度的度量，亮度表示了无色的强度概念，强度是则是描述单色图像最有用的可度量的描述子，因此模型(色调、饱和度、强度)可在彩色图像中从携带的彩色信息中消去强度分量的影响，从而成为图像处理算法中用来描述色彩的理想工具，因为这种色彩的描述对人来说是最直观的。彩色空间是由一个垂直强度轴和位于该强度轴垂直的平面内的彩色点的轨迹表示。

对RGB彩色格式的图像，按公式(16)得到其中每个RGB像素的H分量：

其中，

饱和度S分量则由下式计算出：

强度分量则由下式计算出：

其中，R,G,B分别为彩色图像中的三种颜色分量，依次为红，绿，蓝。

由上述公式可见，色调的范围可通过除以360归一化到[0,1]范围内，而饱和度和强度的范围己经处于[0,1]内。

在实际应用模型时，θ计算过于复杂，不太实用，因此，常用如下方法进行近似计算。

令max为R,G,B中的最大者，min为R,G,B中的最小者，则有：

其中，H为图像的色调分量。对于HOG特征来说，HOG特征利用了图像的梯度分布，从而对图像中的局部物体的外观和形状进行描述表示。相对于其它特征来说，特征对图像的几何变化和光照变化有着一定的不变性，这是因为HOG特征是对局部单元操作的，而几何变化和光照变化通常只会在在较大的空间区域中出现。HOG特征在目标物体保持大致正常位置时，通常可以忽略掉目标的自身运动。因此，HOG特征特别适合骑车人、行人等非刚性目标的检测和跟踪。HOG特征的具体计算流程如下所述：

首先，对输入的单元按照下式进行计算：

G_x(x,y)＝H(x+1,y)-H(x-1,y) (15)

G_y(x,y)＝H(x,y+1)-H(x,y-1) (16)

式中G_x(x,y)表示了图像在点(x,y)处的水平梯度，G_y(x,y)表示了图像在点(x,y)处的垂直梯度。

在分别得到水平梯度和垂直梯度后，可以按下式求出(x,y)处的梯度值G(x,y)和梯度方向α(x，y):

计算出梯度方向之后，将方向0～180°分成k个方向块，利用直方图对梯度方向块进行统计：

通常在计算HOG特征时一般首先将图像划分成16*16大小的块，然后将每个块划分为4个单元。利用上式对每个单元求梯度方向直方图，将所有直方图进行串联，从而生成最终的HOG特征向量。同时为了消除光照等因素的影响，对每一块的图像都进行了归一化操作，如下式：

式中ε趋近于0，以防止分母为0。f(C_i,k)就表示了在一个块的第i个单元中，第k个直方图的值，C_i表示为划分的有i个单元的块，B为整个图像块。特征示意图如图3所示。

本发明中，基于上述HOG特征的特点，采用基于轻采样的HOG特征：去除HOG特征中单元的划分，在采样块中进行梯度分布图的计算。首先将图像划分成16*16的大小的块，此处的16为刚刚能将图像划分为该块数的长度。针对每个块进行梯度计算，然后利用直方图在梯度方向上进行数值统计，以获得每个块上对应的数值。从而得到一组4*4*k维度的向量，此处的k就是求HOG特征时直方图中的方块数。

然后，仅仅这样并不能得到所有的局部特征信息，通过对与样本具有相同中心的48*48的图像重复上述处理，从而得到3*3*k维度的向量。划分过程如图4所示，此处的k的意义与前述相同。

最后，在轻采样中，以所划分的块作为最小单元，因为具体的块中并未设置其他更小的单元，因此按公式(21)对HOG特征归一化：

其中，f(k)为所划分块中，第k个直方图的值。

针对HOG进行上述轻采样的处理后，运动目标的局部特征尽可能的提取了，并且HOG特征的维数也大大减少，有效的提高了检测速度，以满足智能监控场景下的多目标跟踪的实时性要求。

步骤S310：多特征联合提取

现有的多特征联合提取，针对于不同运动目标特征，其应用领域不同，未见将其用于智能监控***中。多种特征的联合使用会有效提高目标跟踪的鲁棒性，根据智能视频监控的需要，主要监控的目标为能进行快速移动的人和车。针对此类型的目标，颜色特征是最直接的描述方式，包含了大量的目标信息。本发明中，使用了颜色特征的RGB模型下的R,G,B分量特征、HIS模型下的H,S分量和灰度直方图，综合后作为目标的颜色特征描述。同时，本发明提供的方法充分利用了人、车等目标具有边缘较为明显的特点，在确定目标点时考虑了HOG特征来，达到了较好的鲁棒性，实时性，提高了提取目标的清晰度。

由于每种特征对跟踪效果的影响各不相同。因而本发明通过利用给每个跟踪结果点加上权值来进行组合计算，从而确定多种特征联合的跟踪结果，提高其中对跟踪效果有较优影响特征的比例。

设当前帧初始目标的特征向量为：

V(t)＝{V_i(t)i＝1,…,n} (22)

其中，t代表当前帧，n为使用特征的种数，V_i(t)表示每一种特征的特征向量。

而单独利用每种特征进行跟踪后确定的候选区域的特征向量为V_i(t+1)。为了给每种特征分配相应的权值，利用特征的相似度来确定。前后两帧的特征向量相似度越高，该特征的权值就越高；反之，权值则越低。在计算相似度时，按公式(23)计算得到的欧氏距离作为各向量之间相似度的测量标准：

其中，d_i为V_i的维度，用于消去不同维度对欧氏距离的影响，S_i为各特征之间的相似度，取值范围在0到1之间。

每个特征向量的权值ω_i：

在实际的多目标跟踪过程中，如果计算出特征向量的ω_i太小，表示对应的特征向量和前一帧的对应的特征向量相似度过低，因此，如果权值低于一定阈值T时，可以认为所选取的特征向量不能代表该物体，在实际的计算中就可以把该特征分量从整体的特征向量中舍去，然后重新归一化权值：

ω_i＝0 ω_i<T (25)

根据最终权值就可以得到最终目标的位置中心点(x(t+1),y(t+1))：

其中，(x_i(t+1),y_i(t+1))为每种特征单独跟踪所得跟踪目标的位置中心点。

步骤S320：对多特征联合提取所得结果进行Mean Shift算法的多目标跟踪

在使用Mean Shift算法的主要步骤就是针对初始的目标利用特征进行表示，然后计算候选区域的特征值，进一步计算出最相近的Mean Shift向量，利用其收敛性对过程进行迭代计算，知道目标点后收敛到最终位置作为跟踪点，达到目标跟踪的效果。

步骤S320可以按常用的Mean Shift算法步骤进行。

具体包括以下步骤：设初始目标的中心点为x₀，使用特征向量的维度为d维，目标区域内共有n个点，则初始目标的特征分布密度函数可以描述为：

其中u＝1,…,d，C为归一化常数，使k为核函数，为保证算法收敛，通常选用已知合适的凸函数：高斯核函数或者Epanechnikov核函数，δ为使的delta函数，高斯核函数和Epanechnikov(人名)核函数。

候选目标的中心点为y，n_h为候选区域中的点数，则以中心点y的候选目标区域内像素点的特征分布描述为：

式中，h为带宽。在得到初始目标区域和候选目标区域后，利用巴特查理亚系数进行初始特征和候选特征的相似性度量标准，其中巴特査理亚系数为：

巴特查理亚系数越大，相似度则越大；反之相似度则越小。为了找到候选区域中最接近初始目标的那一个候选目标，就要使最大。利用泰勒级数对上述公式在处进行展开，得到：

其中，ω_i为当前图像区域内各点的权重。

从上述公式可以看出，式中的第一项与y无关，只要第二项达到最大值，候选区域和初始区域的相似度就越大。

而后面一项则是y处使用核函数计算的密度估计进行加权后的计算值。这样可以通过Mean Shift迭代进行目标区域中心点的更新：

式中，g(x)＝-k′_E(x)，当选Epanechnikov核函数时，g(x)＝1。经过一定步数的迭代，当更新的点的位移小于一定阈值时，就认为最终的跟踪点为该点，若||y₁<y||<ε则停止搜索。

该目标跟踪方法采取颜色特征的RGB模型下的R,G,B分量特征，HIS模型下的H,S分量和灰度直方图综合追踪，提高目标追踪结果的鲁棒性和实时性，提取目标清晰度。提高了对运动快慢不一的运动目标的检测效率，提高跟踪结果对多种监控环境的鲁棒性，在多目标跟踪时提高了跟踪准确率和实时性。高智能视频监控的准确性，增强其监控的稳定性，使其满足实时性需求。

优选的，概貌采集单元110包括概貌网络摄像机。概貌网络摄像机为1080P网络摄像机，编码方式使用h264标准，其前端连接短焦距镜头。

优选的，包括10个所述细节采集单元，每个所述细节采集单元均包括细节网络摄像机，所述细节网络摄像机的视频采集分辨率为4000×3000，编码方式为h264标准，其中任意3台所述细节网络摄像机的前端均设置中焦距镜头组成近距离摄像组，用于构成横向90°的视场角以覆盖近距离区域，所述近距离摄像组设置于所述第一平板上；

余下7台所述细节网络摄像机前端均设置长焦距镜头，组成远距离摄像组，用于构成横向90°的视场角以覆盖远距离区域，所述远距离摄像组均匀设置于所述第二平板和第三块平板上。

细节采集单元120包括细节网络摄像机，细节网络摄像机采用1200万像素CMOS感光器件，视频采集分辨率为4000×3000，编码方式为h264标准。其中三台细节网络摄像机前端连接中焦距镜头，覆盖近距离区域(相对具体摄像机距离较近的区域)。其余细节网络摄像机前端连接长焦距镜头，覆盖远距离区域(相对具体摄像机距离较远的区域)。按此设置，可以实现对采集场景无死角全覆盖，并在130m范围内，采集影像的像素密度大于125像素/米，达到可以识别人的要求。

优选的，该装置还包含一块辅助功能电路板，用于提供供电电压转换并为前端摄像机和交换机提供电源；提供千兆网络交换机功能并连接前端摄像机；对外提供电源接口及千兆网络接口。以便于信息传输和供电的需要，集成后有利于缩小装置整体体积。该辅助功能电路板也可以设置于壳体背部。主要功能包括供电电压转换，将使用24VAC供电电压转换为12VDC，为所有采集单元及交换机供电；同时提供千兆网络交换机功能，用于连接所有采集单元的网口；辅助功能电路板对外提供供电电源接口及千兆网络接口。

参见图2，优选的，概貌采集单元110和细节采集单元120设置于壳体内。壳体内部被平板分隔为三层分别用于放置概貌采集单元110和细节采集单元120。壳体内间隔设置第一平板210、第二平板220和第三平板230，第二平板220和第三平板230均与水平面平行，第一平板210向水平面倾斜设置；概貌采集单元110设置于第二平板220的中间，细节采集单元120围绕概貌采集单元110设置。

参见图2，更优选的，第一平板210与壳体底板纵向上形成20°的夹角。即第一平板210与水平面所成锐角为20°。3台前端连接中焦距镜头的摄像机，按照左中右摆放，固定在壳体内上部的平板上，3台摄像机共同构成横向90度的视场角；另外7台摄像机中，其中3台按照左中右摆放，固定在壳体内底部的平板上，另外4台分布在概貌采集单元110两边，固定在壳体内中间的平板上，7台摄像机共同构成横向90°的视场角。

第一平板210与水平面倾斜角度中的锐角度数由中焦距摄像机和长焦距摄像机的纵向视场范围确定。通过将各摄像头安装于壳体中，使得多个镜头单元拼接图像的横向视场角达到90°，可实现对采集场景无死角全覆盖。处于壳体第一层上的3台摄像机前端连接中焦距镜头，按照左中右摆放，固定在壳体内上部的金属平板上，固定位置如图2所示，3台摄像机共同构成横向90度的视场角，每两个摄像机的视场范围有一定重叠，如图3所示；十个细节采集单元120的视场覆盖了整个90°范围的监控区域，实现对场景的无死角全覆盖监控，整个监控图像达到了一亿像素以上。

为了使概貌采集单元110视场范围可以覆盖全部细节采集单元120的视场范围，以使本发明提供装置的视场范围如图3所示，将概貌采集单元110固定在具有锐角倾斜的基座上，基座固定在壳体内中间平板的中心位置。

更优选的，基座与水平面所成锐角度为20°。按此设置该夹角后，能保证概貌图像覆盖中焦距摄像机和长焦距摄像机的取景范围能有效防止匹配联动死角的出现。

优选的，壳体底部外可安装专用监控摄像头支架，通过支架上的固定螺丝，可对装置的安装角度进行调节。

优选的，壳体由导热金属制成。能有效散热，降低热量对装置的影响。

优选的，存储模块上包括两个彼此独立的的第一网口和第二网口。第一网口，用于联通视频采集模块获取的图像信息与存储模块。第二网口，用于联通储存模块与视频管理模块400。有利于提高处理效率。第一网口和第二网口均为千兆网络接口。

本领域技术人员将清楚本发明的范围不限制于以上讨论的示例，有可能对其进行若干改变和修改，而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明，但这样的说明和描述仅是说明或示意性的，而非限制性的。本发明并不限于所公开的实施例。

通过对附图，说明书和权利要求书的研究，在实施本发明时本领域技术人员可以理解和实现所公开的实施例的变形。在权利要求书中，术语“包括”不排除其他步骤或元素，而不定冠词“一个”或“一种”不排除多个。在彼此不同的从属权利要求中引用的某些措施的事实不意味着这些措施的组合不能被有利地使用。权利要求书中的任何参考标记不构成对本发明的范围的限制。

Claims (10)

1.一种基于多目标智能跟踪的多焦距镜头联动成像装置，其特征在于，包括：

视频采集模块，用于获取监控区域的实时图像和视频信息，设置于所述监控区域附近，包括至少一个用于采集低分辨率的所述监控区域场景概貌图像和视频信息的概貌采集单元和至少十个用于采集所述监控区域中目标物的细节图像和视频信息的细节采集单元；

多目标跟踪单元，用于对所述视频采集模块获取的图像信息中所含运动目标进行追踪；

视频处理模块，用于对所述视频采集模块获取的概貌视频流进行接入、存储和输出，用于对所述视频采集模块获取的细节视频流合成为一路高清视频存储并输出；

所述细节视频流合成后对其按公式(9)进行去噪处理：

y(m，n)＝median[Y₁(m，n)，Y₂(m，n)，a_m，n] (9)

其中，

其中，a_m，n为所处理视频流中图像在(m，n)处的像素值，Z是一个(2N+1)×(2N+1)的滤波窗口；

视频管理模块，用于对所述场景概貌图像和所述细节图像进行空间配准，并根据空间配准信息对所述概貌采集单元和所述细节采集单元所获取的图像进行协同联动预览和回放；

所述视频管理模块中包括空间配准模块，所述空间配准模块用以实现所述概貌采集单元和所述细节采集单元之间的空间配准，获得两者之间的映射关系，所述空间配准模块通过空间配准方法实现概貌采集单元和细节采集单元所得图像的空间配准。

2.根据权利要求1所述的基于多目标智能跟踪的多焦距镜头联动成像装置，其特征在于，所述空间配准方法包括以下步骤：

(1)分别建立各单镜头单元的采集图像坐标系X_pY_pO_p，同时采用球型模型建立空间坐标系X_sY_sZ_sO_s，以单镜头单元的左方为X_p轴正方向，下方为Y_p轴正方向，空间坐标系X_sY_sZ_sO_s的X_s轴正方向与X_p轴正方向相反，Y_s轴正方向与Y_p轴正方向相反，前方为Z_p轴正方向；

取以所述空间坐标系X_sY_sZ_sO_s的原点为球心半径为1的球面上的一点m_s，m_s的奇次坐标为(x_s，y_s，z_s，1)^T，m_p点为m_s点在采集图像坐标系X_pY_pO_p上的成像点，其奇次坐标为m_p＝(x_p，y_p，1)^T，所述空间坐标中的点m_s到采集图像坐标系上点m_p的对应关系表示为：

m_p＝K(R，0)m_s＝(KR，0)m_s＝Pm_s (1)

其中，矩阵P＝K(R，0)通常称为摄像机矩阵，是摄像机的内参数矩阵，f_x＝f/d_x，f_y＝f/d_y，分别称为X_p轴和Y_p轴上的归一化焦距；f为镜头单元的焦距，d_x和d_y分别表示X_p轴和Y_p轴上单位像素的尺寸大小，c_x和c_y表示光学中心，(R，0)为单镜头单元的外参数矩阵，其中R基于点m_s到单镜头单元光轴的水平夹角α和垂直夹角β计算得到：

(2)分别对场景概貌图像和10个细节采集单元的视频图像采样：

分别预览场景概貌图像和一个细节图像，并对相同物体同一点在两个图像中的像素坐标进行记录，每组记录组成一个像素坐标组，共记录6组像素坐标组，按照这种方法，分别采集场景概貌图像和每一个细节图像的像素坐标组，以完成场景概貌图像分别与每一个细节采集单元获取的图像的像素坐标采样；

计算场景概貌图像和任一细节图像中对应像素坐标组中，场景概貌图像中同一物体同一点的像素坐标与细节图像中物体同一点的像素坐标的映射关系：首先根据公式(1)，将对应像素坐标组中的6个场景概貌图像像素坐标转换为所述空间坐标系X_sY_sZ_sO_s，得到包含6个向量v1，v2...v6的概貌向量；

将对应像素坐标组中细节采集单元所获取的图像上的6个像素坐标转换为空间坐标系X_sY_sZ_sO_s，得到包含6个向量v1′，v2′...v6′的细节向量，按照公式(5)～(7)以概貌向量组成矩阵MatH，细节向量组成矩MatD，求解旋转矩阵MatH2D：

MatD＝[v1，v2，v3，v4，v5，v6] (5)

MatH＝[v1′，v2′，v3′，v4′，v5′，v6′] (6)

MatH2D＝MatD×PINV(MatH) (7)，

其中，PINV(Matrix)为矩阵Matrix的广义逆；

重复节采集单元个数次，得到场景概貌图像对应每一个细节采集单元图像的旋转矩阵；

(3)匹配联动预览或回放时，首先获取选取的概貌图像上的场景坐标(x_p，y_p，1)^T，根据公式(1)，计算该点在空间坐标系X_sY_sZ_sO_s下的奇次坐标v＝(x_s，y_s，z_s，1)^T；

遍历每一个细节采集单元的旋转矩阵MatH2D，由v×MatH2D＝v′(9)得到各概貌向量对应的坐标点在每一个细节采集单元图像下的空间坐标v_a′，v_b′...v_j′，最后由v_a′，v_b′...v_j′，根据公式(1)计算所选取场景在每一个细节采集单元中的像素坐标(x_a′，y_a′)，(x_b′，y_b′)...(x_j′，y_j′)，去掉不合理的结果，并选取其中距细节采集单元中心坐标最近的一个像素坐标作为概貌图像中与细节图像中匹配联动的对象。

3.根据权利要求1所述的基于多目标智能跟踪的多焦距镜头联动成像装置，其特征在于，所述多目标跟踪单元采用基于多特征联合与Mean Shift算法的多目标跟踪方法进行目标跟踪，该方法包括以下步骤：

步骤S100：采用多帧图像平均法得到初始背景模型，根据所得背景模型采用帧差法对视频图像中的背景进行更新，采用背景差法对背景进行差分，然后对背景差分所得视频图像的进行二值化，得到二值图像；

步骤S200：对二值图像依序进行去噪和多目标分割，得到包含运动目标轮廓的分割图像；

步骤S300：将RGB模型下的R，G，B分量特征、HIS模型下的H，S分量和灰度直方图作为待跟踪目标特征分量进行多特征联合后得到分割图像中跟踪目标位置的中心点，之后通过Mean Shift迭代寻优以跟踪目标位置的中心点作为起始点，在候选区域内找到巴特查理亚系数最大的候选区域作为待追踪目标的跟踪结果，Mean Shift迭代收敛条件为预设，然后更新待跟踪目标的收敛位置；

重复步骤S100～S200完成对待跟踪目标在下一帧图像中的跟踪至视频结束；

所步骤S300包括以下步骤：

步骤S310：多特征联合提取：计算各特征分量的权值后，对各特征分量的跟踪结果进行权值归一化，并对各特征分量得到的跟踪目标位置中心点进行加权值融合，得到追踪目标位置中心点；

设当前帧初始目标的特征向量为：

V(t)＝{V_i(t)i＝1，...，n} (22)

其中t代表当前帧，n则表示了使用特征的种数，V_i(t)表示了每一种特征的特征向量；以根据每种特征进行跟踪后确定的候选区域的特征向量为V_i(t+1)；

按公式(23)计算得到的欧氏距离作为各特征向量之间相似度的测量标准，前后两帧图像的某一特征向量的相似度越高，则该特征的权值就越高，反之，则该特征向量的权值越低，

其中，d_i为V_i的维度，S_i为各特征之间的相似度，取值范围为0～1，

按公式(24)得到每个特征向量的权值ω_i：

将特征向量权值ω_i小于阈值T对应的该特征分量从整体的特征向量中去除，然后根据公式(25)～(26)重新归一化权值：

ω_i＝0 ω_i＜T (25)

按公式(27)即可根据该权值得到跟踪目标的位置中心点(x(t+1)，y(t+1))，

其中，(x_i(t+1)，y_i(t+1))为每种特征单独跟踪所得跟踪目标的位置中心点。

4.根据权利要求1～3中任一项所述的基于多目标智能跟踪的多焦距镜头联动成像装置，其特征在于，所述概貌采集单元和所述细节采集单元设置于壳体内，所述壳体内间隔设置第一平板、第二平板和第三平板，第二平板和第三平板均与水平面平行，第一平板向水平面倾斜设置；

所述概貌采集单元设置于所述第二平板的中间，所述细节采集单元围绕所述概貌采集单元设置；

所述第一平板与水平面所成锐角为20°。

5.根据权利要求4所述的基于多目标智能跟踪的多焦距镜头联动成像装置，其特征在于，包括10个所述细节采集单元，每个所述细节采集单元均包括细节网络摄像机，所述细节网络摄像机的视频采集分辨率为4000×3000，编码方式为h264标准，其中任意3台所述细节网络摄像机的前端均设置中焦距镜头组成近距离摄像组，用于构成横向90°的视场角以覆盖近距离区域，所述近距离摄像组设置于所述第一平板上；

余下7台所述细节网络摄像机前端均设置长焦距镜头，组成远距离摄像组，用于构成横向90°的视场角以覆盖远距离区域，所述远距离摄像组均匀设置于所述第二平板和第三块平板上。

6.根据权利要求4所述的基于多目标智能跟踪的多焦距镜头联动成像装置，其特征在于，所述概貌采集单元通过用于调节倾角的基座与所述第二平板相连接，所述基座与所述水平面的倾角为20°。

7.根据权利要求4所述的基于多目标智能跟踪的多焦距镜头联动成像装置，其特征在于，所述壳体由导热金属制成。

8.根据权利要求4所述的基于多目标智能跟踪的多焦距镜头联动成像装置，其特征在于，所述概貌采集单元包括概貌网络摄像机，所述概貌网络摄像机为1080P网络摄像机，编码方式使用h264标准，其前端连接短焦距镜头，横向视场角达到90度。

9.根据权利要求4所述的基于多目标智能跟踪的多焦距镜头联动成像装置，其特征在于，所述存储模块包括彼此独立的第一网口和第二网口，所述第一网口，用于联通视频采集模块获取的图像信息与存储模块；所述第二网口，用于联通储存模块与视频管理模块。

10.根据权利要求4所述的基于多目标智能跟踪的多焦距镜头联动成像装置，其特征在于，还包括存储模块，用于存储所述视频采集模块获取的图像信息。