CN106534766A - 一种使用ptz摄像机对目标进行自动跟踪的方法及装置 - Google Patents

Abstract

本发明提出了一种使用PTZ摄像机对目标进行自动跟踪的方法及装置，方法包括：将焦距变化范围划分为多个层次尺度，将每个层次尺度下的全景划分为部分场景的集合，为部分场景建立背景模型；提取当前视频帧的ORB特征点，并分别找到每个层次尺度中与当前视频帧的ORB特征点匹配的部分场景，用被匹配的部分场景检测当前视频帧的前景物体；利用当前视频帧的前景物体的检测结果优化跟踪结果，并根据跟踪结果调整PTZ摄像机，使跟踪目标保持在监控画面中。实施本发明的使用PTZ摄像机对目标进行自动跟踪的方法及装置，具有以下有益效果：能处理焦距变化、能避免缝合问题和运动视差问题、降低了更新模型的代价、场景定位速度较快、准确度较高。

Description

一种使用PTZ摄像机对目标进行自动跟踪的方法及装置

技术领域

本发明涉及视频监控领域，特别涉及一种使用PTZ摄像机对目标进行自动跟踪的方法及装置。

背景技术

视频监控是安全防范***的重要组成部分，它是一种防范能力较强的综合***。视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，视频监控技术也有了长足的发展。目前，根据监控***使用的监控摄像机的种类不同，分为枪机(固定摄像机)监控和PTZ(Pan/Tilt/Zoom)摄像机(球机)监控。由于PTZ摄像机相比于枪机，具有监控的场景更大、跟踪目标范围更广、焦距可变等优势，很多机构都在这一方向进行研究。

PTZ摄像机跟踪技术是一种利用图像处理技术，实现目标发现并控制PTZ摄像机对运动目标在一定场景范围内进行定位、跟踪和抓拍的监控技术。这种技术可以用于路况监控和公共场所安全监控等多个领域。

摄像机对于运动目标的跟踪技术是基于对监控场景的背景建模，从而发现进入场景中的目标，实现对目标在场景中的定位和跟踪。但是大多数的背景建模方法是针对固定摄像机的。因为固定摄像头监控同一个地方的场景，每个像素点的变化可以独立建模，并且能够穷尽全局监控场景。而PTZ摄像机有更宽广的场景，但它不能在一个抓拍中穷尽全局监控场景，必须旋转捕捉全景(全局监控场景)的不同部分。此外，PTZ摄像机的旋转对通常用于背景模型的特征有很大影响。

在背景模型中，所使用的特征是一个很重要的影响因素。局部纹理特征是一个很好的用于为像素或像素块建模的特征。和利用局部二值模式(LBP)为特征，这个特征对光照变化有很强的鲁棒性。一种新型的尺度不变局部三元模式(SILTP)特征也被用于背景建模。

近年来，基于PTZ摄像机的背景模型吸引越来越多的研究兴趣。方法基本可分为两大类：帧到帧和帧到全景图(全景的背景图像)。帧到帧的方法，重点在于对当前帧和前几帧的重叠区像素的重用。帧到全景图方法的重点在于建立一个全景图。帧到帧方法利用邻近帧进行帧的场景定位，可以使得对应图像失真较小，但定位精度会随着物体移动下降。此外由于缺乏全景信息，某些帧区域的前景检测是很困难的。而且，它们不能处理PTZ摄像机的焦距的变化。帧到全景图的方法使用缝合技术生成全景图，为前景检测提供全景信息。然而，这些方法提供的全景图可能包含有运动目标。一些缝合问题，例如严重的图像失真和重影，也可能会产生。当创建全景图时，帧到全景图方法一般遵循这样的假设：没有显著的运动视差，即随着镜头的转动，场景深度变化是不明显的。但是这样的假设在某些情况下不成立。而且全景图的更新过程更困难，代价更高。

如果用于匹配的特征点太少，帧的场景定位可能会失败。一种多层特征对应的传播方法可以产生足够的匹配特征点，它通过更大的计算量来实现更好的场景定位，但是图像失真会严重影响背景减除的结果，这样造成场景定位速度较慢、准确度不高。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述不能处理焦距变化、帧到全景图存在缝合问题、运动视差、更新模型代价高、场景定位速度较慢、准确度不高的缺陷，提供一种能处理焦距变化、能避免缝合问题和运动视差问题、降低了更新模型的代价、场景定位速度较快、准确度较高的使用PTZ摄像机对目标进行自动跟踪的方法及装置。

本发明解决其技术问题所采用的技术方案是：构造一种使用PTZ摄像机对目标进行自动跟踪的方法，包括如下步骤：

A)将所述PTZ摄像机的焦距变化范围划分为多个层次尺度，将每个层次尺度下的全景分别划分为一个部分场景的集合，并分别为每个部分场景建立背景模型；

B)捕获当前视频帧，提取所述当前视频帧的ORB(Oriented FAST andRotated BRIEF)征点，并分别找到每个层次尺度中与所述当前视频帧的ORB特征点匹配的部分场景，并使用被匹配的部分场景检测所述当前视频帧的前景物体；

C)利用所述当前视频帧的前景物体的检测结果优化跟踪结果，并根据所述跟踪结果调整所述PTZ摄像机，使跟踪目标保持在监控画面中。

在本发明所述的使用PTZ摄像机对目标进行自动跟踪的方法中，所述步骤A)进一步包括：

A1)将所述PTZ摄像机的焦距变化范围划分为多个层次尺度；

A2)将每个层次尺度下的全景分别划分为一个部分场景集合；

A3)找出每个所述层次尺度下的关键帧集；

A4)提取每个关键帧的特征点，找到当前关键帧在下一层次尺度有相同左右转动角度和上下转动角度的相邻关键帧；

A5)寻找所述相邻关键帧中与所述当前关键帧的特征点对应的点；

A6)通过所述对应的点计算所述当前关键帧和相邻关键帧之间的转化矩阵，并存储所述转化矩阵；

A7)将所述当前关键帧和相邻关键帧的图像四个角分别映射到各自的图像平面并存储；

A8)捕获一个时间序列的关键帧集，为所述关键帧集中的每个像素点建立局部模式特征，并通过计算和保持设定个数最频繁发生的局部模式特征来建立部分场景的背景模型。

在本发明所述的使用PTZ摄像机对目标进行自动跟踪的方法中，所述步骤B)进一步包括：

B1)提取并存储所有关键帧的ORB特征点；

B2)确定视频帧的相邻关键帧集；

B3)提取所述视频帧的ORB特征点，并将所述视频帧的ORB特征点与所述关键帧的ORB特征点进行匹配定位，找出匹配的关键帧；

B4)利用所述匹配的关键帧的背景模型检测所述视频帧的前景物体。

在本发明所述的使用PTZ摄像机对目标进行自动跟踪的方法中，所述步骤C)进一步包括：

C1)在视频流的第一个视频帧中的前景物体中框出跟踪目标，并初始化跟踪参数；

C2)根据所述跟踪参数得到所述跟踪目标在下一个视频帧中的矩形框；

C3)通过视频帧的场景定位和部分场景的背景模型得到所述下一个视频帧的前景检测结果；

C4)通过所述前景检测结果优化跟踪结果或恢复跟踪，并更新所述矩形框；

C5)更新所述跟踪参数，并依据所述跟踪结果调整所述PTZ摄像机；

C6)通过所述PTZ摄像机的参数将所述跟踪目标重新定位到监控画面中。

在本发明所述的使用PTZ摄像机对目标进行自动跟踪的方法中，所述步骤B3)进一步包括：

B31)将视频帧的图像划分为按照设定行数和设定列数排列的多个区域；

B32)从每个所述区域中分别提取其个数小于设定阈值的ORB特征点；

B33)将提取的ORB特征点与所述关键帧的ORB特征点进行匹配定位，找出匹配的关键帧。

本发明还涉及一种实现上述使用PTZ摄像机对目标进行自动跟踪的方法的装置，包括：

层次划分模型建立单元：用于将所述PTZ摄像机的焦距变化范围划分为多个层次尺度，将每个层次尺度下的全景分别划分为一个部分场景的集合，并分别为每个部分场景建立背景模型；

提取匹配检测单元：用于捕获当前视频帧，提取所述当前视频帧的ORB特征点，并分别找到每个层次尺度中与所述当前视频帧的ORB特征点匹配的部分场景，并使用被匹配的部分场景检测所述当前视频帧的前景物体；

跟踪优化调整单元：用于利用所述当前视频帧的前景物体的检测结果优化跟踪结果，并根据所述跟踪结果调整所述PTZ摄像机，使跟踪目标保持在监控画面中。

在本发明所述的装置中，所述层次划分模型建立单元进一步包括：

焦距划分模块：用于将所述PTZ摄像机的焦距变化范围划分为多个层次尺度；

部分场景划分模块：用于将每个层次尺度下的全景分别划分为一个部分场景集合；

关键帧集查找模块：用于找出每个所述层次尺度下的关键帧集；

相邻关键帧查找模块：用于提取每个关键帧的特征点，找到当前关键帧在下一层次尺度有相同左右转动角度和上下转动角度的相邻关键帧；

对应点寻找模块：用于寻找所述相邻关键帧中与所述当前关键帧的特征点对应的点；

转化矩阵计算存储模块：用于通过所述对应的点计算所述当前关键帧和相邻关键帧之间的转化矩阵，并存储所述转化矩阵；

映射模块：用于将所述当前关键帧和相邻关键帧的图像四个角分别映射到各自的图像平面并存储；

模式特征建立模块：用于捕获一个时间序列的关键帧集，为所述关键帧集中的每个像素点建立局部模式特征，并通过计算和保持设定个数最频繁发生的局部模式特征来建立部分场景的背景模型。

在本发明所述的装置中，所述提取匹配检测单元进一步包括：

特征点提取存储模块：用于提取并存储所有关键帧的ORB特征点；

相邻关键帧集确定模块：用于确定视频帧的相邻关键帧集；

特征点提取匹配模块：用于提取所述视频帧的ORB特征点，并将所述视频帧的ORB特征点与所述关键帧的ORB特征点进行匹配定位，找出匹配的关键帧；

前景物体检测模块：用于利用所述匹配的关键帧的背景模型检测所述视频帧的前景物体。

在本发明所述的装置中，所述跟踪优化调整单元进一步包括：

跟踪目标框出模块：用于在视频流的第一个视频帧中的前景物体中框出跟踪目标，并初始化跟踪参数；

矩形框获取模块：用于根据所述跟踪参数得到所述跟踪目标在下一个视频帧中的矩形框；

前景检测结果获取模块：用于通过视频帧的场景定位和部分场景的背景模型得到所述下一个视频帧的前景检测结果；

优化更新模块：用于通过所述前景检测结果优化跟踪结果或恢复跟踪，并更新所述矩形框；

更新调整模块：用于更新所述跟踪参数，并依据所述跟踪结果调整所述PTZ摄像机；

跟踪目标定位模块：用于通过所述PTZ摄像机的参数将所述跟踪目标重新定位到监控画面中。

在本发明所述的装置中，所述特征点提取匹配模块进一步包括：

区域划分模块：用于将视频帧的图像划分为按照设定行数和设定列数排列的多个区域；

区域特征点提取模块：用于从每个所述区域中分别提取其个数小于设定阈值的ORB特征点；

匹配关键帧查找模块：用于将提取的ORB特征点与所述关键帧的ORB特征点进行匹配定位，找出匹配的关键帧。

实施本发明的使用PTZ摄像机对目标进行自动跟踪的方法及装置，具有以下有益效果：由于将PTZ摄像机的焦距变化范围划分为多个层次尺度，将每个层次尺度下的全景分别划分为一个部分场景的集合，并分别为每个部分场景建立背景模型，由部分场景的集合就能提供全景信息，通过提取当前视频帧的ORB特征点，并分别找到每个层次尺度中与当前视频帧的ORB特征点匹配的部分场景，并使用被匹配的部分场景检测当前视频帧的前景物体，采用ORB特征点进行匹配，这样就解决了帧到帧方法缺乏全景信息，不能处理焦距变化的问题，也解决了帧到全景图方法的缝合问题、运动视差问题和更新模型代价高的问题，所以其能处理焦距变化、能避免缝合问题和运动视差问题、降低了更新模型的代价、场景定位速度较快、准确度较高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明使用PTZ摄像机对目标进行自动跟踪的方法及装置一个实施例中方法的流程图；

图2为所述实施例中将PTZ摄像机的焦距变化范围划分为多个层次尺度，将每个层次尺度下的全景分别划分为一个部分场景的集合，并分别为每个部分场景建立背景模型的具体流程图；

图3为所述实施例中捕获当前视频帧，提取当前视频帧的ORB特征点，并分别找到每个层次尺度中与当前视频帧的ORB特征点匹配的部分场景，并使用被匹配的部分场景检测当前视频帧的前景物体的具体流程图；

图4为所述实施例中提取视频帧的ORB特征点，并将视频帧的ORB特征点与关键帧的ORB特征点进行匹配定位，找出匹配的关键帧的具体流程图；

图5为所述实施例中利用当前视频帧的前景物体的检测结果优化跟踪结果，并根据跟踪结果调整所述PTZ摄像机，将前景物体定位到监控画面中的具体流程图；

图6为所述实施例中装置的结构示意图；

图7为所述实施例中特征点提取匹配模块的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明使用PTZ摄像机对目标进行自动跟踪的方法及装置实施例中，其使用PTZ摄像机对目标进行自动跟踪的方法的流程图如图1所示。图1中，该使用PTZ摄像机对目标进行自动跟踪的方法包括如下步骤：

步骤S01将PTZ摄像机的焦距变化范围划分为多个层次尺度，将每个层次尺度下的全景分别划分为一个部分场景的集合，并分别为每个部分场景建立背景模型：本步骤中，将PTZ摄像机的焦距变化范围划分为多个层次尺度，进一步将每个层次尺度下的全景分别划分为一个部分场景的集合，每个部分场景可以通过PTZ摄像机旋转拍摄到。这些部分场景之间存在一些重叠区域，所有部分场景可以覆盖PTZ摄像机的全景。作为部分场景而被PTZ摄像机捕获的帧称为关键帧。然后采用适用固定摄像机的背景建模算法，为每个部分场景建立背景模型。

步骤S02捕获当前视频帧，提取当前视频帧的ORB特征点，并分别找到每个层次尺度中与当前视频帧的ORB特征点匹配的部分场景，并使用被匹配的部分场景检测当前视频帧的前景物体：本步骤中，捕获一个新的视频帧作为当前视频帧，需要将当前视频帧定位到已经建立的多层次全景模型中，找到和它对应的部分场景。PTZ摄像机的参数可以用来将搜索范围限制在一个较小的部分场景集合，使用特征点匹配能实现精确的搜索。在场景定位的过程中，特征点匹配在这一过程扮演很重要的角色。一般来说，所使用的特征点应该鲁棒性很强，能够在PTZ摄像机的不同视角下匹配两张图像。比较好的特征点，例如SIFT(Scale-invariant feature transform，尺度不变特征转换)，SURF(speed up robustfeatures，加速健壮特征)和ORB。本实施例中采用ORB特征点，其速度快，也适用本发明的应用场景。在当前视频帧被定位之后，被匹配的部分场景的背景模型将用来检测当前视频帧的前景物体。

步骤S03利用当前视频帧的前景物体的检测结果优化跟踪结果，并根据跟踪结果调整PTZ摄像机，使跟踪目标保持在监控画面中：当一个前景物体是可疑目标时，PTZ摄像机将自动跟踪该可疑目标，使它一直保持在监控画面中。本实施例结合多层次全景模型与现有的跟踪算法来跟踪指定目标。跟踪反映目标位置和尺寸的结果用于反馈调整PTZ摄像机，控制调整PTZ摄像机以使得跟踪目标在监控画面中保持一个合适的位置和大小，这样可以优化跟踪结果。

由于采用了新的多层次全景模型，使用一个部分场景集合来提供全景信息，利用部分场景的背景模型代替全景的背景模型。在帧的场景定位中，采用了ORB特征点用于匹配，多层次全景模型解决了帧到帧方法缺乏全景信息，不能处理焦距变化的问题，也解决了帧到全景图方法的缝合问题、运动视差问题和更新模型代价高的问题。使用ORB特征点进行匹配，使得场景定位速度更快、准确度更高。

对于本实施例而言，上述步骤S01还可进一步细化，其细化后的流程图如图2所示。图2中，上述步骤S01进一步包括如下步骤：

步骤S11将PTZ摄像机的焦距变化范围划分为多个层次尺度：本步骤中，将PTZ摄像机的焦距变化范围划分为N个层次尺度，N为大于1的整数，其中，最粗糙的层次尺度称为第一层次尺度，其对应一个很小的焦距，最清晰的层次尺度是第N层次尺度。然后建立连续两个层次尺度之间的对应关系。

步骤S12将每个层次尺度下的全景分别划分为一个部分场景集合：本步骤中，将每个层次尺度下的全景分别划分为一个部分场景集合。每个层次尺度的全景可以由许多部分场景所代表，每个部分场景的关键帧的参数可以由一个向量代表K＝(α,β,f)，其中α代表PTZ摄像机的左右转动角度，β代表PTZ摄像机的上下转动角度，f代表PTZ摄像机的焦距。部分场景之间的对应关系定义为Scene(K)。假设第n层次尺度(n∈{1...N})的部分场景集用M_n代表。定义第n层次尺度的全景为：

其中，Scene_n为第n层次尺度的全景，Scene(K_n,m)为第n层次尺度下部分场景之间的对应关系，m为M_n中部分场景的编号。

步骤S13找出每个层次尺度下的关键帧集：本步骤中，找出每个层次尺度下的关键帧集(由多个关键帧组成的集合)。关键帧集可以使用不同的算法找出。例如，可以让PTZ摄像机在不同的左右转动角度和上下转动角度随机抓取一个有重叠部分的帧集，然后使用贪心算法找出合适的关键帧集。值得一提的是，使用人工确定关键帧集更好。对于一个狭窄的全景，如建筑物之间的街角，只需要将该狭窄的全景划分成较少的部分场景。对于一个宽阔的全景，可以使用一个正则的方法去设计每个层次尺度的部分场景集。本实施例中，设定[0,Φ_pan]和[0,Φ_tilt]分别为PTZ摄像机的左右转动角度范围和上下转动角度范围。对于第n层次尺度，将左右转动角度范围划分为个离散块，将上下转动角度范围划分为个离散块，这样相邻部分场景的交集和并集可以覆盖这一层次尺度(第n层次尺度)的全景。

步骤S14提取每个关键帧的特征点，找到当前关键帧在下一层次尺度有相同左右转动角度和上下转动角度的相邻关键帧：本步骤中，在确定每个层次尺度的关键帧集之后，提取每个关键帧的特征点，找到当前关键帧在下一层次尺度有相同左右转动角度和上下转动角度的相邻关键帧。

步骤S15寻找相邻关键帧中与当前关键帧的特征点对应的点：本步骤中，寻找相邻关键帧中与当前关键帧的特征点对应的点。

步骤S16通过对应的点计算当前关键帧和相邻关键帧之间的转化矩阵，并存储转化矩阵：本步骤中，将会建立连续两个层次尺度之间的关键帧之间的对应关系，这对于控制PTZ摄像机旋转变焦来跟踪目标是很有用的。如果两个部分场景有重叠的话，这两个关键帧(当前关键帧和相邻关键帧)之间的对应关系可以通过它们的重叠区域来计算。具体的，假定两个相关像素点u_i和u_j分别属于两个部分场景K_i和K_j，他们的关系可以通过一个单应变化表示，其定义如下：

u_i＝H_iju_j

其中，H_ij时转化矩阵，本实施例中是一个3×3矩阵。在得到H_ij后，存储H_ij。

步骤S17将当前关键帧和相邻关键帧的图像四个角分别映射到各自的图像平面并存储：本步骤中，在相邻层次尺度的关键帧之间的转换矩阵建立之后，将当前关键帧和相邻关键帧的图像四个角分别映射到各自的图像平面，并将这个映射关系保存下来供后续使用。

步骤S18捕获一个时间序列的关键帧集，为关键帧集中的每个像素点建立局部模式特征，并通过计算和保持设定个数最频繁发生的局部模式特征来建立部分场景的背景模型：本步骤中，当一个时间序列的关键帧集被捕获后，为每个部分场景建立背景模型。具体来讲，首先计算每个像素的SCS_SILTP(尺度不变局部三值模式)局部模式特征，SCS_SILTP局部模式特征为一种纹理特征，每个部分场景可以看作是由一个固定摄像头所捕获。SCS_SILTP局部模式特征结合时空统计特性，对噪声和尺度不变时的重影有较好的鲁棒性。本步骤中为每个像素点建立这种SCS_SILTP局部模式特征，并且通过计算和设定个数最频繁发生的SCS_SILTP局部模式特征来建立部分场景的背景模型。本实施例中，设定个数为K个，K为大于1的整数。

SILTP(尺度不变局部三元模式)特征是从LTP(局部三值模式)特征发展而来，通过比较一个中心像素点和其相邻像素点的值来计算，增加一个尺度参数实现灰度尺度不变性。给定一个中心像素点(x_c,y_c)，SILTP特征编码如下：

其中，I_c是中心像素点(x_c,y_c)的像素值，是均匀分布在半径为R的圆中的相邻的个像素点的像素值，⊕表示二进制字符串的串联运算符，τ是一个尺度参数，代表比较级别，s_τ定义如下：

SCS_SILTP局部模式特征使用时间信息，以中心对称的方式编码时空信息。可以认为是将中间像素的半径为R的圆从二维的图像平面扩展为三维的时空域。SCS_SILTP局部模式特征的计算方式如下：

其中，I^t表示在时间t捕获的视频帧，和表示球面上的中心对称点，表示图像I^t+r,I^t-r的像素点个数。视频帧I^t上像素点的定位是分开确定的，因为他们的中心对称点在同一帧上。

然后，计算和保持K个最频繁的SCS_SILTP局部模式特征，本实施例中利用模式核密度计算方法为每一个像素点保持一个近似分布。在同一个部分场景中的两个像素的SCS_SILTP局部模式特征p,q之间定义一个距离函数d(p,q)，距离函数d(p,q)为汉明距离，即计算这两个像素的SCS_SILTP局部模式特征之间的不同位的个数，通过异或运算快速计算。然后获得局部模式核f_p(q)＝g(d(p,q))，g是Gaussian-like权重函数。其中，f_p(q)为SCS_SILTP局部模式特征q在均值为p时的核函数。

当给定一个像素点(x,y)，(x,y)为像素点的坐标，保持K个最频繁发生的SCS_SILTP局部模式特征而且SCS_SILTP局部模式特征的概率密度函数可以通过下式近似计算：

其中，Φ(q)为SCS_SILTP局部模式特征的概率密度函数，w_i是加权系数，并且∑w_i＝1。以权重系数降序排列这K个SCS_SILTP局部模式特征。

给定一个新的从像素点(x₁,y₁)的SCS_SILTP局部模式特征p_t，可以更新概率密度函数Φ(q)。SCS_SILTP局部模式特征p_t和K个最频繁发生的SCS_SILTP局部模式特征{p_i}轮流匹配，如果满足条件f_pi(p_t)>T_m，就认为匹配成功，T_m是一个用于匹配的常数阈值。SCS_SILTP局部模式特征p_i的权重系数更新如下：

w_i＝(1-ρ)w_i+ρΓ(p_i,p_t)

其中，ρ是学习率，Γ(p_i,p_t)是一个指示变量，当SCS_SILTP局部模式特征p_i和SCS_SILTP局部模式特征p_t匹配成功时取1，其他情况取0。如果K个SCS_SILTP局部模式特征都没有和当前SCS_SILTP局部模式特征p_t匹配，最小权重系数的SCS_SILTP局部模式特征将被SCS_SILTP局部模式特征p_t所替换，并且初始化一个较小的权重系数。

当PTZ摄像机没有目标跟踪任务时，可以浏览全景，并停在一个部分场景(部分场景)位置，更新局部场景的背景模型。

对于本实施例而言，上述步骤S02还可进一步细化，其细化后的流程图如图3所示，图3中，上述步骤S02进一步包括：

步骤S21提取并存储所有关键帧的ORB特征点：本步骤中，提取并存储所有关键帧的ORB特征点。关键帧的ORB特征点在***初始化时，将被提取和存储。然而直接提取关键帧的特征点是有问题的，如果关键帧没有移动物体存在，是一个很干净的帧，就很难被摄像头捕获。相，如果关键帧中有移动物体，提取出的ORB特征点就会严重影响视频帧的场景定位。本实施例采用2000年CVPR会议文章“Scene modeling for wide area surveillance and image synthesis”中的方法来解决这个问题。使用混合高斯模型为每一个像素点建模，然后取每个像素点的最高权值高斯的均值，形成一幅图像来代表背景图像。在不考虑光照变化的情况下，因为最高权值的高斯就是发生概率最大的值，所以它也是出现数量最多的像素值。假设背景图像出现的频率比任何前景物体出现的频率都高，那么这幅图像就只包含背景，不包含任何前景物体，即是一个干净的关键帧。然后再提取这个干净的关键帧的ORB特征点。

步骤S22确定视频帧的相邻关键帧集：本步骤中，在监控过程中，如果一个新的视频帧被PTZ摄像机捕获，需要将其定位到部分场景中，并且利用匹配的部分场景的背景模型检测出视频帧中的前景物体。首先，从PTZ摄像机的云台中获取当前视频帧I^t的相机参数，例如：左右转动角度、上下转动角度和焦距(α^t,β^t,f^t)。因为任何视频帧的这些参数是离线确定的，并且可以提前知道，这样就可以得到相邻帧的参数集。本实施例中，定义相邻关键帧的集合如下：

Set(I^t)＝{(α,β,f)|＝rnd(f^t)||α-α^t||<T_pan,||β-β^t||<T_tilt}

其中，Set(I^t)为相邻关键帧的集合，函数rnd(f^t)确定当前焦距最近的焦距层次尺度，α^t为当前左右转动角度，β^t为当前上下转动角度，f^t为当前焦距，为了使定位更加精确，本实施例中可以限制PTZ摄像机云台只使用这些离散的层次尺度附近的焦距。T_pan和T_tilt分别是左右转动角度和上下转动角度的差异阈值。通过选择合适的值，会选择四个相关的关键帧会用以后续的过程。

步骤S23提取视频帧的ORB特征点，并将视频帧的ORB特征点与关键帧的ORB特征点进行匹配定位，找出匹配的关键帧：本步骤中，***初始化时会提取和存储每一个关键帧的ORB特征点，所以只需要提取新捕获的视频帧的ORB特征点，并且和已经存储的ORB特征点进行匹配。因为是离线提取关键帧的ORB特征点，本实施例采用LSH(Location Sensitive Hash，位置敏感哈希函数)算法用于ORB特征点的匹配，找出匹配的关键帧，其运行速度较快。在通过ORB特征点匹配找到一个定位集之后，计算视频帧K_i和关键帧K_j的转换矩阵H_ij，本实施例采用随机抽样一致性算法RANSAC来计算转换矩阵。

步骤S24利用匹配的关键帧的背景模型检测视频帧的前景物体：本步骤中，在视频帧和关键帧之间的转化关系确定之后，可以将视频帧定位到关键帧的图像区域中。然后利用已经建立的部分场景的背景模型得到视频帧前景检测的结果。

给定一个从视频帧像素点(x,y)提取的新的SCS_SILTP局部模式特征p_t，可以确定它是否是前景。关键帧背景模型中K个SCS_SILTP局部模式特征中的前Q个被用来做决定，Q是通过下式获得：

其中，T_b∈[0,1]是一个背景阈值，其用于指示多少数据应该被认为是背景，所以一些新增加的SCS_SILTP局部模式特征(例如前景)被排除在外。然后，SCS_SILTP局部模式特征p_t是否是前景的概率计算公式如下：

其中，Ρ(p_t)是SCS_SILTP局部模式特征p_t是背景的概率，是SCS_SILTP局部模式特征p_t在均值为p_i时的核函数，w_i为权重，如果Ρ(p_t)小于一个预先定义的常数参数T_bg，则像素点(x,y)被认为是前景。

另外，可以通过大量的关键帧优化前景检测的结果。具体地，当一个像素点有一些可能值在相关关键帧中认为是背景，使用他们的几何平均值作为最终的概率值

当背景模型中使用SCS-SILTP局部模式特征时，同一个位置的视频帧可以被多次捕获用于前景检测，因为他们包含着不同的时间信息。因此PTZ摄像机不需要不停地调整，只需要间歇调整就可以，这样就可以减少用于场景定位的计算代价。

如SILTP、SCS-SILTP等局部模式特征，仅利用像素值的比较，这使得它们鲁棒性较强。而且噪声抵消参数τ也有利于它们的鲁棒性。而且，它们对场景定位和前景检测的影响是可以接受的。

对于本实施例而言，上述步骤S23还可进一步细化，其细化后的流程图如图4所示。图4中，上述步骤S23进一步包括：

步骤S231将视频帧的图像划分为按照设定行数和设定列数排列的多个区域：在提取ORB特征点时会存在一个问题，就是许多ORB特征点来自图像的一小块区域。这对视频帧进行场景定位是不利的。为了解决这个问题，本实施例通过引入区域限制来提取ORB特征点。

将视频帧的图像划分为按照设定行数和设定列数排列的多个区域，设定行数为M行，设定列数为N列，这样就获得一个M×N的区域集。

步骤S232从每个区域中分别提取其个数小于设定阈值的ORB特征点：本步骤中，用设定阈值T_s用来限制每一个子区域中提取出来的特征点个数。有了这个限制，所有特征点都从一个子区域中提取是不可能的。也就是从每个区域中分别提取其个数小于设定阈值的ORB特征点。如果设定出合适的M,N值，可以使得ORB特征点均匀地从图像整个区域被提取出。而且，限制每个子区域ORB特征点个数之后，在匹配时可以减少计算转化矩阵的时间。

步骤S233将提取的ORB特征点与关键帧的ORB特征点进行匹配定位，找出匹配的关键帧：本步骤中，将提取的ORB特征点与关键帧的ORB特征点进行匹配定位，找出匹配的关键帧。

对于本实施例而言，上述步骤S03还可进一步细化，其细化后的流程图如图5所示。图5中，上述步骤S03进一步包括：

步骤S31在视频流的第一个视频帧中的前景物体中框出跟踪目标，并初始化跟踪参数：本步骤中，在视频流的第一个视频帧中的前景物体中框出跟踪目标，并初始化跟踪参数。本实施例中，使用多层次全景模型，可以方便地提取出新捕获的视频帧的前景物体。假设T是一个具体的***。它通过处理当前帧输出一个包含跟踪物体的矩形框R_t。可以利用前景块和矩形框R_t的交叉，局部调整矩形框R_t的位置和尺寸优化跟踪结果。而且，当由于背景杂乱出现跟踪失败时，还可以恢复跟踪。在这种情况下，可以从临近的前景物体中搜索出与跟踪目标最相似的一个。

步骤S32根据跟踪参数得到跟踪目标在下一个视频帧中的矩形框：本步骤中，根据跟踪参数得到跟踪目标在下一个视频帧中的矩形框R_t。

步骤S33通过视频帧的场景定位和部分场景的背景模型得到下一个视频帧的前景检测结果：本步骤中，通过视频帧的场景定位和部分场景的背景模型得到下一个视频帧的前景检测结果。

步骤S34通过前景检测结果优化跟踪结果或恢复跟踪，并更新矩形框：本步骤中，通过前景检测结果优化跟踪结果或恢复跟踪，并更新矩形框R_t。

步骤S35更新跟踪参数，并依据跟踪结果调整PTZ摄像机：本步骤中，更新跟踪参数，并依据跟踪结果调整PTZ摄像机。具体来讲，根据矩形框R_t确定是否有必要调整PTZ摄像机。当物体向左移动接近于图像左边框时(小于一个预先定义水平阈值T_horizon)，PTZ摄像机的左右转动角度会被向左调整。如果物体向左上移动并且触发水平和垂直两个限制阈值(T_horizon,T_vertical)时，PTZ摄像机会向左上旋转。PTZ摄像机的变焦是和物体尺寸与图像尺寸的比率相关的。如果这个比率小于T_in时，PTZ摄像机将放大焦距倍数。相反，如果比率大于T_out时，PTZ摄像机将缩小焦距倍数。

假设图像矩形框R_t由四个参数组成[0,0,W,H]，W是图像的宽度，H是图像的高度。矩形框R_t的参数由物体距当前图像左、上、右、下的距离值表示。物体的运动速度可以通过物体在最近两帧中的位置信息计算。PTZ摄像机的调整规则如下：

其中，为物体距当前图像左边界的距离值，为物体距当前图像上边界的距离值，为物体距当前图像右边界的距离值，为物体距当前图像下边界的距离值，在跟踪目标时，如果调整PTZ摄像机恰好到某个部分场景的位置，这样就会减少场景定位的计算代价。在只需要旋转PTZ摄像机时，是很简单的，只需要旋转左右转动角度和上下转动角度到一个合适的相邻部分场景的位置。然而，当需要PTZ摄像机缩放变焦时，就需要额外的计算，这时不得不计算视频帧和关键帧的转化矩阵，并且将物体定位到关键帧的坐标平面，去查看物体是否被完全包含进去。在这种情况下，将PTZ摄像机变焦，然后处理新的视频帧更好。此时，如果PTZ摄像机正好处在一个部分场景的位置，通过提前得到并且存储的关键帧之间的对应关系在相邻层次尺度找出一个合适的关键帧是很容易的。因为相邻层次尺度的关键帧的图像框可以通过映射定位到视频帧的坐标平面，只需要找到包含物体的最合适的关键帧即可。

步骤S36通过PTZ摄像机的参数将跟踪目标重新定位到监控画面中：本步骤中，通过PTZ摄像机的参数将跟踪目标重新定位到监控画面中。

本发明可以使PTZ摄像机自动控制云台进行全方位旋转和镜头缩放变焦，针对被锁定的可疑目标进行视觉导向的自动跟踪，以确保跟踪目标持续以放大特写画面出现在镜头中。这样安防人员可以更方便地监控到可疑目标，同时还可以用于事后取证。本发明能够使PTZ摄像机自动跟踪可疑目标，大大减少监控人员的工作，减少了监控投入的人力资源以及时间精力，这样能减少监控***的经济投入。本发明将PTZ摄像机的焦距分为几个层次尺度，在每个层次尺度都以一个部分场景集合代表全景。在对部分场景进行背景建模时，采用SCS-SILTP局部模式特征，在场景定位之后，对视频帧进行前景检测时，基于SCS-SILTP局部模式特征的背景模型在准确率和召回率上，都比PGMM(全景高斯混合体模型)、MoG(混合高斯背景模型)、Bayes(贝叶斯)和基于SILTP(尺度不变局部三元模式)特征的背景模型效果更好。在进行场景定位时，采用ORB特征点，比采用SIFT、SURF特征速度更快。

本实施例还涉及一种实现上述使用PTZ摄像机对目标进行自动跟踪的方法的装置，其结构示意图如图6所示。图6中，该装置包括层次划分模型建立单元1、提取匹配检测单元2和跟踪优化调整单元3；其中，层次划分模型建立单元1用于将PTZ摄像机的焦距变化范围划分为多个层次尺度，将每个层次尺度下的全景分别划分为一个部分场景的集合，并分别为每个部分场景建立背景模型；提取匹配检测单元2用于捕获当前视频帧，提取当前视频帧的ORB特征点，并分别找到每个层次尺度中与当前视频帧的ORB特征点匹配的部分场景，并使用被匹配的部分场景检测当前视频帧的前景物体；跟踪优化调整单元3用于利用当前视频帧的前景物体的检测结果优化跟踪结果，并根据跟踪结果调整PTZ摄像机，使跟踪目标保持在监控画面中。由于采用了新的多层次全景模型，使用一个部分场景集合来提供全景信息，利用部分场景的背景模型代替全景的背景模型。在帧的场景定位中，采用了ORB特征点用于匹配，多层次全景模型解决了帧到帧方法缺乏全景信息，不能处理焦距变化的问题，也解决了帧到全景图方法的缝合问题、运动视差问题和更新模型代价高的问题。使用ORB特征点进行匹配，使得场景定位速度更快、准确度更高。

本实施例中，层次划分模型建立单元1进一步包括焦距划分模块11、部分场景划分模块12、关键帧集查找模块13、相邻关键帧查找模块14、对应点寻找模块15、转化矩阵计算存储模块16、映射模块17和模式特征建立模块18；其中，焦距划分模块11用于将PTZ摄像机的焦距变化范围划分为多个层次尺度；部分场景划分模块12用于将每个层次尺度下的全景分别划分为一个部分场景集合；关键帧集查找模块13用于找出每个层次尺度下的关键帧集；相邻关键帧查找模块14用于提取每个关键帧的特征点，找到当前关键帧在下一层次尺度有相同左右转动角度和上下转动角度的相邻关键帧；对应点寻找模块15用于寻找相邻关键帧中与当前关键帧的特征点对应的点；转化矩阵计算存储模块16用于通过对应的点计算当前关键帧和相邻关键帧之间的转化矩阵，并存储转化矩阵；映射模块17用于将当前关键帧和相邻关键帧的图像四个角分别映射到各自的图像平面并存储；模式特征建立模块18用于捕获一个时间序列的关键帧集，为关键帧集中的每个像素点建立局部模式特征，并通过计算和保持设定个数最频繁发生的局部模式特征来建立部分场景的背景模型。

本实施例中，提取匹配检测单元2进一步包括特征点提取存储模块21、相邻关键帧集确定模块22、特征点提取匹配模块23和前景物体检测模块24；其中，特征点提取存储模块21用于提取并存储所有关键帧的ORB特征点；相邻关键帧集确定模块22用于确定视频帧的相邻关键帧集；特征点提取匹配模块23用于提取视频帧的ORB特征点，并将视频帧的ORB特征点与关键帧的ORB特征点进行匹配定位，找出匹配的关键帧；前景物体检测模块24用于利用匹配的关键帧的背景模型检测视频帧的前景物体。

本实施例中，跟踪优化调整单元3进一步包括跟踪目标框出模块31、矩形框获取模块32、前景检测结果获取模块33、优化更新模块34、更新调整模块35和跟踪目标定位模块36；其中，跟踪目标框出模块31用于在视频流的第一个视频帧中的前景物体中框出跟踪目标，并初始化跟踪参数；矩形框获取模块32用于根据跟踪参数得到所述跟踪目标在下一个视频帧中的矩形框；前景检测结果获取模块33用于通过视频帧的场景定位和部分场景的背景模型得到下一个视频帧的前景检测结果；优化更新模块34用于通过前景检测结果优化跟踪结果或恢复跟踪，并更新矩形框；更新调整模块35用于更新跟踪参数，并依据跟踪结果调整PTZ摄像机；跟踪目标定位模块36用于通过PTZ摄像机的参数将跟踪目标重新定位到监控画面中。

图7为本实施例中特征点提取匹配模块的结构示意图，图7中，特征点提取匹配模块23进一步包括区域划分模块231、区域特征点提取模块232和匹配关键帧查找模块233；其中，区域划分模块231用于将视频帧的图像划分为按照设定行数和设定列数排列的多个区域；区域特征点提取模块232用于从每个区域中分别提取其个数小于设定阈值的ORB特征点；匹配关键帧查找模块233用于将提取的ORB特征点与关键帧的ORB特征点进行匹配定位，找出匹配的关键帧。

总之，在本实施例中，使用基于SCS-SILTP局部模式特征的背景模型，在本实施例的一些情况下，在对准确率和召回率要求不高的情况下，也可以使用PGMM背景模型、MoG背景模型、Bayes背景模型或基于SILTP特征的背景模型。本实施例使用ORB特征点进行场景定位，在本实施例的一些情况下，在对运行速度要求不高的情况下，也可以使用SIFT、SURF特征点对视频帧进行场景定位。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种使用PTZ摄像机对目标进行自动跟踪的方法，其特征在于，包括如下步骤：

A)将所述PTZ摄像机的焦距变化范围划分为多个层次尺度，将每个层次尺度下的全景分别划分为一个部分场景的集合，并分别为每个部分场景建立背景模型；

B)捕获当前视频帧，提取所述当前视频帧的ORB特征点，并分别找到每个层次尺度中与所述当前视频帧的ORB特征点匹配的部分场景，并使用被匹配的部分场景检测所述当前视频帧的前景物体；

C)利用所述当前视频帧的前景物体的检测结果优化跟踪结果，并根据所述跟踪结果调整所述PTZ摄像机，使跟踪目标保持在监控画面中。

2.根据权利要求1所述的使用PTZ摄像机对目标进行自动跟踪的方法，其特征在于，所述步骤A)进一步包括：

A1)将所述PTZ摄像机的焦距变化范围划分为多个层次尺度；

A2)将每个层次尺度下的全景分别划分为一个部分场景集合；

A3)找出每个所述层次尺度下的关键帧集；

A4)提取每个关键帧的特征点，找到当前关键帧在下一层次尺度有相同左右转动角度和上下转动角度的相邻关键帧；

A5)寻找所述相邻关键帧中与所述当前关键帧的特征点对应的点；

A6)通过所述对应的点计算所述当前关键帧和相邻关键帧之间的转化矩阵，并存储所述转化矩阵；

A7)将所述当前关键帧和相邻关键帧的图像四个角分别映射到各自的图像平面并存储；

A8)捕获一个时间序列的关键帧集，为所述关键帧集中的每个像素点建立局部模式特征，并通过计算和保持设定个数最频繁发生的局部模式特征来建立部分场景的背景模型。

3.根据权利要求2所述的使用PTZ摄像机对目标进行自动跟踪的方法，其特征在于，所述步骤B)进一步包括：

B1)提取并存储所有关键帧的ORB特征点；

B2)确定视频帧的相邻关键帧集；

B3)提取所述视频帧的ORB特征点，并将所述视频帧的ORB特征点与所述关键帧的ORB特征点进行匹配定位，找出匹配的关键帧；

B4)利用所述匹配的关键帧的背景模型检测所述视频帧的前景物体。

4.根据权利要求1至3任意一项所述的使用PTZ摄像机对目标进行自动跟踪的方法，其特征在于，所述步骤C)进一步包括：

C1)在视频流的第一个视频帧中的前景物体中框出跟踪目标，并初始化跟踪参数；

C2)根据所述跟踪参数得到所述跟踪目标在下一个视频帧中的矩形框；

C3)通过视频帧的场景定位和部分场景的背景模型得到所述下一个视频帧的前景检测结果；

C4)通过所述前景检测结果优化跟踪结果或恢复跟踪，并更新所述矩形框；

C5)更新所述跟踪参数，并依据所述跟踪结果调整所述PTZ摄像机；

C6)通过所述PTZ摄像机的参数将所述跟踪目标重新定位到监控画面中。

5.根据权利要求3所述的使用PTZ摄像机对目标进行自动跟踪的方法，其特征在于，所述步骤B3)进一步包括：

B31)将视频帧的图像划分为按照设定行数和设定列数排列的多个区域；

B32)从每个所述区域中分别提取其个数小于设定阈值的ORB特征点；

B33)将提取的ORB特征点与所述关键帧的ORB特征点进行匹配定位，找出匹配的关键帧。

6.一种实现如权利要求1所述的使用PTZ摄像机对目标进行自动跟踪的方法的装置，其特征在于，包括：

层次划分模型建立单元：用于将所述PTZ摄像机的焦距变化范围划分为多个层次尺度，将每个层次尺度下的全景分别划分为一个部分场景的集合，并分别为每个部分场景建立背景模型；

提取匹配检测单元：用于捕获当前视频帧，提取所述当前视频帧的ORB特征点，并分别找到每个层次尺度中与所述当前视频帧的ORB特征点匹配的部分场景，并使用被匹配的部分场景检测所述当前视频帧的前景物体；

跟踪优化调整单元：用于利用所述当前视频帧的前景物体的检测结果优化跟踪结果，并根据所述跟踪结果调整所述PTZ摄像机，使跟踪目标保持在监控画面中。

7.根据权利要求6所述的装置，其特征在于，所述层次划分模型建立单元进一步包括：

焦距划分模块：用于将所述PTZ摄像机的焦距变化范围划分为多个层次尺度；

部分场景划分模块：用于将每个层次尺度下的全景分别划分为一个部分场景集合；

关键帧集查找模块：用于找出每个所述层次尺度下的关键帧集；

相邻关键帧查找模块：用于提取每个关键帧的特征点，找到当前关键帧在下一层次尺度有相同左右转动角度和上下转动角度的相邻关键帧；

对应点寻找模块：用于寻找所述相邻关键帧中与所述当前关键帧的特征点对应的点；

转化矩阵计算存储模块：用于通过所述对应的点计算所述当前关键帧和相邻关键帧之间的转化矩阵，并存储所述转化矩阵；

映射模块：用于将所述当前关键帧和相邻关键帧的图像四个角分别映射到各自的图像平面并存储；

模式特征建立模块：用于捕获一个时间序列的关键帧集，为所述关键帧集中的每个像素点建立局部模式特征，并通过计算和保持设定个数最频繁发生的局部模式特征来建立部分场景的背景模型。

8.根据权利要求7所述的装置，其特征在于，所述提取匹配检测单元进一步包括：

特征点提取存储模块：用于提取并存储所有关键帧的ORB特征点；

相邻关键帧集确定模块：用于确定视频帧的相邻关键帧集；

特征点提取匹配模块：用于提取所述视频帧的ORB特征点，并将所述视频帧的ORB特征点与所述关键帧的ORB特征点进行匹配定位，找出匹配的关键帧；

前景物体检测模块：用于利用所述匹配的关键帧的背景模型检测所述视频帧的前景物体。

9.根据权利要求6至8任意一项所述的装置，其特征在于，所述跟踪优化调整单元进一步包括：

跟踪目标框出模块：用于在视频流的第一个视频帧中的前景物体中框出跟踪目标，并初始化跟踪参数；

矩形框获取模块：用于根据所述跟踪参数得到所述跟踪目标在下一个视频帧中的矩形框；

前景检测结果获取模块：用于通过视频帧的场景定位和部分场景的背景模型得到所述下一个视频帧的前景检测结果；

优化更新模块：用于通过所述前景检测结果优化跟踪结果或恢复跟踪，并更新所述矩形框；

更新调整模块：用于更新所述跟踪参数，并依据所述跟踪结果调整所述PTZ摄像机；

跟踪目标定位模块：用于通过所述PTZ摄像机的参数将所述跟踪目标重新定位到监控画面中。

10.根据权利要求9所述的装置，其特征在于，所述特征点提取匹配模块进一步包括：

区域划分模块：用于将视频帧的图像划分为按照设定行数和设定列数排列的多个区域；

区域特征点提取模块：用于从每个所述区域中分别提取其个数小于设定阈值的ORB特征点；

匹配关键帧查找模块：用于将提取的ORB特征点与所述关键帧的ORB特征点进行匹配定位，找出匹配的关键帧。