CN112055158B - 目标跟踪方法、监控设备、存储介质及*** - Google Patents

Abstract

本发明涉及安防技术领域，具体涉及目标跟踪方法、监控设备、存储介质及***，所述方法包括获取当前图像帧，并对当前图像帧进行目标识别；当当前图像帧中存在跟踪目标时，基于跟踪目标在当前图像帧中的位置，确定本地云台的运动参数，所述运动参数包括运动方向、运动速度或变倍中的至少一种；根据本地云台的运动参数，控制所本地云台的运动，以对跟踪目标进行跟踪。在本地的监控设备中进行目标跟踪，从而实现利用单独的云台监控设备就可实现对某一区域实现目标识别及轨迹跟踪，避免了采用多个监控设备间的联动对目标进行跟踪，进而可以避免多个设备联动必须的坐标标定过程，且通过对本地云台进行直接控制，可以保证跟踪的实时性和准确性。

Description

目标跟踪方法、监控设备、存储介质及***

技术领域

本发明涉及安防技术领域，具体涉及目标跟踪方法、监控设备、存储介质及***。

背景技术

目前监控领域常用的枪球联动、雷球联动或者全景特写式跟踪，均为雷达或固定摄像机等设备对某一区域进行监控并使用云台摄像机进行特写放大。其中，多设备间的联动常采用的方式是，首先建立多设备之间的坐标系，例如，将监控平台作为坐标原点建立坐标系，然后标定各个设备在该坐标系中的坐标。具体在监控联动过程中，各个设备将采集到的图像发送给监控平台，由监控平台确定当前跟踪到目标的监控设备，并向该监控设备发送相应的控制指令，以控制云台的运动从而对目标进行特写放大。

然而，上述技术方案中，需要在多个设备之间建立坐标系，并进行相应的坐标标定。若某一区域内的监控设备进行了增减，就需要重新进行各个设备的坐标标定，且云台是受监控平台控制的，从而导致跟踪的实时性较低，进而带来目标跟踪的准确性偏低。

发明内容

有鉴于此，本发明实施例提供了一种目标跟踪方法、监控设备、存储介质及***，以解决目标跟踪的实时性和准确性偏低的问题。

根据第一方面，本发明实施例提供了一种目标跟踪方法，包括：

获取当前图像帧，并对所述当前图像帧进行目标识别；

当所述当前图像帧中存在跟踪目标时，基于所述跟踪目标在所述当前图像帧中的位置，确定本地云台的运动参数，所述运动参数包括运动方向、运动速度或变倍中的至少一种；

根据所述本地云台的运动参数，控制所述本地云台的运动，以对所述跟踪目标进行跟踪。

本发明实施例提供的目标跟踪方法，在本地的监控设备中进行跟踪目标的识别以及跟踪，从而实现利用单独的云台监控设备就可实现对某一区域实现目标识别及轨迹跟踪，避免了采用多个监控设备间的联动对目标进行跟踪，进而可以避免多个设备联动必须的坐标标定过程，且通过对本地云台进行直接控制，可以保证跟踪的实时性和准确性。

结合第一方面，在第一方面第一实施方式中，所述基于所述跟踪目标在所述当前图像帧中的位置，确定本地云台的运动参数，包括：

获取当前图像帧的中心位置；

基于所述跟踪目标与所述中心位置的位置关系，确定所述运动方向以及运动速度。

本发明实施例提供的目标跟踪方法，利用跟踪目标与当前图像帧中心位置的位置关系，确定出的运动方向以及运动速度，以使得在后续的跟踪过程中跟踪目标能够处于图像帧的中心位置，提高了跟踪的准确性及可靠性。

结合第一方面第一实施方式，在第一方面第二实施方式中，所述基于所述跟踪目标与所述中心位置的位置关系，确定所述运动方向以及运动速度，包括：

利用所述跟踪目标相对于所述中心位置的角度，确定所述运动方向；

获取所述跟踪目标在当前图像帧与上一图像帧中的位置偏差；

利用所述跟踪目标相对于所述中心位置的角度以及所述位置偏差，确定所述运动速度。

本发明实施例提供的目标跟踪方法，由于跟踪目标离画面中心位置越远速度越快，同时相邻帧之间跟踪目标的坐标变化越大速度越快，在进行运动速度确定时将这两者进行结合，可以保证所确定出的运动速度的准确性。

结合第一方面，或第一方面第一实施方式，或第一方面第二实施方式，在第一方面第三实施方式中，所述基于所述跟踪目标在所述当前图像帧中的位置，确定本地云台的运动参数，包括：

获取所述跟踪目标在所述当前图像帧中所占的比例；

基于所述比例确定所述本地云台的变倍。

本发明实施例提供的目标跟踪方法，为确保不会因为云台运动太快将跟踪目标直接甩出画面，就要求跟踪目标在画面中占比较小，为了保证识别精度以及跟踪目标的视频清晰度，要求跟踪目标尽量较大，但会易丢失；基于此，利用跟踪目标在当前图像帧中所占的比例确定本地云台的变倍可以保证上述两种情况之间的平衡。

结合第一方面第三实施方式，在第一方面第四实施方式中，所述方法还包括：

判断所述变倍是否满足预设条件；

当所述变倍不满足所述预设条件时，将本地云台的参数上报至监控平台，以使得所述监控平台调用其他监控设备对所述跟踪目标进行联动跟踪，所述云台的参数包括云台的角度和变倍。

本发明实施例提供的目标跟踪方法，在变倍不满足预设条件时，表示此时跟踪目标已经超出本地监控设备的监控能力，本地监控设备已经没有足够的性能去跟踪目标，将本地云台的运动参数上报至监控平台以调用其他监控设备对跟踪目标进行联动跟踪，从而可以实现多监控设备一体对一处较大范围的区域进行全部布防。

结合第一方面，在第一方面第五实施方式中，所述根据所述本地云台的运动参数，控制所述本地云台的运动，以对所述跟踪目标进行跟踪，包括：

利用所述运动参数，控制所述本地云台的运动；

释放所述当前图像帧并获取下一图像帧，以对所述跟踪目标进行跟踪。

本发明实施例提供的目标跟踪方法，通过释放当前图像帧可以节约本地监控设备的存储空间，提高跟踪效率。

结合第一方面第五实施方式，在第一方面第六实施方式中，当本地当前开启的跟踪方式为告警联动跟踪时，所述根据所述本地云台的运动参数，控制所述本地云台的运动，以对所述跟踪目标进行跟踪，还包括：

对所述跟踪目标进行告警处理；

判断所述跟踪目标是否符合抓拍条件；

当所述跟踪目标符合抓拍条件时，对所述跟踪目标进行抓拍，并将抓拍结果上传至监控平台。

本发明实施例提供的目标跟踪方法，在本地当前开启的跟踪方式为告警联动跟踪时，对跟踪目标进行告警处理及后续的抓拍，从而利用单一的监控设备就可以实现智能联动跟踪，使得跟踪结果能够满足用户需求。

结合第一方面，在第一方面第七实施方式中，所述方法还包括：

当所述当前图像帧中不存在跟踪目标时，基于上一图像帧中的所述跟踪目标，确定所述跟踪目标是否丢失；

当所述跟踪目标丢失时，将本地云台的参数上报至监控平台，以使得所述监控平台调用其他监控设备对所述跟踪目标进行联动跟踪，所述云台的参数包括云台的角度和变倍。

本发明实施例提供的目标跟踪方法，在当前图像帧中不存在跟踪目标时，将本地云台的参数上报至监控平台，以调用其他监控设备对跟踪目标进行联动跟踪，可以避免单一监控设备在某一角度的误检测，提高了目标跟踪的抗干扰性。

结合第一方面，在第一方面第八实施方式中，所述对所述当前图像帧进行目标识别，以确定所述待处理图像中的跟踪目标，包括：

将所述当前图像帧输入至少一个类别检测模型中，确定各个类别检测模型对应的检测结果；

基于各个类别检测模型对应的检测结果，确定目标类别检测模型，以对后续的图像帧进行目标识别。

本发明实施例提供的目标跟踪方法，在识别前至少一个类别检测模型均会运行，根据检测结果确定目标类别检测模型，后续跟踪过程中只启用该目标类别检测模型，可以确保目标识别速度。这是由于跟踪这种功能对单帧图像识别时间非常敏感，本地的处理性能一定的情况下，跟踪过程中只跑单个模型可以有效改善效果。

根据第二方面，本发明实施例还提供了一种目标跟踪装置，包括：

获取模块，用于获取当前图像帧，并对所述当前图像帧进行目标识别；

确定模块，用于当所述当前图像帧中存在跟踪目标时，基于识别出的跟踪目标在所述当前图像帧中的位置，确定本地云台的运动参数，所述运动参数包括运动方向、速度或变倍中的至少一种；

控制模块，用于根据所述本地云台的运动参数，控制所述本地云台的运动，以对所述跟踪目标进行跟踪。

本发明实施例提供的目标跟踪装置，在本地的监控设备中进行跟踪目标的识别以及跟踪，从而实现利用单独的云台监控设备就可实现对某一区域实现目标识别及轨迹跟踪，避免了采用多个监控设备间的联动对目标进行跟踪，进而可以避免多个设备联动必须的坐标标定过程，且通过对本地云台进行直接控制，可以保证跟踪的实时性和准确性。

根据第三方面，本发明实施例提供了一种监控设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的目标跟踪方法。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的目标跟踪方法。

根据第五方面，本发明实施例还提供了一种目标跟踪***，包括：

至少两个本发明第三方面中所述的监控设备；

监控平台，与所述监控设备连接，所述监控平台用于基于对跟踪目标进行跟踪的当前监控设备的云台参数，调用其他监控设备对所述跟踪目标进行联动跟踪。

本发明实施例提供的目标跟踪***，监控平台利用当前监控设备的云台参数调用其他监控设备对跟踪目标进行联动跟踪，可以避免单一监控设备在某一角度的误检测，提高了目标跟踪***的抗干扰性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例中目标跟踪***的结构示意图；

图2是根据本发明实施例的目标跟踪方法的流程图；

图3是根据本发明实施例的目标跟踪方法的流程图；

图4是根据本发明实施例的目标跟踪方法的流程图；

图5是根据本发明实施例的有特定系列的低层特征的逻辑功能示意图；

图6是根据本发明实施例的目标跟踪的功能使用页面示意图；

图7是根据本发明实施例的目标跟踪的功能使用页面示意图；

图8是根据本发明实施例的目标跟踪装置的结构框图；

图9是本发明实施例提供的监控设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种监控***，如图1所示，该监控***包括监控平台以及至少两个监控设备，所述的监控平台与各个所述监控设备连接。

其中，监控设备包括图像传感器、处理器以及云台。所述的图像传感器用于采集图像，处理器用于对采集到的图像进行目标识别并基于识别结果确定云台的运动参数以控制云台的运动，云台带动图像传感器运动，从而实现对目标进行识别及轨迹跟踪。

监控平台用于实现各个监控设备的联动跟踪，例如，监控设备1识别出跟踪目标，监控设备1的处理器基于识别出的跟踪目标在图像中的位置，确定监控设备1的云台的运动参数；在确定出云台的运动参数之后，控制云台的运动，以对目标进行跟踪。当跟踪目标超出监控设备1的监控范围，或监控设备1识别不到跟踪目标时，监控设备1将当前云台的参数上传至监控平台。监控平台在接收到监控设备1的云台的参数之后，可以利用各个监控设备的位置关系，调用其他的监控设备对跟踪目标进行继续跟踪。

作为本实施例的一种可选实施方式，若所属环境部署了多个监控设备，可通过监控平台(支持GB28181或sip连接监控平台，或使用onvif协议连接NVR)，对多个监控设备进行协调管理，形成组网。此时有以下流程：

(1)跟踪过程中，若当前跟踪目标已进入其他云台IPC的布防区域，则上报平台当前监控设备的云台的参数(即，PTZ)以及目标特征，调度其它云台摄像机进行辅助识别，可以实现抗干扰以及部分场景下的目标丢失找回；(2)若目标超出当前相机监控范围，用同样方式，根据PTZ及目标特征，调度其它可监控到目标的设备，完成接力跟踪。

在本实施例所述的目标跟踪***中，利用单一监控设备实现单球跟踪，其中，单球跟踪使用的各部件可以固定于某个单一的模具内部作为一个标准的云台IPC监控设备单独使用，亦可按本文的方式单个设备即可作为一个跟踪卡口使用，使用便捷，更去除了常见的多设备联动必须的坐标标定过程，也更易于安装部署。若一定区域内部署了多台设备，可由平台协调对跟踪进行优化增强。

根据本发明实施例，提供了一种目标跟踪方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种目标跟踪方法，可用于上述的监控设备，图2是根据本发明实施例的目标跟踪方法的流程图，如图2所示，该流程包括如下步骤：

S11，获取当前图像帧，并对当前图像帧进行目标识别。

其中，当前图像帧可以是监控设备实时采集到的原始图像帧，也可以是对原始图像帧进行预处理后得到的图像帧。其中，所述的预处理可以是对原始图像帧进行分辨率、格式转换以及图像感兴趣区域的裁剪等等。在此对具体的预处理过程并不做任何限制，具体可以根据实际情况进行相应的设置。

监控设备在获取到当前图像帧之后，对当前图像帧进行目标识别。例如，可以采用检测模型对当前图像帧进行目标识别，也可以对当前图像帧进行图像处理，以识别出当前图像帧中的跟踪目标。

例如，若当前需要跟踪的对象是人，那么就可以将当前图像帧输入至行人检测模型；若当前需要跟踪的对象是车辆，那么就可以将当前图像帧输入至车辆检测模型，等等。

在本实施例中对目标识别的方法并不做任何限定，只需保证监控设备能够进行目标识别即可。

S12，判断当前图像帧中是否存在跟踪目标。

监控设备对当前图像帧进行目标识别的识别结果，可能是当前图像帧中存在跟踪目标，也可能是当前图像帧中不存在跟踪目标。

当所述当前图像帧中存在跟踪目标时，执行S13；否则，执行其他操作。其中，所述的其他操作可以是释放当前图像帧，等待下一图像帧；也可以是上报监控平台，以使得监控平台调用其他监控设备对跟踪目标进行联动跟踪。

S13，基于跟踪目标在当前图像帧中的位置，确定本地云台的运动参数。

其中，所述运动参数包括运动方向、运动速度或变倍中的至少一种。

在当前图像帧中存在跟踪目标时，监控设备就可以确定跟踪目标在当前图像帧中的位置。跟踪目标在当前图像帧中的位置与跟踪目标与监控设备的相对位置有关，若要对跟踪目标进行跟踪，就需要利用跟踪目标在当前图像帧中的位置调整监控设备与跟踪目标之间的相对位置。而监控设备与跟踪目标之间的相对位置的调整是通过云台的运动实现的。因此，就需要确定本地云台的运动参数。

其中，为了保证监控设备能够正对跟踪目标进行跟踪，相应地，跟踪目标在监控设备所采集的图像中的位置就可以处于该图像的中心位置处。因此，监控设备利用跟踪目标在当前图像帧中的位置，就可以确定出本地云台的运动参数。

具体将在下文中对该步骤进行详细描述。

S14，根据本地云台的运动参数，控制本地云台的运动，以对跟踪目标进行跟踪。

监控设备在确定出本地云台的运动参数之后，控制本地云台的运动，使得监控设备的图像传感器对着跟踪目标进行图像采集，从而可以采集到清晰的图像，以保证图像识别的准确性。

在本实施例的一些可选实施方式中，监控设备还可以对跟踪目标进行抓拍、告警等处理。具体可以根据实际情况进行相应的设置，在此并不做任何限制。

本实施例提供的目标跟踪方法，在本地的监控设备中进行跟踪目标的识别以及跟踪，从而实现利用单独的云台监控设备就可实现对某一区域实现目标识别及轨迹跟踪，避免了采用多个监控设备间的联动对目标进行跟踪，进而可以避免多个设备联动必须的坐标标定过程，且通过对本地云台进行直接控制，可以保证跟踪的实时性和准确性。

在本实施例中提供了一种目标跟踪方法，可用于上述的监控设备，图3是根据本发明实施例的目标跟踪方法的流程图，如图3所示，该流程包括如下步骤：

S21，获取当前图像帧，并对当前图像帧进行目标识别。

详细请参见图2所示实施例的S11，在此不再赘述。

S22，判断当前图像帧中是否存在跟踪目标。

当所述当前图像帧中存在跟踪目标时，执行S23；否则，执行其他操作。其中，所述的其他操作可以是释放当前图像帧，等待下一图像帧；也可以是上报监控平台，以使得监控平台调用其他监控设备对跟踪目标进行联动跟踪。

详细请参见图2所示实施例的S12，在此不再赘述。

S23，基于跟踪目标在当前图像帧中的位置，确定本地云台的运动参数。

其中，所述运动参数包括运动方向、运动速度或变倍中的至少一种。

具体地，上述S23包括如下步骤：

S231，获取当前图像帧的中心位置。

监控设备在获取到当前图像帧之后，可以利用当前图像帧的尺寸确定当前图像帧的中心位置。其中，中心位置可以采用中心点坐标的形式表示。

S232，基于跟踪目标与中心位置的位置关系，确定运动方向以及运动速度。

监控设备在上述S21中识别出跟踪目标之后，可以确定出跟踪目标的坐标信息，例如，可以采用检测框标记出跟踪目标，同时就可以利用检测框的坐标信息表示跟踪目标的位置信息。

监控设备在确定出跟踪目标的位置信息以及当前图像帧的中心位置之后，基于这两个位置即可确定运动方向以及运动速度。其中，运动方向可以分解为水平方向与垂直方向；运动速度的确定还需要结合跟踪目标在上一图像帧中的位置进行。

在本实施例的一种可选实施方式中，上述S232包括如下步骤：

(1)利用跟踪目标相对于中心位置的角度，确定运动方向。

监控设备在确定出跟踪目标在当前图像帧中的位置信息，以及当前图像帧的中心位置之后，就可以确定出跟踪目标相对于中心位置的角度。

在确定出跟踪目标相对于中心位置的角度后，就可以确定水平角度与垂直角度，从而得到监控设备的运动方向。

(2)获取跟踪目标在当前图像帧与上一图像帧中的位置偏差。

监控设备提取出跟踪目标在上一图像帧中的位置信息，为下文描述方面将上一图像帧中的位置信息称之为第一位置信息，将当前图像帧中的位置信息称之为第二位置信息。

监控设备比较第一位置信息与第二位置信息之间的位置信息，即可确定出第一位置信息与第二位置信息之间的位置偏差。其中，此处的位置偏差即为跟踪目标的运动位移。

需要说明的是，所述的上一图像帧为与当前图像帧相邻的前一帧图像，下文所述的下一图像帧为与当前图像帧相邻的后一图像帧。

(3)利用跟踪目标相对于中心位置的角度以及位置偏差，确定运动速度。

由于跟踪目标离画面中心位置越远速度越快，同时相邻帧之间跟踪目标的坐标变化越大速度越快，在进行运动速度确定时将这两者进行结合，可以保证所确定出的运动速度的准确性。

具体地，可以为跟踪目标相对于中心位置的角度以及位置偏差设置对应的权重，例如，分别为第一权重以及第二权重。利用跟踪目标相对于中心位置的角度以及位置偏差及其对应的权重，确定运动速度。

S233，获取跟踪目标在当前图像帧中所占的比例。

为确保不会因为云台运动太快将跟踪目标直接甩出画面，就要求跟踪目标在画面中占比比较小，但为了保证识别精度以及跟踪目标的视频清晰度，要求跟踪目标尽量较大，但会易丢失；基于此，利用跟踪目标在当前图像帧中所占的比例确定本地云台的变倍可以保证上述两种情况之间的平衡。

其中，跟踪目标在当前图像帧中所占的比例，可以是跟踪目标对应的检测框的长边与当前图像帧长边的比例；也可以是跟踪目标与当前图像帧的面积比例等等。

S234，基于比例确定本地云台的变倍。

监控设备在获取到跟踪目标在当前图像帧中所占的比例之后，就可以利用该比例确定本地云台的变倍。

例如，可以选择目标长边占画面长度的1/4～1/5，根据当前目标占比计算增大倍率会减小倍率使其占比向设计值靠拢。

可选地，基于当前倍率的变倍值＝0.25/(跟踪目标对应的检测框长边/当前图像帧的长边对应分辨率)。

S24，判断变倍是否满足预设条件。

所述的预设条件可以是预设阈值，根据图像传感器的步进变倍电机当前的倍率以及跟踪目标在当前图像帧里的像素大小，高倍率下若目标大小低于一定值(一般为确保算法识别准确率的最小值，一般在训练模型过程中已确定，应用中写固定值)，这时图像传感器已经没有足够的性能去跟踪目标，视为超出目标范围。

当所述变倍不满足所述预设条件时，执行S25；否则，执行S26。

S25，将本地云台的参数上报至监控平台，以使得监控平台调用其他监控设备对跟踪目标进行联动跟踪。

在变倍不满足预设条件时，表示此时跟踪目标超出监控设备的监控范围，则监控设备会将本地云台的参数上报至监控平台，监控平台利用该参数调用其他监控设备对跟踪目标进行联动跟踪。

在变倍不满足预设条件时，表示此时跟踪目标已经超出本地监控设备的监控能力，本地监控设备已经没有足够的性能去跟踪目标，将本地云台的运动参数上报至监控平台以调用其他监控设备对跟踪目标进行联动跟踪，从而可以实现多监控设备一体对一处较大范围的区域进行全部布防。

S26，根据本地云台的运动参数，控制本地云台的运动，以对跟踪目标进行跟踪。

当倍率满足预设条件时，表示当前跟踪目标还处于监控设备的目标范围内，还可以利用该监控设备继续对跟踪目标进行跟踪。

其余详细请参见图2所示实施例的S14，在此不再赘述。

本实施例提供的目标跟踪方法，利用跟踪目标与当前图像帧中心位置的位置关系，确定出的运动方向以及运动速度，以使得在后续的跟踪过程中跟踪目标能够处于图像帧的中心位置，提高了跟踪的准确性及可靠性。

在本实施例中提供了一种目标跟踪方法，可用于上述的监控设备，图4是根据本发明实施例的目标跟踪方法的流程图，如图4所示，该流程包括如下步骤：

S31，获取当前图像帧，并对当前图像帧进行目标识别。

具体地，上述S31包括如下步骤：

S311，获取当前图像帧。

其中，监控设备中的图像信号处理模块(Image Signal Processing，简称为ISP)以及媒体控制模块对图像传感器镜头的原始图像进行处理。例如，使用的设备类型(本次设计基于Hi3519A计算芯片及配套开发板)，使用海思SDK获取到图像传感器的原始raw图像文件，由ISP结合亮度、对比度、饱和度、锐度以及快门增益等图像参数，再经过降噪防抖等处理后由媒控保存为帧数据。需要说明的是，此处帧数据指每一帧的图片数据，而非网络协议数据链路层中的同名概念，连续播放帧数据即为视频，每秒的帧数据数量即为帧率。

在获取原始图像之前，需要对各个监控设备的镜头进行初始化，例如，镜头变倍和变焦，电机上电后自动由最低倍率拉伸到最高倍率，在此过程中寻找到光耦电阻，以光耦电阻为中心初始化电机坐标。

在初始化完成之后，记录监控设备初始跟踪的PTZ位置，即，Pan/Tilt/Zoom，分别为水平角度，垂直角度以及变倍。调高相机步进电机聚焦灵敏度并设置为连续自动聚焦，以确保在跟踪过程中可以获得清晰的图像，保证跟踪相对流畅连贯。在上述步骤处理完成之后，就可以获取到当前图像帧了。

S312，将当前图像帧输入至少一个类别检测模型中，确定各个类别检测模型对应的检测结果。

所述的类别检测模型是对应于各个检测类别的模型，例如可以是行人检测模型，车辆检测模型等等。

监控设备在获取到当前图像帧之后，将当前图像帧输入至至少一个类别检测模型中，以得到各个类别检测模型对应的检测结果。例如，将当前图像帧输入行人检测模型以及车辆检测模型中，以决定选择哪个模型进行识别。

S313，基于各个类别检测模型对应的检测结果，确定目标类别检测模型，以对后续的图像帧进行目标识别。

在识别前，行人检测模型以及车辆检测模型均会运行，根据结果阈值高低确定人或车，后续跟踪过程中只启用选定的模型，确保识别速度。这是由于跟踪这种功能对单帧图像识别时间非常敏感，处理器性能一定的情况下，跟踪过程中只跑单个模型可以有效改善效果。

在本实施例的一些可选实施方式中，为确保找回或接力为同一跟踪目标，在本实施例中使用一种特征整合算法来进行抗干扰/丢失协调以及接力跟踪。具体地，在识别过程中，整个图像被视为主要背景坐标，记录了各个低级特征的坐标，通过关系编码组合相邻特征生成局部特征图组成临时对象。低层次的特征被束缚在高层次的信息上，进行联合搜索信息已确保综合理解底层图像信息，通过后续学习训练形成识别网络。

接下来建立框架，设立计算模型。将图像分为大小相同的正方形网格，通过纹理布局过滤器计算每个像素纹理基元特征。建立“特征袋”,由可视单次表示网格，即局部要素。扩大网格大小的过程为获取区域特征，最后将区域特征归一化为矢量。矢量分类聚集，为每个图像分配聚类中心索引，索引即为图像全局特征。

将多尺度的特征使用关系编码方案关联，一方面期望使用更长的编码方案管理图像信息，另一方面较长的编码方案提高了计算成本，平衡之后引入关联函数，令o为底层局部特征，s_t为时间t时的状态，l为对象，则有：

f_i(o,s_i)＝δ(x_i(o,t))δ(s_i＝l) (1)

其中当s＝l时表示当前状态s_t与对象l相关联，x_i(o，t)是判断是否有特定系列的低层特征的逻辑功能。其中，功能相关过程如图5所示。

同时有表示对象之间的过渡的交互函数，定义如下：

g_i(s_t-1,s_t)＝δ(s_t-1＝l')δ(s_t＝l) (2)

交互作用函数表示对象名称从先前状态转换为当前状态，这确实表明了高级信息的转换方案。与关联函数类似，信息转移方案也采用二维结构，对水平和垂直关系信息进行编码。对于推理过程，根据低级特征来推断对象类，因此我们使用特定特征序列x(o，t)作为推理关系编码方案。

打算建立包含最大信息量的关系函数的概率分布，也就是说，期望分布p尽可能普遍，对特征函数应用某些期望约束：

E(f_i(o,s_i))＝α_i (3)

E(g_j(s_t-1,s_t))＝β_i (4)

结合(1)(2)，假定px为有限长度矢量P的元素，可将目标正式化为受线性约束的凸优化问题，列出方程并转化为拉格朗日方程，解出

在深度学习过程中，采用后验判别模型，通过K个训练图像样本估计关系函数的权重参数，为了避免过度拟合，用高斯权重对似然性进行了惩罚，以避免过拟合，将对数似然的梯度输入到L-BFGS算法中进行迭代，利用加权关系函数构建了识别网络。假设已经学习了对象的|L|类别，可以通过对g_j(s_t-1，s_t)满足s_t-1＝l’和s_t＝l的整体学习样本的加权交互函数求和来构建|L|×|L|信息转移矩阵。

S32，判断当前图像帧中是否存在跟踪目标。

当所述当前图像帧中存在跟踪目标时，执行S33；否则，执行S35。其中，所述的其他操作可以是释放当前图像帧，等待下一图像帧；也可以是上报监控平台，以使得监控平台调用其他监控设备对跟踪目标进行联动跟踪。

S33，基于跟踪目标在当前图像帧中的位置，确定本地云台的运动参数。

其中，所述运动参数包括运动方向、运动速度或变倍中的至少一种。

详细请参见图3所示实施例的S23，在此不再赘述。

S34，根据本地云台的运动参数，控制本地云台的运动，以对跟踪目标进行跟踪。

需要说明的是，在跟踪开始之前还需要确定监控设备开启的跟踪方式。其中，所述的跟踪方式可以是自动跟踪，也可以是告警联动跟踪。其中，自动跟踪与告警联动跟踪不同之处在于，告警联动跟踪在识别出跟踪目标之后，还需要对跟踪目标进行告警处理，在符合抓拍条件时还对跟踪目标进行抓拍等等。

例如，图6示出了目标跟踪的功能使用页面示意图，在该页面示意图中，用户可以配置跟踪方式以及其他参数，具体可以根据实际情况进行相应的配置，在此并不做任何限制。

具体地，上述S34包括如下步骤：

S341，利用运动参数，控制本地云台的运动。

监控设备在上述S33中确定出云台的运动参数之后，控制本地云台的运动。

S342，释放当前图像帧并获取下一图像帧，以对跟踪目标进行跟踪。

监控设备将当前图像帧从存储空间中释放，并等待获取下一图像帧，以对跟踪目标进行跟踪。处理完以上流程，则可以开始循环检测，形成一个完整的跟踪流程。

作为本实施例的一种可选实施方式，当监控设备的跟踪方式为告警联动跟踪时，上述S34还包括如下步骤：

(1)对跟踪目标进行告警处理。

在告警联动跟踪方式下，监控设备在识别出跟踪目标之后，还进行告警处理，例如，告警、字幕添加、录像联动、上报平台等等。具体可以根据需求进行相应的处理。

(2)判断跟踪目标是否符合抓拍条件。

其中，所述的抓拍条件可以是多次检测到ZOOM变倍后再进行抓拍，以提高抓拍图像的效果，并避免不必要的抓拍。

当跟踪目标符合抓拍条件时，执行(3)；否则，执行S342。

例如，图7示出了目标跟踪的功能使用页面示意图，在该页面示意图中，用户可以设置联动方式、布防时间等等。具体可以根据实际情况进行相应的设置。

(3)对跟踪目标进行抓拍，并将抓拍结果上传至监控平台。

监控设备对跟踪目标进行抓拍，并将抓拍结果上传至监控平台。

S35，基于上一图像帧中的跟踪目标，确定跟踪目标是否丢失。

若当前图像帧中不存在跟踪目标时，监控设备提取上一图像帧的识别结果。若上一图像帧中存在跟踪目标，而当前图像帧中不存在跟踪目标，则可以确定跟踪目标丢失；若上一图像帧中不存在跟踪钢模板，且当前图像帧中也不存在跟踪目标，则表示可能监控设备未处于跟踪过程中。当所述跟踪目标丢失时，S36；否则，释放当前图像帧。

S36，将本地云台的参数上报至监控平台，以使得监控平台调用其他监控设备对跟踪目标进行联动跟踪。

其中，所述当前云台的参数包括云台的角度和变倍。

在监控设备确定跟踪目标丢失之后，将本地云台的参数上报至监控平台，监控平台利用该监控设备的云台的参数调用其他监控设备对跟踪目标进行联动跟踪。

本实施例提供的目标跟踪方法，在本地当前开启的跟踪方式为告警联动跟踪时，对跟踪目标进行告警处理及后续的抓拍，从而利用单一的监控设备就可以实现智能联动跟踪，使得跟踪结果能够满足用户需求；在当前图像帧中不存在跟踪目标时，将本地云台的参数上报至监控平台，以调用其他监控设备对跟踪目标进行联动跟踪，可以避免单一监控设备在某一角度的误检测，提高了目标跟踪的抗干扰性。

在本实施例中还提供了一种目标跟踪装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种目标跟踪装置，如图8所示，包括：

获取模块41，用于获取当前图像帧，并对所述当前图像帧进行目标识别；

确定模块42，用于当所述当前图像帧中存在跟踪目标时，基于识别出的跟踪目标在所述当前图像帧中的位置，确定本地云台的运动参数，所述运动参数包括运动方向、速度或变倍中的至少一种；

控制模块43，用于根据所述本地云台的运动参数，控制所述本地云台的运动，以对所述跟踪目标进行跟踪。

本实施例提供的目标跟踪装置，在本地的监控设备中进行跟踪目标的识别以及跟踪，从而实现利用单独的云台监控设备就可实现对某一区域实现目标识别及轨迹跟踪，避免了采用多个监控设备间的联动对目标进行跟踪，进而可以避免多个设备联动必须的坐标标定过程，且通过对本地云台进行直接控制，可以保证跟踪的实时性和准确性。

本实施例中的目标跟踪装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本发明实施例还提供一种监控设备，具有上述图8所示的目标跟踪装置。

请参阅图9，图9是本发明可选实施例提供的一种监控设备的结构示意图，如图9所示，该监控设备可以包括：至少一个处理器51，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口53，存储器54，至少一个通信总线52。其中，通信总线52用于实现这些组件之间的连接通信。其中，通信接口53可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口53还可以包括标准的有线接口、无线接口。存储器54可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器54可选的还可以是至少一个位于远离前述处理器51的存储装置。其中处理器51可以结合图8所描述的装置，存储器54中存储应用程序，且处理器51调用存储器54中存储的程序代码，以用于执行上述任一方法步骤。

其中，通信总线52可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器54可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器54还可以包括上述种类的存储器的组合。

其中，处理器51可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。

其中，处理器51还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。

可选地，存储器54还用于存储程序指令。处理器51可以调用程序指令，实现如本申请图2至4实施例中所示的目标跟踪方法。

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的目标跟踪方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种目标跟踪方法，其特征在于，包括：

获取当前图像帧，并对所述当前图像帧进行目标识别；

当所述当前图像帧中存在跟踪目标时，基于所述跟踪目标在所述当前图像帧中的位置，确定本地云台的运动参数，所述运动参数包括运动方向、运动速度或变倍中的至少一种；

根据所述本地云台的运动参数，控制所述本地云台的运动，以对所述跟踪目标进行跟踪；

其中，所述基于所述跟踪目标在所述当前图像帧中的位置，确定本地云台的运动参数，包括：

获取当前图像帧的中心位置；

利用所述跟踪目标相对于所述中心位置的角度，确定所述运动方向；

获取所述跟踪目标在当前图像帧与上一图像帧中的位置偏差；

利用所述跟踪目标相对于所述中心位置的角度以及所述位置偏差及其权重，确定所述运动速度，所述权重包括所述跟踪目标相对于所述中心位置的角度对应的第一权重，以及所述位置偏差对应的第二权重。

2.根据权利要求1所述的方法，其特征在于，所述基于所述跟踪目标在所述当前图像帧中的位置，确定本地云台的运动参数，包括：

获取所述跟踪目标在所述当前图像帧中所占的比例；

基于所述比例确定所述本地云台的变倍。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

判断所述变倍是否满足预设条件；

当所述变倍不满足所述预设条件时，将本地云台的参数上报至监控平台，以使得所述监控平台调用其他监控设备对所述跟踪目标进行联动跟踪，所述云台的参数包括云台的角度和变倍。

4.根据权利要求1所述的方法，其特征在于，所述根据所述本地云台的运动参数，控制所述本地云台的运动，以对所述跟踪目标进行跟踪，包括：

利用所述运动参数，控制所述本地云台的运动；

释放所述当前图像帧并获取下一图像帧，以对所述跟踪目标进行跟踪。

5.根据权利要求4所述的方法，其特征在于，当本地当前开启的跟踪方式为告警联动跟踪时，所述根据所述本地云台的运动参数，控制所述本地云台的运动，以对所述跟踪目标进行跟踪，还包括：

对所述跟踪目标进行告警处理；

判断所述跟踪目标是否符合抓拍条件；

当所述跟踪目标符合抓拍条件时，对所述跟踪目标进行抓拍，并将抓拍结果上传至监控平台。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述当前图像帧中不存在跟踪目标时，基于上一图像帧中的所述跟踪目标，确定所述跟踪目标是否丢失；

当所述跟踪目标丢失时，将本地云台的参数上报至监控平台，以使得所述监控平台调用其他监控设备对所述跟踪目标进行联动跟踪，所述云台的参数包括云台的角度和变倍。

7.根据权利要求1所述的方法，其特征在于，所述对所述当前图像帧进行目标识别，以确定待处理图像中的跟踪目标，包括：

将所述当前图像帧输入至少一个类别检测模型中，确定各个类别检测模型对应的检测结果；

基于各个类别检测模型对应的检测结果，确定目标类别检测模型，以对后续的图像帧进行目标识别。

8.一种监控设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-7中任一项所述的目标跟踪方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-7中任一项所述的目标跟踪方法。

10.一种目标跟踪***，其特征在于，包括：

至少两个权利要求8中所述的监控设备；

监控平台，与所述监控设备连接，所述监控平台用于基于对跟踪目标进行跟踪的当前监控设备的云台参数，调用其他监控设备对所述跟踪目标进行联动跟踪。

Images