CN107707810B

CN107707810B - 基于红外热像仪的热源追踪方法、装置及***

Info

Publication number: CN107707810B
Application number: CN201710719979.1A
Authority: CN
Inventors: 曾宇; 卢嘉均; 张伟杰
Original assignee: Guangzhou Zichuan Electronic Technology Co ltd
Current assignee: Guangzhou Zichuan Electronic Technology Co ltd
Priority date: 2017-08-21
Filing date: 2017-08-21
Publication date: 2020-08-28
Anticipated expiration: 2037-08-21
Also published as: CN107707810A

Abstract

本发明公开了一种基于红外热像仪的热源跟踪方法，包括以下步骤：当云台转动运行到预置位时，获取红外热像仪发送的监测场景的红外视频流；红外视频流包括红外原始裸数据；对红外原始裸数据进行扫描分析，从而判断得出预置位的布防区域内是否存在目标热源；当存在目标热源时计算目标热源在监测场景内的位置坐标；触发高清摄像机，并且根据目标热源的位置坐标转动云台，使得目标物始终处在红外热像仪和高清摄像机的视频中心点，从而使得高清摄像机对目标热源进行跟踪并录制高清视频流；其中，红外热像仪、高清摄像机均安装于云台上。本发明还公开了一种电子设备、存储介质和热源跟踪***。本发明解决了现有技术中基于高清摄像机的热源跟踪的缺陷。

Description

基于红外热像仪的热源追踪方法、装置及***

技术领域

本发明涉及一种热源追踪方法，尤其涉及一种基于红外热像仪的热源追踪方法、电子设备及存储介质。

背景技术

目前，智能视频跟踪***是指在不需要人为干预的情况下，利用计算机视觉和视频分析的方法对摄像机拍录的图像或视频进行自动分析，实现对动态场景中目标的识别和跟踪。智能视频跟踪技术的研究涉及到计算机视觉、图像处理和人工智能领域中的许多核心技术，目前常见的智能视频跟踪技术都是基于高清摄像机为视频数据采集装置来实现的。

目前的自动跟踪视频监控***中存在以下问题：

1)人工选择跟踪目标的可靠性高，但需要工作人员日夜盯着监控屏幕，但完全自动的目标监测算法目前无法保证准确率，这是由于目标和背景的复杂性以及机器视觉的“智能”的局限性导致的；2)基于图像处理技术的自动监测、智能识别和自主跟踪是***的发展方法，但目前技术还不成熟；3)想要增大监控范围和目标定位的精度，多依赖于摄像机数量的增加，但是这样会增加算法的复杂性和***成本。

而目前对于运动目标物的跟踪方法，基本都是基于可见光的高清摄像机的图像算法来实现的，但用高清摄像机来实现存在以下问题和难点：

1)因为高清摄像机对于光照或阴影变化较为敏感，所以突然的光照的变化会使算法对于运动目标物的监测方面产生很大的误差。2)因为是基于高清摄像机的图像算法，所以需要监测的目标物不能离监测的设备距离过远，否则会有很多的误报。3)高清摄像机需要在有一定照度的情况下才能正常工作，不能够做到24小时不间断地日夜监测。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供基于红外热像仪的热源追踪方法，其能够解决现有技术中对于热源追踪时的运动目标物的监测不准确、容易产生误报等问题。

本发明的目的之二在于一种电子设备，其能够解决现有技术中对于热源追踪时的运动目标物的监测不准确、容易产生误报等问题。

本发明的目的之三在于提供一种计算机可读存储介质，其能够解决现有技术中对于热源追踪时的运动目标物的监测不准确、容易产生误报等问题。

本发明的目的之四在于提供基于红外热像仪的热源追踪***，其能够解决现有技术中对于热源追踪时的运动目标物的监测不准确、容易产生误报等问题。

本发明的目的之一采用如下技术方案实现：

基于红外热像仪的热源跟踪方法，包括以下步骤：

视频流获取步骤：当云台转动运行到预设的预置位时，获取红外热像仪发送的监测场景的红外视频流；所述红外视频流包括红外原始裸数据；

目标热源判断步骤：对红外原始裸数据进行扫描分析，从而判断得出所述预置位的布防区域内是否存在目标热源；所述目标热源为在预置位的布防区域内触发对应的告警参数的热源；

坐标计算步骤：当存在目标热源时，计算目标热源在监测场景内的位置坐标；

跟踪步骤：触发高清摄像机，并且根据所述目标热源的位置坐标转动云台，使得目标物始终处在红外热像仪和高清摄像机的视频中心点，从而使得高清摄像机对目标热源进行跟踪并录制高清视频流；

其中，所述红外热像仪、高清摄像机均安装于云台上。

进一步地，所述预置位的信息包括当前云台的水平角度和俯仰角度；所述布防区域的信息包括布防区域的形状类型以及对应的顶点坐标；所述告警参数包括IO辐射量矢量值、面积矢量值和热源停止后在***停留时间。

进一步地，所述布防区域的形状类型为线型、三角形、矩形、圆形或多边形。

进一步地，所述目标热源判断步骤具体包括以下步骤：

S11：获取在当前预置位处的红外原始裸数据；

S12：根据基础测温模型补偿算法对所述红外原始裸数据进行补偿，并根据补偿后的数据得到所有像素点的像素点均值；

S13：将补偿后的每个像素点的值与所有像素点的像素点均值的差值作为对应像素点的IO辐射量矢量值；

S14：将每个像素点的IO辐射量矢量值与当前预置位的告警参数的IO辐射量矢量值进行比较，并将满足当前预置位的告警参数的所有像素点找出，然后根据预设规则对所有的像素点进行分块处理；

S15：当每块中的像素点的数量处于告警参数的面积矢量值的范围内，则认为当前预置位的布防区域内存在目标热源。

进一步地，所述跟踪步骤还包括：触发测距装置定时测量目标热源与云台之间的距离并将测量的数据发送给服务器，使得服务器根据测量的数据得出目标热源的定位信息并通过客户端显示；所述测距装置安装于云台上。

本发明的目的之二采用如下技术方案实现：

一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如前所述的基于红外热像仪的热源跟踪方法的步骤。

本发明的目的之三采用如下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的基于红外热像仪的热源跟踪方法的步骤。

本发明的目的之四采用如下技术方案实现：

基于红外热像仪的热源跟踪***，包括：红外热像仪、高清摄像机、处理器、服务器和客户端，所述红外热像仪、高清摄像机、处理器均安装于云台上；所述红外热像仪、高清摄像机分别与处理器电性连接，所述处理器通过服务器与客户端进行通信；

所述红外热像仪用于录取监测场景的红外视频流并发送给处理器；所述高清摄像机用于录取目标热源的运动轨迹的高清视频流并通过处理器发送给服务器，进而通过客户端显示；所述处理器用于执行如前所述的基于红外热像仪的热源跟踪方法的步骤。

进一步地，还包括安装于云台上的测距装置，所述测距装置用于实时监测目标热源与云台之间的距离并通过处理器发送给服务器，从而使得服务器根据目标热源与云台之间的距离实现目标热源的定位，并通过客户端显示。

相比现有技术，本发明的有益效果在于：

本发明是通过对红外热像仪所录制的红外视频流进行分析，从而来锁定移动热源的位置，并对其进行跟踪。本发明采用红外热像仪对场景内的运动目标进行监测，从而解决了基于高清摄像机的图像处理算法对于运动目标的监测、选择和跟踪的缺陷；同时还解决了高清摄像机对于光照或阴影变化较为敏感的问题，以及距离过远产生误差等的缺陷，实现了24小时实时在线监测。本发明还通过设置一个或多个预置位来实现对一个较大视角的场景进行监控，从而避免因为场景的视角较大而不能够完全监控到问题。

附图说明

图1为本发明提供的基于红外热像仪的热源跟踪***的模块图；

图2为本发明提供的基于红外热像仪的热源跟踪方法的流程图之一；

图3为本发明提供的基于红外热像仪的热源跟踪方法的流程图之二；

图4为本发明提供的布防区域合并图；

图5为本发明提供的求预置位某个像素点对应云台绝对角度的算法示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例

基于红外线热成像仪的热源追踪***，如图1所示，包括红外热像仪、高清摄像机、处理器、服务器以及客户端。其中红外热像仪、高清摄像机均通过处理器与服务器进行通信，客户端与服务器连接。另外，该***还设置一云台，其中红外热像仪、高清摄像机、处理器均安装于该云台上。用户可通过转动云台设置预置位，预置位是用于对红外视频流进行扫描分析的位置，比如当云台转动到预置位时，持续获取红外热像仪所发送的红外原始裸数据并进行处理分析。云台转动时，红外热像仪、高清摄像机均可以转动。

优选地，本发明中的处理器所采用的是ARM板/FPGA模块。

红外热像仪用于持续获取监测场景内的红外视频流，并将红外视频流通过对应的数据接口传输到处理器。其中，红外视频流包括红外图像和红外原始裸数据。

进一步地，用户根据自身的需求，通过控制云台的转动来设置预置位。用户还通过客户端来设置每个预置位的布防区域，以及布防区域对应的告警参数，并通过服务器将其发送给处理器。另外，当处理器获取到预置位、告警参数以及布防区域的信息时，还将处于每个布防区域内的所有像素点全部找出来，并保存于二维数组中。

对于一个场景，其可以根据具体的需要设置一个或多个预置位，每个预置位均对应一个布防区域及告警参数。用户可以根据自身需要设置多个预置位巡航扫描，并分别在每个预置位上设置布防区域。若某个监测场景一个预置位不足以进行监测，则可以设置两个或多个相连的预置位对该监测场景进行扫描，若两个预置位上的布防区域也相连，则***会自动将这两个布防区域合并处理。

另外，预置位的信息包括当前位置时的云台的水平角度和俯仰角度，布防区域的信息包括布防区域的形状类型和顶点坐标(顶点坐标指的是每一种形状的布防区域的顶点坐标)。布防区域的形状类型可以根据用户的需求进行设置，比如线型、三角形、矩形、圆形、多边形等等。

对于每个预置位，其均包括当前位置下的云台的水平角度和俯仰角度。在使用时通过转动云台，当云台转动的位置其水平角度和俯仰角度与***中预存的预置位的信息相同时，就认为该云台转动到该预置位。此时，云台会停留在该预置位一段时间来获取红外热像仪的数据并对其进行扫描分析，是否存在目标热源。

也即是，预置位是用户手动转动云台来设置的，每设置一个预置位，***会自动保存预置位的云台角度(包括水平角度和俯仰角度)，当设置好所有的预置位后，用户还可以设置多个预置位的巡航扫描顺序。预置位设置完成后，每个预置位对应的云台角度都会保存，当设备该扫描某个预置位时，***会根据云台角度来判断云台是否转动到某一预置位。

目标热源是指在云台转动到预置位下，在布防区域内存在有触发告警参数的热源。而告警参数包括IO辐射量矢量值、面积矢量值、热源停止后***停留时间等数据。热源停止后***停留时间为当跟踪的热源消失后，***在该位置停留的时间，若目标热源没有再出现，则扫描下一预置位；若发现目标热源出现，则继续跟踪。

进一步地，当用户设置预置位以及对应布防区域、告警参数后，客户端会将这些数据封装成结构体以报文的形式通过服务器发送给处理器。

另外，在设置预置位的布防区域时，对于一个较大的场景，其需要布防的区域大于一个视场角的范围时，也即是说一个场景可能需要多个角度才能显示完全(比如对于一个学校大门的场景，其不能够通过一个拍摄角度就能够完全将学校大门的场景显示出来)，因此，用户可以设置两个或多个连续角度的预置位，从而在两个(或多个)预置位上分别设置对应地布防区域。如图4所示，布防区域Ⅰ和布防区域Ⅱ无法单独在某一个布防区域上进行布防，此时则需要用户设置两个连续角度的预置位A和预置位B，然后分别在预置位A上设置布防区域Ⅰ，在预置位B上划分布防区域Ⅱ。用户在设置布防区域时，可在客户端通过合并布防区域功能，选中布防区域Ⅰ和布防区域Ⅱ，将布防区域Ⅰ和布防区域Ⅱ合并。

通过将两个布防区域合并后，当有目标热源从布防区域Ⅰ脱离并离开了预置位A的范围后，***仍会对该目标热源进行跟踪，直至目标热源出了布防区域Ⅰ和布防区域Ⅱ共同的区域，才会停止对该目标热源的跟踪。

另外，由于预置位不止有一个，在设置预置位时，还会设置云台转动时所经过的预置位的顺序。因此，当云台转动到到第一预置位时，通过获取红外视频流的数据进行扫描分析并判断预置位的布防区域内是否存在目标热源，然后依次转动云台达到相应的预置位进行扫描分析判断。

处理器用于当云台转动到预置位时，根据红外原始裸数据来分析得出当前预置位的布防区域内是否存在目标热源。高清摄像机用于获取场景内目标热源的高清视频流并将其通过处理器发送给服务器存储，并通过客户端显示。这样用户可以通过客户端查看到目标热源的运动视频。***只有在扫描到有目标热源时，启动高清摄像机对目标热源进行拍摄跟踪，从而获取目标热源的移动图像。

另外，当存在目标热源时，处理器还启动高清摄像机对目标热源进行实时拍摄并得到高清视频流；同时处理器还将高清视频流发送给服务器，通过客户端显示给用户查看。这样，用户就可以通过客户端来查看历史的目标热源的高清视频以及目标热源在电子地图上的移动轨迹。

本发明中的红外热像仪与高清摄像机的视频画面中心所对应的场景的位置是同一位置。

优选地，***还包括测距装置，测距装置也安装于云台上，该测距装置用于实时监测目标热源与云台之间的距离，对目标热源进行定位。当***中判断出某一预置位有目标热源时，启动测距装置并定时测量目标热源与云台之间的距离，处理器根据上述测量的数据并将其发送给服务器，使得服务器将测量的数据与电子地图进行结合，从而可得出目标热源的运动轨迹，并通过客户端显示出来。

比如第一次测量的距离为A、第二测量的距离为B，这样就可以得出目标热源的两个运动位置。本发明还可对目标热源的运动位置进行框定，并且通过多个运动位置之间进行连线的方式在电子地图上显示，这样就更加直观地显示。

如图2所示，基于红外热像仪的热源跟踪方法，其运行于处理器，具体包括以下步骤：

S1、当云台转动运行到预置位时，获取红外热像仪发送的监测场景的红外视频流；所述红外视频流包括红外原始裸数据。通过红外热像仪录取监测场景内的红外视频流并发送给处理器进行分析。

S2、对红外原始裸数据进行扫描分析，从而判断得出所述预置位的布防区域内是否存在目标热源；所述目标热源为在预置位的布防区域内触发对应的告警参数的热源。

对于判断预置位的布防区域内是否存在目标热源时，如图3所示，其具体还包括以下步骤：

S11、获取当前预置位处的红外原始裸数据。

S12、根据基础测温模型补偿算法对红外原始裸数据进行补偿，并根据补偿后的数据得到所有像素点的像素点均值。其中，基础测温模型补偿算法是现有技术，其专利申请号为2016100582622，发明名称为一种多目标自动区分测温方法及***，本发明不做具体介绍。

S12、将补偿后的每个像素点的值与像素点均值的差值作为对应像素点的IO辐射量矢量值。

S13、将每个像素点的IO辐射量矢量值与当前预置位的告警参数的IO辐射量矢量值进行比较，并将满足当前预置位的告警参数的所有像素点找出。

S14、根据预设的规则对所有的像素点进行分块处理，从而划分出多个块；

S15、当每块中的像素点的数量处于告警参数的面积矢量值的范围内，则判断当前预置位的布防区域内存在目标热源。由于面积矢量值表示的是每个热源所占的像素点的数量，因此，当每块中的像素点的数量处于该布防区域对应的告警参数的面积矢量值，则说明布防区域内存在目标热源。

其中，预设的规则为坐标点相连的像素点被划分为一块。也即是说，找出所有的像素点的坐标，然后对坐标点进行连线，从而将所有的像素点划分为多个块，然后判断每个块中的像素点的数量是否处于告警参数的面积矢量的范围内，从而判断出预置位的布防区域内是否存在目标热源。

S3、若存在目标热源时，计算目标热源在监测场景内的位置坐标。

所述目标热源的信息包括目标热源的像素点数据、像素点数量以及目标热源最高点的坐标。通过上述计算得出的目标热源的像素点块中的IO辐射矢量值中数据最大的像素点就是目标热源在监测场景内的位置坐标。

同时，根据求某个像素点对应的云台绝对角度的算法计算出目标热源最高点对应的云台的绝对角度，将目标热源最高点对应的云台的绝对角度与数据库中的该布防区域的云台角度集合对比。若目标热源最高点对应的云台的绝对角度处于该云台角度集合内，则说明该目标热源处于布防区域内，然后执行S5；当若目标热源最高点对应的云台的绝对角度不在布防区域的云台角度集合内，则说明目标热源脱离了该布防区域。

其中，数据库中所存储的是各个预置位的布防区域内所有像素点对应的云台角度集合，其是为了判断跟踪目标热源是否已经超出了用户设置的布防区域。

也即是比如，当需要对某个目标热源进行跟踪时，处理器不断获取红外原始裸数据，每获取一帧数据时，先计算出该目标热源块内的IO辐射量矢量值最大的像素点对应的云台角度，然后在继续获取下一帧数据，循环进行上述分析，直到计算出的目标热源对应的云台角度超出布防区域对应的云台角度集时，就停止分析。

另外，求某个像素点对应云台绝对角度的算法具体为：基于当前云台角度、红外热像仪的版面分辨率的大小和红外热像仪的视场角的范围来计算得到的，其具体如下：

如图5所示，假设某一预置位的当前云台角度为水平角H度，俯仰角V度，红外热像仪的版面分辨率为A*B，红外的版面视场角大小为水平C度，垂直D度，则该预置位坐标矩阵的中点P(x,y)的坐标：

x＝A/2；

y＝B/2；

因为某个预置位对应的云台当前角度就等于该预置位的红外原始裸数据的像素点矩阵坐标中点P(x,y)对应的云台角度，也就是跟踪的目标热源中某个像素点在P点时对应的云台角度，那么该预置位上任意一点如布防区域内的任意一点Q(m,n)对应的云台绝对角度有如下关系：

假设此时Q点对应的云台水平角度为E度，俯仰角度为F度

则：E＝H+(m-(A/2))/(A/C)；

F＝V+(n-(B/2))/(B/D)。

另外，***还通过目标热源和的最高点的坐标对应的云台角度来对云台转动进行控制，使得目标热源的中心点处于红外热像仪的视频中心点。

S4、触发高清摄像机对目标热源进行跟踪录制高清视频流，并将高清视频流发送到服务器，并通过客户端显示给用户。当存在目标热源时，触发高清摄像机并且根据所述目标热源的位置坐标转动云台，使得目标物始终处于红外热像仪和高清摄像机的视频中心点，从而使得高清摄像机对目标热源进行跟踪，并录制到目标热源的运动视频。

另外，还根据目标热源在红外热像仪中的像素点数量来确定高清摄像机的焦距倍数，调节高清摄像机焦距对目标热源进行跟踪录像，比如目标热源距离设备越远，目标热源在红外热像仪中的像素点数量也会越少，高清摄像机会随着目标热源的远离，来不断拉近高清摄像机的焦距来跟踪录像。

优选地，当扫描到某一个预置位后分析后有目标物存在并跟踪了一帧后，则继续在转动云台后的云台角度的基础上继续获取红外热像仪的一帧红外裸数据进行上述分析处理。

另外，当***开始跟踪一个目标物后，***就会将每一帧的目标热源的像素点数量、像素点的形状记录下来，然后与前一帧的目标热源进行对比；当差别不大时，则说明跟踪的目标热源为同一个；若差别较大时，则说明前后跟踪的目标热源不是同一个，不进行跟踪，这样就可以防止跟踪一个目标热源后，视频版面内又出现另一目标热源，***会转换跟踪目标热源的现象发生。

另外，***的跟踪速度是可以调节的，但是一般受到云台转动后停止的稳定性的影响，***最快跟踪速度限制在每秒三帧，若换稳定性更高的云台，跟踪速度还可以提升。

或者，还包括S5、触发安装于云台上的测距装置定时测量目标热源与云台之间的距离并将测量的数据发送给服务器，使得服务器将测量的数据与电子地图进行关联，得出目标热源的定位信息通过客户端显示。

优选地，在跟踪目标热源时，对红外热像仪的每帧数据进行分析跟踪的过程中，客户端在显示红外视频流的同时还会在红外视频流上对跟踪的目标热源进行不断地标识(比如通过框定、箭头等形式)。

另外，在跟踪结束后，用户还可以通过客户端查看目标热源的高清跟踪历史视频和电子地图上所显示的移动轨迹。

本发明是通过对红外热像仪在各个预置位的红外原始裸数据进行分析，从而来锁定移动热源的位置，并对其进行跟踪。本发明采用红外热像仪对场景内的运动目标进行监测，从而解决了基于高清摄像机的图像处理算法对于运动目标的监测、选择和跟踪的缺陷；同时还解决了高清摄像机对于光照或阴影变化较为敏感的问题，以及距离过远产生误差等的缺陷，实现了24小时实时在线监测。由于红外热像仪不会受到光照、阴影等变化的影响，因此采用红外热像仪要比高清摄像机对运动目标进行监测要准确。

本发明还通过设置一个或多个预置位来实现对一个较大视角的场景进行监控，从而避免因为场景的视角较大而不能够完全监控到问题。

本发明还提供了一种电子设备，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如前所述基于红外热像仪的热源跟踪方法的步骤。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的基于红外热像仪的热源跟踪方法的步骤。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims

1.基于红外热像仪的热源跟踪方法，其特征在于包括以下步骤：

其中，所述红外热像仪、高清摄像机均安装于云台上；

所述目标热源判断步骤具体包括以下步骤：

S11：获取在当前预置位处的红外原始裸数据；

S15：当每块中的像素点的数量处于告警参数的面积矢量值的范围内，则认为当前预置位的布防区域内存在目标热源；

所述跟踪步骤还包括：触发测距装置定时测量目标热源与云台之间的距离并将测量的数据发送给服务器，使得服务器根据测量的数据得出目标热源的定位信息并通过客户端显示；所述测距装置安装于云台上。

2.如权利要求1所述的方法，其特征在于：所述预置位的信息包括当前云台的水平角度和俯仰角度；所述布防区域的信息包括布防区域的形状类型以及对应的顶点坐标；所述告警参数包括IO辐射量矢量值、面积矢量值和热源停止后在***停留时间。

3.如权利要求2所述的方法，其特征在于：所述布防区域的形状类型为线型、三角形、矩形、圆形或多边形。

4.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如权利要求1-3任意一项所述的基于红外热像仪的热源跟踪方法的步骤。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-3任意一项所述的基于红外热像仪的热源跟踪方法的步骤。

6.基于红外热像仪的热源跟踪***，其特征在于包括：红外热像仪、高清摄像机、处理器、服务器和客户端，所述红外热像仪、高清摄像机、处理器均安装于云台上；所述红外热像仪、高清摄像机分别与处理器电性连接，所述处理器通过服务器与客户端进行通信；

所述红外热像仪用于录取监测场景的红外视频流并发送给处理器；所述高清摄像机用于录取目标热源的运动轨迹的高清视频流并通过处理器发送给服务器，进而通过客户端显示；所述处理器用于执行如权利要求1所述的基于红外热像仪的热源跟踪方法的步骤；还包括安装于云台上的测距装置，所述测距装置用于实时监测目标热源与云台之间的距离并通过处理器发送给服务器，从而使得服务器根据目标热源与云台之间的距离实现目标热源的定位，并通过客户端显示。