CN110390288B - 基于计算机视觉的目标智能搜索、定位和跟踪***及方法 - Google Patents

Abstract

本发明提供一种基于计算机视觉的目标智能搜索、定位和跟踪***及方法，根据传感器检测到的传感器目标，指引光电图像采集设备监测目标所在区域。图像采集设备将采集到的图像信息传输到图像处理计算机进行目标检测，记录所有目标检测框在图像中的位置大小，根据传感器目标信息，将检测框与传感器目标搜索匹配，完成后启动目标定位，将检测框信息返回给显示控制程序，显示控制程序根据不断收到的检测框信息，调节光电设备，使目标在图像显示界面中处于合适位置，进行图像和视频跟踪。若无除光电设备外的传感器，则仅使用光电巡检指定区域，仍能完成上述搜索、定位、跟踪过程。提高告警目标跟踪效率，减省对告警目标跟踪琐碎操作过程。

Description

基于计算机视觉的目标智能搜索、定位和跟踪***及方法

技术领域

本发明涉及电子信息领域，具体地，涉及一种基于计算机视觉的目标智能搜索、定位和跟踪***及方法。

背景技术

水域治理的问题由来已久，在历史的发展过程中，人民群众不断的在与水域污染、违法犯罪等问题进行着激烈的斗争。近些年来，国家与社会增强生态文明建设意识进一步觉醒、打击违法犯罪的力度逐渐加大，相关政策相继出台推行，水域治理的重要性不言而喻。对海洋、江河、湖泊等进行治理的难度、繁杂度等问题迎面扑来，需要投入大量的人力物力，智能化水域治理的需求日益强烈。水域监测犹如水域治理的眼睛，是水域治理的重要环节。水域监测***对水域进行监控，必要时对异常目标图像视频跟踪，为进一步执法留存有力证据。

然而，目前用于水域监测的大多数光电设备，对异常目标进行跟踪，或者是通过监测***发现异常目标，人工采取下一步跟踪操作，对人力物力有极大的需求，可能会错过跟踪的最佳时间；或者只能针对某一区域定方位大视场跟踪目标，不能灵活调节视场大小，难以锁定目标；或者无法将光电设备检测到的目标与传感器目标进行准确高效的联系，跟踪到的目标信息片面或匹配错误率过高。以上这些问题都会对进一步的执法操作造成一定的困扰与障碍。水域治理的进程不断推进，对异常目标的自动智能跟踪的准确性有效性提出了更高的需求。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于计算机视觉的目标智能搜索、定位和跟踪***及方法。

根据本发明提供的一种基于计算机视觉的目标智能搜索、定位和跟踪***，包括显示控制单元、图像采集设备、图像处理计算机；

所述图像采集设备与所述图像处理计算机连接，所述图像处理计算机与显示控制单元交互通信，所述图像处理计算机获取所述图像采集设备的图像信息后，通过目标检测提取目标位置信息，并将目标位置信息发送至显示控制单元；

所述显示控制单元接收告警信息，根据告警信息和目标位置信息调节图像采集设备的旋转方位，图像采集设备根据预设的目标检测框大小，调节目标的图像显示位置，进行智能跟踪，得到目标图像或视频数据。

优选地，所述的基于计算机视觉的目标智能搜索、定位和跟踪***，还包括图像显示界面，对图像采集设备的拍摄图像或视频和目标位置在地图上进行显示，以及显示拍摄图像或视频和目标位置的搜索匹配过程。

优选地，所述图像采集设备设置在岸基或者移动执法船舶上，所述图像采集设备包括可见光监测设备、红外监测设备。

优选地，所述告警信息由传感器设备检测得到，所述传感器设备采集到告警信息后，将所述告警信息发送至显示控制单元，以及图像采集设备。

优选地，所述智能取证根据设定要求进行，当目标检测框的位置大小符合设定要求，则进行跟踪。

优选的，在没有除光电图像采集设备之外的传感器的情况下，仅用光电图像采集设备实现指定区域搜索。

优选的，光电图像采集设备采集到的图像信息传输到图像处理计算机，检测测到目标时利用光电设备测距功能及光电角度等信息，对目标进行定位，在连续不同的搜索周期内能够确定某一目标为同一目标。

优选的，在没有除光电图像采集设备之外的传感器的情况下，仅用光电设备仍然能够完成上述目标搜索、定位、跟踪过程。

根据本发明提供的一种基于计算机视觉的目标智能搜索、定位和跟踪方法，包括：

接收告警步骤：设定警戒区域，对所述警戒区域进行目标进入检测，当检测到目标进入时，产生告警信息，持续检测形成告警列表；

智能搜索步骤：通过光电图像采集设备对告警列表中的一个告警信息对应的目标进行图像采集，将采集得到的图像信息发送至图像处理计算机进行检测，获得需要定位的目标；在图像显示界面中检测是否有目标存在，如果存在目标，就将目标检测框提取出来，并将所有目标检测框与传感器目标进行搜索匹配，所述的搜索匹配方法将利用到目标与光电的距离信息与角度信息，目标检测框在图像显示界面的位置与大小，目标之间遮挡等信息。目标定位在目标搜索匹配完成后启动，并不断向显示控制***反馈当前目标检测框信息；

目标定位步骤：图像处理计算机在图像信息中设置目标检测框，对目标进行定位，记录目标的运行位置大小信息；

目标跟踪步骤：根据目标的运行位置大小信息，调节光电图像采集设备的拍摄方位，对目标进行跟踪。

优选地，所述一个告警信息是告警列表中排在第一个的告警信息。

优选地，所述图像采集设备设置在岸基或者移动执法船舶上，所述图像采集设备包括可见光监测设备、红外监测光电设备。

优选地，所述取证根据设定要求进行，当目标检测框的位置大小符合设定要求，则进行跟踪。

与现有技术相比，本发明具有如下的有益效果：

本发明解决了对警戒区域内异常目标减省人工跟踪操作，降低人力物力需求，灵活调节光电设备视场，快速锁定目标，将跟踪的图像和视频与目标信息进行高效匹配，提高图像和视频与异常目标搜索匹配的正确性、有效性，提升进一步执法的高效性与准确性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的工作流程图；

图2为***架构示意图；

图3为检测框匹配示意图(以船舶目标为例)。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本申请对警戒区域内异常目标减省人工跟踪操作，降低人力物力需求，灵活调节光电设备视场，快速锁定目标，将跟踪的图像和视频与目标信息进行高效匹配的技术问题，提高跟踪的图像和视频与异常目标匹配的正确性、有效性，进一步提升执法的高效性与准确性。

根据本发明提供的一种基于计算机视觉的目标智能搜索、定位和跟踪***，包括显示控制单元、图像采集设备、图像处理计算机；

所述图像采集设备与所述图像处理计算机连接，所述图像处理计算机与显示控制单元交互通信，所述图像处理计算机获取所述图像采集设备的图像信息后，通过目标检测提取目标位置信息，并将目标位置信息发送至显示控制单元；

所述显示控制单元接收告警信息，根据告警信息和目标位置信息调节图像采集设备的拍摄方位，图像采集设备根据预设的目标检测框大小，调节目标的图像显示位置，进行智能跟踪，跟踪的图像与视频数据存入数据库。

具体地，所述的基于计算机视觉的目标智能搜索、定位和跟踪***，还包括图像显示界面，对图像采集设备的拍摄图像和目标位置在地图上进行显示，以及显示拍摄图像和目标位置的匹配过程。

具体地，所述图像采集设备设置在岸基或者移动执法船舶上，所述图像采集设备包括可见光监测设备、红外监测光电设备。

具体地，所述告警信息由传感器设备检测得到，所述传感器设备采集到告警信息后，将所述告警信息发送至显示控制单元，以及图像采集设备。

具体地，所述智能跟踪根据设定要求进行，当目标检测框的位置大小符合设定要求，则进行跟踪。

具体地，在没有除光电图像采集设备之外的传感器的情况下，仅用光电图像采集设备实现指定区域搜索。

具体地，光电图像采集设备采集到的图像信息传输到图像处理计算机，检测得到目标时利用光电设备测距功能及光电角度，对目标进行定位，在连续不同的搜索周期内能够确定某一目标为同一目标。

具体地，在没有除光电图像采集设备之外的传感器的情况下，仅用光电设备仍然能够完成上述目标搜索、定位、跟踪过程。

优选地，在没有除光电图像采集设备之外的传感器的情况下，仅用光电图像采集设备实现指定区域搜索。具体步骤描述如下：步骤一，在检测某一目标θ的第一个搜索周期记录该目标相对光电的角度信息，利用光电测距功能记录目标相对光电的距离信息，根据目标θ的位置信息，设定一个以该目标为中心的范围∑。步骤二，进行下一个搜索周期，在范围∑内发现该目标，则认定是与上一周期检测到的目标θ是同一目标。再根据以上两个周期检测的结果计算出目标θ的航向与航速，根据航向航速推测出下一巡检周期目标θ出现的位置，缩小范围∑。步骤三，循环执行步骤二，不断缩小范围，直至某一稳定的阈值，并且能够稳定定位目标θ，若在某一搜索周期内围在范围内发现目标θ，则扩大范围∑，确定目标θ位置，在下一周期继续根据目标θ的航向航速缩小范围∑。通过以上步骤，传感器仅有光电图像采集设备时，发现目标时依旧能够实现目标搜索、定位、跟踪过程。

根据本发明提供的一种基于计算机视觉的目标智能搜索、定位和跟踪方法，包括：

接收告警步骤：设定警戒区域，对所述警戒区域进行目标进入检测，当检测到目标进入时，产生告警信息，持续检测形成告警列表；

智能搜索步骤：通过光电图像采集设备对告警列表中的一个告警信息对应的目标进行图像采集，将采集得到的图像信息发送至图像处理计算机进行检测，获得需要定位的目标；在图像显示界面中检测是否有目标存在，如果存在目标，就将目标检测框提取出来，并将所有目标检测框与传感器目标进行匹配，所述的匹配方法将利用到目标与光电的距离信息与角度信息，目标检测框在图像显示界面的位置与大小，目标之间遮挡等信息。目标定位在目标搜索匹配完成后启动，并不断向显示控制***反馈当前目标检测框信息；

目标定位步骤：图像处理计算机在图像信息中设置目标检测框，对目标进行跟踪，记录目标的运行位置大小信息；

目标跟踪步骤：根据目标的运行位置大小信息，调节光电图像采集设备的旋转方位，对目标进行跟踪，并将跟踪图像和视频进行存储。

具体地，所述一个告警信息是告警列表中排在第一个的告警信息。

具体地，所述图像采集设备设置在岸基或者移动执法船舶上，所述图像采集设备包括可见光监测设备、红外监测光电设备。

具体地，所述跟踪根据设定要求进行，当目标检测框的位置大小符合设定要求，则进行跟踪。

本发明提供的基于计算机视觉的目标智能搜索、定位和跟踪***，可以通过基于计算机视觉的目标智能搜索、定位和跟踪方法的步骤流程实现。本领域技术人员可以将基于计算机视觉的目标智能搜索、定位和跟踪方法理解为所述基于计算机视觉的目标智能搜索、定位和跟踪***的优选例。

在具体实施中，本申请包括显示控制***、图像采集设备、图像处理计算机，图像显示界面，其中所述图像采集设备与所述图像处理计算机连接，所述图像处理计算机与显示控制***交互通信，所述图像采集设备预处理图像信息并向图像处理计算机提供图像信息，所述图像处理计算机通过目标识别提取目标信息，所述显示控制***显示传感器目标信息，所述传感器目标信息与目标识别目标检测框的匹配，所述目标跟踪启动，所述可见光与红外设备根据目标检测框大小自动调节目标在图像显示画面中位置与比例，进行智能跟踪。

如图1、图2所示，显示控制程序根据地图上显示由传感器检测到的传感器目标，指引光电图像采集设备，将光电图像指引到目标所在区域，并向图像处理计算机发送传感器目标位置信息。图像采集设备将采集到的图像信息传输到图像处理计算机，图像处理计算机进行目标检测，并记录所有目标检测框在图像显示界面中的位置及大小，根据显示控制***所发的传感器目标位置信息将检测框与传感器目标匹配，匹配完成后，目标定位启动，并将该检测框在图片中的位置信息返回给显示控制程序。显示控制***根据不断收到的检测框的信息，进一步调节光电设备，使目标在图像显示界面中处于合适位置，逐步优化跟踪位置。若无除光电图像采集设备外的传感器对目标进行检测，则使用光电图像采集设备对指定区域进行搜索，将采集到的图像信息传输到图像处理计算机，检测测到目标时利用光电设备测距功能及光电角度等信息，对目标进行定位，在连续不同的搜索周期内能够确定某一目标为同一目标，并且能够继续完成上述搜索、定位、跟踪过程。

上述技术方案中，所述的图像采集设备可安装在岸基或移动执法船舶上，所述图像采集设备包括可见光监测与红外监测光电设备，其中所述可见光监测与红外监测配合使用，在不同条件下，如昼夜变化、天气变化，相互配合，形成互补。所述目标检测在图像显示界面中检测是否有目标存在，如果存在目标，就将目标检测框提取出来，并将所有目标检测框与传感器目标进行匹配，所述的匹配方法将利用到目标与光电的距离信息，目标检测框在图像显示界面的位置与大小，目标之间遮挡等信息。所述目标定位在目标匹配完成后启动，并不断向显示控制***反馈当前目标检测框信息。所述智能跟踪将根据用户需求进行跟踪，用户设定当目标检测框图像显示界面中的位置及大小，图像采集设备将根据目标检测框的位置与大小不断在方位上与视场上进行调节，直至达到用户设定的要求，自动进行目标跟踪。

当目标进入警戒区时，将会对进入警戒区的目标产生告警列表。光电图像采集设备将会监测列表中第一个告警目标，并将图像信息传送给图像处理计算机。所述目标检测在图像显示界面中检测是否有目标存在，如果存在目标，就将目标检测框提取出来，如果画面中只有一个目标，则向显示控制***发送检测框的位置、大小，否则，将所有目标检测框与传感器目标进行搜索匹配，如图3所示，所述的搜索匹配方法将利用到目标与光电的距离信息，目标检测框在图像显示界面的位置与大小，目标之间遮挡等信息，确定当前正在取证目标为告警列表中第一个告警目标。目标跟踪在目标匹配完成后启动，并不断向显示控制***反馈当前目标检测框信息。

所述目标跟踪将根据用户需求进行跟踪，用户设定当目标检测框图像显示界面中的位置及大小，图像采集设备将根据目标检测框的位置与大小不断在方位上与视场上进行调节，直至达到用户设定的要求，自动进行目标跟踪。在跟踪成功后，判断该目标是否还在警戒区内，如果是，则将该目标加入告警列表末尾，否则在告警列表中删除该目标。当告警列表中仍存在告警目标时，则调整光电设备进入搜索、定位、跟踪的循环，直至告警列表为空。若无除光电图像采集设备外的传感器对目标进行检测，则使用光电图像采集设备对指定区域进行搜索，将采集到的图像信息传输到图像处理计算机，检测测到目标时利用光电设备测距功能及光电角度等信息，对目标进行定位，在连续不同的搜索周期内能够确定某一目标为同一目标，并且能够持续循环搜索指定区域，完成上述搜索、定位、跟踪过程。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的***、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (11)

1.一种基于计算机视觉的目标智能搜索、定位和跟踪***，其特征在于，包括显示控制单元、图像采集设备、图像处理计算机；

所述图像采集设备与所述图像处理计算机连接，所述图像处理计算机与显示控制单元交互通信，所述图像处理计算机获取所述图像采集设备的图像信息后，通过目标检测提取目标位置信息，并将目标位置信息发送至显示控制单元；

所述显示控制单元接收告警信息，根据告警信息和目标位置信息调节图像采集设备的旋转方位，图像采集设备根据预设的目标检测框大小，调节目标的图像显示位置，进行跟踪，得到目标图像或视频数据；

在没有除光电图像采集设备之外的传感器的情况下，仅用光电设备仍然能够完成上述目标搜索、定位、跟踪过程；

具体步骤描述如下：步骤一，在检测某一目标θ的第一个搜索周期记录该目标相对光电的角度信息，利用光电测距功能记录目标相对光电的距离信息，根据目标θ的位置信息，设定一个以该目标为中心的范围∑；步骤二，进行下一个搜索周期，在范围∑内发现该目标，则认定是与上一周期检测到的目标θ是同一目标；再根据以上两个周期检测的结果计算出目标θ的航向与航速，根据航向航速推测出下一巡检周期目标θ出现的位置，缩小范围∑；步骤三，循环执行步骤二，不断缩小范围，直至某一稳定的阈值，并且能够稳定定位目标θ，若在某一搜索周期内围在范围内发现目标θ，则扩大范围∑，确定目标θ位置，在下一周期继续根据目标θ的航向航速缩小范围∑；通过以上步骤，传感器仅有光电图像采集设备时，发现目标时依旧能够实现目标搜索、定位、跟踪过程；

所述的图像采集设备安装在岸基或移动执法船舶上，所述图像采集设备包括可见光监测与红外监测光电设备，其中所述可见光监测与红外监测配合使用，在不同条件下，昼夜变化、天气变化，相互配合，形成互补；所述目标检测在图像显示界面中检测是否有目标存在，如果存在目标，就将目标检测框提取出来，并将所有目标检测框与传感器目标进行匹配，所述的匹配方法将利用到目标与光电的距离信息，目标检测框在图像显示界面的位置与大小，目标之间遮挡信息；所述目标定位在目标匹配完成后启动，并不断向显示控制***反馈当前目标检测框信息；智能跟踪将根据用户需求进行跟踪，用户设定当目标检测框图像显示界面中的位置及大小，图像采集设备将根据目标检测框的位置与大小不断在方位上与视场上进行调节，直至达到用户设定的要求，自动进行目标跟踪；

当目标进入警戒区时，将会对进入警戒区的目标产生告警列表；光电图像采集设备将会监测列表中第一个告警目标，并将图像信息传送给图像处理计算机；所述目标检测在图像显示界面中检测是否有目标存在，如果存在目标，就将目标检测框提取出来，如果画面中只有一个目标，则向显示控制***发送检测框的位置、大小，否则，将所有目标检测框与传感器目标进行搜索匹配，所述的搜索匹配方法将利用到目标与光电的距离信息，目标检测框在图像显示界面的位置与大小，目标之间遮挡信息，确定当前正在取证目标为告警列表中第一个告警目标；目标跟踪在目标匹配完成后启动，并不断向显示控制***反馈当前目标检测框信息。

2.根据权利要求1所述的基于计算机视觉的目标智能搜索、定位和跟踪***，其特征在于，还包括图像显示界面，对图像采集设备的拍摄图像和目标位置在地图上进行显示，以及显示拍摄图像和目标位置的搜索匹配过程。

3.根据权利要求1所述的基于计算机视觉的目标智能搜索、定位和跟踪***，其特征在于，所述图像采集设备设置在岸基或者移动执法船舶上，所述图像采集设备包括可见光监测设备、红外监测设备。

4.根据权利要求1所述的基于计算机视觉的目标智能搜索、定位和跟踪***，其特征在于，所述告警信息由传感器设备检测得到，所述传感器设备采集到告警信息后，将所述告警信息发送至显示控制单元，以及图像采集设备。

5.根据权利要求1所述的基于计算机视觉的目标智能搜索、定位和跟踪***，其特征在于，智能取证根据设定要求进行，当目标检测框的位置大小符合设定要求，则进行跟踪。

6.根据权利要求1所述的基于计算机视觉的目标智能搜索、定位和跟踪***，其特征在于，在没有除光电图像采集设备之外的传感器的情况下，仅用光电图像采集设备实现指定区域搜索；光电图像采集设备采集到的图像信息传输到图像处理计算机，检测测到目标时利用光电设备测距功能及光电角度信息，对目标进行定位，在连续不同的搜索周期内能够确定某一目标为同一目标。

7.一种基于计算机视觉的目标智能搜索、定位和跟踪方法，利用权利要求1所述的基于计算机视觉的目标智能搜索、定位和跟踪***，其特征在于，包括：

接收告警步骤：设定警戒区域，对所述警戒区域进行目标进入检测，当检测到目标进入时，产生告警信息，持续检测形成告警列表；

智能搜索步骤：通过图像采集设备对告警列表中的一个告警信息对应的目标进行图像采集，将采集得到的图像信息发送至图像处理计算机进行检测搜索，获得需要定位的目标；

目标定位步骤：图像处理计算机在图像信息中设置目标检测框，对目标进行定位，记录目标的运行位置大小信息；

目标跟踪步骤：根据目标的运行位置大小信息，调节图像采集设备的旋转方位，对目标进行跟踪，并将图像或视频数据进行存储。

8.根据权利要求7所述的基于计算机视觉的目标智能搜索、定位和跟踪方法，其特征在于，在定位跟踪步骤之前，还包括目标搜索步骤：在图像显示界面中检测是否有目标存在，如果存在目标，则将目标检测框提取出来，并将所有目标检测框与传感器设备采集的目标进行搜索匹配，所述搜索匹配是利用目标与图像采集设备的距离信息与角度信息，目标检测框在图像显示界面的位置与大小，目标之间遮挡信息。

9.根据权利要求7所述的基于计算机视觉的目标智能搜索、定位和跟踪方法，其特征在于，所述图像采集设备设置在岸基或者移动执法船舶上，所述图像采集设备包括可见光监测设备、红外监测设备。

10.根据权利要求7所述的基于计算机视觉的目标智能搜索、定位和跟踪方法，其特征在于，所述取证根据设定要求进行，当目标检测框的位置大小符合设定要求，则进行图像视频跟踪。

11.根据权利要求7所述的基于计算机视觉的目标智能搜索、定位和跟踪方法，其特征在于，所述图像采集设备仅包括光电图像采集设备，光电图像采集设备采集到的图像信息传输到图像处理计算机，检测测到目标时利用光电图像采集设备的测距信息及光电角度，对目标进行定位，通过连续不同的巡检周期进行目标确定、目标跟踪。

Images