CN109920185A - 一种基于毫米波雷达与视频数据融合检测移动目标的方法 - Google Patents

Abstract

本发明公开了一种基于毫米波雷达与视频数据融合检测移动目标的方法，具体包括：采用高清摄像头以及毫米波雷达进行全天候周界入侵目标探测，并将采集的高清摄像头以及毫米波雷达数据实时上传到服务器，然后依据算法进行深度识别检测入侵目标。本发明通过将毫米波雷达及高清摄像头结合使用，解决了现有周界安防***在目标识别率低和适应特殊环境能力差的问题，具有目标检测准确性和可靠性高、适应云雨雪等特殊环境、降低部署和维护成本的优点，更重要的是解决了目前跟踪目标无法可视化展示的迫切问题。

Description

一种基于毫米波雷达与视频数据融合检测移动目标的方法

技术领域

本发明涉及一种检测移动目标的方法，尤其涉及一种基于毫米波雷达与视频数据融合检测移动目标的方法。

背景技术

周界安防是指单位与外界环境连接的边界，加上了一道隔离措施，来阻档一切未被允许的人、动物的闯入，在科技水平还没有足够发达时，多数场所都只是在边界设置屏障如铁栅栏、篱笆网、围墙等来防止非法入侵及各种破坏，但随着科技技术的进步与推动，周界安防被赋予了新的意义。

上世纪90年代，红外对射以其探测介质不可见的优势，成为当时市场上周界入侵探测的主流产品，但红外光源存在能量不集中，极易扩散，加之在雨、雾、强光等自然天气下易受天气干扰而穿透力减弱等缺陷，使产品运行受影响极大。另外，在理想环境下，随着发射距离的增加，射束同样会与发射距离呈反平方衰减，因此利用如此不稳定的红外线作为探测媒介，即便在触发相应时间、报警触发条件等因素上不断改善，都是治标不治本的方法。

近年来，随着物联网技术不断发展，以物联网为代表的周界探测器产品迭代频出，电子围栏、振动光纤、周界雷达等为主流的新兴周界探测产品填充了逐步升级的市场需求。其中，电子围栏周界防盗报警***中应用最广泛的是张力围栏，张力围栏由前端探测器、入侵探测主机、智能控制终端、安防管理平台等众多复杂的装备组成，虽然运行稳定可靠，但用于周界安防时安装基础要求高，维护成本高。振动光纤用于周界安防，***设备结构简单，具备较强的实时性，但根据振动光纤检测目标的原理，存在着非入侵震动易造成误报和容易被翻越等缺点。微波雷达电子墙周界安防***是由一对雷达发射机和接收机设备组成，两个设备间隔一定距离安装，该距离即为防护区域，该设备的优点是防护灵敏度高，可有效避免小动物的影响，但缺点是其防护区域只能为直线区域，无法适应地形变化，价格昂贵，设备暴露在外边容易遭到破坏，在设备的近端处有防护盲区。

综上所述，如何提高周界安防在减少人力成本，自动准确识别判读周界入侵目标，实现真正的智能安防成为目前安防行业的迫切需求。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了一种基于毫米波雷达与视频数据融合检测移动目标的方法。

为了解决以上技术问题，本发明采用的技术方案是：一种基于毫米波雷达与视频数据融合检测移动目标的方法，具体为：采用高清摄像头以及毫米波雷达进行全天候周界入侵目标探测，并将采集的高清摄像头以及毫米波雷达数据实时上传到服务器，然后依据算法进行深度识别检测入侵目标；

所述算法的具体流程为：

A、特征提取：对获取的两组目标检测数据进行预处理以及特征提取；

B、数据融合：对提取的两类单一的特征数据进行融合分析，使检测区域达到无缝覆盖，同时提高目标检测判断的置信度；

C、分级报警：通过数据融合和深度分析在确认有目标入侵后，根据设定规则确定报警等级，向用户后台进行报警，并向入侵目标通过声光方式进行警告；

D、可视化展示：将时空配准后的特征数据与GIS数据准确关联，使报警信息发出的同时，后台服务器自动弹出入侵目标的跟踪定位地图；同时通过高清摄像头自动调焦调取现场视频画面。

进一步地，将高清摄像头以及毫米波雷达进行联动处理，在毫米波雷达检测到异常入侵且获取目标方位后，立即调整对应高清摄像头的角度和焦距，对目标进行锁定。

进一步地，当白天有入侵目标时，依靠高清摄像头以及毫米波雷达共同识别获取目标的种类，进而判断是否为周界入侵目标。

进一步地，当晚上高清摄像头无法准确检测目标时，依靠毫米波雷达进行周界入侵目标探测。

进一步地，特征提取的具体步骤包括：

a、特征提取：依据标准对目标运动特征、几何结构特征、光谱特征、图像特征数据进行统一形式的数据描述；其中，图像特征包括边缘和直线特征、纹理特征、光谱特征；

b、目标特征信息优选：由于特征信息比较多会造成比较复杂的计算量，同时降低特征所反映信息的精确性，因此，对目标特征信息进行优选，从而减少特征值的误差。

进一步地，数据融合的具体步骤包括：

a、图像空间配准：通过特征描述算子及相似性测度建立所提取的两类单一特征数据之间的对应关系，然后通过变换模型估计对图像之间的几何畸变情况进行参数估计，最后利用坐标变换与插值的方式将输入图像做相应参数变换使之与参考图像处于同一坐标系下，由此完成图像空间配准；

b、图像时间配准：由于单一传感器是独立的相互之间不能干涉，所以在采样频率上是不同的，因此采用多线程分别处理毫米波雷达数据和高清摄像头数据，对二者进行时间配准，使之达到时间上的同步；

c、特征融合：完成两类特征数据的时空配准后对其进行融合处理，以此得到更加精确的特征信息；融合的特征包括目标的纵距离、横向距离、横向速度、目标宽度、目标分类；

d、移动目标轨迹计算：通过融合后的图像特征数据提取运动目标，并测定目标的方位角和高低角信息，然后通过深度学习的方法训练神经网络，给出目标识别结果，同时对目标进行跟踪，给出目标的运动轨迹，摄像头采用变焦距前视获取图像。

本发明通过将毫米波雷达及高清摄像头结合使用，解决了现有周界安防***在目标识别率低和适应特殊环境能力差的问题，具有目标检测准确性和可靠性高、适应云雨雪等特殊环境、降低部署和维护成本的优点，更重要的是解决了目前跟踪目标无法可视化展示的迫切问题。

附图说明

图1为本发明所使用的***结构示意图。

图2为本发明的整体流程示意图。

图3为分级预警区划分的示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图2所示的一种基于毫米波雷达与视频数据融合检测移动目标的方法，具体过程为：

采用高清摄像头以及毫米波雷达进行全天候周界入侵目标探测，并将高清摄像头以及毫米波雷达进行联动处理，在毫米波雷达检测到异常入侵且获取目标方位后，立即调整对应高清摄像头的角度和焦距，对目标进行锁定。当白天有入侵目标时，依靠高清摄像头以及毫米波雷达共同识别获取目标的种类，进而判断是否为周界入侵目标。当晚上高清摄像头无法准确检测目标时，依靠毫米波雷达进行周界入侵目标探测。本发明采用的***架构如图1所示。

将采集的高清摄像头以及毫米波雷达数据实时上传到服务器，然后依据算法进行深度识别检测入侵目标；算法的具体流程为：

A、特征提取

对获取的两组目标检测数据进行预处理以及特征提取，具体包括:

a、特征提取：依据标准对目标运动特征、几何结构特征、光谱特征、图像特征等数据进行统一形式的数据描述(如边缘、形状、距离等)，其中图像特征主要包括边缘和直线特征、纹理特征、光谱特征。

b、目标特征信息优选：由于特征信息比较多，会造成比较复杂的计算量，同时降低特征所反映信息的精确性。为此，需要完成目标特征信息的优选，从而减少特征值的误差。

B、数据融合

对提取的两类单一的特征数据进行融合分析，相互补盲，使检测区域达到无缝覆盖，同时提高目标检测判断的置信度，具体包括：

a、图像空间配准：通过特征描述算子及相似性测度建立所提取的两类单一特征数据之间的对应关系，然后通过变换模型估计对图像之间的几何畸变情况进行参数估计，最后利用坐标变换与插值(常用的插值方法包括最近邻插值、双线性插值、双三次插值、高斯插值等)的方式将输入图像做相应参数变换使之与参考图像处于同一坐标系下，由此完成图像空间配准。

b、图像时间配准：由于单一传感器是独立的相互之间不能干涉，所以在采样频率上是不同的，这里可同时采用多线程分别处理毫米波雷达数据和摄像头数据，对其进行时间配准，使之达到时间上的同步。

c、特征融合：完成两类特征数据的时空配准后需要对其进行融合处理，以此得到更加精确的特征信息，融合的特征包括目标的纵距离、横向距离、横向速度、目标宽度、目标分类等。融合方法可以根据两类传感器的优势而定，比如可采用单一传感器的检测结果值，也可采用两类传感器检测结果的微分值。

d、移动目标轨迹计算：通过融合后的图像特征数据提取运动目标，并测定目标的方位角和高低角信息，然后通过深度学习的方法训练神经网络，给出目标识别结果，同时对目标进行跟踪，给出目标的运动轨迹，摄像头可采用变焦距前视获取图像。

C、分级报警

通过数据融合和深度分析在确认有目标入侵后，根据设定规则确定报警等级，向用户后台进行报警，并向入侵目标通过声光方式进行警告。比如，设定预警区、报警区、出警区三级报警，分级预警区划分如图3所示。

D、可视化展示

将时空配准后的特征数据与GIS数据准确关联，使报警信息发出的同时，后台服务器自动弹出入侵目标的跟踪定位地图；同时也可通过高清摄像头自动调焦调取现场视频画面，为后续计划和行动部署提供了有效的直观的数据依据和支持。

本发明具有以下技术关键点和优势：

1)将毫米波雷达及高清摄像头结合使用，提升了周界安全监测时对入侵目标的识别率和准确率，同时使得设备在云雨雪等特殊环境下直观的判读识别目标的能力提升了；

2)通过雷达获取入侵目标方位数据，联动高清摄像头调焦对准目标进行辅助采集目标可视化数据，并通过对两种数据的融合检测周界入侵目标，可实时获取目标的速度、方向、距离、角度信息，实现对周界入侵目标24小时全天候不间断检测，同时有效提升了目标检测的准确性和可靠性；

3)可将检测到入侵目标的报警数据，在GIS地图及视频画面同步展示给用户，让用户第一时间更直观高效的获取报警目标的详细信息，大大提高了安防的智能性和周界的安全性；

4)雷达检测距离较远，摄像机检测角度较大，通过两者结合在有效范围内节省了安装数量，使部署工作量减少，从而降低了部署和维护成本。

上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (6)

1.一种基于毫米波雷达与视频数据融合检测移动目标的方法，其特征在于：采用高清摄像头以及毫米波雷达进行全天候周界入侵目标探测，并将采集的高清摄像头以及毫米波雷达数据实时上传到服务器，然后依据算法进行深度识别检测入侵目标；

所述算法的具体流程为：

A、特征提取：对获取的两组目标检测数据进行预处理以及特征提取；

B、数据融合：对提取的两类单一的特征数据进行融合分析，使检测区域达到无缝覆盖，同时提高目标检测判断的置信度；

C、分级报警：通过数据融合和深度分析在确认有目标入侵后，根据设定规则确定报警等级，向用户后台进行报警，并向入侵目标通过声光方式进行警告；

D、可视化展示：将时空配准后的特征数据与GIS数据准确关联，使报警信息发出的同时，后台服务器自动弹出入侵目标的跟踪定位地图；同时通过高清摄像头自动调焦调取现场视频画面。

2.根据权利要求1所述的基于毫米波雷达与视频数据融合检测移动目标的方法，其特征在于：将高清摄像头以及毫米波雷达进行联动处理，在毫米波雷达检测到异常入侵且获取目标方位后，立即调整对应高清摄像头的角度和焦距，对目标进行锁定。

3.根据权利要求2所述的基于毫米波雷达与视频数据融合检测移动目标的方法，其特征在于：当白天有入侵目标时，依靠高清摄像头以及毫米波雷达共同识别获取目标的种类，进而判断是否为周界入侵目标。

4.根据权利要求3所述的基于毫米波雷达与视频数据融合检测移动目标的方法，其特征在于：当晚上高清摄像头无法准确检测目标时，依靠毫米波雷达进行周界入侵目标探测。

5.根据权利要求4所述的基于毫米波雷达与视频数据融合检测移动目标的方法，其特征在于：所述特征提取的具体步骤包括：

a、特征提取：依据标准对目标运动特征、几何结构特征、光谱特征、图像特征数据进行统一形式的数据描述；其中，图像特征包括边缘和直线特征、纹理特征、光谱特征；

b、目标特征信息优选：由于特征信息比较多会造成比较复杂的计算量，同时降低特征所反映信息的精确性，因此，对目标特征信息进行优选，从而减少特征值的误差。

6.根据权利要求5所述的基于毫米波雷达与视频数据融合检测移动目标的方法，其特征在于：所述数据融合的具体步骤包括：

a、图像空间配准：通过特征描述算子及相似性测度建立所提取的两类单一特征数据之间的对应关系，然后通过变换模型估计对图像之间的几何畸变情况进行参数估计，最后利用坐标变换与插值的方式将输入图像做相应参数变换使之与参考图像处于同一坐标系下，由此完成图像空间配准；

b、图像时间配准：由于单一传感器是独立的相互之间不能干涉，所以在采样频率上是不同的，因此采用多线程分别处理毫米波雷达数据和高清摄像头数据，对二者进行时间配准，使之达到时间上的同步；

c、特征融合：完成两类特征数据的时空配准后对其进行融合处理，以此得到更加精确的特征信息；融合的特征包括目标的纵距离、横向距离、横向速度、目标宽度、目标分类；

d、移动目标轨迹计算：通过融合后的图像特征数据提取运动目标，并测定目标的方位角和高低角信息，然后通过深度学习的方法训练神经网络，给出目标识别结果，同时对目标进行跟踪，给出目标的运动轨迹，摄像头采用变焦距前视获取图像。