发明内容
针对现有技术的不足,本发明旨在提供一种针对快速移动的民用多旋翼无人机的定位跟踪方法及***,可以实现对无人机更加稳定和准确的跟踪,并实现实时跟踪。
为了实现上述目的,本发明采用如下技术方案:
一种针对快速移动的民用多旋翼无人机定位跟踪方法,包括如下步骤:
S1、将需要保护的区域的空域划分为若干子空域,一个云台雷达摄像机的视域恰好覆盖一个子空域;
S2、建立CCD摄像机的世界坐标系、相机坐标系和像素坐标;
S3、用户通过控制台控制模块分别向监测控制单元和定位跟踪控制单元发送控制无人机监测装置开启的指令和控制无人机定位跟踪装置开启的指令,监测控制单元控制云台雷达摄像机和信息处理器开启,定位跟踪控制单元控制CCD摄像机和跟踪计算模块开启;
S4、云台雷达摄像机对所覆盖的子空域进行全天候监测,在所监测的子空域中有物体接近时,对应的云台雷达摄像机会感应到接近的物体,云台雷达摄像机将接近的物体视为可疑目标,一旦发现所监测的子空域内出现可疑目标,云台雷达摄像机立即将出现可疑目标的子空域信息和采集到的可疑目标的图像通过监测控制单元发送给控制台控制模块;控制台控制模块通过监测控制单元向信息处理器发送指令,控制信息处理器进行判断可疑目标的图像中的可疑目标是否为无人机,信息处理器将判断结果通过监测控制单元发送至控制台控制模块;若可疑目标是无人机,继续进行步骤S5;
S5、控制台控制模块控制数据处理模块计算无人机在云台雷达摄像机获取的图像中的像素位置信息得到像素坐标,并将像素坐标转换成世界坐标,从而得出无人机初始入侵的初始位置,该帧图像作为关键帧;同时,控制台控制模块通过定位跟踪控制单元向CCD摄像机、跟踪计算模块和激光雷达发送控制指令,控制CCD摄像机启动追踪,以及控制激光雷达根据无人机初始入侵的初始位置的世界坐标对无人机进行精确测距,并控制跟踪计算模块根据无人机初始入侵的初始位置的像素坐标跟踪计算无人机的位置;
S6、所述跟踪计算模块在无人机位置的像素坐标附近小区域采样,先送入特征网络中进行特征提取,然后把提取的特征通过光流法传播给相关帧,然后再送入任务网络中对相关帧的每一帧中的无人机进行定位并返回计算得到的像素坐标;跟踪计算模块把相关帧的每一帧中的无人机像素坐标转化为世界坐标,并通过定位跟踪控制单元传输至激光雷达和CCD摄像机;所述CCD摄像机根据跟踪计算模块计算得到的世界坐标对无人机进行追踪和抓拍,所述激光雷达根据无人机的世界坐标测量出无人机的距离,CCD摄像机拍摄得到的图像和激光雷达计算得到的无人机的距离均通过定位跟踪控制单元发送给控制台控制模块;
S7、控制台控制模块控制数据处理模块对CCD摄像机拍摄得到的图像进行处理获取图像中的无人机的像素坐标和世界坐标,并通过定位跟踪控制单元发送至跟踪计算模块,控制跟踪计算模块以该图像作为关键帧按照步骤S6的方法对无人机的位置继续进行跟踪计算,直至无人机被拦截或撤离被保护空域。
进一步地,步骤S4中,所述信息处理器具体利用预先训练好的卷积神经网络对云台雷达摄像机拍摄的图像进行识别,识别其中的可疑目标是否为无人机。
进一步地,步骤S5中,所述相关帧为关键帧后面连续的10帧。
进一步地,所述方法还包括:
S8、在无人机被拦截或撤离保护空域后,所述快速移动的民用多旋翼无人机定位跟踪***的各个装置都自动恢复到初始位置,CCD摄像机恢复初始状态,***再次进入预警监控状态,直到***关闭或再次发现入侵无人机。
本发明还提供一种实现上述方法的针对快速移动的民用多旋翼无人机定位跟踪***,包括:
包括无人机监测装置、无人机定位跟踪装置、控制台、能源供电设备和通信装置;
所述控制台包括控制台控制模块、数据处理模块和显示模块;所述数据处理模块和显示模块均连接于所述控制台控制模块;
所述无人机监测装置包括云台雷达摄像机、信息处理器以及监测控制单元,监测控制单元分别与云台雷达摄像机和信息处理器连接,并与所述控制台控制模块连接;
所述无人机定位跟踪装置包括CCD摄像机、激光雷达、跟踪计算模块、定位跟踪控制单元,其中CCD摄像机和激光雷达分别与所述跟踪计算模块连接,所述跟踪计算模块、CCD摄像机和激光雷达分别连接于所述定位跟踪控制单元,所述定位跟踪控制单元连接于所述控制台;
所述能源供电设备用于为整个***供电;
所述通信装置用于实现所述监测控制单元、定位跟踪控制单元与控制台控制模块之间的通信连接。
进一步地,所述无人机定位跟踪装置还包括有支撑模块,所述CCD摄像机和激光雷达设于所述支撑模块上。
进一步地,所述无人机跟踪定位装置还包括有驱动装置,所述CCD摄像机和激光雷达设于所述驱动装置上,通过驱动装置可驱动CCD摄像机和激光雷达进行360度旋转。
更进一步地,所述驱动装置包括旋转云台。
进一步地,所述通信装置包括多个光纤接口。
进一步地,所述能源供电设备包括供电***和铅蓄电池,所述供电***用于将220V交流电压转换为直流电压并为***的各用电部件供电;所述铅蓄电池作为应急能源使用。
本发明的有益效果在于:本发明结合采用云台雷达摄像机进行目标的探测和摄像、利用卷积神经网络进行目标识别、对无人机的特征进行间隔动态更新(即分为关键帧更新特征和非关键帧接受特征传播)、使用激光雷达对目标进行精确测距和使用CCD摄像机进行实时追踪拍摄,使得物体跟踪更加稳定及准确,达到可实时跟踪。
具体实施方式
以下将结合附图对本发明作进一步的描述,需要说明的是,以下实施例以本技术方案为前提,给出了详细的实施方式和具体的操作过程,但本发明的保护范围并不限于本实施例。
如图2所示,本实施例提供一种实现上述方法的针对快速移动的民用多旋翼无人机定位跟踪***,包括:
包括无人机监测装置、无人机定位跟踪装置、控制台、能源供电设备和通信装置;
所述控制台包括控制台控制模块、数据处理模块和显示模块;所述数据处理模块和显示模块均连接于所述控制台控制模块;所述控制台控制模块用于供用户向无人机监测装置和无人机定位跟踪装置发送控制指令,以控制无人机监测装置和无人机定位跟踪装置的开启与停止以及运行;所述数据处理模块用于将可无人机监测装置和无人机定位跟踪装置传送到控制台的数据信息进行处理、保存或删除;所述显示模块用于进行图像和信息的显示,供用户实时查看无人机定位跟踪的情况。
所述无人机监测装置包括云台雷达摄像机、信息处理器以及监测控制单元,监测控制单元分别与云台雷达摄像机和信息处理器连接,并与所述控制台控制模块连接;所述云台雷达摄像机用于在控制台的控制下判断所监测的子空域是否有目标入侵,并对入侵目标的图像进行抓拍;所述信息处理器用于对云台雷达摄像机抓拍的图像利用预先训练好的卷积神经网络进行识别,判断可疑目标是否为无人机,并将识别的结果通过监测控制单元发送至控制台;
所述无人机定位跟踪装置包括CCD摄像机、激光雷达、跟踪计算模块、定位跟踪控制单元,其中CCD摄像机和激光雷达分别与所述跟踪计算模块连接,所述跟踪计算模块、CCD摄像机和激光雷达分别连接于所述定位跟踪控制单元,所述定位跟踪控制单元连接于所述控制台;所述CCD摄像机用于根据跟踪计算模块计算得到无人机的世界坐标对无人机进行追踪和抓拍,并对关键帧图像进行抓取,由定位跟踪控制单元传输至控制台;所述激光雷达用于在控制台的控制下测量与无人机的距离;所述跟踪计算模块用于对无人机进行精确定位。
所述能源供电设备用于为整个***供电;
所述通信装置用于实现所述监测控制单元、定位跟踪控制单元与控制台控制模块之间的通信连接。
进一步地,所述无人机定位跟踪装置还包括有支撑模块,所述CCD摄像机和激光雷达设于所述支撑模块上。所述支撑模块可以采用不锈钢结构,耐腐蚀性能好,结构更稳定,更易对抗恶劣天气,达到保护支撑所述无人机定位跟踪装置的目的。
进一步地,所述云台雷达摄像机采用一体化摄像机,型号为ZTLC-SPG36100D,分辨率为1920*1080,镜头10-360(mm),像素为2000万,最低照度为0.001(LUX)。
进一步地,所述无人机跟踪定位装置还包括有驱动装置,所述CCD摄像机和激光雷达设于所述驱动装置上,通过驱动装置可驱动CCD摄像机和激光雷达进行360度旋转。
进一步地,所述CCD摄像机采用Super HAD CCD传感器,传感器尺寸为1/2.3英寸,最大像素数2040万,有效像素2010万,可达到126倍数码变焦,具有体积小、重量轻、不受磁场影响、具有抗震动和撞击特性。
进一步地,所述激光雷达采用Velodyne HDL-64E Lidar,拥有360°视野及高传输速率。最大量程120米,精度小于2cm,其水平视野为360°,纵向视野为26.8°,5-15Hz可选帧速率,输出130W像素每秒,HDL-64E可提供可靠的远距传感数据。使用64个激光器,具有响应快、性能稳定、安装牢固,稳定可靠等特点,可对入侵无人机实现快速的,精确的测距。
更进一步地,所述驱动装置包括旋转云台。
进一步地,所述通信装置包括多个光纤接口,可进行快速数据通信。
进一步地,所述能源供电设备包括供电***和铅蓄电池,所述供电***用于将220V交流电压转换为直流电压并为***的各用电部件供电。所述供电***体积小巧,可靠性好,采用双管正激构架,支持180v-240v宽电网输入,散热性能好,包含多个+12V和+5V电压接口,满足为***供电的需要。所述铅蓄电池可作为应急能源使用。
通常地,云台雷达摄像机包括光强传感器、成像镜头、滤光片、激光照明器、护罩、控制器、雷达和驱动机;成像镜头可根据保护区域范围选取合适焦距,默认选择750mm的成像镜头。在本实施例中,所述护罩包括外壳、铝合金支架、遮阳罩、防水层、雨刷。
在本实施例中,所述定位跟踪控制单元以XilinxLX45FPGA为核心,通过CCD摄像机完成图像数据的采集、压缩、存储及发送工作,并通过接受所述控制台的命令,控制驱动装置带动CCD摄像机转动,实现最佳角度监测目标。
如图1所示,利用针对快速移动的民用多旋翼无人机定位跟踪***进行无人机跟踪的方法,包括如下步骤:
S1、将需要保护的区域的空域划分为若干子空域,一个云台雷达摄像机的视域恰好覆盖一个子空域;
S2、将CCD摄像机和云台雷达摄像机分布在设定的位置,并建立世界坐标系、相机坐标系和像素坐标;
具体地,世界坐标系用于描述空间任一点位置。云台雷达摄像机和CCD摄像机的坐标系通常建立在摄像机的机体上,以摄像机的光心O为原点,xoy平面与摄像机接受平面平行,与光轴重合建立。像素坐标系的像点坐标是图像在计算机中的帧存坐标,单位是像素(pixels)。通常以图像平面的左上角为坐标原点,u、v轴分别平行于图像平面坐标系的x、y轴;世界坐标系、相机坐标系和像素坐标之间可以互相转换;
S3、用户通过控制台控制模块分别向监测控制单元和定位跟踪控制单元发送控制无人机监测装置开启的指令和控制无人机定位跟踪装置开启的指令,监测控制单元控制云台雷达摄像机和信息处理器开启,定位跟踪控制单元控制CCD摄像机和跟踪计算模块开启;
S4、云台雷达摄像机对所覆盖的子空域进行全天候监测,在所监测的子空域中有物体接近时,对应的云台雷达摄像机会感应到接近的物体,云台雷达摄像机将接近的物体视为可疑目标,一旦发现所监测的子空域内出现可疑目标,云台雷达摄像机立即将出现可疑目标的子空域信息和采集到的可疑目标的图像通过监测控制单元发送给控制台控制模块;控制台控制模块通过监测控制单元向信息处理器发送指令,控制信息处理器进行判断可疑目标的图像中的可疑目标是否为无人机,信息处理器将判断结果通过监测控制单元发送至控制台控制模块;若可疑目标是无人机,继续进行步骤S5;
S5、控制台控制模块控制数据处理模块计算无人机在云台雷达摄像机获取的图像中的像素位置信息得到像素坐标,并将像素坐标转换成世界坐标,从而得出无人机初始入侵的初始位置,该帧图像作为关键帧;同时,控制台控制模块通过定位跟踪控制单元向CCD摄像机、跟踪计算模块和激光雷达发送控制指令,控制CCD摄像机启动追踪,以及控制激光雷达根据无人机初始入侵的初始位置的世界坐标对无人机进行精确测距,并控制跟踪计算模块根据无人机初始入侵的初始位置的像素坐标跟踪计算无人机的位置;
S6、所述跟踪计算模块在无人机位置的像素坐标附近小区域(50x50)采样,先送入特征网络中进行特征提取,然后把提取的特征通过光流法传播给相关帧(关键帧后面连续的10帧),然后再送入任务网络中对相关帧的每一帧中的无人机进行定位并返回计算得到的像素坐标(即在关键帧进行特征提取,非关键帧不进行卷积网络运算,大大的加快了***的运算速度,可实现实时跟踪);跟踪计算模块把相关帧的每一帧中的无人机像素坐标转化为世界坐标,并通过定位跟踪控制单元传输至激光雷达和CCD摄像机;所述CCD摄像机根据跟踪计算模块计算得到的世界坐标对无人机进行追踪和抓拍,所述激光雷达根据无人机的世界坐标测量出无人机的距离,CCD摄像机拍摄得到的图像和激光雷达计算得到的无人机的距离均通过定位跟踪控制单元发送给控制台控制模块;
S7、控制台控制模块控制数据处理模块对CCD摄像机拍摄得到的图像进行处理获取图像中的无人机的像素坐标和世界坐标,并通过定位跟踪控制单元发送至跟踪计算模块,控制跟踪计算模块以该图像作为关键帧按照步骤S6的方法对无人机的位置继续进行跟踪计算,直至无人机被拦截或撤离被保护空域;
S8、在无人机被拦截或撤离保护空域后,所述快速移动的民用多旋翼无人机定位跟踪***的各个装置都自动恢复到初始位置,CCD摄像机恢复初始状态,***再次进入预警监控状态,直到***关闭或再次发现入侵无人机。
在本实施例中,特征网络和任务网络是连续的两个子网络,第一个子网络为特征网络Nfeat,第二个子网络为任务网络Ntask。特征网络Nfeat是完全卷积网络,输出多个中间特征图f=Nfeat(I)。任务网络Ntask在中间特征图上进行识别定位y=Ntask(f)。特征网络在关键帧Ii帧的视频中对目标位置附近采样,计算得出深度特征图,并将深度特征图送入任务网络进行定位,任务网络在非关键帧Ik帧,k=i+10中,通过光流法把关键帧的深度特征图传播给非关键帧,非关键帧利用得到的深度特征图在任务网络中进行运算,从而实现对无人机跟随式跟踪。
连续的视频帧非常相似,在深度特征图中的相似性更强。本实施例中利用相似性来降低计算成本。具体来说,特征网络Nfeat只在稀疏的关键帧上运行。非关键帧Ik的特征图则由其上一个的关键帧Ii的特征图传播得到。具体流程为:
1、令Mk→i是二维流场,由流估计算法F获得,其中Mk→i=F(Ii,Ik)。特征图被双线性插值算法调整到相同的空间分辨率上进行传播。
2、当前帧k中的位置p投影到关键帧i中的位置p+Δp,其中Δp=Mk→i(p)。则使用双线性插值来实现特征的形变:
c为特征图f中的特征通道,q特征图中的所有空间位置,G(·,·)b表示双线性插值内核。
3、特征传播函数定义为:
fk=W(fi,Mk→i) (2)
W对特征图中的所有位置使用公式(1)。
对于本领域的技术人员来说,可以根据以上的技术方案和构思,给出各种相应的改变和变形,而所有的这些改变和变形,都应该包括在本发明权利要求的保护范围之内。