发明内容
本发明新型提供一种无人机降落到移动车辆顶部的视觉方法,用以解决无人机在执行完任务后精确降落到移动车辆,即目标车辆顶部的情况。具体方案为:
一种无人机降落到移动车辆顶部的视觉方法,用于控制无人机在执行完任务后精确降落返回到目标车辆顶部,包括以下步骤:
步骤一,针对无人机的飞行高度按实际情况进行空间划分,在目标车辆的顶部设置第一标识区和第二标识区,所述第一标识区内设置有第一标识符和第二标识符;
步骤二,无人机在返航时通过机载通讯***获取目标车辆的位置数据,并根据目标车辆的位置数据导航飞行;
步骤三,无人机飞至目标车辆中高空时,无人机的机载图像***采集无人机下方的图像信息,并通过目标检测算法检测采集的图像信息中是否有目标车辆的图像;
步骤四,当目标检测算法检测到图像信息中有目标车辆后,实现基于摄像头图像信息的目标跟踪算法进行目标车辆的跟踪;
步骤五,在目标车辆跟踪的过程中,机载控制***通过跟踪框在目标车辆视野中的位置来控制无人机的飞行角度,使跟踪框在跟踪目标车辆的过程中一直位于视野的中间,并控制无人机向目标车辆降落;
步骤六,当无人机在中高空对目标车辆跟踪失败后,重新进行步骤三、四、五;当无人机在低空对目标车辆跟踪失败后,无人机通过目标检测算法对第一标识符检测,检测成功之后,通过目标跟踪算法对第一标识符进行实时跟踪,机载控制***使无人机向第一标识符降落;
步骤七,无人机在对第一标识符跟踪失败后,重新检测第一标识符,检测成功之后继续跟踪,并通过机载控制***使无人机向第一标识符降落;
步骤八,当无人机降落至目标车辆顶部的距离小于10米时,通过目标检测算法检测在降落的过程中实时检测第二标识符;
步骤九,当目标检测算法对第二标识符检测成功时,通过机载控制***获取第二标识符相对于跟踪框的角度和距离,并使无人机精准降落在目标车辆的顶部。
进一步的,所述第一标识区设置在车顶中间,所述第二标识区设置在车顶边缘;
所述第一标识区包括第一标识符和若干第二标识符,所述第二标识符呈方型矩阵方式排列,所述第一标识符位于所述方型矩阵靠近车头的一侧;
所述第二标识区包括若干第二标识符号。
进一步的,所述第一标识符为红色圆形,所述第二标识符为二维码,
所述二维码呈白底黑码,且单个二维码代表一个ID,所述二维码包括位于第一参考区内的第一二维码和位于第二参考区内的第二二维码,所述第一二维码的尺寸小于第二二维码;
所述第二二维码用于无人机下降至距离指定的目标车辆2m-10m高度时无人机的位置检测;
所述第一二维码用于无人机下降至距离指定的目标车辆小于2m高度时位置检测。
进一步的,所述目标检测算法包括以下步骤:
1):将无人机机载摄像头获取的图像信息输入到目标检测算法中;
2):利用多层深度学习网络yolov3提取图像信息的特征并输出目标的种类、划分类别的概率、以及目标物在图像中的位置,所述位置为四维坐标值;
3):获取深度学习网络的输出,获取目标车辆以及第一标识符在图像中的位置和概率,当目标车辆和第一标识符的概率值低于预设值时,重新进行检测;当两者有一类目标概率值高于预设值时,且该类目标只有1个,实现对其跟踪;当两个概率值均大于预设值时,且该类目标只有1个,对目标车辆的目标进行跟踪;
进一步的,当所述目标检测算法检测到图像信息中有目标车辆后,实现基于摄像头图像信息的目标跟踪算法;
步骤一:获取检测算法获取的目标在图像中的位置坐标;
步骤二:基于位置坐标初始化目标跟踪算法kcf,实现跟踪;
步骤三:跟踪算法不断输入图像,返回跟踪框在图像中的位置坐标和一个布尔类型的值;当布尔类型值为False,代表跟踪失败,重新进行检测;
步骤四:跟踪成功之后,根据跟踪框在图像中的位置坐标,机载控制***控制无人机飞行,使跟踪框一直在视野的中间,并控制无人机实行降落;
进一步的,所述无人机降落至距离目标车辆的距离为2m-10m时,机载模块实时检测是否有所述第二二维码;当无人机机载端对所述第二二维码检测成功,无人机利用第二二维码处理算法,获取二维码对于无人机的距离和角度,并通过机载控制***控制无人机向目标车辆顶部;当无人机降落至距离目标车辆的距离小于2m时,无人机机载模块实时检测是否有所述第一二维码,当无人机机载端对所述第一二维码检测成功,无人机利用二维码处理算法,获取第一二维码对于无人机的距离和角度,并通过机载控制***控制无人机精准降落在目标车辆的顶部。
进一步的,所述二维码处理算法包括以下步骤:
步骤一:基于AprilTag实现视觉定位方法,它可以计算出相对于无人机的二维码标签的精确的三维位置、方向和标签ID;
步骤二:AprilTag算法的主要流程如下:输入为摄像头拍摄的含有二维码标签的图像,对图像进行滤波,去噪、计算像素的梯度以聚类提取边缘、拟合边缘线,为边缘线添加从暗区指向亮区的向量,对边缘线进行连接得到quad回路,判别quad回路并进行解码,识别出二维码ID及旋转角度,获取相机参数,构建位姿数据的PnP方程,求解得到二维码坐标系在像平面坐标系中的位姿。AprilTag算法输出为计算得到的二维码坐标系在像平面坐标系中的位置和姿态。
步骤三:无人机控制端获取AprilTag算法输出的相对于无人机的二维码标签的精确的三维位置、方向和标签ID;不同的ID的二维码分布在不同的位置,根据AprilTag算法,计算二维码部分的中点位置,控制无人机飞行到二维码部分的中点,并控制无人机进行精准降落。
本发明的有益效果在于,
本发明基于视觉识别的导航***使无人机在返航时精准的降落至移动车辆,即目标车辆的顶部,
本发明提供的视觉方法当车辆改变路径时,需要实时更新车辆的位置,并且无人机会反应性地跟随车辆的当前位置,直到无人机降落到车辆上。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
下面是本发明应用无人机降落在目标车辆顶部过程的实例;
根据附图1-图5所示,本发明提供了一种无人机降落到移动车辆顶部的视觉方法,用于控制无人机在执行完任务后精确降落返回到目标车辆顶部,包括以下步骤:
步骤一,针对无人机的飞行高度按实际情况进行空间划分,在目标车辆的顶部设置第一标识区和第二标识区,所述第一标识区内设置有第一标识符和第二标识符;
步骤二,无人机在返航时通过机载通讯***获取目标车辆的位置数据,并根据目标车辆的位置数据导航飞行;
步骤三,无人机飞至目标车辆中高空时,无人机的机载图像***采集无人机下方的图像信息,并通过目标检测算法检测采集的图像信息中是否有目标车辆的图像;
步骤四,当目标检测算法检测到图像信息中有目标车辆后,实现基于摄像头图像信息的目标跟踪算法进行目标车辆的跟踪;
步骤五,在目标车辆跟踪的过程中,机载控制***通过跟踪框在目标车辆视野中的位置来控制无人机的飞行角度,使跟踪框在跟踪目标车辆的过程中一直位于视野的中间,并控制无人机向目标车辆降落;
步骤六,当无人机在中高空对目标车辆跟踪失败后,重新进行步骤三、步骤四、步骤五;当无人机在低空对目标车辆跟踪失败后,无人机通过目标检测算法对第一标识符检测,检测成功之后,通过目标跟踪算法对第一标识符进行实时跟踪,机载控制***使无人机向第一标识符降落;
步骤七,无人机在对第一标识符跟踪失败后,重新检测第一标识符,检测成功之后继续跟踪,并通过机载控制***使无人机向第一标识符降落;
步骤八,当无人机降落至目标车辆顶部的距离小于10米时,通过目标检测算法检测在降落的过程中实时检测第二标识符;
步骤九,当目标检测算法对第二标识符检测成功时,通过机载控制***获取第二标识符相对于跟踪框的角度和距离,并使无人机精准降落在目标车辆的顶部。
本发明的一个实施例中,所述第一标识区设置在车顶中间,所述第二标识区设置在车顶边缘;
所述第一标识区包括第一标识符和若干第二标识符,所述第二标识符呈方型矩阵方式排列,所述第一标识符位于所述方型矩阵靠近车头的一侧;
所述第二标识区包括若干第二标识符号。
本发明的一个实施例中,所述第一标识符为红色圆形,所述第二标识符为二维码,
所述二维码呈白底黑码,且单个二维码代表一个ID,所述二维码包括位于第一参考区内的第一二维码和位于第二参考区内的第二二维码,所述第一二维码的尺寸小于第二二维码;
所述第二二维码用于无人机下降至距离指定的目标车辆2m-10m高度时无人机的位置检测;
所述第一二维码用于无人机下降至距离指定的目标车辆小于2m高度时位置检测。
需要说明的是,第一标识区内设置有一个第一标识符和多个第二标识符,其中第一标识符为红色、半径为0.5m的圆形标识符,位于第一标识区内的第二标识符为第一二维码,第一二维码在第一标识区内设置有多个,成方型矩阵排列,方型矩阵的面积为1.2m*1.2m;第二标识区内设置有多个第二标识符,其中位于第二标识区内的第二标识符号为第二二维码,第二二维码的面积大于第一二维码,单个第二二维码1.2m*1.2m,第二二维码至少设置有四个分布在车顶的四个转角处,第一二维码和第二二维码的背景均为白色、二维码为黑色,并且不同的二维码代表不同的id,四个第二二维码用于无人机降落至目标车辆的车顶距离为2m-10m时的目标检测;多个第一二维码设置在第一标识区内,主要用于无人机降落至目标车辆的车顶距离在2m以内的内的目标检测;红色圆点设置于第一标识区内位于多个第一二维码靠近车头方向的一侧,用于在无人机降落至低空时目标物的检测、跟踪。
本发明的一个实施例中,所述目标检测算法包括以下步骤:
1):将无人机机载摄像头获取的图像信息输入到目标检测算法中;
2):利用多层深度学习网络yolov3提取图像信息的特征并输出目标的种类、划分类别的概率、以及目标物在图像中的位置,所述位置为四维坐标值;
3):获取深度学习网络的输出,获取目标车辆以及第一标识符在图像中的位置和概率,当目标车辆和第一标识符的概率值低于预设值时,重新进行检测;当两者有一类目标概率值高于预设值时,且该类目标只有1个,实现对其跟踪;当两个概率值均大于预设值时,且该类目标只有1个,对目标车辆的目标进行跟踪。
需要说明的是,目标检测算法采用yolov3算法;目标检测的对象为中高空中移动降落平台和低空的红色圆点;因为yolov3对大目标检测效果差,低空中目标车辆在视野中面积大,所以无法利用yolov3进行检测,所以低空中切换成对红色圆点的检测;
目标检测算法的流程:把无人机机载摄像头获取的图像输入目标检测算法;利用多层深度学习网络yolov3提取图像特征并输出目标的种类、划分类别的概率、以及目标在图像中的位置,位置为四维坐标值;获取深度学习网络的输出,获取目标车辆以及红色圆点在图像中的位置和概率,当目标车辆和红色圆点概率值低于0.5时,重新进行检测;当两者有一类目标概率值高于0.5,且该类目标只有1个,实现对其跟踪;当两个概率值均大于0.5,且该类目标只有1个,对目标车辆的目标进行跟踪。
本发明的一个实施例中,当所述目标检测算法检测到图像信息中有目标车辆后,实现基于摄像头图像信息的目标跟踪算法;
步骤一:获取检测算法获取的目标在图像中的位置坐标;
步骤二:基于位置坐标初始化目标跟踪算法kcf,实现跟踪;
步骤三:跟踪算法不断输入图像,返回跟踪框在图像中的位置坐标和一个布尔类型的值;当布尔类型值为False,代表跟踪失败,重新进行检测;
步骤四:跟踪成功之后,根据跟踪框在图像中的位置坐标,机载控制***控制无人机飞行,使跟踪框一直在视野的中间,并控制无人机实行降落。
需要说明的是,目标跟踪算法采用kcf算法,跟踪目标为目标车辆或者红色圆点,跟踪流程为:获取检测算法获取的目标在图像中的位置坐标;基于位置坐标初始化目标跟踪算法kcf,实现跟踪;跟踪算法不断输入图像,返回跟踪框在图像中的位置坐标和一个布尔类型的值;当布尔类型值为False,代表跟踪失败,重新进行检测;跟踪成功之后,根据跟踪框在图像中的位置坐标,控制端控制无人机飞行,使跟踪框一直在视野的中间,并控制无人机实行降落。
本发明的一个实施例中,所述无人机降落至距离目标车辆的距离为2m-10m时,机载模块实时检测是否有所述第二二维码;当无人机机载端对所述第二二维码检测成功,无人机利用第二二维码处理算法,获取二维码对于无人机的距离和角度,并通过机载控制***控制无人机向目标车辆顶部;当无人机降落至距离目标车辆的距离小于2m时,无人机机载模块实时检测是否有所述第一二维码,当无人机机载端对所述第一二维码检测成功,无人机利用二维码处理算法,获取第一二维码对于无人机的距离和角度,并通过机载控制***控制无人机精准降落在目标车辆的顶部。
本发明的一个实施例中,所述二维码处理算法包括:
步骤一:基于AprilTag实现视觉定位方法,它可以计算出相对于无人机的二维码标签的精确的三维位置、方向和标签ID;
步骤二:AprilTag算法的主要流程如下:输入为摄像头拍摄的含有二维码标签的图像,对图像进行滤波,去噪、计算像素的梯度以聚类提取边缘、拟合边缘线,为边缘线添加从暗区指向亮区的向量,对边缘线进行连接得到quad回路,判别quad回路并进行解码,识别出二维码ID及旋转角度,获取相机参数,构建位姿数据的PnP方程,求解得到二维码坐标系在像平面坐标系中的位姿。AprilTag算法输出为计算得到的二维码坐标系在像平面坐标系中的位置和姿态。
步骤三:无人机控制端获取AprilTag算法输出的相对于无人机的二维码标签的精确的三维位置、方向和标签ID;不同的ID的二维码分布在不同的位置,根据AprilTag算法,计算二维码部分的中点位置,控制无人机飞行到二维码部分的中点,并控制无人机进行精准降落。
需要说明的是,基于AprilTag实现视觉定位方法,它可以计算出相对于无人机的二维码标签的精确的三维位置、方向和标签ID。算法流程为:输入为摄像头拍摄的含有二维码标签的图像,对图像进行滤波,去噪、计算像素的梯度以聚类提取边缘、拟合边缘线,为边缘线添加从暗区指向亮区的向量,对边缘线进行连接得到quad回路,判别quad回路并进行解码,识别出二维码ID及旋转角度,获取相机参数,构建位姿数据的PnP方程,求解得到二维码坐标系在像平面坐标系中的位姿。AprilTag算法输出为计算得到的二维码坐标系在像平面坐标系中的位置和姿态;之后,无人机控制端获取AprilTag算法输出的相对于无人机的二维码标签的精确的三维位置、方向和标签ID;不同的ID的二维码分布在不同的位置,根据AprilTag算法,计算二维码部分的中点位置,控制无人机飞行到二维码部分的中点,并控制无人机进行精准降落;
对于本实施例而言,当无人机降落在目标车辆顶部处于不同的高度时,可以采用当无人机位于中高空时对目标车辆进行检测和跟踪,低空时对红色圆点实现检测和跟踪,10m以内实现对第二二维码和第一二维码检测并控制飞行的方式,从而实现通过无人机控制端对无人机进行降落控制,使无人机降落在目标车辆顶部。
本发明的工作过程为:本发明利用图像处理技术,依赖视觉目标检测算法,无人机通过GPS导航飞行至目标车辆上方的中高空时,通过目标检测算法首先检测到目标车辆,检测到目标车辆之后,无人机开启目标跟踪算法,通过跟踪框在视野中的位置,控制无人机的飞行速度和角度,并使无人机向目标车辆不断迫降,当跟踪丢失之后,无人机重新对目标车辆进行检测,检测到之后再次实现跟踪;其次无人机在迫降过程中通过目标检测算法首先检测设置在目标车辆顶部的第一标识符,检测到第一标识符后,对第一标识符实施跟踪,并通过机载端控制无人机朝第一标识符迫降,并在迫降过程中通过机载控制***调整无人机的飞行角度和速度,保持跟踪框始终出于视野的中间位置,当对第一标识符跟踪失败后重新实施检测、跟踪;当无人机降落至距离目标车辆顶部2~10m时,对第二二维码进行检测,通过实施二维码处理算法,获取第二二维码相对于无人机的距离和角度,并通过机载控制***控制无人机向目标车辆处降落,当无人机降落至距离目标车辆顶部2m时,对第一二维码实施检测,当对第一二维码检测成功后,通过实施二维码处理算法,获取第一二维码相对于无人机的距离和角度,并通过机载控制***控制无人机向第一二维码处的精准降落,最终实现无人机精确降落在目标车辆顶部的目的。
本发明的算法平台为TX2架构的芯片,安装CUDA和CUDNN充分利用GPU和CPU的计算性能,以达到无人机对图象采集、处理的实时性的要求;具体实现过程为:
首先,无人机通过GPS导航飞行至目标车辆高空位置;
其次,在目标车辆高空位位置时,通过机载摄像头获取下方图像,利用目标检测算法,检测目标车辆的位置,当目标检测算法,检测到图像中有目标车辆后,实现基于摄像头图像信息的目标跟踪算法;在目标车辆跟踪过程中,根据跟踪框在无人机采集图像视野中的位置,不断控制无人机的飞行速度和角度,使跟踪框一直在视野的中间,并且控制无人机不断降落;当跟踪失败重新进行检测、跟踪、控制飞行、降落;当在低空中跟踪目标车辆失败后,因为低空中目标车辆在视野过大,检测效果差,无人机检测目标车辆顶部的红色圆点,检测成功之后,无人机对红色圆点实现跟踪;无人机根据红色圆点的跟踪框在采集图像视野中的位置,控制无人机飞行,保证跟踪框在视野的中间,并不断降落;在对目标车辆顶部红点跟踪失败后,重新检测、继续跟踪,并控制飞机进行降落;
最后,当检测、跟踪到低空后,利用基于AprilTag实现视觉定位方法实现无人机精准降落在无人机顶部。在整个降落过程中,无人机机载模块实时检测是否可检测到二维码;当无人机机载端对目标车辆顶部二维码检测成功,无人机利用二维码处理算法,获取二维码的对于无人机的距离和角度,依赖无人机控制端控制无人机精准降落在目标车辆顶部。
实施例二:
本实施例提供了一种无人机降落到移动车辆顶部的视觉方法,用于控制无人机在执行完任务后精确降落返回到目标车辆顶部,包括以下步骤:
步骤一,针对无人机的飞行高度按实际情况进行空间划分,在目标车辆的顶部设置第一标识区和第二标识区,所述第一标识区内设置有第一标识符和第二标识符;
步骤二,无人机在返航时通过机载通讯***获取目标车辆的位置数据,并根据目标车辆的位置数据导航飞行;
步骤三,无人机飞至目标车辆中高空时,无人机的机载图像***采集无人机下方的图像信息,并通过目标检测算法检测采集的图像信息中是否有目标车辆的图像;
步骤四,当目标检测算法检测到图像信息中有目标车辆后,实现基于摄像头图像信息的目标跟踪算法进行目标车辆的跟踪;
步骤五,在目标车辆跟踪的过程中,机载控制***通过跟踪框在目标车辆视野中的位置来控制无人机的飞行角度,使跟踪框在跟踪目标车辆的过程中一直位于视野的中间,并控制无人机向目标车辆降落;
步骤六,当无人机在中高空对目标车辆跟踪失败后,重新进行步骤三、步骤四、步骤五;当无人机在低空对目标车辆跟踪失败后,无人机通过目标检测算法对第一标识符检测,检测成功之后,通过目标跟踪算法对第一标识符进行实时跟踪,机载控制***使无人机向第一标识符降落;
步骤七,无人机在对第一标识符跟踪失败后,重新检测第一标识符,检测成功之后继续跟踪,并通过机载控制***使无人机向第一标识符降落;
步骤八,当无人机降落至目标车辆顶部的距离小于10米时,通过目标检测算法检测在降落的过程中实时检测第二标识符;
步骤九,当目标检测算法对第二标识符检测失败时,通过辅助降落方法实现实现无人机的精准降落,
在目标车辆和无人机上分别安装车载***和机载***,所述车载***包括电性连接的电子单元LEU和车载应答器以及电路,所述机载***包括电性连接的处理器、STM、BTM、DMI、记录单元,接口单元、机载天线、机载应答器;
所述机载应答器和车载应答器无线连接;
所述车载应答器接收到机载天线发射的电磁能量后,将其转化成电能,使车载应答器中的电子电路工作,把存储在目标车辆上应答器中的数据循环发送除去;
所述机载信号处理器通过应答器天线接口采集无人机的位移信息,所述机载信号处理器的功能链对无人机的位置信息进行解调、解码处理,并将得到信息送到cPCI总线接口供应用层软件板读取。
本方案的工作原理为:应答器天线通过A4接口机载天线向应答器提供工作电源,机载天线发送频率为27.095MHz的功率载波,通过远程天线发送给应答器,当车载应答器被功率载波激活后,通过A1接口将报文数据进行FSK调制方式发送给应答器天线。当机载应答器天线经过信标电气中心点时,应答器天线能够准确产生中心点信号信标中心点信号;对于动态信标,信号处理板通过信标天线信号确定信标中心点,所确定信标中心点精度不超过5cm,信标报文解析正确。从而实现当天色暗时或者信号中断时,实现无人机的精确降落。
本发明提供的无人机降落到目标车辆顶部的方法过程中,依赖视觉目标检测算法,无人机高空检测顶部带有标识符号的目标车辆;检测到车辆之后,无人机开启目标跟踪算法;通过跟踪框在视野中的位置,控制无人车辆行驶,并不断迫降;当跟踪丢失之后,无人机重新检测目标车辆位置,检测之后,再次实现跟踪;无人机迫降过程中,相机不断检测目标车辆顶部的标识符,标识符号含有多个二维码和红色方向点,当通过摄像头算法,检测到无人机在目标车辆顶部上方10米以内,即切换成基于二维码的精准降落,最终实现无人机降落在目标车辆顶部,当基于二维码降落失败后启用辅助降落方法实现无人机的精确降落,本发明可以控制无人机进行精准降落在目标车辆上方。与现有技术相比,本发明不依赖于GNSS信号,可以适用于特殊场景,同样可以辅助降落提高安全性和可靠性。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。