CN114115318B - 一种无人机降落到移动车辆顶部的视觉方法 - Google Patents
一种无人机降落到移动车辆顶部的视觉方法 Download PDFInfo
- Publication number
- CN114115318B CN114115318B CN202111452204.5A CN202111452204A CN114115318B CN 114115318 B CN114115318 B CN 114115318B CN 202111452204 A CN202111452204 A CN 202111452204A CN 114115318 B CN114115318 B CN 114115318B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- vehicle
- target
- dimensional code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000000007 visual effect Effects 0.000 title claims abstract description 35
- 238000004891 communication Methods 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 20
- 238000013135 deep learning Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000011897 real-time detection Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 241001499723 Notothenia microlepidota Species 0.000 claims description 3
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
- B64F1/00—Ground or aircraft-carrier-deck installations
- B64F1/18—Visual or acoustic landing aids
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Acoustics & Sound (AREA)
- Mechanical Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供了一种无人机降落到移动车辆顶部的视觉方法。包括以下步骤：首先针对无人机的飞行高度按实际情况进行空间划分，在目标车辆顶部设置第一标识区和第二标识区，第一标识区内设置有第一标识符和第二标识符；其次无人机通过机载通讯***获取目标车辆的位置数据，并根据目标车辆的位置导航飞行；再次，无人机飞至目标车辆中高空时，对目标车辆检测跟踪；当无人机在低空时对第一标识符进行检测跟踪；当无人机降落至目标车辆顶部的距离小于10米时，对第二标识符检测跟踪；通过机载控制***获取第二标识符相对于跟踪框的角度和距离，实现无人机精准降落在目标车辆的顶部。本发明提供了一种无人机依赖视觉方法精准降落至指定移动平台的方法。
Description
技术领域
本发明涉及无人机导航技术，尤其涉及一种无人机降落到移动车辆顶部的视觉方法。
背景技术
近几年来，随着人工智能的飞速发展，无人机得到了极大的关注，行业发展迅猛，与此同时，在特殊情况下无人机成功导航和降落也尤为重要。其中，无人机需要降落至移动车辆时，由于车辆的路径通常被限制为地球表面上的道路，但无人机对飞行路径的限制要少得多，因此当无人机反应性地跟随移动车辆时，无人机也被迫大致遵循道路模式，这可能是无人机到达降落点的低效率路径，从而增加了降落时间和功耗。此外，当无人机不能对移动车辆的行为迅速做出反应时，碰撞或错过降落的风险也会增加，可能导致无人机失去控制无法降落至目标降落点，如此会造成巨大的经济损失甚至生命影响，如何使无人机可以依赖视觉成功降落在指定的移动车辆/平台是目前的一个需要解决的技术方案。
发明内容
本发明新型提供一种无人机降落到移动车辆顶部的视觉方法，用以解决无人机在执行完任务后精确降落到移动车辆，即目标车辆顶部的情况。具体方案为：
一种无人机降落到移动车辆顶部的视觉方法，用于控制无人机在执行完任务后精确降落返回到目标车辆顶部，包括以下步骤：
步骤一，针对无人机的飞行高度按实际情况进行空间划分，在目标车辆的顶部设置第一标识区和第二标识区，所述第一标识区内设置有第一标识符和第二标识符；
步骤二，无人机在返航时通过机载通讯***获取目标车辆的位置数据，并根据目标车辆的位置数据导航飞行；
步骤三，无人机飞至目标车辆中高空时，无人机的机载图像***采集无人机下方的图像信息，并通过目标检测算法检测采集的图像信息中是否有目标车辆的图像；
步骤四，当目标检测算法检测到图像信息中有目标车辆后，实现基于摄像头图像信息的目标跟踪算法进行目标车辆的跟踪；
步骤五，在目标车辆跟踪的过程中，机载控制***通过跟踪框在目标车辆视野中的位置来控制无人机的飞行角度，使跟踪框在跟踪目标车辆的过程中一直位于视野的中间，并控制无人机向目标车辆降落；
步骤六，当无人机在中高空对目标车辆跟踪失败后，重新进行步骤三、四、五；当无人机在低空对目标车辆跟踪失败后，无人机通过目标检测算法对第一标识符检测，检测成功之后，通过目标跟踪算法对第一标识符进行实时跟踪，机载控制***使无人机向第一标识符降落；
步骤七，无人机在对第一标识符跟踪失败后，重新检测第一标识符，检测成功之后继续跟踪，并通过机载控制***使无人机向第一标识符降落；
步骤八，当无人机降落至目标车辆顶部的距离小于10米时，通过目标检测算法检测在降落的过程中实时检测第二标识符；
步骤九，当目标检测算法对第二标识符检测成功时，通过机载控制***获取第二标识符相对于跟踪框的角度和距离，并使无人机精准降落在目标车辆的顶部。
进一步的，所述第一标识区设置在车顶中间，所述第二标识区设置在车顶边缘；
所述第一标识区包括第一标识符和若干第二标识符，所述第二标识符呈方型矩阵方式排列，所述第一标识符位于所述方型矩阵靠近车头的一侧；
所述第二标识区包括若干第二标识符号。
进一步的，所述第一标识符为红色圆形，所述第二标识符为二维码，
所述二维码呈白底黑码，且单个二维码代表一个ID，所述二维码包括位于第一参考区内的第一二维码和位于第二参考区内的第二二维码，所述第一二维码的尺寸小于第二二维码；
所述第二二维码用于无人机下降至距离指定的目标车辆2m-10m高度时无人机的位置检测；
所述第一二维码用于无人机下降至距离指定的目标车辆小于2m高度时位置检测。
进一步的，所述目标检测算法包括以下步骤：
1)：将无人机机载摄像头获取的图像信息输入到目标检测算法中；
2)：利用多层深度学习网络yolov3提取图像信息的特征并输出目标的种类、划分类别的概率、以及目标物在图像中的位置，所述位置为四维坐标值；
3)：获取深度学习网络的输出，获取目标车辆以及第一标识符在图像中的位置和概率，当目标车辆和第一标识符的概率值低于预设值时，重新进行检测；当两者有一类目标概率值高于预设值时，且该类目标只有1个，实现对其跟踪；当两个概率值均大于预设值时，且该类目标只有1个，对目标车辆的目标进行跟踪；
进一步的，当所述目标检测算法检测到图像信息中有目标车辆后，实现基于摄像头图像信息的目标跟踪算法；
步骤一：获取检测算法获取的目标在图像中的位置坐标；
步骤二：基于位置坐标初始化目标跟踪算法kcf，实现跟踪；
步骤三：跟踪算法不断输入图像，返回跟踪框在图像中的位置坐标和一个布尔类型的值；当布尔类型值为False，代表跟踪失败，重新进行检测；
步骤四：跟踪成功之后，根据跟踪框在图像中的位置坐标，机载控制***控制无人机飞行，使跟踪框一直在视野的中间，并控制无人机实行降落；
进一步的，所述无人机降落至距离目标车辆的距离为2m-10m时，机载模块实时检测是否有所述第二二维码；当无人机机载端对所述第二二维码检测成功，无人机利用第二二维码处理算法，获取二维码对于无人机的距离和角度，并通过机载控制***控制无人机向目标车辆顶部；当无人机降落至距离目标车辆的距离小于2m时，无人机机载模块实时检测是否有所述第一二维码，当无人机机载端对所述第一二维码检测成功，无人机利用二维码处理算法，获取第一二维码对于无人机的距离和角度，并通过机载控制***控制无人机精准降落在目标车辆的顶部。
进一步的，所述二维码处理算法包括以下步骤：
步骤一：基于AprilTag实现视觉定位方法，它可以计算出相对于无人机的二维码标签的精确的三维位置、方向和标签ID；
步骤二：AprilTag算法的主要流程如下：输入为摄像头拍摄的含有二维码标签的图像，对图像进行滤波，去噪、计算像素的梯度以聚类提取边缘、拟合边缘线，为边缘线添加从暗区指向亮区的向量，对边缘线进行连接得到quad回路，判别quad回路并进行解码，识别出二维码ID及旋转角度，获取相机参数，构建位姿数据的PnP方程，求解得到二维码坐标系在像平面坐标系中的位姿。AprilTag算法输出为计算得到的二维码坐标系在像平面坐标系中的位置和姿态。
步骤三：无人机控制端获取AprilTag算法输出的相对于无人机的二维码标签的精确的三维位置、方向和标签ID；不同的ID的二维码分布在不同的位置，根据AprilTag算法，计算二维码部分的中点位置，控制无人机飞行到二维码部分的中点，并控制无人机进行精准降落。
本发明的有益效果在于，
本发明基于视觉识别的导航***使无人机在返航时精准的降落至移动车辆，即目标车辆的顶部，
本发明提供的视觉方法当车辆改变路径时，需要实时更新车辆的位置，并且无人机会反应性地跟随车辆的当前位置，直到无人机降落到车辆上。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1和图2为本发明无人机降落至移动车辆顶部的视觉方法流程图；
图3为本发明无人机降落至移动车辆场景的示意图；
图4为本发明标识符示意图；
图5为本发明二维码示意图；
图6为本发明二维码图象处理流程图；
图7为本发明无人机降落算法处理流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
下面是本发明应用无人机降落在目标车辆顶部过程的实例；
根据附图1-图5所示，本发明提供了一种无人机降落到移动车辆顶部的视觉方法，用于控制无人机在执行完任务后精确降落返回到目标车辆顶部，包括以下步骤：
步骤一，针对无人机的飞行高度按实际情况进行空间划分，在目标车辆的顶部设置第一标识区和第二标识区，所述第一标识区内设置有第一标识符和第二标识符；
步骤二，无人机在返航时通过机载通讯***获取目标车辆的位置数据，并根据目标车辆的位置数据导航飞行；
步骤三，无人机飞至目标车辆中高空时，无人机的机载图像***采集无人机下方的图像信息，并通过目标检测算法检测采集的图像信息中是否有目标车辆的图像；
步骤四，当目标检测算法检测到图像信息中有目标车辆后，实现基于摄像头图像信息的目标跟踪算法进行目标车辆的跟踪；
步骤五，在目标车辆跟踪的过程中，机载控制***通过跟踪框在目标车辆视野中的位置来控制无人机的飞行角度，使跟踪框在跟踪目标车辆的过程中一直位于视野的中间，并控制无人机向目标车辆降落；
步骤六，当无人机在中高空对目标车辆跟踪失败后，重新进行步骤三、步骤四、步骤五；当无人机在低空对目标车辆跟踪失败后，无人机通过目标检测算法对第一标识符检测，检测成功之后，通过目标跟踪算法对第一标识符进行实时跟踪，机载控制***使无人机向第一标识符降落；
步骤七，无人机在对第一标识符跟踪失败后，重新检测第一标识符，检测成功之后继续跟踪，并通过机载控制***使无人机向第一标识符降落；
步骤八，当无人机降落至目标车辆顶部的距离小于10米时，通过目标检测算法检测在降落的过程中实时检测第二标识符；
步骤九，当目标检测算法对第二标识符检测成功时，通过机载控制***获取第二标识符相对于跟踪框的角度和距离，并使无人机精准降落在目标车辆的顶部。
本发明的一个实施例中，所述第一标识区设置在车顶中间，所述第二标识区设置在车顶边缘；
所述第一标识区包括第一标识符和若干第二标识符，所述第二标识符呈方型矩阵方式排列，所述第一标识符位于所述方型矩阵靠近车头的一侧；
所述第二标识区包括若干第二标识符号。
本发明的一个实施例中，所述第一标识符为红色圆形，所述第二标识符为二维码，
所述二维码呈白底黑码，且单个二维码代表一个ID，所述二维码包括位于第一参考区内的第一二维码和位于第二参考区内的第二二维码，所述第一二维码的尺寸小于第二二维码；
所述第二二维码用于无人机下降至距离指定的目标车辆2m-10m高度时无人机的位置检测；
所述第一二维码用于无人机下降至距离指定的目标车辆小于2m高度时位置检测。
需要说明的是，第一标识区内设置有一个第一标识符和多个第二标识符，其中第一标识符为红色、半径为0.5m的圆形标识符，位于第一标识区内的第二标识符为第一二维码，第一二维码在第一标识区内设置有多个，成方型矩阵排列，方型矩阵的面积为1.2m*1.2m；第二标识区内设置有多个第二标识符，其中位于第二标识区内的第二标识符号为第二二维码，第二二维码的面积大于第一二维码，单个第二二维码1.2m*1.2m，第二二维码至少设置有四个分布在车顶的四个转角处，第一二维码和第二二维码的背景均为白色、二维码为黑色，并且不同的二维码代表不同的id，四个第二二维码用于无人机降落至目标车辆的车顶距离为2m-10m时的目标检测；多个第一二维码设置在第一标识区内，主要用于无人机降落至目标车辆的车顶距离在2m以内的内的目标检测；红色圆点设置于第一标识区内位于多个第一二维码靠近车头方向的一侧，用于在无人机降落至低空时目标物的检测、跟踪。
本发明的一个实施例中，所述目标检测算法包括以下步骤：
1)：将无人机机载摄像头获取的图像信息输入到目标检测算法中；
2)：利用多层深度学习网络yolov3提取图像信息的特征并输出目标的种类、划分类别的概率、以及目标物在图像中的位置，所述位置为四维坐标值；
3)：获取深度学习网络的输出，获取目标车辆以及第一标识符在图像中的位置和概率，当目标车辆和第一标识符的概率值低于预设值时，重新进行检测；当两者有一类目标概率值高于预设值时，且该类目标只有1个，实现对其跟踪；当两个概率值均大于预设值时，且该类目标只有1个，对目标车辆的目标进行跟踪。
需要说明的是，目标检测算法采用yolov3算法；目标检测的对象为中高空中移动降落平台和低空的红色圆点；因为yolov3对大目标检测效果差，低空中目标车辆在视野中面积大，所以无法利用yolov3进行检测，所以低空中切换成对红色圆点的检测；
目标检测算法的流程：把无人机机载摄像头获取的图像输入目标检测算法；利用多层深度学习网络yolov3提取图像特征并输出目标的种类、划分类别的概率、以及目标在图像中的位置，位置为四维坐标值；获取深度学习网络的输出，获取目标车辆以及红色圆点在图像中的位置和概率，当目标车辆和红色圆点概率值低于0.5时，重新进行检测；当两者有一类目标概率值高于0.5，且该类目标只有1个，实现对其跟踪；当两个概率值均大于0.5，且该类目标只有1个，对目标车辆的目标进行跟踪。
本发明的一个实施例中，当所述目标检测算法检测到图像信息中有目标车辆后，实现基于摄像头图像信息的目标跟踪算法；
步骤一：获取检测算法获取的目标在图像中的位置坐标；
步骤二：基于位置坐标初始化目标跟踪算法kcf，实现跟踪；
步骤三：跟踪算法不断输入图像，返回跟踪框在图像中的位置坐标和一个布尔类型的值；当布尔类型值为False，代表跟踪失败，重新进行检测；
步骤四：跟踪成功之后，根据跟踪框在图像中的位置坐标，机载控制***控制无人机飞行，使跟踪框一直在视野的中间，并控制无人机实行降落。
需要说明的是，目标跟踪算法采用kcf算法，跟踪目标为目标车辆或者红色圆点，跟踪流程为：获取检测算法获取的目标在图像中的位置坐标；基于位置坐标初始化目标跟踪算法kcf，实现跟踪；跟踪算法不断输入图像，返回跟踪框在图像中的位置坐标和一个布尔类型的值；当布尔类型值为False，代表跟踪失败，重新进行检测；跟踪成功之后，根据跟踪框在图像中的位置坐标，控制端控制无人机飞行，使跟踪框一直在视野的中间，并控制无人机实行降落。
本发明的一个实施例中，所述无人机降落至距离目标车辆的距离为2m-10m时，机载模块实时检测是否有所述第二二维码；当无人机机载端对所述第二二维码检测成功，无人机利用第二二维码处理算法，获取二维码对于无人机的距离和角度，并通过机载控制***控制无人机向目标车辆顶部；当无人机降落至距离目标车辆的距离小于2m时，无人机机载模块实时检测是否有所述第一二维码，当无人机机载端对所述第一二维码检测成功，无人机利用二维码处理算法，获取第一二维码对于无人机的距离和角度，并通过机载控制***控制无人机精准降落在目标车辆的顶部。
本发明的一个实施例中，所述二维码处理算法包括：
步骤一：基于AprilTag实现视觉定位方法，它可以计算出相对于无人机的二维码标签的精确的三维位置、方向和标签ID；
步骤二：AprilTag算法的主要流程如下：输入为摄像头拍摄的含有二维码标签的图像，对图像进行滤波，去噪、计算像素的梯度以聚类提取边缘、拟合边缘线，为边缘线添加从暗区指向亮区的向量，对边缘线进行连接得到quad回路，判别quad回路并进行解码，识别出二维码ID及旋转角度，获取相机参数，构建位姿数据的PnP方程，求解得到二维码坐标系在像平面坐标系中的位姿。AprilTag算法输出为计算得到的二维码坐标系在像平面坐标系中的位置和姿态。
步骤三：无人机控制端获取AprilTag算法输出的相对于无人机的二维码标签的精确的三维位置、方向和标签ID；不同的ID的二维码分布在不同的位置，根据AprilTag算法，计算二维码部分的中点位置，控制无人机飞行到二维码部分的中点，并控制无人机进行精准降落。
需要说明的是，基于AprilTag实现视觉定位方法，它可以计算出相对于无人机的二维码标签的精确的三维位置、方向和标签ID。算法流程为：输入为摄像头拍摄的含有二维码标签的图像，对图像进行滤波，去噪、计算像素的梯度以聚类提取边缘、拟合边缘线，为边缘线添加从暗区指向亮区的向量，对边缘线进行连接得到quad回路，判别quad回路并进行解码，识别出二维码ID及旋转角度，获取相机参数，构建位姿数据的PnP方程，求解得到二维码坐标系在像平面坐标系中的位姿。AprilTag算法输出为计算得到的二维码坐标系在像平面坐标系中的位置和姿态；之后，无人机控制端获取AprilTag算法输出的相对于无人机的二维码标签的精确的三维位置、方向和标签ID；不同的ID的二维码分布在不同的位置，根据AprilTag算法，计算二维码部分的中点位置，控制无人机飞行到二维码部分的中点，并控制无人机进行精准降落；
对于本实施例而言，当无人机降落在目标车辆顶部处于不同的高度时，可以采用当无人机位于中高空时对目标车辆进行检测和跟踪，低空时对红色圆点实现检测和跟踪，10m以内实现对第二二维码和第一二维码检测并控制飞行的方式，从而实现通过无人机控制端对无人机进行降落控制，使无人机降落在目标车辆顶部。
本发明的工作过程为：本发明利用图像处理技术，依赖视觉目标检测算法，无人机通过GPS导航飞行至目标车辆上方的中高空时，通过目标检测算法首先检测到目标车辆，检测到目标车辆之后，无人机开启目标跟踪算法，通过跟踪框在视野中的位置，控制无人机的飞行速度和角度，并使无人机向目标车辆不断迫降，当跟踪丢失之后，无人机重新对目标车辆进行检测，检测到之后再次实现跟踪；其次无人机在迫降过程中通过目标检测算法首先检测设置在目标车辆顶部的第一标识符，检测到第一标识符后，对第一标识符实施跟踪，并通过机载端控制无人机朝第一标识符迫降，并在迫降过程中通过机载控制***调整无人机的飞行角度和速度，保持跟踪框始终出于视野的中间位置，当对第一标识符跟踪失败后重新实施检测、跟踪；当无人机降落至距离目标车辆顶部2～10m时，对第二二维码进行检测，通过实施二维码处理算法，获取第二二维码相对于无人机的距离和角度，并通过机载控制***控制无人机向目标车辆处降落，当无人机降落至距离目标车辆顶部2m时，对第一二维码实施检测，当对第一二维码检测成功后，通过实施二维码处理算法，获取第一二维码相对于无人机的距离和角度，并通过机载控制***控制无人机向第一二维码处的精准降落，最终实现无人机精确降落在目标车辆顶部的目的。
本发明的算法平台为TX2架构的芯片，安装CUDA和CUDNN充分利用GPU和CPU的计算性能，以达到无人机对图象采集、处理的实时性的要求；具体实现过程为：
首先，无人机通过GPS导航飞行至目标车辆高空位置；
其次，在目标车辆高空位位置时，通过机载摄像头获取下方图像，利用目标检测算法，检测目标车辆的位置，当目标检测算法，检测到图像中有目标车辆后，实现基于摄像头图像信息的目标跟踪算法；在目标车辆跟踪过程中，根据跟踪框在无人机采集图像视野中的位置，不断控制无人机的飞行速度和角度，使跟踪框一直在视野的中间，并且控制无人机不断降落；当跟踪失败重新进行检测、跟踪、控制飞行、降落；当在低空中跟踪目标车辆失败后，因为低空中目标车辆在视野过大，检测效果差，无人机检测目标车辆顶部的红色圆点，检测成功之后，无人机对红色圆点实现跟踪；无人机根据红色圆点的跟踪框在采集图像视野中的位置，控制无人机飞行，保证跟踪框在视野的中间，并不断降落；在对目标车辆顶部红点跟踪失败后，重新检测、继续跟踪，并控制飞机进行降落；
最后，当检测、跟踪到低空后，利用基于AprilTag实现视觉定位方法实现无人机精准降落在无人机顶部。在整个降落过程中，无人机机载模块实时检测是否可检测到二维码；当无人机机载端对目标车辆顶部二维码检测成功，无人机利用二维码处理算法，获取二维码的对于无人机的距离和角度，依赖无人机控制端控制无人机精准降落在目标车辆顶部。
实施例二：
本实施例提供了一种无人机降落到移动车辆顶部的视觉方法，用于控制无人机在执行完任务后精确降落返回到目标车辆顶部，包括以下步骤：
步骤一，针对无人机的飞行高度按实际情况进行空间划分，在目标车辆的顶部设置第一标识区和第二标识区，所述第一标识区内设置有第一标识符和第二标识符；
步骤二，无人机在返航时通过机载通讯***获取目标车辆的位置数据，并根据目标车辆的位置数据导航飞行；
步骤三，无人机飞至目标车辆中高空时，无人机的机载图像***采集无人机下方的图像信息，并通过目标检测算法检测采集的图像信息中是否有目标车辆的图像；
步骤四，当目标检测算法检测到图像信息中有目标车辆后，实现基于摄像头图像信息的目标跟踪算法进行目标车辆的跟踪；
步骤五，在目标车辆跟踪的过程中，机载控制***通过跟踪框在目标车辆视野中的位置来控制无人机的飞行角度，使跟踪框在跟踪目标车辆的过程中一直位于视野的中间，并控制无人机向目标车辆降落；
步骤六，当无人机在中高空对目标车辆跟踪失败后，重新进行步骤三、步骤四、步骤五；当无人机在低空对目标车辆跟踪失败后，无人机通过目标检测算法对第一标识符检测，检测成功之后，通过目标跟踪算法对第一标识符进行实时跟踪，机载控制***使无人机向第一标识符降落；
步骤七，无人机在对第一标识符跟踪失败后，重新检测第一标识符，检测成功之后继续跟踪，并通过机载控制***使无人机向第一标识符降落；
步骤八，当无人机降落至目标车辆顶部的距离小于10米时，通过目标检测算法检测在降落的过程中实时检测第二标识符；
步骤九，当目标检测算法对第二标识符检测失败时，通过辅助降落方法实现实现无人机的精准降落，
在目标车辆和无人机上分别安装车载***和机载***，所述车载***包括电性连接的电子单元LEU和车载应答器以及电路，所述机载***包括电性连接的处理器、STM、BTM、DMI、记录单元，接口单元、机载天线、机载应答器；
所述机载应答器和车载应答器无线连接；
所述车载应答器接收到机载天线发射的电磁能量后，将其转化成电能，使车载应答器中的电子电路工作，把存储在目标车辆上应答器中的数据循环发送除去；
所述机载信号处理器通过应答器天线接口采集无人机的位移信息，所述机载信号处理器的功能链对无人机的位置信息进行解调、解码处理，并将得到信息送到cPCI总线接口供应用层软件板读取。
本方案的工作原理为：应答器天线通过A4接口机载天线向应答器提供工作电源，机载天线发送频率为27.095MHz的功率载波，通过远程天线发送给应答器，当车载应答器被功率载波激活后，通过A1接口将报文数据进行FSK调制方式发送给应答器天线。当机载应答器天线经过信标电气中心点时，应答器天线能够准确产生中心点信号信标中心点信号；对于动态信标，信号处理板通过信标天线信号确定信标中心点，所确定信标中心点精度不超过5cm，信标报文解析正确。从而实现当天色暗时或者信号中断时，实现无人机的精确降落。
本发明提供的无人机降落到目标车辆顶部的方法过程中，依赖视觉目标检测算法，无人机高空检测顶部带有标识符号的目标车辆；检测到车辆之后，无人机开启目标跟踪算法；通过跟踪框在视野中的位置，控制无人车辆行驶，并不断迫降；当跟踪丢失之后，无人机重新检测目标车辆位置，检测之后，再次实现跟踪；无人机迫降过程中，相机不断检测目标车辆顶部的标识符，标识符号含有多个二维码和红色方向点，当通过摄像头算法，检测到无人机在目标车辆顶部上方10米以内，即切换成基于二维码的精准降落，最终实现无人机降落在目标车辆顶部，当基于二维码降落失败后启用辅助降落方法实现无人机的精确降落，本发明可以控制无人机进行精准降落在目标车辆上方。与现有技术相比，本发明不依赖于GNSS信号，可以适用于特殊场景，同样可以辅助降落提高安全性和可靠性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (7)
1.一种无人机降落到移动车辆顶部的视觉方法，用于控制无人机在执行完任务后精确降落返回到目标车辆顶部，其特征在于，包括以下步骤：
步骤一，针对无人机的飞行高度按实际情况进行空间划分，在目标车辆的顶部设置第一标识区和第二标识区，所述第一标识区内设置有第一标识符和第二标识符；
步骤二，无人机在返航时通过机载通讯***获取目标车辆的位置数据，并根据目标车辆的位置数据导航飞行；
步骤三，无人机飞至目标车辆中高空时，无人机的机载图像***采集无人机下方的图像信息，并通过目标检测算法检测采集的图像信息中是否有目标车辆的图像；
步骤四，当目标检测算法检测到图像信息中有目标车辆后，实现基于摄像头图像信息的目标跟踪算法进行目标车辆的跟踪；
步骤五，在目标车辆跟踪的过程中，机载控制***通过跟踪框在目标车辆视野中的位置来控制无人机的飞行角度，使跟踪框在跟踪目标车辆的过程中一直位于视野的中间，并控制无人机向目标车辆降落；
步骤六，当无人机在中高空对目标车辆跟踪失败后，重新进行步骤三、步骤四、步骤五；当无人机在低空对目标车辆跟踪失败后，无人机通过目标检测算法对第一标识符检测，检测成功之后，通过目标跟踪算法对第一标识符进行实时跟踪，机载控制***使无人机向第一标识符降落；
步骤七，无人机在对第一标识符跟踪失败后，重新检测第一标识符，检测成功之后继续跟踪，并通过机载控制***使无人机向第一标识符降落；
步骤八，当无人机降落至目标车辆顶部的距离小于10米时，通过目标检测算法检测在降落的过程中实时检测第二标识符；
步骤九，当目标检测算法对第二标识符检测成功时，通过机载控制***获取第二标识符相对于跟踪框的角度和距离，并使无人机精准降落在目标车辆的顶部，当目标检测算法对第二标识符检测失败时，通过辅助降落方法实现实现无人机的精准降落；
在目标车辆和无人机上分别安装车载***和机载***，所述车载***包括电性连接的电子单元LEU和车载应答器以及电路，所述机载***包括电性连接的处理器、STM、BTM、DMI、记录单元，接口单元、机载天线、机载应答器；
所述机载应答器和车载应答器无线连接；
所述车载应答器接收到机载天线发射的电磁能量后，将其转化成电能，使车载应答器中的电子电路工作，把存储在目标车辆上应答器中的数据循环发送除去；
所述机载信号处理器通过应答器天线接口采集无人机的位移信息，所述机载信号处理器的功能链对无人机的位置信息进行解调、解码处理，并将得到信息送到cPCI总线接口供应用层软件板读取，从而实现当天色暗时或者信号中断时，实现无人机的精确降落；
在目标车辆跟踪过程中，根据跟踪框在无人机采集图像视野中的位置，不断控制无人机的飞行速度和角度，使跟踪框一直在视野的中间，并且控制无人机不断降落；
在无人机整个降落过程中，当车辆改变路径时，实时更新车辆的位置，并且无人机会反应性地跟随车辆的当前位置，直到无人机降落到目标车辆上；
所述目标检测算法以及目标跟踪算法平台为TX2架构的芯片，安装CUDA和CUDNN充分利用GPU和CPU的计算性能，以达到无人机对图象采集、处理的实时性的要求;
当无人机降落至距离目标车辆的距离为2m-10m时，无人机机载端实时检测是否有第二二维码，当无人机机载端对所述第二二维码检测成功，无人机通过二维码处理算法获取第二二维码相对于无人机的距离和角度，并通过机载控制***控制无人机向第二二维码处降落；
当无人机降落至距离目标车辆的距离小于2m时，无人机机载端实时检测是否有第一二维码，当无人机机载端对所述第一二维码检测成功，无人机通过二维码处理算法，获取第一二维码相对于无人机的距离和角度，并通过机载控制***控制无人机精准降落在目标车辆的顶部。
2.根据权利要求1所述的一种无人机降落到移动车辆顶部的视觉方法，其特征在于，所述第一标识区设置在车顶中间，所述第二标识区设置在车顶边缘；
所述第一标识区包括第一标识符和若干第二标识符，所述第二标识符呈方型矩阵方式排列，所述第一标识符位于所述方型矩阵靠近车头的一侧；
所述第二标识区包括若干第二标识符号。
3.根据权利要求2所述的一种无人机降落到移动车辆顶部的视觉方法，其特征在于，所述第一标识符为红色圆形，所述第二标识符为二维码，
所述二维码呈白底黑码，且单个二维码代表一个ID，所述二维码包括位于第一参考区内的第一二维码和位于第二参考区内的第二二维码，所述第一二维码的尺寸小于第二二维码；
所述第二二维码用于无人机下降至距离指定的目标车辆2m-10m高度时无人机的位置检测；
所述第一二维码用于无人机下降至距离指定的目标车辆小于2m高度时位置检测。
4.根据权利要求1所述的一种无人机降落到移动车辆顶部的视觉方法，其特征在于，所述目标检测算法包括以下步骤：
1)：将无人机机载摄像头获取的图像信息输入到目标检测算法中；
2)：利用多层深度学习网络yolov3提取图像信息的特征并输出目标的种类、划分类别的概率、以及目标物在图像中的位置，所述位置为四维坐标值；
3)：获取深度学习网络的输出，获取目标车辆以及第一标识符在图像中的位置和概率，当目标车辆和第一标识符的概率值低于预设值时，重新进行检测；当两者有一类目标概率值高于预设值时，且该类目标只有1个，实现对其跟踪；当两个概率值均大于预设值时，且该类目标只有1个，对目标车辆的目标进行跟踪。
5.根据权利要求1所述的一种无人机降落到移动车辆顶部的视觉方法，其特征在于，当所述目标检测算法检测到图像信息中有目标车辆后，实现基于摄像头图像信息的目标跟踪算法；
步骤一：获取检测算法获取的目标在图像中的位置坐标；
步骤二：基于位置坐标初始化目标跟踪算法kcf，实现跟踪；
步骤三：跟踪算法不断输入图像，返回跟踪框在图像中的位置坐标和一个布尔类型的值；当布尔类型值为False，代表跟踪失败，重新进行检测；
步骤四：跟踪成功之后，根据跟踪框在图像中的位置坐标，机载控制***控制无人机飞行，使跟踪框一直在视野的中间，并控制无人机实行降落。
6.根据权利要求1所述的一种无人机降落到移动车辆顶部的视觉方法，其特征在于，所述无人机降落至距离目标车辆的距离为2m-10m时，无人机机载端实时检测是否有所述第二二维码，当无人机机载端对所述第二二维码检测成功，无人机通过二维码处理算法获取第二二维码相对于无人机的距离和角度，并通过机载控制***控制无人机向第二二维码处降落；
当无人机降落至距离目标车辆的距离小于2m时，无人机机载端实时检测是否有所述第一二维码，当无人机机载端对所述第一二维码检测成功，无人机通过二维码处理算法，获取第一二维码相对于无人机的距离和角度，并通过机载控制***控制无人机精准降落在目标车辆的顶部。
7.根据权利要求6所述的一种无人机降落到移动车辆顶部的视觉方法，其特征在于，所述二维码处理算法的步骤为：
步骤一：基于AprilTag实现视觉定位方法，它可以计算出相对于无人机的二维码标签的精确的三维位置、方向和标签ID；
步骤二：AprilTag算法的主要流程如下：输入为摄像头拍摄的含有二维码标签的图像，对图像进行滤波，去噪、计算像素的梯度以聚类提取边缘、拟合边缘线，为边缘线添加从暗区指向亮区的向量，对边缘线进行连接得到quad回路，判别quad回路并进行解码，识别出二维码ID及旋转角度，获取相机参数，构建位姿数据的PnP方程，求解得到二维码坐标系在像平面坐标系中的位姿；AprilTag算法输出为计算得到的二维码坐标系在像平面坐标系中的位置和姿态；
步骤三：无人机控制端获取AprilTag算法输出的相对于无人机的二维码标签的精确的三维位置、方向和标签ID；不同的ID的二维码分布在不同的位置，根据AprilTag算法，计算二维码部分的中点位置，控制无人机飞行到二维码部分的中点，并控制无人机进行精准降落。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111452204.5A CN114115318B (zh) | 2021-12-01 | 2021-12-01 | 一种无人机降落到移动车辆顶部的视觉方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111452204.5A CN114115318B (zh) | 2021-12-01 | 2021-12-01 | 一种无人机降落到移动车辆顶部的视觉方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114115318A CN114115318A (zh) | 2022-03-01 |
| CN114115318B true CN114115318B (zh) | 2023-03-17 |
Family
ID=80369417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111452204.5A Active CN114115318B (zh) | 2021-12-01 | 2021-12-01 | 一种无人机降落到移动车辆顶部的视觉方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114115318B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114415736B (zh) * | 2022-04-01 | 2022-07-12 | 之江实验室 | 一种无人机多阶段视觉精准降落方法和装置 |
| CN115857519B (zh) * | 2023-02-14 | 2023-07-14 | 复亚智能科技(太仓)有限公司 | 一种基于视觉定位的无人机曲面平台自主降落方法 |
| CN117808872B (zh) * | 2024-03-01 | 2024-05-28 | 西安猎隼航空科技有限公司 | 一种无人机姿态位置估计方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106527481A (zh) * | 2016-12-06 | 2017-03-22 | 重庆零度智控智能科技有限公司 | 无人机飞行控制方法、装置及无人机 |
| CN108227751A (zh) * | 2018-01-29 | 2018-06-29 | 广州亿航智能技术有限公司 | 一种无人机的降落方法及*** |
| CN109298723A (zh) * | 2018-11-30 | 2019-02-01 | 山东大学 | 一种车载无人机精准降落方法和*** |
| CN109613934A (zh) * | 2019-01-09 | 2019-04-12 | 天津大学 | 一种无人机捕捉黑飞无人机的方法 |
| CN110991207A (zh) * | 2019-11-19 | 2020-04-10 | 山东大学 | 综合H图案识别和AprilTag二维码识别的无人机精准降落方法 |
| CN111338363A (zh) * | 2018-12-18 | 2020-06-26 | 深圳市贝贝特科技实业有限公司 | 一种无人机车载降落方法及*** |
| CN111930146A (zh) * | 2020-08-25 | 2020-11-13 | 上海比茵沃汽车电子有限公司 | 一种车载无人机精准降落识别方法 |
| CN111932588A (zh) * | 2020-08-07 | 2020-11-13 | 浙江大学 | 一种基于深度学习的机载无人机多目标跟踪***的跟踪方法 |
| CN113657256A (zh) * | 2021-08-16 | 2021-11-16 | 大连海事大学 | 一种无人艇载无人机海空协同视觉跟踪与自主回收方法 |
-
2021
- 2021-12-01 CN CN202111452204.5A patent/CN114115318B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106527481A (zh) * | 2016-12-06 | 2017-03-22 | 重庆零度智控智能科技有限公司 | 无人机飞行控制方法、装置及无人机 |
| CN108227751A (zh) * | 2018-01-29 | 2018-06-29 | 广州亿航智能技术有限公司 | 一种无人机的降落方法及*** |
| CN109298723A (zh) * | 2018-11-30 | 2019-02-01 | 山东大学 | 一种车载无人机精准降落方法和*** |
| CN111338363A (zh) * | 2018-12-18 | 2020-06-26 | 深圳市贝贝特科技实业有限公司 | 一种无人机车载降落方法及*** |
| CN109613934A (zh) * | 2019-01-09 | 2019-04-12 | 天津大学 | 一种无人机捕捉黑飞无人机的方法 |
| CN110991207A (zh) * | 2019-11-19 | 2020-04-10 | 山东大学 | 综合H图案识别和AprilTag二维码识别的无人机精准降落方法 |
| CN111932588A (zh) * | 2020-08-07 | 2020-11-13 | 浙江大学 | 一种基于深度学习的机载无人机多目标跟踪***的跟踪方法 |
| CN111930146A (zh) * | 2020-08-25 | 2020-11-13 | 上海比茵沃汽车电子有限公司 | 一种车载无人机精准降落识别方法 |
| CN113657256A (zh) * | 2021-08-16 | 2021-11-16 | 大连海事大学 | 一种无人艇载无人机海空协同视觉跟踪与自主回收方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114115318A (zh) | 2022-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114115318B (zh) | 一种无人机降落到移动车辆顶部的视觉方法 | |
| Cheng et al. | Lane detection with moving vehicles in the traffic scenes | |
| CN108153334B (zh) | 无合作目标式无人直升机视觉自主返航与着降方法及*** | |
| CN107144281B (zh) | 基于合作目标和单目视觉的无人机室内定位***及定位方法 | |
| CN105512628A (zh) | 基于无人机的车辆环境感知***及方法 | |
| Huh et al. | A vision-based automatic landing method for fixed-wing UAVs | |
| CN105157708A (zh) | 基于图像处理与雷达的无人机自主导航***及方法 | |
| CN110362109A (zh) | 一种无人机跨域停机库降落方法及降落平台 | |
| US20200115050A1 (en) | Control device, control method, and program | |
| CN113657256A (zh) | 一种无人艇载无人机海空协同视觉跟踪与自主回收方法 | |
| CN106970649A (zh) | 一种无人机无线充电自动控制平台及控制方法 | |
| EP3989034B1 (en) | Automatic safe-landing-site selection for unmanned aerial systems | |
| CN110989674A (zh) | 一种基于ArUco标签的无人机视觉引导降落方法 | |
| CN112904874A (zh) | 一种面向无人艇的无人机自主降落控制方法 | |
| CN112180978A (zh) | 基于飞艇平台的四旋翼无人机自主降落控制***及方法 | |
| CN114115233A (zh) | 一种基于无人艇姿态主动反馈的无人机自主着舰方法 | |
| CN114815871A (zh) | 一种基于视觉的垂直起降无人机动平台自主降落方法 | |
| CN114910918A (zh) | 定位方法、装置及雷达装置、无人机***、控制器和介质 | |
| CN112119428A (zh) | 获取降落位置的方法、设备、无人机、***及存储介质 | |
| Xiang et al. | A Multi-stage Precision Landing Method for Autonomous eVTOL Based on Multi-marker Joint Localization | |
| CN109215074B (zh) | 基于分层码标的无人机降落方法、装置、设备以及可读存储介质 | |
| CN113030977A (zh) | 一种无人机雷达探测*** | |
| Lee et al. | Safe landing of drone using AI-based obstacle avoidance | |
| CN115755575A (zh) | 一种基于ros的双云台无人机自主降落方法 | |
| CN111746810B (zh) | 全天候无人机降落方法及降落***、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 250000 room 2201, 22 / F, Bojing building, No. 993, Shuntai North Road, Jinan area, China (Shandong) pilot Free Trade Zone, Jinan City, Shandong Province Patentee after: Zhiyuan Digital Technology (Shandong) Co.,Ltd. Address before: 250000 room 2201, 22 / F, Bojing building, No. 993, Shuntai North Road, Jinan area, China (Shandong) pilot Free Trade Zone, Jinan City, Shandong Province Patentee before: Shandong Eighth Five-Year Information Technology Co.,Ltd. |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Visual Method for Drone Landing on the Top of a Moving Vehicle Effective date of registration: 20230703 Granted publication date: 20230317 Pledgee: Qilu Bank Co.,Ltd. Jinan Science and Technology Innovation Financial Center Branch Pledgor: Zhiyuan Digital Technology (Shandong) Co.,Ltd. Registration number: Y2023980047106 |