CN114625164A - 基于无人机母车的无人机智能返航方法 - Google Patents
基于无人机母车的无人机智能返航方法 Download PDFInfo
- Publication number
- CN114625164A CN114625164A CN202210160009.3A CN202210160009A CN114625164A CN 114625164 A CN114625164 A CN 114625164A CN 202210160009 A CN202210160009 A CN 202210160009A CN 114625164 A CN114625164 A CN 114625164A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- vehicle
- return
- mother
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 4
- 230000000737 periodic effect Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 description 7
- 239000003550 marker Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Navigation (AREA)
Abstract
本发明提供一种基于无人机母车的无人机智能返航方法，包括：当无人机在飞行过程中触发返航指令，无人机母车接收到返航指令后，从历史记录中获取无人机的飞行轨迹，计算无人机的返航路径并发送给无人机，无人机实时预测当前位置，调整飞行路径与返航路径匹配；在GPS信号失效后，通过惯性导航和图像匹配方法预测无人机的实时飞行位置并调整飞行路线沿着返航路径至停车路径标记点，利用无人机母车车顶设置的停机场标识引导无人机降落。本发明提供的技术方案中，能够确保在不同条件包括GPS失效时无人机智能返航成功并且路径最短。
Description
技术领域
本发明涉及无人机母车的无人机智能返航领域，特别是涉及无人机母车的无人机智能返航方法。
背景技术
随着科学技术的飞速发展，各种传统的电子设备得到新的应用。微型无人机由于可以装载相关的监测设备，飞到预设目的地执行各种不同的任务，使得无人机的应用范围越来越多。但是，无人机由于在飞行过程中依赖于动力***和导航***完成飞行，而动力***依赖于电池，如果电量不足，显示无人机无法飞行。导航***依赖于GPS定位，如果GPS失效，则无人机将失去飞行的航向，这时候，一般生产厂家都会在无人机内部设置返航***使无人机进行返航，但是现有的自主返航技术都是通过记录无人机在飞行的轨迹，然后返航时通过GPS再次定位已飞行的轨迹，然后返航。这种方法一是在GPS失效时无法使用，到时返航失败。另一方面估计电池预估里程的方式也是不准确的，因为电池在使用过程中受到环境的影响，如充电次数、当前环境温度，会影响到电池的电量消耗，从而影响无人机的续航里程，如果电池电量不足以支撑续航里程，则无人机可能会丢失而无法返航。现有技术也有进行相关的改进，如专利CN201811541989.1,该技术方案预估了相关的风速和风向，精确电池的续航，但是环境变化非常快，飞行的环境与返航的环境可能会发生较大差异，导致计算结果不准确。因此，现有的技术难以解决无人机的正确返航问题。
发明内容
基于现有技术中存在的缺陷，本发明提供一种基于无人机母车的无人机智能返航方法，包括：无人机与无人机母车建立通信连接并实时通信；当无人机在飞行过程中触发返航指令，无人机执行返航指令同时将返航的消息发送给无人机母车；
无人机母车接收到返航指令后，从历史记录中获取无人机的飞行轨迹，计算无人机的返航路径并发送给无人机，无人机实时预测当前位置，调整飞行路径与返航路径匹配；
无人机母车调整自身速度行驶至被返航路径的其中一个停车路径标记点，等待无人机母车返航到停车路径标记点时，利用无人机母车设置的停机场标识引导无人机降落。
一种基于无人机母车的无人机智能返航方法，进一步地，当无人机与无人机母车距离小于预设第一阈值时，无人机母车对采集的图像进行停机场标识识别，停机场标识设置于无人机母车车顶；
若识别出停机场标识，利用无人机摄像头获取的位姿信息对无人机母车的停机场标识进行跟踪；同时利用PID控制无人机降落至无人机母车停机场。
一种基于无人机母车的无人机智能返航方法，进一步地，当无人机母车接受到无人机GPS信号消失后的返航消息，无人机母车获取无人机最近一次的飞行路径；
将无人机最近一次的飞行路径与历史路径进行匹配，获取与最近一次飞行路径具有重合区域所有历史路径，将与最近一次飞行路径具有重合区域历史路径组成路径集合RoadA；
将最近一次的飞行路径与路径集合RoadA进行重新组合，形成新的返航路径集合RoadB，从RoadB选择一条无人机行驶距离最短的路径作为返航路径并标记停机路径标记点，无人机母车将重新规划的返航路径发送给无人机。
一种基于无人机母车的无人机智能返航方法，进一步地，当无人机接收到执行飞行任务的指令时，无人机检查是否与无人机母车建立通信连接，若已建立通信连接，则无人机起飞执行飞行任务；
若通信连接尚未建立，无人机启动与无人机母车建立通信连接的请求，待通信连接建立后，无人机起飞执行飞行任务；
无人机在预设周期间隔进行采集图像并记录采样点的GPS信息，并将图像和GPS信息发送给无人机母车；无人机母车对图像和GSP信息进行处理将关键信息发送给无人机。
一种基于无人机母车的无人机智能返航方法，进一步地，无人机在飞行过程中实时记录飞行轨迹和采集环境信息并将信息发送给无人机母车；无人机母车对无人机发送的信息进行处理并进行存储；无人机飞行轨迹的记录和采集环境信息；环境信息包括环境图像和环境的位置信息；
在预设的采样周期实时采集当前的环境图像和环境位置信息，位置信息包括经度、纬度、高度以及无人机的横滚角、俯仰角、偏航角。
一种基于无人机母车的无人机智能返航方法，进一步地，触发智能返航模式的条件包括：GPS信号失效、电池电量不足、用户选择无人机母车启动智能返航的指令，即可以是条件触发，也可以根据用户需求进行触发，无人机飞得较远，用户无法观看到无人机的行为，此时，为了安全起见，用户启动返航指令。
一种基于无人机母车的无人机智能返航方法，进一步地，当智能返航模式开启，判断GPS信号是否失效，若GPS信号正常，获取当前无人机的GPS信号和电池信息并发送给无人机母车；无人机母车收到无人机的GPS信号后，计算无人机母车与无人机之间的距离。
一种基于无人机母车的无人机智能返航方法，进一步地，若无人机的电池电量充足，通过卡尔曼滤波预设无人机与无人机母车的位置，利用PD控制无人机朝向无人机母车逼近直接无人机母车与无人机的距离满足第一预设距离阈值；
若无人机的电池电量不足，GPS信号正常时，无人机保持悬停提供GPS信号的位置，无人机母车根据无人机提供的GPS信号计算当前与无人机的距离，无人机母车根据无人机提供的GPS信号，行驶至GPS信号匹配的位置。
一种基于无人机母车的无人机智能返航方法，进一步地，若触发返航路径条件为GPS信号失效，无人机母车根据返航历史路线和T0时刻GPS的位置坐标与无人机的距离，并从返航路线中选择一个标记作为无人机母车等待无人机降落的停机路径标记点；
无人机利用惯性导航和视觉识别方法并利用卡尔曼滤波对无人机飞行位置进行预测，无人机沿着根据预测位置沿着返航路线至停机路径标记点；
当无人机和无人机母车都到达停机路径点时，无人机采集周围图像，从图像中获取无人机母车停机标记进行停车。
一种基于无人机母车的无人机智能返航方法，进一步地，无人机的位置预测方法至少包括：图像预测方法，图像预测方法至少包括：获取在T时刻获取图像imageT，T0时刻的图像imageT0；
从图像imageT0中选择预设M个特征点作为匹配特征点arrayT；
在图像imageT1中查找相匹配的预设M个特征点arrayT0
利用投影变化，将分别计算对imageT、imageT0中对应特征点的距离之差。
一种基于无人机母车的无人机智能返航方法，进一步地，建立无人机导航坐标系和相机坐标系，则特征点的位置世界坐标为Feature：
其中，R为相机坐标系和无人机导航坐标系之间的变化矩阵，H为无人机的高度，ax,ay为特征点的像素坐标，fx，fy为相机在x轴和y轴的焦距；
则在T时刻的采样与T0时刻采样时在不同图像中的一对匹配特征点FeatureTi，FeatureT0i的差值为ΔSi：
ΔSi＝FeatureTi-FeatureTi0i
其中axi,ayi,fx,fy分别为在T时刻时采集图像中特征点i的像素坐标和相机的焦距，Ra、Ha为T时刻相机坐标和导航坐标的变换矩阵和无人机高度；
其中bxi,byi,fx,fy分别为在T0时刻时采集图像中特征点i的像素坐标和相机的焦距，Rb、Hb为T0时刻相机坐标和导航坐标的变换矩阵和无人机高度。
然后获取预设数量的特征点对之间的平均位置作为无人机从T0时刻飞行至T时刻的位移；
T时刻无人机的位置为ST，M为特征点的数量，无人机在T时刻的位置为ST：
ST＝ST0+ΔS
其中，ST为T时刻的位置，ST0为T0时刻的位置。
一种基于无人机母车的无人机智能返航方法，进一步地，根据计算出的无人机的位置并判断是否进行位置更新时，需要采用当前时刻采集的图像与历史轨迹相同位置点采集的参考图像进行轮廓匹配，当轮廓匹配大于预设阈值时，进行位置更新。
一种基于无人机母车的无人机智能返航方法，进一步地，轮廓匹配方法包括：
对参考图像进行灰度变化，然后进行边缘检测并且并根据预设算法进行裁切后进行存储；对无人机采集的图像进行灰度变化，然后进行中值滤波后，再进行边缘检测；
获取无人机的飞行高度和当前点图像对应参考图像的分辨率，然后将图像缩放并与参考图像对齐，执行缩放将当前图像分辨率转换为参考图像的分辨率；
根据边缘检测获取的轮廓区域，选取预设不同大小的固定轮廓窗口在参考图像中进行匹配，从参考图像中获取最佳的匹配区域的位置；
将当前图像和对应参考图像边缘之间重叠像素数最多的位置作为匹配结果。
一种基于无人机母车的无人机智能返航方法，进一步地，利用轮廓匹配结果对位置进行更新时，轮廓匹配结果大于给定轮廓形状的置信度，轮廓置信度获取方法包括：
S1：分割参考图像并为不同区域分配不同的轮廓置信度；
S2：轮廓置信度的设定原则：城市地区的图像配准大于乡村，道路交叉口的配准比大于其它路段；特征标志物配准大于非特征标志物。
S3：根据轮廓匹配发生的位置与对应轮廓置信度进行对比，大于对应轮廓置信度时进行更新。
一种基于无人机母车的无人机智能返航方法，进一步地，在当前图像选择预设数量的轮廓，并将选择的轮廓在参考图像中进行匹配；通过设置第一轮廓匹配阈值，用于判断当前图像中的轮廓是否与参考图像中的轮廓匹配；设置第二轮廓匹配阈值，用于判断预匹配轮廓数量占据预设轮廓的匹配数量的占比；
若匹配结果大于第一轮廓匹配阈值和大于第二轮廓匹配阈值，则选择前n个匹配结果较好的轮廓并获取前n轮廓匹配结果的中值，选择中值对应的轮廓对应的位置作为最终的无人机位置更新。
有益效果：
1.本发明提供的技术方案中，能够确保在不同条件无人机智能返航成功并且路径最短。
2.本发明提供的技术方案中，在GPS信号失效时，能够利用惯性导航和图像匹配方法配合，充分准确的预测调整无人机的飞行位置，利用无人机母车引导无人机进行降落。
3.本发明提供的技术方案中，在GPS信号失效时，能够对无人机的返航路径进行重新规划，使无人机能够沿着最佳路径返航。
附图说明
以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围。
图1为本发明一实施例中的无人机的当前的飞行路径和飞行标记点的示意图。
图2为本发明一实施例中的无人机的当前的飞行路径和飞行标记点的示意图以及无人机母车行驶的路径图。
图3为本发明一实施例中的无人机的当前的飞行路径的返航和停机标记路径点的示意图。
图4为本发明一实施例中的无人机的当前新的返航飞行路径和停机标记路径点的示意图。
图5为本发明一实施例中的无人机的当前原历史路径返航路径和停机标记路径点的示意图。
图6为本发明一实施例中的无人机的沿着新的规划历史路径返航和停机标记路径点的示意图。
具体实施方式
为了对本文的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式，在各图中相同的标号表示相同的部分。为使图面简洁，各图中的示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，为使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。
关于控制***，功能模块、应用程序(APP)本领域技术人员熟知的是，其可以采用任何适当的形式，既可以是硬件也可以是软件，既可以是离散设置的多个功能模块，也可以是集成到一个硬件上的多个功能单元。作为最简单的形式，所述控制***可以是控制器，例如组合逻辑控制器、微程序控制器等，只要能够实现本申请描述的操作即可。当然，控制***也可以作为不同的模块集成到一个物理设备上，这些都不偏离本发明的基本原理和保护范围。
本发明中“连接”，即可包括直接连接、也可以包括间接连接、通信连接、电连接，特别说明除外。
本文中所使用的术语仅为了描述特定实施方案的目的并且不旨在限制本公开。如本文中所使用地，单数形式“一个”、“一种”、以及“该”旨在也包括复数形式，除非上下文明确地另作规定。还将理解的是，当在说明书中使用时，术语“包括”和/或“包含”是指存在有所陈述的特征、数值、步骤、操作、元件和/或组分，但是并不排除存在有或额外增加一个或多个其它的特征、数值、步骤、操作、元件、组分和/或其组成的群组。作为在本文中所使用的，术语“和/或”包括列举的相关项的一个或多个的任何和全部的组合
应当理解，此处所使用的术语“车辆”或“车辆的”或其它类似术语一般包括机动车辆，例如包括运动型多用途车辆(SUV)、公共汽车、卡车、各种商用车辆的乘用汽车，包括各种舟艇、船舶的船只，航空器等等，并且包括混合动力车辆、电动车辆、可插式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如源于非石油的能源的燃料)。正如此处所提到的，混合动力车辆是具有两种或更多动力源的车辆，例如汽油动力和电力动力两者的车辆。
此外，本公开的控制器可被具体化为计算机可读介质上的非瞬态计算机可读介质，该计算机可读介质包含由处理器、控制器或类似物执行的可执行程序指令。计算机可读介质的示例包括，但不限于，ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡和光学数据存储设备。计算机可读记录介质也可分布在通过网络耦合的计算机***中，使得计算机可读介质例如通过远程信息处理服务器或控制器区域网络(CAN)以分布式方式存储和执行。
本发明提供基于无人机母车的无人机的智能返航方法，参见图1至图6，具体包括：当无人机接收到执行飞行任务的指令时，无人机检查是否与无人机母车建立通信连接，若已建立通信连接，则无人机起飞执行飞行任务；
若通信连接尚未建立，无人机启动与无人机母车建立通信连接的请求，待通信连接建立后，无人机起飞执行飞行任务；
无人机母车与无人机进行实时通信；
无人机在飞行过程中实时记录飞行轨迹和采集环境信息并将信息发送给无人机母车；
无人机母车对无人机发送的信息进行处理并进行存储；
当触发返航指令启动后，无人机执行返航指令，同时将返航的指令发送给无人机母车；
无人机母车接收到返航指令后，从历史记录中获取无人机的飞行轨迹，无人机母车调整自身速度行驶至被飞行轨迹中的其中一个标记点，等待无人机母车返航到标记点时，利用无人机母车设置的停机场标识引导无人机降落。
具体地，参见图1至图6，图1显示无人机的飞行轨迹和标记点，此时无人机正常飞行，图中A为无人机的起飞点，图中B为无人机母车所处位置。具体地，无人机母车也可以在A点。A可以为无人机机站，对无人机进行检修或者其他维护的。当无人机起飞后，当行驶到E点时候，触发返航指令，无人机需要进行返航，此时，需要确定无人机的返航路线。现有技术中，如大疆无人机，只能沿着原路径反馈，原路径是打开返航模式中记录的路径。如果某次飞行过程中的路径并在原路径的范围内，会导致返航失败。
因此，本实施例的飞行路径是实时记录，存储于无人机母车中，无人机可以沿着最有的历史路径进行返回。
另外，若GPS信号正常，完全可以沿着自定义路径返航至指定位置，如图4所示，如无人机可以沿着新的返航路径，返航至图中F点。而EF的路径并是历史路径。这样能够选择最佳的路径返航至无人机母车。
若GPS信号不正常，沿着最近一次的历史路径，选择适合无人机母车行驶区域的停机路径标记点，如图5中的D点。
具体地，无人机飞行轨迹的记录和采集环境信息包括：环境信息包括环境图像和环境的位置信息；
在预设的采样周期实时采集当前的环境图像和环境的位置信息，位置信息包括经度、纬度、高度以及无人机的横滚角、俯仰角、偏航角；
无人机飞行轨迹利用GPS信号进行实时记录，并在飞行地图中进行根据GPS的更新频率进行标记；
具体地，预设的采样周期采集图像时，其周期与GPS更新频率相匹配。匹配如下：在t时刻图像采样，则t时刻GPS的位置信息得到更新；但t1时刻GPS位置更新，但t1时刻未必需要采样，即在无人机采集环境图像时，需要获取采集图像时的GPS位置信息。
具体地，触发智能返航模式的条件包括：GPS信号失效、电池电量不足、用户选择无人机母车启动智能返航的指令，即可以是条件触发，也可以根据用户需求进行触发，无人机飞得较远，用户无法观看到无人机的行为，此时，为了安全起见，用户启动返航指令。
当智能返航模式开启，判断GPS信号是否失效，若GPS信号正常，获取当前无人机的GPS信号和电池信息并发送给无人机母车；无人机母车收到无人机的GPS信号后，计算无人机母车与无人机之间的距离；
判断无人机的电池电量是否满足无人机飞行至无人机母车的标记位置，具体地，由于电池电量对续航里程受多种因素影响，因此，为了确保电池续航能够成功，本实施例中采用冗余计算方式，即电池电量至少能够维持2倍里程才算满足条件。
若无人机的电池电量充足，通过卡尔曼滤波预设无人机与无人机母车的位置，利用PD(比例-微分控制方法)控制无人机朝向无人机母车逼近；
当无人机与无人机母车距离小于预设第一阈值时，无人机母车对采集的图像进行停机场标识识别；停车场标识设置于无人机母车车顶；
预设第一阈值作为无人机开始在采集中的图像中搜索无人机的具***置的距离度量，其通过无人机装载的视觉传感器的感受野进行确定，通过设置预设第一阈值，防止无人机进行过早采样，远距离采样可能无法识别无人机母车。
若识别出停机场标识，利用无人机摄像头获取的位姿信息对无人机母车的停机场标识进行跟踪；同时利用PID(比例-积分-微分控制方法)控制无人机降落至无人机母车停机场。
若无人机的电池电量不足，GPS信号正常时，无人机保持悬停提供GPS信号的位置，无人机母车根据无人机提供的GPS信号计算当前与无人机的距离，无人机母车根据无人机提供的GPS信号，行驶至GPS信号匹配的位置；
无人机母车发送到达信号给无人机，无人机采集周围图像进行搜索停机场标记，若发现停机场标记，则利用PID控制无人机逼近无人机，同时利用无人机摄像头采集图像，计算无人机位姿，对标记进行追踪，直至降落至无人机母车的停机场。
若GPS信号失效，电池电量充足，此时，无人机失去定位能力，无法确定方法，现有技术中中，无人机GPS失去信号后，无人机会自动悬停一段时间等待信号是否恢复，若无法恢复，重复预设次数后，无人机会在GPS信号消失周围降落，无法完成返航。
为了解决无人机在GPS发生故障或GPS信号消失后的返航问题，本发明一实施例提供了一种较好的解决方法，具体如下：
无人机在预设周期间隔进行采集图像并记录采样点的GPS信息，并将图像和GPS信息发送给无人机母车；无人机母车对图像和GSP信息进行处理将关键信息发送给无人机；
无人机在To时刻采样同时获取GPS信号后，在下一个采样时刻T时，GPS信号缺失，则无人机将T时刻采集的图像和返航历史路线发送给无人机母车；
无人机母车根据返航历史路线和to时刻GPS的位置坐标其与无人机的距离，并从返航历史路线中选择一个标记作为无人机母车等待无人机降落的停机路径点；
无人机母车开启GPS导航行驶至停机降落标记点，无人机利用惯性导航和视觉识别方法沿着选择返利历史路线至停机路径点；
当无人机停机标记点或无人机母车到达停机路径点时，无人机母车或无人机发送到达标记点的信息告知对方；
当二者都到达停机路径点时，无人机采集周期图像，从图像中获取无人机母车停机标记进行停车；
具体地，无人机利用惯性导航和视觉识别方法沿着选择返利历史路线至停机路径点的方法如下：
在T时刻获取图像imageT，并从T0时刻获取的图像imageT0中选择预设M个特征点作为匹配标志点并arrayT＝{[ax0,by0,[ax1,ay1],[ax2,ay2]....[axM,ayM]}；
在图像imageT中查找预设M个特征点arrayT0＝{[bx0,by0,[bx1,by1],[bx2,by2]....[bxM,byM]}；
利用投影变化，将分别计算对imageT、imageT0中对应特征点的距离之差；
具体计算方法如下：
定义：建立无人机导航坐标系和相机坐标系，则特征点的位置世界坐标为Feature：
其中，R为相机坐标系和无人机导航坐标系之间的变化矩阵，D为无人机的高度，ax,ay为特征点的像素坐标，fx，fy为相机在x轴和y轴的焦距；
则在T时刻的采样与T0时刻采样时在不同图像中的一对匹配特征点FeatureTi，FeatureT0i的差值为ΔSi：
ΔSi＝FeatureTi-FatureT0i
其中axi,ayi,fx,fy分别为在T时刻时采集图像中的像素坐标和相机的焦距，Ra、Ha为T时刻相机坐标和导航坐标的变换矩阵和无人机高度；
其中bxi,byi,fx,fy分别为在T0时刻时采集图像中的像素坐标和相机的焦距，Rb、Hb为T0时刻相机坐标和导航坐标的变换矩阵和无人机高度；
具体的，理论上来讲，两个点即可计算在T时刻和T0是无人机飞过的距离，但是受制于多种因素存在，如：特征点的配对可能是不准确的，另外，变化矩阵R和高度H是也是存在误差，因此为了使结果更加准确，本实施例中，选择预设的多个点，如至少40个特征点进行更新，然后获取预设数量特征点的之间的平均位置作为无人机从T0时刻飞行至T时刻的位移；
具体地，可以采用多种不同的预设数量，第一预设特点证匹配对为M1，第二预设特征点的匹配对未M2，若能够获取M1个特征点对，则以M1个特征点计算的位移作为无人机在ΔT时间内飞行的距离；若获取的特征点数小于M1但是大于M2，则以实际获取的特征点数计算的位置作为无人机在ΔT时间内飞行的距离；若获取的特征点小于M2，则不进行位移更新计算，此时，重新在周围进行采样重复进行特征点匹配。
根据无人机在T时刻的位置为ST，则：
ST＝ST0+ΔS
其中，ST为T时刻的位置，ST0为T0时刻的位置，通过GPS信号定位获取，ΔS为GPS信号消失后，通过视觉方法计算在T0至T1时刻无人机飞行的距离。
通过惯性导航对无人机在T0至T1的位移再次进行预测，结合卡尔曼滤波，获取无人机在T1时刻无人的最终位置。
具体地，在GPS信号缺失后，由于采用惯性导航和图像特征点匹配的跟踪算法，其受环境影响较大，无人机返航的误差将随着距离的增加而逐渐增大，导致更新的位置出现错误，使得无人机长距离飞行导致电量消耗后失联。因此，为了解决现有技术出现的问题，本实施例提供一种解决方案，具体如下：
本实施例相对于现有技术只能依赖于预设的路径方法返航进行改进，对无人机返航的路径重新进行组合拼接，获取最后的返航路径，具体如下：
当无人机母车接收到无人机GPS信号消失后的返航消息后，无人机母车获取无人机最近一次的飞行路径；
将无人机最近一次的飞行路径与历史路径进行匹配，获取与最近一次飞行路径具有重合区域所有历史路径，将与最近一次飞行路径具有重合区域历史路径组成路径集合RoadA；
将最近一次的飞行路径与路径集合RoadA进行重新组合，形成新的返航路径集合RoadB；
从RoadB选择一条无人机行驶距离最短的路径进行返航和并标记停机标记点；
无人机母车将重新规划的返航路径发送给无人机。
具体地，当选择最短的路径进行返航时，停机路径点的选取需要满足无人机母车行驶的条件。
参见图6，图中L2至L9为历史路径，L1为无人机当前路径，L2、L3、L4、L9和无人机的当前飞行路径L1具有交叉路径，因此若图中V点和N点都适合无人机母车行驶，路径EK1V、EK2N适合停机，则选择V点和N点作为停机路径标记点，路径EK1V与EK2N的距离，选择距离最端路径进行返航。
具体地，由于本实施例中的，当GPS信号失去后，无人机的位置更是在相邻采样间隔更新位置，但是由于采样图像匹配，在位置更新此时增加时，惯性导航与无人机位置距离计算差异较大，此时，即使采样卡尔曼滤波对位置进行回归，也得不到准确的结果，为了解决该技术问题，本实施例中提供了一种解决方案，具体如下：
在对无人机的位置进行计算并且决定是否更新时，需要采用当前时刻采集的图像与历史轨迹相同位置点采集的参考图像进行轮廓匹配，当轮廓匹配大于预设阈值时，进行位置更新。
具体轮廓匹配方法如下：
对参考图像进行灰度变化，然后进行边缘检测并且并根据预算算法进行裁切并进行存储；
边缘检测可以采用sobel算法或canny算法；
具体地，该过程在在无人机飞行过程中由无人机母车完成，以便无人机返航后需要进行轮廓匹配时采用，由于该工作实在无人机母车上完成，能够处理大量的图像数据。
对无人机当前图像进行灰度变化，然后进行中值滤波后，再进行边缘检测；
获取无人机的飞行高度和当前点对应参考图像的分辨率，然后将图像缩放并与参考图像对齐，执行缩放将当前图像转换为参考图像的分辨率；
具体地，本实施中，参考图像和当前图像采用的算法不一样，参考图像并未采用中值滤波。其原因在于，无人机返航时环境会随着时间和天气变化，由于环境的变化，参考图像中的成像特征可以在一段时间后会消失，如河流或者因为施工或者人类活动导致某些特征被破坏。若不对当前图像中进行中指滤波，则会使得当前图像中保留一些较小的细节特征，这些特征在环境变化后往往与原图存在较大差异，因此，中值过滤器是为了去除从无人机摄像头可见但从参考图像中不可见的小细节。
卡尔曼滤波器预测的无人机位置用作参考图像中受限搜索区域的中心，目的是忽略离估计的无人机位置太远的图像区域；
根据边缘检测获取的轮廓区域，选取预设不同大小的固定轮廓窗口在参考图像中进行匹配，从参考图像中获取最佳的匹配区域的位置；
将当前图像和对应参考图像边缘之间重叠像素数最多的位置作为匹配结果；
具体地，一旦获得匹配，就可以对无人机拍摄的图像进行地理参考，并可以计算无人机的绝对位置；
但是，如何获得最佳匹配位置成为本实施例需要解决的一个关键的技术问题，必须检测匹配是否为异常值然后拒绝或可用于更新无人机位置。但异常值检测不是一件容易的事，受到多方面因素的影响。有些区域异常值占主导地位。本实施例提供一种匹配概率值，具体包括：
S1：分割参考图像并为不同区域分配不同的轮廓置信度；
S2：轮廓置信度的设定原则：城市地区的图像配准大于乡村，道路交叉口的配准比大于其它路段；特征标志物配准大于非特征标志物。
S3：根据轮廓匹配发生的位置与对应轮廓置信度进行对比，大于对应轮廓置信度时进行更新。
上述是基于对参考图像进行处理，在进行图像特征建模，从而构建特征匹配置信度，尽管能够获得较好的匹配结果，但是需要进行大量的运算。
为了解决最有匹配的问题，申请人进行大量的实验发现，在匹配不可靠的区域，匹配的位置噪音较大；相反，在匹配可靠的区域，位置噪声较低。因此，申请人认为当算法匹配正确的位置时，匹配位置的噪音通常是相当恒定的，噪声水平很低。因此，本实施例提供了一种匹配位置更新的确定方法，具体如下：
在当前图像选择预设数量的轮廓，并将选择的轮廓在参考图像中进行匹配；通过设置第一轮廓匹配阈值，用于判断当前图像中的轮廓是否与参考图像中的轮廓匹配；
设置第二轮廓匹配阈值，用于判断预匹配轮廓额数量占据预设轮廓的匹配数量的占比；
若匹配结果大于第一轮廓匹配阈值和大于第二轮廓匹配阈值，则选择前n个匹配结果较好的轮廓并获取前n轮廓匹配结果的中值，选择中值对应的轮廓作为最终的无人机位置更新。
以上所述的仅是本发明的优选实施方式，本发明不限于以上实施例。本领域的技术人员可以清楚，该实施例中的形式不局限于此，同时可调整方式也不局限于此。可以理解，本领域技术人员在不脱离本发明的基本构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。
Claims (12)
1.一种基于无人机母车的无人机智能返航方法，其特征在于，包括：无人机与无人机母车建立通信连接并实时通信；当无人机在飞行过程中触发返航指令，无人机执行返航指令同时将返航的消息发送给无人机母车；
无人机母车接收到返航指令后，从历史记录中获取无人机的飞行轨迹，计算无人机的返航路径并发送给无人机，无人机实时预测当前位置，调整飞行路径与返航路径匹配；
无人机母车调整自身速度行驶至被返航路径的其中一个停车路径标记点，等待无人机返航到停车路径标记点时，利用无人机母车设置的停机场标识引导无人机降落。
2.如权利要求1所述一种基于无人机母车的无人机智能返航方法，其特征在于，当无人机与无人机母车距离小于预设第一阈值时，无人机母车对采集的图像进行停机场标识识别，停机场标识设置于无人机母车车顶；
若识别出停机场标识，利用无人机摄像头获取的位姿信息对无人机母车的停机场标识进行跟踪；同时利用PID控制无人机降落至无人机母车停机场。
3.如权利要求1所述一种基于无人机母车的无人机智能返航方法，其特征在于，当无人机母车接受到无人机GPS信号消失后的返航消息，无人机母车获取无人机最近一次的飞行路径；
将无人机最近一次的飞行路径与历史路径进行匹配，获取与最近一次飞行路径具有重合区域所有历史路径，将与最近一次飞行路径具有重合区域的历史路径组成路径集合RoadA；
将最近一次的飞行路径与路径集合RoadA进行重新组合，形成新的返航路径集合RoadB，从RoadB选择一条无人机行驶距离最短的路径作为返航路径并标记停机路径标记点，无人机母车将重新规划的返航路径发送给无人机。
4.如权利要求1所述一种基于无人机母车的无人机智能返航方法，其特征在于，当无人机接收到执行飞行任务的指令时，无人机检查是否与无人机母车建立通信连接，若已建立通信连接，则无人机起飞执行飞行任务；
若通信连接尚未建立，无人机启动与无人机母车建立通信连接的请求，待通信连接建立后，无人机起飞执行飞行任务；
无人机在预设周期间隔进行采集图像并记录采样点的GPS信息，并将图像和GPS信息发送给无人机母车；无人机母车对图像和GPS信息进行处理将关键信息发送给无人机。
5.如权利要求1所述一种基于无人机母车的无人机智能返航方法，其特征在于，无人机在飞行过程中实时记录飞行轨迹和采集环境信息并将信息发送给无人机母车；无人机母车对无人机发送的信息进行处理并进行存储；环境信息包括环境图像和环境的位置信息；
在预设的采样周期实时采集当前的环境图像和环境位置信息，位置信息包括经度、纬度、高度以及无人机的横滚角、俯仰角、偏航角。
6.如权利要求1所述一种基于无人机母车的无人机智能返航方法，其特征在于，触发智能返航模式的条件包括：GPS信号失效、电池电量不足、用户选择无人机母车启动智能返航的指令，即可以是条件触发，也可以根据用户需求进行触发，无人机飞得较远，用户无法观看到无人机的行为，此时，为了安全起见，用户启动返航指令。
7.如权利要求1所述一种基于无人机母车的无人机智能返航方法，其特征在于，当智能返航模式开启，判断GPS信号是否失效，若GPS信号正常，获取当前无人机的GPS信号和电池信息并发送给无人机母车；无人机母车收到无人机的GPS信号后，计算无人机母车与无人机之间的距离。
8.如权利要求7所述一种基于无人机母车的无人机智能返航方法，其特征在于，若无人机的电池电量充足，通过卡尔曼滤波预设无人机与无人机母车的位置，利用PD控制无人机朝向无人机母车逼近直至无人机母车与无人机的距离满足第一预设距离阈值；
若无人机的电池电量不足，GPS信号正常时，无人机保持悬停提供GPS信号的位置，无人机母车根据无人机提供的GPS信号计算当前与无人机的距离，无人机母车根据无人机提供的GPS信号，行驶至GPS信号匹配的位置。
9.如权利要求1所述一种基于无人机母车的无人机智能返航方法，其特征在于，若触发返航路径条件为GPS信号失效，无人机母车根据返航历史路线和T0时刻GPS的位置坐标与无人机的距离，从返航路线中选择一个标记作为无人机母车等待无人机降落的停机路径标记点；
无人机利用惯性导航和视觉识别方法并利用卡尔曼滤波对无人机飞行位置进行预测，无人机根据预测位置沿着返航路线至停机路径标记点；
当无人机和无人机母车都到达停机路径点时，无人机采集周围图像，从图像中获取无人机母车停机标识进行停机。
10.如权利要求9所述一种基于无人机母车的无人机智能返航方法，其特征在于，无人机的位置预测方法至少包括：图像预测方法，图像预测方法至少包括：获取在T时刻的图像imageT，T0时刻的图像imageT0；
从图像imageT0中选择预设M个特征点作为匹配特征点arrayT0；
在图像imageT中查找相匹配的预设M个特征点arrayT；
利用投影变化，将分别计算对imageT、imageT0中对应特征点的距离之差。
11.如权利要求10所述一种基于无人机母车的无人机智能返航方法，其特征在于，建立无人机导航坐标系和相机坐标系，则特征点的位置世界坐标为Feature：
其中，R为相机坐标系和无人机导航坐标系之间的变化矩阵，H为无人机的高度，ax,ay为特征点的像素坐标，fx，fy为相机在x轴和y轴的焦距；
则在T时刻的采样与T0时刻采样时在不同图像中的一对匹配特征点
FeatureTi，FeatureT0i的差值为ΔSi：
ΔSi＝FeatureTi-FeatureT0i
其中axi,ayi,fx,fy分别为在T时刻时采集图像中特征点i的像素坐标和相机的焦距，Ra、Ha为T时刻相机坐标和导航坐标的变换矩阵和无人机高度；
其中bxi,byi,fx,fy分别为在T0时刻时采集图像中特征点i的像素坐标和相机的焦距，Rb、Hb为T0时刻相机坐标和导航坐标的变换矩阵和无人机高度；
然后获取预设数量的特征点对之间的平均位置作为无人机从T0时刻飞行至T时刻的位移；
M为特征点的数量，无人机在T时刻的位置为ST：
ST＝ST0+ΔS
其中，ST为T时刻的位置，ST0为T0时刻的位置。
12.如权利要求9所述一种基于无人机母车的无人机智能返航方法，其特征在于，根据计算出的无人机的位置判断是否进行位置更新时，需要采用当前时刻采集的图像与历史轨迹相同位置点采集的参考图像进行轮廓匹配，当轮廓匹配大于预设阈值时，进行位置更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210160009.3A CN114625164A (zh) | 2022-02-22 | 2022-02-22 | 基于无人机母车的无人机智能返航方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210160009.3A CN114625164A (zh) | 2022-02-22 | 2022-02-22 | 基于无人机母车的无人机智能返航方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114625164A true CN114625164A (zh) | 2022-06-14 |
Family
ID=81899176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210160009.3A Pending CN114625164A (zh) | 2022-02-22 | 2022-02-22 | 基于无人机母车的无人机智能返航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114625164A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115577511A (zh) * | 2022-09-26 | 2023-01-06 | 南京航空航天大学 | 基于无人机运动状态的短期航迹预测方法、装置及*** |
-
2022
- 2022-02-22 CN CN202210160009.3A patent/CN114625164A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115577511A (zh) * | 2022-09-26 | 2023-01-06 | 南京航空航天大学 | 基于无人机运动状态的短期航迹预测方法、装置及*** |
| CN115577511B (zh) * | 2022-09-26 | 2023-11-17 | 南京航空航天大学 | 基于无人机运动状态的短期航迹预测方法、装置及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109520498B (zh) | 一种用于虚拟轨道车辆的虚拟道岔***及方法 | |
| CN110928284B (zh) | 辅助控制车辆的自动驾驶的方法、设备、介质和*** | |
| RU2737874C1 (ru) | Способ хранения информации транспортного средства, способ управления движением транспортного средства и устройство хранения информации транспортного средства | |
| CN110928286B (zh) | 用于控制车辆的自动驾驶的方法、设备、介质和*** | |
| CN112558608B (zh) | 一种基于无人机辅助的车机协同控制及路径优化方法 | |
| CN214151498U (zh) | 一种车辆控制***及车辆 | |
| CN105955257A (zh) | 基于固定路线的公交车自动驾驶***及其驾驶方法 | |
| CN105892464A (zh) | 基于固定路线的专用车自动驾驶***及其驾驶方法 | |
| CN112817307B (zh) | 一种基于无人机道路感知的车辆辅助驾驶***及方法 | |
| CN108616810A (zh) | 一种车队自主跟车***、便携式装置及方法 | |
| CN111724614B (zh) | 自动驾驶车辆的交通控制*** | |
| CN116710976A (zh) | 用于对用于训练远程机器学习模型的数据进行智能机载选择的自主交通工具*** | |
| WO2022012316A1 (zh) | 控制方法、车辆和服务器 | |
| US11754415B2 (en) | Sensor localization from external source data | |
| CN110806748A (zh) | 一种基于人工智能的自动驾驶*** | |
| CN114625164A (zh) | 基于无人机母车的无人机智能返航方法 | |
| JP2021120837A (ja) | 自律移動装置、自律移動制御方法、並びにプログラム | |
| CN112462762A (zh) | 一种基于路侧二维码单元的机器人室外自主移动***及其方法 | |
| CN116991104A (zh) | 一种无人驾驶车辆自动化驱动的装置 | |
| CN116312007A (zh) | 一种通感一体化设备引导车辆自动驾驶*** | |
| CN117859041A (zh) | 用于在泊车空间中支持车辆功能的方法和辅助装置和机动车 | |
| US20220266818A1 (en) | Vehicle control method, vehicle control system, and vehicle control program | |
| CN115424468A (zh) | 一种基于多摄像头融合的停车位检测*** | |
| CN114995491A (zh) | 基于无人机的涉水行车方法及*** | |
| Li et al. | Low-cost vector map assisted navigation strategy for autonomous vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |