CN116466733B - 一种用于无人机起降的智能避障***及方法 - Google Patents
一种用于无人机起降的智能避障***及方法 Download PDFInfo
- Publication number
- CN116466733B CN116466733B CN202310459971.1A CN202310459971A CN116466733B CN 116466733 B CN116466733 B CN 116466733B CN 202310459971 A CN202310459971 A CN 202310459971A CN 116466733 B CN116466733 B CN 116466733B
- Authority
- CN
- China
- Prior art keywords
- landing
- aerial vehicle
- unmanned aerial
- unmanned
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000007613 environmental effect Effects 0.000 claims description 121
- 230000008569 process Effects 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 17
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 13
- 238000013526 transfer learning Methods 0.000 claims description 8
- 230000032258 transport Effects 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012916 structural analysis Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
- G05D1/0816—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability
- G05D1/0825—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability using mathematical models
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提出一种用于无人机起降的智能避障***及方法,***包括无人机、运载所述无人机的无人船、分配任务指令的云服务器、用于建立物联网通信连接并接收和发送数据的物联网通信网关以及用于管理所述无人船和无人机的物联网服务器。通过本发明方案,无人机在起降时不仅可以快速地从预先生成的路线集中选择适合当前环境的路线,而且在起降过程中能实时、精准地识别障碍物进行避障,智能高效。
Description
技术领域
本发明涉及无人机控制技术领域,具体涉及一种用于无人机起降的智能避障***及方法。
背景技术
随着电池续航技术、定位技术、通信技术、图像识别技术和探测技术等的发展,无人机广泛应用于电力、气象、农业、视频摄像、抢险救灾等作业,其无人机的作业环境复杂多变,要求无人机高度智能化。目前,无人机在自动驾驶飞行时,是在飞行前规划好安全航线,将相关数据导入无人机***中,之后无人机根据预设的飞行的路径自动驾驶飞行,但是在低空、复杂地形条件下时,特别是在无人机起降过程中,传统无人机无法实现高精度自动避障,从而存在飞行风险。
发明内容
本发明正是基于上述问题,提出了一种用于无人机起降的智能避障***及方法,通过本发明方案,无人机在起降时不仅可以快速地从预先生成的路线集中选择适合当前环境的路线,而且在起降过程中能实时、精准地识别障碍物进行避障,智能高效。
有鉴于此,本发明的一方面提出了一种用于无人机起降的智能避障***,应用于对水上设施进行巡检的过程中,包括:无人船、无人机、云服务器、用于建立物联网通信连接并接收和发送数据的物联网通信网关和物联网服务器;
所述物联网服务器被配置为:
建立所述无人船的第一三维立体模型和所述无人机的第二三维立体模型;
从所述第一三维立体模型中确定所述无人机的起降区,并根据所述第一三维立体模型和所述第二三维立体模型构建出所述无人机在所述无人船的起飞路线集合和降落路线集合;
接收所述云服务器发送的任务指令,并根据所述任务指令选定对应的所述无人船和所述无人机,并将所述任务指令发送至所述无人机和所述无人船;
所述无人船被配置为:
根据所述任务指令将所述无人机运输至对应的任务起点;
获取所述任务起点的第一环境数据,并将所述第一环境数据发送至所述物联网服务器;
所述物联网服务器被配置为:根据所述第一环境数据、所述任务指令指向的任务对象的第三三维立体模型和所述任务起点的位置信息,从所述起飞路线集合中确定所述无人机的第一起飞路线;
所述无人机被配置为:
采集第二环境数据,并从所述第二环境数据中识别出第一障碍物;
获取所述第一障碍物的第一属性信息,并根据所述第一属性信息修改所述第一起飞路线以避开所述第一障碍物;
当执行完任务返航至与所述无人船的准降范围内时,获取所述无人船的第一状态数据和第三环境数据;
根据所述第一状态数据和所述第三环境数据从所述降落路线集合中确定对应的第一降落路线进行降落;
在降落过程中,获取第四环境数据,并从所述第四环境数据中识别出第二障碍物;
获取所述第二障碍物的第二属性信息,并根据所述第二属性信息修改所述第一降落路线以避开所述第二障碍物。
可选地,所述物联网服务器还被配置为:
根据所述第一环境数据、所述无人船与所述任务对象间的第一空间位置关系,确定所述无人机能否有效避开所述无人船或所述任务对象上存在的障碍物;
若否,则调整所述无人船与所述任务对象间的所述第一空间位置关系至第二空间位置关系。
可选地,所述物联网服务器还被配置为:
在所述无人机执行完任务时,获取所述无人船的第一当前位置和第五环境数据;
根据所述第一当前位置、所述第五环境数据和所述无人机的第一当前状态数据,判断所述第一当前位置是否为所述无人机的最优降落位置;
若否,则计算出实际最优降落位置,并将所述实际最优降落位置发送至所述无人船和所述无人机;
发出指令控制所述无人船和所述无人机分别向所述实际最优降落位置行驶。
可选地,所述根据所述第一状态数据和所述第三环境数据从所述降落路线集合中确定对应的第一降落路线进行降落的步骤中,所述无人机被配置为:
根据所述第一状态数据和所述第三环境数据判断所述降落路线集合中是否存在匹配的降落路线;
若存在,则将匹配的降落路线作为所述第一降落路线;
若不存在,则根据所述第三环境数据和所述第一状态数据将所述无人船调整为第二状态;
重复前述步骤,直至确定出匹配的所述第一降落路线。
可选地,所述在降落过程中,获取第四环境数据,并从所述第四环境数据中识别出第二障碍物的步骤中,所述无人机被配置为:
在降落过程中,所述无人机实时检测周围环境获取所述第四环境数据;
基于迁移学习技术,根据所述第一三维立体模型和第三三维立体模型,对从所述云服务器获取的第一障碍物预测模型进行修改,得到第二障碍物预测模型;
根据获取第一障碍物识别模型和所述第二障碍物预测模型从所述第四环境数据识别出所述第二障碍物。
本发明的另一方面提供一种用于无人机起降的智能避障方法,应用于对水上设施进行巡检的无人机,包括:
物联网服务器建立无人船的第一三维立体模型和所述无人机的第二三维立体模型;
所述物联网服务器从所述第一三维立体模型中确定所述无人机的起降区,并根据所述第一三维立体模型和所述第二三维立体模型构建出所述无人机在所述无人船的起飞路线集合和降落路线集合;
所述物联网服务器接收云服务器发送的任务指令,并根据所述任务指令选定对应的所述无人船和所述无人机,并将所述任务指令发送至所述无人机和所述无人船;
所述无人船根据所述任务指令将所述无人机运输至对应的任务起点;
所述无人船获取所述任务起点的第一环境数据,并将所述第一环境数据发送至所述物联网服务器;
所述物联网服务器根据所述第一环境数据、所述任务指令指向的任务对象的第三三维立体模型和所述任务起点的位置信息,从所述起飞路线集合中确定所述无人机的第一起飞路线;
所述无人机采集第二环境数据,并从所述第二环境数据中识别出第一障碍物;
获取所述第一障碍物的第一属性信息,并根据所述第一属性信息修改所述第一起飞路线以避开所述第一障碍物;
所述无人机执行完任务返航至与所述无人船的准降范围内时,获取所述无人船的第一状态数据和第三环境数据;
根据所述第一状态数据和所述第三环境数据从所述降落路线集合中确定对应的第一降落路线进行降落;
在降落过程中,所述无人机获取第四环境数据,并从所述第四环境数据中识别出第二障碍物;
获取所述第二障碍物的第二属性信息,并根据所述第二属性信息修改所述第一降落路线以避开所述第二障碍物。
可选地,在所述无人船获取所述任务起点的第一环境数据,并将所述第一环境数据发送至所述物联网服务器步骤之后、所述物联网服务器根据所述第一环境数据、所述任务指令指向的任务对象的第三三维立体模型和所述任务起点的位置信息,从所述起飞路线集合中确定所述无人机的第一起飞路线的步骤之前,包括:
所述物联网服务器根据所述第一环境数据、所述无人船与所述任务对象间的第一空间位置关系,确定所述无人机能否有效避开所述无人船或所述任务对象上存在的障碍物;
若否,则调整所述无人船与所述任务对象间的所述第一空间位置关系至第二空间位置关系。
可选地,还包括:
在所述无人机执行完任务时,获取所述无人船的第一当前位置和第五环境数据;
根据所述第一当前位置、所述第五环境数据和所述无人机的第一当前状态数据,判断所述第一当前位置是否为所述无人机的最优降落位置;
若否,则由所述物联网服务器计算出实际最优降落位置,并将所述实际最优降落位置发送至所述无人船和所述无人机;
所述无人船和所述无人机分别向所述实际最优降落位置行驶。
可选地,所述根据所述第一状态数据和所述第三环境数据从所述降落路线集合中确定对应的第一降落路线进行降落的步骤,包括:
根据所述第一状态数据和所述第三环境数据判断所述降落路线集合中是否存在匹配的降落路线;
若存在,则将匹配的降落路线作为所述第一降落路线;
若不存在,则根据所述第三环境数据和所述第一状态数据将所述无人船调整为第二状态;
重复前述步骤,直至确定出匹配的所述第一降落路线。
可选地,所述在降落过程中,所述无人机获取第四环境数据,并从所述第四环境数据中识别出第二障碍物的步骤,包括:
在降落过程中,所述无人机实时检测周围环境获取所述第四环境数据;
基于迁移学习技术,根据所述第一三维立体模型和第三三维立体模型,对从所述云服务器获取的第一障碍物预测模型进行修改,得到第二障碍物预测模型;
根据获取第一障碍物识别模型和所述第二障碍物预测模型从所述第四环境数据识别出所述第二障碍物。
采用本发明的技术方案,物联网服务器建立无人船的第一三维立体模型和所述无人机的第二三维立体模型;所述物联网服务器从所述第一三维立体模型中确定所述无人机的起降区,并根据所述第一三维立体模型和所述第二三维立体模型构建出所述无人机在所述无人船的起飞路线集合和降落路线集合;所述物联网服务器接收云服务器发送的任务指令,并根据所述任务指令选定对应的所述无人船和所述无人机,并将所述任务指令发送至所述无人机和所述无人船;所述无人船根据所述任务指令将所述无人机运输至对应的任务起点;所述无人船获取所述任务起点的第一环境数据,并将所述第一环境数据发送至所述物联网服务器;所述物联网服务器根据所述第一环境数据、所述任务指令指向的任务对象的第三三维立体模型和所述任务起点的位置信息,从所述起飞路线集合中确定所述无人机的第一起飞路线;所述无人机采集第二环境数据,并从所述第二环境数据中识别出第一障碍物;获取所述第一障碍物的第一属性信息,并根据所述第一属性信息修改所述第一起飞路线以避开所述第一障碍物;所述无人机执行完任务返航至与所述无人船的准降范围内时,获取所述无人船的第一状态数据和第三环境数据;根据所述第一状态数据和所述第三环境数据从所述降落路线集合中确定对应的第一降落路线进行降落;在降落过程中,所述无人机获取第四环境数据,并从所述第四环境数据中识别出第二障碍物;获取所述第二障碍物的第二属性信息,并根据所述第二属性信息修改所述第一降落路线以避开所述第二障碍物。通过本发明方案,无人机在起降时不仅可以快速地从预先生成的路线集中选择适合当前环境的路线,而且在起降过程中能实时、精准地识别障碍物进行避障,智能高效。
附图说明
图1是本发明一个实施例提供的用于无人机起降的智能避障***的示意框图;
图2是本发明一个实施例提供的用于无人机起降的智能避障方法流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
下面参照图1至图2来描述根据本发明一些实施方式提供的一种用于无人机起降的智能避障***及方法。
如图1所示,本发明一个实施例提供一种用于无人机起降的智能避障***,应用于对水上设施进行巡检的过程中,包括:无人船、无人机、云服务器、用于建立物联网通信连接并接收和发送数据的物联网通信网关和物联网服务器;
所述物联网服务器被配置为:
建立所述无人船的第一三维立体模型和所述无人机的第二三维立体模型;
从所述第一三维立体模型中确定所述无人机的起降区,并根据所述第一三维立体模型和所述第二三维立体模型构建出所述无人机在所述无人船的起飞路线集合和降落路线集合;
接收所述云服务器发送的任务指令,并根据所述任务指令选定对应的所述无人船和所述无人机,并将所述任务指令发送至所述无人机和所述无人船;
所述无人船被配置为:
根据所述任务指令将所述无人机运输至对应的任务起点;
获取所述任务起点的第一环境数据,并将所述第一环境数据发送至所述物联网服务器;
所述物联网服务器被配置为:根据所述第一环境数据、所述任务指令指向的任务对象的第三三维立体模型和所述任务起点的位置信息,从所述起飞路线集合中确定所述无人机的第一起飞路线;
所述无人机被配置为:
采集第二环境数据,并从所述第二环境数据中识别出第一障碍物;
获取所述第一障碍物的第一属性信息,并根据所述第一属性信息修改所述第一起飞路线以避开所述第一障碍物;
当执行完任务返航至与所述无人船的准降范围内时,获取所述无人船的第一状态数据和第三环境数据;
根据所述第一状态数据和所述第三环境数据从所述降落路线集合中确定对应的第一降落路线进行降落;
在降落过程中,获取第四环境数据,并从所述第四环境数据中识别出第二障碍物;
获取所述第二障碍物的第二属性信息,并根据所述第二属性信息修改所述第一降落路线以避开所述第二障碍物。
可以理解的是,在本实施例中,物联网服务器可以根据无人船、无人机各自的图像数据、三维点云数据、设计图纸、产品说明等分别建立无人船的第一三维立体模型和所述无人机的第二三维立体模型;从所述第一三维立体模型中确定所述无人机在所述无人船上的起降区(可以通过事先设置的标识确定起降区,也可以对所述第一三维立体模型进行结构分析确定出适合无人机起降的起降区),并根据所述第一三维立体模型和所述第二三维立体模型构建出所述无人机在所述无人船的起飞路线集合和降落路线集合(比如可以通过所述第二三维立体模型得到无人机的体积大小和姿态数据,再结合坐标***,在所述第一三维立体模型的基础上规划出所述无人船上空的安全的、包括多条起飞路线的起飞路线集合和包括多条降落路线的降落路线集合;进一步地,可以从所述第一三维立体模型中识别出对无人机的信号或电子元件有干扰的干扰部件,在规划起飞路线或降落路线时避开干扰部件或者远离干扰部件的干扰区);接收云服务器发送的任务指令(包括但不限于任务对象及其所在位置、任务内容等),并根据所述任务指令选定对应的适合执行此次任务的所述无人船和所述无人机,并将所述任务指令发送至所述无人机和所述无人船。所述无人船根据所述任务指令将所述无人机运输至对应的任务起点,并获取所述任务起点的第一环境数据(包括但不限于环境图片数据、温度数据、风力数据、风向数据、空气数据等),并将所述第一环境数据发送至所述物联网服务器;所述物联网服务器根据所述第一环境数据、所述任务指令指向的任务对象的第三三维立体模型和所述任务起点的位置信息,从所述起飞路线集合中确定所述无人机的第一起飞路线,比如根据周围环境中存在的物体、风力数据、风向数据、任务对象的第三三维立体模型和所述任务起点的位置信息可以规划出一条初始起飞路线,再将初始起飞路线与所述起飞路线集合中的各个起飞路线进行比较,将差异值在第一预设范围内的起飞路线确定所述无人机的第一起飞路线;或者可以从周围环境中存在的物体、风力数据、风向数据、任务对象的第三三维立体模型和所述任务起点的位置信息等数据中提取预设的特征点,将这些特征点与与所述起飞路线集合中的各个起飞路线的对应特征点进行比较,将差异值在第二预设范围内的起飞路线确定所述无人机的第一起飞路线。所述无人机在起飞过程中采集第二环境数据,并通过预先训练的障碍物识别模型从所述第二环境数据中识别出第一障碍物;获取所述第一障碍物的第一属性信息(包括但不限于障碍物的类型、体积、硬度、空间位置、运动轨迹等),并根据所述第一属性信息修改所述第一起飞路线以避开所述第一障碍物;所述无人机执行完任务返航至与所述无人船的准降范围内时,获取所述无人船的第一状态数据(包括但不限于空间方位、吃水深度、运动状态、续航能力等)和第三环境数据(包括但不限于环境图片数据、温度数据、风力数据、风向数据、空气数据等);根据所述第一状态数据和所述第三环境数据从所述降落路线集合中确定对应的第一降落路线进行降落;在降落过程中,所述无人机获取第四环境数据(包括但不限于环境图片数据、温度数据、风力数据、风向数据、空气数据等),并从所述第四环境数据中识别出第二障碍物;获取所述第二障碍物的第二属性信息(包括但不限于障碍物的类型、体积、硬度、空间位置、运动轨迹等),并根据所述第二属性信息修改所述第一降落路线以避开所述第二障碍物。
通过本发明方案,无人机在起降时不仅可以快速地从预先生成的路线集中选择适合当前环境的路线,而且在起降过程中能实时、精准地识别障碍物进行避障,智能高效。
应当知道的是,图1所示的用于无人机起降的智能避障***的框图仅作示意,其所示出的各模块的数量并不对本发明的保护范围进行限定。
在本发明一些可能的实施方式中,所述物联网服务器还被配置为:
根据所述第一环境数据、所述无人船与所述任务对象间的第一空间位置关系,确定所述无人机能否有效避开所述无人船或所述任务对象上存在的障碍物;
若否,则调整所述无人船与所述任务对象间的所述第一空间位置关系至第二空间位置关系。
可以理解的是,为了能保证无人机起飞时的安全、节能以及能避开无人船或任务对象的干扰,所述物联网服务器通过无人船和/或无人机获取的所述任务对象的图像数据、各终端的定位数据以及所述任务对象的第三三维立体模型,结合坐标***,可以确定所述无人船与所述任务对象间的第一空间位置关系;再根据所述第一环境数据、所述第一空间位置关系(进一步可以结合所述第一三维立体模型、所述第二三维立体模型、所述第三三维立体模型以得到更精确的判断结果)确定所述无人机能否有效避开所述无人船或所述任务对象上存在的障碍物;若否,则调整所述无人船与所述任务对象间的所述第一空间位置关系至第二空间位置关系以保证所述无人机能有效避开所述无人船或所述任务对象上存在的障碍物。
在本发明一些可能的实施方式中,所述物联网服务器还被配置为:
在所述无人机执行完任务时,获取所述无人船的第一当前位置和第五环境数据;
根据所述第一当前位置、所述第五环境数据和所述无人机的第一当前状态数据,判断所述第一当前位置是否为所述无人机的最优降落位置;
若否,则计算出实际最优降落位置,并将所述实际最优降落位置发送至所述无人船和所述无人机;
发出指令控制所述无人船和所述无人机分别向所述实际最优降落位置行驶。
可以理解的是,实际工作过程中,无人机可能出现能量不足、发生故障等情况,无人船也可能执行其他任务而位置发生变化,环境条件也可能发生变化,从而导致需要重新确定无人机最优降落位置,为了准确确定无人机的实际最优降落位置以保证无人机的安全,在本实施例中,在所述无人机执行完任务时,获取所述无人船的第一当前位置和第五环境数据(包括但不限于环境图片数据、温度数据、风力数据、风向数据、空气数据等);根据所述第一当前位置、所述第五环境数据和所述无人机的第一当前状态数据(包括但不限于空间方位、续航能力、运动状态、是否有故障、故障部件等),判断所述第一当前位置是否为所述无人机的最优降落位置;若否,则由所述物联网服务器根据无人机/无人船的当前位置、第五环境数据、所述无人机的第一当前状态数据、所述无人船的当前状态数据(包括但不限于空间方位、吃水深度、运动状态、续航能力等)计算出实际最优降落位置,并将所述实际最优降落位置发送至所述无人船和所述无人机;所述无人船和所述无人机分别向所述实际最优降落位置行驶。
在本发明一些可能的实施方式中,所述根据所述第一状态数据和所述第三环境数据从所述降落路线集合中确定对应的第一降落路线进行降落的步骤中,所述无人机被配置为:
根据所述第一状态数据和所述第三环境数据判断所述降落路线集合中是否存在匹配的降落路线;
若存在,则将匹配的降落路线作为所述第一降落路线;
若不存在,则根据所述第三环境数据和所述第一状态数据将所述无人船调整为第二状态;
重复前述步骤,直至确定出匹配的所述第一降落路线。
可以理解的是,为了选择出最优的降落路线,在本实施例中,根据所述第一状态数据(包括但不限于空间方位、吃水深度、运动状态、续航能力等)和第三环境数据(包括但不限于环境图片数据、温度数据、风力数据、风向数据、空气数据等)判断所述降落路线集合中是否存在匹配的降落路线,若存在,则将匹配的降落路线作为所述第一降落路线;比如根据周围环境中存在的物体、风力数据、风向数据、无人船的第一三维立体模型、无人船上空的准降区的位置信息可以规划出多条初始降落路线,再将多条初始降落路线分别与所述降落路线集合中的各个降落路线进行比较,将差异值在第三预设范围内的降落路线确定所述无人机的第一降落路线;或者可以从周围环境中存在的物体、风力数据、风向数据、无人船的第一三维立体模型、无人船上空的准降区的位置信息等数据中提取预设的特征点,将这些特征点与与所述降落路线集合中的各个降落路线的对应特征点进行比较,将差异值在第四预设范围内的降落路线确定所述无人机的第一降落路线;若不存在,则根据所述第三环境数据和所述第一状态数据将所述无人船调整为第二状态(比如改变方向、位置、倾斜度等);调整为第二状态后,重复前述的匹配判断步骤,若在第二状态下仍不存在匹配的降落路线,则继续调整无人船的状态,直至确定出匹配的所述第一降落路线。
在本发明一些可能的实施方式中,所述在降落过程中,获取第四环境数据,并从所述第四环境数据中识别出第二障碍物的步骤中,所述无人机被配置为:
在降落过程中,所述无人机实时检测周围环境获取所述第四环境数据;
基于迁移学习技术,根据所述第一三维立体模型和第三三维立体模型,对从所述云服务器获取的第一障碍物预测模型进行修改,得到第二障碍物预测模型;
根据获取第一障碍物识别模型和所述第二障碍物预测模型从所述第四环境数据识别出所述第二障碍物。
可以理解的是,为了精确识别障碍物,在本实施例中,在降落过程中,所述无人机实时检测周围环境获取所述第四环境数据(包括但不限于环境图片数据、温度数据、风力数据、风向数据、空气数据等);基于迁移学习技术,根据无人船的所述第一三维立体模型和所述任务对象的所述第三三维立体模型,对从所述云服务器获取的第一障碍物预测模型(第一障碍物预测模型通过采集大量环境数据、物体三维数据、可能出现的障碍物数据等对神经网络进行训练而得)进行修改(即根据无人船和任务对象的三维立体数据修改障碍物的类型、可能出现的位置等信息),得到第二障碍物预测模型;根据获取第一障碍物识别模型和所述第二障碍物预测模型从所述第四环境数据识别出所述第二障碍物。
在本发明一些可能的实施方式中,所述物联网服务器根据所述第一环境数据、所述任务指令指向的任务对象的第三三维立体模型和所述任务起点的位置信息,从所述起飞路线集合中确定所述无人机的第一起飞路线的步骤,具体包括:
通过所述物联网服务器建立水上设施(任务对象)的第三三维立体模型,从所述第三三维立体模型中识别出镂空区域,并对所述镂空区域中未被水上设施的实体部件封闭的部分进行封闭。应当说明的是,在识别出镂空区域后,对所述镂空区域中未被水上设施的实体部件封闭的部分进行封闭时,可以结合起飞路线集合和/或降落路线集合以及所述无人机的第二三维立体模型确定无人机在起飞或降落过程中可能经过的区域,以对封闭的位置或方式进行确定,例如对于某些类似U型结构的区域,可以从无人机第二三维立体模型中取出两点间的最大长度(以便能确定出无人机的通行区域)作为两侧边在前述的U型结构上扩展一个对应的倒U型结构,以对其进行封闭。在所述第三三维立体模型上对所述镂空区域对应的空白区域进行填充处理,并对所述空白区域的坐标点进行遍历识别出所述空白区域中相互隔离的各个连通区域,将所述连通区域作为空白子区域进行区分标记得到水上设施基本三维模型;对填充后的所述空白子区域的所有坐标进行标记。
可以理解的是,为了精确确定巡检点和确定无人机的可通过区域,本实施例中,从所述第三三维立体模型中识别出镂空区域,在所述第三三维立体模型上对每个所述镂空区域对应的每个空白区域进行填充处理并对所述空白区域的坐标点进行遍历识别出所述空白区域中相互隔离的各个连通区域,将所述连通区域作为空白子区域进行区分标记,对填充后的所述空白子区域的所有坐标进行标记,将水上设施主体与周围的镂空区域精准区分开来。
进一步地,对于每个所述空白子区域,从其区域内的所有坐标中确定出边缘坐标;获取所述无人机的所述第二三维立体模型的多个截面图形;根据所述边缘坐标与所述截面图形确定所述空白子区域中不能通过的第一类区域。可以理解的是,对于每个所述空白子区域,从其区域内的所有坐标中确定出边缘坐标,可以快速地确定每个子区域的形状并计算出其面积大小、不相邻坐标点间的间距等;结合无人机工作时的飞行姿势,获取所述无人机的所述第二三维立体模型的多个工作状态的截面图形;根据所述边缘坐标与所述截面图形确定所述空白子区域中能通过的区域和不能通过的第一区域,通过本方案,可以快速地确定待巡检桥梁上哪些区别是不能通行的区域。
最后,所述物联网服务器根据所述第一环境数据、所述第一类区域和所述任务起点的位置信息,精确地从所述起飞路线集合中确定所述无人机的第一起飞路线。
请参见图2,本发明的另一方面提供一种用于无人机起降的智能避障方法,应用于对水上设施进行巡检的无人机,包括:
物联网服务器建立无人船的第一三维立体模型和所述无人机的第二三维立体模型;
所述物联网服务器从所述第一三维立体模型中确定所述无人机的起降区,并根据所述第一三维立体模型和所述第二三维立体模型构建出所述无人机在所述无人船的起飞路线集合和降落路线集合;
所述物联网服务器接收云服务器发送的任务指令,并根据所述任务指令选定对应的所述无人船和所述无人机,并将所述任务指令发送至所述无人机和所述无人船;
所述无人船根据所述任务指令将所述无人机运输至对应的任务起点;
所述无人船获取所述任务起点的第一环境数据,并将所述第一环境数据发送至所述物联网服务器;
所述物联网服务器根据所述第一环境数据、所述任务指令指向的任务对象的第三三维立体模型和所述任务起点的位置信息,从所述起飞路线集合中确定所述无人机的第一起飞路线;
所述无人机采集第二环境数据,并从所述第二环境数据中识别出第一障碍物;
获取所述第一障碍物的第一属性信息,并根据所述第一属性信息修改所述第一起飞路线以避开所述第一障碍物;
所述无人机执行完任务返航至与所述无人船的准降范围内时,获取所述无人船的第一状态数据和第三环境数据;
根据所述第一状态数据和所述第三环境数据从所述降落路线集合中确定对应的第一降落路线进行降落;
在降落过程中,所述无人机获取第四环境数据,并从所述第四环境数据中识别出第二障碍物;
获取所述第二障碍物的第二属性信息,并根据所述第二属性信息修改所述第一降落路线以避开所述第二障碍物。
可以理解的是,在本实施例中,物联网服务器可以根据无人船、无人机各自的图像数据、三维点云数据、设计图纸、产品说明等分别建立无人船的第一三维立体模型和所述无人机的第二三维立体模型;从所述第一三维立体模型中确定所述无人机在所述无人船上的起降区(可以通过事先设置的标识确定起降区,也可以对所述第一三维立体模型进行结构分析确定出适合无人机起降的起降区),并根据所述第一三维立体模型和所述第二三维立体模型构建出所述无人机在所述无人船的起飞路线集合和降落路线集合(比如可以通过所述第二三维立体模型得到无人机的体积大小和姿态数据,再结合坐标***,在所述第一三维立体模型的基础上规划出所述无人船上空的安全的、包括多条起飞路线的起飞路线集合和包括多条降落路线的降落路线集合;进一步地,可以从所述第一三维立体模型中识别出对无人机的信号或电子元件有干扰的干扰部件,在规划起飞路线或降落路线时避开干扰部件或者远离干扰部件的干扰区);接收云服务器发送的任务指令(包括但不限于任务对象及其所在位置、任务内容等),并根据所述任务指令选定对应的适合执行此次任务的所述无人船和所述无人机,并将所述任务指令发送至所述无人机和所述无人船。所述无人船根据所述任务指令将所述无人机运输至对应的任务起点,并获取所述任务起点的第一环境数据(包括但不限于环境图片数据、温度数据、风力数据、风向数据、空气数据等),并将所述第一环境数据发送至所述物联网服务器;所述物联网服务器根据所述第一环境数据、所述任务指令指向的任务对象的第三三维立体模型和所述任务起点的位置信息,从所述起飞路线集合中确定所述无人机的第一起飞路线,比如根据周围环境中存在的物体、风力数据、风向数据、任务对象的第三三维立体模型和所述任务起点的位置信息可以规划出一条初始起飞路线,再将初始起飞路线与所述起飞路线集合中的各个起飞路线进行比较,将差异值在第一预设范围内的起飞路线确定所述无人机的第一起飞路线;或者可以从周围环境中存在的物体、风力数据、风向数据、任务对象的第三三维立体模型和所述任务起点的位置信息等数据中提取预设的特征点,将这些特征点与与所述起飞路线集合中的各个起飞路线的对应特征点进行比较,将差异值在第二预设范围内的起飞路线确定所述无人机的第一起飞路线。所述无人机在起飞过程中采集第二环境数据,并通过预先训练的障碍物识别模型从所述第二环境数据中识别出第一障碍物;获取所述第一障碍物的第一属性信息(包括但不限于障碍物的类型、体积、硬度、空间位置、运动轨迹等),并根据所述第一属性信息修改所述第一起飞路线以避开所述第一障碍物;所述无人机执行完任务返航至与所述无人船的准降范围内时,获取所述无人船的第一状态数据(包括但不限于空间方位、吃水深度、运动状态、续航能力等)和第三环境数据(包括但不限于环境图片数据、温度数据、风力数据、风向数据、空气数据等);根据所述第一状态数据和所述第三环境数据从所述降落路线集合中确定对应的第一降落路线进行降落;在降落过程中,所述无人机获取第四环境数据(包括但不限于环境图片数据、温度数据、风力数据、风向数据、空气数据等),并从所述第四环境数据中识别出第二障碍物;获取所述第二障碍物的第二属性信息(包括但不限于障碍物的类型、体积、硬度、空间位置、运动轨迹等),并根据所述第二属性信息修改所述第一降落路线以避开所述第二障碍物。
通过本发明方案,无人机在起降时不仅可以快速地从预先生成的路线集中选择适合当前环境的路线,而且在起降过程中能实时、精准地识别障碍物进行避障,智能高效。
在本发明一些可能的实施方式中,在所述无人船获取所述任务起点的第一环境数据,并将所述第一环境数据发送至所述物联网服务器步骤之后、所述物联网服务器根据所述第一环境数据、所述任务指令指向的任务对象的第三三维立体模型和所述任务起点的位置信息,从所述起飞路线集合中确定所述无人机的第一起飞路线的步骤之前,包括:
所述物联网服务器根据所述第一环境数据、所述无人船与所述任务对象间的第一空间位置关系,确定所述无人机能否有效避开所述无人船或所述任务对象上存在的障碍物;
若否,则调整所述无人船与所述任务对象间的所述第一空间位置关系至第二空间位置关系。
可以理解的是,为了能保证无人机起飞时的安全、节能以及能避开无人船或任务对象的干扰,所述物联网服务器通过无人船和/或无人机获取的所述任务对象的图像数据、各终端的定位数据以及所述任务对象的第三三维立体模型,结合坐标***,可以确定所述无人船与所述任务对象间的第一空间位置关系;再根据所述第一环境数据、所述第一空间位置关系(进一步可以结合所述第一三维立体模型、所述第二三维立体模型、所述第三三维立体模型以得到更精确的判断结果)确定所述无人机能否有效避开所述无人船或所述任务对象上存在的障碍物;若否,则调整所述无人船与所述任务对象间的所述第一空间位置关系至第二空间位置关系以保证所述无人机能有效避开所述无人船或所述任务对象上存在的障碍物。
在本发明一些可能的实施方式中,还包括:
在所述无人机执行完任务时,获取所述无人船的第一当前位置和第五环境数据;
根据所述第一当前位置、所述第五环境数据和所述无人机的第一当前状态数据,判断所述第一当前位置是否为所述无人机的最优降落位置;
若否,则由所述物联网服务器计算出实际最优降落位置,并将所述实际最优降落位置发送至所述无人船和所述无人机;
所述无人船和所述无人机分别向所述实际最优降落位置行驶。
可以理解的是,实际工作过程中,无人机可能出现能量不足、发生故障等情况,无人船也可能执行其他任务而位置发生变化,环境条件也可能发生变化,从而导致需要重新确定无人机最优降落位置,为了准确确定无人机的实际最优降落位置以保证无人机的安全,在本实施例中,在所述无人机执行完任务时,获取所述无人船的第一当前位置和第五环境数据(包括但不限于环境图片数据、温度数据、风力数据、风向数据、空气数据等);根据所述第一当前位置、所述第五环境数据和所述无人机的第一当前状态数据(包括但不限于空间方位、续航能力、运动状态、是否有故障、故障部件等),判断所述第一当前位置是否为所述无人机的最优降落位置;若否,则由所述物联网服务器根据无人机/无人船的当前位置、第五环境数据、所述无人机的第一当前状态数据、所述无人船的当前状态数据(包括但不限于空间方位、吃水深度、运动状态、续航能力等)计算出实际最优降落位置,并将所述实际最优降落位置发送至所述无人船和所述无人机;所述无人船和所述无人机分别向所述实际最优降落位置行驶。
在本发明一些可能的实施方式中,所述根据所述第一状态数据和所述第三环境数据从所述降落路线集合中确定对应的第一降落路线进行降落的步骤,包括:
根据所述第一状态数据和所述第三环境数据判断所述降落路线集合中是否存在匹配的降落路线;
若存在,则将匹配的降落路线作为所述第一降落路线;
若不存在,则根据所述第三环境数据和所述第一状态数据将所述无人船调整为第二状态;
重复前述步骤,直至确定出匹配的所述第一降落路线。
可以理解的是,为了选择出最优的降落路线,在本实施例中,根据所述第一状态数据(包括但不限于空间方位、吃水深度、运动状态、续航能力等)和第三环境数据(包括但不限于环境图片数据、温度数据、风力数据、风向数据、空气数据等)判断所述降落路线集合中是否存在匹配的降落路线,若存在,则将匹配的降落路线作为所述第一降落路线;比如根据周围环境中存在的物体、风力数据、风向数据、无人船的第一三维立体模型、无人船上空的准降区的位置信息可以规划出多条初始降落路线,再将多条初始降落路线分别与所述降落路线集合中的各个降落路线进行比较,将差异值在第三预设范围内的降落路线确定所述无人机的第一降落路线;或者可以从周围环境中存在的物体、风力数据、风向数据、无人船的第一三维立体模型、无人船上空的准降区的位置信息等数据中提取预设的特征点,将这些特征点与与所述降落路线集合中的各个降落路线的对应特征点进行比较,将差异值在第四预设范围内的降落路线确定所述无人机的第一降落路线;若不存在,则根据所述第三环境数据和所述第一状态数据将所述无人船调整为第二状态(比如改变方向、位置、倾斜度等);调整为第二状态后,重复前述的匹配判断步骤,若在第二状态下仍不存在匹配的降落路线,则继续调整无人船的状态,直至确定出匹配的所述第一降落路线。
在本发明一些可能的实施方式中,所述在降落过程中,所述无人机获取第四环境数据,并从所述第四环境数据中识别出第二障碍物的步骤,包括:
在降落过程中,所述无人机实时检测周围环境获取所述第四环境数据;
基于迁移学习技术,根据所述第一三维立体模型和所述第三三维立体模型,对从所述云服务器获取的第一障碍物预测模型进行修改,得到第二障碍物预测模型;
根据获取第一障碍物识别模型和所述第二障碍物预测模型从所述第四环境数据识别出所述第二障碍物。
可以理解的是,为了精确识别障碍物,在本实施例中,在降落过程中,所述无人机实时检测周围环境获取所述第四环境数据(包括但不限于环境图片数据、温度数据、风力数据、风向数据、空气数据等);基于迁移学习技术,根据无人船的所述第一三维立体模型和所述任务对象的所述第三三维立体模型,对从所述云服务器获取的第一障碍物预测模型(第一障碍物预测模型通过采集大量环境数据、物体三维数据、可能出现的障碍物数据等对神经网络进行训练而得)进行修改(即根据无人船和任务对象的三维立体数据修改障碍物的类型、可能出现的位置等信息),得到第二障碍物预测模型;根据获取第一障碍物识别模型和所述第二障碍物预测模型从所述第四环境数据识别出所述第二障碍物。
在本发明一些可能的实施方式中,所述物联网服务器根据所述第一环境数据、所述任务指令指向的任务对象的第三三维立体模型和所述任务起点的位置信息,从所述起飞路线集合中确定所述无人机的第一起飞路线的步骤,具体包括:
通过所述物联网服务器建立水上设施(任务对象)的第三三维立体模型,从所述第三三维立体模型中识别出镂空区域,并对所述镂空区域中未被水上设施的实体部件封闭的部分进行封闭。应当说明的是,在识别出镂空区域后,对所述镂空区域中未被水上设施的实体部件封闭的部分进行封闭时,可以结合起飞路线集合和/或降落路线集合以及所述无人机的第二三维立体模型确定无人机在起飞或降落过程中可能经过的区域,以对封闭的位置或方式进行确定,例如对于某些类似U型结构的区域,可以从无人机第二三维立体模型中取出两点间的最大长度(以便能确定出无人机的通行区域)作为两侧边在前述的U型结构上扩展一个对应的倒U型结构,以对其进行封闭。在所述第三三维立体模型上对所述镂空区域对应的空白区域进行填充处理,并对所述空白区域的坐标点进行遍历识别出所述空白区域中相互隔离的各个连通区域,将所述连通区域作为空白子区域进行区分标记得到水上设施基本三维模型;对填充后的所述空白子区域的所有坐标进行标记。
可以理解的是,为了精确确定巡检点和确定无人机的可通过区域,本实施例中,从所述第三三维立体模型中识别出镂空区域,在所述第三三维立体模型上对每个所述镂空区域对应的每个空白区域进行填充处理并对所述空白区域的坐标点进行遍历识别出所述空白区域中相互隔离的各个连通区域,将所述连通区域作为空白子区域进行区分标记,对填充后的所述空白子区域的所有坐标进行标记,将水上设施主体与周围的镂空区域精准区分开来。
进一步地,对于每个所述空白子区域,从其区域内的所有坐标中确定出边缘坐标;获取所述无人机的所述第二三维立体模型的多个截面图形;根据所述边缘坐标与所述截面图形确定所述空白子区域中不能通过的第一类区域。可以理解的是,对于每个所述空白子区域,从其区域内的所有坐标中确定出边缘坐标,可以快速地确定每个子区域的形状并计算出其面积大小、不相邻坐标点间的间距等;结合无人机工作时的飞行姿势,获取所述无人机的所述第二三维立体模型的多个工作状态的截面图形;根据所述边缘坐标与所述截面图形确定所述空白子区域中能通过的区域和不能通过的第一区域,通过本方案,可以快速地确定待巡检桥梁上哪些区别是不能通行的区域。
最后,所述物联网服务器根据所述第一环境数据、所述第一类区域和所述任务起点的位置信息,精确地从所述起飞路线集合中确定所述无人机的第一起飞路线。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,可轻易想到变化或替换,均可作各种更动与修改,包含上述不同功能、实施步骤的组合,包含软件和硬件的实施方式,均在本发明的保护范围。
Claims (8)
1.一种用于无人机起降的智能避障***,其特征在于,应用于对水上设施进行巡检的过程中,包括:无人船、无人机、云服务器、用于建立物联网通信连接并接收和发送数据的物联网通信网关和物联网服务器;
所述物联网服务器被配置为:
建立所述无人船的第一三维立体模型和所述无人机的第二三维立体模型;
从所述第一三维立体模型中确定所述无人机的起降区,并根据所述第一三维立体模型和所述第二三维立体模型构建出所述无人机在所述无人船的起飞路线集合和降落路线集合;
接收所述云服务器发送的任务指令,并根据所述任务指令选定对应的所述无人船和所述无人机,并将所述任务指令发送至所述无人机和所述无人船;
所述无人船被配置为:
根据所述任务指令将所述无人机运输至对应的任务起点;
获取所述任务起点的第一环境数据,并将所述第一环境数据发送至所述物联网服务器;
所述物联网服务器被配置为:根据所述第一环境数据、所述任务指令指向的任务对象的第三三维立体模型和所述任务起点的位置信息,从所述起飞路线集合中确定所述无人机的第一起飞路线;
所述无人机被配置为:
采集第二环境数据,并从所述第二环境数据中识别出第一障碍物;
获取所述第一障碍物的第一属性信息,并根据所述第一属性信息修改所述第一起飞路线以避开所述第一障碍物;
当执行完任务返航至与所述无人船的准降范围内时,获取所述无人船的第一状态数据和第三环境数据;
根据所述第一状态数据和所述第三环境数据从所述降落路线集合中确定对应的第一降落路线进行降落;
在降落过程中,获取第四环境数据,并从所述第四环境数据中识别出第二障碍物;
获取所述第二障碍物的第二属性信息,并根据所述第二属性信息修改所述第一降落路线以避开所述第二障碍物;
所述物联网服务器还被配置为:
根据所述第一环境数据、所述无人船与所述任务对象间的第一空间位置关系,确定所述无人机能否有效避开所述无人船或所述任务对象上存在的障碍物;
若否,则调整所述无人船与所述任务对象间的所述第一空间位置关系至第二空间位置关系。
2.根据权利要求1所述的用于无人机起降的智能避障***,其特征在于,所述物联网服务器还被配置为:
在所述无人机执行完任务时,获取所述无人船的第一当前位置和第五环境数据;
根据所述第一当前位置、所述第五环境数据和所述无人机的第一当前状态数据,判断所述第一当前位置是否为所述无人机的最优降落位置;
若否,则计算出实际最优降落位置,并将所述实际最优降落位置发送至所述无人船和所述无人机;
发出指令控制所述无人船和所述无人机分别向所述实际最优降落位置行驶。
3.根据权利要求2所述的用于无人机起降的智能避障***,其特征在于,所述根据所述第一状态数据和所述第三环境数据从所述降落路线集合中确定对应的第一降落路线进行降落的步骤中,所述无人机被配置为:
根据所述第一状态数据和所述第三环境数据判断所述降落路线集合中是否存在匹配的降落路线;
若存在,则将匹配的降落路线作为所述第一降落路线;
若不存在,则根据所述第三环境数据和所述第一状态数据将所述无人船调整为第二状态;
重复前述步骤,直至确定出匹配的所述第一降落路线。
4.根据权利要求3所述的用于无人机起降的智能避障***,其特征在于,所述在降落过程中,获取第四环境数据,并从所述第四环境数据中识别出第二障碍物的步骤中,所述无人机被配置为:
在降落过程中,所述无人机实时检测周围环境获取所述第四环境数据;
基于迁移学习技术,根据所述第一三维立体模型和第三三维立体模型,对从所述云服务器获取的第一障碍物预测模型进行修改,得到第二障碍物预测模型;
根据获取第一障碍物识别模型和所述第二障碍物预测模型从所述第四环境数据识别出所述第二障碍物。
5.一种用于无人机起降的智能避障方法,其特征在于,应用于对水上设施进行巡检的无人机,包括:
物联网服务器建立无人船的第一三维立体模型和所述无人机的第二三维立体模型;
所述物联网服务器从所述第一三维立体模型中确定所述无人机的起降区,并根据所述第一三维立体模型和所述第二三维立体模型构建出所述无人机在所述无人船的起飞路线集合和降落路线集合;
所述物联网服务器接收云服务器发送的任务指令,并根据所述任务指令选定对应的所述无人船和所述无人机,并将所述任务指令发送至所述无人机和所述无人船;
所述无人船根据所述任务指令将所述无人机运输至对应的任务起点;
所述无人船获取所述任务起点的第一环境数据,并将所述第一环境数据发送至所述物联网服务器;
所述物联网服务器根据所述第一环境数据、所述任务指令指向的任务对象的第三三维立体模型和所述任务起点的位置信息,从所述起飞路线集合中确定所述无人机的第一起飞路线;
所述无人机采集第二环境数据,并从所述第二环境数据中识别出第一障碍物;
获取所述第一障碍物的第一属性信息,并根据所述第一属性信息修改所述第一起飞路线以避开所述第一障碍物;
所述无人机执行完任务返航至与所述无人船的准降范围内时,获取所述无人船的第一状态数据和第三环境数据;
根据所述第一状态数据和所述第三环境数据从所述降落路线集合中确定对应的第一降落路线进行降落;
在降落过程中,所述无人机获取第四环境数据,并从所述第四环境数据中识别出第二障碍物;
获取所述第二障碍物的第二属性信息,并根据所述第二属性信息修改所述第一降落路线以避开所述第二障碍物;
在所述无人船获取所述任务起点的第一环境数据,并将所述第一环境数据发送至所述物联网服务器步骤之后、所述物联网服务器根据所述第一环境数据、所述任务指令指向的任务对象的第三三维立体模型和所述任务起点的位置信息,从所述起飞路线集合中确定所述无人机的第一起飞路线的步骤之前,包括:
所述物联网服务器根据所述第一环境数据、所述无人船与所述任务对象间的第一空间位置关系,确定所述无人机能否有效避开所述无人船或所述任务对象上存在的障碍物;
若否,则调整所述无人船与所述任务对象间的所述第一空间位置关系至第二空间位置关系。
6.根据权利要求5所述的用于无人机起降的智能避障方法,其特征在于,还包括:
在所述无人机执行完任务时,获取所述无人船的第一当前位置和第五环境数据;
根据所述第一当前位置、所述第五环境数据和所述无人机的第一当前状态数据,判断所述第一当前位置是否为所述无人机的最优降落位置;
若否,则由所述物联网服务器计算出实际最优降落位置,并将所述实际最优降落位置发送至所述无人船和所述无人机;
所述无人船和所述无人机分别向所述实际最优降落位置行驶。
7.根据权利要求6所述的用于无人机起降的智能避障方法,其特征在于,所述根据所述第一状态数据和所述第三环境数据从所述降落路线集合中确定对应的第一降落路线进行降落的步骤,包括:
根据所述第一状态数据和所述第三环境数据判断所述降落路线集合中是否存在匹配的降落路线;
若存在,则将匹配的降落路线作为所述第一降落路线;
若不存在,则根据所述第三环境数据和所述第一状态数据将所述无人船调整为第二状态;
重复前述步骤,直至确定出匹配的所述第一降落路线。
8.根据权利要求7所述的用于无人机起降的智能避障方法,其特征在于,所述在降落过程中,所述无人机获取第四环境数据,并从所述第四环境数据中识别出第二障碍物的步骤,包括:
在降落过程中,所述无人机实时检测周围环境获取所述第四环境数据;
基于迁移学习技术,根据所述第一三维立体模型和第三三维立体模型,对从所述云服务器获取的第一障碍物预测模型进行修改,得到第二障碍物预测模型;
根据获取第一障碍物识别模型和所述第二障碍物预测模型从所述第四环境数据识别出所述第二障碍物。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310459971.1A CN116466733B (zh) | 2023-04-25 | 2023-04-25 | 一种用于无人机起降的智能避障***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310459971.1A CN116466733B (zh) | 2023-04-25 | 2023-04-25 | 一种用于无人机起降的智能避障***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116466733A CN116466733A (zh) | 2023-07-21 |
CN116466733B true CN116466733B (zh) | 2023-10-31 |
Family
ID=87182288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310459971.1A Active CN116466733B (zh) | 2023-04-25 | 2023-04-25 | 一种用于无人机起降的智能避障***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116466733B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3052748A1 (fr) * | 2016-06-17 | 2017-12-22 | Remotely - Piloted Aircraft Systems Professional Man | Ensemble de decollage et atterrissage de drone |
EP3348477A1 (de) * | 2017-01-13 | 2018-07-18 | MAN Truck & Bus AG | Kraftfahrzeug mit einer start- und landevorrichtung für ein unbemanntes fluggerät |
CN108466703A (zh) * | 2018-03-23 | 2018-08-31 | 青岛中邦防务智能装备有限公司 | 一种无人船载无人机起飞***及无人机组起飞方法 |
DE202018004661U1 (de) * | 2018-10-08 | 2018-12-06 | Nickel Holding Gmbh | Landeplattform für Transportdrohnen |
KR20190008046A (ko) * | 2017-07-14 | 2019-01-23 | 한국해양과학기술원 | 선박용 비행체의 거친 환경 운용을 위한 전자석기반 이착륙 장치 |
CN109508038A (zh) * | 2018-12-29 | 2019-03-22 | 深圳市多翼创新科技有限公司 | 一种多机多甲板协调方法 |
CN109774960A (zh) * | 2019-02-27 | 2019-05-21 | 集美大学 | 无人船无人机协作***及控制方法 |
KR102216518B1 (ko) * | 2020-02-21 | 2021-02-17 | (주)플라잉스타 | 선박에서 드론의 안전 착륙을 유도하는 착륙보조장치 |
CN112987765A (zh) * | 2021-03-05 | 2021-06-18 | 北京航空航天大学 | 一种仿猛禽注意力分配的无人机/艇精准自主起降方法 |
WO2021196529A1 (zh) * | 2020-04-02 | 2021-10-07 | 同济人工智能研究院(苏州)有限公司 | 空地协同式智能巡检机器人及巡检方法 |
CN113820970A (zh) * | 2021-08-03 | 2021-12-21 | 南京工程学院 | 一种复杂海域自主无人机/无人艇协同控制***、控制方法及计算机可读介质 |
-
2023
- 2023-04-25 CN CN202310459971.1A patent/CN116466733B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3052748A1 (fr) * | 2016-06-17 | 2017-12-22 | Remotely - Piloted Aircraft Systems Professional Man | Ensemble de decollage et atterrissage de drone |
EP3348477A1 (de) * | 2017-01-13 | 2018-07-18 | MAN Truck & Bus AG | Kraftfahrzeug mit einer start- und landevorrichtung für ein unbemanntes fluggerät |
KR20190008046A (ko) * | 2017-07-14 | 2019-01-23 | 한국해양과학기술원 | 선박용 비행체의 거친 환경 운용을 위한 전자석기반 이착륙 장치 |
CN108466703A (zh) * | 2018-03-23 | 2018-08-31 | 青岛中邦防务智能装备有限公司 | 一种无人船载无人机起飞***及无人机组起飞方法 |
DE202018004661U1 (de) * | 2018-10-08 | 2018-12-06 | Nickel Holding Gmbh | Landeplattform für Transportdrohnen |
CN109508038A (zh) * | 2018-12-29 | 2019-03-22 | 深圳市多翼创新科技有限公司 | 一种多机多甲板协调方法 |
CN109774960A (zh) * | 2019-02-27 | 2019-05-21 | 集美大学 | 无人船无人机协作***及控制方法 |
KR102216518B1 (ko) * | 2020-02-21 | 2021-02-17 | (주)플라잉스타 | 선박에서 드론의 안전 착륙을 유도하는 착륙보조장치 |
WO2021196529A1 (zh) * | 2020-04-02 | 2021-10-07 | 同济人工智能研究院(苏州)有限公司 | 空地协同式智能巡检机器人及巡检方法 |
CN112987765A (zh) * | 2021-03-05 | 2021-06-18 | 北京航空航天大学 | 一种仿猛禽注意力分配的无人机/艇精准自主起降方法 |
CN113820970A (zh) * | 2021-08-03 | 2021-12-21 | 南京工程学院 | 一种复杂海域自主无人机/无人艇协同控制***、控制方法及计算机可读介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116466733A (zh) | 2023-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11885910B2 (en) | Hybrid-view LIDAR-based object detection | |
US11681746B2 (en) | Structured prediction crosswalk generation | |
US20210362596A1 (en) | End-To-End Tracking of Objects | |
Barry et al. | High‐speed autonomous obstacle avoidance with pushbroom stereo | |
US10310087B2 (en) | Range-view LIDAR-based object detection | |
Nuske et al. | Autonomous exploration and motion planning for an unmanned aerial vehicle navigating rivers | |
US20180349746A1 (en) | Top-View Lidar-Based Object Detection | |
Cesetti et al. | A vision-based guidance system for UAV navigation and safe landing using natural landmarks | |
CN111142557B (zh) | 无人机路径规划方法、***、计算机设备及可读存储介质 | |
CN102915039B (zh) | 一种仿动物空间认知的多机器人联合目标搜寻方法 | |
Zhu et al. | 3d lidar point cloud based intersection recognition for autonomous driving | |
CN114341950A (zh) | 占据预测神经网络 | |
EP3850456B1 (en) | Control and navigation systems, pose optimisation, mapping, and localisation techniques | |
Desaraju et al. | Vision-based landing site evaluation and informed optimal trajectory generation toward autonomous rooftop landing | |
Warren et al. | Towards visual teach and repeat for GPS-denied flight of a fixed-wing UAV | |
WO2023109589A1 (zh) | 一种智能车-无人机的协同感知***及方法 | |
Desaraju et al. | Vision-based Landing Site Evaluation and Trajectory Generation Toward Rooftop Landing. | |
CN114564042A (zh) | 一种基于多传感器融合的无人机着陆方法 | |
CN116448134B (zh) | 基于风险场与不确定分析的车辆路径规划方法及装置 | |
CN116466733B (zh) | 一种用于无人机起降的智能避障***及方法 | |
US11645775B1 (en) | Methods and apparatus for depth estimation on a non-flat road with stereo-assisted monocular camera in a vehicle | |
Webb et al. | Development and testing of the TopCat autonomous surface vessel for the Maritime RobotX Challenge 2016 | |
CN116383041A (zh) | 用于自动驾驶仿真测试的车道线拟合方法及装置 | |
Yang et al. | An optimization-based selection approach of landing sites for swarm unmanned aerial vehicles in unknown environments | |
CN109901589B (zh) | 移动机器人控制方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |