CN112329551A - 无人机自主降落方法及模型训练方法 - Google Patents
无人机自主降落方法及模型训练方法 Download PDFInfo
- Publication number
- CN112329551A CN112329551A CN202011109393.1A CN202011109393A CN112329551A CN 112329551 A CN112329551 A CN 112329551A CN 202011109393 A CN202011109393 A CN 202011109393A CN 112329551 A CN112329551 A CN 112329551A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- training
- real environment
- graph structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000000547 structure data Methods 0.000 claims abstract description 101
- 230000009471 action Effects 0.000 claims abstract description 54
- 238000013145 classification model Methods 0.000 claims description 65
- 238000012360 testing method Methods 0.000 claims description 57
- 238000004088 simulation Methods 0.000 claims description 56
- 238000004590 computer program Methods 0.000 claims description 23
- 238000005520 cutting process Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 description 37
- 230000008569 process Effects 0.000 description 26
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 239000004568 cement Substances 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 4
- 244000025254 Cannabis sativa Species 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种无人机自主降落方法及模型训练方法,无人机自主降落方法包括:无人机通过机载图像采集装置采集待降落区域的真实环境图像;无人机将真实环境图像转化成图结构数据;无人机将图结构数据输入预先训练完成的图卷积决策网络模型,获得图卷积决策网络模型输出的图结构数据的动作;无人机执行动作进行降落。通过本申请实施例,提高了无人机自主降落的安全性和可靠性。
Description
技术领域
本申请属于无人机和人工智能技术领域,尤其涉及一种无人机自主降落方法及模型训练方法。
背景技术
随着无人机技术的不断发展,无人机在许多现实世界场景中发挥着越来越重要的作用,例如,监视、环境测绘、包裹运送和搜救等。
具体应用中,无人机可能需要进行自主降落。现有的无人机自主降落或自主着陆技术一般依赖GPS来执行定位和导航任务。然而,GPS的抗干扰能力较弱,如果无人机遇到电子干扰,GPS信号可能无法支持定位和导航功能,进而使得无人机自主降落过程中出现意外。另外,即使在自然环境中,GPS信号也可能受到许多因素的影响。因此,依赖于GPS信号进行无人机自主降落的安全性和可靠性较低。
发明内容
本申请实施例提供一种无人机自主降落方法及模型训练方法,可以提高无人机自主降落的安全性和可靠性。
第一方面,本申请实施例提供一种无人机自主降落方法,该方法可以应用于无人机,该方法包括:
通过机载图像采集装置采集待降落区域的真实环境图像;
将真实环境图像转化成图结构数据;
将图结构数据输入预先训练完成的图卷积决策网络模型,获得图卷积决策网络模型输出的图结构数据的动作;
执行动作进行降落。
本申请实施例中,无人机采集真实环境图像后,使用预先训练完成的图卷积决策网络模型,对真实环境图像的图结构数据进行预测,得到各个图结构对应的动作,最后通过执行预测出的动作进行自主降落,不用依赖于GPS信号进行自主降落,从而提高了无人机自主降落的可靠性和安全性。
示例性地,无人机采集的真实环境图像中,图像左边为水泥地或纹理地,通过使用图卷积决策网络模型预测出来的动作为“向左”,无人机则相应地向左飞行,以降落到水泥地或纹理地上。其中,水泥地和纹理地等是适合无人机降落的地貌类型,河流、湖泊等地貌不适合无人机降落。
在第一方面的一些可能的实现方式中,将真实环境图像转化成图结构数据,包括:
将真实环境图像切割成图像块;
将图像块输入预先训练完成的地貌分类模型,获得地貌分类模型输出的各个图像块所属的地貌类型;
以每个图像块作为节点,每个图像块所属的地貌类型作为节点信息,并计算每个节点与相邻节点之间的相似度,当相似度大于相似度阈值,则在相似度对应的两个节点之间添加一条边,得到真实环境图像的图结构数据。
第二方面,本申请实施例提供一种模型训练方法,该方法包括:
获取仿真环境的图像数据;
根据预设相似度阈值,将仿真环境的图像数据转化成训练用的图结构数据和测试用的图结构数据;
使用训练用的图结构数据训练仿真环境的图卷积决策网络模型,得到训练完成的仿真环境的图卷积决策网络模型;
使用测试用的图结构数据,对训练完成的仿真环境的图卷积决策网络模型进行测试,得到动作预测准确率;
更新预设相似度阈值后,返回根据预设相似度阈值,将图像数据转化成训练用的图结构数据和测试用的图结构数据的步骤;
重复多次后,选取动作预测准确率最高对应的预设相似度阈值作为目标相似度阈值,并将目标相似度阈值对应的训练完成的仿真环境的图卷积决策网络模型作为目标图卷积决策网络模型。
在第二方面的一些可能的实现方式中,根据预设相似度阈值,将图像数据转化成训练用的图结构数据和测试用的图结构数据,包括:
使用仿真环境的图像数据训练地貌分类模型,得到训练完成的地貌分类模型;
获取已标注的图像数据,已标注的图像数据为通过对仿真环境的图像数据中的预设地貌类型进行动作标签标注得到的数据;
将已标注的图像数据划分成训练数据和测试数据;
根据预设相似度阈值,将训练数据转化成训练用的图结构数据;
根据预设相似度阈值,将测试数据转化成测试用的图结构数据。
在第二方面的一些可能的实现方式中,根据预设相似度阈值,将训练数据转化成训练用的图结构数据,包括:
将训练数据切割成图像块;
将训练数据的图像块输入训练完成的地貌分类模型,获得训练完成的地貌分类模型输出的各个图像块所属的地貌类型;
以训练数据的每个图像块作为节点,每个图像块所属的地貌类型作为节点信息,并计算每个节点与相邻节点之间的相似度,当相似度大于预设相似度阈值,则在相似度对应的两个节点之间添加一条边,得到训练用的图结构数据。
在第二方面的一些可能的实现方式中,根据预设相似度阈值,将测试数据转化成测试用的图结构数据,包括:
将测试数据切割成图像块;
将测试数据的图像块输入训练完成的地貌分类模型,获得训练完成的地貌分类模型输出的各个图像块所属的地貌类型;
以测试数据的每个图像块作为节点,每个图像块所属的地貌类型作为节点信息,并计算每个节点与相邻节点之间的相似度,当相似度大于预设相似度阈值,则在相似度对应的两个节点之间添加一条边,得到测试用的图结构数据。
在第二方面的一些可能的实现方式中,该方法还包括:
获取真实环境的图像数据,真实环境的图像数据为无人机采集的待降落区域的环境图像;
根据目标相似度阈值,将真实环境的图像数据转化成真实环境的图结构数据;
使用真实环境的图结构数据训练目标图卷积决策网络模型,得到优化后的目标图卷积决策网络模型。
在该实现方式中,通过采集待降落区域的真实环境图像,对目标图卷积决策网络模型进行优化,再将优化后的目标图卷积决策网络模型加载到无人机上,无人机使用优化后的目标图卷积决策网络模型进行动作预测,进一步提高了无人机自主降落的安全性和可靠性。
需要说明的是,可以直接将目标图卷积决策网络模型加载到无人机上,也可以通过真实环境图像数据对目标图卷积决策网络模型进行优化,再将优化后的目标图卷积决策网络模型加载到无人机上。
在第二方面的一些可能的实现方式中,根据目标相似度阈值,将真实环境的图像数据转化成真实环境的图结构数据,包括:
使用真实环境的图像数据,训练地貌分类模型,得到训练完成的目标地貌分类模型;
获取已标注的真实环境的图像数据,已标注的真实环境的图像数据为通过对真实环境的图像数据中的预设地貌类型进行动作标签标注得到的数据;
将真实环境的图像数据切割成图像块;
将真实环境的图像块输入目标地貌分类模型,获得目标地貌分类模型输出的各个图像块所属的地貌类型;
以每个真实环境的图像块作为节点,每个真实环境的图像块所属的地貌类型作为节点信息,并计算每个节点与相邻节点之间的相似度,当相似度大于预设相似度阈值,则在相似度对应的两个节点之间添加一条边,得到真实环境的图结构数据。
第三方面,本申请实施例提供一种无人机,该无人机包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上述第一方面的无人机自主降落方法。
第四方面,本申请实施例提供一种电子设备,该电子设备包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上述第二方面的模型训练方法。
第五方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序被处理器执行时实现如上述第一方面或上述第二方面任一项的方法。
第六方面,本申请实施例提供一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述第一方面或第二方面中任一项所述的方法。
可以理解的是,上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的模型训练方法的一种流程示意框图;
图2为本申请实施例提供的图结构转化示意图;
图3为本申请实施例提供的图像块和图结构的对照示意图;
图4为本申请实施例提供的步骤S102的具体流程示意图;
图5为本申请实施例提供的模型优化过程的流程示意框图;
图6为本申请实施例提供的无人机自主降落方法的一种流程示意框图;
图7为本申请实施例提供的模型训练装置的结构示意框图;
图8为本申请实施例提供的无人机自主降落装置的结构示意框图;
图9为本申请实施例提供的电子设备的结构示意图。
具体实施方式
无人机或者其搭载的设备往往造价昂贵,若无人机在飞行降落过程中出现意外,不仅会严重损坏无人机或者其搭载设备,还可能对地面的设施或者人等造成不可预知的伤害。因此,无人机降落过程的安全性和可靠性尤为重要。
本申请实施例提供一种无人机自主降落方案,以提高无人机降落过程中的安全性和可靠性。下面将分别模型训练阶段和应用阶段,对本申请实施例提供的无人机自主降落方案进行介绍说明。以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本申请实施例。
模型训练阶段
参见图1,为本申请实施例提供的模型训练方法的一种流程示意框图,该方法应用于终端设备,该方法可以包括以下步骤:
步骤S101、获取仿真环境的图像数据。
具体地,先搭建仿真环境,再从仿真环境中采集图像,以得到仿真环境的图像数据。
例如,使用Gazebo仿真软件,在ros操作***上直接加载地图和无人机模型,进而搭建出仿真环境。
其中,对照真实环境的图片选择不同的像素值,再选择出的不同像素值的地貌(例如,草地、水泥地等)进行填充,以生成地图。对于房屋建筑物,ros操作***有房屋建筑物的模型,可直接拖到地图上。而无人机模型是通过ros操作***下载的算法包等加载进来的。真实环境和仿真环境所使用的无人机机型可以相同,也可以不相同。
仿真环境中可以包括多种构建的地貌类型,所构建的地貌包括但不限于水泥地、草地、纹理地(砖块)、屋顶和土地。一般来说,纹理地和水泥地是比较适合无人机着陆的地貌。
在搭建出仿真环境之后,使用仿真软件在操作***上加载该区域的地图和无人机模型,并在仿真环境中,选取无人机,然后使用无人机在仿真环境中采集得到图像数据,以得到仿真环境的图像数据。
可以理解的是,仿真环境的图像数据包括多张图片,每张图片内包含至少一种地貌类型。
步骤S102、根据预设相似度阈值,将仿真环境的图像数据转化成训练用的图结构数据和测试用的图结构数据。
需要说明的是,上述预设相似度阈值可以根据实际需要人为设定,在此不进行限制。
仿真环境的图像数据中包含多种图片,将每张图片转化成一个图结构,多张图片的图结构组成上述图结构数据。
具体应用中,将每张图片切割成图像块,每个图像块作为一个节点,该图像块的所属地貌类别为节点信息。当图像块与相邻图像块之间的相似度大于上述预设相似度阈值时,则在该图像块和相邻图像块之间添加一条边,作为图结构中的边信息。
例如,参见图2示出的图结构转化示意图,如图2所示,仿真环境的图像数据中包括某个图片,将该图片切割成图像块,该图片的图像块中包括图2示出的图像块211~219。先将图像块输入地貌分类模型中,预测出各个图像块所属的地貌类型;再计算每个图像块和相邻图像块之间的相似度。其中,图像块所处位置不同,相邻图像块的数量也会有不同。图2中的图像块211,其相邻的图像块包括图像块212、图像块215和图像块214。而图像块215的相邻图像块包括图像块211、图像块212、图像块213、图像块216、图像块214、图像块217、图像块218和图像块219。
接着,以每个图像块作为一个节点。图像块211~219依次与节点221~229对应,其中,图像块211与节点221对应,图像块215与节点225对应,图像块219与节点229对应,依此类推。
将各个图像块的所属地貌类别作为节点信息,例如,图像块211的地貌类型为纹理地,节点221的节点信息为纹理地。又例如,图像块219的地貌类型为草地,节点229的节点信息为草地。
计算出各个图像块与相邻图像块之间的相似度之后,比较相似度与预设相似度阈值之间的大小。当相似度大于预设相似度阈值时,则在这两个图像块对应的节点之间添加一条边,反之,当相似度小于预设相似度阈值时,则不添加边或者添加虚线边。
例如,如图2所示,图像块211和图像块215之间的相似度大于预设相似度阈值,节点221和节点225之间添加一条实线边。而图像块212和图像块213之间的相似度小于预设相似度阈值,节点222和节点223之间添加虚线边。当然,在具体应用中,当两个图像块之间的相似度小于预设相似度阈值时,也可以不可以添加边。
具体示例可以参见图3示出的图像块和图结构的对照示意图,如图3所示,图3的左边中,将仿真环境下的一幅图片切割成一个个图像块。而图3的右边,示出了与左边的图片对应的图结构。具体应用中,可以用不同的颜色标注不同的节点,以表示不同的地貌类型,即使用不同的颜色表示不同的地貌类型。
具体应用中,根据预设相似度阈值,将仿真环境的图像数据转化为图结构数据的方式有很多。例如,在一些实施例中,参加图4示出的步骤S102的具体流程示意图,上述根据预设相似度阈值,将图像数据转化成训练用的图结构数据和测试用的图结构数据的过程可以包括以下步骤:
步骤S401、使用仿真环境的图像数据训练地貌分类模型,得到训练完成的地貌分类模型。
需要说明的是,上述地貌分类模型是预先构建的,该地貌分类模型可以为由卷积层、ReLU层、最大池化层、Flatten层和Dense层组成的模型。
具体应用中,可以直接使用全部的仿真环境的图像数据训练地貌分类模型,也可以先将仿真环境的图像数据划分成训练数据和测试数据,再使用训练数据训练地貌分类模型。例如,仿真环境的图像数据一共有1600张图片,将其中的1000张图片用于训练,即作为训练数据,另外的600张用于测试,即作为测试数据。
地貌分类模型训练方法可以参见公开文件“CN110728295A”或者“CN110766038A”,在此不再赘述。当然,也可以通过其它方法来训练地貌分类模型。
步骤S402、获取已标注的图像数据,已标注的图像数据为通过对仿真环境的图像数据中的预设地貌类型进行动作标签标注得到的数据。
具体地,针对仿真环境的图像数据中的每张图片,人工标注对应的动作标签。该动作标签可以包括但不限于向左、向右、向前、后退以及着陆。
在图片标注过程中,针对带有预设地貌类别的图片,根据预设地貌类别在图片中的所在位置,标注对应的动作。例如,某个图片中,图片的左边为纹理地,则标注“向左”的动作。
其中,该预设地貌类别一般是适合无人机着陆的地貌,例如,预设地貌类别可以包括但不限于纹理地和水泥地,即仿真环境的图片数据中,带有纹理地或水泥地等预设地貌类别的图片才会被标注,不带有纹理地或水泥地等预设地貌类别的图片不会被标注。
步骤S403、将已标注的图像数据划分成训练数据和测试数据。
在其它一些实施例中,可以先将仿真环境的图像数据划分成训练数据和测试数据,再分别对训练数据和测试数据进行动作标签标注,得到标注后的训练数据和标注后的测试数据。
步骤S404、根据预设相似度阈值,将训练数据转化成训练用的图结构数据。
具体地,针对训练数据中的每张图片,将图片切割成图像块,然后将图像块输入上述步骤S401中得到的地貌分类模型。地貌分类模型输出各个图像块所属的地貌类型。
然后,以训练数据的每个图像块作为节点,每个图像块所属的地貌类型作为节点信息,并计算每个节点与相邻节点之间的相似度,当相似度大于预设相似度阈值,则在相似度对应的两个节点之间添加一条边,得到训练用的图结构数据。
步骤S405、根据预设相似度阈值,将测试数据转化成测试用的图结构数据。
具体地,针对测试数据中的每张图片,将图片切割成图像块,然后将图像块输入上述步骤S401中得到的地貌分类模型。地貌分类模型输出各个图像块所属的地貌类型。
然后,以测试数据的每个图像块作为节点,每个图像块所属的地貌类型作为节点信息,并计算每个节点与相邻节点之间的相似度,当相似度大于预设相似度阈值,则在相似度对应的两个节点之间添加一条边,得到测试用的图结构数据。
步骤S103、使用训练用的图结构数据训练仿真环境的图卷积决策网络模型,得到训练完成的仿真环境的图卷积决策网络模型。
需要说明的是,仿真环境的图卷积决策网络模型是预先构建的,该图卷积决策网络模型(Graph Convolution Network-based decision network,GCNNDN)。该图卷积决策网络模型可以由四个图卷积层、池化层和一个完全连接层组成。
其中,图卷积层可以写成一个非线性函数实现,可定义为:
表示激活函数,H(l)和W(l)为第l层的激活矩阵和权重矩阵。设H(0)=X。拉普拉斯矩阵的特征向量L=In-D-1/2AD-1/2=UΛUT,A和D是分别对应于图结构的邻接矩阵和度矩阵,Λ是一个对角矩阵,其中对角元素是L的特征值。
具体地,将训练用的图结构数据输入仿真环境的图卷积决策网络模型,模型的完全连接层使用softmax函数,预测输入的图结构中各种动作的概率值。然后,选择概率值高的那个动作为预测得到的动作。再使用损失函数(具体可为交叉熵损失函数)计算预测得到的动作和标注的真实动作之间的损失后,使用随机梯度下降法反向更新损失函数的网络参数。依此迭代多次,直到损失函数的值不再变化或者模型趋于收敛,则得到训练完成的仿真环境的图卷积决策网络模型。
步骤S104、使用测试用的图结构数据,对训练完成的仿真环境的图卷积决策网络模型进行测试,得到动作预测准确率。
具体地,将测试用的图结构数据中的每一个图结构,输入到步骤S103中得到的图卷积决策网络模型。图卷积决策网络模型输出(或预测)各个图结构的动作。再判断各个图结构的预测动作和人工标注的动作是否一致,如果不一致,则认为预测不正确,如果一致,则认为预测正确。依此原理,计算得到预测准确率。
步骤S105、更新预设相似度阈值后,返回步骤S102,并执行步骤S102~S104。
需要说明的是,在将图像数据转化成图结构的过程中,不同的相似度阈值会影响节点见边缘信息的提取,从而影响用于训练图卷积决策网络模型的图结构。因此,需要设置合适的相似度阈值。
具体应用中,可以人工预先设置多个不同的相似度阈值,以提取用于训练图卷积决策网络模型的多组图结构数据集。该预设相似度阈值可在0~1这个范围内取值。比如,第一次将预设相似度阈值设置为0.5。
也就是说,预先设置多个不同的相似度阈值,当需要更新预设相似度阈值时,则从预先设置的多个相似度阈值中选取一个之前没有选过的阈值作为更新后的预设相似度阈值。然后,返回步骤S102,执行步骤S102~S104,得到更新后的预设相似度阈值对应的动作预测准确率。依次进行多次,得到多个预设相似度阈值对应的动作预测准确率。
步骤S106、重复多次后,选取动作预测准确率最高对应的预设相似度阈值作为目标相似度阈值,并将目标相似度阈值对应的训练完成的仿真环境的图卷积决策网络模型作为目标图卷积决策网络模型。
具体地,使用多个不同的预设相似度阈值,多次执行步骤S102~S104之后,可以得到多个动作预测准确率。比较多个动作预测准确率,选取准确率最高对应的预设相似度阈值作为目标相似度阈值,并将该目标相似度阈值对应的图卷积决策网络模型作为目标图卷积决策网络模型。
其中,目标图卷积决策网络模型可以认为是训练完成的图卷积决策网络模型。换句话说,在实际应用中,无人机可以使用该目标图卷积决策网络模型预测动作,并根据预测出的动作,进行自主降落。
至此,图卷积决策网络模型的模型训练阶段结束。下面将对应用阶段进行介绍。
应用阶段
图卷积决策网络模型训练完成之后,将训练完成的图卷积决策网络模型加载到无人机。无人机在实际飞行作业中,在需要自主降落时,采集待降落区域的真实环境图像,将该真实环境图像转换成图结构数据,最后将图结构数据输入预先加载的图卷积决策网络模型,预测图结构数据的动作,并根据预测的动作,进行自主降落。
在一些实施例中,可以将上述步骤S106中的目标相似度阈值和目标图卷积决策网络模型加载到无人机,无人机使用目标相似度阈值,将采集到的真实环境图像转化成图结构数据,再使用目标图卷积决策网络模型,预测图结构数据的动作。
在另一些实施例中,为了进一步提高动作预测准确率,提高无人机自主降落的安全性和可靠性,可以对模型训练阶段得到的目标图卷积决策网络模型进行微调,再将微调后的目标图卷积决策网络模型加载到无人机上。
也就是说,基于上述实施例,参见图5示出的模型优化过程的流程示意框图,上述模型训练方法还可以包括以下步骤:
步骤S501、获取真实环境的图像数据,真实环境的图像数据为无人机采集的待降落区域的环境图像。
具体地,在无人机飞行作业前,使用无人机拍摄某区域的图像数据。例如,当无人机要去C区域飞行作业时,使用无人机拍摄C区域的图像数据,此时,C区域即为上述待降落区域,C区域的图像数据即为上述真实环境的图像数据。
所采集的真实环境的图像数据可以是少量图像数据。
可以理解的是,真实环境的图像数据包括多张图片,且每张图片中有水泥地、草地等地貌。
步骤S502、根据目标相似度阈值,将真实环境的图像数据转化成真实环境的图结构数据。
其中,该目标相似度阈值为上述步骤S106中的相似度阈值。
具体地,首先,使用真实环境的图像数据训练地貌分类模型,得到训练完成的目标地貌分类模型。然后,获取已标注的真实环境的图像数据,已标注的真实环境的图像数据为通过对真实环境的图像数据中的预设地貌类型进行动作标签标注得到的数据。
再将真实环境的图像数据切割成图像块。接着,将真实环境的图像块输入目标地貌分类模型,获得目标地貌分类模型输出的各个图像块所属的地貌类型。
最后,以每个真实环境的图像块作为节点,每个真实环境的图像块所属的地貌类型作为节点信息,并计算每个节点与相邻节点之间的相似度,当相似度大于预设相似度阈值,则在相似度对应的两个节点之间添加一条边,得到真实环境的图结构数据。
需要说明的是,将真实环境的图像数据转化成图结构数据的过程可以参见上述步骤S102的相关内容,在此不再赘述。
步骤S503、使用真实环境的图结构数据训练目标图卷积决策网络模型,得到优化后的目标图卷积决策网络模型。
具体地,将步骤S502中的图结构数据输入到步骤S106中的目标图卷积决策网络模型,以对该模型进行微调或优化,得到优化有的目标图卷积决策网络模型。
进一步地,将真实环境的图结构数据输入到该目标图卷积决策网络模型,该模型预测得到各个图结构数据的预测动作,接着计算预测动作和真实动作之间的损失值,具体可使用交叉熵损失函数。然后,使用随机梯度下降算法更新网络参数。依此迭代多次,直到损失函数的值不再变化或者模型趋于收敛,得到微调后的图卷积决策网络模型,进而实现模型微调或模型优化。
也就是说,使用真实环境的图像数据,更新仿真环境的目标图卷积决策网络模型的网络参数,优化损失函数,进而去微调模型。
在得到优化后的目标图卷积决策网络模型之后,将优化后的目标图卷积决策网络模型、目标相似度阈值和步骤S502中训练得到的地貌分类模型加载到无人机。无人机则可以使用优化后的目标图卷积决策网络模型、目标相似度阈值和步骤S502中训练得到的地貌分类模型,进行自主降落。
可以看出,通过采集待降落区域的真实环境图像,对目标图卷积决策网络模型进行优化,再将优化后的目标图卷积决策网络模型加载到无人机上,无人机使用优化后的目标图卷积决策网络模型进行动作预测,进一步提高了无人机自主降落的安全性和可靠性。
下面将对无人机一侧的自主降落过程进行介绍。
参见图6示出的本申请实施例提供的无人机自主降落方法的一种流程示意框图,该方法可以应用于无人机,该方法可以包括以下步骤:
步骤S601、无人机通过机载图像采集装置采集待降落区域的真实环境图像。
例如,无人机到C区域进行飞行作业,在飞行作业过程中,由于某种原因,无人机需要自主降落,此时,C区域即为上述待降落区域。无人机采集C区域的真实环境图像,得到上述待降落区域的真实环境图像。
上述图像采集装置可以为但不限于相机。
步骤S602、无人机将真实环境图像转化成图结构数据。
具体地,使用预先加载的地貌分类模型和目标相似度阈值,将真实环境图像转换成图结构数据。
其中,加载到无人机上的地貌分类模型可以是模型微调过程中得到的地貌分类模型,即上述步骤S502中得到的地貌分类模型。当然,如果不进行模型微调过程,该地貌分类模型可以是上述步骤S401中的地貌分类模型。
首先,将真实环境图像切割成图像块。再将图像块输入预先训练完成的地貌分类模型,获得地貌分类模型输出的各个图像块所属的地貌类型。此时,该预先训练完成的地貌分类模型是指加载到无人机上的地貌分类模型。
然后,以每个图像块作为节点,每个图像块所属的地貌类型作为节点信息,并计算每个节点与相邻节点之间的相似度,当相似度大于相似度阈值,则在相似度对应的两个节点之间添加一条边,得到真实环境图像的图结构数据。具体过程可以参见上文相应内容,在此不再赘述。
步骤S603、无人机将图结构数据输入预先训练完成的图卷积决策网络模型,获得图卷积决策网络模型输出的图结构数据的动作。
此时,预先训练完成的图卷积决策网络模型可以是指模型优化后的目标图卷积决策网络模型,也可以是没有进行模型优化过程的目标图卷积决策网络模型。
步骤S604、无人机执行动作进行降落。
例如,当预测出的动作为向左,无人机则向左飞行,当下一步预测出的动作为着陆后,无人机则进行着陆/自主降落。
可以看出,无人机采集真实环境图像后,使用预先训练完成的图卷积决策网络模型,对真实环境图像的图结构数据进行预测,得到各个图结构对应的动作,最后通过执行预测出的动作进行自主降落,不用依赖于GPS信号进行自主降落,从而提高了无人机自主降落的可靠性和安全性。
通过本申请实施例提供的无人机自主降落方案,可以寻找到适合无人机降落的纹理地或水泥地等地貌,并控制无人机降落到这些适合无人机着陆的地方。
需要说明的是,模型训练阶段和模型微调阶段一般在终端设备中进行,该终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。而无人机自主降落过程一般在无人机中进行。
但是,在其它一些实施例中,模型训练阶段、模型微调阶段和无人机自主降落过程的执行主体可以是任意的。例如,在地面的计算设备进行模型训练阶段,得到训练完成的目标图卷积决策网络模型,再将目标图卷积决策网络模型加载到无人机上,由无人机进行模型微调过程和无人机自主降落过程。又例如,无人机自主降落过程可以由地面站执行,此时,地面站设备获取无人机回传的真实环境图像,使用目标图卷积决策网络模型或者模型优化后的目标图卷积决策网络模型,预测真实环境图像的图结构数据的动作,并根据预测出的动作,向无人机传输对应的控制指令,以由地面站设备控制无人机降落。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例的模型训练方法,图7示出了本申请实施例提供的模型训练装置的结构示意框图,为了便于说明,仅示出了与本申请实施例相关的部分。
该装置可以包括:
仿真环境图像数据获取模块71,用于获取仿真环境的图像数据;
转化模块72,用于根据预设相似度阈值,将仿真环境的图像数据转化成训练用的图结构数据和测试用的图结构数据;
模型训练模块73,用于使用训练用的图结构数据训练仿真环境的图卷积决策网络模型,得到训练完成的仿真环境的图卷积决策网络模型;
测试模块74,用于使用测试用的图结构数据,对训练完成的仿真环境的图卷积决策网络模型进行测试,得到动作预测准确率;
相似度阈值更新模块75,用于更新预设相似度阈值后,返回根据预设相似度阈值,将图像数据转化成训练用的图结构数据和测试用的图结构数据的步骤;
选取模块76,用于重复多次后,选取动作预测准确率最高对应的预设相似度阈值作为目标相似度阈值,并将目标相似度阈值对应的训练完成的仿真环境的图卷积决策网络模型作为目标图卷积决策网络模型。
在一些可能的实现方式中,上述转化模块具体用于:
使用仿真环境的图像数据训练地貌分类模型,得到训练完成的地貌分类模型;
获取已标注的图像数据,已标注的图像数据为通过对仿真环境的图像数据中的预设地貌类型进行动作标签标注得到的数据;
将已标注的图像数据划分成训练数据和测试数据;
根据预设相似度阈值,将训练数据转化成训练用的图结构数据;
根据预设相似度阈值,将测试数据转化成测试用的图结构数据。
在一些可能的实现方式中,上述转化模块具体用于:
将训练数据切割成图像块;
将训练数据的图像块输入训练完成的地貌分类模型,获得训练完成的地貌分类模型输出的各个图像块所属的地貌类型;
以训练数据的每个图像块作为节点,每个图像块所属的地貌类型作为节点信息,并计算每个节点与相邻节点之间的相似度,当相似度大于预设相似度阈值,则在相似度对应的两个节点之间添加一条边,得到训练用的图结构数据。
在一些可能的实现方式中,上述转化模块具体用于:
将测试数据切割成图像块;
将测试数据的图像块输入训练完成的地貌分类模型,获得训练完成的地貌分类模型输出的各个图像块所属的地貌类型;
以测试数据的每个图像块作为节点,每个图像块所属的地貌类型作为节点信息,并计算每个节点与相邻节点之间的相似度,当相似度大于预设相似度阈值,则在相似度对应的两个节点之间添加一条边,得到测试用的图结构数据。
在一些可能的实现方式中,该装置还可以包括:
真实环境图像数据获取模块,用于获取真实环境的图像数据,真实环境的图像数据为无人机采集的待降落区域的环境图像;
图像转化模块,用于根据目标相似度阈值,将真实环境的图像数据转化成真实环境的图结构数据;
模型优化模块,用于使用真实环境的图结构数据训练目标图卷积决策网络模型,得到优化后的目标图卷积决策网络模型。
在一些可能的实现方式中,上述图像转化模块具体用于:
使用真实环境的图像数据,训练地貌分类模型,得到训练完成的目标地貌分类模型;
获取已标注的真实环境的图像数据,已标注的真实环境的图像数据为通过对真实环境的图像数据中的预设地貌类型进行动作标签标注得到的数据;
将真实环境的图像数据切割成图像块;
将真实环境的图像块输入目标地貌分类模型,获得目标地貌分类模型输出的各个图像块所属的地貌类型;
以每个真实环境的图像块作为节点,每个真实环境的图像块所属的地貌类型作为节点信息,并计算每个节点与相邻节点之间的相似度,当相似度大于预设相似度阈值,则在相似度对应的两个节点之间添加一条边,得到真实环境的图结构数据。
上述模型训练装置具有实现上述模型训练方法的功能,该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现,硬件或软件包括一个或多个与上述功能相对应的模块,模块可以是软件和/或硬件。
对应于上文实施例的无人机自主降落方法,图8示出了本申请实施例提供的无人机自主降落装置的结构示意框图,为了便于说明,仅示出了与本申请实施例相关的部分。
该装置可以包括:
图像采集模块81,用于通过机载图像采集装置采集待降落区域的真实环境图像;
真实环境图像转化模块82,用于将真实环境图像转化成图结构数据;
预测模块83,用于将图结构数据输入预先训练完成的图卷积决策网络模型,获得图卷积决策网络模型输出的图结构数据的动作;
执行模块84,用于执行动作进行降落。
在一些可能的实现方式中,上述真实环境图像转化模块具体用于:
将真实环境图像切割成图像块;
将图像块输入预先训练完成的地貌分类模型,获得地貌分类模型输出的各个图像块所属的地貌类型;
以每个图像块作为节点,每个图像块所属的地貌类型作为节点信息,并计算每个节点与相邻节点之间的相似度,当相似度大于相似度阈值,则在相似度对应的两个节点之间添加一条边,得到真实环境图像的图结构数据。
上述无人机自主降落装置具有实现上述无人机自主降落方法的功能,该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现,硬件或软件包括一个或多个与上述功能相对应的模块,模块可以是软件和/或硬件。
需要说明的是,上述装置/模块之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
图9为本申请一实施例提供的电子设备的结构示意图。如图9所示,该实施例的电子设备9包括:至少一个处理器90(图9中仅示出一个)处理器、存储器91以及存储在所述存储器91中并可在所述至少一个处理器90上运行的计算机程序92,所述处理器90执行所述计算机程序92时实现上述任意各个方法实施例中的步骤。
所述电子设备9可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。在其它一些实施例中,该电子设备还可以为无人机或者无人机上搭载的控制设备。该电子设备可包括,但不仅限于,处理器90、存储器91。本领域技术人员可以理解,图9仅仅是电子设备9的举例,并不构成对电子设备9的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器90可以是中央处理单元(Central Processing Unit,CPU),该处理器90还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器91在一些实施例中可以是所述电子设备9的内部存储单元,例如电子设备9的硬盘或内存。所述存储器91在另一些实施例中也可以是所述电子设备9的外部存储设备,例如所述电子设备9上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器91还可以既包括所述电子设备9的内部存储单元也包括外部存储设备。所述存储器91用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种无人机自主降落方法,其特征在于,应用于无人机,所述方法包括:
通过机载图像采集装置采集待降落区域的真实环境图像;
将所述真实环境图像转化成图结构数据;
将所述图结构数据输入预先训练完成的图卷积决策网络模型,获得所述图卷积决策网络模型输出的所述图结构数据的动作;
执行所述动作进行降落。
2.如权利要求1所述的方法,其特征在于,将所述真实环境图像转化成图结构数据,包括:
将所述真实环境图像切割成图像块;
将所述图像块输入预先训练完成的地貌分类模型,获得所述地貌分类模型输出的各个所述图像块所属的地貌类型;
以每个所述图像块作为节点,每个所述图像块所属的地貌类型作为节点信息,并计算每个节点与相邻节点之间的相似度,当所述相似度大于相似度阈值,则在所述相似度对应的两个节点之间添加一条边,得到所述真实环境图像的图结构数据。
3.一种模型训练方法,其特征在于,包括:
获取仿真环境的图像数据;
根据预设相似度阈值,将所述仿真环境的图像数据转化成训练用的图结构数据和测试用的图结构数据;
使用所述训练用的图结构数据训练仿真环境的图卷积决策网络模型,得到训练完成的仿真环境的图卷积决策网络模型;
使用所述测试用的图结构数据,对训练完成的仿真环境的图卷积决策网络模型进行测试,得到动作预测准确率;
更新所述预设相似度阈值后,返回根据预设相似度阈值,将所述图像数据转化成训练用的图结构数据和测试用的图结构数据的步骤;
重复多次后,选取所述动作预测准确率最高对应的预设相似度阈值作为目标相似度阈值,并将所述目标相似度阈值对应的训练完成的仿真环境的图卷积决策网络模型作为目标图卷积决策网络模型。
4.如权利要求3所述的方法,其特征在于,根据预设相似度阈值,将所述图像数据转化成训练用的图结构数据和测试用的图结构数据,包括:
使用所述仿真环境的图像数据训练地貌分类模型,得到训练完成的地貌分类模型;
获取已标注的图像数据,所述已标注的图像数据为通过对所述仿真环境的图像数据中的预设地貌类型进行动作标签标注得到的数据;
将所述已标注的图像数据划分成训练数据和测试数据;
根据所述预设相似度阈值,将所述训练数据转化成所述训练用的图结构数据;
根据所述预设相似度阈值,将所述测试数据转化成所述测试用的图结构数据。
5.如权利要求4所述的方法,其特征在于,根据所述预设相似度阈值,将所述训练数据转化成所述训练用的图结构数据,包括:
将所述训练数据切割成图像块;
将所述训练数据的图像块输入训练完成的地貌分类模型,获得所述训练完成的地貌分类模型输出的各个图像块所属的地貌类型;
以所述训练数据的每个图像块作为节点,每个图像块所属的地貌类型作为节点信息,并计算每个节点与相邻节点之间的相似度,当相似度大于所述预设相似度阈值,则在相似度对应的两个节点之间添加一条边,得到所述训练用的图结构数据。
6.如权利要求4所述的方法,其特征在于,根据所述预设相似度阈值,将所述测试数据转化成所述测试用的图结构数据,包括:
将所述测试数据切割成图像块;
将所述测试数据的图像块输入训练完成的地貌分类模型,获得所述训练完成的地貌分类模型输出的各个图像块所属的地貌类型;
以所述测试数据的每个图像块作为节点,每个图像块所属的地貌类型作为节点信息,并计算每个节点与相邻节点之间的相似度,当相似度大于所述预设相似度阈值,则在相似度对应的两个节点之间添加一条边,得到所述测试用的图结构数据。
7.如权利要求3至6任一项所述的方法,其特征在于,所述方法还包括:
获取真实环境的图像数据,所述真实环境的图像数据为无人机采集的待降落区域的环境图像;
根据所述目标相似度阈值,将所述真实环境的图像数据转化成真实环境的图结构数据;
使用所述真实环境的图结构数据训练所述目标图卷积决策网络模型,得到优化后的目标图卷积决策网络模型。
8.如权利要求7所述的方法,其特征在于,根据所述目标相似度阈值,将所述真实环境的图像数据转化成真实环境的图结构数据,包括:
使用所述真实环境的图像数据,训练地貌分类模型,得到训练完成的目标地貌分类模型;
获取已标注的真实环境的图像数据,所述已标注的真实环境的图像数据为通过对所述真实环境的图像数据中的预设地貌类型进行动作标签标注得到的数据;
将所述真实环境的图像数据切割成图像块;
将真实环境的图像块输入所述目标地貌分类模型,获得所述目标地貌分类模型输出的各个图像块所属的地貌类型;
以每个所述真实环境的图像块作为节点,每个所述真实环境的图像块所属的地貌类型作为节点信息,并计算每个节点与相邻节点之间的相似度,当相似度大于所述预设相似度阈值,则在相似度对应的两个节点之间添加一条边,得到所述真实环境的图结构数据。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至2任一项或者3至8任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至2任一项或者3至8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011109393.1A CN112329551A (zh) | 2020-10-16 | 2020-10-16 | 无人机自主降落方法及模型训练方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011109393.1A CN112329551A (zh) | 2020-10-16 | 2020-10-16 | 无人机自主降落方法及模型训练方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112329551A true CN112329551A (zh) | 2021-02-05 |
Family
ID=74313081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011109393.1A Pending CN112329551A (zh) | 2020-10-16 | 2020-10-16 | 无人机自主降落方法及模型训练方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112329551A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113359843A (zh) * | 2021-07-02 | 2021-09-07 | 成都睿沿芯创科技有限公司 | 一种无人机自主降落方法、装置、电子设备及存储介质 |
CN117201565A (zh) * | 2023-10-11 | 2023-12-08 | 西安月之峰电子科技有限公司 | 一种基于5g传输的网联无人机管理云平台 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107323677A (zh) * | 2017-07-25 | 2017-11-07 | 深圳先进技术研究院 | 无人机辅助降落方法、装置、设备及存储介质 |
CN107444665A (zh) * | 2017-07-24 | 2017-12-08 | 长春草莓科技有限公司 | 一种无人机自主降落方法 |
KR20190078098A (ko) * | 2017-12-26 | 2019-07-04 | 주식회사 솔탑 | 드론 착륙을 제어하기 위한 방법 및 장치 |
CN110825101A (zh) * | 2019-12-26 | 2020-02-21 | 电子科技大学 | 一种基于深度卷积神经网络的无人机自主降落方法 |
CN111209808A (zh) * | 2019-12-25 | 2020-05-29 | 北京航空航天大学杭州创新研究院 | 一种基于分层处理的无人机图像语义分割识别方法 |
-
2020
- 2020-10-16 CN CN202011109393.1A patent/CN112329551A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107444665A (zh) * | 2017-07-24 | 2017-12-08 | 长春草莓科技有限公司 | 一种无人机自主降落方法 |
CN107323677A (zh) * | 2017-07-25 | 2017-11-07 | 深圳先进技术研究院 | 无人机辅助降落方法、装置、设备及存储介质 |
KR20190078098A (ko) * | 2017-12-26 | 2019-07-04 | 주식회사 솔탑 | 드론 착륙을 제어하기 위한 방법 및 장치 |
CN111209808A (zh) * | 2019-12-25 | 2020-05-29 | 北京航空航天大学杭州创新研究院 | 一种基于分层处理的无人机图像语义分割识别方法 |
CN110825101A (zh) * | 2019-12-26 | 2020-02-21 | 电子科技大学 | 一种基于深度卷积神经网络的无人机自主降落方法 |
Non-Patent Citations (1)
Title |
---|
YIFAN ZHANG等: "A GCN-Based Decision-Making Network for Autonomous UAV Landing", 《2020 5TH INTERNATIONAL CONFERENCE ON ADVANCED ROBOTICS AND MECHATRONICS (ICARM)》, 14 September 2020 (2020-09-14), pages 652 - 657 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113359843A (zh) * | 2021-07-02 | 2021-09-07 | 成都睿沿芯创科技有限公司 | 一种无人机自主降落方法、装置、电子设备及存储介质 |
CN117201565A (zh) * | 2023-10-11 | 2023-12-08 | 西安月之峰电子科技有限公司 | 一种基于5g传输的网联无人机管理云平台 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11188799B2 (en) | Semantic segmentation with soft cross-entropy loss | |
CN111507271B (zh) | 一种机载光电视频目标智能化检测与识别方法 | |
US20220036562A1 (en) | Vision-based working area boundary detection system and method, and machine equipment | |
CN111476116A (zh) | 一种用于车辆检测跟踪的旋翼无人机***及检测跟踪方法 | |
CN107918776B (zh) | 一种基于机器视觉的用地规划方法、***及电子设备 | |
CN111213155A (zh) | 图像处理方法、设备、可移动平台、无人机及存储介质 | |
CN111797983A (zh) | 一种神经网络构建方法以及装置 | |
CN110752028A (zh) | 一种图像处理方法、装置、设备以及存储介质 | |
CN112329551A (zh) | 无人机自主降落方法及模型训练方法 | |
Delmerico et al. | “on-the-spot training” for terrain classification in autonomous air-ground collaborative teams | |
CN111444923A (zh) | 自然场景下图像语义分割方法和装置 | |
CN113378897A (zh) | 基于神经网络的遥感图像分类方法、计算设备及存储介质 | |
CN114511500A (zh) | 图像处理方法、存储介质以及计算机终端 | |
CN110135428A (zh) | 图像分割处理方法和装置 | |
Gan et al. | Water level classification for flood monitoring system using convolutional neural network | |
CN111104965A (zh) | 车辆目标识别的方法及装置 | |
CN112532251A (zh) | 一种数据处理的方法及设备 | |
CN113627292B (zh) | 基于融合网络的遥感图像识别方法及装置 | |
CN115272412A (zh) | 一种基于边缘计算的低小慢目标检测方法及跟踪*** | |
CN110827243B (zh) | 网格梁覆盖区域异常检测方法和装置 | |
CN113763447B (zh) | 深度图的补全方法、电子设备及存储介质 | |
Tejaswini et al. | Land cover change detection using convolution neural network | |
EP4275169A1 (en) | Computer vision systems and methods for determining roof conditions from imagery using segmentation networks | |
CN113723411A (zh) | 一种用于遥感图像语义分割的特征提取方法和分割*** | |
Kestur et al. | MangoGAN: a general adversarial network-based deep learning architecture for mango tree crown detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220216 Address after: 518000 2515, building 2, Huilong business center, North Station community, Minzhi street, Longhua District, Shenzhen, Guangdong Province Applicant after: Shenzhen Zhongke Baotai Aerospace Technology Co.,Ltd. Address before: Room 1101-1102, building 1, Changfu Jinmao building, No.5, Shihua Road, free trade zone, Fubao street, Futian District, Shenzhen, Guangdong 518000 Applicant before: Shenzhen Zhongke Baotai Technology Co.,Ltd. |
|
TA01 | Transfer of patent application right |