CN103196430B - 基于无人机的飞行轨迹与视觉信息的映射导航方法及*** - Google Patents
基于无人机的飞行轨迹与视觉信息的映射导航方法及*** Download PDFInfo
- Publication number
- CN103196430B CN103196430B CN201310153828.6A CN201310153828A CN103196430B CN 103196430 B CN103196430 B CN 103196430B CN 201310153828 A CN201310153828 A CN 201310153828A CN 103196430 B CN103196430 B CN 103196430B
- Authority
- CN
- China
- Prior art keywords
- unmanned plane
- information
- flight path
- visual
- visual pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 244
- 238000013507 mapping Methods 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000013011 mating Effects 0.000 claims description 3
- 230000002265 prevention Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 description 13
- 230000004927 fusion Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000007500 overflow downdraw method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Landscapes
- Navigation (AREA)
Abstract
本发明提出一种基于无人机的飞行轨迹与视觉信息的映射导航方法及***。其中，方法包括以下步骤：采集无人机的视觉图像；利用无人机图像理解***分析视觉图像以获得视觉图像的特征信息和语义文本信息；根据视觉图像的特征信息及语义文本信息确定无人机飞行轨迹；根据视觉图像和对应的飞行轨迹生成映射关系数据库，其中，映射关系数据库数据可根据图像理解***实时生成或预先载入；以及根据映射关系数据库对无人机进行导航。根据本发明实施例的方法，通过将飞行轨迹与视觉图像相关联生成映射关系数据库，并根据该映射关系数据库进行学习，从而提高了对无人机进行导航的准确性，同时提高了无人机飞行的安全性。
Description
技术领域
本发明涉及无人机技术领域，特别涉及一种基于无人机的飞行轨迹与视觉信息的映射导航方法及***。
背景技术
针对日益复杂的信息环境及信息表现形式的多样性、信息数量的巨大性、信息之间关系的复杂性，以及要求对信息处理的实时性，信息融合作为信息综合处理技术，其重要性日益突显。通过对不同信息的融合可提高数据的质量，最大限度地获取有用完整信息以实现对环境的识别，目标的检测、定位，自主导航等功能。无人机可视导航是一种将综合视觉、飞行、空管和通信技术有机结合的新型导航方法，是信息融合的典型应用。可视导航中存在需要传感设备多，视觉信息数据量大，数据融合处理实时性要求高等问题。
目前，针对航迹融合进行导航或跟踪的方法主要分为两类，一类是集中式航迹融合方法，另一类是分布式航迹融合方法，而融合方法多是针对多传感器或多源信息进行融合生成较低误差航迹的方法或解决航迹关联的问题，如：简单方差凸组合法、加权融合法、分步式滤波的融合法等。但是现有技术基本上没有考虑对视觉信息的理解，对提高无人机准确可视导航方面有所欠缺，将航迹与视觉信息相融合以匹配映射的方法还未见有。与现有航迹融合技术解决处理问题的方式不同，本发明在无人机可视导航飞行环境中，将其航迹与视觉信息相融合，使得无人机具有了映射学习的功能，可以有效地提高无人机图像理解***的准确性，提高实时性和匹配性，为实现无人机自主定位、路径规划以安全飞行提供可靠避险避障导航信息。
发明内容
本发明的目的旨在至少解决上述的技术缺陷之一。
为此，本发明的一个目的在于提出一种基于无人机的飞行轨迹与视觉信息的映射导航方法。
本发明的另一目的在于提出一种基于无人机的飞行轨迹与视觉信息的映射导航***。
为达到上述目的，本发明一方面的实施例提出一种基于无人机的飞行轨迹与视觉信息的映射导航方法，包括以下步骤：
采集无人机的视觉图像；利用无人机图像理解***分析视觉图像以获得视觉图像的特征信息和语义文本信息；根据所述视觉图像的特征信息及语义文本信息确定所述无人机飞行轨迹；根据所述视觉图像和对应的飞行轨迹生成映射关系数据库，其中，所述映射关系数据库可包括所述无人机在不同视觉图像中的飞行轨迹信息、姿态、速度、策略和对应的视觉图像以备检索学习和/或传输，所述映射关系数据库数据可根据图像理解***实时生成或预先载入；以及
根据所述映射关系数据库对所述无人机进行导航。
本发明的一个实施例中，根据所述映射关系数据库对所述无人机进行导航的步骤，进一步包括：当所述无人机所采集的视觉图像与所述映射关系数据库中视觉图像相吻合时，采用与所述映射关系数据库中视觉图像对应的飞行策略对所述无人机进行导航。
本发明的一个实施例中，还包括：当所述无人机所采集的视觉图像和所述映射关系数据库中的视觉图像的匹配度大于阈值时，通过映射学习方式与所述视觉图像对应的飞行策略对所述无人机进行导航。
本发明的一个实施例中，将匹配度最高的视觉图像相对应的飞行策略作为最终飞行策略对所述无人机进行导航。
本发明的一个实施例中，所述语义文本信息包括：所述视觉图像中物体的形状、大小、运动状态、与所述无人机的相对距离及相关背景的状态信息。
本发明的一个实施例中，所述映射关系数据库中存储无人机飞行航迹和相应的视觉信息，且所述无人机飞行航迹和相应的视觉信息按照航迹或视觉信息的特征、航迹发生的时间顺序进行分类，使无人机在检索过程中根据不同类型数据进行检索。
本发明的一个实施例中，所述无人机根据历史飞行航迹与相应的视觉信息、当前时刻的飞行航迹与相应的视觉信息进行定位，并且根据当前获得的所述视觉信息进行映射学习，实现所述无人机的航迹预测和路径规划。
本发明的一个实施例中，所述映射学习方式进一步包括：根据特征识别结果和/或语义相关解释，从映射关系数据库中检索与当前所获得的数据类似的所述相关航迹与视觉信息，并根据与所述特征识别结果和/或语义相关解释匹配度最高的航迹和视觉信息进行映射学习。
本发明的一个实施例中，所述无人机有地图或可获取地图时，通过所述地图生成飞行轨迹信息，无人机可直接按照由地图生成的轨迹信息进行导航飞行，为预防环境发生变化，由地图生成的轨迹信息可与根据航迹与视觉信息融合映射学习的预测航迹信息相匹配融合生成低误差航迹信息对所述无人机进行导航。
本发明的一个实施例中，所述视觉信息包括：特征信息和语义文本信息。
根据本发明实施例的方法，通过将飞行轨迹与视觉图像相关联生成映射关系数据库，并根据该映射关系数据库进行学习，从而提高了对无人机进行导航的准确性，同时提高了无人机飞行的安全性。
为达到上述目的，本发明的实施例另一方面提出一种基于无人机的飞行轨迹与视觉信息的映射导航***，包括：采集模块，用于采集无人机的视觉图像；分析模块，用于分析所述视觉图像以获得所述视觉图像的特征信息及与所述视觉图像的特征信息匹配的语义文本信息；确定模块，用于根据视觉图像的特征信息及语义文本信息确定所述无人机的飞行轨迹；生成模块，用于根据所述视觉图像和对应的飞行轨迹生成映射关系数据库，其中，所述映射关系数据库可包括所述无人机在不同视觉图像中的飞行轨迹信息、姿态、速度、策略和对应的视觉图像以备检索学习和/或传输，映射关系数据库数据可根据图像理解***实时生成，也可预先载入；以及导航模块，用于根据所述映射关系数据库对所述无人机进行导航。
本发明的一个实施例中，所述导航模块还用于当所述无人机所采集的视觉图像与所述映射关系数据库中视觉图像相吻合时，采用与所述映射关系数据库中视觉图像对应的飞行策略对所述无人机进行导航。
本发明的一个实施例中，还包括：学习导航模块，用于所述无人机所采集的视觉图像和所述映射关系数据库中的视觉图像的匹配度大于阈值时，通过映射学习方式与所述视觉图像对应的飞行策略对所述无人机进行导航。
本发明的一个实施例中，所述学习导航模块还用于将匹配度最高的视觉图像相对应的飞行策略作为最终飞行策略对所述无人机进行导航。
本发明的一个实施例中，所述语义文本信息包括：所述视觉图像中物体的形状、大小、运动状态、与所述无人机的相对距离及相关背景的状态信息。
根据本发明实施例的***，通过将飞行轨迹与视觉图像相关联生成映射关系数据库，并根据该映射关系数据库进行学习，从而提高了对无人机进行导航的准确性，同时提高了无人机飞行的安全性。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于无人机的飞行轨迹与视觉信息的映射导航方法的流程图；
图2为根据本发明实施例的无人机图像理解***的框架图；
图3（a）（b）（c）（d）为根据本发明一个实施例的无人机确定飞行轨迹的示意图；
图4为根据本发明一个实施例的基于无人机的飞行轨迹与视觉信息的映射导航***的结构框图；以及
图5为根据本发明另一个实施例的基于无人机的飞行轨迹与视觉信息的映射导航***的结构框图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
图1为根据本发明一个实施例的基于无人机的飞行轨迹与视觉信息的映射导航方法的流程图。如图1所示，根据本发明实施例的基于无人机的飞行轨迹与视觉信息的映射导航方法，包括以下步骤：
步骤S101，采集无人机的视觉图像。
具体地，通过无人机的机载视觉传感设备实时采集无人机在飞行过程中的视觉图像，例如，摄像机等。还可以从其他无人机或设备获得可视导航所需的视频图像信息。
步骤S102，利用无人机图像理解***分析视觉图像以获得视觉图像的特征信息，并从图像模型库中搜索与视觉图像的特征信息匹配的图像语义以生成语义文本信息。语义文本信息包括：视觉图像中物体的形状、大小、与无人机的相对距离及相关背景的状态信息等。
具体地，通过对所采集的视频图像进行图像处理和识别以获得视频图像的特征信息。然后在图像模型库中搜索，其中，该图像模型库包括足够多的图像使对获取的视频图像进行识别以获得图像语义。之后再无人机根据图像语义生成语义文本信息。
图2为根据本发明实施例的无人机图像理解***的框架图。如图2所示，无人机图像理解***包括：实时视觉信息采集模块用于通过机载的视觉传感设备采集可视导航所需的视频图像信息和/或通过通信从其他无人机或设备获得可视导航所需的视频图像信息。图像特征提取模块用于通过图像处理和识别技术获得视频图像信息的特征。图像模型库用于存储图像模型信息，供图像语义生成模块进行检索识别。字典知识库用于存储关键词以及关键词之间的释义，供图像语义生成模块进行检索识别。航迹与视觉信息融合映射模块用于建立航迹与航迹对应视觉信息的相关规则，并存储无人机飞行航迹和相应的视觉信息以备检索学习和/或传输。图像语义生成模块用于根据视频图像信息的特征及航迹与视觉信息的融合信息生成语义文本信息。图2为本发明实施例的可视导航中无人机飞行航迹与视觉信息的融合映射方式的图像理解***示意图；无人机通过实时视觉信息采集模块获得机载的视觉传感设备采集可视导航所需的视频图像信息和/或获得由通信从其他无人机或设备传输来的可视导航所需的视频图像信息；在图像特征提取模块通过图像处理和识别技术获得视频图像信息的特征；所得特征信息同时与图像模型库的图形图像匹配识别，并可由图像语义生成模块获得关键语义解释；根据特征识别结果和/或语义相关解释，检索航迹与视觉信息融合映射模块中存储的类似相关航迹与视觉信息，根据与当前特征识别结果和/或语义相关解释匹配度最高的航迹与视觉信息进行映射学习，得到当前视觉信息对应的预测航迹信息，可进一步与图像语义生成模块对当前视觉信息的解释结果相融合，生成无人机导航指令继续飞行。
在本发明的一个实施例中，映射关系数据库中存储无人机飞行航迹和相应的视觉信息，且无人机飞行航迹和相应的视觉信息按照航迹或视觉信息的特征、航迹发生的时间顺序进行分类，使无人机在检索过程中根据不同类型数据进行检索。无人机根据历史飞行航迹与相应的视觉信息、当前时刻的飞行航迹与相应的视觉信息进行定位，并且根据当前获得的视觉信息进行映射学习，实现无人机的航迹预测和路径规划。
步骤S103，根据视觉图像的特征信息及语义文本信息确定无人机飞行轨迹。
具体地，从语义文本信息所获得障碍物的运动状况，例如，静止、等速或变速移动，障碍物的形状，例如，圆、球、方形等，此外还有狭缝、圆孔、门、窗户、树、山、房屋、鸟、飞行物等语义文本信息采用相应的飞行轨迹。例如，根据与无人机的相对高度可以从障碍物上方越过、或者绕过障碍物等方式确定无人机的飞行轨迹。图3为根据本发明一个实施例的无人机确定飞行轨迹的示意图。如图3的（a）、（b）、（c）、（d）所示，如遇到狭缝时，可采用直飞的方式确定飞行轨迹；遇到树或建筑物，且不宜飞过时根据障碍物的宽度采用绕行的方式确定飞行轨迹；当空中有障碍物时，采用低飞的方式确定飞行轨迹；当遇到建筑物或山等形成的拐角时，则转弯飞行。具体过程可通过如下数据表达式表示，检索到参考轨迹为Sr=fr(x,y,z,Ir,t)，其相应视觉信息为Ir=Fr(x',y',z',λ,t)，当前待匹配视觉信息为In=Fn(x',y',z',λ,t)，匹配度为MDn=g(Fr,Fn)，其中，g表示为匹配方法，若MDn>dc，dc为匹配度阈值，则由参考轨迹可得当前视觉信息的预测轨迹信息为Sn=fn(x,y,z,In,t)。其中x,y,z为轨迹空间坐标，Ir表示参考图像强度，In表示当前待匹配图像强度，t表示时间，x',y',z'为图像空间坐标，λ表示光波波长。
步骤S104，根据视觉图像和对应的飞行轨迹生成映射关系数据库，其中，映射关系数据库可包括无人机在不同视觉图像中的飞行轨迹信息、姿态、速度、策略和对应的视觉图像以备检索学习和/或传输，映射关系数据库数据可根据图像理解***实时生成或预先载入。
具体地，对不同视觉图像采用对应的飞行策略确定无人机的飞行轨迹。将该视觉图像和对应的飞行策略组成一组信息，将多个不同视觉图像得到多个飞行策略以生成映射关系数据库。如图3所示，将狭缝与直飞策略组成一组信息；将不宜飞过的树或建筑物与绕行策略组成一组信息。由此，构建由视觉图像与飞行策略相对应的映射关系数据库。
另外，飞行策略的建立，还可以依据无人机飞行时间，建立每个历史航迹点与其处视觉信息的详细对应关系，如以航迹点位置坐标作为该处视觉信息的索引，也可以抽取关键历史时刻的航迹点及其视觉信息建立对应关系，或者抽取关键航迹线段及其关键视觉信息建立对应关系。其中当索引航迹视觉信息时，可同时索引到无人机该历史时刻的姿态，高度，速度及根据该处视觉信息得到该时刻历史航迹的计算规则等信息。可以依据航迹特征或区域如：转弯、高飞、直飞、低飞、绕飞等或者视觉信息特征的文本信息如：高或低静态障碍物、高或低一定速度的动态障碍物、一定形状（如：圆、球、方等）的障碍物、狭缝、树/山/房屋/鸟/飞行物等，建立航迹与其处视觉信息的相关计算规则。
在本发明的一个实施例中，无人机所采集的视觉图像与映射关系数据库中的视觉图像进行比较，如果其匹配度大于阈值时，将通过学习与视觉图像对应的飞行策略对无人机进行导航。例如，对于一棵树无人机前后遇到的两棵树只是其大小不同，此时无人机可以学习先前的飞行策略对无人机进行导航。在匹配过程中，将匹配度最高的视觉图像相对应的飞行策略作为最终飞行策略对无人机进行导航。
根据特征识别结果和/或语义相关解释，从映射关系数据库中检索与当前所获得的数据类似的相关航迹与视觉信息，并根据与特征识别结果和/或语义相关解释匹配度最高的航迹和视觉信息进行映射学习。具体而言，可根据与当前特征识别结果和/或语义相关解释匹配度最高的航迹与视觉信息进行映射学习，具体取匹配度超过一定的阈值且匹配度较高或最高的航迹由其视觉信息生成的策略规则，将当前视觉信息的相关数据代入置换获得当前视觉信息的相应的航迹，即为无人机通过航迹与视觉信息融合映射模块学习得到的预测航迹信息。当匹配度超过一定的阈值且匹配度较高或最高的航迹与视觉信息超过一项时，可取任一项利用匹配度最高的航迹与视觉信息映射学习得到的预测航迹信息，在时延允许的情况下，也可设计多条航迹预测信息的融合关联算法进行融合得到最终的预测航迹信息。当在一定时间内，没有检索到匹配度超过一定阈值的航迹与其视觉信息时，则输出特定字符表示没有学习得到预测航迹信息。
在本发明的一个实施例中，无人机有地图或可获取地图时，通过地图所生成的轨迹，并根据航迹与航迹和视觉信息对无人机进行导航。视觉信息包括：特征信息和语义文本信息。
步骤S105，根据映射关系数据库对无人机进行导航。
具体地，无人机实时采集视觉图像与映射关系数据库中的视觉图像信息进行比较，当所采集的视觉图像与映射关系数据库中视觉图像相吻合时，采用与映射关系数据库中视觉图像对应的飞行策略对无人机进行导航。
根据本发明实施例的方法，通过将飞行轨迹与视觉图像相关联生成映射关系数据库，并根据该映射关系数据库进行学习，从而提高了对无人机进行导航的准确性，同时提高了无人机飞行的安全性。
在本发明的一个实施例中，在预先有地图或者有数字地图发生器产生地图信息的情况下，无人机可直接按照由地图生成的轨迹信息进行导航飞行，为预防环境发生变化，由地图生成的轨迹信息可与根据航迹与视觉信息融合映射模块映射学习的预测航迹信息相匹配融合生成低误差航迹信息进行导航飞行。也可直接将地图信息融合到无人机航迹与视觉信息融合映射模块的映射关系数据库中或无人机图像理解***的图形图像模型库中以识别和匹配生成可视导航信息。
图4为根据本发明一个实施例的基于无人机的飞行轨迹与视觉信息的映射导航***的结构框图。如图4所示，根据本发明实施例的基于无人机的飞行轨迹与视觉信息的映射导航***包括采集模块100、分析模块200、确定模块300、生成模块400和导航模块500。
采集模块100用于采集无人机的视觉图像。
具体地，采集模块100通过无人机的机载视觉传感设备实时采集无人机在飞行过程中的视觉图像，例如，摄像机等。还可以从其他无人机或设备获得可视导航所需的视频图像信息。
分析模块200用于分析视觉图像以获得视觉图像的特征信息及与视觉图像的特征信息匹配的语义文本信息。
具体地，分析模块200通过对所采集的视频图像进行图像处理和识别以获得视频图像的特征信息。然后在图像模型库中搜索，其中，该图像模型库包括足够多的图像使对获取的视频图像进行识别以获得图像语义。之后再无人机根据图像语义生成语义文本信息。
确定模块300用于根据视觉图像的特征信息及语义文本信息确定无人机的飞行轨迹。
具体地，确定模块300从语义文本信息所获得障碍物的运动状况，例如，静止、等速或变速移动、障碍物的形状，例如，圆、球、方形等，此外还有狭缝、圆孔、门、窗户、树、山、房屋、鸟、飞行物等语义文本信息采用相应的飞行轨迹。例如，根据与无人机的相对高度可以从障碍物上方越过、或者绕过障碍物等方式确定无人机的飞行轨迹。图3为根据本发明一个实施例的无人机确定飞行轨迹的示意图。如图3的（a）、（b）、（c）、（d）所示，如遇到狭缝时，可采用直飞的方式确定飞行轨迹；遇到树或建筑物，且不宜飞过时根据障碍物的宽度采用绕行的方式确定飞行轨迹；当空中有障碍物时，采用低飞的方式确定飞行轨迹；当遇到建筑物或山等形成的拐角时，则转弯飞行。具体过程可通过如下数据表达式表示，检索到参考轨迹为Sr=fr(x,y,z,Ir,t)，其相应视觉信息为Ir=Fr(x',y',z',λ,t)，当前待匹配视觉信息为In=Fn(x',y',z',λ,t)，匹配度为MDn=g(Fr,Fn)，其中，g表示为匹配方法，若MDn>dc，dc为匹配度阈值，则由参考轨迹可得当前视觉信息的预测轨迹信息为Sn=fn(x,y,z,In,t)。其中，x,y,z为轨迹空间坐标，Ir表示参考图像强度，In表示当前待匹配图像强度，t表示时间，x',y',z'为图像空间坐标，λ表示光波波长。
生成模块400用于根据视觉图像和对应的飞行轨迹生成映射关系数据库，其中，映射关系数据库数据可根据图像理解***实时生成，也可预先载入。语义文本信息包括：视觉图像中物体的形状、大小、与无人机的相对距离及相关背景的状态信息。
具体地，确定模块300对不同视觉图像采用对应的飞行策略确定无人机的飞行轨迹，并由生成模块400将该视觉图像和对应的飞行策略组成一组信息，将多个不同视觉图像得到多个飞行策略以生成映射关系数据库。如图3所示，将狭缝与直飞策略组成一组信息；将不宜飞过的树或建筑物与绕行策略组成一组信息。由此，构建由视觉图像与飞行策略相对应的映射关系数据库。
另外，飞行策略的建立，还可以依据无人机飞行时间，建立每个历史航迹点与其处视觉信息的详细对应关系，如以航迹点位置坐标作为该处视觉信息的索引，也可以抽取关键历史时刻的航迹点及其视觉信息建立对应关系，或者抽取关键航迹线段及其关键视觉信息建立对应关系。其中当索引航迹视觉信息时，可同时索引到无人机该历史时刻的姿态，高度，速度及根据该处视觉信息得到该时刻历史航迹的计算规则等信息。可以依据航迹特征或区域如：转弯、高飞、直飞、低飞、绕飞等或者视觉信息特征的文本信息如：高或低静态障碍物、高或低一定速度的动态障碍物、一定形状（如：圆、球、方等）的障碍物、狭缝、树/山/房屋/鸟/飞行物等，建立航迹与其处视觉信息的相关计算规则。
导航模块500用于根据映射关系数据库对无人机进行导航。
具体地，导航模块500将实时采集视觉图像与映射关系数据库中的视觉图像信息进行比较，当所采集的视觉图像与映射关系数据库中视觉图像相吻合时，采用与映射关系数据库中视觉图像对应的飞行策略对无人机进行导航。
图5为根据本发明另一个实施例的基于无人机的飞行轨迹与视觉信息的映射导航***的结构框图。如图5所示，根据本发明实施例的基于无人机的飞行轨迹与视觉信息的映射导航***还包括学习导航模块600。
学习导航模块600用于无人机所采集的视觉图像和映射关系数据库中的视觉图像的匹配度大于阈值时，通过映射学习方式与视觉图像对应的飞行策略对无人机进行导航。例如，对于一棵树无人机前后遇到的两棵树只是其大小不同，此时无人机可以学习先前的飞行策略对无人机进行导航。在匹配过程中，将匹配度最高的视觉图像相对应的飞行策略作为最终飞行策略对无人机进行导航。
在本发明的一个实施例中，学习导航模块600将匹配度最高的视觉图像相对应的飞行策略作为最终飞行策略对无人机进行导航。
在本发明的一个实施例中，分析模块200根据特征识别结果和/或语义相关解释，从映射关系数据库中检索与当前所获得的数据类似的相关航迹与视觉信息，学习导航模块600根据与特征识别结果和/或语义相关解释匹配度最高的航迹和视觉信息进行映射学习。具体地，学习导航模块600根据与当前特征识别结果和/或语义相关解释匹配度最高的航迹与视觉信息进行映射学习，具体取匹配度超过一定的阈值且匹配度较高或最高的航迹由其视觉信息生成的策略规则，学习导航模块600将当前视觉信息的相关数据代入置换获得当前视觉信息的相应的航迹，即为无人机通过航迹与视觉信息融合映射模块学习得到的预测航迹信息。当匹配度超过一定的阈值且匹配度较高或最高的航迹与视觉信息超过一项时，可取任一项利用匹配度最高的航迹与视觉信息映射学习得到的预测航迹信息，在时延允许的情况下，也可设计多条航迹预测信息的融合关联算法进行融合得到最终的预测航迹信息。如果在一定时间内，没有检索到匹配度超过一定阈值的航迹与其视觉信息时，学习导航模块600输出特定字符表示没有学习得到预测航迹信息。
在本发明的一个实施例中，无人机有地图或可获取地图时，通过地图所生成的轨迹，并根据航迹与航迹和视觉信息对无人机进行导航。视觉信息包括：特征信息和语义文本信息。
根据本发明实施例的***，通过将飞行轨迹与视觉图像相关联生成映射关系数据库，并根据该映射关系数据库进行学习，从而提高了对无人机进行导航的准确性，同时提高了无人机飞行的安全性。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (13)
1.一种基于无人机的飞行轨迹与视觉信息的映射导航方法，其特征在于，包括以下步骤：
采集无人机的视觉图像；
利用无人机图像理解***分析视觉图像以获得视觉图像的特征信息和语义文本信息；
根据所述视觉图像的特征信息及语义文本信息确定所述无人机飞行轨迹；
根据所述视觉图像和对应的飞行轨迹生成映射关系数据库，其中，所述映射关系数据库包括所述无人机在不同视觉图像中的飞行轨迹信息、姿态、速度、策略和对应的视觉图像以备检索学习和/或传输，所述映射关系数据库数据根据图像理解***实时生成或预先载入；
根据所述映射关系数据库对所述无人机进行导航；
当所述无人机所采集的视觉图像和所述映射关系数据库中的视觉图像的匹配度大于阈值时，通过映射学习方式与所述视觉图像对应的飞行策略对所述无人机进行导航。
2.如权利要求1所述的基于无人机的飞行轨迹与视觉信息的映射导航方法，其特征在于，根据所述映射关系数据库对所述无人机进行导航的步骤，进一步包括：
当所述无人机所采集的视觉图像与所述映射关系数据库中视觉图像相吻合时，采用与所述映射关系数据库中视觉图像对应的飞行策略对所述无人机进行导航。
3.如权利要求1所述的基于无人机的飞行轨迹与视觉信息的映射导航方法，其特征在于，将匹配度最高的视觉图像相对应的飞行策略作为最终飞行策略对所述无人机进行导航。
4.如权利要求1所述的基于无人机的飞行轨迹与视觉信息的映射导航方法，其特征在于，所述语义文本信息包括：所述视觉图像中物体的形状、大小、运动状态、与所述无人机的相对距离及相关背景的状态信息。
5.如权利要求1所述的基于无人机的飞行轨迹与视觉信息的映射导航方法，其特征在于，所述映射关系数据库中存储无人机飞行航迹和相应的视觉信息，且所述无人机飞行航迹和相应的视觉信息按照航迹或视觉信息的特征、航迹发生的时间顺序进行分类，使无人机在检索过程中根据不同类型数据进行检索。
6.如权利要求1所述的基于无人机的飞行轨迹与视觉信息的映射导航方法，其特征在于，所述无人机根据历史飞行航迹与相应的视觉信息、当前时刻的飞行航迹与相应的视觉信息进行定位，并且根据当前获得的所述视觉信息进行映射学习，实现所述无人机的航迹预测和路径规划。
7.如权利要求1所述的基于无人机的飞行轨迹与视觉信息的映射导航方法，其特征在于，所述映射学习方式进一步包括：
根据特征识别结果和/或语义相关解释，从映射关系数据库中检索与当前所获得的数据类似的所述相关航迹与视觉信息，并根据与所述特征识别结果和/或语义相关解释匹配度最高的航迹和视觉信息进行映射学习。
8.如权利要求1所述的基于无人机的飞行轨迹与视觉信息的映射导航方法，其特征在于，所述无人机有地图或可获取地图时，通过所述地图生成飞行轨迹信息，无人机直接按照由地图生成的轨迹信息进行导航飞行，为预防环境发生变化，由地图生成的轨迹信息与根据航迹与视觉信息融合映射学习的预测航迹信息相匹配融合生成低误差航迹信息对所述无人机进行导航。
9.如权利要求5至8中任一项所述的基于无人机的飞行轨迹与视觉信息的映射导航方法，其特征在于，所述视觉信息包括：特征信息和语义文本信息。
10.一种基于无人机的飞行轨迹与视觉信息的映射导航***，其特征在于，包括：
采集模块，用于采集无人机的视觉图像；
分析模块，用于分析所述视觉图像以获得所述视觉图像的特征信息及与所述视觉图像的特征信息匹配的语义文本信息；
确定模块，用于根据视觉图像的特征信息及语义文本信息确定所述无人机的飞行轨迹；
生成模块，用于根据所述视觉图像和对应的飞行轨迹生成映射关系数据库，其中，所述映射关系数据库包括所述无人机在不同视觉图像中的飞行轨迹信息、姿态、速度、策略和对应的视觉图像以备检索学习和/或传输，映射关系数据库数据根据图像理解***实时生成或预先载入；
导航模块，用于根据所述映射关系数据库对所述无人机进行导航；
学习导航模块，用于所述无人机所采集的视觉图像和所述映射关系数据库中的视觉图像的匹配度大于阈值时，通过映射学习方式与所述视觉图像对应的飞行策略对所述无人机进行导航。
11.如权利要求10所述的基于无人机的飞行轨迹与视觉信息的映射导航***，其特征在于，所述导航模块还用于当所述无人机所采集的视觉图像与所述映射关系数据库中视觉图像相吻合时，采用与所述映射关系数据库中视觉图像对应的飞行策略对所述无人机进行导航。
12.如权利要求10所述的基于无人机的飞行轨迹与视觉信息的映射导航***，其特征在于，所述学习导航模块还用于将匹配度最高的视觉图像相对应的飞行策略作为最终飞行策略对所述无人机进行导航。
13.如权利要求10所述的基于无人机的飞行轨迹与视觉信息的映射导航***，其特征在于，所述语义文本信息包括：所述视觉图像中物体的形状、大小、运动状态、与所述无人机的相对距离及相关背景的状态信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310153828.6A CN103196430B (zh) | 2013-04-27 | 2013-04-27 | 基于无人机的飞行轨迹与视觉信息的映射导航方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310153828.6A CN103196430B (zh) | 2013-04-27 | 2013-04-27 | 基于无人机的飞行轨迹与视觉信息的映射导航方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103196430A CN103196430A (zh) | 2013-07-10 |
| CN103196430B true CN103196430B (zh) | 2015-12-09 |
Family
ID=48719134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310153828.6A Active CN103196430B (zh) | 2013-04-27 | 2013-04-27 | 基于无人机的飞行轨迹与视觉信息的映射导航方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103196430B (zh) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103941748B (zh) | 2014-04-29 | 2016-05-25 | 百度在线网络技术（北京）有限公司 | 自主导航方法及***和地图建模方法及*** |
| US10168696B2 (en) | 2016-03-31 | 2019-01-01 | International Business Machines Corporation | Dynamic analysis of real-time restrictions for remote controlled vehicles |
| CN105955291B (zh) * | 2016-04-29 | 2021-04-27 | 深圳市哈博森科技有限公司 | 一种无人机飞行航线轨迹记录与自动飞行控制方式 |
| CN106297237B (zh) * | 2016-08-17 | 2021-07-16 | 联想(北京)有限公司 | 一种控制方法及电子设备 |
| CN107278262B (zh) * | 2016-11-14 | 2021-03-30 | 深圳市大疆创新科技有限公司 | 飞行轨迹的生成方法、控制装置及无人飞行器 |
| CN106355866A (zh) * | 2016-11-14 | 2017-01-25 | 徐志勇 | 无人机检测影像储存分析*** |
| CN106647807B (zh) * | 2016-12-29 | 2019-12-31 | 上海资誉电子科技有限公司 | 无人机的应对策略生成方法和*** |
| WO2018195955A1 (zh) * | 2017-04-28 | 2018-11-01 | 深圳市大疆创新科技有限公司 | 一种基于飞行器的设施检测方法及控制设备 |
| CN107444665B (zh) * | 2017-07-24 | 2020-06-09 | 长春草莓科技有限公司 | 一种无人机自主降落方法 |
| US11513233B2 (en) | 2017-08-29 | 2022-11-29 | Adam Wajnberg et al. | Drone escort system |
| CN107450593B (zh) * | 2017-08-30 | 2020-06-12 | 清华大学 | 一种无人机自主导航方法和*** |
| WO2019041266A1 (zh) * | 2017-08-31 | 2019-03-07 | 深圳市大疆创新科技有限公司 | 一种路径规划方法、飞行器、飞行*** |
| CN107993308A (zh) * | 2017-09-08 | 2018-05-04 | 北京航空航天大学 | 一种独立式无人机飞行安全监测与信息管理*** |
| US10387727B2 (en) * | 2017-09-13 | 2019-08-20 | Wing Aviation Llc | Backup navigation system for unmanned aerial vehicles |
| CN108088438B (zh) * | 2017-12-05 | 2021-05-14 | 普达迪泰（天津）智能装备科技有限公司 | 一种无人机视觉导航测试方法及*** |
| US10689110B2 (en) * | 2018-02-12 | 2020-06-23 | Wipro Limited | Method and system for performing inspection and maintenance tasks of three-dimensional structures using drones |
| CN109064467A (zh) * | 2018-08-20 | 2018-12-21 | 贵州宜行智通科技有限公司 | 小区安防的分析方法、装置及电子设备 |
| CN109275027A (zh) * | 2018-09-26 | 2019-01-25 | Tcl海外电子（惠州）有限公司 | 视频的语音输出方法、电子播放设备及存储介质 |
| CN109799838B (zh) * | 2018-12-21 | 2022-04-15 | 金季春 | 一种训练方法和*** |
| CN109765922A (zh) * | 2019-03-07 | 2019-05-17 | 安徽省川佰科技有限公司 | 一种无人机飞行轨迹辅助调整方法 |
| CN110940320A (zh) * | 2019-07-19 | 2020-03-31 | 华北电力大学（保定） | 一种基于无人机巡航的露天料场监控*** |
| CN111209899B (zh) * | 2019-12-31 | 2023-06-02 | 科大讯飞股份有限公司 | 救助物资投放方法、***、装置及存储介质 |
| CN112668652A (zh) * | 2020-12-31 | 2021-04-16 | 哈尔滨工业大学 | 无人装备对抗中集群阵型和运动趋势的识别方法及*** |
| CN115248877B (zh) * | 2022-09-22 | 2023-01-17 | 中国电子科技集团公司第十五研究所 | 一种基于多模态的轨迹文本匹配方法 |
| CN117452969B (zh) * | 2023-12-06 | 2024-07-02 | 西藏创博通航科技有限公司 | 基于多模态数据处理的无人机导航方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101619985A (zh) * | 2009-08-06 | 2010-01-06 | 上海交通大学 | 基于可变形拓扑地图的服务机器人自主导航方法 |
| CN102436738A (zh) * | 2011-09-26 | 2012-05-02 | 同济大学 | 一种基于无人机的交通监测装置 |
| CN102853830A (zh) * | 2012-09-03 | 2013-01-02 | 东南大学 | 一种基于一般物体识别的机器人视觉导航方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102426019B (zh) * | 2011-08-25 | 2014-07-02 | 航天恒星科技有限公司 | 一种无人机景象匹配辅助导航方法及*** |
-
2013
- 2013-04-27 CN CN201310153828.6A patent/CN103196430B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101619985A (zh) * | 2009-08-06 | 2010-01-06 | 上海交通大学 | 基于可变形拓扑地图的服务机器人自主导航方法 |
| CN102436738A (zh) * | 2011-09-26 | 2012-05-02 | 同济大学 | 一种基于无人机的交通监测装置 |
| CN102853830A (zh) * | 2012-09-03 | 2013-01-02 | 东南大学 | 一种基于一般物体识别的机器人视觉导航方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103196430A (zh) | 2013-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103196430B (zh) | 基于无人机的飞行轨迹与视觉信息的映射导航方法及*** | |
| Liu et al. | Predicting aircraft trajectories: A deep generative convolutional recurrent neural networks approach | |
| US9911340B2 (en) | Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics | |
| CN106896353A (zh) | 一种基于三维激光雷达的无人车路口检测方法 | |
| CN109597087A (zh) | 一种基于点云数据的3d目标检测方法 | |
| Emmi et al. | A hybrid representation of the environment to improve autonomous navigation of mobile robots in agriculture | |
| CN106873630A (zh) | 一种飞行控制方法及装置，执行设备 | |
| CN110276972A (zh) | 一种基于车联网的目标物感知方法及*** | |
| CN105893621A (zh) | 基于多维航迹聚类的目标行为规律挖掘方法 | |
| CN110298330A (zh) | 一种输电线路巡检机器人单目检测与定位方法 | |
| CN104463909A (zh) | 基于信度组合地图模型的视觉目标跟踪方法 | |
| Xie et al. | Hierarchical forest based fast online loop closure for low-latency consistent visual-inertial SLAM | |
| CN111199243A (zh) | 一种基于改进决策树的空中目标识别方法及*** | |
| Linxi et al. | Human Following for Outdoor Mobile Robots Based on Point‐Cloud's Appearance Model | |
| Li et al. | An efficient point cloud place recognition approach based on transformer in dynamic environment | |
| CN116719247B (zh) | 一种数字太空仿真***及方法 | |
| CN112380933A (zh) | 无人机识别目标的方法、装置及无人机 | |
| Karaoğuz et al. | An integrated model of autonomous topological spatial cognition | |
| CN115311867B (zh) | 隧道场景的定位方法、装置、计算机设备、存储介质 | |
| Garforth et al. | Lost in the woods? Place recognition for navigation in difficult forest environments | |
| CN112380314A (zh) | 路网信息的处理方法和装置、存储介质及电子设备 | |
| Liu et al. | Peaks fusion assisted early-stopping strategy for overhead imagery segmentation with noisy labels | |
| Gaspar et al. | Limit characterization for visual place recognition in underwater scenes | |
| Yu et al. | Large-scale scene mapping and localization based on multi-sensor fusion | |
| CN115662167B (zh) | 自动驾驶地图构建方法、自动驾驶方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |