CN117115414B - 基于深度学习的无gps无人机定位方法及装置 - Google Patents
基于深度学习的无gps无人机定位方法及装置 Download PDFInfo
- Publication number
- CN117115414B CN117115414B CN202311371352.3A CN202311371352A CN117115414B CN 117115414 B CN117115414 B CN 117115414B CN 202311371352 A CN202311371352 A CN 202311371352A CN 117115414 B CN117115414 B CN 117115414B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- unmanned aerial
- aerial vehicle
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 110
- 238000013145 classification model Methods 0.000 claims abstract description 47
- 239000011159 matrix material Substances 0.000 claims abstract description 30
- 230000009466 transformation Effects 0.000 claims abstract description 20
- 230000001131 transforming effect Effects 0.000 claims abstract description 9
- 230000000694 effects Effects 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 235000019580 granularity Nutrition 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于深度学习的无GPS无人机定位方法及装置，该方法包括：建立目标检测模型、图像数据库和多个分类模型；通过目标检测模型与分类模型对目标图像分类，得到分类结果；对分类结果特征匹配，获取预匹配图像，转换坐标系得到三维特征点；匹配检测目标与预匹配图像的特征，获得二维特征点对，确定透视变换矩阵；通过透视变换矩阵确定目标图像到预匹配图像的旋转角度，并变换目标图像的像素坐标点，确定无人机航向信息；根据三维特征点与像素坐标点获取无人机的位姿；根据位姿确定当前位置，转换得到无人机的坐标信息；通过坐标信息与航向信息确定无人机位置。该方法能够不依赖GPS信号实现无人机定位，避免无人机因信号中断而造成损失。
Description
技术领域
本申请涉及无人机定位技术领域，尤其涉及一种基于深度学习的无GPS无人机定位方法及装置。
背景技术
无人机在民用领域的应用越来越广泛，例如：公共安全、应急搜救、农林、环保、交通、通信、气象、影视航拍等。无人机依靠其自身的自主定位能力完成特定的工作。无人机实现自主定位能力的核心是依靠全球卫星定位***和机载的惯性导航装置。
目前，在室外开阔区域，全球卫星定位***已经足以提供成熟的定位服务。但是在室外遮挡环境下，单纯依靠全球卫星定位***依然存在诸多的限制和不足。当无人机处在复杂场景、偏远地区、被物体遮挡、电磁信号受干扰的场景下，全球卫星定位***存在限制，GPS(Global Positioning System，全球卫星定位***)信号较弱，导致无人机无法精准定位。特别是针对巡检的无人机，如在边境等受到管制地区巡检时，GPS受到干扰或暂时失灵时，很可能导致无人机丢失或损毁。
发明内容
本申请实施例通过提供一种基于深度学习的无GPS无人机定位方法，解决了现有技术中无GPS信号或GPS信号弱时无人机难以精确定位的问题，实现了一种不依赖GPS信号的定位方法能够解决上述问题。
第一方面，本申请实施例提供了一种基于深度学习的无GPS无人机定位方法，包括：基于多视角的历史航拍图像建立目标检测模型和图像数据库，并基于所述图像数据库构建多个分类模型；其中，所述图像数据库用于存储包含方向信息的目标图像；通过所述目标检测模型与所述分类模型对所述目标图像进行检测和分类，得到分类结果；根据所述分类结果进行特征匹配，获取检测目标的预匹配图像，并转换坐标系得到所述预匹配图像的三维特征点；提取所述检测目标与所述预匹配图像的特征并匹配，基于匹配效果获得二维特征点对，根据所述二维特征点对确定透视变换矩阵；通过所述透视变换矩阵确定所述目标图像到所述预匹配图像的旋转角度，基于所述旋转角度变换所述目标图像的像素坐标点，并确定无人机的航向信息；根据所述预匹配图像的所述三维特征点与变换完的所述目标图像的所述像素坐标点获取无人机的位姿；根据所述位姿确定无人机的当前位置，并对所述当前位置进行转换得到无人机的坐标信息；通过所述坐标信息与所述航向信息确定无人机位置。
结合第一方面，在第一种可能的实现方式中，所述基于多视角的历史航拍图像建立目标检测模型，包括：对所述历史航拍图像进行标注与多角度扩充以构建目标检测数据集，基于所述目标检测数据集进行训练后获得所述目标检测模型。
结合第一方面，在第二种可能的实现方式中，所述基于所述图像数据库构建多个分类模型，包括：对所述图像数据库进行分类并多角度扩充得到多个分类数据集；对各所述分类数据集进行训练后构建对应的所述分类模型。
结合第一方面，在第三种可能的实现方式中，所述通过所述目标检测模型与所述分类模型对所述目标图像进行检测和分类，得到分类结果，包括：通过所述目标检测模型对所述目标图像进行检测，获得检测目标的像素坐标及粗分类结果；根据所述粗分类结果确定适用的所述分类模型；通过确定的所述分类模型对所述粗分类结果进行细分类，得到所述分类结果。
结合第一方面，在第四种可能的实现方式中，所述获取检测目标的预匹配图像前，还包括：若在所述目标图像中检测出多个目标，则将距所述目标图像的中心点最近的目标作为所述检测目标。
结合第一方面，在第五种可能的实现方式中，所述转换坐标系得到所述预匹配图像的三维特征点，包括：将所述预匹配图像的坐标点由LLA坐标系转换为地心空间直角坐标系；确定完成转换的所述坐标点的均值，并进行减均值处理得到所述三维特征点。
结合第一方面，在第六种可能的实现方式中，所述提取所述检测目标与所述预匹配图像的特征并匹配，基于匹配效果获得二维特征点对，包括：对所述检测目标与所述预匹配图像进行特征提取，获得特征点对与对应的描述子；对所述特征点对进行特征匹配，并剔除效果不好的所述特征点对，得到所述二维特征点对。
结合第一方面，在第七种可能的实现方式中，所述根据所述预匹配图像的所述三维特征点与变换完的所述目标图像的所述像素坐标点获取无人机的位姿，还包括：确定所述预匹配图像的所述三维特征点与变换完的所述目标图像的所述像素坐标点之间的对应关系；确定无人机在地心空间直角坐标系中的初始位姿；对所述初始位姿进行重投影误差优化获得所述位姿。
第二方面，本申请实施例提供了一种基于深度学习的无GPS无人机定位装置，包括：构建模块，用于基于多视角的历史航拍图像建立目标检测模型和图像数据库，并基于所述图像数据库构建多个分类模型；其中，所述图像数据库用于存储包含方向信息的目标图像；分类模块，用于通过所述目标检测模型与所述分类模型对所述目标图像进行检测和分类，得到分类结果；匹配模块，用于根据所述分类结果进行特征匹配，获取检测目标的预匹配图像，并转换坐标系得到所述预匹配图像的三维特征点；提取模块，用于提取所述检测目标与所述预匹配图像的特征并匹配，基于匹配效果获得二维特征点对，根据所述二维特征点对确定透视变换矩阵；定向模块，用于通过所述透视变换矩阵确定所述目标图像到所述预匹配图像的旋转角度，基于所述旋转角度变换所述目标图像的像素坐标点，并确定无人机的航向信息；获取模块，用于根据所述预匹配图像的所述三维特征点与变换完的所述目标图像的所述像素坐标点获取无人机的位姿；转换模块，用于根据所述位姿确定无人机的当前位置，并对所述当前位置进行转换得到无人机的坐标信息；定位模块，用于通过所述坐标信息与所述航向信息确定无人机位置。
结合第二方面，在第一种可能的实现方式中，所述基于多视角的历史航拍图像建立目标检测模型，包括：对所述历史航拍图像进行标注与多角度扩充以构建目标检测数据集，基于所述目标检测数据集进行训练后获得所述目标检测模型。
结合第二方面，在第二种可能的实现方式中，所述基于所述图像数据库构建多个分类模型，包括：对所述图像数据库进行分类并多角度扩充得到多个分类数据集；对各所述分类数据集进行训练后构建对应的所述分类模型。
结合第二方面，在第三种可能的实现方式中，所述通过所述目标检测模型与所述分类模型对所述目标图像进行检测和分类，得到分类结果，包括：通过所述目标检测模型对所述目标图像进行检测，获得检测目标的像素坐标及粗分类结果；根据所述粗分类结果确定适用的所述分类模型；通过确定的所述分类模型对所述粗分类结果进行细分类，得到所述分类结果。
结合第二方面，在第四种可能的实现方式中，所述获取检测目标的预匹配图像前，还包括：若在所述目标图像中检测出多个目标，则将距所述目标图像的中心点最近的目标作为所述检测目标。
结合第二方面，在第五种可能的实现方式中，所述转换坐标系得到所述预匹配图像的三维特征点，包括：将所述预匹配图像的坐标点由LLA坐标系转换为地心空间直角坐标系；确定完成转换的所述坐标点的均值，并进行减均值处理得到所述三维特征点。
结合第二方面，在第六种可能的实现方式中，所述提取所述检测目标与所述预匹配图像的特征并匹配，基于匹配效果获得二维特征点对，包括：对所述检测目标与所述预匹配图像进行特征提取，获得特征点对与对应的描述子；对所述特征点对进行特征匹配，并剔除效果不好的所述特征点对，得到所述二维特征点对。
结合第二方面，在第七种可能的实现方式中，所述根据所述预匹配图像的所述三维特征点与变换完的所述目标图像的所述像素坐标点获取无人机的位姿，还包括：确定所述预匹配图像的所述三维特征点与变换完的所述目标图像的所述像素坐标点之间的对应关系；确定无人机在地心空间直角坐标系中的初始位姿；对所述初始位姿进行重投影误差优化获得所述位姿。
第三方面，本申请实施例提供了一种设备，所述设备包括：处理器；用于存储处理器可执行指令的存储器；所述处理器执行所述可执行指令时，实现如第一方面或第一方面任一种可能实现的方式所述的方法。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本申请实施例通过构建目标检测模型与分类模型，能够提升航拍图像的分类精度，通过目标识别匹配能够确定无人机的位姿进而确定无人机的位置，有效解决了现有技术中无GPS信号或GPS信号弱时无人机难以精确定位的问题，进而实现了一种基于深度学习的无GPS无人机定位方法，能够不依赖GPS信号实现无人机定位，避免无人机飞行过程中因信号中断而造成损失，还能够降低定位成本。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于深度学习的无GPS无人机定位方法的流程图；
图2为本申请实施例提供的通过目标检测模型与分类模型对航拍图像分类的流程图；
图3为本申请实施例提供的基于深度学习的无GPS无人机定位装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下对本申请实施例涉及的部分技术做出说明，以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了部分对公知功能和结构的描述。
图1是本申请实施例提供的基于深度学习的无GPS无人机定位方法的流程图，包括步骤101至步骤108。其中，图1仅为本申请实施例示出的一种执行顺序，并不代表基于深度学习的无GPS无人机定位方法的唯一执行顺序，在可实现最终结果的情况下，图1所示出的步骤可以被并列或颠倒执行。
步骤101：基于多视角的历史航拍图像建立目标检测模型和图像数据库，并基于图像数据库构建多个分类模型。具体地，获取一定区域范围内的多视角的多帧历史航拍图像，且历史航拍图像均具有方位信息，即各个点的经纬高坐标。其中，图像数据库用于存储包含方向信息的目标图像，以及每个目标图像四个角点的经纬高信息，这些目标图像为历史航拍图像中具有标志性特点的物体图像。
在本申请实施例中，对历史航拍图像进行标注与多角度扩充以构建目标检测数据集，基于目标检测数据集进行训练后获得目标检测模型。具体地，为保证无人机从任何角度飞过都能检测到目标，需要对历史航拍图像进行多角度扩充用以目标检测。对历史航拍图像中的地标性建筑群、湖泊、地貌、河流、桥梁等类别进行标注并扩充，并用标注扩充后的图像数据集训练目标检测算法，得到该区域范围内的目标检测模型。示例性地，在此处使用的目标检测算法为YOLOv8。需要注意的是，上述标注类别与YOLOv8算法仅为本申请的实施例，不作为对本申请保护范围的限制。本领域技术人员可以根据采集区域的实际情况对航拍图像进行分类标注，亦可将YOLOv8算法替换为YOLOv6、YOLOv7、YOLO-NAS等目标检测算法，本申请在此不作具体限定。
在本申请实施例中，对图像数据库进行分类并多角度扩充得到多个分类数据集。对各分类数据集进行训练后构建对应的分类模型。其中，分类模型包括地标性建筑类模型与其他类模型。具体地，对历史航拍图像进行预处理，并对分类后的历史航拍图像进行增广扩充得到多个分类数据集。分别用不同的分类数据集训练模型，得到对应的分类模型。由于本申请实施例中采集的历史航拍图像中地标性建筑群较多，甚至接近其他类别的总和，故构建了两个不同的分类模型，分别为地标性建筑类模型与其他类模型，与单个的分类模型相比分类精度更高。
步骤102：通过目标检测模型与分类模型对目标图像进行检测和分类，得到分类结果。在本申请实施例中，采用不同粒度的分类方法，能够提升模型的分类精度，减少误检率，如图2所示，包括步骤201至步骤203，具体如下。
步骤201：通过目标检测模型对目标图像进行检测，获得检测目标的像素坐标及粗分类结果。在本申请实施例中，获取目标图像与其对应的方位信息，使用目标检测模型对目标图像中检测到的目标进行粗分类，将检测到的目标粗分为地标性建筑类和其他类两个类别。
步骤202：根据粗分类结果确定适用的分类模型。在本申请实施例中，根据粗分类结果，判定检测到的某一检测目标的分类属于地标性建筑类还是其他类，并调用对应的分类模型。
步骤203：通过确定的分类模型对粗分类结果进行细分类，得到分类结果。具体地，用对应的分类模型对检测目标进行细分类，将检测目标定位到一个具体的小类别。例如，经过目标检测模型将一个检测目标分为建筑类，用对应建筑类图像分类模型对建筑类的检测目标进一步分类，分为***中预先设置的一类建筑或二类建筑。
步骤103：根据分类结果进行特征匹配，获取检测目标的预匹配图像，并转换坐标系得到预匹配图像的三维特征点。在本申请实施例中，使用BRISK算法对分类结果进行特征匹配，匹配到与检测目标相似度最高的航拍图像关键帧作为预匹配图像，并获得其经纬高坐标。本领域技术人员应当意识到上述BRISK算法仅为本申请的实施例，不作为对本申请保护范围的限制，本领域技术人员亦可将其替换为AKAZE、ORB、SIFT等算法。
此外，若在目标图像中检测出多个目标，则将距目标图像的中心点最近的目标作为检测目标。
在本申请实施例中，将预匹配图像的坐标点由LLA（Longitude，Latitude，Altitude，经纬高坐标系）坐标系转换为地心空间直角坐标系。确定完成转换的坐标点的均值，并进行减均值处理得到三维特征点。具体地，将LLA坐标系（经纬高）转换为地心空间直角坐标系（XYZ），计算每个坐标轴上坐标值的总和以及每个坐标轴上的均值，再用每个坐标点的值减去均值，得到新的坐标值，即为三维特征点。
步骤104：提取检测目标与预匹配图像的特征并匹配，基于匹配效果获得二维特征点对，根据二维特征点对确定透视变换矩阵。在本申请实施例中，对检测目标与预匹配图像进行特征提取，获得特征点对与对应的描述子。对特征点对进行特征匹配，并剔除效果不好的特征点对，得到二维特征点对。其中，效果不好的特征点对指不具有代表性、过于繁琐、不具有区分度、不具有鲁棒性或不稳定的点。
通过匹配好的二维特征点对计算检测目标所在的图像与预匹配图像之间的透视变换矩阵，相当于将检测目标所在的图像与预匹配图像对齐。
步骤105：通过透视变换矩阵确定目标图像到预匹配图像的旋转角度，基于旋转角度变换目标图像的像素坐标点，并确定无人机的航向信息。具体地，通过透视变换矩阵，找到从预匹配图像的四个角点变换到目标图像之间的像素坐标点位置。再通过像素坐标计算，可得到预匹配图像到目标图像的旋转角度。此处的透视变换矩阵由匹配的像素坐标点与相机内部参数经过层层计算确定，为本领域常用的一种确定方法，故不在此处作具体描述。
根据旋转角度可以确定无人机的姿态信息，即俯仰角、滚转角和偏航角。最后根据无人机的经纬高信息与姿态信息即可计算出无人机的航向信息。
步骤106：根据预匹配图像的三维特征点与变换完的目标图像的像素坐标点获取无人机的位姿。在本申请实施例中，确定预匹配图像的三维特征点与变换完的目标图像的像素坐标点之间的对应关系。确定无人机在地心空间直角坐标系中的初始位姿。示例性地，通过多视图几何计算方法（通过PnP估计相机位姿）计算出无人机处于地心空间直角坐标系的初始位姿。对初始位姿进行重投影误差优化获得位姿。在本申请实施例中，对解算出的无人机的初始位姿进行LM最小化重投影误差。并优化相机姿态和三维点位置，迭代得出无人机位姿。
步骤107：根据位姿确定无人机的当前位置，并对当前位置进行转换得到无人机的坐标信息。在本申请实施例中，历史航拍图像与目标图像均具有方位信息，计算得到无人机的位姿后，通过矩阵运算计算出无人机的位置，此时无人机的位置为地心空间直角坐标系下的位置，再将无人机的位置的坐标系转换为LLA坐标系，得到飞机的经纬高度信息，即无人机的坐标信息。在一个具体的实施例中，通过矩阵运算计算出无人机的位置具体可通过罗德里格斯公式将旋转向量转换为旋转矩阵，并对旋转矩阵求逆乘平移矩阵计算出飞机的位置。
步骤108：通过坐标信息与航向信息确定无人机位置。在本申请实施例中，获得无人机的坐标信息与航向信息即可实现无人机定位。
虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。本实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照本实施例或者附图所示的方法顺序执行或者并行执行（例如并行处理器或者多线程处理的环境）。
如图3所示，本申请实施例还提供一种基于深度学习的无GPS无人机定位装置300。该装置包括：构建模块301、分类模块302、匹配模块303、提取模块304、定向模块305、获取模块306、转换模块307与定位模块308，具体如下。
构建模块301用于基于多视角的历史航拍图像建立目标检测模型和图像数据库，并基于图像数据库构建多个分类模型。其中，图像数据库用于存储包含方向信息的目标图像。构建模块301具体用于，具体地，获取一定区域范围内的多视角的多帧历史航拍图像，且历史航拍图像均具有方位信息，即各个点的经纬高坐标。其中，图像数据库用于存储包含方向信息的目标图像，以及每个目标图像四个角点的经纬高信息，这些目标图像为历史航拍图像中具有标志性特点的物体图像。
在本申请实施例中，对历史航拍图像进行标注与多角度扩充以构建目标检测数据集，基于目标检测数据集进行训练后获得目标检测模型。具体地，为保证无人机从任何角度飞过都能检测到目标，需要对历史航拍图像进行多角度扩充用以目标检测。对历史航拍图像中的地标性建筑群、湖泊、地貌、河流、桥梁等类别进行标注并扩充，并用标注扩充后的图像数据集训练目标检测算法，得到该区域范围内的目标检测模型。示例性地，在此处使用的目标检测算法为YOLOv8。需要注意的是，上述标注类别与YOLOv8算法仅为本申请的实施例，不作为对本申请保护范围的限制。本领域技术人员可以根据采集区域的实际情况对航拍图像进行分类标注，亦可将YOLOv8算法替换为YOLOv6、YOLOv7、YOLO-NAS等目标检测算法，本申请在此不作具体限定。
在本申请实施例中，对图像数据库进行分类并多角度扩充得到多个分类数据集。对各分类数据集进行训练后构建对应的分类模型。其中，分类模型包括地标性建筑类模型与其他类模型。具体地，对历史航拍图像进行预处理，并对分类后的历史航拍图像进行增广扩充得到多个分类数据集。分别用不同的分类数据集训练模型，得到对应的分类模型。由于本申请实施例中采集的历史航拍图像中地标性建筑群较多，甚至接近其他类别的总和，故构建了两个不同的分类模型，分别为地标性建筑类模型与其他类模型，与单个的分类模型相比分类精度更高。
分类模块302用于通过目标检测模型与分类模型对目标图像进行检测和分类，得到分类结果。分类模块302具体用于，采用不同粒度的分类方法，能够提升模型的分类精度，减少误检率，具体如图2所示。
通过目标检测模型对目标图像进行检测，获得检测目标的像素坐标及粗分类结果。在本申请实施例中，获取目标图像与其对应的方位信息，使用目标检测模型对目标图像中检测到的目标进行粗分类，将检测到的目标粗分为地标性建筑类和其他类两个类别。
根据粗分类结果确定适用的分类模型。在本申请实施例中，根据粗分类结果，判定检测到的某一检测目标的分类属于地标性建筑类还是其他类，并调用对应的分类模型。
通过确定的分类模型对粗分类结果进行细分类，得到分类结果。具体地，用对应的分类模型对检测目标进行细分类，将检测目标定位到一个具体的小类别。例如，经过目标检测模型将一个检测目标分为建筑类，用对应建筑类图像分类模型对建筑类的检测目标进一步分类，分为***中预先设置的一类建筑或二类建筑。
匹配模块303用于根据分类结果进行特征匹配，获取检测目标的预匹配图像，并转换坐标系得到预匹配图像的三维特征点。匹配模块303具体用于，使用BRISK算法对分类结果进行特征匹配，匹配到与检测目标相似度最高的航拍图像关键帧作为预匹配图像，并获得其经纬高坐标。本领域技术人员应当意识到上述BRISK算法仅为本申请的实施例，不作为对本申请保护范围的限制，本领域技术人员亦可将其替换为AKAZE、ORB、SIFT等算法。
此外，若在目标图像中检测出多个目标，则将距目标图像的中心点最近的目标作为检测目标。
在本申请实施例中，将预匹配图像的坐标点由LLA坐标系转换为地心空间直角坐标系。确定完成转换的坐标点的均值，并进行减均值处理得到三维特征点。具体地，将LLA坐标系（经纬高）转换为地心空间直角坐标系（XYZ），计算每个坐标轴上坐标值的总和以及每个坐标轴上的均值，再用每个坐标点的值减去均值，得到新的坐标值，即为三维特征点。
提取模块304用于提取检测目标与预匹配图像的特征并匹配，基于匹配效果获得二维特征点对，根据二维特征点对确定透视变换矩阵。提取模块304具体用于，对检测目标与预匹配图像进行特征提取，获得特征点对与对应的描述子。对特征点对进行特征匹配，并剔除效果不好的特征点对，得到二维特征点对。其中，效果不好的特征点对指不具有代表性、过于繁琐、不具有区分度、不具有鲁棒性或不稳定的点。
通过匹配好的二维特征点对计算检测目标所在的图像与预匹配图像之间的透视变换矩阵，相当于将检测目标所在的图像与预匹配图像对齐。
定向模块305用于通过透视变换矩阵确定目标图像到预匹配图像的旋转角度，基于旋转角度变换目标图像的像素坐标点，并确定无人机的航向信息。定向模块305具体用于，通过透视变换矩阵，找到从预匹配图像的四个角点变换到目标图像之间的像素坐标点位置。再通过像素坐标计算，可得到预匹配图像到目标图像的旋转角度。此处的透视变换矩阵由匹配的像素坐标点与相机内部参数经过层层计算确定，为本领域常用的一种确定方法，故不在此处做具体描述。
根据旋转角度可以确定无人机的姿态信息，即俯仰角、滚转角和偏航角。最后根据无人机的经纬高信息与姿态信息即可计算出无人机的航向信息。
获取模块306用于根据预匹配图像的三维特征点与变换完的目标图像的像素坐标点获取无人机的位姿。获取模块306具体用于，确定预匹配图像的三维特征点与变换完的目标图像的像素坐标点之间的对应关系。确定无人机在地心空间直角坐标系中的初始位姿。示例性地，通过多视图几何计算方法（通过PnP估计相机位姿）计算出无人机处于地心空间直角坐标系的初始位姿。对初始位姿进行重投影误差优化获得位姿。在本申请实施例中，对解算出的无人机的初始位姿进行LM最小化重投影误差。并优化相机姿态和三维点位置，迭代得出无人机位姿。
转换模块307用于根据位姿确定无人机的当前位置，并对当前位置进行转换得到无人机的坐标信息。转换模块307具体用于，历史航拍图像与目标图像均具有方位信息，计算得到无人机的位姿后，通过矩阵运算计算出无人机的位置，此时无人机的位置为地心空间直角坐标系下的位置，再将无人机的位置的坐标系转换为LLA坐标系，得到飞机的经纬高度信息，即无人机的坐标信息。在一个具体的实施例中，通过矩阵运算计算出无人机的位置具体可通过罗德里格斯公式将旋转向量转换为旋转矩阵，并对旋转矩阵求逆乘平移矩阵计算出飞机的位置。
定位模块308用于通过坐标信息与航向信息确定无人机位置。定位模块308具体用于，获得无人机的坐标信息与航向信息即可实现无人机定位。
本申请所述装置中的部分模块可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述申请实施例阐明的装置或模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述方便，描述以上装置时以功能分为各种模块分别描述。在实施本申请实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。当然，也可以将实现某功能的模块由多个子模块或子单元组合实现。
本申请中所述的方法、装置或模块可以以计算机可读程序代码方式实现控制器按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（英文：Application Specific Integrated Circuit；简称：ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本申请实施例还提供了一种设备，所述设备包括：处理器；用于存储处理器可执行指令的存储器；所述处理器执行所述可执行指令时，实现如本申请实施例所述的方法。
本申请实施例还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序或指令，当该计算机程序或指令被执行时，使如本申请实施例中所述的方法被实现。
此外，在本发明的各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独存在，也可以两个或两个以上模块集成在一个模块中。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的硬件的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，也可以通过数据迁移的实施过程中体现出来。
本说明书中的各个实施方式采用递进的方式描述，各个实施方式之间相同或相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。本申请的全部或者部分可用于众多通用或专用的计算机***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、移动通信终端、多处理器***、基于微处理器的***、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。
以上实施例仅用以说明本申请的技术方案，而非对本申请限制；尽管参照前述实施例对本申请进行了详细的说明，本领域普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请技术方案的范围。
Claims (9)
1.一种基于深度学习的无GPS无人机定位方法，其特征在于，包括：
基于多视角的历史航拍图像建立目标检测模型和图像数据库，并基于所述图像数据库构建多个分类模型；其中，所述图像数据库用于存储包含方向信息的目标图像；
通过所述目标检测模型与所述分类模型对所述目标图像进行检测和分类，得到分类结果；
根据所述分类结果进行特征匹配，获取检测目标的预匹配图像，并转换坐标系得到所述预匹配图像的三维特征点；
提取所述检测目标与所述预匹配图像的特征并匹配，基于匹配效果获得二维特征点对；
根据匹配好的所述二维特征点对计算所述检测目标所在的图像与所述预匹配图像之间的透视变换矩阵；
通过所述透视变换矩阵确定所述目标图像到所述预匹配图像的旋转角度，基于所述旋转角度变换所述目标图像的像素坐标点，并确定无人机的航向信息；
根据所述预匹配图像的所述三维特征点与变换完的所述目标图像的所述像素坐标点获取无人机的位姿，具体如下：
确定所述预匹配图像的所述三维特征点与变换完的所述目标图像的所述像素坐标点之间的对应关系；
确定无人机在地心空间直角坐标系中的初始位姿；
对所述初始位姿进行重投影误差优化获得所述位姿；
根据所述位姿确定无人机的当前位置，并对所述当前位置进行转换得到无人机的坐标信息；
通过所述坐标信息与所述航向信息确定无人机位置。
2.根据权利要求1所述的方法，其特征在于，所述基于多视角的历史航拍图像建立目标检测模型，包括：
对所述历史航拍图像进行标注与多角度扩充以构建目标检测数据集，基于所述目标检测数据集进行训练后获得所述目标检测模型。
3.根据权利要求1所述的方法，其特征在于，所述基于所述图像数据库构建多个分类模型，包括：
对所述图像数据库进行分类并多角度扩充得到多个分类数据集；
对各所述分类数据集进行训练后构建对应的所述分类模型。
4.根据权利要求1所述的方法，其特征在于，所述通过所述目标检测模型与所述分类模型对所述目标图像进行检测和分类，得到分类结果，包括：
通过所述目标检测模型对所述目标图像进行检测，获得检测目标的像素坐标及粗分类结果；
根据所述粗分类结果确定适用的所述分类模型；
通过确定的所述分类模型对所述粗分类结果进行细分类，得到所述分类结果。
5.根据权利要求1所述的方法，其特征在于，所述获取检测目标的预匹配图像前，还包括：
若在所述目标图像中检测出多个目标，则将距所述目标图像的中心点最近的目标作为所述检测目标。
6.根据权利要求1所述的方法，其特征在于，所述转换坐标系得到所述预匹配图像的三维特征点，包括：
将所述预匹配图像的坐标点由LLA坐标系转换为地心空间直角坐标系；
确定完成转换的所述坐标点的均值，并进行减均值处理得到所述三维特征点。
7.根据权利要求1所述的方法，其特征在于，所述提取所述检测目标与所述预匹配图像的特征并匹配，基于匹配效果获得二维特征点对，包括：
对所述检测目标与所述预匹配图像进行特征提取，获得特征点对与对应的描述子；
对所述特征点对进行特征匹配，并剔除效果不好的所述特征点对，得到所述二维特征点对。
8.一种基于深度学习的无GPS无人机定位装置，其特征在于，包括：
构建模块，用于基于多视角的历史航拍图像建立目标检测模型和图像数据库，并基于所述图像数据库构建多个分类模型；其中，所述图像数据库用于存储包含方向信息的目标图像；
分类模块，用于通过所述目标检测模型与所述分类模型对所述目标图像进行检测和分类，得到分类结果；
匹配模块，用于根据所述分类结果进行特征匹配，获取检测目标的预匹配图像，并转换坐标系得到所述预匹配图像的三维特征点；
提取模块，用于提取所述检测目标与所述预匹配图像的特征并匹配，基于匹配效果获得二维特征点对；根据匹配好的所述二维特征点对计算所述检测目标所在的图像与所述预匹配图像之间的透视变换矩阵；
定向模块，用于通过所述透视变换矩阵确定所述目标图像到所述预匹配图像的旋转角度，基于所述旋转角度变换所述目标图像的像素坐标点，并确定无人机的航向信息；
获取模块，用于根据所述预匹配图像的所述三维特征点与变换完的所述目标图像的所述像素坐标点获取无人机的位姿，具体如下：
确定所述预匹配图像的所述三维特征点与变换完的所述目标图像的所述像素坐标点之间的对应关系；
确定无人机在地心空间直角坐标系中的初始位姿；
对所述初始位姿进行重投影误差优化获得所述位姿；
转换模块，用于根据所述位姿确定无人机的当前位置，并对所述当前位置进行转换得到无人机的坐标信息；
定位模块，用于通过所述坐标信息与所述航向信息确定无人机位置。
9.一种用于执行基于深度学习的无GPS无人机定位方法的设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
所述处理器执行所述可执行指令时，实现如权利要求1至7中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311371352.3A CN117115414B (zh) | 2023-10-23 | 2023-10-23 | 基于深度学习的无gps无人机定位方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311371352.3A CN117115414B (zh) | 2023-10-23 | 2023-10-23 | 基于深度学习的无gps无人机定位方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117115414A CN117115414A (zh) | 2023-11-24 |
| CN117115414B true CN117115414B (zh) | 2024-02-23 |
Family
ID=88798724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311371352.3A Active CN117115414B (zh) | 2023-10-23 | 2023-10-23 | 基于深度学习的无gps无人机定位方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115414B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117496114A (zh) * | 2023-11-29 | 2024-02-02 | 西安道达天际信息技术有限公司 | 一种目标定位方法、***及计算机存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109974693A (zh) * | 2019-01-31 | 2019-07-05 | 中国科学院深圳先进技术研究院 | 无人机定位方法、装置、计算机设备及存储介质 |
| CN110047108A (zh) * | 2019-03-07 | 2019-07-23 | 中国科学院深圳先进技术研究院 | 无人机位姿确定方法、装置、计算机设备及存储介质 |
| CN110047142A (zh) * | 2019-03-19 | 2019-07-23 | 中国科学院深圳先进技术研究院 | 无人机三维地图构建方法、装置、计算机设备及存储介质 |
| WO2021227359A1 (zh) * | 2020-05-14 | 2021-11-18 | 佳都新太科技股份有限公司 | 一种无人机投影方法、装置、设备及存储介质 |
| CN113850126A (zh) * | 2021-08-20 | 2021-12-28 | 武汉卓目科技有限公司 | 一种基于无人机的目标检测和三维定位方法和*** |
| CN115115859A (zh) * | 2022-06-16 | 2022-09-27 | 天津大学 | 基于无人机航拍的长线性工程施工进度智能识别与分析方法 |
| WO2022247548A1 (zh) * | 2021-05-27 | 2022-12-01 | 上海商汤智能科技有限公司 | 定位方法和装置、电子设备及存储介质 |
| CN115661204A (zh) * | 2022-11-01 | 2023-01-31 | 中国人民解放军军事科学院国防科技创新研究院 | 一种无人机集群对运动目标的协同搜寻与跟踪定位方法 |
| KR102556765B1 (ko) * | 2022-07-04 | 2023-07-18 | 주식회사 브이알크루 | 비주얼 로컬라이제이션을 위한 방법 및 장치 |
| CN116817887A (zh) * | 2023-06-28 | 2023-09-29 | 哈尔滨师范大学 | 语义视觉slam地图构建方法、电子设备及存储介质 |
-
2023
- 2023-10-23 CN CN202311371352.3A patent/CN117115414B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109974693A (zh) * | 2019-01-31 | 2019-07-05 | 中国科学院深圳先进技术研究院 | 无人机定位方法、装置、计算机设备及存储介质 |
| CN110047108A (zh) * | 2019-03-07 | 2019-07-23 | 中国科学院深圳先进技术研究院 | 无人机位姿确定方法、装置、计算机设备及存储介质 |
| CN110047142A (zh) * | 2019-03-19 | 2019-07-23 | 中国科学院深圳先进技术研究院 | 无人机三维地图构建方法、装置、计算机设备及存储介质 |
| WO2021227359A1 (zh) * | 2020-05-14 | 2021-11-18 | 佳都新太科技股份有限公司 | 一种无人机投影方法、装置、设备及存储介质 |
| WO2022247548A1 (zh) * | 2021-05-27 | 2022-12-01 | 上海商汤智能科技有限公司 | 定位方法和装置、电子设备及存储介质 |
| CN113850126A (zh) * | 2021-08-20 | 2021-12-28 | 武汉卓目科技有限公司 | 一种基于无人机的目标检测和三维定位方法和*** |
| CN115115859A (zh) * | 2022-06-16 | 2022-09-27 | 天津大学 | 基于无人机航拍的长线性工程施工进度智能识别与分析方法 |
| KR102556765B1 (ko) * | 2022-07-04 | 2023-07-18 | 주식회사 브이알크루 | 비주얼 로컬라이제이션을 위한 방법 및 장치 |
| CN115661204A (zh) * | 2022-11-01 | 2023-01-31 | 中国人民解放军军事科学院国防科技创新研究院 | 一种无人机集群对运动目标的协同搜寻与跟踪定位方法 |
| CN116817887A (zh) * | 2023-06-28 | 2023-09-29 | 哈尔滨师范大学 | 语义视觉slam地图构建方法、电子设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Pose estimation of a non-cooperative spacecraft without the detection and recognition of point cloud features;Kang, Guohua 等;《ACTA ASTRONAUTICA》;第569-580页 * |
| 无人机位姿测量的点特征视觉方法;吴雷;黄斌;李旺灵;孙永荣;;飞控与探测(01);第41-46页 * |
| 隔离断路器金具自动化解接机器人视觉引导定位方法研究;朱胜龙;李宾宾;张晨晨;秦少瑞;卢山富;朱徐峰;;高压电器(07);第211-217页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117115414A (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yahyanejad et al. | A fast and mobile system for registration of low-altitude visual and thermal aerial images using multiple small-scale UAVs | |
| Krajník et al. | A practical multirobot localization system | |
| Patruno et al. | A vision-based approach for unmanned aerial vehicle landing | |
| Leira et al. | Object detection, recognition, and tracking from UAVs using a thermal camera | |
| US11430199B2 (en) | Feature recognition assisted super-resolution method | |
| CN113568435B (zh) | 一种基于无人机自主飞行态势感知趋势的分析方法与*** | |
| CN117115414B (zh) | 基于深度学习的无gps无人机定位方法及装置 | |
| Eynard et al. | Real time UAV altitude, attitude and motion estimation from hybrid stereovision | |
| Pessanha Santos et al. | Two‐stage 3D model‐based UAV pose estimation: A comparison of methods for optimization | |
| Yuan et al. | High Speed Safe Autonomous Landing Marker Tracking of Fixed Wing Drone Based on Deep Learning | |
| Al Said et al. | Retracted: An unmanned aerial vehicles navigation system on the basis of pattern recognition applications—Review of implementation options and prospects for development | |
| CN113012215A (zh) | 一种空间定位的方法、***及设备 | |
| Kaufmann et al. | Shadow-based matching for precise and robust absolute self-localization during lunar landings | |
| Wang et al. | 3D-LIDAR based branch estimation and intersection location for autonomous vehicles | |
| Han et al. | Geolocation of multiple targets from airborne video without terrain data | |
| Jiang et al. | Multilayer map construction and vision-only multi-scale localization for intelligent vehicles in underground parking | |
| CN116678424A (zh) | 高精度车辆定位、矢量化地图构建及定位模型训练方法 | |
| WO2023030062A1 (zh) | 一种无人机的飞行控制方法、装置、设备、介质及程序 | |
| Silva Filho et al. | UAV visual autolocalizaton based on automatic landmark recognition | |
| Yan et al. | Horizontal velocity estimation via downward looking descent images for lunar landing | |
| Sulaj et al. | Examples of real-time UAV data processing with cloud computing | |
| Huang et al. | Research on UAV's Autonomous Target Landing with Image and GPS under Complex Environment | |
| Timotheatos et al. | Visual horizon line detection for uav navigation | |
| Bhattarai et al. | Real Time Human Detection and Localization Using Consumer Grade Camera and Commercial UAV | |
| Hanyu et al. | Absolute pose estimation of UAV based on large-scale satellite image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |