CN111929718A - 一种自动驾驶对象探测和定位***及方法 - Google Patents

一种自动驾驶对象探测和定位***及方法 Download PDF

Info

Publication number
CN111929718A
CN111929718A CN202010538035.6A CN202010538035A CN111929718A CN 111929718 A CN111929718 A CN 111929718A CN 202010538035 A CN202010538035 A CN 202010538035A CN 111929718 A CN111929718 A CN 111929718A
Authority
CN
China
Prior art keywords
module
measurement data
inertial navigation
stereoscopic vision
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010538035.6A
Other languages
English (en)
Inventor
王峰
潘观潮
刘进辉
王宏武
王晓洒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Dongguan Pulingsi Intelligent Electron Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Pulingsi Intelligent Electron Co ltd filed Critical Dongguan Pulingsi Intelligent Electron Co ltd
Priority to CN202010538035.6A priority Critical patent/CN111929718A/zh
Priority to PCT/CN2020/102996 priority patent/WO2021248636A1/zh
Publication of CN111929718A publication Critical patent/CN111929718A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/343—Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manufacturing & Machinery (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种自动驾驶对象探测和定位***及方法，该方法包括以下步骤：获取自动驾驶车辆的惯性导航模块测量数据、立体视觉模块的图像数据及卫星导航原始测量数据和深度神经网络模块检测判断软件模块；将立体视觉模块的图像数据、卫星导航原始测量数据及惯性导航模块测量数据进行紧耦合，限制惯性导航模块的漂移误差的增大，保证定位的精度；同时使用卫星‑惯性导航协助的立体视觉直接方法，建立三维的环境信息，再利用深度神经网络模块，判断和分类环境中的目标和障碍物。本发明具有最大限度地提高自动驾驶感知***的定位精度、提高计算效率和可靠性的优点。

Description

一种自动驾驶对象探测和定位***及方法
技术领域
本发明涉及计算机应用技术领域，特别涉及一种自动驾驶对象探测和定位***及方法。
背景技术
近年来，随着人们对汽车安全意识的增强以尽信息技术的发展，自动驾驶领域越来越受关注，世界上许多公司和科研机构都开始投入研发自动驾驶相关产品，预计2021年自动驾驶车辆将进入市场，给汽车行业带来巨大的变革。相关研究表明自动驾驶技术的发展将会在多种领域带来颠覆性的发展，例如其发展可以增强公路的交通安全、缓解交通拥堵状况和减少环境污染等方面，同时自动驾驶技术也是衡量一个国家科研实力和工业水平的一个重要标志，在国防和国民经济领域具有广阔的应用前景。
自动驾驶是指汽车通过车载传感***来对道路环境进行感知，并根据感知所获得的道路、车辆位置和障碍物信息等控制车辆的转向和速度，进而自动规划行车路线并控制车辆到达预定目标的技术。
如今在自动驾驶方面，各大公司都有自己的技术方向，现有技术已有双目直接方法的视觉***和惯性导航模块的组合***，但是组合***中视觉***和惯性导航模块产生的误差不能有效限制，组合***在长时间无图像梯度情况下误差会无限制增长，导致组合***感知失败。
现有技术也有单目特征点方法的视觉***、惯性导航模块及卫星导航的紧耦合自动驾驶感知***，但是单目摄像头无法探测到无特征障碍物，比如高速路的隔离护栏、自行车或动物等。而现有视觉***也有采用双目立体视觉***进行耦合，但是仍然采用特征点法，计算量大，且对硬件性能要求高。目前最先进的双目立体视觉环境检测方法，也只使用了双目视觉中的视觉差信息，并没有使用摄像头在不同时间、位置采集到的图像来实现环境的三维建模。
发明内容
本发明的目的在于提供一种自动驾驶对象探测和定位***及方法，具有最大限度地提高自动驾驶感知***的定位精度、提高计算效率和可靠性的优点，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种自动驾驶对象探测和定位***，包括立体视觉图像处理模块、卫星导航模块、惯性导航模块及***紧耦合模块，其中：
立体视觉图像处理模块，采用或者多目摄像头获取立体视觉模块的图像数据；
卫星导航模块，用于通过接收机获取卫星导航原始测量数据；
惯性导航模块，用于采用惯性传感器获取惯性导航模块的测量数据；
***紧耦合模块，用于将所述惯性导航模块测量数据、所述立体视觉模块的图像数据及所述卫星导航原始测量数据进行紧耦合处理，并建立三维环境信息，最后利用深度神经网络模块检测环境中的目标和障碍物；
所述深度神经网络由三维稀疏卷积神经网络、点网神经网络和二者的组合构成；
所述立体视觉图像处理模块、所述卫星导航模块及所述惯性导航模块均与所述***紧耦合模块连接。
进一步地，所述立体视觉图像处理模块包含双目或者多目摄像头。
本发明要解决的另一种技术方案：一种自动驾驶对象探测和定位的方法，包括以下步骤：
S1：获取立体视觉模块的图像数据、惯性导航模块的测量数据及卫星导航原始测量数据；
S2：将立体视觉模块的图像数据、卫星导航原始测量数据及所述惯性导航模块的测量数据进行紧耦合，对惯性导航模块的漂移误差进行修正；
S3：将立体视觉模块的图像数据、卫星导航原始测量数据及所述惯性导航模块的测量数据进行紧耦合，建立三维环境信息，再使用深度神经网络模块判断和分类环境中的目标和障碍物；
S4：深度神经网络使用三维稀疏卷积神经网络、点网神经网络或者是二者的组合。
进一步地，所述立体视觉模块采用多目，包括双目摄像头直接方法进行处理，所述图像数据包括在同一时刻多目或者双目立体视觉摄像头之间的视觉差和每一个摄像头在不同时间、位置拍摄到的图像信息来建立环境的三维信息。
进一步地，所述紧耦合由立体视觉的加权重投影误差、卫星导航误差和来自惯性导航的状态误差构成成本函数。
进一步地，所述S1具体包括如下步骤：
S11：采用多目或者是双目摄像头获取立体视觉模块的图像数据、图像数据包括在同一时刻多目或者双目立体视觉摄像头之间的视觉差和每一个摄像头在不同时间、位置拍摄到的图像信息；
S12：采用惯性传感器获取惯性导航模块的测量数据；
S13：通过接收机获取卫星导航原始测量数据；
S14：将所述惯性导航模块测量数据、所述图像数据及所述卫星导航原始测量数据进行紧耦合处理。
进一步地，所述S11具体包括如下步骤：
S111：用多目或者双目摄像头采集环境图像信号；
S112：组合多个不同摄像头在同一个时刻拍摄到的视觉差和每一个摄像头在不同时间、位置拍摄到的图像，形成立体视觉观测的直接方法；
S113：并组合惯性导航、卫星导航的测量数据，建立三维环境信息，最后使用深度神经网络模块分类和判断环境中的目标和障碍物。
进一步地，所述S12具体包括如下步骤：
S121：利用惯性传感器测量自动驾驶车辆在固定坐标系下的3 轴加速度和3轴角速度；
S122：将所述加速度和所述角速度转动到导航坐标系下,求解惯性导航机械编排方程并计算出自动驾驶车辆的位置和姿态角；
S123：图像数据、惯性导航数据和卫星导航数据组合，建立三维环境信息，再利用深度神经网络模块，分类和判断环境中的目标和障碍物。
进一步地，所述S14具体包括：通过所述卫星导航原始测量数据结合所述立体视觉模块的图像数据对所述惯性导航模块的漂移误差进行校正。
与现有技术相比，本发明的有益效果是：本发明将惯性导航模块测量数据、立体视觉模块的图像数据及卫星导航原始测量数据三者进行紧耦合，对惯性导航模块测量数据的误差进行修正，从而提高了定位精度，再利用立体视觉直接方法实现的三维环境建模数据和深度神经网络，识别和判断环境中的物体。被***借助高精度的三维稀疏卷积神经网络、点网神经网络或者是它们的组合，提高障碍物判断的准确度，不再借助于昂贵的激光扫描雷达，从而降低自动驾驶汽车的成本。
附图说明
图1为本发明实施例自动驾驶定位和对象探测方法的流程图；
图2为本发明实施例自动驾驶对象探测和定位***的三维稀疏卷积神经网络的结构图；
图3为本发明实施例自动驾驶对象探测和定位***的点网神经网络的结构图；
图4为本发明实施例自动驾驶对象探测和定位***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于立体视觉模块、惯性导航模块及卫星导航模块紧耦合的自动驾驶对象探测和定位***及方法，惯性导航可连续提供信息，短时间精度高，但是定位误差会随时间积累；卫星导航长期稳定性好，但易受到干扰，数据更新频率低；通常的立体视觉使用特征点方法，首先在图像中挑选多个特征点，再利用左右眼拍到的这些特征点的视觉差，进行匹配。最后使用三角方法确定这些特征点的到照相机的距离信息，从而首先三维环境探测和定位。基于特征点的立体视觉方法需要在每一帧图像中挑选很多特征点，花费大量的计算资源，而且在很多情况下，图像中并没有合适的特征点。比如图像强度只有一个固定梯度的情况下，特征点方法就会完全失败。基于特征点的立体视觉方法，也没有利用摄像头在不同位置拍摄到的图像来实现距离测量，浪费了宝贵的测量数据，导致环境建模精度误差和定位误差。
更好的算法是使用立体视觉直接方法，它不需要挑选特征点，节约计算资源，而且只要有梯度的图像就可以实现环境建模和定位。再加上它不仅利用不同摄像头在同一时刻拍摄到的图像数据，它还利用摄像头在不同时间、位置拍摄到的图像信息进行三维建模和定位，立体视觉根据不同照相机的视差，计算障碍物到照相机的距离，但视觉***在图像缺乏梯度的环境下，不能有效定位和探测障碍物距离。将立体视觉直接方法、惯性导航及卫星导航构成组合导航***，从而可相互协助感知车辆的状态和环境状态，在不同环境下互补，提高了可靠性和导航精度，能精确提取距离，可以替代现有的激光扫描雷达，降低成本。
图1为本发明实施例紧耦合的自动驾驶感知方法的流程图，如图1所示，该紧耦合的自动驾驶感知方法具体包括：
S1、获取自动驾驶车辆的惯性导航模块测量数据、立体视觉模块的图像数据及卫星导航原始测量数据；S2、在紧耦合过程中，将立体视觉模块的图像数据及卫星导航原始测量数据与惯性导航模块测量数据进行紧耦合，对惯性导航模块测量数据的误差进行修正,从而感知车辆的状态和环境的状态。下面对具体的自动驾驶感知方法的过程进行详细描述：
(1)立体视觉模块的图像数据通过双目直接方法的立体视觉图像处理模块获取，下面对采用双目摄像头获取立体视觉模块的图像数据的详细过程进行描述：
直接方法是基于灰度不变假设的，同一个空间点的像素灰度，在各个图像中是固定不变的，直接方法不需要提取特征，同时在缺乏角点和边缘或光线变化不明显的环境，也有较好效果；且直接方法需处理的数据较少，可实现高计算效率。
采用双目直接方法处理摄像头立体视觉拍摄到的图像具体过程如下：
1.利用双目摄像头从不同位置获取被测物体的两幅或多幅图像的灰度图像(彩色的图可以使用红、绿、兰的强度，分别使用本方法)，记录双目摄像头在t和t+1时刻获得的图像为Ii和Ij。
2.通过matlab或者opencv进行相机标定，获得相机的内参。
3.根据相机内参对获得的图像进行畸变矫正处理。
4.将上述的图像数据输入到***紧耦合模块中，根据拍摄图像的计算出光度测量能量，再计算误差能量函数，通过最小化误差函数，实现照相机本体的定位和环境三维感知。具体的，图像Ii中的空间点Pi出现在另一帧图像Ij中，其中Ii和Ij为同一个照相机在不同位置和姿态下拍摄到的图像，选取图像Ii和Ij中出现的一个空间点Pi，根据同一空间三维点在各个视角下测到的灰度值不变假设原理，图像Ii中的点p在图像Ij的投影p’由下式计算：
Figure BDA0002537756170000071
其中，ΠK和
Figure RE-GDA0002721375730000072
是相机图像帧点的投影和反投影函数,dp是p点的逆深度,Tji是图像帧之间的转换关系：
Figure BDA0002537756170000081
其中,Rji是一个3*3的旋转矩阵，t是平移向量。
其光度误差能量函数为：
Figure RE-GDA0002721375730000082
其中，||·||γ是Huber范数，是为了防止误差能量函数随光度误差增长过快；ωp是权值，为了将图像中梯度大的像素点对应的权值缩小，这样最终的能量函数能够反映大多数像素点的光度误差，而不是个别梯度大的像素点的误差；Ii[p]和Ij[p']分别为Pi在图像对应点的灰度值。
通过最小化光度误差能量进行优化从而得到相机位置和姿态角，当光度误差能量为最小值，求解得到立体视觉模块相机位姿和环境信息的图像数据。得到目标函数为：
Figure RE-GDA0002721375730000083
上述的公式(1-3，1-4)是单目摄像头的光度误差能量函数。当摄像头为双目或者多目摄像头时，直接方法的立体视觉模块，组合图像数据包括双目摄像头同时采集到的视觉静态差数据和每一个摄像头在不同时间、位置采集到的动态时间序列数据。双目直接法通过引入耦合因子λ来平衡运动中相机每个图像帧和静态立体视觉的相对权重，其误差能量函数为：
Figure RE-GDA0002721375730000084
其中，obs(p)表示所有可以观察到p点的图像帧，Epj S是静态立体视觉中的误差能量函数,i属于为不同图像帧，p属于同一帧的多个点，j为可以观察到p点的所有帧。则根据公式(1-4)及公式(1-5)可以得出新的双目摄像头的目标函数。上述两个图像帧之间的转换中出现的Rji和t，即是相机的位姿，通过采用梯度下降法或者高斯牛顿法求解目标函数，从而得到相机的位姿以及和空间点Pi的三维坐标。进而通过该相机位姿对惯性导航中自动驾驶车辆的惯性导航模块测量数据的误差进行修正，该双目直接方法获取的相机位姿不需要提取特征，对道路和环境变化反应能力显著提高。很多空间点Pi的三维坐标的集合就成为环境的三维点云。
(2)惯性导航模块测量数据通过惯性测量单元获取，惯性导航模块测量数据包括自动驾驶车辆的加速度矢量及转动角速率矢量，下面对获取惯性导航模块测量数据的详细过程进行描述：
首先，利用惯性传感器测量自动驾驶车辆在固定坐标系下的3 轴加速度和3轴角速度。安装在车辆上的惯性测量单元为为加速度计和陀螺仪，其中，加速度计用于测量车辆加速度，陀螺仪用于测量车辆角速度。测量传感器存在零飘等测量误差，这些测量误差使得定位误差以时间平方增长、姿态角误差以时间成比例增长，如果不加以限制，导航***很快失去能力，则，通过建模进行误差补偿，可减小确定性误差和随机漂移误差。
将加速度和角速度转动到导航坐标系下,求解惯性导航机械编排方程并计算出自动驾驶车辆的位置和姿态角。具体的，进行位姿数值更新和误差补偿时所选用的导航系均为n系，通常是东北天。
在东北天坐标系下，车辆的位置更新公式如下：
Figure BDA0002537756170000101
Figure BDA0002537756170000102
Figure BDA0002537756170000103
在上述公式中，
Figure BDA0002537756170000104
为载体速度在n系中的投影；λ、L和h分别表示载体的经度、纬度和高度；a表示WGS-84坐标系下基本大地参数-椭球体的长半轴长，e为椭球体的偏心率。最终得到关于λ、L、h的微分方程,根据求解可以得到λ、L、h的值，从而可以计算出自动驾驶车辆的位置，RN为卯酉面曲率，RM为子午圈曲率半径。
在东北天坐标系下，车辆的速度更新公式如下：
Figure BDA0002537756170000105
Figure BDA0002537756170000106
Figure BDA0002537756170000107
在上述公式中，
Figure BDA0002537756170000108
为四元数方向余弦矩阵
Figure BDA0002537756170000109
的转置；vn为载体的速度在n系中的投影；
Figure BDA00025377561700001010
为通过载体的相对速度计算得到的位移角速率；
Figure BDA00025377561700001011
表示的是地球的自转角速率在n下的投影；gn为当地的重力加速度在n上的投影；fb为加速度计的测量输出值。符号“×”代表向量叉乘。最终得到关于vn、
Figure BDA0002537756170000111
的微分方程,根据求解可以得到vn、
Figure BDA0002537756170000112
的值，从而可以计算出自动驾驶车辆的速度及位移角速率。
再者，将惯性导航运动学与简单的动态偏差模型结合起来，得到如下方程组：
Figure BDA0002537756170000113
Figure BDA0002537756170000114
Figure BDA0002537756170000115
Figure BDA0002537756170000116
Figure BDA0002537756170000117
其中，
Figure RE-GDA0002721375730000118
的元素是每个不相关的零均值高斯白噪声过程。
Figure RE-GDA0002721375730000119
是加速度计测量，gW是地球的重力加速度矢量，
Figure RE-GDA00027213757300001110
是自动驾驶车辆三维位置,qws是代表车辆姿态角的4元素，
Figure RE-GDA00027213757300001111
是车辆的速度矢量，ba,bg分别是加速度和角速度偏差矢量。与作为随机游走建模的陀螺仪偏差相比，使用时间常数τ>0来将加速度计偏差建模为有界随机游走。矩阵Ω由估计的伴随着陀螺仪测量
Figure RE-GDA00027213757300001112
的角速率
Figure RE-GDA00027213757300001113
组成：
Figure BDA0002537756170000121
最后得出来组合导航中惯性导航部分的预测误差es，es为惯性导航的状态误差项：
Figure BDA0002537756170000122
其中右边中间三项为四元数的1、2、3分量，
Figure RE-GDA0002721375730000122
是在时间k的惯性导航的速度矢量，惯性测量单元加速度和角速度的偏差矢量。
(3)通常的卫星导航模块输出安装在车辆上的卫星接收天线的三维位置、速度和当地时间。本发明的紧耦合方法需要卫星导航原始测量数据，包括可见卫星的伪距离测量、多普勒频飘测量及载波相位测量，并使用卫星的导航数据流协助本发明的惯性测量和立体视觉***，综合决定自动驾驶车辆的位置、姿态角和环境三维信息，下面对获取卫星导航原始测量数据的详细过程进行描述：
全球导航卫星***(GNSS)使用无线广播信号为大众提供导航定位和时间同步服务。搞定在自动驾驶车辆上的卫星天线接收机接收导航卫星的信号；根据接收的卫星信号解析出每个卫星的星历信息，根据所述星历信息计算出每个所述卫星的卫星位置和卫星速度。同时，卫星接送机利用卫星发送的无线电信号，计算卫星的到本地接收机的伪距离、多普勒频飘及载波相位。
具体的，卫星导航接收机使用单点定位方法来测定伪距离，伪距离即是某颗卫星与用户天线的的飞行时间，乘以光速。卫星导航中，伪距ρ(n)(t)的计算是用n号卫星信号被接收的时间tu(t)与发射时间ts (n)(t-τ)之间的时间差与真空中无线电波的速度c相乘，表达式如下：
Figure BDA0002537756170000131
其中，符号τ代表GNSS信号从发射到被用户接收的实际时间间隔。但由于GNSS卫星与用户接收机的时钟通常不会与GNSS时间 t同步，将卫星时间超前GNSS时间用
Figure BDA0002537756170000132
表示，将接收机时间超前GNSS时间用δtu(t)表示，即：
Figure BDA0002537756170000133
tu(t)＝t+δtu(t) (3-3)
电离层、对流层等结构会对电磁波的传播造成一定程度上的延时，因此τ需要减去电离层延时I(n)(t)和对流层延时T(n)(t)才是卫星信号从卫星位置到接收机位置的几何距离r(n)的传播时间，即：
Figure BDA0002537756170000134
Figure BDA0002537756170000135
dtrop＝cT(n)(t)
diono＝cI(n)(t)
其中，
Figure BDA0002537756170000136
为卫星钟差、diono电离层延迟和dtrop对流层延迟均为已知量，ε(n)表示的是未知的伪距测量噪声，r(n)是物理空间中接收机(x,y,z)到第n颗卫星(x(n),y(n),z(n))的几何距离，各个卫星位置的坐标(x(n),y(n),z(n))均可从各个卫星播发的星历解算得到。
类似地，卫星导航中的载波相位的观测方程如下：
φλ＝ρ(ts,tr)+c(dtr-dts)+dtrop-diono+drel+dSA+dmulti+Nλ+ε (3-5)
其中，
Figure BDA0002537756170000141
为载波相位观测值，λ为载波波长，N为整周模糊度， ts为卫星发射信号时刻，tr为接收机接受信号时刻，dts和dtr分别为卫星和接收机的钟差，c为光速，diono为电离层延迟，dtrop为对流层延迟，dSA为SA影响，dmulti为多路径效应，ε为载波观测噪声，ρ(ts,tr)为ts时刻卫星和tr时刻接收机天线之间的几何距离，它含有测站坐标、卫星轨道和地球自转参数等。
由于多普勒频移观测量是载波相位率的瞬时观测值，忽略电离层、对流层延迟对时间的变化。对载波相位观测方程进行微分：
Figure RE-GDA0002721375730000142
其中，
Figure RE-GDA0002721375730000143
则，可得多普勒频移测量方程为：
Figure RE-GDA0002721375730000144
其中，λ是载波L1(f1＝1575.42MHz)对应的波长，fu (i)是用户u相对卫星i的多普勒频移，v(i)是卫星i的移动速度，
Figure RE-GDA0002721375730000145
是用户u的移动速度，au (i)是用户u指向卫星i的单位向量，c是真空中的光速，δfu是用户u的时钟钟漂，δf(i)是卫星i的时钟钟漂，
Figure RE-GDA0002721375730000146
是用户u相对卫星i的多普勒频率测量噪声。由方程3-4,3-5 和3-7可见，每一颗导航卫星可以提供2个独立测量结果(伪距离和载波相位)、这些测量方程可以用来校准惯性导航和立体视觉的定位偏差。
(4)将立体视觉图像处理模块、惯性导航模块及卫星导航模块三部分的数据输入进行紧耦合，数据包括惯性导航模块测量数据、立体视觉模块的图像数据及卫星导航原始测量数据，通过卫星导航原始测量数据结合立体视觉模块的图像数据对惯性导航模块的漂移误差进行校正，从而可辅助惯性导航模块限制漂移误差，图 2为***紧耦合模块的具体流程图。在该图中，惯性传感器用于获取车辆在固定坐标系下的3轴加速度和3轴角速度输入到惯性导航模块中；双目摄像头采集图片用于直接方法的输入；GPS接收机用于获取卫星的原始测量数据。将双目摄像头直接方法的重投影误差，根据卫星原始测量数据得到的卫星导航误差和惯性导航的时间误差结合，进行总体的最优化估计来校正惯性导航模块的漂移误差，最后输出最优的位姿。
当进行紧耦合时，紧耦合由立体视觉的加权重投影误差、卫星导航误差和来自惯性导航的时间误差构成成本函数来进行表达,表达式如下：
Figure BDA0002537756170000152
其中，er为立体视觉的加权重投影误差，eg为卫星导航误差， es为惯性导航的时间误差项，i表示相机的标号，k表示摄像机帧标号，j表示地标标号。在第k帧和第i个相机中可见的地标标号被写为集合J(i,k)。此外，Wr i,j,k表示相应下标测量的信息矩阵，并且
Figure RE-GDA0002721375730000152
表示对应第k帧图片时惯性导航误差信息，
Figure RE-GDA0002721375730000153
表示对应t 时刻的第s颗卫星时，卫星对应的误差信息矩阵。
再者，er为立体视觉的加权重投影误差，立体视觉的重投影误差的表现形式为：
Figure BDA0002537756170000164
其中，hi表示相机的投影模型，zi,j,k表示特征的图像坐标。
Figure BDA0002537756170000165
表示优化***的姿态，
Figure BDA0002537756170000166
表示惯性导航和相机的外参，
Figure BDA0002537756170000167
表示特征坐标。
eg为卫星导航误差，每一个时刻t每一颗导航卫星s的误差包含三个部分的误差，表现形式为：
Figure BDA0002537756170000168
其中，ep表示伪距误差，ed表示多普勒误差，ec表示载波相位误差。
再者，相应的误差信息矩阵Wg的形式就变成了如下的形式：
Figure BDA0002537756170000169
通过线性或非线性优化的方法使得成本函数J(x)的值达到最小，从而完成立体视觉图像处理模块、惯性导航模块及卫星导航模块三者之间的紧耦合，通过卫星导航原始测量数据结合立体视觉模块的图像数据对惯性导航模块的漂移误差进行校正。当卫星数小于设定数量时，无法对接收机进行定位，通过卫星导航原始测量数据结合立体视觉模块的图像数据对惯性导航模块的***误差进行校正，从而提高了导航的精度，大大增强了导航***的鲁棒性。
在给车辆定位的同时，以上步骤还通过立体视觉直接方法，实现了环境三维点云描述，而不需要昂贵的激光扫描雷达。本环境感知***再通过深度学习神经网络判断环境中的目标和障碍物。对象探测的中心问题是把不一样的物体在环境三维点云的信息中分割出来，并判断物体的性质。这个问题交语义分割。本***产生三维环境信息是在图像中有强度变化的点构成的稀疏点云。而且在彩色摄像头下，每个点还带有黄绿蓝强度信息。能够处理三维点云、实现语义分割，目标检测的深度神经网络模块通常分为三维稀疏卷积神经网络(3D CNN)、点网神经网络(PointNet)或者是两者的组合构成。三维稀疏卷积神经网络可以高效处理格点近似下的三维点云，和通常的二维卷积神经网络一样，它由多个卷积层和池化层工程。图2为三维卷积神经网络的卷积层，它由一个3 x 3 x 3的卷积核以步长为1对3维数据进行卷积运算。图2显示了对于一个3 x 3 x 3的三维卷积核，当它的输入为9 x 9x 9它输出一个新的7 x 7 x 7的3维数据。更多情况下，以0填充输入数据边沿，可以使得输入和输出有同样的尺度。
完整的三维卷积神经网络由多个三维卷积层和多个三维池化层构成(图3)，它有多个卷积内核，产生出不一样的特征。然后最大池化层取池化单元中的最大值作为单元的输出，如果以2x 2x 2作为池化单元大小，步长为2，池化处理后的三维数据将减小在每个方向减少一半。经过多级卷积层、池化层后数据在经过多层全连接层，最后把分类判断的结果从输出层，通常为归一化指数函数 (Softmax)输出。
尽管三维卷积神经网络可以高效地处理格点化以后的三维点云数据，格点化丢失了部分细微位置信息，造成误差。点网 (PointNet)方法并不需要格点化三维数据，它可以直接在使用三维点云，作为输入，实现三维环境点云的语义分割。
点网的基本单元称为集合抽象(Set Abstraction)。它由抽样结合层和点网层构成。抽样结合层使用迭代最远点抽样 (iterative farthest point sampling)方法，把三维空间的点的点分割成N个质心区域附件的点的结合，然后再使用多层感知器网络提取点云特征。点网一般由多层结合抽象单元，形成多级结合抽象功能，最后在使用全连接层和输出层。输出层使用归一化指数 (Softmax)全连接输出分类结果(图4)。
该紧耦合的自动驾驶感知***可以帮助对环境提供高精度测量和建立地图，不再借助于昂贵的激光扫描雷达，降低了自动驾驶汽车的成本。
基于上述紧耦合的自动驾驶感知方法，本发明还提供了一种自动驾驶对象探测和定位***100，图3为本发明实施例的自动驾驶对象探测和定位***100的结构示意图，如图5所示，该自动驾驶对象探测和定位***100包含双目直接方法的立体视觉图像处理模块10、卫星导航模块20、惯性导航模块30、***紧耦合模块40及深度神经网络模块50，判断环境中的目标和障碍物。
具体的，惯性导航模块30用于采用惯性传感器获取惯性导航模块测量数据；具体如上。立体视觉图像处理模块10采用双目直接方法获取立体视觉模块的图像数据；具体如上。卫星导航模块20 用于通过接收机获取导航卫星的卫星导航原始测量数据；具体如上。***紧耦合模块40用于将惯性导航模块测量数据、立体视觉模块的图像数据及卫星导航原始测量数据进行紧耦合处理；具体如上。各个模块之间的连接关系为：立体视觉图像处理模块10、卫星导航模块20及惯性导航模块30均与***紧耦合模块40连接。
其中，立体视觉图像处理模块10包含双目摄像头，双目摄像头安装于自动驾驶车辆上；具体如上所述。再者，惯性导航模块30 包含惯性传感器，惯性传感器固定于自动驾驶车辆上；具体如上所述。
其中，深度神经网络模块使用三维卷积神经网络或者是三维点网实现对象探测和语义分割。具体如上所述。
本发明将惯性导航模块测量数据、立体视觉模块的图像数据及卫星导航原始测量数据三者进行紧耦合，对惯性导航模块测量数据的误差进行修正，从而提高了定位精度，不再借助于昂贵的激光扫描雷达，从而降低自动驾驶汽车的成本。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种自动驾驶对象探测和定位***，其特征在于，包括立体视觉图像处理模块、卫星导航模块、惯性导航模块及***紧耦合模块，其中：
立体视觉图像处理模块，采用双目或者多目摄像头获取立体视觉模块的图像数据；
卫星导航模块，用于通过接收机获取卫星导航原始测量数据；
惯性导航模块，用于采用惯性传感器获取惯性导航模块的测量数据；
***紧耦合模块，用于将所述惯性导航模块测量数据、所述立体视觉模块的图像数据及所述卫星导航原始测量数据进行紧耦合处理，并建立三维环境信息，最后利用深度神经网络模块检测环境中的目标和障碍物；
所述深度神经网络由三维稀疏卷积神经网络、点网神经网络和二者的组合构成；
所述立体视觉图像处理模块、所述卫星导航模块及所述惯性导航模块均与所述***紧耦合模块连接。
2.如权利要求1所述的自动驾驶对象探测和定位***，其特征在于，所述立体视觉图像处理模块包含双目或者多目摄像头。
3.一种如权利要求1所述的自动驾驶对象探测和定位的方法，其特征在于，包括以下步骤：
S1：获取立体视觉模块的图像数据、惯性导航模块的测量数据及卫星导航原始测量数据；
S2：将立体视觉模块的图像数据、卫星导航原始测量数据及所述惯性导航模块的测量数据进行紧耦合，对惯性导航模块的漂移误差进行修正；
S3：将立体视觉模块的图像数据、卫星导航原始测量数据及所述惯性导航模块的测量数据进行紧耦合，建立三维环境信息，再使用深度神经网络模块判断和分类环境中的目标和障碍物；
S4：深度神经网络使用三维稀疏卷积神经网络、点网神经网络或者是二者的组合。
4.如权利要求3所述的自动驾驶对象探测和定位的方法，其特征在于，所述立体视觉模块采用多目，包括双目摄像头直接方法进行处理，所述图像数据包括在同一时刻多目或者双目立体视觉摄像头之间的视觉差和每一个摄像头在不同时间、位置拍摄到的图像信息来建立环境的三维信息。
5.如权利要求3所述的自动驾驶对象探测和定位的方法，其特征在于，所述紧耦合由立体视觉的加权重投影误差、卫星导航误差和来自惯性导航的状态误差构成成本函数。
6.如权利要求3所述的自动驾驶对象探测和定位的方法，其特征在于，所述S1具体包括如下步骤：
S11：采用多目或者是双目摄像头获取立体视觉模块的图像数据、图像数据包括在同一时刻多目或者双目立体视觉摄像头之间的视觉差和每一个摄像头在不同时间、位置拍摄到的图像信息；
S12：采用惯性传感器获取惯性导航模块的测量数据；
S13：通过接收机获取卫星导航原始测量数据；
S14：将所述惯性导航模块测量数据、所述图像数据及所述卫星导航原始测量数据进行紧耦合处理。
7.如权利要求6所述的自动驾驶对象探测和定位的方法，其特征在于，所述S11具体包括如下步骤：
S111：用多目或者双目摄像头采集环境图像信号；
S112：组合多个不同摄像头在同一个时刻拍摄到的视觉差和每一个摄像头在不同时间、位置拍摄到的图像，形成立体视觉观测的直接方法；
S113：并组合惯性导航、卫星导航的测量数据，建立三维环境信息，最后使用深度神经网络模块分类和判断环境中的目标和障碍物。
8.如权利要求6所述的自动驾驶对象探测和定位的方法，其特征在于，所述S12具体包括如下步骤：
S121：利用惯性传感器测量自动驾驶车辆在固定坐标系下的3轴加速度和3轴角速度；
S122：将所述加速度和所述角速度转动到导航坐标系下,求解惯性导航机械编排方程并计算出自动驾驶车辆的位置和姿态角；
S123：图像数据、惯性导航数据和卫星导航数据组合，建立三维环境信息，再利用深度神经网络模块，分类和判断环境中的目标和障碍物。
9.如权利要求6所述的自动驾驶对象探测和定位的方法，其特征在于，所述S14具体包括：通过所述卫星导航原始测量数据结合所述立体视觉模块的图像数据对所述惯性导航模块的漂移误差进行校正。
CN202010538035.6A 2020-06-12 2020-06-12 一种自动驾驶对象探测和定位***及方法 Pending CN111929718A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010538035.6A CN111929718A (zh) 2020-06-12 2020-06-12 一种自动驾驶对象探测和定位***及方法
PCT/CN2020/102996 WO2021248636A1 (zh) 2020-06-12 2020-07-20 一种自动驾驶对象探测和定位***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010538035.6A CN111929718A (zh) 2020-06-12 2020-06-12 一种自动驾驶对象探测和定位***及方法

Publications (1)

Publication Number Publication Date
CN111929718A true CN111929718A (zh) 2020-11-13

Family

ID=73316190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010538035.6A Pending CN111929718A (zh) 2020-06-12 2020-06-12 一种自动驾驶对象探测和定位***及方法

Country Status (2)

Country Link
CN (1) CN111929718A (zh)
WO (1) WO2021248636A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112731497A (zh) * 2020-12-04 2021-04-30 广西融科科技有限公司 一种利用现场视域分析提高卫星定位精度的方法
CN113240917A (zh) * 2021-05-08 2021-08-10 林兴叶 一种将深度神经网络应用于智慧交通的交通管理***
CN113406682A (zh) * 2021-06-22 2021-09-17 腾讯科技（深圳）有限公司 一种定位方法、装置、电子设备及存储介质
CN113465598A (zh) * 2021-08-04 2021-10-01 北京云恒科技研究院有限公司 一种适用于无人机的惯性组合导航***
WO2022120733A1 (en) * 2020-12-10 2022-06-16 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for constructing map
CN116778101A (zh) * 2023-06-26 2023-09-19 北京道仪数慧科技有限公司 基于营运载具的地图生成方法及***

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022036284A1 (en) * 2020-08-13 2022-02-17 Invensense, Inc. Method and system for positioning using optical sensor and motion sensors
CN114485632B (zh) * 2021-12-31 2024-03-22 深圳市易成自动驾驶技术有限公司 车辆定位方法、***及计算机可读存储介质
CN114543842B (zh) * 2022-02-28 2023-07-28 重庆长安汽车股份有限公司 一种多传感器融合定位***的定位精度评价***及方法
CN115560757B (zh) * 2022-09-01 2023-08-22 中国人民解放军战略支援部队信息工程大学 随机姿态误差条件下基于神经网络的无人机直接定位校正方法
CN115493579A (zh) * 2022-09-02 2022-12-20 松灵机器人(深圳)有限公司 定位修正方法、装置、割草机器人以及存储介质
CN115790282B (zh) * 2022-10-11 2023-08-22 西安岳恒机电工程有限责任公司 一种无人驾驶靶车方向控制***和控制方法
CN116363205A (zh) * 2023-03-30 2023-06-30 中国科学院西安光学精密机械研究所 基于深度学习的空间目标位姿解算方法及计算机程序产品
CN116858276B (zh) * 2023-06-14 2024-05-28 武汉大学 一种地图辅助的多传感器融合定位方法及计算机可读介质
CN117978318B (zh) * 2024-03-29 2024-07-12 智道网联科技(北京)有限公司 自动驾驶时钟同步***、方法
CN117991315B (zh) * 2024-04-02 2024-06-25 中交星宇科技有限公司 北斗惯性导航定位方法及***
CN118067148B (zh) * 2024-04-17 2024-07-09 深圳市科乐达电子科技有限公司 一种基于大数据分析的车载导航***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080243383A1 (en) * 2006-12-12 2008-10-02 Ching-Fang Lin Integrated collision avoidance enhanced GN&C system for air vehicle
CN105116431A (zh) * 2015-09-08 2015-12-02 中国人民解放军装备学院 一种惯性导航平台和北斗卫星的高精度超紧耦合导航方法
CN109725339A (zh) * 2018-12-20 2019-05-07 东莞市普灵思智能电子有限公司 一种紧耦合的自动驾驶感知方法及***
CN110221328A (zh) * 2019-07-23 2019-09-10 广州小鹏汽车科技有限公司 一种组合导航方法和装置
CN110332945A (zh) * 2019-08-01 2019-10-15 北京眸星科技有限公司 基于交通道路标线视觉识别的车载导航方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2399065C2 (ru) * 2008-04-11 2010-09-10 Корпорация Самсунг Электроникс Ко., Лтд. Способ определения местоположения подвижного объекта посредством гибридной навигационной системы (варианты)
CN103983263A (zh) * 2014-05-30 2014-08-13 东南大学 一种采用迭代扩展卡尔曼滤波与神经网络的惯性/视觉组合导航方法
CN109643125B (zh) * 2016-06-28 2022-11-15 柯尼亚塔有限公司 用于训练自动驾驶***的逼真的3d虚拟世界创造与模拟
CN108171796A (zh) * 2017-12-25 2018-06-15 燕山大学 一种基于三维点云的巡检机器人视觉***及控制方法
CN109683629B (zh) * 2019-01-09 2020-08-21 燕山大学 基于组合导航和计算机视觉的无人机电力架线***
CN109991636A (zh) * 2019-03-25 2019-07-09 启明信息技术股份有限公司 基于gps、imu以及双目视觉的地图构建方法及***
CN111239790B (zh) * 2020-01-13 2024-02-06 上海师范大学 一种基于5g网络机器视觉的车辆导航***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080243383A1 (en) * 2006-12-12 2008-10-02 Ching-Fang Lin Integrated collision avoidance enhanced GN&C system for air vehicle
CN105116431A (zh) * 2015-09-08 2015-12-02 中国人民解放军装备学院 一种惯性导航平台和北斗卫星的高精度超紧耦合导航方法
CN109725339A (zh) * 2018-12-20 2019-05-07 东莞市普灵思智能电子有限公司 一种紧耦合的自动驾驶感知方法及***
CN110221328A (zh) * 2019-07-23 2019-09-10 广州小鹏汽车科技有限公司 一种组合导航方法和装置
CN110332945A (zh) * 2019-08-01 2019-10-15 北京眸星科技有限公司 基于交通道路标线视觉识别的车载导航方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WENYU YUAN等: "Moving Direction Predicting with Deep Neural Networks for Mobile Robots" *
李子月等: "一种基于多传感器融合辅助的AlexNet模型图像识别算法" *
胡杰;严勇杰;王子卉;: "基于速度约束与模糊自适应滤波的车载组合导航" *
陆逸适;夏新;韩燕群;高乐天;: "基于视觉、轮速和单轴陀螺仪的清扫车定位" *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112731497A (zh) * 2020-12-04 2021-04-30 广西融科科技有限公司 一种利用现场视域分析提高卫星定位精度的方法
CN112731497B (zh) * 2020-12-04 2024-06-14 广西融科科技有限公司 一种利用现场视域分析提高卫星定位精度的方法
WO2022120733A1 (en) * 2020-12-10 2022-06-16 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for constructing map
CN113240917A (zh) * 2021-05-08 2021-08-10 林兴叶 一种将深度神经网络应用于智慧交通的交通管理***
CN113240917B (zh) * 2021-05-08 2022-11-08 广州隧华智慧交通科技有限公司 一种将深度神经网络应用于智慧交通的交通管理***
CN113406682A (zh) * 2021-06-22 2021-09-17 腾讯科技（深圳）有限公司 一种定位方法、装置、电子设备及存储介质
CN113406682B (zh) * 2021-06-22 2024-03-12 腾讯科技（深圳）有限公司 一种定位方法、装置、电子设备及存储介质
CN113465598A (zh) * 2021-08-04 2021-10-01 北京云恒科技研究院有限公司 一种适用于无人机的惯性组合导航***
CN113465598B (zh) * 2021-08-04 2024-02-09 北京云恒科技研究院有限公司 一种适用于无人机的惯性组合导航***
CN116778101A (zh) * 2023-06-26 2023-09-19 北京道仪数慧科技有限公司 基于营运载具的地图生成方法及***
CN116778101B (zh) * 2023-06-26 2024-04-09 北京道仪数慧科技有限公司 基于营运载具的地图生成方法及***

Also Published As

Publication number Publication date
WO2021248636A1 (zh) 2021-12-16

Similar Documents

Publication Publication Date Title
WO2021248636A1 (zh) 一种自动驾驶对象探测和定位***及方法
CN110926474B (zh) 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法
CN102435188B (zh) 一种用于室内环境的单目视觉/惯性全自主导航方法
CN103575267B (zh) 使图像与用于导航的地形高程地图相关的方法
US9726765B2 (en) Tight optical integration (TOI) of images with GPS range measurements
CN107850673A (zh) 视觉惯性测距姿态漂移校准
WO2020124624A1 (zh) 一种紧耦合的自动驾驶感知方法及***
CN101743453A (zh) 任务后高精确度定位和定向***
CN115574816B (zh) 仿生视觉多源信息智能感知无人平台
CN108253942B (zh) 一种提高倾斜摄影测量空三质量的方法
CN110986888A (zh) 一种航空摄影一体化方法
Hsu et al. Hong Kong UrbanNav: An open-source multisensory dataset for benchmarking urban navigation algorithms
De Oliveira et al. Assessment of radargrammetric DSMs from TerraSAR-X Stripmap images in a mountainous relief area of the Amazon region
Bai et al. Real-time GNSS NLOS detection and correction aided by sky-pointing camera and 3D LiDAR
CN115435779A (zh) 一种基于gnss/imu/光流信息融合的智能***姿估计方法
CN210038170U (zh) 一种紧耦合的自动驾驶感知***
CN109341685B (zh) 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法
CN115900732A (zh) 基于路侧相机和车载单元的组合导航方法及***
CN116105729A (zh) 一种针对野外洞穴森林环境侦察的多传感器融合定位方法
CN116027351A (zh) 一种手持/背包式slam装置及定位方法
CN115523920A (zh) 一种基于视觉惯性gnss紧耦合的无缝定位方法
Wei Multi-sources fusion based vehicle localization in urban environments under a loosely coupled probabilistic framework
Mondal et al. Non-GNSS navigation systems in aerial vehicles (multi-rotors)
Adeel et al. Research and performance analysis of tightly coupled vision, INS and GNSS system for land vehicle applications
Wang et al. Research on Real-time and High-precision Positioning Method of Ground Target through UAV Stereo Vision and Spatial Information Fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210202

Address after: 510000 No. 729 Dongfeng East Road, Guangdong, Guangzhou

Applicant after: GUANGDONG University OF TECHNOLOGY

Address before: 523000 room 258, building 2, D-1 Town, New Town Road, Songshan Lake high tech Industrial Development Zone, Dongguan, Guangdong

Applicant before: DONGGUAN PANRAYS INCORPORATED, Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20201113

RJ01 Rejection of invention patent application after publication