CN114494435A - 视觉与高精地图匹配定位的快速优化方法、***及介质 - Google Patents

视觉与高精地图匹配定位的快速优化方法、***及介质 Download PDF

Info

Publication number
CN114494435A
CN114494435A CN202210085360.0A CN202210085360A CN114494435A CN 114494435 A CN114494435 A CN 114494435A CN 202210085360 A CN202210085360 A CN 202210085360A CN 114494435 A CN114494435 A CN 114494435A
Authority
CN
China
Prior art keywords
map
matching
positioning
calculation
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210085360.0A
Other languages
English (en)
Inventor
江昆
杨殿阁
温拓朴
杨蒙蒙
唐雪薇
黄健强
黄琪杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210085360.0A priority Critical patent/CN114494435A/zh
Publication of CN114494435A publication Critical patent/CN114494435A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种视觉与高精地图匹配定位的快速优化方法、***及介质，其包括：实时获取单目图像信息及GNSS信号；将所述单目图像信息进行感知处理后，得到图像感知的地图元素结果；根据所述GNSS信号得到地图中车辆周围的地图定位元素；将所述地图元素结果和所述车辆周围的地图定位元素进行地图匹配计算，得到全局六自由度位姿，作为地图匹配定位的优化结果。本发明对智能网联汽车的应用场景，能够降低定位计算复杂度，适配算力更低的计算平台。

Description

视觉与高精地图匹配定位的快速优化方法、***及介质
技术领域
本发明涉及一种智能网联汽车环境感知领域，特别是关于一种视觉与高精地图匹配定位的快速优化方法、***及介质。
背景技术
智能网联汽车行驶需对周围环境和自身状态进行准确的感知以支撑后续的决策和控制。而对自身位姿的准确估计也正是智能网联车进行轨迹规划、控制等功能的基础。基于GPS的被动位姿估计估计受到卫星信号的限制，难以支撑高级别自动驾驶的全部行驶工况。一种低成本的方案是使用相机图像和高精度地图进行匹配，从而进行定位。然而视觉和高精度地图的匹配计算通常计算量较大，对计算设备的算力有较高的要求。因此本发明提出一种视觉和高精度地图匹配定位的快速求解方法，从而降低计算的复杂度，从而适用与算力更低的嵌入式计算平台。
发明内容
针对上述问题，本发明的目的是提供一种视觉与高精地图匹配定位的快速优化方法、***及介质，针对智能网联汽车的应用场景，能够降低定位计算复杂度，适配算力更低的计算平台。
为实现上述目的，本发明采取以下技术方案：一种视觉与高精地图匹配定位的快速优化方法，其包括：实时获取单目图像信息及GNSS信号；将所述单目图像信息进行感知处理后，得到图像感知的地图元素结果；根据所述GNSS信号得到地图中车辆周围的地图定位元素；将所述地图元素结果和所述车辆周围的地图定位元素进行地图匹配计算，得到全局六自由度位姿，作为地图匹配定位的优化结果。
进一步，所述将所述单目图像信息进行感知处理，包括：将所述单目图像信息进行放缩到预先设定的大小后，输入神经网络进行前向计算，得到图像感知的地图元素结果。
进一步，所述根据所述GNSS信号得到地图中车辆周围的地图定位元素，包括：
以所述GNSS信号为中心，按照预先设定的半径为搜索范围；
在地图中，对于车道线和灯杆元素，判断该元素是否在该搜索范围内，若符合，则作为定位元素输出。
进一步，所述定位元素确定后，采用三维点描述所述定位元素，并对一系列三维点进行线性插值，使所有的定位元素都用采样点来统一描述。
进一步，所述地图匹配计算包括：
将所述地图元素结果和所述地图定位元素进行匹配代价函数的计算；
将所述匹配代价函数压缩，通过近似匹配代价函数进行匹配计算的简化，降低计算复杂度；
通过简化的匹配计算得到全局的定位结果。
进一步，所述匹配代价函数的计算，包括：
将所述地图元素结果进行距离变换，根据相机内参矩阵以及相机的初始位姿，得到地图要素三维点的匹配代价函数；
对所有地图采样点的匹配代价函数求和得到地图匹配代价结果。
进一步，所述将所述匹配代价函数压缩，包括：
计算整体的代价函数关于相机的初始位姿的偏导数；
根据所述偏导数计算观测海森矩阵H和观测残差向量b；
对所述观测海森矩阵H做Cholesky分解，将代价函数变换为以观测雅可比矩阵J*为偏导数，观测残差向量r*为残差的匹配代价函数；
通过LM优化方法进行优化，以J*和r*为偏导数和残差，优化得到地图匹配的定位结果。
一种视觉与高精地图匹配定位的快速优化***，其包括：数据采集模块，实时获取单目图像信息及GNSS信号；感知模块，将所述单目图像信息进行感知处理后，得到图像感知的地图元素结果；地图定位元素获取模块，根据所述GNSS信号得到地图中车辆周围的地图定位元素；地图匹配计算模块，将所述地图元素结果和所述车辆周围的地图定位元素进行地图匹配计算，得到全局六自由度位姿，作为地图匹配定位的优化结果。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法中的任一方法。
一种计算设备，其包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
本发明由于采取以上技术方案，其具有以下优点：
1、本发明能够有效加速视觉与地图匹配的计算，同时保证计算精度。
2、本发明能够适用于算力较低的场景，降低设备成本。
附图说明
图1是本发明一实施例中的视觉与地图匹配定位的算法加速***整体流程示意图；
图2是本发明一实施例中的地图匹配计算模块流程图；
图3是本发明一实施例中的计算设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明提出一种视觉与高精地图匹配定位的快速优化方法、***及介质，其包括：实时获取单目图像信息及GNSS信号；将单目图像信息进行感知处理后，得到图像感知的地图元素结果；根据GNSS信号得到地图中车辆周围的地图定位元素；将地图元素结果和车辆周围的地图定位元素进行地图匹配计算，得到全局六自由度位姿，作为地图匹配定位的优化结果。本发明对智能网联汽车的应用场景，能够降低定位计算复杂度，适配算力更低的计算平台。
在本发明的一个实施例中，提供一种视觉与高精地图匹配定位的快速优化方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的***，并通过终端和服务器的交互实现。如图1所示，本实施例中，该方法包括以下步骤：
1)实时获取单目图像信息及GNSS信号；
2)将单目图像信息进行感知处理后，得到图像感知的地图元素结果；
3)根据GNSS信号得到地图中车辆周围的地图定位元素；
4)将地图元素结果和车辆周围的地图定位元素进行地图匹配计算，得到全局六自由度位姿，作为地图匹配定位的优化结果。
上述步骤2)中，将单目图像信息进行感知处理，具体为：将单目图像信息进行放缩到预先设定的大小后，输入神经网络进行前向计算，得到图像感知的地图元素结果。
在本实施例中，包含一个基于卷积神经网络的图像分割模型，输入为单目图像信息，输出为图像中每个像素的分类结果。单目图像会被放缩到768*480的大小，然后送入到神经网络当中，通过GPU/FPGA/AI芯片计算单元进行该神经网络的前向计算，得到最终的图像每个像素的分类结果。分类的种类由地图定位元素的种类决定，在本实施例中为车道线和灯杆。
上述步骤3)中，根据GNSS信号得到地图中车辆周围的地图定位元素，包括以下步骤：
3.1)以GNSS信号为中心，按照预先设定的半径为搜索范围；
在本实施例中，优选的，采用半径40米为搜索范围。
3.2)在地图中，对于车道线和灯杆元素，判断该元素是否在该搜索范围内，若符合，则作为定位元素输出。
上述步骤3.2)中，定位元素确定后，采用三维点描述定位元素，并对一系列三维点进行线性插值，使所有的定位元素都用采样点来统一描述。
在本实施例中，车道线用一系列三维点描述，灯杆用顶部和底部的两个三维点来描述。当确定输出的定位元素后，对这一系列三维点进行线性插值，使得所有的元素都用间隔为0.2m的采样点来统一描述。
上述步骤4)中，如图2所示，地图匹配计算包括以下步骤：
4.1)将地图元素结果和地图定位元素进行匹配代价函数的计算；
4.2)将匹配代价函数压缩，通过近似匹配代价函数进行匹配计算的简化，降低计算复杂度；
4.3)通过简化的匹配计算得到全局的定位结果。
上述步骤4.1)中，匹配代价函数的计算，包括以下步骤：
4.1.1)将地图元素结果进行距离变换，根据相机内参矩阵以及相机的初始位姿，得到地图要素三维点的匹配代价函数；
在本实施例中，输入图像感知结果(即地图元素结果)St，以及高精度地图定位元素M＝{Mi}，每一个Mi＝{mi,j},其中mi,j表示每一个地图要素的三维采样点，i表示第i个元素、j表示元素中第j个点。
对图像感知结果St进行距离变换，即根据图像感知结果St，生成一张距离图Dt,其中Dt的每个像素的值为一个浮点数，表示在图像感知结果St中离该像素最近的非零像素的欧式距离。
假设相机内参矩阵为K，相机的初始位姿为{Rt,tt},其中Rt表示相机的旋转矩阵，tt表示相机的平移矩阵。则地图要素三维点mi,j的匹配代价函数为：
Figure BDA0003487564530000041
Figure BDA0003487564530000042
Figure BDA0003487564530000043
其中，
Figure BDA0003487564530000044
表示地图点投影到图像的像素点，rM表示地图匹配代价函数。
4.1.2)对所有地图采样点的匹配代价函数求和得到地图匹配代价结果；
在本实施例中，对所有地图采样点的匹配代价函数求和：
Figure BDA0003487564530000051
其中，Ni表示第i个物体的采样点总数、N分别表示地图要素的总数。
上述步骤4.2)中，将匹配代价函数压缩，输入为代价函数的计算结果，输出为简化后的代价函数，从而加速计算；其包括以下步骤：
4.2.1)计算整体的代价函数关于相机的初始位姿的偏导数；
定义代价函数：
Figure BDA0003487564530000052
计算每一项rM(St,mi,j,Rt,tt)关于{Rt,tt}的偏导数：
Figure BDA0003487564530000053
计算整体的代价函数rM(St,M,Rt,tt)关于{Rt,tt}的偏导数为：
Figure BDA0003487564530000054
4.2.2)根据偏导数计算观测海森矩阵H和观测残差向量b；
Figure BDA0003487564530000055
Figure BDA0003487564530000056
4.2.3)对矩阵H做Cholesky分解，将代价函数变换为以等效观测雅可比矩阵J*为偏导数，等效观测残差向量r*为残差的匹配代价函数；
其中，对矩阵H做Cholesky分解得：
Figure BDA0003487564530000057
Figure BDA0003487564530000058
其中，L表示H做Cholesky分解的上三角阵、LT为L的转置，R6×6表示6x6的实数矩阵，R6×1表示6x1的实数向量。
4.2.4)通过LM优化方法进行优化，以等效观测雅可比矩阵J*和等效观测残差r*为偏导数和残差，优化得到地图匹配的定位结果。经实验表明，该计算方法能够大幅加速地图匹配的优化速度，从而有效减小了计算量。
在本发明的一个实施例中，提供一种视觉与高精地图匹配定位的快速优化***，其包括：
数据采集模块，实时获取单目图像信息及GNSS信号；
感知模块，将单目图像信息进行感知处理后，得到图像感知的地图元素结果；
地图定位元素获取模块，根据GNSS信号得到地图中车辆周围的地图定位元素；
地图匹配计算模块，将地图元素结果和车辆周围的地图定位元素进行地图匹配计算，得到全局六自由度位姿，作为地图匹配定位的优化结果。
本实施例提供的***是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
如图3所示，为本发明一实施例中提供的计算设备结构示意图，该计算设备可以是终端，其可以包括：处理器(processor)、通信接口(Communications Interface)、存储器(memory)、显示屏和输入装置。其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作***和计算机程序，该计算机程序被处理器执行时以实现一种优化方法；该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、管理商网络、NFC(近场通信)或其他技术实现。该显示屏可以是液晶显示屏或者电子墨水显示屏，该输入装置可以是显示屏上覆盖的触摸层，也可以是计算设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。处理器可以调用存储器中的逻辑指令，以执行如下方法：实时获取单目图像信息及GNSS信号；将单目图像信息进行感知处理后，得到图像感知的地图元素结果；根据GNSS信号得到地图中车辆周围的地图定位元素；将地图元素结果和车辆周围的地图定位元素进行地图匹配计算，得到全局六自由度位姿，作为地图匹配定位的优化结果。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算设备的限定，具体的计算设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在本发明的一个实施例中，提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：实时获取单目图像信息及GNSS信号；将单目图像信息进行感知处理后，得到图像感知的地图元素结果；根据GNSS信号得到地图中车辆周围的地图定位元素；将地图元素结果和车辆周围的地图定位元素进行地图匹配计算，得到全局六自由度位姿，作为地图匹配定位的优化结果。
在本发明的一个实施例中，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法，例如包括：实时获取单目图像信息及GNSS信号；将单目图像信息进行感知处理后，得到图像感知的地图元素结果；根据GNSS信号得到地图中车辆周围的地图定位元素；将地图元素结果和车辆周围的地图定位元素进行地图匹配计算，得到全局六自由度位姿，作为地图匹配定位的优化结果。
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种视觉与高精地图匹配定位的快速优化方法，其特征在于，包括：
实时获取单目图像信息及GNSS信号；
将所述单目图像信息进行感知处理后，得到图像感知的地图元素结果；
根据所述GNSS信号得到地图中车辆周围的地图定位元素；
将所述地图元素结果和所述车辆周围的地图定位元素进行地图匹配计算，得到全局六自由度位姿，作为地图匹配定位的优化结果。
2.如权利要求1所述视觉与高精地图匹配定位的快速优化方法，其特征在于，所述将所述单目图像信息进行感知处理，包括：将所述单目图像信息进行放缩到预先设定的大小后，输入神经网络进行前向计算，得到图像感知的地图元素结果。
3.如权利要求1所述视觉与高精地图匹配定位的快速优化方法，其特征在于，所述根据所述GNSS信号得到地图中车辆周围的地图定位元素，包括：
以所述GNSS信号为中心，按照预先设定的半径为搜索范围；
在地图中，对于车道线和灯杆元素，判断该元素是否在该搜索范围内，若符合，则作为定位元素输出。
4.如权利要求3所述视觉与高精地图匹配定位的快速优化方法，其特征在于，所述定位元素确定后，采用三维点描述所述定位元素，并对一系列三维点进行线性插值，使所有的定位元素都用采样点来统一描述。
5.如权利要求1所述视觉与高精地图匹配定位的快速优化方法，其特征在于，所述地图匹配计算包括：
将所述地图元素结果和所述地图定位元素进行匹配代价函数的计算；
将所述匹配代价函数压缩，通过近似匹配代价函数进行匹配计算的简化，降低计算复杂度；
通过简化的匹配计算得到全局的定位结果。
6.如权利要求5所述视觉与高精地图匹配定位的快速优化方法，其特征在于，所述匹配代价函数的计算，包括：
将所述地图元素结果进行距离变换，根据相机内参矩阵以及相机的初始位姿，得到地图要素三维点的匹配代价函数；
对所有地图采样点的匹配代价函数求和得到地图匹配代价结果。
7.如权利要求5所述视觉与高精地图匹配定位的快速优化方法，其特征在于，所述将所述匹配代价函数压缩，包括：
计算整体的代价函数关于相机的初始位姿的偏导数；
根据所述偏导数计算观测海森矩阵H和观测残差向量b；
对所述观测海森矩阵H做Cholesky分解，将代价函数变换为以观测雅可比矩阵J*为偏导数，观测残差向量r*为残差的匹配代价函数；
通过LM优化方法进行优化，以J*和r*为偏导数和残差，优化得到地图匹配的定位结果。
8.一种视觉与高精地图匹配定位的快速优化***，其特征在于，包括：
数据采集模块，实时获取单目图像信息及GNSS信号；
感知模块，将所述单目图像信息进行感知处理后，得到图像感知的地图元素结果；
地图定位元素获取模块，根据所述GNSS信号得到地图中车辆周围的地图定位元素；
地图匹配计算模块，将所述地图元素结果和所述车辆周围的地图定位元素进行地图匹配计算，得到全局六自由度位姿，作为地图匹配定位的优化结果。
9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1至7所述方法中的任一方法。
10.一种计算设备，其特征在于，包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行如权利要求1至7所述方法中的任一方法的指令。
CN202210085360.0A 2022-01-25 2022-01-25 视觉与高精地图匹配定位的快速优化方法、***及介质 Pending CN114494435A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210085360.0A CN114494435A (zh) 2022-01-25 2022-01-25 视觉与高精地图匹配定位的快速优化方法、***及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210085360.0A CN114494435A (zh) 2022-01-25 2022-01-25 视觉与高精地图匹配定位的快速优化方法、***及介质

Publications (1)

Publication Number Publication Date
CN114494435A true CN114494435A (zh) 2022-05-13

Family

ID=81473801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210085360.0A Pending CN114494435A (zh) 2022-01-25 2022-01-25 视觉与高精地图匹配定位的快速优化方法、***及介质

Country Status (1)

Country Link
CN (1) CN114494435A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115235493A (zh) * 2022-07-19 2022-10-25 合众新能源汽车有限公司 一种基于矢量地图进行自动驾驶定位的方法及装置
CN116189145A (zh) * 2023-02-15 2023-05-30 清华大学 一种线形地图要素的提取方法、***和可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107229063A (zh) * 2017-06-26 2017-10-03 奇瑞汽车股份有限公司 一种基于gnss和视觉里程计融合的无人驾驶汽车导航定位精度矫正方法
US20180188032A1 (en) * 2017-01-04 2018-07-05 Qualcomm Incorporated Systems and methods for using a global positioning system velocity in visual-inertial odometry
CN108802785A (zh) * 2018-08-24 2018-11-13 清华大学 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
CN113436261A (zh) * 2021-06-24 2021-09-24 湖南大学 一种面向封闭园区自动驾驶的单目视觉惯性定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180188032A1 (en) * 2017-01-04 2018-07-05 Qualcomm Incorporated Systems and methods for using a global positioning system velocity in visual-inertial odometry
CN107229063A (zh) * 2017-06-26 2017-10-03 奇瑞汽车股份有限公司 一种基于gnss和视觉里程计融合的无人驾驶汽车导航定位精度矫正方法
CN108802785A (zh) * 2018-08-24 2018-11-13 清华大学 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
CN113436261A (zh) * 2021-06-24 2021-09-24 湖南大学 一种面向封闭园区自动驾驶的单目视觉惯性定位方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115235493A (zh) * 2022-07-19 2022-10-25 合众新能源汽车有限公司 一种基于矢量地图进行自动驾驶定位的方法及装置
CN116189145A (zh) * 2023-02-15 2023-05-30 清华大学 一种线形地图要素的提取方法、***和可读介质
CN116189145B (zh) * 2023-02-15 2024-06-11 清华大学 一种线形地图要素的提取方法、***和可读介质

Similar Documents

Publication Publication Date Title
JP6862409B2 (ja) 地図生成及び移動主体の位置決めの方法及び装置
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
CN108764187A (zh) 提取车道线的方法、装置、设备、存储介质以及采集实体
CN113168510A (zh) 通过细化形状先验分割对象
US20210073997A1 (en) Future semantic segmentation prediction using 3d structure
CN111739005B (zh) 图像检测方法、装置、电子设备及存储介质
CN114494435A (zh) 视觉与高精地图匹配定位的快速优化方法、***及介质
EP3847619B1 (en) Unsupervised depth prediction neural networks
CN113989450A (zh) 图像处理方法、装置、电子设备和介质
CN112927234A (zh) 点云语义分割方法、装置、电子设备和可读存储介质
KR20200046437A (ko) 영상 및 맵 데이터 기반 측위 방법 및 장치
EP4191538A1 (en) Large scene neural view synthesis
CN114842035A (zh) 基于深度学习的车牌脱敏方法、装置、设备及存储介质
CN112396657A (zh) 一种基于神经网络的深度位姿估计方法、装置及终端设备
CN110645996B (zh) 一种感知数据的提取方法及***
CN112836698A (zh) 一种定位方法、装置、存储介质及电子设备
CN114170290A (zh) 图像的处理方法及相关设备
CN117197388A (zh) 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及***
CN113313824B (zh) 一种三维语义地图构建方法
CN116543143A (zh) 一种目标检测模型的训练方法、目标检测方法及装置
CN115902977A (zh) 基于视觉和gps的变电站机器人双重定位方法及***
CN114463504A (zh) 基于单目相机的路侧线状要素重建方法、***及存储介质
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN115526987A (zh) 基于单目相机的标牌要素重建方法、***、设备及介质
JP2024521816A (ja) 無制約画像手ぶれ補正

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination