CN112230211A - 车辆定位方法、装置、存储介质及车辆 - Google Patents
车辆定位方法、装置、存储介质及车辆 Download PDFInfo
- Publication number
- CN112230211A CN112230211A CN202011105724.4A CN202011105724A CN112230211A CN 112230211 A CN112230211 A CN 112230211A CN 202011105724 A CN202011105724 A CN 202011105724A CN 112230211 A CN112230211 A CN 112230211A
- Authority
- CN
- China
- Prior art keywords
- pose information
- vehicle
- vision
- radar
- current moment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 7
- 238000005259 measurement Methods 0.000 claims abstract description 91
- 239000011159 matrix material Substances 0.000 claims description 45
- 230000007704 transition Effects 0.000 claims description 38
- 230000004927 fusion Effects 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims description 9
- 230000004807 localization Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 12
- 238000013507 mapping Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本公开涉及一种车辆定位方法、装置、存储介质及车辆，车辆设置有视觉***和毫米波雷达***，所述方法包括：从视觉***中获取车辆当前时刻的视觉测量位姿信息，以及，从毫米波雷达***中获取车辆当前时刻的雷达测量位姿信息；根据视觉测量位姿信息和车辆上一时刻的视觉估计位姿信息，确定车辆当前时刻的视觉估计位姿信息；以及根据雷达测量位姿信息和车辆上一时刻的雷达估计位姿信息，确定车辆当前时刻的雷达估计位姿信息；根据车辆的当前时刻的视觉估计位姿信息和雷达估计位姿信息，确定车辆当前时刻的目标位姿信息。解决了相关技术中仅采用激光雷达实现车辆定位存在的成本高，和仅基于视觉实现车辆定位存在的定位精度低的问题。
Description
技术领域
本公开涉及车辆定位技术领域，具体地，涉及一种车辆定位方法、装置、存储介质及车辆。
背景技术
相关技术中，实现车辆定位主要依靠激光雷达或者视觉定位。
在依靠激光雷达实现车辆定位时，需要在车辆上设置多个激光雷达，且该多个激光雷达中包括至少有一个为16线激光雷达，用于建图、定位及避障。但是，激光雷达定位存在较多缺点，例如，激光雷达售价较高，采用激光雷达实现车辆定位导致车辆定位成本过高，且16线激光雷达为机械装置，寿命有限，进一步增加车辆定位成本；激光雷达数据量大，在数据处理上对控制器有很高的运算能力要求，因而软件算法层面的优化会增加成本；激光点云数据构建的高精度地图，在环境改变的情况下(例如修路)，无法识别物体，造成激光雷达构建的高精度地图的生命周期较短。
在依靠视觉实现车辆定位时，算法处理能力要求极大，且严重受环境和光线影响，测距能力薄弱，定位精度低。
发明内容
本公开的目的是提供一种车辆定位方法、装置、存储介质及车辆，解决了相关技术中仅采用激光雷达实现车辆定位存在的成本高，和仅基于视觉实现车辆定位存在的定位精度低的问题。
为了实现上述目的，第一方面，本公开提供一种车辆定位方法，车辆设置有视觉***和毫米波雷达***，所述方法包括：
从所述视觉***中获取所述车辆当前时刻的视觉测量位姿信息，以及，从所述毫米波雷达***中获取所述车辆当前时刻的雷达测量位姿信息；
根据所述视觉测量位姿信息和所述车辆上一时刻的视觉估计位姿信息，确定所述车辆当前时刻的视觉估计位姿信息；以及
根据所述雷达测量位姿信息和所述车辆上一时刻的雷达估计位姿信息，确定所述车辆当前时刻的雷达估计位姿信息；
根据所述车辆的当前时刻的视觉估计位姿信息和所述雷达估计位姿信息，确定所述车辆当前时刻的目标位姿信息。
可选地，所述根据所述车辆的当前时刻的视觉估计位姿信息和所述雷达估计位姿信息，确定所述车辆当前时刻的目标位姿信息，包括：
确定所述车辆的所述视觉估计位姿信息与所述雷达估计位姿信息的权重比；
根据所述权重比，对所述车辆的当前时刻的视觉估计位姿信息和所述雷达估计位姿信息进行加权融合，以得到所述车辆当前时刻的目标位姿信息。
可选地，所述确定所述车辆的所述视觉估计位姿信息与所述雷达估计位姿信息的权重比；
获取所述车辆所处的环境特征信息；
根据所述环境特征信息，确定与所述环境特征信息相匹配的权重比。
可选地，所述车辆当前时刻的估计位姿信息通过以下方式确定：
根据所述车辆上一时刻的估计位姿信息和当前时刻下的状态转换矩阵、状态转移协方差矩阵，确定所述车辆当前时刻的预测位姿信息；
根据所述预测位姿信息和测量位姿信息，确定所述车辆当前时刻的估计位姿信息。
可选地，所述视觉测量位姿信息通过以下方式确定：
获取视觉采集装置采集的当前时刻的位姿信息、上一时刻的位姿信息以及所述毫米波雷达***发送的当前时刻的目标障碍物的相关信息，其中，所述视觉采集装置包括摄像头、惯性传感器、全球定位***以及轮速计；
根据所述当前时刻的位姿信息、上一时刻的位姿信息以及所述目标障碍物的相关信息，确定所述车辆当前时刻的视觉测量位姿信息
可选地，所述雷达测量位姿信息通过以下方式确定：
根据雷达采集装置采集的当前时刻的位姿信息和SLAM算法，确定所述车辆当前时刻的雷达测量位姿信息；
其中，所述雷达采集装置包括毫米波雷达、惯性传感器和全球定位***。
可选地，所述从所述视觉***中获取所述车辆当前时刻的视觉测量位姿信息，以及，从所述毫米波雷达***中获取所述车辆当前时刻的雷达测量位姿信息，包括：
同时从所述视觉***中获取所述车辆当前时刻的视觉测量位姿信息，以及，从所述毫米波雷达***中获取所述车辆当前时刻的雷达测量位姿信息。
第二方面，本公开提供车辆定位装置，所述装置包括：
获取模块，用于从视觉***中获取所述车辆当前时刻的视觉测量位姿信息，以及，从毫米波雷达***中获取所述车辆当前时刻的雷达测量位姿信息；
第一确定模块，用于根据所述视觉测量位姿信息和所述车辆上一时刻的视觉估计位姿信息，确定所述车辆当前时刻的视觉估计位姿信息；以及根据所述雷达测量位姿信息和所述车辆上一时刻的雷达估计位姿信息，确定所述车辆当前时刻的雷达估计位姿信息；
第二确定模块，用于根据所述车辆的当前时刻的视觉估计位姿信息和所述雷达估计位姿信息，确定所述车辆当前时刻的目标位姿信息。
第三方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中所述的车辆定位方法。
第四方面，本公开提供一种车辆，包括如上述第二方面中所述的车辆定位装置。
通过上述技术方案，利用毫米波雷达可以在全天候使用，不受光照和天气等因素影响，且成本更有优势的优点，基于视觉***中车辆的视觉测量位姿信息和毫米波雷达***中的雷达测量位姿信息，确定得到车辆当前时刻的目标位姿信息，解决了相关技术中仅采用激光雷达实现车辆定位存在的成本高，和仅基于视觉实现车辆定位存在的定位精度低的问题，有效地降低了车辆定位的生产成本并提高了车辆定位的精度，且在视觉***和毫米波雷达***中的其中一个***失效后也能实现车辆的定位，提高了整个***的安全性和可靠性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种车辆定位方法的流程图。
图2是根据一示例性实施例示出的步骤S13的一种流程图。
图3是根据一示例性实施例示出的一种确定视觉估计位姿信息的流程图。
图4是根据一示例性实施例示出的一种确定雷达估计位姿信息的流程图。
图5是根据一示例性实施例示出的一种车辆定位方法的另一流程图。
图6是根据一示例性实施例示出的一种车辆定位装置的结构图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
图1是根据一示例性实施例示出的一种车辆定位方法的流程图。如图1所示，所述车辆定位方法应用于车辆中的控制器，该车辆设置有视觉***和毫米波雷达***，所述车辆定位方法包括以下步骤。
在步骤S11中，从视觉***中获取车辆当前时刻的视觉测量位姿信息，以及，从毫米波雷达***中获取车辆当前时刻的雷达测量位姿信息。
在步骤S12中，根据视觉测量位姿信息和车辆上一时刻的视觉估计位姿信息，确定车辆当前时刻的视觉估计位姿信息；以及根据雷达测量位姿信息和车辆上一时刻的雷达估计位姿信息，确定车辆当前时刻的雷达估计位姿信息。
在步骤S13中，根据车辆的当前时刻的视觉估计位姿信息和雷达估计位姿信息，确定车辆当前时刻的目标位姿信息。
在本公开中，基于视觉***中车辆的视觉测量位姿信息和毫米波雷达***中的雷达测量位姿信息，确定得到车辆当前时刻的目标位姿信息，基于视觉和毫米波雷达检测到的位姿信息进行融合可提高车辆定位的精度，有效地降低了相关技术上中依靠激光雷达实现车辆定位的生产成本；且在视觉***和毫米波雷达***中的其中一个***失效后也能实现车辆的定位，提高了整个***的安全性和可靠性。
在步骤S11中，视觉测量位姿信息是视觉***基于视觉采集装置和SLAM(simultaneous localization and mapping，即时定位与地图构建)算法确定的。
雷达测量位姿信息是毫米波雷达***基于雷达采集装置和SLAM算法确定的。
在一种实施方式中，视觉采集装置例如可以包括摄像头，雷达采集装置例如可以包括毫米波雷达。摄像头可以设置多个，例如包括前视摄像头、环视摄像头，其中，前视摄像头可以设置于车辆的挡风玻璃，环视摄像头包括多个，分别可以设置于车辆的前方、后方、左侧以及右侧。毫米波雷达可以包括多个，可以设置于车辆的左前方、右前方、左后方以及右后方的四个顶角处。
需要说明的是，本公开中的视觉采集装置和雷达采集装置还可以设置于车辆的其他位置，本公开对此不做限定。
在步骤S12中，联合视觉测量位姿信息和车辆上一时刻的视觉估计位姿信息，对视觉测量位姿信息进行优化得到视觉估计位姿信息，确保了在视觉方面对车辆位姿估计的准确性；联合雷达测量位姿信息和车辆上一时刻的雷达估计位姿信息，对雷达测量位姿信息进行优化得到雷达估计位姿信息，确保了在毫米波雷达方面对车辆位姿估计的准确性。
在步骤S13中，对视觉估计位姿信息和雷达估计位姿信息进行融合得到目标位姿信息，保证即使有一种***无法获得相对应的估计位姿信息的情况下(如强光、黑夜等环境下导致视觉***无法得到视觉测量位姿信息)，另一种***能够有效的运行，提高了整个***的安全性和可靠性。
其中，目标位姿信息包括车辆的位置坐标和方位信息。根据确定的目标位姿信息可以实现车辆的无人自动驾驶，进而实现无人物流配送、自动代客泊车等应用。
示例地，在实现车辆的无人自动驾驶中，车辆接收用户指令，该用户指令包括配送时间、目标地点和指定路线等信息，车辆接收到该用户指令时，开启无人驾驶，在驾驶过程中，车辆会自动判断道路场景的拥堵情况，规避拥堵路段，实时规划动态路线。在该过程中，可利用本公开提供的车辆定位方法对车辆实时进行导航。
图2是根据一示例性实施例示出的步骤S13的一种流程图。如图2所示，步骤S13包括如下步骤。
在步骤S131中，确定车辆的视觉估计位姿信息与雷达估计位姿信息的权重比。
在步骤S132中，根据权重比，对车辆的当前时刻的视觉估计位姿信息和雷达估计位姿信息进行加权融合，以得到车辆当前时刻的目标位姿信息。
在本公开中，根据视觉估计位姿信息与雷达估计位姿信息的权重比，将视觉估计位姿信息与雷达估计位姿信息进行融合。根据两种层面得到的估计位姿信息，再基于该两种层面的权重比进行融合得到目标位姿信息，既能确保目标位姿信息的精确度，又能确保了在一个***(视觉***或毫米波雷达***)失效后，也能实现车辆的定位，提高了整个***的安全性和可靠性。
可以理解的是，权重是一个相对的概念，针对某一指标而言，该指标的权重是指该指标在整体评价中的相对重要程度。根据实际经验可以得到，视觉估计位姿信息和雷达估计位姿信息分别对车辆定位中的重要程度，由此得到两者之间的权重比。
在一种实施方式中，可以根据车辆所处的环境特征信息确定车辆的视觉估计位姿信息与雷达估计位姿信息的权重比。具体的：预先设定环境特征信息和与环境特征信息对应的权重比的对应关系，根据获取到的环境特征信息在该对应关系中查找与该环境特征信息相匹配的权重比。其中，环境特征信息例如可以是光线强度信息。
示例地，由于视觉定位受光线影响较为严重，因此，在光线较好的场景以视觉定位为主，即视觉估计位姿信息的权重值大于雷达估计位姿信息；相对应的，在光线较差的场景以毫米波雷达定位为主，即视觉估计位姿信息的权重值小于雷达估计位姿信息。
需要说明的是，环境特征信息和与环境特征信息对应的权重比的对应关系可根据实际情况进行设定，本实施例对此不作限定。
在一种实施方式中，车辆当前时刻的估计位姿信息通过以下方式确定：
首先，根据车辆上一时刻的估计位姿信息和当前时刻下的状态转换矩阵、状态转移协方差矩阵，确定车辆当前时刻的预测位姿信息；
然后，根据预测位姿信息和测量位姿信息，确定所述车辆当前时刻的估计位姿信息。
在本公开中，在车辆的运行过程中，车辆的当前位姿信息可以根据以往的数据进行估计。根据当前时刻对应的状态转换矩阵、状态转移协方差矩阵以及当前时刻的位姿估计信息，得到当前时刻的预测位姿信息，再基于预测位姿信息和测量位姿信息确定当前时刻的估计位姿信息，其中，测量位姿信息是当前时刻视觉***或毫米波雷达***测量得到的信息。
值得说明的是，在每一时刻下状态转换矩阵和状态转移协方差矩阵均是不同的。通过对上一时刻至当前时刻的状态进行计算，得到当前时刻对应的状态转换矩阵和状态转移协方差矩阵。
另外，在根据当前时刻对应的状态转换矩阵、状态转移协方差矩阵以及上一时刻的位姿估计信息得到车辆当前时刻的预测位姿信息的同时，还可以得到当前时刻的协方差矩阵。
其中，当前时刻的状态转换矩阵表征上一时刻至当前时刻的状态转换；状态转移协方差矩阵，即过程激励噪声，用来表示状态转换矩阵与实际过程之间的误差；协方差矩阵表示特征向量的不确定性，基于协方差矩阵，可以最终得到估计位姿信息是偏向于预测位姿信息，还是测量位姿信息，如果预测位姿信息的不确定性高，则估计位姿信息更偏向于预测位姿信息。
可以理解的是，可以根据协方差矩阵确定预测位姿信息与测量位姿信息之间的权重比，进而根据该权重比对预测位姿信息与测量位姿信息进行加权融合，以得到最终的估计位姿信息。
在本公开中，估计位姿信息可以是视觉估计位姿信息，也可以是雷达估计位姿信息。
图3是根据一示例性实施例示出的一种确定视觉估计位姿信息的流程图，如图3所示，包括以下步骤。
在步骤S301中，根据车辆上一时刻的视觉估计位姿信息和当前时刻下的状态转换矩阵、状态转移协方差矩阵，确定车辆当前时刻的视觉预测位姿信息。
在步骤S302中，根据视觉预测位姿信息和视觉测量位姿信息，确定车辆当前时刻的视觉估计位姿信息。
在本公开中，考虑到可以基于车辆在历史运行时间中的历史视觉位姿信息对车辆当前的视觉位姿信息进行预测，此处即称为预测值；另外，在车辆的实际运行过程中，也可以对车辆在当前的视觉位姿信息进行实时测量得到，此处即称为测量值。为了提高车辆定位的精确度，可以基于预测值对测量值进行调整，以得到精确的视觉位姿信息。
可以理解的是，在估计位姿信息为视觉估计位姿信息时，状态转换矩阵、状态转移协方差矩阵以及协方差矩阵均是依据视觉侧的数据计算得到。
具体的，根据车辆在上一时刻的视觉估计位姿信息和当前时刻下的状态转换矩阵、状态转移协方差矩阵，确定当前时刻的视觉预测位姿信息；再依据视觉预测位姿信息与视觉测量位姿信息之间的权重比得到当前时刻的视觉估计位姿信息。其中，视觉预测位姿信息与视觉测量位姿信息之间的权重比通过协方差矩阵确定。
图4是根据一示例性实施例示出的一种确定雷达估计位姿信息的流程图，如图4所示，包括以下步骤。
在步骤S401中，根据车辆上一时刻的雷达估计位姿信息和当前时刻下的状态转换矩阵、状态转移协方差矩阵，确定所述车辆当前时刻的雷达预测位姿信息。
在步骤S402中，根据雷达预测位姿信息和雷达测量位姿信息，确定车辆当前时刻的雷达估计位姿信息。
在本公开中，与上述获得视觉估计位姿信息的方式类似，考虑到可以基于车辆在历史运行时间中的历史雷达位姿信息对车辆当前的雷达位姿信息进行预测，此处即称为预测值；另外，在车辆的实际运行过程中，也可以对车辆在当前的雷达位姿信息进行实时测量得到，此处即称为测量值。为了提高车辆定位的精确度，可以基于预测值对测量值进行调整，以得到精确的位姿信息。
可以理解的是，在估计位姿信息为雷达估计位姿信息时，状态转换矩阵、状态转移协方差矩阵以及协方差矩阵均是依据雷达侧的数据计算得到。
具体的，根据车辆在上一时刻的雷达估计位姿信息和当前时刻下的状态转换矩阵、状态转移协方差矩阵，确定当前时刻的雷达预测位姿信息；再依据雷达预测位姿信息与雷达测量位姿信息之间的权重比得到当前时刻的雷达估计位姿信息。其中，雷达预测位姿信息与雷达测量位姿信息之间的权重比通过协方差矩阵确定。
图5是根据一示例性实施例示出的一种车辆定位方法的另一流程图。请参阅图5，包括以下步骤：
在步骤S51中，根据车辆上一时刻的视觉估计位姿信息和当前时刻下的状态转换矩阵、状态转移协方差矩阵，确定车辆当前时刻的视觉预测位姿信息。
在步骤S52中，根据视觉预测位姿信息和视觉测量位姿信息，确定车辆当前时刻的视觉估计位姿信息。
在步骤S53中，根据车辆上一时刻的雷达估计位姿信息和当前时刻下的状态转换矩阵、状态转移协方差矩阵，确定所述车辆当前时刻的雷达预测位姿信息。
在步骤S54中，根据雷达预测位姿信息和雷达测量位姿信息，确定车辆当前时刻的雷达估计位姿信息。
在步骤S55中，确定车辆的视觉估计位姿信息与雷达估计位姿信息的权重比。
在步骤S56中，根据权重比，对车辆的当前时刻的视觉估计位姿信息和雷达估计位姿信息进行加权融合，以得到车辆当前时刻的目标位姿信息。
其中，步骤S51与图3中的步骤S301的实施过程类似，本公开对此不做赘述。
步骤S52与图3中的步骤S302的实施过程类似，本公开对此不做赘述。
步骤S53与图4中的步骤S401的实施过程类似，本公开对此不做赘述。
步骤S54与图4中的步骤S402的实施过程类似，本公开对此不做赘述。
步骤S55与图2中的步骤S131的实施过程类似，本公开对此不做赘述。
步骤S56与图2中的步骤S132的实施过程类似，本公开对此不做赘述。
在一种实施方式中，视觉测量位姿信息通过以下方式确定：
首先，获取视觉采集装置采集的当前时刻的位姿信息、上一时刻的位姿信息以及所述毫米波雷达***发送的当前时刻的目标障碍物的相关信息；
然后，根据所述当前时刻的位姿信息、上一时刻的位姿信息以及所述目标障碍物的相关信息，确定所述车辆当前时刻的视觉测量位姿信息。
在本公开中，视觉测量位姿信息通过视觉采集装置采集的当前时刻的位姿信息、上一时刻的位姿信息和毫米波雷达***发送的当前时刻的目标障碍物的相关信息进行确定。将毫米波雷达***检测到的当前时刻的目标障碍物的相关信息发送至视觉***，以解决视觉***无法得到目标障碍物的相关信息或得到的目标障碍物的相关信息准确度低的问题，提高了视觉测量位姿信息的精确度，为后续基于视觉测量位姿信息确定目标位姿信息提供可靠的数据基础。
可选的，视觉采集装置除了包括摄像头，还可以包括惯性传感器、全球定位***以及轮速计。通过多种传感器设备检测到的数据，再结合SLAM算法，融合各个设备检测到的视觉信息，完成车辆所处环境的建图和定位，提高测量位姿信息的准确性，优化定位结果。
可选的，视觉***主要包括传感器模块、前端模块、后端模块、回环检测模块以及建图模块。视觉***基于包括的各个模块利用SLAM算法得到视觉测量位姿信息。具体的，摄像头检测的数据输入到传感器模块进行读取和预处理，传感器模块同时同步获取惯性传感器、轮速计检测到的信息。前端模块估算相邻图像间摄像头运动以及局部地图，相邻时刻的运动串联起来就构成了车辆的运动轨迹，从而解决定位问题。另一方面，根据每一时刻的摄像头位置，计算出各像素对应的空间点的位置，就得到了地图。后端模块主要对前端得到的数据进行优化。回环模块可以从毫米波雷达***中获取到目标障碍物的尺度信息。建图模块根据后端优化的数据进行最终的建图。通过各个模块的协同合作，得到视觉侧对车辆在世界坐标系的位姿信息进行确定。
可选的，目标障碍物的相关信息可以是目标障碍物的尺度信息。
在一种实施方式中，所述雷达测量位姿信息通过以下方式确定：
根据雷达采集装置采集的当前时刻的位姿信息和SLAM算法，确定所述车辆当前时刻的雷达测量位姿信息。其中，所述雷达采集装置包括毫米波雷达、惯性传感器和全球定位***。
在本公开中，毫米波雷达，主要根据电磁波传递到障碍物后电磁波反射所带来的频率变化确定物体的方位、速度、距离等参数。结合雷达采集装置检测到的数据和SLAM算法，对车辆的雷达测量位姿信息进行计算。
可选的，毫米波雷达***包括数据处理模块、特征提取模块、前端模块以及建图模块。数据处理模块用于对毫米波雷达采集到的点云数据进行预处理。特征提取模块用于对预处理后的点云数据进行特征提取，得到包括尺度信息在内的特征信息。前端模块对特征信息和惯性传感器检测到的数据进行融合计算，得到融合数据。建图模块用于对融合数据和全球定位***采集到的信息进行建图，实现车辆定位。
在一种实施方式中，所述从所述视觉***中获取所述车辆当前时刻的视觉测量位姿信息，以及，从所述毫米波雷达***中获取所述车辆当前时刻的雷达测量位姿信息，包括：同时从所述视觉***中获取所述车辆当前时刻的视觉测量位姿信息，以及，从所述毫米波雷达***中获取所述车辆当前时刻的雷达测量位姿信息。
在本公开中，同时获取视觉测量位姿信息和雷达测量位姿信息的信息，利于后期在融合时确保是对同一时刻的信息进行融合，提高了数据的可靠性。
在一种可能的实施方式中，由于摄像头和雷达的采集信息的频率不一致。因此，在视觉***和毫米波雷达***中还可以进行时间信息的交互，以保证视觉***和毫米波雷达***可以得到处于同一时刻的测量位姿信息。
示例地，视觉***可下发一个时间点信息，用于告知毫米波雷达在该时间点时输出毫米波雷达侧的雷达测量位姿信息，以确保后续是对同一时刻的雷达测量位姿信息和视觉测量位姿信息进行融合计算，得到目标位姿信息，提高目标位姿信息的精确度。
在一种实施方式中，在利用全球定位***时，还可以基于RTK(Real timekinematic，实时动态)载波相位差分技术，采集全球定位***对应的数据，进而对车辆实现视觉侧的测量位姿信息或雷达侧的测量位姿信息进行估计。其中，RTK载波相位差分技术是实时处理两个测量站载波相位观测量的差分方法。
基于同一发明构思，本公开还提供一种车辆定位装置，图6是根据一示例性实施例示出的一种车辆定位装置的结构图，请参阅图6，所述车辆定位装置600包括：
获取模块601，用于从视觉***中获取所述车辆当前时刻的视觉测量位姿信息，以及，从毫米波雷达***中获取所述车辆当前时刻的雷达测量位姿信息；
第一确定模块602，用于根据所述视觉测量位姿信息和所述车辆上一时刻的视觉估计位姿信息，确定所述车辆当前时刻的视觉估计位姿信息；以及根据所述雷达测量位姿信息和所述车辆上一时刻的雷达估计位姿信息，确定所述车辆当前时刻的雷达估计位姿信息；
第二确定模块603，用于根据所述车辆的当前时刻的视觉估计位姿信息和所述雷达估计位姿信息，确定所述车辆当前时刻的目标位姿信息。
可选的，所述第二确定模块603包括：
权重确定子模块，用于确定车辆的视觉估计位姿信息与雷达估计位姿信息的权重比。
融合子模块，用于根据权重比，对车辆的当前时刻的视觉估计位姿信息和雷达估计位姿信息进行加权融合，以得到车辆当前时刻的目标位姿信息。
可选的，所述车辆定位装置600还包括第一估计位姿信息确定模块，具体用于：
根据车辆上一时刻的视觉估计位姿信息和当前时刻下的状态转换矩阵、状态转移协方差矩阵，确定车辆当前时刻的视觉预测位姿信息；根据视觉预测位姿信息和视觉测量位姿信息，确定车辆当前时刻的视觉估计位姿信息。
可选的，所述车辆定位装置600还包括第二估计位姿信息确定模块，具体用于：
根据车辆上一时刻的雷达估计位姿信息和当前时刻下的状态转换矩阵、状态转移协方差矩阵，确定所述车辆当前时刻的雷达预测位姿信息；根据雷达预测位姿信息和雷达测量位姿信息，确定车辆当前时刻的雷达估计位姿信息。
基于同一发明构思，本公开还提供一种车辆，包括上述装置实施例中的示出的装置。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (10)
1.一种车辆定位方法，其特征在于，车辆设置有视觉***和毫米波雷达***，所述方法包括：
从所述视觉***中获取所述车辆当前时刻的视觉测量位姿信息，以及，从所述毫米波雷达***中获取所述车辆当前时刻的雷达测量位姿信息；
根据所述视觉测量位姿信息和所述车辆上一时刻的视觉估计位姿信息，确定所述车辆当前时刻的视觉估计位姿信息；以及
根据所述雷达测量位姿信息和所述车辆上一时刻的雷达估计位姿信息，确定所述车辆当前时刻的雷达估计位姿信息；
根据所述车辆的当前时刻的视觉估计位姿信息和所述雷达估计位姿信息，确定所述车辆当前时刻的目标位姿信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述车辆的当前时刻的视觉估计位姿信息和所述雷达估计位姿信息，确定所述车辆当前时刻的目标位姿信息，包括：
确定所述车辆的所述视觉估计位姿信息与所述雷达估计位姿信息的权重比；
根据所述权重比，对所述车辆的当前时刻的视觉估计位姿信息和所述雷达估计位姿信息进行加权融合，以得到所述车辆当前时刻的目标位姿信息。
3.根据权利要求2所述的方法，其特征在于，所述确定所述车辆的所述视觉估计位姿信息与所述雷达估计位姿信息的权重比；
获取所述车辆所处的环境特征信息；
根据所述环境特征信息，确定与所述环境特征信息相匹配的权重比。
4.根据权利要求1所述的方法，其特征在于，所述车辆当前时刻的估计位姿信息通过以下方式确定：
根据所述车辆上一时刻的估计位姿信息和当前时刻下的状态转换矩阵、状态转移协方差矩阵，确定所述车辆当前时刻的预测位姿信息；
根据所述预测位姿信息和测量位姿信息，确定所述车辆当前时刻的估计位姿信息。
5.根据权利要求1所述的方法，其特征在于，所述视觉测量位姿信息通过以下方式确定：
获取视觉采集装置采集的当前时刻的位姿信息、上一时刻的位姿信息以及所述毫米波雷达***发送的当前时刻的目标障碍物的相关信息，其中，所述视觉采集装置包括摄像头、惯性传感器、全球定位***以及轮速计；
根据所述当前时刻的位姿信息、上一时刻的位姿信息以及所述目标障碍物的相关信息，确定所述车辆当前时刻的视觉测量位姿信息。
6.根据权利要求1所述的方法，其特征在于，所述雷达测量位姿信息通过以下方式确定：
根据雷达采集装置采集的当前时刻的位姿信息和SLAM算法，确定所述车辆当前时刻的雷达测量位姿信息；
其中，所述雷达采集装置包括毫米波雷达、惯性传感器和全球定位***。
7.根据权利要求1所述的方法，其特征在于，所述从所述视觉***中获取所述车辆当前时刻的视觉测量位姿信息，以及，从所述毫米波雷达***中获取所述车辆当前时刻的雷达测量位姿信息，包括：
同时从所述视觉***中获取所述车辆当前时刻的视觉测量位姿信息，以及，从所述毫米波雷达***中获取所述车辆当前时刻的雷达测量位姿信息。
8.一种车辆定位装置，其特征在于，所述装置包括：
获取模块，用于从视觉***中获取所述车辆当前时刻的视觉测量位姿信息，以及，从毫米波雷达***中获取所述车辆当前时刻的雷达测量位姿信息；
第一确定模块，用于根据所述视觉测量位姿信息和所述车辆上一时刻的视觉估计位姿信息，确定所述车辆当前时刻的视觉估计位姿信息；以及根据所述雷达测量位姿信息和所述车辆上一时刻的雷达估计位姿信息，确定所述车辆当前时刻的雷达估计位姿信息；
第二确定模块，用于根据所述车辆的当前时刻的视觉估计位姿信息和所述雷达估计位姿信息，确定所述车辆当前时刻的目标位姿信息。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述车辆定位方法的步骤。
10.一种车辆，其特征在于，包括如权利要求8所述的车辆定位装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011105724.4A CN112230211A (zh) | 2020-10-15 | 2020-10-15 | 车辆定位方法、装置、存储介质及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011105724.4A CN112230211A (zh) | 2020-10-15 | 2020-10-15 | 车辆定位方法、装置、存储介质及车辆 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112230211A true CN112230211A (zh) | 2021-01-15 |
Family
ID=74118976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011105724.4A Pending CN112230211A (zh) | 2020-10-15 | 2020-10-15 | 车辆定位方法、装置、存储介质及车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112230211A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113390422A (zh) * | 2021-06-10 | 2021-09-14 | 奇瑞汽车股份有限公司 | 汽车的定位方法、装置及计算机存储介质 |
| CN114637003A (zh) * | 2022-03-16 | 2022-06-17 | 中国第一汽车股份有限公司 | 一种车辆的目标识别方法、装置、汽车及存储介质 |
| WO2023016271A1 (zh) * | 2021-08-13 | 2023-02-16 | 北京迈格威科技有限公司 | 位姿确定方法、电子设备及可读存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001216596A (ja) * | 2000-01-31 | 2001-08-10 | Mitsubishi Electric Corp | 路上検出装置及び自動車両 |
| CN103926933A (zh) * | 2014-03-29 | 2014-07-16 | 北京航空航天大学 | 一种无人飞行器室内同时定位与环境建模方法 |
| CN107301654A (zh) * | 2017-06-12 | 2017-10-27 | 西北工业大学 | 一种多传感器的高精度即时定位与建图方法 |
| CN108332750A (zh) * | 2018-01-05 | 2018-07-27 | 深圳市功夫机器人有限公司 | 机器人定位方法及终端设备 |
| CN108759833A (zh) * | 2018-04-25 | 2018-11-06 | 中国科学院合肥物质科学研究院 | 一种基于先验地图的智能车辆定位方法 |
| CN108827306A (zh) * | 2018-05-31 | 2018-11-16 | 北京林业大学 | 一种基于多传感器融合的无人机slam导航方法及*** |
| US20190173196A1 (en) * | 2017-12-02 | 2019-06-06 | Metawave Corporation | Method and apparatus for object detection with integrated environmental information |
| CN110243358A (zh) * | 2019-04-29 | 2019-09-17 | 武汉理工大学 | 多源融合的无人车室内外定位方法及*** |
| CN110609311A (zh) * | 2019-10-10 | 2019-12-24 | 武汉理工大学 | 基于车载环视图像与毫米波雷达融合的智能车定位方法 |
| CN110989613A (zh) * | 2019-12-18 | 2020-04-10 | 北京新能源汽车技术创新中心有限公司 | 车辆定位方法、装置、电子设备及存储介质 |
| CN111136660A (zh) * | 2020-02-19 | 2020-05-12 | 清华大学深圳国际研究生院 | 机器人位姿定位方法及*** |
| CN111522043A (zh) * | 2020-04-30 | 2020-08-11 | 北京联合大学 | 一种无人车激光雷达快速重新匹配定位方法 |
| CN111538029A (zh) * | 2020-04-24 | 2020-08-14 | 江苏盛海智能科技有限公司 | 一种视觉与雷达融合的测量方法及终端 |
| CN111595333A (zh) * | 2020-04-26 | 2020-08-28 | 武汉理工大学 | 视觉惯性激光数据融合的模块化无人车定位方法及*** |
-
2020
- 2020-10-15 CN CN202011105724.4A patent/CN112230211A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001216596A (ja) * | 2000-01-31 | 2001-08-10 | Mitsubishi Electric Corp | 路上検出装置及び自動車両 |
| CN103926933A (zh) * | 2014-03-29 | 2014-07-16 | 北京航空航天大学 | 一种无人飞行器室内同时定位与环境建模方法 |
| CN107301654A (zh) * | 2017-06-12 | 2017-10-27 | 西北工业大学 | 一种多传感器的高精度即时定位与建图方法 |
| US20190173196A1 (en) * | 2017-12-02 | 2019-06-06 | Metawave Corporation | Method and apparatus for object detection with integrated environmental information |
| CN108332750A (zh) * | 2018-01-05 | 2018-07-27 | 深圳市功夫机器人有限公司 | 机器人定位方法及终端设备 |
| CN108759833A (zh) * | 2018-04-25 | 2018-11-06 | 中国科学院合肥物质科学研究院 | 一种基于先验地图的智能车辆定位方法 |
| CN108827306A (zh) * | 2018-05-31 | 2018-11-16 | 北京林业大学 | 一种基于多传感器融合的无人机slam导航方法及*** |
| CN110243358A (zh) * | 2019-04-29 | 2019-09-17 | 武汉理工大学 | 多源融合的无人车室内外定位方法及*** |
| CN110609311A (zh) * | 2019-10-10 | 2019-12-24 | 武汉理工大学 | 基于车载环视图像与毫米波雷达融合的智能车定位方法 |
| CN110989613A (zh) * | 2019-12-18 | 2020-04-10 | 北京新能源汽车技术创新中心有限公司 | 车辆定位方法、装置、电子设备及存储介质 |
| CN111136660A (zh) * | 2020-02-19 | 2020-05-12 | 清华大学深圳国际研究生院 | 机器人位姿定位方法及*** |
| CN111538029A (zh) * | 2020-04-24 | 2020-08-14 | 江苏盛海智能科技有限公司 | 一种视觉与雷达融合的测量方法及终端 |
| CN111595333A (zh) * | 2020-04-26 | 2020-08-28 | 武汉理工大学 | 视觉惯性激光数据融合的模块化无人车定位方法及*** |
| CN111522043A (zh) * | 2020-04-30 | 2020-08-11 | 北京联合大学 | 一种无人车激光雷达快速重新匹配定位方法 |
Non-Patent Citations (5)
| Title |
|---|
| YANG ZHOU等: "A robot state estimator based on multi-sensor information fusion", 《THE 2018 5TH INTERNATIONAL CONFERENCE ON SYSTEMS AND INFORMATICS (ICSAI 2018)》 * |
| YINGLEI XU等: "SLAM of Robot based on the Fusion of Vision and LIDAR", 《2018 IEEE INTERNATIONAL CONFERENCE ON CYBORG AND BIONIC SYSTEMS (CBS)》 * |
| 孙永全等: "视觉惯性SLAM 综述", 《计算机应用研究》 * |
| 熊伟等: "《测绘地理信息 带我自动驾驶》", 31 January 2018 * |
| 马新谋，樊水康编著, 北京理工大学出版社 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113390422A (zh) * | 2021-06-10 | 2021-09-14 | 奇瑞汽车股份有限公司 | 汽车的定位方法、装置及计算机存储介质 |
| CN113390422B (zh) * | 2021-06-10 | 2022-06-10 | 奇瑞汽车股份有限公司 | 汽车的定位方法、装置及计算机存储介质 |
| WO2023016271A1 (zh) * | 2021-08-13 | 2023-02-16 | 北京迈格威科技有限公司 | 位姿确定方法、电子设备及可读存储介质 |
| CN114637003A (zh) * | 2022-03-16 | 2022-06-17 | 中国第一汽车股份有限公司 | 一种车辆的目标识别方法、装置、汽车及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3283843B1 (en) | Generating 3-dimensional maps of a scene using passive and active measurements | |
| CN111238494B (zh) | 载具、载具定位***及载具定位方法 | |
| CN112230211A (zh) | 车辆定位方法、装置、存储介质及车辆 | |
| CN109313031B (zh) | 车载处理装置 | |
| US20150378015A1 (en) | Apparatus and method for self-localization of vehicle | |
| CN110530372B (zh) | 定位方法、路径确定方法、装置、机器人及存储介质 | |
| US10677597B2 (en) | Method and system for creating a digital map | |
| CN111656136A (zh) | 使用激光雷达的车辆定位*** | |
| RU2720140C1 (ru) | Способ оценки собственной позиции и устройство оценки собственной позиции | |
| CN109444916B (zh) | 一种无人驾驶可行驶区域确定装置及方法 | |
| CN104932515A (zh) | 一种自主巡航方法以及巡航设备 | |
| JP7245084B2 (ja) | 自動運転システム | |
| JP2011511281A (ja) | センサにより検出されたオブジェクトとマップマッチングする方法 | |
| CN112698306A (zh) | 一种多激光雷达结合相机解决地图构建盲区的***和方法 | |
| CN111742326A (zh) | 车道线的检测方法、电子设备与存储介质 | |
| CN112149460A (zh) | 一种障碍物检测方法及装置 | |
| CN114322799B (zh) | 一种车辆行驶方法、装置、电子设备和存储介质 | |
| CN110823211A (zh) | 基于视觉slam的多传感器地图构建的方法、装置及芯片 | |
| CN111353453A (zh) | 用于车辆的障碍物检测方法和装置 | |
| KR20210058640A (ko) | 골프장 자동 운전차의 내비게이션 전환 설비 | |
| JP2023015284A (ja) | 推定装置 | |
| CN113768419B (zh) | 确定扫地机清扫方向的方法、装置及扫地机 | |
| US20190293444A1 (en) | Lane level accuracy using vision of roadway lights and particle filter | |
| JP2018084492A (ja) | 自己位置推定方法及び自己位置推定装置 | |
| KR20160125803A (ko) | 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210115 |