CN109887033B - 定位方法及装置 - Google Patents

Abstract

本发明提供了一种定位方法，包括：获取停车场的图像信息；获取IMU测量的姿态信息；对图像信息进行处理，得到车道线信息和二维码信息；根据车道线信息，确定车辆在自车坐标系下的路径轨迹信息；根据二维码信息和预设的第一地图，确定第一位姿信息；对图像信息进行特征提取，将提取到的特征信息与第二地图进行匹配，确定第二位姿信息；根据自车坐标系下的路径轨迹信息和基于全局位姿预测得到的自车坐标系下的路径轨迹信息，计算第三位姿信息；通过对第一位姿信息、第二位姿信息、第三位姿信息和姿态信息进行融合，得到车辆的目标位姿信息。由此，极大的提高了定位的鲁棒性和实用性。

Description

定位方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种定位方法及装置。

背景技术

随着汽车保有量的上升，车辆的停放是目前驾车出行的一个痛点，停车耗费了很多出行时间。同时随着自动驾驶技术的快速发展，地下车库等特定场景的低速代客泊车领域，开始得到越来越多的公司和研究机构的关注。相信随着技术的发展，低成本的代客泊车产品会被越来越的用户接受，同时代客泊车技术，将改变很多个人以及汽车租赁公司的取车和停放方式。

由于地下车库环境较为复杂，卫星导航***(Global Navigation SatelliteSystem，GNSS)无法进行定位，目前采用的定位方法主要有基于激光雷达同步定位与地图构建(simultaneous localization and mapping，SLAM)的定位方法，和基于视觉SLAM的定位方法。

基于激光雷达SLAM技术的地下停车场的定位方法，需要采图车采集地下停车场的地图数据，对地下停车场进行建图。在实际使用时需要提供先验的初始定位，以加速SLAM的收敛速度，提高定位的精度。激光雷达SLAM在实际定位时，需要将环境中扫描得到的三维点云数据与点云地图进行匹配得到车辆的实时位姿。

但是，在环境特征不够丰富的情况下存在定位失败的可能性。因此，在基于激光雷达SLAM定位时，结合惯性测量单元(Inertial measurement unit，IMU)的信息对车辆的位姿信息进行融合输出，以得到较为准确的位姿信息。但是上述方法的缺点是计算量大，对计算平台的性能要求较高，而且激光雷达成本较高，难以进行大规模量产。

基于视觉SLAM的地下停车场的定位方法同基于激光雷达SLAM有相似之处，需要对地下车库进行数据采集，建立地下停车场的点云地图。在实际使用时通过对检测到的图片进行尺度不变特征变换(Scale-invariant feature transform，SIFT)，加速稳健特征(Speeded Up Robust Features，SURF)之类的特征提取，将提取到的特征点与点云进行匹配以获取车辆的实时位姿。

但是，其对光的依赖程度高，在一些无纹理或纹理较少的区域存在定位失效的可能性，即使结合IMU信息对对位姿信息进行融合，实际使用时也存在由于误差累积造成定位精度较差的问题。

发明内容

本发明实施例的目的是提供一种定位方法及装置，以解决现有技术中存在的定位成本高和精度差问题。

为解决上述问题，第一方面，本发明提供了一种定位方法，所述定位方法包括：

获取停车场的图像信息；

获取惯性测量单元IMU测量的姿态信息；

对所述图像信息进行处理，得到车道线信息和二维码信息；

根据所述车道线信息，确定自车坐标系下的路径轨迹信息；

根据所述二维码信息和预设的第一地图，确定第一位姿信息；

对所述图像信息进行特征提取，将提取到的特征信息与第二地图进行匹配，确定第二位姿信息；

根据自车坐标系下的路径轨迹信息和基于全局位姿预测得到的自车坐标系下的路径轨迹信息，计算第三位姿信息；

通过对所述第一位姿信息、所述第二位姿信息、所述第三位姿信息和所述姿态信息进行融合，得到车辆的目标位姿信息。

在一种可能的实现方式中，所述对所述图像信息进行处理，得到车道线信息，具体包括：

对所述图像信息中的多帧图像进行截取，得到图像区域；

对所述图像区域进行灰度处理，得到灰度图像；

对所述灰度图像进行二值化处理，得到二值化图像；

对所述二值化图像进行滤波处理，得到滤波后的二值化图像；

通过边缘检测，确定所述滤波后的二值化图像的边缘点；

通过霍夫变化，确定所述滤波后的二值化图像中的直线；

根据所述直线和所述边缘点，确定车道线信息。

在一种可能的实现方式中，所述对所述图像信息进行处理，得到二维码信息，具体包括：

检测所述图像信息，判断是否存在二维码；

当存在二维码时，判断所述二维码是否有效；

当所述二维码有效时，提取二维码信息；所述二维码信息包括索引和二维码编号，所述索引包括地库中所有二维码的编号和所有二维码中的每个二维码在第一地图中的位置。

在一种可能的实现方式中，所述根据所述二维码信息和预设的第一地图，确定第一位姿信息，具体包括：

根据所述编号和所述索引，确定所述二维码在第一地图中的位置；

获取所述二维码的尺寸信息；

根据所述二维码的尺寸信息，通过角点辅助定位，确定所述二维码与车辆的相对位姿；

根据所述二维码在第一地图中的位置以及所述二维码与车辆的相对位姿，确定车辆在第二地图中的第一位姿信息。

在一种可能的实现方式中，所述对所地图信息进行特征提取，将提取到的特征信息与第二地图进行匹配，确定第二位姿信息，具体包括：

通过视觉SLAM中的SVO算法，进行特征提取，与第二地图进行匹配，确定车辆在第二地图中的第二位姿信息。

在一种可能的实现方式中，所述根据自车坐标系下的路径轨迹信息和基于全局位姿预测得到的自车坐标系下的路径轨迹信息，计算第三位姿信息，具体包括：

根据图像检测到的车道线信息，确定自车坐标系下的实际路径轨迹信息；

根据车辆全局位姿预测信息，确定自车坐标系下的预测路径轨迹信息；

对所述实际轨迹信息和所述预测轨迹信息进行路径点匹配，确定第三位姿信息。

第二方面，本发明提供了一种定位装置，所述定位装置包括：

获取单元，所述获取单元用于获取停车场的图像信息；

所述获取单元还用于获取惯性测量单元IMU测量的姿态信息；

处理单元，所述处理单元用于对所述图像信息进行处理，得到车道线信息和二维码信息；

确定单元，所述确定单元用于根据所述车道线信息，确定自车坐标系下的路径轨迹信息；

所述确定单元还用于根据所述二维码信息和预设的第一地图，确定第一位姿信息；

提取单元，所述提取单元用于对所述图像信息进行特征提取，将提取到的特征信息与第二地图进行匹配，确定第二位姿信息；

计算单元，所述计算单元用于根据自车坐标系下的路径轨迹信息和基于全局位姿预测得到的自车坐标系下的路径轨迹信息，计算第三位姿信息；

融合单元，所述融合单元用于通过对所述第一位姿信息、所述第二位姿信息、所述第三位姿信息和所述姿态信息进行融合，得到车辆的目标位姿信息。

第三方面，本发明提供了一种设备，包括存储器和处理器，所述存储器用于存储程序，所述处理器用于执行第一方面任一所述的方法。

第四方面，本发明提供了一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面任一所述的方法。

第五方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一所述的方法。

通过应用本发明提供的定位方法及装置，通过对三种位姿信息和姿态信息进行融合处理，极大的提高了定位的鲁棒性和实用性。

附图说明

图1为本发明实施一例提供的定位方法流程示意图；

图2为本发明实施例二提供的定位装置结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1为本发明实施例一提供的定位方法流程示意图。该定位方法可以应用在比如地下车库等不具有网络信号或者网络信号弱的场景中，比如地下停车场，在地下停车场中，由于没有卫星定位信号或信号较弱，车辆不能通过GNSS进行自车定位。此处的车辆，为自动驾驶车辆。如图1所示，该定位方法包括：

步骤110，获取停车场的图像信息。

其中，该停车场可以为地下停车场，该地下停车场具有卫星定位信号差或者没有该信号的特性。

步骤120，获取IMU测量的姿态信息。

其中，车辆上具有环视摄像头和IMU，可以通过环视摄像头获取停车场的图像信息，该图像信息可以包括多帧图像。该环视摄像头具有技术成熟、成本低、光角度较大的优点，通过其可以获取的环境纹理信息较多，便于后续的视觉SLAM定位。该IMU可以实时获取车辆的姿态信息，以提高定位精度。其中，车辆的姿态信息包括但不限于车辆的上翘、前倾、左转或右转信息。

步骤130，对图像信息进行处理，得到车道线信息和二维码。

其中，可以通过边缘检测和霍夫变换来进行车道线检测。

具体的，在使用该环视摄像头之前，可以先对该环视摄像头进行内外参标定，内参，即环视摄像头自身特性的参数，比如焦距、像素大小等，外参，即环视摄像头在车辆坐标系中的参数，比如位置和旋转方向等。

图像信息包括多帧图像，可以对多帧图像中每帧图像进行截取，随后仅对包含车道线信息的图像区域进行处理。接着，对包含车道线信息的图像区域进行灰度处理，得到灰度图像信息。接着，进行二值化处理，得到二值化图像，接着，进行去噪滤波处理，包括，去除高斯噪声和滤除极小锐角和极大钝角的线段。接着，进行canny边缘检测，确定边缘点，检测出车道线的轮廓。接着，通过霍夫hough变换，检测出直线。最后，根据边缘点和直线，得到车道线信息。该车道线检测方法鲁棒性好，对环境光线具有良好的适应性。

需要说明书的是，还可以通过基于透视变换的车道线检测方法或者基于拟合的车道线检测方法或者基于学习方法的车道线检测方法等，本申请对车道线检测的方法并不限定。

二维码，即车库中预先设置的二维码。在车库中，可以预先喷绘二维码，该二维码的实际大小也是预设好的，二维码的位置可以为车库地面上，墙上等摄像头可以采集到的区域。在喷绘好后，该二维码在车库中的位置是已知的，而且二维码在车库中的位置可以反应在第一地图上。该第一地图即为车库地图。该第一地图还具有索引，索引对应二维码的编号和在第一地图中的位置。

可以先对图像信息进行检测，判断是否存在二维码，当存在二维码时，判断二维码是否有效，有效可以是指可正常读取，当二维码部分被遮挡时，可以视为二维码无效。当二维码有效时，提取二维码信息，该二维码信息包括索引、二维码的编号。

步骤140，根据车道线信息，确定自车坐标系下的路径轨迹信息。

具体的，可以根据环视摄像头的内参，比如焦距，再根据多帧图像信息的深度信息，计算车辆依车道线行驶的位置信息，将多个位置信息拼接起来，即可确定车辆在自车坐标系下的路径轨迹信息。

步骤150，根据二维码信息和预设的第一地图，确定第一位姿信息。

具体的，接上例，编号可以是车库中多个二维码预先设置的编号，以对多个二维码进行区分，通过该编号，可以查找索引，定位二维码在第一地图中的位置，即定位二维码在车库地图中的位置。

还可以从图像信息中获取到二维码的尺寸信息。尺寸信息可以是二维码的大小，除此之外，二维码还包括3个角点(通过二维码角点检测算法可以计算出3个角点)。在一个示例中，比如二维码位于车库的停车位正中间，其尺寸为45cm*45cm，结合二维码的尺寸以及角点辅助定位，可以计算出二维码与环视摄像头的相对位置，从而计算出二维码与车辆的位姿关系。根据二维码在第一地图的位置和二维码与车辆的位姿关系，计算车辆在第二地图，即全局地图中的绝对位姿信息，也可以称为第一位姿信息。

其中，位姿信息可以包括车辆的位置和姿态，位置表示车辆相对世界坐标的位置(平移)，一般用坐标(x，y)表示，姿态表示车辆的偏航角即车辆实际前进方向与期望前进方向之间的偏差角度，可选用Φ表示。由此，位姿信息对应的即为三维空间信息可用(x，y，Φ)表示。对应的第一位姿信息可用n1＝(x1，y1，Φ1)表示。

步骤160，对所图像信息进行特征提取，将提取到的特征信息与第二地图进行匹配，确定第二位姿信息。

具体的，可以对图像信息进行特征提取后，将提取到的特征信息与根据视觉SLAM确定的第二地图进行匹配，从而确定第二位姿信息，即车辆在全局地图中的绝对位姿信息。至于如何根据视觉SLAM确定第二地图，本申请不再赘述。示例而非限定，可以通过半直接视觉里程计(Semi-direct Visual Odometry，SVO)算法，提取稀疏特征点，在实现中，使用了4x4的小块进行块匹配，估计相机资自身的运动。该算法速度极快，在低端计算平台上也能达到实时性，适合计算平台受限的场合。

SVO算法的具体流程包括跟踪和深度滤波，从而得到第二位姿信息，第二位姿信息可用n2＝(x2，y2，Φ2)表示。其具体计算流程本申请不再赘述。

可以理解的是，还可以采用增强现实(Parallel Tracking and Mapping，PTAM)算法、ORB-SLAM算法、大范围单目即时(Large Scale Direct monocular，LSD)-SLAM算法等获得第二位姿信息，此处不再赘述。

步骤170，根据自车坐标系下的路径轨迹信息和基于全局位姿预测得到的自车坐标系下的路径轨迹信息，计算第三位姿信息。

具体的，基于图像检测到的车道线信息，可以得到车辆在自车坐标系下的实际路径轨迹信息，而基于全局位姿的预测信息(该预测信息可以根据当前的位姿信息、当前速度等进行计算而得到)，车辆中的决策规划模块可以得到自车坐标系下的预测路径轨迹信息，根据实际路径轨迹信息和预测路径轨迹信息，通过差分算法进行路径点匹配，从而可以得到车辆在全局地图中的绝对位姿信息，即第三位姿信息，也可以称为基于车道线修正的位姿信息。该第三位姿信息可用n3＝(x3，y3，Φ3)表示。

步骤180，通过对第一位姿信息、第二位姿信息、第三位姿信息和姿态信息进行融合，得到车辆的目标位姿信息。

具体的，可以通过扩展卡尔曼滤波器(Extended Kalman Filter，EKF),对第一、第二和第三位姿信息、姿态信息进行融合处理，得到车辆的目标位姿信息。从而根据目标位姿信息，实现对车辆的定位。

通过应用本发明提供的定位方法，通过对三种位姿信息和姿态信息进行融合处理，极大的提高了定位的鲁棒性和实用性。

可以理解的是，在极端情况下，如视觉SLAM失去定位信息同时未检测到二维码标签，该融合算法会退化成基于车道线的局部定位算法，依然能可靠的提供定位信息，待视觉SLAM恢复或者检测到二维码标签后可以迅速的修正全局位姿信息。

图2为本发明实施例二提供的定位装置结构示意图。如图2所示，该定位装置应用在定位方法中，该定位装置200包括：获取单元210、处理单元220、确定单元230、提取单元240、计算单元250和融合单元260。

获取单元210用于获取停车场的图像信息；

获取单元210还用于获取IMU测量的姿态信息；

处理单元220用于对图像信息进行处理，得到车道线信息和二维码信息；

确定单元230用于根据车道线信息，确定自车坐标系下的路径轨迹信息；

确定单元230还用于根据二维码信息和预设的第一地图，确定第一位姿信息；

提取单元240用于对图像信息进行特征提取，将提取到的特征信息与第二地图进行匹配，确定第二位姿信息；

计算单元250用于根据自车坐标系下的路径轨迹信息和基于全局位姿预测得到的自车坐标系下的路径轨迹信息，计算第三位姿信息；

融合单元260用于通过对第一位姿信息、第二位姿信息、第三位姿信息和姿态信息进行滤波，得到车辆的目标位姿信息。

该装置中每个单元的具体作用和方法中的相同，此处不再赘述。

通过应用本发明提供的定位装置，通过对三种位姿信息和姿态信息进行融合，极大的提高了定位的鲁棒性和实用性。

本发明实施例三提供了一种设备，包括存储器和处理器，存储器用于存储程序，存储器可通过总线与处理器连接。存储器可以是非易失存储器，例如硬盘驱动器和闪存，存储器中存储有软件程序和设备驱动程序。软件程序能够执行本发明实施例提供的上述方法的各种功能；设备驱动程序可以是网络和接口驱动程序。处理器用于执行软件程序，该软件程序被执行时，能够实现本发明实施例提供的方法。

本发明实施例四提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行本发明实施例一提供的方法。

本发明实施例五提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明实施例一提供的方法。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种定位方法，其特征在于，所述定位方法包括：

自动驾驶车辆获取停车场的图像信息；

获取惯性测量单元IMU测量的车辆的姿态信息；所述姿态信息包括上翘、前倾、左转和右转信息；

对所述图像信息进行处理，得到车道线信息和车库中预设设置的二维码的二维码信息；

根据依所述车道线信息中的车道线行驶的位置信息，将多个所述位置信息进行拼接，确定车辆在自车坐标系下的路径轨迹信息；

根据所述二维码信息中的索引和二维码编号，确定二维码在预设的第一地图中的位置，随后获取二维码的尺寸信息，根据所述二维码的尺寸信息，通过角点辅助定位，确定所述二维码与车辆的相对位姿，随后根据所述二维码在第一地图中的位置以及所述二维码与车辆的相对位姿，确定车辆在第二地图中的第一位姿信息；

对所述图像信息进行特征提取，将提取到的特征信息与第二地图进行匹配，确定第二位姿信息；

根据自车坐标系下的路径轨迹信息和基于全局位姿预测得到的自车坐标系下的路径轨迹信息，计算第三位姿信息；

通过对所述第一位姿信息、所述第二位姿信息、所述第三位姿信息和所述姿态信息进行融合，得到车辆的目标位姿信息。

2.根据权利要求1所述的方法，其特征在于，所述对所述图像信息进行处理，得到车道线信息，具体包括：

对所述图像信息中的多帧图像进行截取，得到图像区域；

对所述图像区域进行灰度处理，得到灰度图像；

对所述灰度图像进行二值化处理，得到二值化图像；

对所述二值化图像进行滤波处理，得到滤波后的二值化图像；

通过边缘检测，确定所述滤波后的二值化图像的边缘点；

通过霍夫变化，确定所述滤波后的二值化图像中的直线；

根据所述直线和所述边缘点，确定车道线信息。

3.根据权利要求1所述的方法，其特征在于，所述对所述图像信息进行处理，得到二维码信息，具体包括：

检测所述图像信息，判断是否存在二维码；

当存在二维码时，判断所述二维码是否有效；

当所述二维码有效时，提取二维码信息；所述二维码信息包括索引和二维码编号，所述索引包括地库中所有二维码的编号和所有二维码中的每个二维码在第一地图中的位置。

4.根据权利要求1所述的方法，其特征在于，所述对所述图像信息进行特征提取，将提取到的特征信息与第二地图进行匹配，确定第二位姿信息，具体包括：

通过视觉SLAM中的SVO算法，进行特征提取，与第二地图进行匹配，确定车辆在第二地图中的第二位姿信息。

5.根据权利要求1所述的方法，其特征在于，所述根据自车坐标系下的路径轨迹信息和基于全局位姿预测得到的自车坐标系下的路径轨迹信息，计算第三位姿信息，具体包括：

根据图像检测到的车道线信息，确定自车坐标系下的实际路径轨迹信息；

根据车辆全局位姿预测信息，确定自车坐标系下的预测路径轨迹信息；

对所述实际路径轨迹信息和所述预测路径轨迹信息进行路径点匹配，确定第三位姿信息。

6.一种定位装置，其特征在于，所述定位装置包括：

获取单元，所述获取单元用于获取停车场的图像信息；

所述获取单元还用于获取惯性测量单元IMU测量的车辆的姿态信息；所述姿态信息包括上翘、前倾、左转和右转信息；

处理单元，所述处理单元用于对所述图像信息进行处理，得到车道线信息和车库中预设设置的二维码的二维码信息；

确定单元，所述确定单元用于依所述车道线信息中的车道线行驶的位置信息，将多个所述位置信息进行拼接，确定自车坐标系下的路径轨迹信息；

所述确定单元还用于根据所述二维码信息中的索引和二维码编号，确定二维码在预设的第一地图中的位置，随后获取二维码的尺寸信息，根据所述二维码的尺寸信息，通过角点辅助定位，确定所述二维码与车辆的相对位姿，随后根据所述二维码在第一地图中的位置以及所述二维码与车辆的相对位姿，确定车辆在第二地图中的第一位姿信息；

提取单元，所述提取单元用于对所述图像信息进行特征提取，将提取到的特征信息与第二地图进行匹配，确定第二位姿信息；

计算单元，所述计算单元用于根据自车坐标系下的路径轨迹信息和基于全局位姿预测得到的自车坐标系下的路径轨迹信息，计算第三位姿信息；

融合单元，所述融合单元用于通过对所述第一位姿信息、所述第二位姿信息、所述第三位姿信息和所述姿态信息进行融合，得到车辆的目标位姿信息。

7.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器用于存储程序，所述处理器用于执行如权利要求1-5任一所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5任一所述的方法。

Images