CN113418528A - 一种面向智能汽车的交通场景语义建模装置、建模方法以及定位方法 - Google Patents

Abstract

本发明公开了一种面向智能汽车的交通场景语义建模装置、建模方法以及定位方法，本发明为实现高建模精度，将交通场景进行多尺度多层级的精细化表征，包括：道路位置层，场景特征层以及交通语义层。其中，交通语义层采用深度学习的方式对交通元素进行语义识别，并将场景中的行人、车辆等动态目标剔除，解决了动态目标干扰问题；道路位置层描述了场景间的位置关系；场景特征层是在最大限度减少数据存储的基础上对交通场景进行充分的描述。上述三者解决了高精度地图对交通场景精细描述的问题。

Description

一种面向智能汽车的交通场景语义建模装置、建模方法以及 定位方法

技术领域

本发明属于智能汽车技术，具体涉及一种面向智能汽车的交通场景语义建模装置、建模方法以及定位方法。

背景技术

随着科技的进步，智能汽车已逐渐成为了国内外研究的热门问题。该领域中的高精度地图是实现汽车智能化的最关键问题之一。高精度地图构建是实现高精度定位、环境感知、决策规划以及执行控制的基础。该地图的构建与普通地图不同，普通地图仅需要提供高精度的经纬度信息，然而仅提供经纬度信息并不能满足智能汽车的驾驶需求，需在普通地图的基础上对交通场景进行描述，而描述的充分与否直接决定了地图构建的精度。因此，对智能汽车的交通场景建模，是高精度地图构建的核心技术。在交通场景建模过程中，不可避免的会出现行人、车辆，上述动态目标会直接影响地图构建精度。

发明内容

针对上述问题，本发明提供了一种面向智能汽车的交通场景语义建模装置及方法、以及利用该建模装置的定位方法。为保证建模精度，将交通场景进行多尺度多层级的精细化表征，包括：道路位置层，场景特征层以及交通语义层。其中，交通语义层采用深度学习的方式对交通元素进行语义识别，并将场景中的行人、车辆等动态目标剔除，解决了动态目标干扰问题；道路位置层描述了场景间的位置关系；场景特征层是在最大限度减少数据存储的基础上对交通场景进行充分的描述。上述三者解决了高精度地图对交通场景精细描述的问题。

技术方案如下：

本发明的一种面向智能汽车的交通场景语义建模装置，包括多源异构数据采集***，多源异构传感器标定与融合***，特征处理***。所述多源异构数据采集***，主要负责对交通场景语义的数据采集，包括三个激光测距仪、一个北斗***、一个差分北斗基站和一个惯性导航***，激光测距仪安装在智能汽车外部的任意位置，北斗***安装于车顶的任意位置，差分北斗基站安装于被测道路场景附近无被遮挡的高处，惯性导航***安装于智能汽车内的任意位置；所述多源异构传感器标定与融合***，主要作用为融合交通场景模型中的多语义特征，主要包括平整的带有反射功能的平面标定板；特征处理***主要作用为将所采集的数据进行语义特征提取，主要为车载工控机，安装于智能汽车中的任意位置。

本发明还公开了一种面向智能汽车的交通场景语义建模方法，包括多个尺度不同层级建模，包括以下步骤：

(1)数据采集：(1.1)多传感器标定；(1.2)多源数据采集与融合；

(2)多尺度交通场景语义建模：(2.1)构建道路位置层；(2.2)构建场景特征层；(2.3)构建交通语义层。

进一步的，所述步骤(1.1)中多传感器标定方法为：a.将平整的带有反射功能的标定板在三个激光雷达前放置，三个激光雷达同时射向标定板并获取数据，获取次数为三次。b.对标定板的数据进行平面拟合，计算标定板的平面方程，三个激光雷达的平面方程分别为下式所示：

a″₁x+b″₁y+c″₁z+d″₁＝0

式中，n为第n次获取的平面，n＝1，2，3，α_m，b_m，c_m，d_m(m＝1，2，3)分别为4个平面方程的系数。c.以标定板为基准平面，计算三个激光雷达的位置关系，通过R_j和t_j表示，如下式所示：

式中，j为第j个激光雷达。通过上式完成标定。

进一步的，(1.2.1)在智能汽车行驶过程中，三个激光雷达分别对周边交通场景采集激光点云，北斗接收机在激光雷达接收点云的同时同步接收经纬度信息，并通过惯导***与北斗差分基站获得高精度位置信息。

(1.2.2)对采集信息通过步骤(1.1)所得结果，将三个不同激光雷达所采集的点云映射至统一坐标系下，完成不同传感器间的融合。

式中[X_j Y_j Z_j]^T是第j(j＝1，2，3)个激光雷达的坐标，[x y z]^T是统一坐标系下的坐标，R_j，t_j是激光雷达到统一坐标系的位置关系矩阵，尺寸分别为3×3与3×1.

进一步的，所述步骤(2.1)中构建道路位置层的具体方法为：

(2.1.1)计算点云帧间的位置关系，运用旋转矩阵A和平移向量B来表示，如下式所示：

式中，

是第i帧点云数据的高精度位置信息，i＝0，1，2，3…。A_i+1，B_i+1表示第i+1帧与第i帧的位置关系矩阵，A_i+1为3×3的矩阵，B_i+1为3×1的向量。

(2.1.2)帧间点云位置关系优化。引入卡尔曼滤波思想，以激光点云为测量集，以高精度北斗信息为观察集，完成帧间点云位置关系的优化。其中北斗信息为观察集，如下式所示：

式中Z_b为观察集，H_b为观测矩阵，W_k为北斗数据，

是上一状态下的北斗数据的经纬坐标，

是当前状态下的北斗数据的经纬坐标；激光点云为测量集，如下式所示：

式中Z_l为测量集，E为测量矩阵式中为单位阵，L_k为激光点云数据，将二者相融合，并加入状态转移矩阵F，完成关系优化如下式所示：

进一步的，所述步骤(2.2)中构建交通语义层的具体方法为：

(2.2.1)构建交通场景语义数据集，包括但不局限于机动车、行人、建筑物、树木、交通标志等。

(2.2.2)引入深度学***均池化层，平均池化层将特征进行压缩，从而达到简化计算的效果，“fc”为全连接层，将卷积计算结果进行标记，即对交通语义特征进行判断。如下式所示：

Y＝F(X，{w_i})+X

式中X为激光点云，通过对其进行F(X，{w_i})的训练处理，w_i是残差映射，最终输出Y，即为交通场景的语义性。

(2.2.3)对语义性进行判定，对判定为动态目标语义特征进行剔除，动态目标包括但不局限于行人、机动车辆等，所剩语义点云即为交通语义层。

进一步的，所述步骤(2.3)中构建场景特征层的具体方法为：

(2.3.1)对于激光雷达点云，将点云投影至XOY平面上，在平面中绘制栅格，栅格尺寸可根据交通场景特征数量自适应调整，例如在校园场景内，栅格可划分为4×4的尺寸；

(2.3.2)对栅格中的点云激光点数进行统计，并设立阈值σ，阈值可根据具体交通场景评介经验值设定，例如校园场景内所设阈值为64，当点云点数小于该阈值时，对该点云进行滤除；

(2.3.3)对所剩点云计算其高度差，并设立点云阈值ξ，例如校园场景内所设阈值为1，当高度差小于该阈值时，对点云进行滤除；

(2.3.4)对栅格中所剩点云的均值与方差进行计算，同时设定阈值ε，当方差大于该阈值时对点云进行滤除，所剩点云即为交通场景特征，完成特征层构建。

本发明的有益效果：

1)本发明针对智能汽车的关键问题，仅用3个激光雷达、北斗***、惯导***，同时仅通过一个平面标定板将3个激光雷达进行标定融合，使其在不同位置采集的数据可以融合在一个坐标系下，使得盲区最大限度的减少，实现多层级、多尺度的交通场景建模。

2)本发明引入深度学习思想，构建交通语义层，使得对交通场景目标进行语义分类。该分类方法一方面可以解决高精度地图构建时移动物体所造成的精度降低问题，另一方面可提高定位精度与效率。

3)本发明提出一种柱状的激光点云特征提取方法，将庞杂的激光点云通过计算其高度差实现特征提取。解决了三维数据中特助提取困难的问题，同时极大程度上降低了高精度地图的存储空间，提高了地图构建与定位效率。

附图说明

图1为本发明的整体***结构图；

图2为本发明中交通场景语义建模方法流程图；

图3为本发明的道路位置层示意图；

图4为本发明的Tri-net流程图；

图5为本发明的激光特征示意图；

图6为本发明的场景特征层示意图；

图7为本发明的高精度定位流程图；

图8为本发明的高精度定位结果；

图9为本发明构建的面向交通场景卷积神经网络

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

实施例1.面向智能汽车的交通场景语义建模装置

该装置可对交通场景进行精确采集，运用标定板进行标定后可实现多传感器数据融合并最终实现多层级、多尺度的交通场景语义建模，具有降低存储空间，提高建模精度的特点。该***结构示意图由图1所示，包括多源异构数据采集***，多源异构传感器标定与融合***，特征处理***。其中多源异构数据采集***包括三个激光雷达1、2、3，北斗***4、差分北斗基站8以及惯导***5。所述激光雷达1、2、3，可安装在智能汽车外部任意位置，例如图中分别安装在车辆前、中、后三个位置，北斗***4安装于车顶任意位置，差分北斗基站8安装于交通场景中的任意空旷位置，该***中三个激光雷达1、2、3互相通过网线连接，北斗***4与惯导***5通过RS232数据线连接，北斗***4与差分北斗***8通过无线卫星通讯连接；多源异构传感器标定与融合***主要为平面标定板9，该标定板只需满足平面这1个约束即可，放置于车外激光雷达扫描范围内，激光雷达通过对其扫描实现模块之间的关联；特征处理***主要包括车载工控机7，安装在车内任意位置，通过网线与激光雷达相连，通过RS232数据线与惯导***相连。

实施例2.面向智能汽车的交通场景语义建模方法

该方法包括数据采集与多尺度语义交通场景建模，该方法流程图如图2所示，具体步骤如下：

(1)数据采集

(1.1)所述数据采集，将智能汽车开往至任意道路中，将所有传感器***开启，同时保证在数据采集时激光雷达、北斗***均保持相对位置不变。

(1.2)将标定板放置于激光雷达的对侧，使三个激光雷达同时扫描到标定板，将数据传输至工控机中，通过工控机对平面进行拟合，再计算标定板的平面方程，三个激光雷达的平面方程分别为下式所示：

a″₁x+b″₁y+c″₁z+d″₁＝0

式中，n为第n次获取的平面，n＝1，2，3。以标定板为基准平面，计算三个激光雷达的位置关系，通过R_j和t_j表示，如下式所示：

式中，j为第j个激光雷达。通过上式完成标定。

(1.3)根据标定结果，将三个激光雷达统一投影至同一世界坐标系下，如下式所示：

式中[X_j Y_j Z_j]^T是第j(j＝1，2，3)个激光雷达的坐标，[x y z]^T是统一坐标系下的坐标，R_j，t_j是激光雷达到统一坐标系的位置关系矩阵，尺寸分别为3×3与3×1.

(2)建立交通场景语义模型

将交通场景分成一系列的采集节点，保证每个节点中均有位置信息以及激光点云信息。在此基础上，对每个节点划分成道路位置层，场景特征层以及交通语义层的深度表征模型。

(2.1)将采集的北斗信息与激光点云相结合，通过但不局限与运用最近点迭代法(ICP)计算节点间位置关系，如下式所示：

因此，由北斗***得到的位置信息，以及上式计算得到的位置关系从而生成了道路位置层，道路位置层如图3所示。

(2.2)在生成道路位置层后，针对激光点云中的目标，引入深度学习思想，构建名为Tri-net的卷积神经网络，如图4所示，图中X为激光点云输入，经过非线性映射F(x)+x得到语义分类结果，而为了减少计算量，方法增加了一个“短路连接”形式，跳过多个网络层，从而实现语义分类判别，提高了效率。语义类型包括但不局限于汽车、行人、交通标志、车道线、建筑物、红绿灯、树木等。Tri-net公式如下式所示：

Y＝F(X，{w_i})+X

式中X为激光点云，通过对其进行F(X，{w_i})的训练处理，最终输出Y，即为交通场景的语义性。

得到语义分类后，对类型中汽车、行人等动态目标进行剔除，所剩点云及其语义标签即为交通语义层。

(2.3)得到交通语义层后，将剩余的激光雷达点云投影至×OY平面上，在平面中绘制栅格；对栅格中的点云激光点数进行统计，同时设置阈值，当栅格中点云数低于该阈值时，滤除栅格中点云；滤除后计算点云高度差，并设立阈值，当点云高度差低于该阈值时，再进行滤除；最后计算剩余点云的均值与方差，并对方差设立阈值，当方差大于该阈值时进行滤除，从而得到交通场景特征，如图5所示，完成场景特征层构建，场景特征层如图6所示。

实施例3.基于交通场景语义建模的高精度定位法

本实施例对所构建的交通场景语义模型进行应用，其主要应用领域即为高精度定位，高精度定位流程如图7所示。

(1)开启智能汽车传感器，采集北斗信息与激光点云信息。

(2)将语义模型中道路位置层进行提取，并与北斗信息匹配，得到最近节点，并以该节点为圆心，r为半径画圆，该圆即为定位范围，圆内所有节点均为候选点。

(3)将语义模型中的语义层提取，与智能汽车中的激光点云进行匹配，通过Tri-net神经网络进行识别与匹配，得到最近定位节点。

(4)提取模型中的场景特征层，与智能汽车中的激光点云进行匹配，匹配方法包括但不局限于ICP算法，从而得到当前车辆位置与最近节点间的位置关系，从而实现定位。图8为智能汽车运用本专利装置及方法在某交通道路中的定位结果，图中共包含了100个定位节点，图中可知定位精度平均误差为7.85cm，标准差为6.00cm。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向智能汽车的交通场景语义建模装置，其特征在于，包括多源异构数据采集***、多源异构传感器标定与融合***、特征处理***；所述多源异构数据采集***，包括三个激光测距仪、一个北斗***、一个差分北斗基站和一个惯性导航***，主要负责对交通场景语义的数据采集；所述多源异构传感器标定与融合***，主要作用为融合交通场景模型中的多语义特征；所述特征处理***，主要作用为将所采集的数据进行语义特征提取。

2.根据权利要求1所述的一种面向智能汽车的交通场景语义建模装置，其特征在于，所述激光测距仪安装在智能汽车外部的任意位置，北斗***安装于车顶的任意位置，差分北斗基站安装于被测道路场景附近无被遮挡的高处，惯性导航***安装于智能汽车内的任意位置；所述多源异构传感器标定与融合***，主要包括平整的带有反射功能的平面标定板；特征处理***主要为车载工控机，安装于智能汽车中的任意位置。

3.一种面向智能汽车的交通场景语义建模方法，其特征在于，包括多个尺度不同层级建模，包括以下：

S1数据采集：S1.1多传感器标定；S1.2多源数据采集与融合；

S2多尺度交通场景语义建模：S2.1构建道路位置层；S2.2构建交通语义层；S2.3构建场景特征层。

4.根据权利要求3所述的一种面向智能汽车的交通场景语义建模方法，其特征在于，所述步骤S1.1中多传感器标定的方法为：

S1.1.1.将平整的带有反射功能的标定板在三个激光雷达前放置，三个激光雷达同时射向标定板并获取数据，获取次数为三次；

S1.1.2.对标定板的数据进行平面拟合，计算标定板的平面方程，三个激光雷达的平面方程分别为下式所示：

式中，n为第n次获取的平面，n＝1,2,3，a_m,b_m,c_m,d_m(m＝1,2,3)分别为4个平面方程的系数；

S1.1.3.以标定板为基准平面，计算三个激光雷达的位置关系，通过R_j和t_j表示，如下式所示：

式中，j为第j个激光雷达,通过上式完成标定。

5.根据权利要求3所述的一种面向智能汽车的交通场景语义建模方法，其特征在于，所述S1.2中多源数据采集与融合的方法如下：

S1.2.1在智能汽车行驶过程中，三个激光雷达分别对周边交通场景采集激光点云，北斗接收机在激光雷达接收点云的同时同步接收经纬度信息，并通过惯导***与北斗差分基站获得高精度位置信息；

S1.2.2对采集信息通过步骤S1.1标定的结果，将三个不同激光雷达所采集的点云映射至统一坐标系下，完成不同传感器间的融合；

式中[X_j Y_j Z_j]^T是第j(j＝1,2,3)个激光雷达的坐标，[x_i y_i z_i]^T是统一坐标系下的坐标，R_j，t_j是激光雷达统一坐标系的位置关系，尺寸分别为3×3与3×1。

6.根据权利要求3所述的一种面向智能汽车的交通场景语义建模方法，其特征在于，所述步骤S2.1中构建道路位置层的具体方法为：

S2.1.1计算点云帧间的位置关系，运用旋转矩阵A和平移向量B来表示，如下式所示：

式中，

是第i帧点云数据的高精度位置信息，i＝0,1,2,3…。A_i+1,B_i+1表示第i+1帧与第i帧的位置关系，A_i+1为3×3的矩阵，B_i+1为3×1的向量。

S2.1.2帧间点云位置关系优化:引入卡尔曼滤波思想，以激光点云为测量集，以高精度北斗信息为观察集，完成帧间点云位置关系的优化，其中北斗信息为观察集，如下式所示：

式中Z_b为观察集，H_b为观测矩阵，W_k为北斗数据；激光点云为测量集，如下式所示：

式中Z_l为测量集，E为测量矩阵式中为单位阵，L_k为激光点云数据，将二者相融合完成关系优化如下式所示：

7.根据权利要求3所述的一种面向智能汽车的交通场景语义建模方法，其特征在于，所述步骤S2.2中构建交通语义层的具体方法为：

S2.2.1构建交通场景语义数据集，包括但不局限于机动车、行人、建筑物、树木、交通标志；

S2.2.2引入深度学习，对交通场景的语义进行判别：构建面向交通场景的卷积神经网络，如下式所示：

Y＝F(X,{w_i})+X

式中X为激光点云，通过对其进行F(X,{w_i})的训练处理，最终输出Y，即为交通场景的语义性；

S2.2.3对语义性进行判定，对判定为动态目标语义特征进行剔除，动态目标包括但不局限于行人、机动车辆等，所剩语义点云即为交通语义层。

8.根据权利要求3所述的一种面向智能汽车的交通场景语义建模方法，其特征在于，所述步骤S2.3中构建场景特征层的具体方法为：

S2.3.1对于激光雷达点云，将点云投影至XOY平面上，在平面中绘制栅格，栅格尺寸可根据交通场景特征数量自适应调整，例如在校园场景内，栅格可划分为4×4的尺寸；

S2.3.2对栅格中的点云激光点数进行统计，并设立阈值σ，阈值可根据具体交通场景评介经验值设定，例如校园场景内所设阈值为64，当点云点数小于该阈值时，对该点云进行滤除；

S2.3.3对所剩点云计算其高度差，并设立点云阈值ξ，例如校园场景内所设阈值为1，当高度差小于该阈值时，对点云进行滤除；

S2.3.4对栅格中所剩点云的均值与方差进行计算，同时设定阈值ε，当方差大于该阈值时对点云进行滤除，所剩点云即为交通场景特征，完成特征层构建。

9.根据权利要求7所述的一种面向智能汽车的交通场景语义建模方法，其特征在于，所述S2.2.2中卷积神经网络模型的具体构造如下：所构造神经网络为34层，共由卷积层、平均池化层、全连接层组成，通过卷积层提取交通场景语义特征，特征包括但不局限于场景目标的边缘、角点等特征，平均池化层将特征进行压缩，从而达到简化计算的效果，全连接层将卷积计算结果进行标记，即对交通语义特征进行判断。

10.基于交通场景语义建模的高精度定位方法，其特征在于，包括如下步骤

(1)开启智能汽车传感器，采集北斗信息与激光点云信息；

(2)将语义模型中道路位置层进行提取，并与北斗信息匹配，得到最近节点，并以该节点为圆心，r为半径画圆，该圆即为定位范围，圆内所有节点均为候选点；

(3)将语义模型中的语义层提取，与智能汽车中的激光点云进行匹配，通过Tri-net神经网络进行识别与匹配，得到最近定位节点；

(4)提取模型中的场景特征层，与智能汽车中的激光点云进行匹配，匹配方法包括但不局限于ICP算法，从而得到当前车辆位置与最近节点间的位置关系，从而实现定位。

Images