CN112862839A - 一种地图要素语义分割鲁棒性增强方法和*** - Google Patents

Abstract

本发明涉及一种地图要素语义分割鲁棒性增强方法和***，其特征在于包括以下步骤：1)按照时序将车载的摄像头传感器采集到的行驶场景视频分为独立的视频帧。2)基于预设的语义分割网络对步骤1)中各独立的视频帧数据进行语义分割，得到各帧图像中各类地图要素语义分割结果对应的掩膜，并在相邻帧图像之间引入光流信息，以增强视频语义分割稳定性。本发明仅使用摄像头传感器的连续视频信息，通过光流信息将每帧语义分割结果连接，能够通过较低的成本实现鲁棒的地图要素精确识别；因此，本发明可以广泛应用于自动驾驶领域。本发明可以广泛应用于自动驾驶领域。

Description

一种地图要素语义分割鲁棒性增强方法和***

技术领域

本发明属于自动驾驶领域，具体涉及一种利用计算机视觉、光流信息融合的视频地图要素语义分割鲁棒性增强方法和***。

背景技术

高精度地图作为高级别自动驾驶不可或缺的感知容器，是实现自动驾驶的关键基础，不仅为自动驾驶车辆提供车道级的导航和行驶环境信息，而且丰富了自动驾驶车辆的环境先验信息辅助自动驾驶车辆进行后续的决策判断。建立高精度地图的两大主要任务是采集与更新。采用更快、更低成本的方法完成这两项任务是目前高精度地图应用于实际的挑战。与此相关的问题也是目前自动驾驶领域的重点研究内容。同时随着计算机视觉相关领域的研究不断深入，基于图像感知高精度地图不同要素也成为解决感知问题的一种重要方式。

目前，高精度地图构建与更新的主流方案是采用摄像头传感器的视频数据，基于视觉方法感知真实世界车道信息。其中，对视觉传感器画面中的地图要素进行语义分割是一种高精度、低成本的地图要素信息提取的方式，通过这种方法可以有效地将地图要素信息提供给后续三维地图要素建模模块。语义分割是一种对图像中所有像素进行语义分类的任务。当前基于深度卷积神经网络的语义分割模型研究非常普遍，卷积神经网络具有很强的特征学习能力，可以通过对大量数据进行充分训练得到稳定的输出效果。基于深度学习的语义分割神经网络一般分为编码和解码部分。编码部分是一个特征提取网络，通过多层卷积提取输入图像的深层特征；解码部分是一个上采样网络，以得到与输入尺寸一致的输出结果。

现有的语义分割网络在现有开源数据集上可以获得较高精度的分割结果，但针对实际场景数据，直接应用于实际高精度地图要素感知与建模任务中尚有不足。目前单帧图像的语义分割舍去了摄像头传感器采集的时序信息，前后相邻帧之间的无关联处理造成了分割跳变的情况，导致现有方法直接应用往往会出现不稳定、跳变的结果，难以直接应用于实际工程中。

发明内容

针对上述问题，本发明的目的是提供一种基于光流信息融合的地图要素语义分割鲁棒性增强方法和***，仅使用摄像头传感器的连续视频信息，通过光流信息将每帧语义分割结果连接，能够通过较低的成本实现鲁棒的地图要素精确识别。

为实现上述目的，本发明采取以下技术方案：

本发明的第一个方面，是提供一种地图要素语义分割鲁棒性增强方法，其包括以下步骤：1)按照时序将车载摄像头传感器采集到的行驶场景视频分为独立的视频帧图像。2)基于预设的语义分割网络对步骤1)中各独立的视频帧图像数据进行语义分割，得到各帧图像中各类地图要素语义分割结果对应的掩膜，并在相邻帧图像之间引入光流信息，以增强语义分割视频图像的稳定性。

进一步，所述步骤2)中，增强视频语义分割稳定性的方法，包括以下步骤：

2.1)读取第i帧图像，并将其输入到预设的语义分割网络进行处理，得到第i帧图像中，各类地图要素语义分割结果对应的掩膜；其中，预设的语义分割网络为针对车道线、灯杆、道路标识牌三种地图要素的网络；

2.2)读取第i+1帧图像，并将其输入到预设的语义分割网络进行处理，得到第i+1帧图像中，各类地图要素语义分割结果对应的掩膜；

2.3)计算第i帧图像和第i+1帧图像之间的光流信息，得到帧间光流图；

2.4)基于得到的帧间光流图将第i帧图像中各类地图要素语义所对应的掩膜传播到第i+1帧图像中，并在预设的限制区域范围内对第i+1帧图像的语义分割结果进行增强操作，使得第i+1帧图像中不完整的分割区域得到补充。

2.5)迭代增强：重复上述步骤2.2)～2.4)，直到步骤1)中所有的独立视频帧图像都被处理完毕。

进一步，所述步骤2.4)中，进行光流信息融合时，包括以下步骤：

2.4.1)根据计算得到的两帧图像之间的光流图将前帧图像的地图要素语义分割结果按照像素在光流图中的对应关系沿光流图位移矢量传播至后帧图像的相应位置，得到修正语义要素区域；

2.4.2)将步骤2.4.1)中得到的修正语义要素区域以及步骤2.2)中得到的后帧图像的语义要素分割结果进行对比，并基于对比结果对后帧图像中地图要素分割不完全的部分进行修正，实现增强性补充。

进一步，所述步骤2.4.1)中，所述前帧图像的地图要素语义分割结果按照像素在光流图中的对应关系沿光流图位移矢量传播至后帧图像的相应位置的计算公式为：

式中，

为第i帧某像素在图像上的横坐标，

为第i帧某像素在前帧图像上的纵坐标；

为第i+1帧某像素在图像上的横坐标，

为第i+1帧某像素在图像上的纵坐标；dt为经历的时间；(u_(x，y)，v_(x，y))为光流图中每个坐标处存储的该位置像素对应传播到下一帧的速度矢量。

进一步，所述步骤2.4.2)中，修正后的后帧图像对应的语义分割结果为：

I^(i+1|i+1)＝I⁽ⁱ⁺¹⁾∪(I^(i+1|i)∩I^{(限制区域)})

其中，I⁽ⁱ⁺¹⁾为第i+1帧图像的语义分割结果；I^(i+1|i)为光流传播的第i帧图像的修正语义分割结果；I^(i+1|i+1)为融合第i+1帧图像的语义分割结果I⁽ⁱ⁺¹⁾与光流传播的第i帧图像的修正语义分割结果I^(i+1|i)后第i+1帧图像的最终的语义分割结果。

本发明的第二个方面，是提供一种地图要素语义分割鲁棒性增强***，其包括：

视频帧图像获取模块，用于按照时序将车载的摄像头传感器采集到的行驶场景视频分为独立的视频帧；

语义增强模块，用于基于预设的语义分割网络对各独立的视频帧数据进行语义分割，得到各帧图像中各类地图要素语义分割结果对应的掩膜，并在相邻帧图像之间引入光流信息，以增强视频语义分割稳定性。

进一步，所述语义增强模块包括：

前帧图像处理模块，用于读取前帧图像，并将其输入针对车道线、灯杆、道路标识牌三种地图要素的语义分割网络进行处理，得到前帧图像中，各类地图要素语义分割结果对应的掩膜；

后帧图像处理模块，用于读取后帧图像，并将其输入针对车道线、灯杆、道路标识牌三种地图要素的语义分割网络进行处理，得到后帧图像中，各类地图要素语义分割结果对应的掩膜；

光流图获取模块，用于计算前帧和后帧图像之间的光流信息，得到帧间光流图；

光流信息融合模块，用于通过得到的帧间光流图将前帧图像所对应的掩膜传播到后帧图像，并在预设的限制区域范围内对后帧图像结果进行增强操作，使后帧图像不完整的语义分割区域得到补充；

迭代增强模块，用于对后帧图像编号进行加1，并返回前帧图像处理模块，直到所有帧图像都被处理完毕。

进一步，光流信息融合模块包括修正模块和增长区域限制模块，修正模块用于根据计算得到的两帧图像之间的光流信息，通过该光流信息对应的光流图将前帧图像的地图要素语义分割结果按照像素在光流图中的对应关系沿光流图位移矢量传播至后帧图像的相应位置，得到修正语义要素区域；增长区域限制模块用于将得到的修正语义要素区域以及后帧图像的语义要素分割结果进行对比，并基于对比结果对后帧图像中地图要素分割不完全的部分进行修正，实现增强性补充。

本发明由于采取以上技术方案，其具有以下优点：1)本发明仅使用摄像头传感器的连续视频信息，通过光流信息将每帧语义分割结果连接，能够通过较低的成本实现鲁棒的地图要素精确识别；2)本发明应用前帧信息通过光流传播到后帧以增强后帧分割效果，能够减少地图要素分割不稳定情况，增强地图要素分割的鲁棒性。因此，本发明可以广泛应用于自动驾驶领域。

附图说明

图1是本发明的光流融合算法流程图；

图2是本发明的迭代增强算法框架图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图1所示，本发明提供的一种地图要素语义分割鲁棒性增强方法，以实际自动驾驶工程任务中车载摄像头传感器拍摄的视频作为输入，采用基本的语义分割网络实现地图要素的初步提取，在此基础上通过融合连续视频帧之间的光流信息，将前帧的分割掩膜通过光流传播到后帧，并采取一定容错机制，将优化结果不断迭代，对分割跳变的地图要素进行增强。具体的，包括以下步骤：

1)按照时序将车载摄像头传感器采集到的行驶场景视频分为独立的视频帧图像。

2)基于预设的语义分割网络对步骤1)中各独立的视频帧图像数据进行语义分割，得到各帧图像中各类地图要素语义分割结果对应的掩膜，并在相邻帧图像之间引入光流信息，以增强语义分割视频图像的稳定性。

具体的，包括以下步骤：

2.1)处理第i帧图像：读取第i帧图像，并将其输入到预设的语义分割网络进行处理，得到第i帧图像中，各类地图要素语义分割结果对应的掩膜；其中，预设的语义分割网络为针对车道线、灯杆、道路标识牌三种地图要素的网络；

2.2)处理第i+1帧图像：读取第i+1帧图像，并将其输入到预设的语义分割网络进行处理，得到第i+1帧图像中，各类地图要素语义分割结果对应的掩膜；

2.3)获取光流图：计算第i帧图像和第i+1帧图像之间的光流信息，得到帧间光流图；

2.4)光流信息融合：基于得到的帧间光流图将第i帧图像中各类地图要素语义所对应的掩膜传播到第i+1帧图像中，并在预设的限制区域范围内对第i+1帧图像的语义分割结果进行增强操作，使得第i+1帧图像中不完整的分割区域得到补充。其中，限制区域指第i+1帧图像中有检测结果区域的邻域，对于灯杆地图要素，邻域取纵向邻域，对于道路标识牌地图要素，邻域取横纵向皆可，且邻域大小可根据实际问题调整；

2.5)迭代增强：重复上述步骤2.2)～2.4)，直到步骤1)中所有的独立视频帧图像都被处理完毕。

进一步，如图2所示，步骤2.1)和步骤2.2)中预设的语义分割网络，一般由编码器和解码器构成。编码器通常是一个具有复杂结构的深度卷积网络，它的目的是提取深层特征信息，不同编码器模型对特征的表征能力不同，分割效果也不同。解码器通常是一个上采样的网络，它的目的是将编码器提取的深度特征信息转化为与输入图像尺寸一致的分割结果。

在实际高精度地图建模任务中，需要对车道线、灯杆、道路标识牌三种地图要素进行提取，因此语义分割网络只对视频图像中的这三类语义进行分割，在训练语义分割网络之前对输入语义分割网络的标注进行一定处理，仅保留车道线、灯杆、道路标识牌三种地图要素的语义标签，经过充分训练后使应用于本发明的语义分割网络能够直接输出三类语义分割结果。由于该步骤仅提供初步的地图要素在单帧的语义分割结果即可，本发明不涉及具体实现语义分割的方法，在此不对语义分割网络的结构做其他特殊要求。

进一步，上述步骤2.3)中，提取每帧地图要素后，在相邻帧之间引入光流信息，以增强视频语义分割稳定性。本发明不涉及具体实现光流计算的方法，因此对其不作限制。

进一步，上述步骤2.4)中，进行光流信息融合时，包括以下步骤：

2.4.1)迭代增强算法：根据计算得到的两帧图像之间的光流图将前帧图像的地图要素语义分割结果按照像素在光流图中的对应关系沿光流图位移矢量传播至后帧图像的相应位置，得到修正语义要素区域。

为了使光流图修正的地图要素区域能够被有效利用，本发明使用修正后的分割结果作为最终该帧图像的语义分割结果，并作为前帧信息迭代到下一帧的运算中。

其中，光流图是一个根据两帧像素关系计算得到的帧间信息，每个坐标处存储一个该位置像素对应传播到下一帧的速度矢量(u_(x，y)，v_(x，y))。设

为融合第i帧语义分割结果与光流传播的第i-1帧分割结果后第i帧某像素在图像上的横坐标，

为融合第i帧语义分割结果与光流传播的i-1帧分割结果后第i帧某像素在图像上的纵坐标，经历的时间为dt，则像素点

延光流图传播到下一帧像素的相应位置坐标为：

2.4.2)增长区域限制算法：将步骤2.4.1)中得到的修正语义要素区域以及步骤2.2)中得到的后帧图像的语义要素分割结果进行对比，并基于对比结果对后帧图像中地图要素分割不完全的部分进行修正，实现增强性补充。

具体的，根据之前步骤2.2)中语义分割网络对下一帧图像进行的语义分割结果对应的区域以及步骤2.4.1)中得到的相应位置处对应的语义要素区域进行对比，来判定是否可以修改，对前帧图像传播到后帧图像的语义像素点是否能够修改后帧图像的语义分割结果进行判定，如果后帧图像在该语义要素区域内有语义分割的信息，则认为是可行的区域，从而使得光流信息仅能在原有结果的作用区域内进行增长。

为了限制光流的误传播对后帧图像的影响，使光流增强的区域不会随着迭代逐渐扩张，使光流传播的错误区域能够被避免，本发明设计了将光流增强区域限制在一定可行区域的算法，避免了传播错误与误差迭代的情况。具体地，设I⁽ⁱ⁺¹⁾为第i+1帧图像的语义分割结果，I^(i+1|i)为光流传播的第i帧图像的修正语义分割结果，I^(i+1|i+1)为融合第i+1帧语义分割结果I(i+1)与光流传播的第i帧图像的修正语义分割结果I^(i+1|i)后第i+1帧图像的最终语义分割结果，则有：

I^(i+1|i+1)＝I⁽ⁱ⁺¹⁾∪(I^(i+1|i)∩I^{(限制区域)})

由于光流计算方法的精度有限，无法实现前后帧像素的完全一一对应，本算法仅对分割跳变的帧中分割区域明显不足的地图要素有效。如果本身精度足够高，本算法可能会因引入光流引起新误差。

基于上述地图要素语义分割增强方法，本发明还提供一种地图要素语义分割增强***，其包括：视频帧图像获取模块，用于按照时序将车载的摄像头传感器采集到的行驶场景视频分为独立的视频帧；语义增强模块，用于基于预设的语义分割网络对各独立的视频帧数据进行语义分割，得到各帧图像中各类地图要素语义分割结果对应的掩膜，并在相邻帧图像之间引入光流信息，以增强视频语义分割稳定性。

进一步，语义增强模块包括：

前帧图像处理模块，用于读取前帧图像，并将其输入针对车道线、灯杆、道路标识牌三种地图要素的语义分割网络进行处理，得到前帧图像中，各类地图要素语义分割结果对应的掩膜；

后帧图像处理模块，用于读取后帧图像，并将其输入针对车道线、灯杆、道路标识牌三种地图要素的语义分割网络进行处理，得到后帧图像中，各类地图要素语义分割结果对应的掩膜；

光流图获取模块，用于计算前帧和后帧图像之间的光流信息，得到帧间光流图；

光流信息融合模块，用于通过得到的帧间光流图将前帧图像所对应的掩膜传播到后帧图像，并在预设的限制区域范围内对后帧图像结果进行增强操作，使后帧图像不完整的语义分割区域得到补充；

迭代增强模块，用于对后帧图像编号进行加1，并返回前帧图像处理模块，直到所有帧图像都被处理完毕。

进一步，光流信息融合模块包括修正模块和增长区域限制模块，修正模块用于根据计算得到的两帧图像之间的光流信息，通过该光流信息对应的光流图将前帧图像的地图要素语义分割结果按照像素在光流图中的对应关系沿光流图位移矢量传播至后帧图像的相应位置，得到修正语义要素区域；增长区域限制模块用于将得到的修正语义要素区域以及后帧图像的语义要素分割结果进行对比，并基于对比结果对后帧图像中地图要素分割不完全的部分进行修正，实现增强性补充。

上述各实施例仅用于说明本发明，其中各部件的结构、连接方式和制作工艺等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (8)

1.一种地图要素语义分割鲁棒性增强方法，其特征在于包括以下步骤：

1)按照时序将车载摄像头传感器采集到的行驶场景视频分为独立的视频帧图像。

2)基于预设的语义分割网络对步骤1)中各独立的视频帧图像数据进行语义分割，得到各帧图像中各类地图要素语义分割结果对应的掩膜，并在相邻帧图像之间引入光流信息，以增强语义分割视频图像的稳定性。

2.如权利要求1所述的一种地图要素语义分割鲁棒性增强方法，其特征在于：所述步骤2)中，增强视频语义分割稳定性的方法，包括以下步骤：

2.1)读取第i帧图像，并将其输入到预设的语义分割网络进行处理，得到第i帧图像中，各类地图要素语义分割结果对应的掩膜；其中，预设的语义分割网络为针对车道线、灯杆、道路标识牌三种地图要素的网络；

2.2)读取第i+1帧图像，并将其输入到预设的语义分割网络进行处理，得到第i+1帧图像中，各类地图要素语义分割结果对应的掩膜；

2.3)计算第i帧图像和第i+1帧图像之间的光流信息，得到帧间光流图；

2.4)基于得到的帧间光流图将第i帧图像中各类地图要素语义所对应的掩膜传播到第i+1帧图像中，并在预设的限制区域范围内对第i+1帧图像的语义分割结果进行增强操作，使得第i+1帧图像中不完整的分割区域得到补充。

2.5)迭代增强：重复上述步骤2.2)～2.4)，直到步骤1)中所有的独立视频帧图像都被处理完毕。

3.如权利要求1所述的一种地图要素语义分割鲁棒性增强方法，其特征在于：所述步骤2.4)中，进行光流信息融合时，包括以下步骤：

2.4.1)根据计算得到的两帧图像之间的光流图将前帧图像的地图要素语义分割结果按照像素在光流图中的对应关系沿光流图位移矢量传播至后帧图像的相应位置，得到修正语义要素区域；

2.4.2)将步骤2.4.1)中得到的修正语义要素区域以及步骤2.2)中得到的后帧图像的语义要素分割结果进行对比，并基于对比结果对后帧图像中地图要素分割不完全的部分进行修正，实现增强性补充。

4.如权利要求3所述的一种地图要素语义分割鲁棒性增强方法，其特征在于：所述步骤2.4.1)中，所述前帧图像的地图要素语义分割结果按照像素在光流图中的对应关系沿光流图位移矢量传播至后帧图像的相应位置的计算公式为：

式中，

第i帧某像素在图像上的横坐标，

为第i帧某像素在前帧图像上的纵坐标；

为第i+1帧某像素在图像上的横坐标，

为第i+1帧某像素在图像上的纵坐标；dt为经历的时间；(u_(x，y)，v_(x，y))为光流图中每个坐标处存储的该位置像素对应传播到下一帧的速度矢量。

5.如权利要求3所述的一种地图要素语义分割鲁棒性增强方法，其特征在于：所述步骤2.4.2)中，修正后的后帧图像对应的语义分割结果为：

I^(i+1|i+1)＝I⁽ⁱ⁺¹⁾∪(I^(i+1|i)∩I^{(限制区域)})

其中，I⁽ⁱ⁺¹⁾为第i+1帧图像的语义分割结果；I^(i+1|i)为光流传播的第i帧图像的修正语义分割结果；I^(i+1|i+1)为融合第i+1帧图像的语义分割结果I⁽ⁱ⁺¹⁾与光流传播的第i帧图像的修正语义分割结果I^(i+1|i)后第i+1帧图像的最终的语义分割结果。

6.一种地图要素语义分割鲁棒性增强***，其特征在于，包括：

视频帧图像获取模块，用于按照时序将车载的摄像头传感器采集到的行驶场景视频分为独立的视频帧；

语义增强模块，用于基于预设的语义分割网络对各独立的视频帧数据进行语义分割，得到各帧图像中各类地图要素语义分割结果对应的掩膜，并在相邻帧图像之间引入光流信息，以增强视频语义分割稳定性。

7.如权利要求6所述的一种地图要素语义分割鲁棒性增强***，其特征在于：所述语义增强模块包括：

前帧图像处理模块，用于读取前帧图像，并将其输入针对车道线、灯杆、道路标识牌三种地图要素的语义分割网络进行处理，得到前帧图像中，各类地图要素语义分割结果对应的掩膜；

后帧图像处理模块，用于读取后帧图像，并将其输入针对车道线、灯杆、道路标识牌三种地图要素的语义分割网络进行处理，得到后帧图像中，各类地图要素语义分割结果对应的掩膜；

光流图获取模块，用于计算前帧和后帧图像之间的光流信息，得到帧间光流图；

光流信息融合模块，用于通过得到的帧间光流图将前帧图像所对应的掩膜传播到后帧图像，并在预设的限制区域范围内对后帧图像结果进行增强操作，使后帧图像不完整的语义分割区域得到补充；

迭代增强模块，用于对后帧图像编号进行加1，并返回前帧图像处理模块，直到所有帧图像都被处理完毕。

8.如权利要求7所述的一种地图要素语义分割鲁棒性增强***，其特征在于：光流信息融合模块包括修正模块和增长区域限制模块，修正模块用于根据计算得到的两帧图像之间的光流信息，通过该光流信息对应的光流图将前帧图像的地图要素语义分割结果按照像素在光流图中的对应关系沿光流图位移矢量传播至后帧图像的相应位置，得到修正语义要素区域；增长区域限制模块用于将得到的修正语义要素区域以及后帧图像的语义要素分割结果进行对比，并基于对比结果对后帧图像中地图要素分割不完全的部分进行修正，实现增强性补充。

Images