CN113936018A - 地面印刷物的边界提取方法 - Google Patents

Abstract

本申请提供了一种地面印刷物的边界提取方法，该方法包括：获取待分割的地面印刷物栅格图像；对所述地面印刷物栅格图像进行深度学***集分割模型的整体能量函数，所述整体能量函数包括所述先验形状约束项能量函数和根据所述待分割的地面印刷物栅格图像生成的数据驱动项能量函数；求解所述水平集分割模型的整体能量函数得到所述地面印刷物的边界轮廓。

Description

地面印刷物的边界提取方法

技术领域

本说明书一般涉及导航定位技术领域，尤其涉及一种地面印刷物的边界提取方法。

背景技术

道路内部独立地面印刷物的几何边界信息是高精地图最重要的组成部分之一，它能为构建智慧城市一和自动驾驶导航算法提供关键的参考信息。栅格图是提取道路独立地面印刷物几何边界信息的主要数据源之一。传统的高精地图生产环节，道路独立地面印刷物的边界提取仍然以手工为主。这部分工作的自动化程度会直接影响到高精地图的生产效率和更新的频率。

目前已有的另一种方式主要是利用深度学习算法进行独立地面印刷物的分割提取。但是由于栅格图中独立地面印刷物分割问题的复杂性，例如，如车辆遮挡，栅格图分辨率导致的像素化导致独立地面印刷物模糊不清，独立地面印刷物所在区域遭受磨损缺失或者与周围地面无明显界限，独立地面印刷物所在区域存在不同的光照条件(例如，强光、阴阳光等)，其分割的准确度和鲁棒性一直是实现自动化的阻碍。

利用深度学习技术对目标进行分割的方法中，首先利用深度学习网络进行深度特征提取，利用深度特征对目标进行分类和检测，并在检测过程中形成掩膜网络分支进行图像分割。受限于掩膜的大小和二次特征池化，其最终生成的分割掩膜还原到原始图像大小时会造成位置的精度损失较大从而使得分割结果的不准确，同时训练的真值图像存在标签标记噪声，尤其在分割的目标和背景交界处存在尖锐的边界或者模糊的弱边界时很难保证标签信息的高质量标记，这些原因都造成了分割边界结果的不准确性。

发明内容

为了解决现有技术中的技术问题，本申请提供了一种地面印刷物的边界提取方法，实现地面印刷物边界轮廓的自动提取，具有高鲁棒性和良好的目标边界分割的准确性。

本申请的一实施例中公开了一种地面印刷物的边界提取方法，包括：

获取待分割的地面印刷物栅格图像；

对所述地面印刷物栅格图像进行深度学习的首次分割，获取所述地面印刷物栅格图像中地面印刷物的属性类别信息和掩膜二值化图像；

利用图像矩技术对所述属性类别信息和所述掩膜二值化图像进行先验模板定位和匹配，形成先验符号距离约束函数并根据所述先验符号距离约束函数生成先验形状约束项能量函数；

构造水平集分割模型的整体能量函数，所述整体能量函数包括所述先验形状约束项能量函数和根据所述待分割的地面印刷物栅格图像生成的数据驱动项能量函数；

求解所述水平集分割模型的整体能量函数得到所述地面印刷物的边界轮廓。

在一优选例中，构造水平集分割模型的整体能量函数的步骤，进一步包括：

计算所述水平集分割模型的水平集演化曲线的曲率，所述整体能量函数还包括所述曲率，所述曲率作为所述整体能量函数的正则项。

在一优选例中，构造水平集分割模型的整体能量函数的步骤，进一步包括：

在所述整体能量函数中所述先验形状约束项能量函数和所述数据驱动项能量函数具有不同的权重。

在一优选例中，所述先验形状约束项能量函数为E_prior＝w∫_Ω(H(Ψ)-H(φ))²dxdy，其中，φ为水平集函数，Ψ为所述先验符号距离约束函数，H为Heavside函数,w为权重系数，Ω表示整个图像域。

在一优选例中，所述数据驱动项能量函数为

其中，

φ为水平集函数，I_image为所述待分割的地面印刷物的栅格图像，H为Heavside函数,Ω表示整个图像域。

在一优选例中，求解所述水平集分割模型得到所述地面印刷物的边界轮廓的步骤，进一步包括：

采用欧拉-拉格朗日方程进行迭代求解所述水平集分割模型的整体能量函数的极小值，当所述整体能量函数达到极小值或迭代达到最大次数时，采用水平集演化曲线停止时的轮廓曲线作为所述地面印刷物的边界。

在一优选例中，所述利用图像矩技术对所述属性类别和所述掩膜二值化图像进行先验模板定位和匹配，形成先验符号距离约束函数并根据所述先验符号距离约束函数生成先验形状约束项能量函数的步骤，进一步包括：

根据所述属性类别选择先验模板；

根据所述先验模板和所述二值化掩膜图像计算转移矩阵，根据所述转移矩阵得到所述先验模板的定位和匹配位置；

根据所述转移矩阵和所述先验模板得到所述先验符号距离约束函数；

根据所述先验符号距离约束函数得到所述先验形状约束项能量函数。

在一优选例中，所述属性类别信息包括直行箭头、带转弯的直行箭头、左转箭头、右转箭头和菱形中的至少一种。

在一优选例中，还包括：

计算所述地面印刷物的边界轮廓的面积；

去除所述面积小于预定阈值的待分割的地面印刷物。

在一优选例中，还包括：

提取所述地面印刷物的边界轮廓的坐标信息并投影至空间地理坐标系。

相对于现有技术，本申请具有以下有益效果：

本发明中，能够实现全自动提取道路地面独立印刷物的边界轮廓信息。该算法具有高鲁棒性和良好的目标边界分割的准确性，可用于高精度地图生产中独立地面印刷物边界位置的准确提取。

本说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本申请所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本说明书上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均应该视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征A+B+C，在另一个例子中公开了特征A+B+D+E，而特征C和D是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征E技术上可以与特征C相组合，则，A+B+C+D的方案因技术不可行而应当不被视为已经记载，而A+B+C+E的方案应当视为已经被记载。

附图说明

参考以下附图描述本申请的非限制性和非穷举性实施例，其中除非另有说明，否则相同的附图标记在各个视图中指代相同的部分。

图1是根据本说明书一个实施例中一种地面印刷物的边界提取方法的流程图。

图2是根据本说明书一个实施例中一种地面印刷物的边界提取方法的更详细的流程图。

图3(a)和图3(b)分别是现有技术与本发明中提取直行箭头边界的结果示意图。

图4(a)和图4(b)分别是现有技术与本发明中提取左转箭头边界的结果示意图。

图5(a)和图5(b)分别是现有技术与本发明中提取菱形标志边界的结果示意图。

图6(a)和图6(b)分别是现有技术与本发明中提取带转弯的直行箭头边界的结果示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

部分概念的说明：

图像矩：特征匹配是指通过分别提取两个或多个图像的特征(点、线、面等特征)，对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。图像矩是对特征进行参数描述的一种算法。

水平集分割：图像分割是按照一定的规则将一幅图像分成各具特性的区域并提取出感兴趣目标的，水平集(level set)分割方法是将平面闭合曲线隐含的表达为连续函数曲面的一个具有相同函数值的同值曲线，通常将目标曲线隐含表示在零水平集函数中。

符号距离约束函数：在空间中的一个有限区域上确定一个点到区域边界的距离并同时对距离的符号进行定义：点在区域边界内部为正，外部为负，位于边界上时为0。

本申请的部分创新在于：

本申请中，对地面印刷物栅格图像进行深度学***集分割模型的整体能量函数，求解所述整体能量函数得到所述地面印刷物的边界轮廓。该方法可以实现独立地面印刷物轮廓边界的自动提取，可以给出满足高精度地图使用的独立地面印刷物的边界轮廓的坐标信息，并且具有很高的鲁棒性和良好的准确性。

本发明中采用深度学***集技术，其优势在于：

1.准确的分类是自动选择先验模板的前提条件，深度学习技术在图像分类任务中对各种噪声干扰具有目前已知技术中最强的鲁棒性和准确性。

2.水平集技术对目标的边界分割具有子像素的精度以及能够自适应随着分割目标的拓扑结构的变化而变化，并且还易于添加一些先验约束项作为分割模型能量函数的一部分。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。

本申请的一实施例中公开了一种地面印刷物的边界提取方法，图1示出了地面印刷物的边界提取方法的流程图，包括：

步骤101，获取待分割的地面印刷物栅格图像。

步骤102，对所述地面印刷物栅格图像进行深度学习的首次分割，获取所述地面印刷物栅格图像中地面印刷物的属性类别信息和掩膜二值化图像。

在一实施例中，所述属性类别信息包括地面印刷物的类型，可以包括直行箭头、带转弯的直行箭头、左转箭头、右转箭头和菱形中的至少一种或多种。

步骤103，利用图像矩技术对所述属性类别信息和所述掩膜二值化图像进行先验模板定位和匹配，形成先验符号距离约束函数并根据所述先验符号距离约束函数生成先验形状约束项能量函数。

在一实施例中，所述利用图像矩技术对所述属性类别和所述掩膜二值化图像进行先验模板定位和匹配，形成先验符号距离约束函数并根据所述先验符号距离约束函数生成先验形状约束项能量函数的步骤103，进一步包括：

根据所述属性类别选择先验模板，例如，根据属性类别选择相对应的先验模板，属性类别为直行箭头，可以选择直行箭头的模板；

根据所述先验模板和所述二值化掩膜图像计算转移矩阵，根据所述转移矩阵得到所述先验模板的定位和匹配位置；

根据所述转移矩阵和所述先验模板得到所述先验符号距离约束函数；

根据所述先验符号距离约束函数得到所述先验形状约束项能量函数。

步骤104，基于所述先验符号距离约束函数构造水平集分割模型的整体能量函数，所述整体能量函数包括所述先验形状约束项能量函数和根据所述待分割的地面印刷物栅格图像生成的数据驱动项能量函数。

在一实施例中，所述先验形状约束项能量函数为E_prior＝w∫_Ω(H(Ψ)-H(φ))²dxdy，其中，φ为水平集函数，Ψ为所述先验符号距离约束函数，H为Heavside函数,w为权重系数，Ω表示整个图像域。

在一实施例中，所述数据驱动项能量函数为

其中，

φ为水平集函数，I_image为所述待分割的地面印刷物的栅格图像，H为Heavside函数,Ω表示整个图像域。

在一实施例中，构造水平集分割模型的整体能量函数的步骤104，进一步包括：在所述整体能量函数中所述先验形状约束项能量函数E_prior和所述数据驱动项能量函数E_Data具有不同的权重。从上述的E_prior、E_Data函数公式可以看出，w为E_prior的权重系数，实现E_prior和E_Data不同的权重系数。

在一实施例中，构造水平集分割模型的整体能量函数的步骤104，进一步包括：

计算所述水平集分割模型的水平集演化曲线的曲率K，所述整体能量函数还包括所述曲率，E_total＝E_Data+E_prior+K，所述曲率K作为所述整体能量函数的正则项。

步骤105，求解所述水平集分割模型的整体能量函数E_total得到所述地面印刷物的边界轮廓。

在一实施例中，求解所述水平集分割模型得到所述地面印刷物的边界轮廓的步骤105，进一步包括：

采用欧拉-拉格朗日方程进行迭代求解所述水平集分割模型的整体能量函数E_total的极小值，当所述整体能量函数E_total达到极小值或迭代达到最大次数时，采用水平集演化曲线停止时的轮廓曲线作为所述地面印刷物的边界。

在一实施例中，所述地面印刷物的边界提取方法还包括：

计算所述地面印刷物的边界轮廓的面积；

去除所述面积小于预定阈值的待分割的地面印刷物。

该步骤可以实现去除分割轮廓中面积过小的噪声干扰区域，得到准确的真实分割轮廓。

在一实施例中，所述地面印刷物的边界提取方法还包括：

提取所述地面印刷物的边界轮廓的坐标信息并投影至空间地理坐标系，从而满足高精地图生产需求。

为了能够更好地理解本说明书的技术方案，参考图2所示，下面结合一个具体的例子来进行说明，该例子中罗列的细节主要是为了便于理解，不作为对本申请保护范围的限制。

本实施方式中将独立地面印刷物的边界提取分成三个阶段：先验动态模板匹配、软模板动态匹配水平集分割模型和分割结果的提取和修正。

阶段(一)先验模板动态匹配

首先采用深度学习分割网络得到待检测区域的属性类别以及该区域目标的掩膜二值化图，然后根据属性类别自动选取先验模板，并采用图像矩技术对该掩膜区域进行先验模板匹配和定位。最后利用先验模板匹配和定位得到的结果形成待分割目标的形状轮廓，并根据形状轮廓构建出先验符号距离函数。具体地包括以下步骤：

步骤1，获取待分割的独立地面印刷物栅格图像，栅格图像的来源主要是利用摄像头/激光点云采集道路图像，再通过视觉算法生成得到。栅格图具有精度高、地物要素丰富的特点，十分适合高精度地图的制作。

步骤2，基于深度学习的语义分割卷积神经网络对待分割栅格图像进行分割处理，利用深度学习技术在图像分类任务中对各种噪声干扰具有目前已知技术中最强的鲁棒性和准确性的特点，获得粗分割轮廓以及属性类别信息，粗分割轮廓可以提供模板匹配的定位信息，属性类别决定了选择哪一个模板。

步骤3，根据步骤2中得到的待分割图像的属性类别以及分割二值化掩膜图像利用图像矩技术进行模板的自动选择和定位匹配。具体地，根据属性类别得到先验模板I_prior，从二值化掩膜图像得到I_binary，根据图像矩技术从先验模板I_prior和I_binary中得到转移矩阵T，再根据转移矩阵T得到先验模板I_prior的定位和匹配位置。

步骤4，根据步骤3中得到的转移矩阵T以及I_prior得到先验符号距离约束函数Ψ。

阶段(二)软模板动态匹配水平集分割模型

在软模板水平集模型构造阶段，首先根据先验符号距离函数生成先验形状约束项能量函数，然后再从待分割的图像生成数据驱动项能量函数，这里的数据驱动项能量函数的构造形式是采用某一灰度均值代表目标和背景的区域。最后，将水平集演化曲线的曲率作为能量函数正则项，再结合先验形状约束项与数据驱动能量项一起构成了软模板动态匹配水平集分割模型。关于图像分割问题可以转换为求解软模板动态匹配水平集分割模型的能量函数极小值问题，由于这是泛函求极值的问题，因此采用欧拉-拉格朗日方程进行迭代求解。当能量函数取得极小值或者达到迭代最大次数时，水平集曲线演化过程停止在待分割物体的边界处。具体地包括以下步骤：

步骤5，生成先验形状约束项能量函数E_prior＝∫_Ω(H(Ψ)-H(φ))²dx dy，其中φ为水平集函数，H为Heavside函数，w为权重系数，Ω表示整个图像域。

步骤6，构造水平集整体的能量函数，能量函数的构造主要分为三个部分：先验形状约束项能量函数E_prior，数据驱动项的能量函数为E_Data，及水平集演化曲线的曲率K。其中，数据驱动项的能量函数为E_Data＝∫_Ω(I_image-C_in)²H(φ)dx dy+∫_Ω(I_image-C_out)²(1-H(φ))dxdy，其中C_in，C_out分别表示水平集φ≥0以及φ＜0区域的图像灰度均值，其计算公式为

水平集演化曲线的曲率K作为正则项加入到整个水平集能量函数中，因此整个水平集能量函数模型为E_total＝E_Data+E_prior+K。应当理解，E_prior和E_Data具有不同的权重系数，例如，E_prior权重系数为w。

步骤7，通过欧拉-拉格朗日方程就可以迭代求解，其中任意给定初始化水平集函数φ₀，通过迭代求解能量函数极小值得到最终分割目标的边界。

阶段(三)分割结果提取与修正

通过上述迭代算法生成的独立地面印刷物分割轮廓线，由于独立地面印刷物周边区域可能会存在车道线以及重影的干扰，这些干扰信息都需要去除。本发明可以根据轮廓线所包含区域的面积大小，保存面积大的区域轮廓作为最终的分割轮廓即可。通过提取轮廓线的坐标信息，关于独立地面印刷物分割边界的几何结构信息自动提取和修正完毕。具体地包括以下步骤：

步骤8，根据步骤7得到的结果去除分割轮廓中面积过小的噪声干扰区域，得到准确的真实分割轮廓。

步骤9，提取边界轮廓的坐标信息。该步骤是依据高精度地图生产自动矢量化的需求所添加的工程化操作。

步骤10，将图像坐标信息投影到空间地理坐标系。

最终，将步骤10生成的结果变成最终的生产交付物既高精地图的独立地面印刷物生产要素。

本发明中，具有高鲁棒性和良好的目标边界分割的准确性，可用于高精度地图生产中独立地面印刷物边界位置的准确提取。

对于直行箭头，图3(a)和图3(b)所示分别给出仅采用深度学习方法和本发明方法进行边界提取的结果，对于左转箭头，图4(a)和图4(b)所示分别给出仅采用深度学习方法和本发明方法进行边界提取的结果，对于菱形，图5(a)和图5(b)所示分别给出仅采用深度学习方法和本发明方法进行边界提取的结果，对于带转弯的直行箭头，图6(a)和图6(b)所示分别给出仅采用深度学习方法和本发明方法进行边界提取的结果，从上述各图中可以看出，本发明的边界提取具有很好的准确性。

需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。

在本说明书提及的所有文献都被认为是整体性地包括在本说明书的公开内容中，以便在必要时可以作为修改的依据。此外应理解，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。

在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描述的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

Claims (10)

1.一种地面印刷物的边界提取方法，其特征在于，包括：

获取待分割的地面印刷物栅格图像；

对所述地面印刷物栅格图像进行深度学习的首次分割，获取所述地面印刷物栅格图像中地面印刷物的属性类别信息和掩膜二值化图像；

利用图像矩技术对所述属性类别信息和所述掩膜二值化图像进行先验模板定位和匹配，形成先验符号距离约束函数并根据所述先验符号距离约束函数生成先验形状约束项能量函数；

构造水平集分割模型的整体能量函数，所述整体能量函数包括所述先验形状约束项能量函数和根据所述待分割的地面印刷物栅格图像生成的数据驱动项能量函数；

求解所述水平集分割模型的整体能量函数得到所述地面印刷物的边界轮廓。

2.如权利要求1所述的地面印刷物的边界提取方法，其特征在于，构造水平集分割模型的整体能量函数的步骤，进一步包括：

计算所述水平集分割模型的水平集演化曲线的曲率，所述整体能量函数还包括所述曲率，所述曲率作为所述整体能量函数的正则项。

3.如权利要求1所述的地面印刷物的边界提取方法，其特征在于，构造水平集分割模型的整体能量函数的步骤，进一步包括：

在所述整体能量函数中所述先验形状约束项能量函数和所述数据驱动项能量函数具有不同的权重。

4.如权利要求1所述的地面印刷物的边界提取方法，其特征在于，所述先验形状约束项能量函数为E_prior＝w∫_Ω(H(Ψ)-H(φ))²dxdy，其中，φ为水平集函数，Ψ为所述先验符号距离约束函数，H为Heavside函数，w为权重系数，Ω表示整个图像域。

5.如权利要求1所述的地面印刷物的边界提取方法，其特征在于，所述数据驱动项能量函数为

E_Data＝∫_Ω(I_image-C_in)²H(φ)dxdy+∫_Ω(I_image-C_out)²(1-H(φ))dxdy

其中，

φ为水平集函数，I_image为所述待分割的地面印刷物的栅格图像，H为Heavside函数，Ω表示整个图像域。

6.如权利要求1所述的地面印刷物的边界提取方法，其特征在于，求解所述水平集分割模型得到所述地面印刷物的边界轮廓的步骤，进一步包括：

采用欧拉-拉格朗日方程进行迭代求解所述水平集分割模型的整体能量函数的极小值，当所述整体能量函数达到极小值或迭代达到最大次数时，采用水平集演化曲线停止时的轮廓曲线作为所述地面印刷物的边界。

7.如权利要求1所述的地面印刷物的边界提取方法，其特征在于，所述利用图像矩技术对所述属性类别和所述掩膜二值化图像进行先验模板定位和匹配，形成先验符号距离约束函数并根据所述先验符号距离约束函数生成先验形状约束项能量函数的步骤，进一步包括：

根据所述属性类别选择先验模板；

根据所述先验模板和所述二值化掩膜图像计算转移矩阵，根据所述转移矩阵得到所述先验模板的定位和匹配位置；

根据所述转移矩阵和所述先验模板得到所述先验符号距离约束函数；

根据所述先验符号距离约束函数得到所述先验形状约束项能量函数。

8.如权利要求7所述的地面印刷物的边界提取方法，其特征在于，所述属性类别信息包括直行箭头、带转弯的直行箭头、左转箭头、右转箭头和菱形中的至少一种。

9.如权利要求1所述的地面印刷物的边界提取方法，其特征在于，还包括：

计算所述地面印刷物的边界轮廓的面积；

去除所述面积小于预定阈值的待分割的地面印刷物。

10.如权利要求1所述的地面印刷物的边界提取方法，其特征在于，还包括：

提取所述地面印刷物的边界轮廓的坐标信息并投影至空间地理坐标系。

Images