CN114004951A - 联合点云强度和几何结构的道路标志提取方法及*** - Google Patents

Abstract

本发明提供一种联合点云强度和几何结构的道路标志提取方法及***，包括根据二元核描述符，得到道路交通标志的初始外包围框；建立局部坐标系，水平投影得到交通标志强度影像，基于Resnet预训练结果对交通标志二维强度影像进行分类；联合标准和Resnet得到的分类结果，对每个交通标志构建由有序节点确定的交通标志模板；道路标志模版匹配，包括匹配能量函数构建，匹配能量函数求解；道路标志形变优化，使重建的交通标志模型更精准表示现实道路场景中的交通标志。本发明对点云的密度变化、强度衰减具有较强的鲁棒性，在交通标志磨损或遮挡严重的场景中仍能获得完整且位置准确的矢量化模型，可应用于面向自动驾驶的高精地图生产及交通标志的磨损检测分析等。

Description

联合点云强度和几何结构的道路标志提取方法及***

技术领域

本发明属于计算机视觉和激光扫描数据处理的交叉领域，尤其涉及点云数据预处理，点云目标提取、分类内容，针对激光点云测量数据处理自动化技术。

背景技术

道路交通标志在交通***中扮演着不可或缺的角色，其蕴含的信息，如转弯、禁行、限速等，具有保障行车安全、引导交通等重要功能。随着城市规模及交通***的不断发展，如何科学、有效地采集和更新道路交通标志信息，在城市设施管理、运营和维护及智能驾驶等领域中受到广泛关注。传统的交通标志信息主要利用人工采集，通过图表形式存储和展示，存在效率低下、更新周期长、容易出错、人力物力消耗大等问题，这种信息采集、更新及管理的方式已无法满足道路基础设施信息化管理的需求。随着智能交通***及无人驾驶技术的快速发展，其必要组成部分-高精地图(HD Map,High Definition Map)，被认为是未来出行的关键一环，是交通资源全时空实时感知的载体和交通工具全过程运行管控的依据，需要具备几何精度高、新鲜度高等特点。

道路交通标志作为高精地图的重要组成部分，对其正确识别、准确提取及精确三维重建对保证高精度地图的几何精度具有重要意义；此外，及时感知并修补道路交通标志的磨损对道路安全也具有重要意义。基于车载相机采集的视频和序列影像易受到光照和天气的影响，且缺乏准确的高程信息，难以满足三维高精地图的要求。近年来，搭载多种传感器(包括激光扫描仪、GNSS(Global Navigation Satellite System)、IMU(InertialMeasurement Units)等)的移动测量***，可同时获取道路及路侧地物表面的高精度三维几何信息和属性信息(如反射强度、回波次数等)，为道路场景理解、高精度三维重建、空间分析等提供了重要的数据源。地面交通标志中的高反射物质使交通标志点云的反射强度高于周围的路面点云。基于此，当前道路交通标志提取方法主要依赖于强度特征，但受激光扫描机制的影响，点云反射强度受地物表面材质、扫描距离及入射角影响，给精确提取道路标线带来挑战；除此之外，遮挡等导致的数据不完整性也增加了道路标志提取和高精度三维重建的难度。

发明内容

本发明针对车载激光扫描点云的现有技术缺陷，提出一种联合点云强度和几何结构的道路标志提取技术。

本发明提出的一种联合点云强度和几何结构的道路标志提取方法，包括以下步骤：

步骤1，根据二元核描述符，得到道路交通标志的初始外包围框；建立局部坐标系，以鸟瞰视角水平投影得到交通标志强度影像，基于Resnet预训练结果对交通标志二维强度影像进行分类；

步骤2，联合标准和Resnet得到的分类结果，对每个交通标志构建由有序节点确定的交通标志模板；

步骤3，道路标志模版匹配，包括匹配能量函数构建，匹配能量函数求解，实现如下，

根据交通标志类别及标准模板信息，交通标志模型的精确位姿表示为中心点位置(x，y，z)及其与大地坐标系x轴夹角θ，构建匹配能量函数，

E(P，θ)＝α·φ[A_I]-β·φ[E_I]+γ·φ[G_I]

式中，P为交通标志中心点位置三维坐标，θ为交通标志与大地坐标系x轴夹角；A_I为交通标志K个有序节点组成的多边形所覆盖点云的平均强度，E_I为交通标志所覆盖点云的强度信息熵，G_I项为交通标志K个有序节点组成的多边形边界处点云强度梯度的平均值；φ[·]为Max-Min标准化；α、β、γ为三项的权重系数，用于控制各项对能量函数的影响程度；

通过在(x，y，θ)三维解空间中搜索使能量函数E(P，θ)最大的解对应道路交通标志的精确位置及方向信息，将E(P，θ)求最优解的过程建模成组合优化问题实现求解；

步骤4，道路标志形变优化，包括对匹配后的标准模板进行局部形变优化，基于模板中各关键点的初始坐标，以间隔建立优化空间，最大化形变系数，得到各交通标志的优化模型，使重建的交通标志模型更精准表示现实道路场景中的交通标志。

而且，步骤1中，生成交通标志强度影像的实现方式如下，

以交通标志包围盒长边方向为x轴，垂直方向为y轴建立局部坐标系，在此局部坐标系下，以鸟瞰视角水平投影得到分辨率为0.02m的交通标志强度影像，像素值为落入该像素内的点集的归一化平均强度，对交通标志强度影像进行中值滤波。

而且，步骤3中构建匹配能量函数时，点p在垂直于交通标志模板边界方向上的强度梯度G(p)通过下式计算：

式中，设点p的r邻域内共有k+1个点，p_i为点p的r邻域内的点的标识，ΔI(p，p_i)为点p和点p_i的强度差，pp_i为点p和点p_i相连形成的向量，L为点p附近两有序节点相连向量，sin()表示正弦函数。

而且，将E(P，θ)求最优解的过程建模成组合优化问题实现求解时，使用分支定界和多层次解空间策略实现。

而且，采用分支定界快速计算最优解的实现方式为，首先建立一颗搜索树，树中每个节点代表解空间中的一个可行解q_i，对应一个能量函数值q_i.E；然后通过初始矩形RoI的三个顶点坐标计算交通标志模板的初始位置及方向，作为搜索树的根节点；每个节点的子节点为其在解空间中相邻的节点，进行步骤如下，

(1)计算根节点的能量函数值，记作E_max；

(2)对所有叶子节点，求其对应解空间中26-邻域内共N个可行解组成的解集Q^N，将{q|q.E＞E_max，q∈Q^N}解集对应的节点加入搜索树中，成为新的叶子节点，并更新E_max＝argmax{q.E|q∈Q^N}；其中，q为可行解；

(3)重复(2)操作，直到没有新的叶子节点加入搜索树中，此时E_max对应的可行解即为最优解，匹配完成。

而且，多层次解空间策略的实现过程为，

组合优化过程中，在解空间中先以较大间距找到交通标志的粗略位置和方向，再逐渐缩小间距计算标志的精确位置和方向。

另一方面，本发明还提供一种联合点云强度和几何结构的道路标志提取***，用于实现如上所述的一种联合点云强度和几何结构的道路标志提取方法。

而且，包括以下模块，

第一模块，用于根据二元核描述符，得到道路交通标志的初始外包围框；建立局部坐标系，以鸟瞰视角水平投影得到交通标志强度影像，基于Resnet预训练结果对交通标志二维强度影像进行分类；

第二模块，用于联合标准和Resnet得到的分类结果，对每个交通标志构建由有序节点确定的交通标志模板；

第三模块，用于道路标志模版匹配，包括匹配能量函数构建，匹配能量函数求解，实现如下，

根据交通标志类别及标准模板信息，交通标志模型的精确位姿表示为中心点位置(x，y，z)及其与大地坐标系x轴夹角θ，构建匹配能量函数，

E(P，θ)＝α·φ[A_I]-β·φ[E_I]+γ·φ[G_I]

式中，P为交通标志中心点位置三维坐标，θ为交通标志与大地坐标系x轴夹角；A_I为交通标志K个有序节点组成的多边形所覆盖点云的平均强度，E_I为交通标志所覆盖点云的强度信息熵，G_I项为交通标志K个有序节点组成的多边形边界处点云强度梯度的平均值；φ[·]为Max-Min标准化；α、β、γ为三项的权重系数，用于控制各项对能量函数的影响程度；

通过在(x，y，θ)三维解空间中搜索使能量函数E(P，θ)最大的解对应道路交通标志的精确位置及方向信息，将E(P，θ)求最优解的过程建模成组合优化问题实现求解；

第四模块，用于道路标志形变优化，包括对匹配后的标准模板进行局部形变优化，基于模板中各关键点的初始坐标，以间隔建立优化空间，最大化形变系数，得到各交通标志的优化模型，使重建的交通标志模型更精准表示现实道路场景中的交通标志。

或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种联合点云强度和几何结构的道路标志提取方法。

或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种联合点云强度和几何结构的道路标志提取方法。

综上，本发明可以联合点云强度和几何结构，对道路交通标志进行提取、分类及三维重建，本发明所得结果可以全局视角和局部视角展示。本发明对点云密度、点云强度分布不均具有较强鲁棒性，在点云较稀疏、标线磨损严重、数据不完整的区域也可以取得很好的效果。因此，在交通标志磨损或遮挡严重的场景中仍能获得完整且位置准确的矢量化模型，可应用于面向自动驾驶的高精地图生产及交通标志的磨损检测分析等。

附图说明

图1是本发明实施例的技术整体流程；

图2是本发明实施例交通标志包围盒示意图；

图3是本发明实施例标志模板及关键点示意图；

图4是本发明实施例点云强度梯度计算方法示意图；

图5是本发明实施例形变优化前后对比示意图，其中图5a是局部优化前的例图，图5b是局部优化后的例图。

具体实施方式

以下结合附图和实施例对本发明技术方案进行具体描述。

本发明针对车载激光扫描点云，提出一种联合点云强度和几何结构的道路标志提取方法，包括生成交通标志二维强度影像并分类；构建交通标志模板；模板匹配获得交通标志准确位置；形变优化消除国家模板与现实场景交通标志的差异。

参见图1，本发明实施例提出的联合点云强度和几何结构的道路标志提取方法，首先将交通标志感兴趣区域点云经平行投影生成强度影像，通过Resnet网络识别交通标志类别信息；然后联合分类结果和道路交通标志和标线国家标准设计能量函数方程，并通过分支定界和多层次解空间优化策略求解能量函数，从而确定交通标志的精确位置和方向信息；最后基于预设的形变模式进一步优化交通标志模型，消除真实场景标志、标线与国标之间的偏差，最终获得精确的交通标志矢量模型。具体实现过程包括以下步骤：

步骤1，道路标志包装盒确定和道路标志分类：

首先，根据杨必胜等(2017)提出的BKD二元核描述符，得到道路交通标志的初始外包围框。建立局部坐标系，以鸟瞰视角水平投影得到交通标志强度影像。使用Resnet在ImageNet数据集及道路交通标志数据集上的预训练结果对交通标志二维强度影像进行分类。

进一步地，采用的生成强度影像方法，以交通标志包围盒长边方向为x轴，垂直方向为y轴建立局部坐标系，在此局部坐标系下，以鸟瞰视角水平投影得到分辨率为0.02m的交通标志强度影像，像素值为落入该像素内的点集的归一化平均强度，对交通标志强度影像进行中值滤波。

实施例中步骤1实现如下：

首先，根据杨必胜等(2017)提出的二元核描述符(BKD)，得到交通标志的感兴趣区域(RoI，Region of Interest)，即道路交通标志的大致位置，并在点云中计算出RoI的初始外包围框，参见图2，初始外包围框顶点为P1P2P3...。以包围盒长边方向为x轴，垂直方向为y轴建立局部坐标系，在此局部坐标系下，以鸟瞰视角水平投影得到分辨率为0.02m的交通标志强度影像，像素值为落入该像素内的点集的归一化平均强度。使用残差网络(Resnet)在ImageNet数据集及道路交通标志数据集上的训练结果对交通标志二维强度影像进行分类，实验证明Resnet分类网络在道路交通标志测试集中准确率达到99.5％。

步骤2，根据国家相关标准，联合Resnet得到的分类结果，对每个交通标志构建由K个有序节点确定的交通标志模板。

实施例中，根据中华人民共和国国家质量监督检查检疫总局及中国国家标准化管理委员会发布的《中华人民共和国国家标准·道路交通标志和标线标准》中的相关规定，联合Resnet得到的分类结果，对每个交通标志构建由K个有序节点确定的交通标志模板，各类别的交通标志模板均有固定的尺寸、形状及关键点数量，直行箭头由7个有序节点构成，左转/右转箭头由9个有序节点构成，直行左转/直行右转箭头由14个有序节点构成，参见图3：直行箭头由7个有序节点P1、P2、...P7构成，左转/右转箭头由9个有序节点P1、P2、...P9构成，直行左转/直行右转箭头由14个有序节点P1、P2、...P14构成。

步骤3，道路标志模版匹配，包括匹配能量函数构建，匹配能量函数求解：

根据交通标志类别及标准模板信息，交通标志模型的精确位姿可以表示为中心点位置(x，y，z)及其与大地坐标系x轴夹角θ。构建式1所示的能量函数。

E(P，θ)＝α·φ[A_I]-β·φ[E_I]+γ·φ[G_I] (1)

式中，P为交通标志中心点位置三维坐标，θ为交通标志与大地坐标系x轴夹角。A_I为交通标志K个有序节点组成的多边形所覆盖点云的平均强度，E_I为交通标志所覆盖点云的强度信息熵，G_I项为交通标志K个有序节点组成的多边形边界处点云强度梯度的平均值；φ[·]为Max-Min标准化(最大-最小值标准化)；α、β、γ为三项的权重系数，分别为2、2、1，用于控制各项对能量函数的影响程度。

因此，根据道路交通标志的涂料与路面沥青对于激光的反射特性差异，式1能量函数由三项构成：交通标志模板覆盖点云的平均强度、强度信息熵、边界处强度梯度。当交通标志模板正确覆盖真实场景中的交通标志点云时，具有较高的平均强度及较小的强度信息熵，且边界处点云具有较高的强度梯度，则能量函数具有较大值；而当交通标志模板只覆盖部分交通标志点云时，能量函数因存在大量强度较低的地面点而具有较小的平均强度及较大的强度信息熵，且边界处点云强度梯度接近零，导致能量函数具有较小值。

点p在垂直于交通标志模板边界方向上的强度梯度G(p)通过式2计算：

式中，设点p的r邻域内共有k+1个点，p_i为点p的r邻域内的点的标识，ΔI(p，p_i)为点p和点p_i的强度差，pp_i为点p和点p_i相连形成的向量，L为点p附近两有序节点相连向量，sin()表示正弦函数，参见图4。

通过在(x，y，θ)三维解空间中搜索使能量函数E(P，θ)最大的解对应道路交通标志的精确位置及方向信息。本发明将能量方程E(P，θ)求最优解的过程建模成组合优化问题，并借鉴分支定界的思路快速计算其最优解。首先建立一颗搜索树，树中每个节点代表解空间中的一个可行解q_i，对应一个能量函数值q_i.E；然后通过初始矩形RoI的三个顶点坐标计算交通标志模板的初始位置及方向，作为搜索树的根节点；每个节点的子节点为其在解空间中相邻(26-邻域)的节点。具体步骤如下：

(1)计算根节点的能量函数值，记作E_max；

(2)对所有叶子节点(当树中只有一个根节点时，根节点视为叶子节点)，求其对应解空间中26-邻域内共N个可行解组成的解集Q^N，将{q|q.E＞E_max，q∈Q^N}解集对应的节点加入搜索树中，成为新的叶子节点，并更新E_max＝argmax{q.E|q∈Q^N}；其中，q为可行解；

(3)重复(2)操作，直到没有新的叶子节点加入搜索树中，此时E_max对应的可行解即为最优解，匹配完成。

实施例组合优化过程中，在解空间中先以较大间距{5°，0.10m，0.10m}找到交通标志的粗略位置和方向，再逐渐缩小间距至{2°，0.05m，0.05m}，{1°，0.02m，0.02m}，{0.5°，0.01m，0.01m}计算标志的精确位置和方向。使用分支定界的思路和多层次解空间的策略，可以有效减少能量函数的计算次数，提升算法效率。

步骤4，道路标志形变优化，包括局部优化系数构建，局部优化系数求解，得到道路标志三维重建结果：

针对国家标准模板与现实场景中交通标志的差异，本发明对匹配后的标准模板进行局部优化，使重建的交通标志模型更精准的表示现实道路场景中的交通标志，参见图5，其中图5a是局部优化前的例图，图5b是是局部优化后的例图。

设交通标志模型τ由n个关键点P_i组成，即τ＝{P_i|i＝1，2....，n}，模板匹配后，模型τ中各关键点的坐标确定。基于各关键点的初始坐标，以d_T间隔建立优化空间T，最大化式3中形变系数L_i得到各交通标志的优化模型。

式中，L_i为优化空间T中τ_i对应的优化系数；τ₀为模板匹配得到的国家标准模板；E(τ)为模型τ的能量函数值；C(τ)为模型τ覆盖点云的点数。E(τ_i)/E(τ₀)代表模型τ_i内部点云强度信息的变化；C(τ_i)/C(τ₀)代表模型τ_i与标准模板间的相似程度。若模型错误的扩张，则E项由于内部包含了更多强度低的地面点而减小；若模型错误的收缩，则C项由于覆盖点云面积变小而减小；当模型边界朝着正确的交通标志边界移动时，局部优化系数L_i增大。

综上，本发明可以联合点云强度和几何结构，对道路交通标志进行提取、分类及三维重建，本发明实施例所得结果可在图中以全局视角和局部视角展示。本发明对点云密度、点云强度分布不均具有较强鲁棒性，在点云较稀疏、标线磨损严重、数据不完整的区域也可以取得很好的效果。

具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的***装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。

在一些可能的实施例中，提供一种联合点云强度和几何结构的道路标志提取***，包括以下模块，

第一模块，用于根据二元核描述符，得到道路交通标志的初始外包围框；建立局部坐标系，以鸟瞰视角水平投影得到交通标志强度影像，基于Resnet预训练结果对交通标志二维强度影像进行分类；

第二模块，用于联合标准和Resnet得到的分类结果，对每个交通标志构建由有序节点确定的交通标志模板；

第三模块，用于道路标志模版匹配，包括匹配能量函数构建，匹配能量函数求解，实现如下，

根据交通标志类别及标准模板信息，交通标志模型的精确位姿表示为中心点位置(x，y，z)及其与大地坐标系x轴夹角θ，构建匹配能量函数，

E(P，θ)＝α·φ[A_I]-β·φ[E_I]+γ·φ[G_I]

式中，P为交通标志中心点位置三维坐标，θ为交通标志与大地坐标系x轴夹角；A_I为交通标志K个有序节点组成的多边形所覆盖点云的平均强度，E_I为交通标志所覆盖点云的强度信息熵，G_I项为交通标志K个有序节点组成的多边形边界处点云强度梯度的平均值；φ[·]为Max-Min标准化；α、β、γ为三项的权重系数，用于控制各项对能量函数的影响程度；

通过在(x，y，θ)三维解空间中搜索使能量函数E(P，θ)最大的解对应道路交通标志的精确位置及方向信息，将E(P，θ)求最优解的过程建模成组合优化问题实现求解；

第四模块，用于道路标志形变优化，包括对匹配后的标准模板进行局部形变优化，基于模板中各关键点的初始坐标，以间隔建立优化空间，最大化形变系数，得到各交通标志的优化模型，使重建的交通标志模型更精准表示现实道路场景中的交通标志。

在一些可能的实施例中，提供一种联合点云强度和几何结构的道路标志提取***，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种联合点云强度和几何结构的道路标志提取方法。

在一些可能的实施例中，提供一种联合点云强度和几何结构的道路标志提取***，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种联合点云强度和几何结构的道路标志提取方法。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种联合点云强度和几何结构的道路标志提取方法，其特征在于，包括以下步骤：

步骤1，根据二元核描述符，得到道路交通标志的初始外包围框；建立局部坐标系，以鸟瞰视角水平投影得到交通标志强度影像，基于Resnet预训练结果对交通标志二维强度影像进行分类；

步骤2，联合标准和Resnet得到的分类结果，对每个交通标志构建由有序节点确定的交通标志模板；

步骤3，道路标志模版匹配，包括匹配能量函数构建，匹配能量函数求解，实现如下，

根据交通标志类别及标准模板信息，交通标志模型的精确位姿表示为中心点位置(x，y，z)及其与大地坐标系x轴夹角θ，构建匹配能量函数，

E(P，θ)＝α·φ[A_I]-β·φ[E_I]+γ·φ[G_I]

式中，P为交通标志中心点位置三维坐标，θ为交通标志与大地坐标系x轴夹角；A_I为交通标志K个有序节点组成的多边形所覆盖点云的平均强度，E_I为交通标志所覆盖点云的强度信息熵，G_I项为交通标志K个有序节点组成的多边形边界处点云强度梯度的平均值；φ[·]为Max-Min标准化；α、β、γ为三项的权重系数，用于控制各项对能量函数的影响程度；

通过在(x，y，θ)三维解空间中搜索使能量函数E(P，θ)最大的解对应道路交通标志的精确位置及方向信息，将E(P，θ)求最优解的过程建模成组合优化问题实现求解；

步骤4，道路标志形变优化，包括对匹配后的标准模板进行局部形变优化，基于模板中各关键点的初始坐标，以间隔建立优化空间，最大化形变系数，得到各交通标志的优化模型，使重建的交通标志模型更精准表示现实道路场景中的交通标志。

2.根据权利要求1所述联合点云强度和几何结构的道路标志提取方法，其特征在于：步骤1中，生成交通标志强度影像的实现方式如下，

以交通标志包围盒长边方向为x轴，垂直方向为y轴建立局部坐标系，在此局部坐标系下，以鸟瞰视角水平投影得到分辨率为0.02m的交通标志强度影像，像素值为落入该像素内的点集的归一化平均强度，对交通标志强度影像进行中值滤波。

3.根据权利要求1所述联合点云强度和几何结构的道路标志提取方法，其特征在于：步骤3中构建匹配能量函数时，点p在垂直于交通标志模板边界方向上的强度梯度G(p)通过下式计算：

式中，设点p的r邻域内共有k+1个点，p_i为点p的r邻域内的点的标识，ΔI(p，p_i)为点p和点p_i的强度差，pp_i为点p和点p_i相连形成的向量，L为点p附近两有序节点相连向量，sin()表示正弦函数。

4.根据权利要求1或2或3所述联合点云强度和几何结构的道路标志提取方法，其特征在于：将E(P，θ)求最优解的过程建模成组合优化问题实现求解时，使用分支定界和多层次解空间策略实现。

5.根据权利要求4所述联合点云强度和几何结构的道路标志提取方法，其特征在于：采用分支定界快速计算最优解的实现方式为，首先建立一颗搜索树，树中每个节点代表解空间中的一个可行解q_i，对应一个能量函数值q_i.E；然后通过初始矩形RoI的三个顶点坐标计算交通标志模板的初始位置及方向，作为搜索树的根节点；每个节点的子节点为其在解空间中相邻的节点，进行步骤如下，

(1)计算根节点的能量函数值，记作E_max；

(2)对所有叶子节点，求其对应解空间中26-邻域内共N个可行解组成的解集Q^N，将{q|q.E＞E_max，q∈Q^N}解集对应的节点加入搜索树中，成为新的叶子节点，并更新E_max＝argmax{q.E|q∈Q^N}；其中，q为可行解；

(3)重复(2)操作，直到没有新的叶子节点加入搜索树中，此时E_max对应的可行解即为最优解，匹配完成。

6.根据权利要求4所述联合点云强度和几何结构的道路标志提取方法，其特征在于：多层次解空间策略的实现过程为，

组合优化过程中，在解空间中先以较大间距找到交通标志的粗略位置和方向，再逐渐缩小间距计算标志的精确位置和方向。

7.一种联合点云强度和几何结构的道路标志提取***，其特征在于：用于实现如权利要求1-6任一项所述的一种联合点云强度和几何结构的道路标志提取方法。

8.根据权利要求7所述联合点云强度和几何结构的道路标志提取***，其特征在于：包括以下模块，

第一模块，用于根据二元核描述符，得到道路交通标志的初始外包围框；建立局部坐标系，以鸟瞰视角水平投影得到交通标志强度影像，基于Resnet预训练结果对交通标志二维强度影像进行分类；

第二模块，用于联合标准和Resnet得到的分类结果，对每个交通标志构建由有序节点确定的交通标志模板；

第三模块，用于道路标志模版匹配，包括匹配能量函数构建，匹配能量函数求解，实现如下，

根据交通标志类别及标准模板信息，交通标志模型的精确位姿表示为中心点位置(x，y，z)及其与大地坐标系x轴夹角θ，构建匹配能量函数，

E(P，θ)＝α·φ[A_I]-β·φ[E_I]+γ·φ[G_I]

式中，P为交通标志中心点位置三维坐标，θ为交通标志与大地坐标系x轴夹角；A_I为交通标志K个有序节点组成的多边形所覆盖点云的平均强度，E_I为交通标志所覆盖点云的强度信息熵，G_I项为交通标志K个有序节点组成的多边形边界处点云强度梯度的平均值；φ[·]为Max-Min标准化；α、β、γ为三项的权重系数，用于控制各项对能量函数的影响程度；

通过在(x，y，θ)三维解空间中搜索使能量函数E(P，θ)最大的解对应道路交通标志的精确位置及方向信息，将E(P，θ)求最优解的过程建模成组合优化问题实现求解；

第四模块，用于道路标志形变优化，包括对匹配后的标准模板进行局部形变优化，基于模板中各关键点的初始坐标，以间隔建立优化空间，最大化形变系数，得到各交通标志的优化模型，使重建的交通标志模型更精准表示现实道路场景中的交通标志。

9.根据权利要求7所述联合点云强度和几何结构的道路标志提取***，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如权利要求1-6任一项所述的一种联合点云强度和几何结构的道路标志提取方法。

10.根据权利要求7所述联合点云强度和几何结构的道路标志提取***，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-6任一项所述的一种联合点云强度和几何结构的道路标志提取方法。

Images