CN114283167A - 一种基于视觉的清扫区域检测方法 - Google Patents

Abstract

本发明公开了一种基于视觉的清扫区域检测方法，通过视觉里程计算法对视频进行处理并构建局部地图，基于感兴趣区域对局部点云数据进行分类，使用基于随机采样一致算法RANSAC的平面拟合算法对地面点云进行平面拟合，对边缘检测点云数据进行结构化处理并进行半径滤波与质心计算；对传统邻点斜率法进行改进，进行道路边界点的提取并对道路边缘进行曲线拟合，运用动态网格策略对不同区域进行自适应角点提取，实现对道路边缘的持续检测。本发明平衡了计算速度和计算精度的矛盾，实现了道路边缘的精确分割，从而实现环卫车辆清扫区域的准确提取。

Description

一种基于视觉的清扫区域检测方法

技术领域

本发明涉及一种区域检测方法，特别是一种基于视觉的清扫区域检测方法，属于视觉检测领域。

背景技术

随着经济的高速发展，交通事故呈现出高发态势，而高级辅助驾驶***和自动驾驶在保障道路交通安全中，发挥着极其重要的作用。道路边缘检测是环境感知研究领域中的重要组成部分，道路边缘的确定为车辆隔离了可行驶区域和其他周边非可行使道路区域，可行使区域检测是车辆决策和执行的基础，为后续辅助驾驶或自动驾驶任务提供了强有力的保障,是车辆智能导航以及辅助驾驶技术中的重要组成部分，该技术进一步保障了车辆的行使安全。在环卫领域，通过道路边缘检测，可有效提取出可清扫区域，为后续自动化清扫作业任务提供有力的保障。

目前现有的道路边缘检测方案主要有以下三类：

第一种方案如中国发明专利202011450170.1，本方案提供了一种基于车载激光雷达的道路信息提取方法，该***包括：在车辆行驶过程中不断获取车载激光雷达扫描周围环境生成的点云数据，随后使用基于邻域高程特征的方法来提取地面点，使用区域生长法提取出道路面，利用道路标线连续固定的形状特征，实现了基于强度特征图像的道路标线精细提取与精化，最后基于聚类后的点云成果，分别使用基于邻域分布特征的标线边界点提取的矢量化以及基于Alpha Shape的标线边界点提取的矢量化方法，达到了道路标线提取的较为理想的结果。但是该方案存在以下不足：第一，该方案使用激光雷达进行数据采集，而在辅助驾驶领域往往难以使用成本昂贵的激光雷达，提高了部署成本。第二，该方案使用基于邻域高程特征的方法来提取地面点，而邻域高程特征法对路面的平整程度的容忍度较差，在平整度较差路面以及路面存在异物时容易导致误检。

第二种方案如中国发明专利201911256375.3，本方案提供了一种面向道路场景的快速语义分割方法，首先基于卷积神经网络构建模型，利用训练数据对构建的模型进行训练，利用损失函数计算经过训练后的模型损失，并根据所得模型损失结果计算梯度，根据所得梯度对模型参数进行更新。本方案提供的分割方法能够比较快速地进行图像分割，同时得到相对较高的精度。但是该方案存在以下问题：第一，该方案通过语义分割网络提取道路区域，但在复杂环境下，如路面存在裂缝以及大面积阴影时存在分割不准确的问题，该分割方法的环境稳定性较差。第二，该方案虽然可以分割出道路边缘，但是无法感知车辆到道路边缘的距离，在运用场景上具有较明显的局限性。

第三种方案如中国发明专利201310711070.3，本方案提供了一种道路边缘检测方法、装置及车辆，该方案主要包括：获取包含车辆所行驶的当前道路的道路边缘信息的图像帧，随后从图像帧中获取预先设定的预定区域内的局部图像并进行边缘检测以获取多个边缘点，利用多个边缘点提取多个直线线段，最后根据当前道路的路缘结构特性从多个直线线段中提取路缘线段并计算道路边缘线段在空间坐标系下相对于车辆的实际距离。其中的边缘检测采用了canny边缘检测算法进行边缘点的提取，通过上述方式，本方案能够实现自动检测车辆所行驶的当前道路的路缘线段。但是该方案存在以下问题：第一，该方案通过canny边缘检测算法进行道路边缘提取，但在复杂环境下，如路面存在裂缝以及大面积阴影时存在计算量较大以及误检率高的问题，同时该方案容易收到环境光线变化的影响，因此边缘检测的准确性和环境适应能力均需要进一步提高。第二，该方案虽然可以计算出道路边缘到车辆的实际距离，但是需要提前标定道路边缘之间的实际距离与图像坐标系下道路边缘之间的像素距离间的对应关系，导致其在运用场景上具有较明显的局限性，计算距离的准确性也取决于标定精度，由于相机内参和外参会随着时间的推移不可避免的发生变化，导致距离计算的精度下降。

发明内容

本发明所要解决的技术问题是提供一种基于视觉的清扫区域检测方法，检测成本低廉且检测结果准确性好。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于视觉的清扫区域检测方法，其特征在于包含以下步骤：

步骤一：通过车辆的前置摄像头采集车辆前方路面信息的视频；

步骤二：通过视觉里程计算法对前置摄像头采集的视频进行处理并构建局部地图；

步骤三：对构建的局部地图进行滤波与坐标转换，并基于感兴趣区域对局部点云数据进行分类，构建地面点云数据与边缘检测点云数据；

步骤四：使用基于随机采样一致算法RANSAC的平面拟合算法对地面点云进行平面拟合并根据平面方程调整边缘检测点云数据的坐标系；

步骤五：对边缘检测点云数据进行结构化处理，随后经过投影后进行半径滤波与质心计算；

步骤六：利用平滑特征思想，对传统邻点斜率法进行改进，利用结构化点云质心来进行道路边界点的提取并使用基于RANSAC的曲线拟合算法对道路边缘进行曲线拟合；

步骤七：根据提取的边缘曲线更新感兴趣区域，运用动态网格策略对不同区域进行自适应角点提取，实现对道路边缘的持续检测，最终基于检测出的道路边缘曲线提取出清扫车的待清扫区域。

进一步地，所述步骤二具体为：

步骤2.1、利用初始化时的角点提取策略对视觉里程计算法进行初始化，随后根据预设的感兴趣区域划分进行角点提取并持续跟踪；

步骤2.2、构建局部地图，负责维护视觉里程计滑动窗口中已经过良好优化并被边缘化的帧及其相应的地图点，局部地图的参考坐标系为局部地图中第一帧相机坐标系

进一步地，所述步骤三具体为：

步骤3.1、对局部地图中的每帧数据根据点云深度值进行滤波，即

时，删除该地图点，其中，

代表在相机c_m坐标系下地图点p_n的z轴坐标值，λ代表点云的深度阈值；

步骤3.2、对滤波后局部地图进行坐标转换，将其统一到局部地图中的第一帧对应的相机坐标系下；转换公式为：

其中，

代表在相机c_m坐标系下第n个地图点的坐标，

代表相机c_m在世界坐标系下的位姿，

代表世界坐标系到相机c₁坐标系的转换关系，

代表上述地图点在相机c₁坐标系下的坐标；

步骤3.3、根据预设的感兴趣区域划分将局部地图中的点云分割成地面点云数据与边缘检测点云数据并保证具有满足计算需求的点云数量。

进一步地，所述步骤四具体为：

步骤4.1、使用基于RANSAC的平面拟合算法对地面点云进行平面拟合，使用先验的路面法向量对拟合算法进行约束，经过拟合获得的路面法向量为n_g，方向为由地面指向天空；

步骤4.2、利用拟合出的平面方程，对局部地图的参考坐标系进行纯旋转调整，具体计算过程包括：由路面法向量为n_g和局部地图参考系下向量

获得旋转矩阵

对局部地图点云进行纯旋转转换，转换公式为：

其中，

即为步骤3.2中计算获得的地图点在局部地图参考系下的坐标，

为经过旋转转换的地图点坐标，最终使局部地图参考坐标系的Y轴与平面的法向量平行。

进一步地，所述步骤五具体为：

步骤5.1、对边缘检测点云数据进行结构化处理，根据视觉里程计构建的点云特点，首先根据地图点

的深度值进行分割，将其分割成G份，即根据点云分别在X轴与Y轴下的距离阈值进行二维网格化切片；

步骤5.2、将每个切片G_i中的点云投影至XOY平面下，使得原本稀疏的地面点云在X轴方向上变得稠密，同时在Y轴上保留了稀疏的高度异常的地图点；在XOY平面下对地图点进行二维半径滤波，去除高度异常的地图点；

步骤5.3、根据点云在X轴上的距离阈值进行二维网格化切片，每个切片点云簇记为G_ij，并计算每个切片中点云的质心坐标，其中点云簇在Y轴上坐标值计算公式为：

其中，h_p代表点云簇中第p个地图点的高度值。

进一步地，所述步骤六具体为：

步骤6.1、针对邻点斜率法在进行道路边缘检测时的不足进行改进，对各切片的质心进行斜率计算，当大于一定阈值时即认为是边界点；

步骤6.2、使用基于RANSAC的曲线拟合算法对边界点进行曲线拟合。

进一步地，所述步骤6.1中，斜率计算公式为：

其中，

代表第G_ij个点云簇质心的高度值，

代表地面的平均高度，

代表参考点到相应质心的水平距离，α代表道路边界点感知灵敏度的修正系数，k即是各点云簇质心的斜率值。

进一步地，所述步骤七具体为：

步骤7.1、将提取的边缘曲线根据相机模型进行坐标转换获取相应的像素坐标，从而将整幅图像进行栅格化处理并分成感兴趣区域与非感兴趣区域；

步骤7.2、针对更新的感兴趣区域，运用动态网格策略对不同区域进行自适应角点提取，感兴趣区域进行稠密的角点提取，非感兴趣区域进行稀疏的角点提取，完成视觉里程计的跟踪；

步骤7.3、基于不断更新的道路边缘曲线以及环卫车辆的尺寸信息，精准提取出清扫车的待清扫区域。

本发明与现有技术相比，具有以下优点和效果：

1、目前在该领域的相关工作中，部分采用实例分割或全景分割的方法对道路区域进行分割，但是这些分割网络面对复杂的道路场景往往无法精确地分割出道路边缘，且通常需要与激光雷达相互配合才能感知到道路边缘的三维信息。本发明采用视觉里程计算法，实现对道路边缘精确分割并拟合出道路边缘，从而实现清扫区域的准确提取，具有良好的准确性，实时性和容错性。

2、视觉里程计获取的点云数据具有非结构化与随机分布的特性，使得后续的点云处理变得困难，同时也给后续的检测算法带来不确定因素。本发明采取对构建的局部地图中的点云数据进行时空切片，并对切片中的点云簇进行质心计算，实现对点云数据的结构化处理，并针对点云数据的特点与边缘检测需要，设计了二维半径滤波策略，实现对干扰点的去除。

3、由于实际场景下路面存在一定的起伏或者小型异物，传统的邻点斜率法难以有效过滤这些情况，导致算法适应能力差，误检率较高。因此，本发明针对该算法在进行道路边缘检测时的不足，对算法进行了改进，提高了道路边界点的提取准确性和稳定性。

4、传统的视觉里程计通常对整幅图像进行角点提取，因此难以平衡计算速度和计算准确性间的矛盾，而直接对图像中部分区域进行角点提取，不仅降低了视觉里程计的感知范围，也降低了视觉里程计跟踪的鲁棒性。因此，本发明在原有里程计的基础上提出了基于感兴趣区域的动态网格提取策略，实现角点的自适应提取，一定程度上平衡了算法实时性和准确性间的矛盾。

附图说明

图1是本发明的一种基于视觉的清扫区域检测方法的流程图。

图2是本发明的视觉里程计DSO的流程图。

图3是本发明的半径滤波算法示意图。

图4是本发明的道路边缘检测实例图。

图5是本发明的邻点斜率法示意图。

图6是本发明的改进的算法示意图。

图7是本发明的角点提取算法示意图。

图8是本发明的视觉里程计实例图。

具体实施方式

为了详细阐述本发明为达到预定技术目的而所采取的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清晰、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部的实施例，并且，在不付出创造性劳动的前提下，本发明的实施例中的技术手段或技术特征可以替换，下面将参考附图并结合实施例来详细说明本发明。

如图1所示，本发明的一种基于视觉的清扫区域检测方法，包含以下步骤：

步骤一：通过车辆的前置摄像头采集车辆前方路面信息的视频。启动车辆上经过相机内参与外参标定的摄像头，对车辆前方的路面信息进行图像采集。

步骤二：通过视觉里程计算法对前置摄像头采集的视频进行处理并构建局部地图。采用视觉里程计算法在车辆行使中进行三维重建，相比于视觉SLAM技术，视觉里程计算法不包括其后端优化与全局建图，显著降低了算法的计算量和对***内存的要求，根据算法原理，传统视觉里程计可分为特征点法、半直接法、直接点以及传感器融合法，相应的典型开源算法如ORB-SLAM2的前端，SVO，DSO以及VIO的前端。为便于描述，假设相机坐标系符合右手坐标系，Z轴方向为相机的光轴，坐标系原点为相机的光心。

步骤2.1、使用视觉里程计对视频流进行跟踪，在启动初始阶段，为提高初始化成功率，使用初始化时的角点提取策略进行局部地图构建，随后根据预设的感兴趣区域划分进行角点提取并持续跟踪。

步骤2.2、由于视觉里程计算法不会维护全局地图，同时优化算法中一般只有5到7帧数据且需要进一步迭代优化，不足以提取道路边界，因此构建了局部地图，其负责维护视觉里程计滑动窗口中已经过良好优化并被边缘化的帧及其相应的地图点，该局部地图可以根据需要限制其规模，将不需要的帧数据进行删除，局部地图的参考坐标系为局部地图中第一帧相机坐标系

如图2所示，视觉里程计采用的是DSO框架，DSO属于稀疏直接法的视觉里程计，相比之下，SVO属于半直接法，而ORB-SLAM2则属于纯特征法。DSO将数据关联与位姿估计放入一个统一的非线性优化问题中，其目标函数为最小化光度误差，在保持同等或更高精度情况下，能达到传统特征点法的五倍速度。从后端来看，DSO使用一个由5到7个关键帧组成的滑动窗口作为它的后端，该窗口在整个VO过程中一直存在，通过维护和更新Levenburg-Marquardt方法中的Hessian矩阵和b向量，经过边缘化操作实现对位姿和地图点的优化。同时为了算法更加鲁棒，DSO提出了光度标定，并在优化中动态估计光度参数，对于由相机曝光不同引起的图像明暗变化，会有更好的表现。

由于DSO视觉里程计不会维护全局地图，因此利用其滑动窗口中已经边缘化的关键帧构建了局部地图，从而维护一个具有一定帧数且经过良好优化的点云数据。

步骤三：对构建的局部地图进行滤波与坐标转换，并基于感兴趣区域对局部点云数据进行分类，构建地面点云数据与边缘检测点云数据。

步骤3.1、在视觉里程计算法中，三维点云数据的误差会随着点云深度的增加而增加，因此对局部地图中的每帧数据根据点云深度值进行滤波，即

时，删除该地图点，其中，

代表在相机c_m坐标系下地图点p_n的z轴坐标值，λ代表点云的深度阈值；DSO视觉里程计采用逆深度策略对点云三维信息进行维护和优化，这在一定程度上降低了远距离角点对视觉里程计精度的不利影响，但大深度角点的三维估计依旧具有很高的挑战性，因此在边缘检测中，对局部地图中的每帧数据根据点云在对应相机下的深度值进行滤波，将大深度点云数据去除，提高边缘检测的准确性。

步骤3.2、对滤波后局部地图进行坐标转换，将其统一到局部地图中的第一帧对应的相机坐标系下。转换公式为：

其中，

代表在相机c_m坐标系下第n个地图点的坐标，

代表相机c_m在世界坐标系下的位姿，

代表世界坐标系到相机c₁坐标系的转换关系，

代表上述地图点在相机c₁坐标系下的坐标，经过这样的转换，将视觉里程计的累积误差限制在局部地图范围内，降低局部地图的规模可降低视觉里程计累积误差对后续算法的影响。

步骤3.3、根据预设的感兴趣区域划分将局部地图中的点云分割成地面点云数据与边缘检测点云数据并保证具有满足计算需求的点云数量。由于局部地图中保存有大量的点云数据且其中包括大量对边缘检测无效的点云数据，因此为了降低算法计算量以及无关点云对边缘检测的不利影响，根据点云在相机坐标下的三维坐标预设了感兴趣区域，从而将局部地图中的点云初步分割成地面点云数据与边缘检测点云数据，为保证后续的计算需要，将控制提取的点云数量，若数量无法满足计算要求时，将动态调整角点提取网格从而控制角点数量。

步骤四：使用基于随机采样一致算法RANSAC的平面拟合算法对地面点云进行平面拟合并根据平面方程调整边缘检测点云数据的坐标系。

步骤4.1、使用基于RANSAC的平面拟合算法对地面点云进行平面拟合，为提高拟合算法稳定性，使用先验的路面法向量对拟合算法进行约束，经过拟合获得的路面法向量为n_g，方向为由地面指向天空；据标定好的相机外参，即可计算出水平路面在相机坐标系下的法向量，因此为提高拟合算法稳定性，使用先验的路面法向量参数对拟合算法进行约束，从而拟合的路面的平面方程。

步骤4.2、由于相机外参以及路面倾斜程度的影响，获得的地面点云数据在参考系下往往是倾斜的，难以进行点云的结构化处理和道路边缘的检测。因此，利用拟合出的平面方程，对局部地图的参考坐标系进行纯旋转调整，为后续的点云数据时空切片提供基础，具体计算过程包括：由路面法向量为n_g和局部地图参考系下向量

获得旋转矩阵

对局部地图点云进行纯旋转转换，转换公式为：

其中，

即为步骤3.2中计算获得的地图点在局部地图参考系下的坐标，

为经过旋转转换的地图点坐标，最终使局部地图参考坐标系的Y轴与平面的法向量平行。

随机采样一致算法(RANSAC)是采用迭代的方式从一组包含离群的被观测数据中估计出数学模型的参数。该算法假设数据中包含正确数据和异常数据，即分别记为内点和外点，同时RANSAC假设，给定一组内点，存在可以计算出符合这些数据的模型参数的方法，因此该算法核心思想就是随机性和假设性，在处理包含外点的数据时，该算法具有良好的鲁棒性，从而被广泛应用在计算机视觉领域和数学领域，例如直线拟合、平面拟合、计算图像或点云间的变换矩阵等方面。

步骤五：对边缘检测点云数据进行结构化处理，随后经过投影后进行半径滤波与质心计算。

步骤5.1、由于视觉里程计获取的是非结构化的点云数据，且提取的点云数据具有一定的随机性，因此需要对边缘检测点云数据进行结构化处理。根据视觉里程计构建的点云特点，首先根据地图点

的深度值进行分割，将其分割成G份。即根据点云分别在X轴与Y轴下的距离阈值进行二维网格化切片，并对每个切片中的点云数量进行判断，去除点云数量过少的切片。

步骤5.2、由于单个高度异常的地图点就会对边缘检测算法造成影响，因此，有效进行干扰点剔除就显得十分必要。传统的三维半径滤波算法对于非结构化且稀疏的点云数据并不合适，容易将大量有效数据剔除，导致没有足够的数据进行边缘检测。因此，针对此不足，首先将每个切片G_i中的点云投影至XOY平面下，使得原本稀疏的地面点云在X轴方向上变得稠密，同时在Y轴上保留了稀疏的高度异常的地图点。在XOY平面下对地图点进行二维半径滤波，去除高度异常的地图点。由于获取的点云数据的非结构化与随机分布的特性，直接对点云进行三维半径滤波将导致大量有效数据的误删除，为此将每个切片中的点云投影至XOY平面下再进行二维半径滤波，有效去除高度方向上的干扰点，并保留了地面上有效点云，提高了算法的抗干扰性，其算法示意图如图3，其中各点即为经过投影的地图点，红色点为高度异常的地图点，r为参数半径。

步骤5.3、为了提高算法的鲁棒性，进一步减少外点对算法的影响，因此计算每个切片中点云簇的质心坐标作为该点云簇的特征，根据点云在X轴上的距离阈值进行二维网格化切片，每个切片点云簇记为G_ij，并计算每个切片中点云的质心坐标，其中点云簇在Y轴上坐标值计算公式为：

其中，h_p代表点云簇中第p个地图点的高度值。如图4所示，即为经过结构化以及投影和滤波处理的点云数据，其中较低处的点云为机动车道上的点云数据，较高处的点云为人行道上的点云数据，机动车道边界处的高度差被有效的提取出。

步骤六：利用平滑特征思想，对传统邻点斜率法进行改进，利用结构化点云质心来进行道路边界点的提取并使用基于RANSAC的曲线拟合算法对道路边缘进行曲线拟合。

步骤6.1、在基于点云的道路边缘检测方法中，邻点斜率法是基于道路平滑特征的思想提出的用来检测道路边界点的算法，它很好的运用了平滑特征法中针对路面高程突变来判断道路边界点思想。但由于实际场景下路面存在一定的起伏或者小型异物，传统的邻点斜率法无法有效过滤这些情况，其算法示意图如图5，当地面出现小型异物p₂时，此时若附近有地面点p₁，根据邻点斜率法，直线l₁₂的斜率很可能将大于真实边界点l_a处的斜率，导致误检率很高。因此，针对邻点斜率法在进行道路边缘检测时的不足进行了改进，其算法示意图如图6。对各切片的质心进行斜率计算，当大于一定阈值时即认为是边界点。对比于邻点斜率法，优化后的算法根据检测出的地面点云计算出地面的平均高度

并以此高度为基准高度，设置了一系列参考点，即图6中较小的圆，这些点具有想相同的高度，且在水平方向上与对应的点云具有相同的距离水平

从而计算该点与对应的点云间的斜率。当地面出现小型异物p₂时，此时若附近有地面点p₁，根据优化后的算法，将计算直线l₁与l₂的斜率，其斜率明显小于真实边界点l_b处的斜率，有效过滤了干扰点，提高了算法适应性。

斜率计算公式为：

其中，

代表第G_ij个点云簇质心的高度值，

代表地面的平均高度，

代表参考点到相应质心的水平距离，α代表道路边界点感知灵敏度的修正系数，k即是各点云簇质心的斜率值，值越高说明越可能是道路边界点。

步骤6.2、根据地面点云计算出参考点的基准高度，对各切片的质心进行斜率计算，当大于一定阈值时即认为是边界点，最后对提取出的边界点使用基于RANSAC的曲线拟合算法对边界点进行曲线拟合。

步骤七：根据提取的边缘曲线更新感兴趣区域，运用动态网格策略对不同区域进行自适应角点提取，实现对道路边缘的持续检测，最终基于检测出的道路边缘曲线提取出清扫车的待清扫区域。

步骤7.1、将提取的边缘曲线根据相机模型进行坐标转换获取相应的像素坐标，从而将整幅图像进行栅格化处理并分成感兴趣区域与非感兴趣区域。传统的视觉里程计往往是对整幅图像进行角点提取，因此难以平衡计算速度和点云密度的矛盾，而直接对图像中部分区域进行角点提取，将可能导致视觉里程计计算时出现退化，难以保证跟踪的鲁棒性，因此，在原有里程计的基础上进行了改进，提出了基于动态网格的自适应角点提取策略，将整幅图像进行网格划分，如图7所示，其中C区域为8×8大小的非感兴趣区域，其左边为8×8大小的感兴趣区域，对感兴趣区域进一步划分，分成4×4大小的B区域和2×2大小的A区域，非感兴趣区域C的角点提取策略为通过各像素梯度值计算，选择其中超过梯度阈值且是最大值为选取的角点，记为

感兴趣区域的角点提取策略为计算A区域各像素梯度值并选择其中超过梯度阈值且是最大值为选取的角点，记为

因此，B区域最多可提取4个角点，此感兴趣区域最多可提取16个角点，即感兴趣区域网格与非感兴趣区域网格中提取的角点数量最大可相差16倍，网格大小会根据提取的角点总数进行调整，同时保证在各个方向上均可提取出角点，提高算法的稳定性。

步骤7.2、为了尽量多的提取有效的用于边缘检测点云数据，同时保证视觉里程计的稳定性，针对传统视觉里程计无差别角点提取策略进行了改进，即针对更新的感兴趣区域，运用动态网格策略对不同区域进行自适应角点提取，感兴趣区域进行稠密的角点提取，非感兴趣区域进行稀疏的角点提取，完成视觉里程计的跟踪。将提取的边缘曲线根据相机模型进行坐标转换获取相应的像素坐标，从而将整幅图像进行网格化处理并更新感兴趣区域，运用动态网格策略对不同区域进行自适应角点提取，完成视觉里程计的跟踪，实现对道路边缘的持续检测。

步骤7.3、基于不断更新的道路边缘曲线以及环卫车辆的尺寸信息，精准提取出清扫车的待清扫区域。根据不断更新的道路边缘曲线、相机标定参数以及环卫车辆的先验信息，包括环卫车辆的宽度、环卫车扫刷宽度、行驶速度等，提取出精确的清扫作业区域。

最终将算法移植到嵌入式车载平台，所用的车载硬件平台是地平线X3M，地平线X3M是一款模块式核心板，能够为视觉计算应用程序提供所需的性能和电源效率。其集成了地平线先进的伯努利2.0架构AI芯片，可提供5TOPS的等效算力。借助64位CPU，4K@60fps的视频编解码性能以及可同时处理不同分辨率4～8个摄像头输入的视频处理性能，X3M成为深度学习、计算机视觉、图像处理的优秀***。

通过前述的DSO框架以及改进的道路边缘检测算法拟合出道路边缘，如图8所示，其中黄色曲线为车辆轨迹，红色虚线为道路边缘。

本发明通过视觉里程计构建局部地图，并基于感兴趣区域对局部地图点云数据进行分类，通过点云切片和质心计算实现对点云的网格化处理，并根据提出的改进的邻点斜率法实现道路边界点的提取，采用基于感兴趣区域的动态网格提取策略实现角点的自适应提取，平衡了计算速度和计算精度的矛盾，实现了道路边缘的精确分割，从而实现环卫车辆清扫区域的准确提取。最终检测算法采用地平线X3M核心板进行部署，实现车辆在多种复杂路面场景下对道路边缘的实时感知，具有很高的实用价值。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (8)

1.一种基于视觉的清扫区域检测方法，其特征在于包含以下步骤：

步骤一：通过车辆的前置摄像头采集车辆前方路面信息的视频；

步骤二：通过视觉里程计算法对前置摄像头采集的视频进行处理并构建局部地图；

步骤三：对构建的局部地图进行滤波与坐标转换，并基于感兴趣区域对局部点云数据进行分类，构建地面点云数据与边缘检测点云数据；

步骤四：使用基于随机采样一致算法RANSAC的平面拟合算法对地面点云进行平面拟合并根据平面方程调整边缘检测点云数据的坐标系；

步骤五：对边缘检测点云数据进行结构化处理，随后经过投影后进行半径滤波与质心计算；

步骤六：利用平滑特征思想，对传统邻点斜率法进行改进，利用结构化点云质心来进行道路边界点的提取并使用基于RANSAC的曲线拟合算法对道路边缘进行曲线拟合；

步骤七：根据提取的边缘曲线更新感兴趣区域，运用动态网格策略对不同区域进行自适应角点提取，实现对道路边缘的持续检测，最终基于检测出的道路边缘曲线提取出清扫车的待清扫区域。

2.根据权利要求1所述的一种基于视觉的清扫区域检测方法，其特征在于：所述步骤二具体为：

步骤2.1、利用初始化时的角点提取策略对视觉里程计算法进行初始化，随后根据预设的感兴趣区域划分进行角点提取并持续跟踪；

步骤2.2、构建局部地图，负责维护视觉里程计滑动窗口中已经过良好优化并被边缘化的帧及其相应的地图点，局部地图的参考坐标系为局部地图中第一帧相机坐标系

3.根据权利要求1所述的一种基于视觉的清扫区域检测方法，其特征在于：所述步骤三具体为：

步骤3.1、对局部地图中的每帧数据根据点云深度值进行滤波，即

时，删除该地图点，其中，

代表在相机c_m坐标系下地图点p_n的z轴坐标值，λ代表点云的深度阈值；

步骤3.2、对滤波后局部地图进行坐标转换，将其统一到局部地图中的第一帧对应的相机坐标系下；转换公式为：

其中，

代表在相机c_m坐标系下第n个地图点的坐标，

代表相机c_m在世界坐标系下的位姿，

代表世界坐标系到相机c₁坐标系的转换关系，

代表上述地图点在相机c₁坐标系下的坐标；

步骤3.3、根据预设的感兴趣区域划分将局部地图中的点云分割成地面点云数据与边缘检测点云数据并保证具有满足计算需求的点云数量。

4.根据权利要求1所述的一种基于视觉的清扫区域检测方法，其特征在于：所述步骤四具体为：

步骤4.1、使用基于RANSAC的平面拟合算法对地面点云进行平面拟合，使用先验的路面法向量对拟合算法进行约束，经过拟合获得的路面法向量为n_g，方向为由地面指向天空；

步骤4.2、利用拟合出的平面方程，对局部地图的参考坐标系进行纯旋转调整，具体计算过程包括：由路面法向量为n_g和局部地图参考系下向量

获得旋转矩阵

对局部地图点云进行纯旋转转换，转换公式为：

其中，

即为步骤3.2中计算获得的地图点在局部地图参考系下的坐标，

为经过旋转转换的地图点坐标，最终使局部地图参考坐标系的Y轴与平面的法向量平行。

5.根据权利要求1所述的一种基于视觉的清扫区域检测方法，其特征在于：所述步骤五具体为：

步骤5.1、对边缘检测点云数据进行结构化处理，根据视觉里程计构建的点云特点，首先根据地图点

的深度值进行分割，将其分割成G份，即根据点云分别在X轴与Y轴下的距离阈值进行二维网格化切片；

步骤5.2、将每个切片G_i中的点云投影至XOY平面下，使得原本稀疏的地面点云在X轴方向上变得稠密，同时在Y轴上保留了稀疏的高度异常的地图点；在XOY平面下对地图点进行二维半径滤波，去除高度异常的地图点；

步骤5.3、根据点云在X轴上的距离阈值进行二维网格化切片，每个切片点云簇记为G_ij，并计算每个切片中点云的质心坐标，其中点云簇在Y轴上坐标值计算公式为：

其中，h_p代表点云簇中第p个地图点的高度值。

6.根据权利要求1所述的一种基于视觉的清扫区域检测方法，其特征在于：所述步骤六具体为：

步骤6.1、针对邻点斜率法在进行道路边缘检测时的不足进行改进，对各切片的质心进行斜率计算，当大于一定阈值时即认为是边界点；

步骤6.2、使用基于RANSAC的曲线拟合算法对边界点进行曲线拟合。

7.根据权利要求6所述的一种基于视觉的清扫区域检测方法，其特征在于：所述步骤6.1中，斜率计算公式为：

其中，

代表第G_ij个点云簇质心的高度值，

代表地面的平均高度，

代表参考点到相应质心的水平距离，α代表道路边界点感知灵敏度的修正系数，k即是各点云簇质心的斜率值。

8.根据权利要求1所述的一种基于视觉的清扫区域检测方法，其特征在于：所述步骤七具体为：

步骤7.1、将提取的边缘曲线根据相机模型进行坐标转换获取相应的像素坐标，从而将整幅图像进行栅格化处理并分成感兴趣区域与非感兴趣区域；

步骤7.2、针对更新的感兴趣区域，运用动态网格策略对不同区域进行自适应角点提取，感兴趣区域进行稠密的角点提取，非感兴趣区域进行稀疏的角点提取，完成视觉里程计的跟踪；

步骤7.3、基于不断更新的道路边缘曲线以及环卫车辆的尺寸信息，精准提取出清扫车的待清扫区域。

Images