CN108573492B - 一种实时雷达探测区域检测方法 - Google Patents

Abstract

本发明提供了一种实时雷达探测区域检测方法，属于图像处理领域。本发明利用深度神经网络结合传统图像处理的方法，对机器人视觉图片进行语义分割，在第一阶段，进行基于深度神经网络的分割，判断图像上各像素点的语义等级。第二阶段，运用OTSU阈值算法对图片进行阈值分割。本发明在判别出可行走区域与不可行走区域的同时，判断出了雷达探测区域,实现了对机器视觉中的雷达探测区域的实时检测，便于将计算机视觉技术对图像的感知信息与激光雷达检测的信息进行融合,在机器视觉图像分割，机器视觉道路识别，机器视觉障碍物检测方面起到了实际作用。

Description

一种实时雷达探测区域检测方法

技术领域

本发明属于图像处理领域，特别涉及一种实时雷达探测区域检测方法。

背景技术

近年来，随着计算机软硬件技术，电子信息技术，控制技术的飞速发展，机器人技术也得到了长足的发展，从最初在工厂流水线上工作的工件加工机器人，到与客户交互的服务机器人，进行安防巡检的安防机器人，用于扑灭火灾的灾害救援机器人，机器人技术被应用于服务业，加工业，军事等各个领域，并呈现出集成化，平台化，智能化的发展趋势。在各类机器人中，安防巡检机器人是必不可少的一环，应用于安防巡检机器人的技术也十分复杂，涉及控制理论，材料科学与技术，计算机软硬件交互，图像处理，目标识别与检测，多模态信息融合等，既是一个融合多学科的综合问题，也是一个极具挑战的前沿课题。在安防巡检机器人的发展过程中，虽然出现了问题与挑战，但是也创造出了相应的发展和机遇。

在应用于安防巡检机器人的各项技术中，图像感知技术是最复杂的技术之一。在安防机器人的运行过程中，需要对机器人视觉中的各类物体进行感知与判断，识别道路与障碍物，分割可行走区域，并在行走过程中识别各类可疑对象，图像感知的实现主要依赖计算机视觉技术。可是，由于图像感知对机器人前方视觉作出的判断并不是绝对准确的，在计算机视觉技术对机器人视觉图像进行感知时，在划分可行走区域与不可行走区域之余，某些区域的可行性待定，需要进行进一步的扫描和检测，才能有效地规避巡逻途中的各类障碍物。

发明内容

为了解决上述问题，本发明提供一种实时雷达探测区域检测方法，在计算机视觉技术对机器人视觉图像进行感知而划分的可行走区域与不可行走区域之余，利用雷达探测雷达探测区域，使机器人巡逻更加顺畅，并且能有效地规避巡逻途中的各类障碍物。

一种实时雷达探测区域检测方法，应用于机器人，包括以下步骤：

步骤1，采集视觉图像，并对近距离视觉区域进行标定；

步骤2，应用深度神经网络进行训练；

步骤3，划分可行性等级；

步骤4，对视觉图像基于OTSU阈值分割方法进行二值分割；

步骤5，生成雷达探测区域。

进一步地，所述步骤1包括以下流程：

步骤11，采集视觉图像信息；

步骤12，对近距离视觉区域进行建模；

步骤13，对视觉图像中近距离视觉区域中每一个像素点进行标定。

进一步地，所述步骤2包括以下流程：

步骤21，构造深度神经网络，基于所述深度神经网络提取图像特征；

步骤22，设置滑动窗口，所述滑动窗口在图像上滑动，将已提取的图像特征基于所述滑动窗口进行分割得到数个子窗口；

步骤23，判断每个子窗口的语义标签，所述深度神经网络中的分类器层进行分类，得到语义分割结果。

进一步地，所述步骤3包括以下流程：

根据每个子窗口的所述语义分割结果，对像素点的语义等级进行划分，得到像素点隶属的子窗口的可行性等级，得到分割结果。

进一步地，所述步骤4包括以下流程：

得到所述分割结果后，对视觉图像应用OTSU阈值分割方法进行二值分割，得到二值分割结果。

进一步地，所述步骤5包括以下流程：

基于得到二值分割结果和分割结果，得到融合结果，生成雷达探测区域。

本发明的有益效果：本发明在计算机视觉技术对机器人视觉图像进行感知时，在划分可行走区域与不可行走区域之余，提出雷达探测区域，实现了对户外安防巡逻机器人的雷达探测区域的实时检测。机器人自动控制，在机器视觉图像分割，机器视觉道路识别，机器视觉障碍物检测方面起到了实际作用。

附图说明

图1为本发明实施例的流程图。

图2为图1中步骤1的流程图。

图3为本发明建立的几何模型。

图4为图1中步骤2的流程图。

图5为图4中步骤21构造的深度神经网络图。

具体实施方式

下面结合附图对本发明的实施例做进一步的说明。

请参阅图1，本发明提供的一种实时雷达探测区域检测方法通过以下步骤实现：

步骤1，采集视觉图像，并对近距离视觉区域进行标定。

请参阅图2，步骤1通过以下流程实现：

步骤11，采集视觉图像信息。

本发明实施例中，为了训练深度神经网络，需要搜集大量道路图片样本，为了便于适应机器人行走环境，本发明利用机器人上的景深摄像机ZED进行样本采集，并利用景深摄像机返回的图片深度矩阵对图片进行标定，对机器人视觉图像中的近距离区域(大小为165×490)，深度矩阵记录了各个像素点的准确深度值。

步骤12，对近距离视觉区域进行建模。

请参阅图3，建立如图3所示的几何模型，计算图像中该位置位于水平地面的深度值。对机器人视觉区域中的近距离像素点几何建模的公式表达如下：

其中，d表示机器人视觉区域中近距离像素点距离机器人的深度，α表示摄像机光轴与地平面所成角，H表示摄像机高度，β表示摄像机光心与该像素点在地面位置上的连线与光轴的夹角。

其中，α可以表示为：

在上式中，D表示为摄像机光轴与地平面的交点的深度值。而β可以表示为：

其中，v表示该像素点在图片中距离图片顶端的距离，而V表示图片的高， VA表示摄像机的视角。

步骤13，对视觉图像中近距离视觉区域中每一个像素点进行标定。

本发明实施例中，对机器人视觉图像中的近距离视觉区域中的每一个像素点p_ij计算出对应的D_ij,与该像素点在深度矩阵中的值M_ij进行比较，得到该像素点的标签(可行，不可行与未知)。比较规则如下表(一)所示：

表(一)数据集中图片各像素点语义判断准则

如表(一)所示，若两者相差的绝对值在300毫米之内，则将该像素点的语义置为可行，若两者相差的绝对值在500毫米之上，则将该像素点的语义置为不可行。若之上两者都不满足，则将该像素点的语义置为未知。

本发明实施例中，总共搜集了1684张图像并将它们进行如上所述的标记，并分配训练集与测试集，训练集与测试集的图片比例约为8:1，也可以为其它数值和比例。

步骤2，应用深度神经网络进行训练。

请参阅图4，步骤2通过以下流程实现：

步骤21，构造深度神经网络，基于所述深度神经网络提取图像特征。

本实施例中，为了使雷达探测区域检测能够在实时条件下执行，将深度神经网络的规模设计得较为小，如图5所示，深度神经网络主要由9层组成，分别为卷积一层，卷积二层，卷积三层，卷积四层，特征分割层，全连接一层，全连接二层，全连接三层和一个分类器层。网络接收的输入图像大小为165×490，卷积一层，输出96个特征图，大小为83×245；卷积二层输出256个特征图，大小为42×123；卷积三层输出384个特征图，大小为42×123；卷积四层输出384 个特征图，大小为42×123。

本实施例中，深度神经网络的设置优选为上述数据，可以为其它设定。

步骤22，设置滑动窗口，所述滑动窗口在图像上滑动，将已提取的图像特征基于所述滑动窗口进行分割得到数个子窗口。

本实施例中，在网络的输入上设置滑动窗口的大小为15×14，一共有385个子窗口。

本实施例中，滑动窗口大小和子窗口分割结果优选为上述数据，也可以为其他设定。

步骤23，判断每个子窗口的语义标签，所述深度神经网络中的分类器层进行分类，得到语义分割结果。

子窗口语义标签如下表(二)所示：

表(二)子窗口语义标签判断准则

在上表中，N_a表示一个子窗口中经过标定为可行的像素点的个数，而N_i表示一个子窗口中经过标定为不可行的像素点的个数。若上述两条规则都不满足，那么子窗口的标签会被置为-1，表示该子窗口的可行性不确定。在神经网络的训练过程中，标签为-1的子窗口会被忽略。

本实施例中，在特征分割层，将各个窗口的特征维度置为3×3，并送入全连接层，经过三个全连接层，在分类器层，结合各个小窗口的标签进行softmax 分类器的训练。

softmax分类器的原理可以公式表达如下：

其中，θ表示分类器参数，k表示类别个数，上式表示了将样本x判定为类别 j的概率。在本发明中，softmax分类器输出的是子窗口属于可行区域的概率和子窗口属于不可行区域的概率。两个概率值的和为1。

在本发明中，机器人捕获的视觉图片比较大，尺寸为720×1280，机器人的视觉范围非常宽广。为了使语义分割区域集中于机器人前方，首次去掉机器人原始视觉图片左右两边各150像素的区域，剩下的区域大小为720×980。同时，在本发明中，将地平线以下的区域置为神经网络处理区域。大小为394×980,在神经网络处理区域中，取区域最下方的330×980大小的区域为神经网络训练区域，在神经网络训练时，为了满足网络的输入大小(165×490)，并且为了使神经网络适应机器人近距离和远距离视觉区域中的景物尺度，对神经网络训练区域进行缩小，使该区域的长和宽分别缩小为原始尺寸的一半。在神经网络训练完毕之，对机器人远程视觉区域进行语义分割时，在图像地平线之下规划两个语义分割子区域，尺寸均为165×490。对于两个语义分割子区域与神经网络训练区域的重叠部分，其语义为两个语义分割子区域的语义。

步骤3，划分可行性等级。

本发明中，根据每个子窗口的所述语义分割结果，对像素点的语义等级进行划分，得到像素点隶属的子窗口的可行性等级，得到分割结果。

为了更好地将深度神经网络语义分割结果与OTSU阈值分割结果相融合，在深度神经网络语义分割的结果上，对各个像素赋予可行性等级。可行性等级表征了该像素的可行性程度。本发明一共设置了4个可行性等级，分别为1、2、3、 4。1表示绝对可行；2表示可能可行；3表示可能不可行；4表示绝对不可行。根据softmax分类器输出的子窗口属于可行区域的概率对机器人视觉图片中的语义分割区域中的像素点的语义等级划分规则如下表(三)所示：

表(三)语义分割区域中的像素点语义等级划分规则

上表中，P_a表示语义分割区域中某像素点隶属的子窗口属于可行区域的概率。

步骤4，对视觉图像基于OTSU阈值分割方法进行二值分割。

在神经网络判断出语义分割区域中各个像素点的可行性等级之后，采用 OTSU阈值分割算法对语义分割区域进行二值分割。

步骤5，生成雷达探测区域。

本实施例中，结合各像素点的可行性等级和OTSU二值分割结果，输出雷达探测区域。融合的方式如下表(四)所示。

表(四)深度神经网络语义分割结果与OTSU阈值分割结果融合准则

在上表中，L_ij表示深度神经网络判断的像素点的语义等级；O_ij表示OTSU 阈值分割判断的像素点的语义，1表示可行，0表示不可行。在对深度神经网络的判断结果与OTSU阈值分割结果进行融合时，若深度神经网络和OTSU阈值分割算法同时判断该像素点可行，则该像素点属于可行区域；若深度神经网络和 OTSU阈值分割算法同时判断该像素点不可行，则该像素点属于不可行区域。若深度神经网络语义分割结果与OTSU阈值分割结果产生矛盾，则该像素点被判定为雷达探测区域。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (1)

1.一种实时雷达探测区域检测方法，应用于机器人，其特征在于，包括以下步骤：

步骤1，采集视觉图像，并对近距离视觉区域进行标定；包括以下流程：

步骤11，采集视觉图像信息；

步骤12，对近距离视觉区域进行建模；

步骤13，对视觉图像中近距离视觉区域中每一个像素点进行标定；

步骤2，应用深度神经网络进行训练；包括以下流程：

步骤21，构造深度神经网络，基于所述深度神经网络提取图像特征；

步骤22，设置滑动窗口，所述滑动窗口在图像上滑动，将已提取的图像特征基于所述滑动窗口进行分割得到数个子窗口；

步骤23，判断每个子窗口的语义标签，所述深度神经网络中的分类器层进行分类，得到语义分割结果；

步骤3，划分可行性等级；包括以下流程：

根据每个子窗口的所述语义分割结果，对像素点的语义等级进行划分，得到像素点隶属的子窗口的可行性等级，得到分割结果；

步骤4，对视觉图像基于OTSU阈值分割方法进行二值分割；包括以下流程：

得到所述分割结果后，对视觉图像应用OTSU阈值分割方法进行二值分割，得到二值分割结果；

步骤5，生成雷达探测区域；包括以下流程：

基于得到二值分割结果和分割结果，得到融合结果，生成雷达探测区域。

Images