CN117237884A - 一种基于泊位定位的互动式巡检机器人 - Google Patents

Abstract

本申请涉及智能控制技术领域，其具体地公开了一种基于泊位定位的互动式巡检机器人，其通过在机器人上安装多个方位的摄像头来采集包含泊位位置的监控图像，对多个视角的监控图像进行均衡化预处理后，通过卷积神经网络对图像进行特征提取，再通过分类器生成用于表示机器人前进方向的标签数据，从而引导机器人规避障碍物并正确到达泊位进行巡检工作。这样，能够提高巡检机器人在复杂场景下的导航性能，减轻巡检人员的工作量，提高巡检效率。

Description

一种基于泊位定位的互动式巡检机器人

技术领域

本申请涉及智能控制技术领域，且更为具体地，涉及一种基于泊位定位的互动式巡检机器人。

背景技术

随着我国居民汽车持有量的逐年增加，汽车泊位越来越紧张。因此，为了缓解汽车泊位的紧张情况，在不影响交通的情况下，城市管理部门通常在道路内边开设临时停车泊位，以缓解城市停车的矛盾，并充分挖掘出城市停车资源。同时，临时泊车位的规划，也提高了居民开车出行临时停车的方便性。

但是由于部分居民素质较低，存在着在泊车位上停放单车摩托车的现象，甚至还存在违规占据停车位私自收费的情况。目前，城市管理部门对于这种违规占用公共停车位的行为通常采用群众投诉和人工巡检的方式。但是这种方式不仅耗费人力资源，而且无法非常及时地发现泊车位被占用的情况。

随着科技的发展，目前逐渐使用自主导航的巡检机器人替代人工进行巡检工作。自主导航主要包含了定位、建图与路径规划，是巡检机器人自主运行的核心技术。目前，随着检查场景的日益多样化和复杂化，对机器人自主导航性能的要求也越来越高。但是，目前市场上很多巡检机器人的目标定位***算法还不够精确，无法满足复杂的场景需求。

因此，期待一种基于泊位定位的互动式巡检机器人。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于泊位定位的互动式巡检机器人，其通过在机器人上安装多个方位的摄像头来采集包含泊位位置的监控图像，对多个视角的监控图像进行均衡化预处理后，通过卷积神经网络对图像进行特征提取，再通过分类器生成用于表示机器人前进方向的标签数据，从而引导机器人规避障碍物并正确到达泊位进行巡检工作。这样，能够提高巡检机器人在复杂场景下的导航性能，减轻巡检人员的工作量，提高巡检效率。

相应地，根据本申请的一个方面，提供了一种基于泊位定位的互动式巡检机器人，其包括：

监控模块，用于由部署于巡检机器人上的摄像头采集多个视角的监控图像，其中，所述监控图像包含泊位位置；

图像预处理模块，用于将所述多个视角的监控图像进行直方图均衡化预处理和CLAHE校正颜色以得到多个优化监控图像；

图像特征提取模块，用于将所述多个优化监控图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个图像特征矩阵；

图像关联特征提取模块，用于将所述多个图像特征矩阵排列为三维特征张量后通过包含第一卷积层和第二卷积层的第二卷积神经网络模型以得到分类特征图；

控制结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示巡检机器人的前进方向；

控制结果执行模块，用于响应于所述分类结果控制巡检机器人运动。

在上述基于泊位定位的互动式巡检机器人中，所述图像预处理模块，包括：直方图均衡化单元，用于对所述多个视角监控图像进行直方图均衡化预处理以将所述多个视角监控图像通过变换函数映射为灰度分布均匀的图像以得到多个预处理后图像；校正颜色单元，用于对所述多个预处理后图像进行CLAHE校正颜色以得到所述多个优化监控图像。

在上述基于泊位定位的互动式巡检机器人中，所述图像特征提取模块，包括：深度卷积编码单元，用于使用所述第一卷积神经网络模型的卷积编码部分对所述优化监控图像进行深度卷积编码以得到初始卷积特征图；空间注意力生成单元，用于将所述初始卷积特征图输入所述第一卷积神经网络模型的空间注意力部分以得到空间注意力图；激活单元，用于将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；注意力施加单元，用于计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到空间增强图像特征图；池化单元，用于将所述空间增强图像特征图进行沿通道维度的均值池化处理以得到所述图像特征矩阵。

在上述基于泊位定位的互动式巡检机器人中，所述图像关联特征提取模块，包括：第一尺度特征提取单元，用于使用所述第二卷积神经网络模型的第一卷积层的各层在层的正向传递中分别对输入数据进行三维卷积处理、基于局部特征矩阵的池化处理和非线性激活处理以由所述第一卷积层的最后一层输出第一尺度图像关联特征图；第二尺度特征提取单元，用于使用所述第二卷积神经网络模型的第二卷积层的各层在层的正向传递中分别对输入数据进行三维卷积处理、基于局部特征矩阵的池化处理和非线性激活处理以由所述第二卷积层的最后一层输出第二尺度图像关联特征图；多尺度特征融合单元，用于对所述第一尺度图像关联特征图和所述第二尺度图像关联特征图进行先验规范化匹配以得到分类特征图。

在上述基于泊位定位的互动式巡检机器人中，所述多尺度特征融合单元，包括：初始分类特征图计算子单元，用于计算所述第一尺度图像关联特征图和所述第二尺度图像关联特征图的按位置加权和以得到初始分类特征图；先验特征矩阵提取子单元，用于从数据库提取标签特征矩阵作为先验特征矩阵；推土机距离计算子单元，用于将所述初始分类特征图的沿通道维度的各个特征矩阵与所述先验特征矩阵之间的推土机距离以得到由多个推土机距离组成的先验化匹配输入向量；先验规则匹配特征提取子单元，用于将所述先验化匹配输入向量通过包含一维卷积层和softmax激活层的先验规则匹配特征提取模块以得到先验化匹配特征向量；加权子单元，用于以所述先验化匹配特征向量中各个位置的特征值作为权重，对所述初始分类特征图的沿通道维度的各个特征矩阵进行加权以得到所述分类特征图。

在上述基于泊位定位的互动式巡检机器人中，所述控制结果生成模块，包括：展开单元，用于将所述分类特征图按照行向量或列向量展开为分类特征向量；全连接单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到全连接编码特征向量；概率化单元，用于将所述全连接编码特征向量输入所述分类器的Softmax分类函数以得到所述分类特征图归属于各个分类标签的概率值，所述分类标签包括所有用于表示巡检机器人的前进方向的标签数据；分类单元，用于将所述概率值中最大者对应的分类标签确定为所述分类结果。

根据本申请的另一个方面，提供了一种基于泊位定位的互动式巡检机器人的控制方法，其包括：

由部署于巡检机器人上的摄像头采集多个视角的监控图像，其中，所述监控图像包含泊位位置；

将所述多个视角的监控图像进行直方图均衡化预处理和CLAHE校正颜色以得到多个优化监控图像；

将所述多个优化监控图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个图像特征矩阵；

将所述多个图像特征矩阵排列为三维特征张量后通过包含第一卷积层和第二卷积层的第二卷积神经网络模型以得到分类特征图；

将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示巡检机器人的前进方向；

响应于所述分类结果控制巡检机器人运动。

在上述基于泊位定位的互动式巡检机器人的控制方法中，将所述多个视角的监控图像进行直方图均衡化预处理和CLAHE校正颜色以得到多个优化监控图像，包括：对所述多个视角监控图像进行直方图均衡化预处理以将所述多个视角监控图像通过变换函数映射为灰度分布均匀的图像以得到多个预处理后图像；对所述多个预处理后图像进行CLAHE校正颜色以得到所述多个优化监控图像。

在上述基于泊位定位的互动式巡检机器人的控制方法中，将所述多个优化监控图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个图像特征矩阵，包括：使用所述第一卷积神经网络模型的卷积编码部分对所述优化监控图像进行深度卷积编码以得到初始卷积特征图；将所述初始卷积特征图输入所述第一卷积神经网络模型的空间注意力部分以得到空间注意力图；将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到空间增强图像特征图；将所述空间增强图像特征图进行沿通道维度的均值池化处理以得到所述图像特征矩阵。

在上述基于泊位定位的互动式巡检机器人的控制方法中，将所述多个图像特征矩阵排列为三维特征张量后通过包含第一卷积层和第二卷积层的第二卷积神经网络模型以得到分类特征图，包括：使用所述第二卷积神经网络模型的第一卷积层的各层在层的正向传递中分别对输入数据进行三维卷积处理、基于局部特征矩阵的池化处理和非线性激活处理以由所述第一卷积层的最后一层输出第一尺度图像关联特征图；使用所述第二卷积神经网络模型的第二卷积层的各层在层的正向传递中分别对输入数据进行三维卷积处理、基于局部特征矩阵的池化处理和非线性激活处理以由所述第二卷积层的最后一层输出第二尺度图像关联特征图；对所述第一尺度图像关联特征图和所述第二尺度图像关联特征图进行先验规范化匹配以得到分类特征图。

与现有技术相比，本申请提供的基于泊位定位的互动式巡检机器人，其通过在机器人上安装多个方位的摄像头来采集包含泊位位置的监控图像，对多个视角的监控图像进行均衡化预处理后，通过卷积神经网络对图像进行特征提取，再通过分类器生成用于表示机器人前进方向的标签数据，从而引导机器人规避障碍物并正确到达泊位进行巡检工作。这样，能够提高巡检机器人在复杂场景下的导航性能，减轻巡检人员的工作量，提高巡检效率。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的基于泊位定位的互动式巡检机器人的框图。

图2为根据本申请实施例的基于泊位定位的互动式巡检机器人的架构示意图。

图3为根据本申请实施例的基于泊位定位的互动式巡检机器人中图像预处理模块的框图。

图4为根据本申请实施例的基于泊位定位的互动式巡检机器人中图像特征提取模块的框图。

图5为根据本申请实施例的基于泊位定位的互动式巡检机器人中图像关联特征提取模块的框图。

图6为根据本申请实施例的基于泊位定位的互动式巡检机器人的控制方法的流程图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

图1为根据本申请实施例的基于泊位定位的互动式巡检机器人的框图。如图1所示，根据本申请实施例的基于泊位定位的互动式巡检机器人100，包括：监控模块110，用于由部署于巡检机器人上的摄像头采集多个视角的监控图像，其中，所述监控图像包含泊位位置；图像预处理模块120，用于将所述多个视角的监控图像进行直方图均衡化预处理和CLAHE校正颜色以得到多个优化监控图像；图像特征提取模块130，用于将所述多个优化监控图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个图像特征矩阵；图像关联特征提取模块140，用于将所述多个图像特征矩阵排列为三维特征张量后通过包含第一卷积层和第二卷积层的第二卷积神经网络模型以得到分类特征图；控制结果生成模块150，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示巡检机器人的前进方向；控制结果执行模块160，用于响应于所述分类结果控制巡检机器人运动。

图2为根据本申请实施例的基于泊位定位的互动式巡检机器人的架构示意图。如图2所示，首先，由部署于巡检机器人上的摄像头采集多个视角的监控图像，其中，所述监控图像包含泊位位置。然后，将所述多个视角的监控图像进行直方图均衡化预处理和CLAHE校正颜色以得到多个优化监控图像。接着，将所述多个优化监控图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个图像特征矩阵。其次，将所述多个图像特征矩阵排列为三维特征张量后通过包含第一卷积层和第二卷积层的第二卷积神经网络模型以得到分类特征图。继而，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示巡检机器人的前进方向。最后，响应于所述分类结果控制巡检机器人运动。

在上述基于泊位定位的互动式巡检机器人100中，所述监控模块110，用于由部署于巡检机器人上的摄像头采集多个视角的监控图像，其中，所述监控图像包含泊位位置。如上述背景技术所言，随着科技的发展，目前逐渐使用自主导航的巡检机器人替代人工进行泊位巡检工作。自主导航主要包含了定位、建图与路径规划，是巡检机器人自主运行的核心技术。目前，随着检查场景的日益多样化和复杂化，对机器人自主导航性能的要求也越来越高。但是，目前市场上很多巡检机器人的目标定位***算法还不够精确，无法满足复杂的场景需求。

相应地，考虑到摄像头成本相对较低，并且可以通过图像来捕捉泊位位置，分辨出巡检机器人周围物体。因此，可以利用摄像头捕捉泊位位置和机器人周围环境来构建视觉导航方案。基于此，在本申请的技术方案中，通过在机器人上安装多个方位的摄像头来采集包含泊位位置的监控图像，对多个视角的监控图像进行均衡化预处理后，通过卷积神经网络对图像进行特征提取，再通过分类器生成用于表示机器人前进方向的标签数据，从而引导机器人规避障碍物并正确到达泊位进行巡检工作。这样，能够提高巡检机器人在复杂场景下的导航性能，减轻巡检人员的工作量，提高巡检效率。具体地，在本申请的技术方案中，首先，通过部署于巡检机器人上的摄像头采集多个视角的监控图像，其中，所述监控图像包含泊位位置。

在上述基于泊位定位的互动式巡检机器人100中，所述图像预处理模块120，用于将所述多个视角的监控图像进行直方图均衡化预处理和CLAHE校正颜色以得到多个优化监控图像。应可以理解，直方图均衡化是一种常用的图像增强方法，通过调整图像像素的分布，使得图像的对比度更均衡，以增强图像中的细节和边缘信息，使得后续处理算法更容易提取有用的特征。而CLAHE（对比度有限自适应直方图均衡化）是一种改进的直方图均衡化方法，它在局部区域内进行直方图均衡化，避免了全局均衡化可能引起的过度增强和噪声放大问题，以更好地保留图像的局部细节和结构信息。也就是，通过对多个视角的监控图像进行直方图均衡化预处理和CLAHE校正颜色，可以增强图像的对比度和颜色信息，使得图像更加清晰、丰富，有利于后续的图像特征提取和分类处理，从而提高巡检机器人对复杂场景的理解和识别能力，进而提升泊位定位和自主导航性能。

图3为根据本申请实施例的基于泊位定位的互动式巡检机器人中图像预处理模块的框图。如图3所示，所述图像预处理模块120，包括：直方图均衡化单元121，用于对所述多个视角监控图像进行直方图均衡化预处理以将所述多个视角监控图像通过变换函数映射为灰度分布均匀的图像以得到多个预处理后图像；校正颜色单元122，用于对所述多个预处理后图像进行CLAHE校正颜色以得到所述多个优化监控图像。

在上述基于泊位定位的互动式巡检机器人100中，所述图像特征提取模块130，用于将所述多个优化监控图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个图像特征矩阵。应可以理解，卷积神经网络在图像特征提取方面具有优异表现，其通过卷积层和池化层从所述多个优化监控图像提取与泊位上物体相关的图像特征，以更好地区分不同的场景和目标。并且，在卷积神经网络中引入了空间注意力机制，空间注意力机制通过为不同的空间区域特征施加不同的注意力，以此来增强重要特征并抑制无用特征，从而帮助网络更加关注图像中与自主导航巡检任务相关的重要空间区域特征，提高巡检机器人对复杂场景的理解和判断能力，进而改善分类性能。

图4为根据本申请实施例的基于泊位定位的互动式巡检机器人中图像特征提取模块的框图。如图4所示，所述图像特征提取模块130，包括：深度卷积编码单元131，用于使用所述第一卷积神经网络模型的卷积编码部分对所述优化监控图像进行深度卷积编码以得到初始卷积特征图；空间注意力生成单元132，用于将所述初始卷积特征图输入所述第一卷积神经网络模型的空间注意力部分以得到空间注意力图；激活单元133，用于将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；注意力施加单元134，用于计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到空间增强图像特征图；池化单元135，用于将所述空间增强图像特征图进行沿通道维度的均值池化处理以得到所述图像特征矩阵。

在上述基于泊位定位的互动式巡检机器人100中，所述图像关联特征提取模块140，用于将所述多个图像特征矩阵排列为三维特征张量后通过包含第一卷积层和第二卷积层的第二卷积神经网络模型以得到分类特征图。为了综合利用不同视角的图像信息，并保持视角之间的关联性，进一步将所述多个图像特征矩阵排列为三维特征张量，并通过包含第一卷积层和第二卷积层的第二卷积神经网络模型进行特征挖掘。这里，所述第二卷积神经网络模型包含第一卷积层和第二卷积层，第一卷积层通常用于捕捉低级特征，例如边缘和纹理，以得到第一尺度图像关联特征图；而第二卷积层则可以学习更抽象和复杂的特征，例如形状和目标的部分结构，以得到第二尺度图像关联特征图；这样，通过不同层次的特征挖掘，可以在特征空间中对不同特征进行更深入的学习和表示，并用于后续的目标识别和决策过程。

进一步地，考虑到分类特征图是通过融合所述第一尺度图像关联特征图和所述第二尺度图像关联特征图而得到的，而不同的局部特征可能对不同类别的分类结果有不同的判别能力。通过自适应地调整分类特征图中各个局部特征的贡献度，可以使模型更加关注对于区分不同类别最具有判别性的特征。如果不进行自适应调整，某些特征可能会在融合过程中对结果产生过大或过小的影响。这可能导致模型对于某些类别的判别能力下降，或者对于输入样本的细微变化过于敏感。通过自适应地调整贡献度，可以使模型更加灵活地适应不同类别之间的特征差异，提高分类特征图在类概率空间中的区分度。此外，自适应调整还可以增强分类特征图的稳定性。当输入样本发生细微变化时，如果特征的贡献度过于固定，可能会导致分类特征图的变化较大，从而影响模型的稳定性。通过自适应调整贡献度，可以使分类特征图对于输入样本的细微变化更加鲁棒，提高模型的稳定性。因此，基于先验匹配来自适应地调整所述分类特征图中各个局部特征在类概率空间中的贡献度，从而强化分类特征图在类概率空间的区分度和稳定性，进而提高泊位定位以及自主导航模型模型的性能。

在本申请的技术方案中，通过计算所述第一尺度图像关联特征图和所述第二尺度图像关联特征图的按位置加权和来融合所述第一尺度图像关联特征图和所述第二尺度图像关联特征图，进而以标签特征矩阵作为先验特征分布对所述初始分类特征图进行特征分布调制以强化所述初始分类特征图在类概率空间的区分度和稳定性，即提升所述分类特征图通过分类器的分类回归的精准度。

具体地，基于所述标签特征矩阵来构建查询映射特征空间，并分别计算所述初始分类特征图的沿通道维度的各个特征矩阵与所述先验特征矩阵之间的推土机距离，以此来表示所述分类特征图的沿通道维度的各个局部特征在先验分布特征空间中的匹配关系。进而，通过对由多个推土机距离组成的先验化匹配输入向量进行一维卷积编码和Softmax非线性激活来捕捉匹配关系之间的高维隐含特征以得到先验化匹配特征向量，并进一步以所述先验化匹配特征向量中各个位置的特征值作为权重，分别对所述初始分类特征图进行加权，通过这样的方式，基于先验匹配来自适应地调整所述分类特征图中各个局部特征在类概率空间中的贡献度，以此以强化所述分类特征图在类概率空间的区分度和稳定性，即提升所述分类特征图通过分类器的分类回归的精准度。

图5为根据本申请实施例的基于泊位定位的互动式巡检机器人中图像关联特征提取模块的框图。如图5所示，所述图像关联特征提取模块140，包括：第一尺度特征提取单元141，用于使用所述第二卷积神经网络模型的第一卷积层的各层在层的正向传递中分别对输入数据进行三维卷积处理、基于局部特征矩阵的池化处理和非线性激活处理以由所述第一卷积层的最后一层输出第一尺度图像关联特征图；第二尺度特征提取单元142，用于使用所述第二卷积神经网络模型的第二卷积层的各层在层的正向传递中分别对输入数据进行三维卷积处理、基于局部特征矩阵的池化处理和非线性激活处理以由所述第二卷积层的最后一层输出第二尺度图像关联特征图；多尺度特征融合单元143，用于对所述第一尺度图像关联特征图和所述第二尺度图像关联特征图进行先验规范化匹配以得到分类特征图。

相应地，在一个具体示例中，所述多尺度特征融合单元143，包括：初始分类特征图计算子单元，用于计算所述第一尺度图像关联特征图和所述第二尺度图像关联特征图的按位置加权和以得到初始分类特征图；先验特征矩阵提取子单元，用于从数据库提取标签特征矩阵作为先验特征矩阵；推土机距离计算子单元，用于将所述初始分类特征图的沿通道维度的各个特征矩阵与所述先验特征矩阵之间的推土机距离以得到由多个推土机距离组成的先验化匹配输入向量；先验规则匹配特征提取子单元，用于将所述先验化匹配输入向量通过包含一维卷积层和softmax激活层的先验规则匹配特征提取模块以得到先验化匹配特征向量；加权子单元，用于以所述先验化匹配特征向量中各个位置的特征值作为权重，对所述初始分类特征图的沿通道维度的各个特征矩阵进行加权以得到所述分类特征图。

在上述基于泊位定位的互动式巡检机器人100中，所述控制结果生成模块150，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示巡检机器人的前进方向。分类器是一个用于将输入特征映射到具体类别的模型，这里，通过分类器对所述分类特征图进行特征分析，以生成巡检机器人巡检的方向指引，从而引导机器人正确到达泊位开展巡检工作。在一个具体示例中，所述分类结果包括正前方、正后方，左方、右方、右前方、右后方、左前方以及左后方。

相应地，在一个具体示例中，所述控制结果生成模块150，包括：展开单元，用于将所述分类特征图按照行向量或列向量展开为分类特征向量；全连接单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到全连接编码特征向量；概率化单元，用于将所述全连接编码特征向量输入所述分类器的Softmax分类函数以得到所述分类特征图归属于各个分类标签的概率值，所述分类标签包括所有用于表示巡检机器人的前进方向的标签数据；分类单元，用于将所述概率值中最大者对应的分类标签确定为所述分类结果。

在上述基于泊位定位的互动式巡检机器人100中，所述控制结果执行模块160，用于响应于所述分类结果控制巡检机器人运动。这里，基于所述分类结果控制巡检机器人向相应的方向运动。例如，当所述分类结果为“右方”时，控制巡检机器人向右侧运动。这样，完成了巡检机器人的自主路线规划，从而实现了巡检机器人的泊位定位以及巡检任务执行，使得巡检机器人能够根据实时的图像信息做出决策，并适应不同的巡检场景和目标情况。

综上，根据本申请实施例的基于泊位定位的互动式巡检机器人被阐明，其通过在机器人上安装多个方位的摄像头来采集包含泊位位置的监控图像，对多个视角的监控图像进行均衡化预处理后，通过卷积神经网络对图像进行特征提取，再通过分类器生成用于表示机器人前进方向的标签数据，从而引导机器人规避障碍物并正确到达泊位进行巡检工作。这样，能够提高巡检机器人在复杂场景下的导航性能，减轻巡检人员的工作量，提高巡检效率。

图6为根据本申请实施例的基于泊位定位的互动式巡检机器人的控制方法的流程图。如图6所示，根据本申请实施例的基于泊位定位的互动式巡检机器人的控制方法，包括步骤：S110，由部署于巡检机器人上的摄像头采集多个视角的监控图像，其中，所述监控图像包含泊位位置；S120，将所述多个视角的监控图像进行直方图均衡化预处理和CLAHE校正颜色以得到多个优化监控图像；S130，将所述多个优化监控图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个图像特征矩阵；S140，将所述多个图像特征矩阵排列为三维特征张量后通过包含第一卷积层和第二卷积层的第二卷积神经网络模型以得到分类特征图；S150，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示巡检机器人的前进方向；S160，响应于所述分类结果控制巡检机器人运动。

这里，本领域技术人员可以理解，上述基于泊位定位的互动式巡检机器人的控制方法中的各个步骤的具体操作已经在上面参考图1到图5的基于泊位定位的互动式巡检机器人的描述中得到了详细介绍，并因此，将省略其重复描述。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于泊位定位的互动式巡检机器人，其特征在于，包括：

监控模块，用于由部署于巡检机器人上的摄像头采集多个视角的监控图像，其中，所述监控图像包含泊位位置；

图像预处理模块，用于将所述多个视角的监控图像进行直方图均衡化预处理和CLAHE校正颜色以得到多个优化监控图像；

图像特征提取模块，用于将所述多个优化监控图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个图像特征矩阵；

图像关联特征提取模块，用于将所述多个图像特征矩阵排列为三维特征张量后通过包含第一卷积层和第二卷积层的第二卷积神经网络模型以得到分类特征图；

控制结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示巡检机器人的前进方向；

控制结果执行模块，用于响应于所述分类结果控制巡检机器人运动。

2.根据权利要求1所述的基于泊位定位的互动式巡检机器人，其特征在于，所述图像预处理模块，包括：

直方图均衡化单元，用于对所述多个视角监控图像进行直方图均衡化预处理以将所述多个视角监控图像通过变换函数映射为灰度分布均匀的图像以得到多个预处理后图像；

校正颜色单元，用于对所述多个预处理后图像进行CLAHE校正颜色以得到所述多个优化监控图像。

3.根据权利要求2所述的基于泊位定位的互动式巡检机器人，其特征在于，所述图像特征提取模块，包括：

深度卷积编码单元，用于使用所述第一卷积神经网络模型的卷积编码部分对所述优化监控图像进行深度卷积编码以得到初始卷积特征图；

空间注意力生成单元，用于将所述初始卷积特征图输入所述第一卷积神经网络模型的空间注意力部分以得到空间注意力图；

激活单元，用于将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；

注意力施加单元，用于计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到空间增强图像特征图；

池化单元，用于将所述空间增强图像特征图进行沿通道维度的均值池化处理以得到所述图像特征矩阵。

4.根据权利要求3所述的基于泊位定位的互动式巡检机器人，其特征在于，所述图像关联特征提取模块，包括：

第一尺度特征提取单元，用于使用所述第二卷积神经网络模型的第一卷积层的各层在层的正向传递中分别对输入数据进行三维卷积处理、基于局部特征矩阵的池化处理和非线性激活处理以由所述第一卷积层的最后一层输出第一尺度图像关联特征图；

第二尺度特征提取单元，用于使用所述第二卷积神经网络模型的第二卷积层的各层在层的正向传递中分别对输入数据进行三维卷积处理、基于局部特征矩阵的池化处理和非线性激活处理以由所述第二卷积层的最后一层输出第二尺度图像关联特征图；

多尺度特征融合单元，用于对所述第一尺度图像关联特征图和所述第二尺度图像关联特征图进行先验规范化匹配以得到分类特征图。

5.根据权利要求4所述的基于泊位定位的互动式巡检机器人，其特征在于，所述多尺度特征融合单元，包括：

初始分类特征图计算子单元，用于计算所述第一尺度图像关联特征图和所述第二尺度图像关联特征图的按位置加权和以得到初始分类特征图；

先验特征矩阵提取子单元，用于从数据库提取标签特征矩阵作为先验特征矩阵；

推土机距离计算子单元，用于将所述初始分类特征图的沿通道维度的各个特征矩阵与所述先验特征矩阵之间的推土机距离以得到由多个推土机距离组成的先验化匹配输入向量；

先验规则匹配特征提取子单元，用于将所述先验化匹配输入向量通过包含一维卷积层和softmax激活层的先验规则匹配特征提取模块以得到先验化匹配特征向量；

加权子单元，用于以所述先验化匹配特征向量中各个位置的特征值作为权重，对所述初始分类特征图的沿通道维度的各个特征矩阵进行加权以得到所述分类特征图。

6.根据权利要求5所述的基于泊位定位的互动式巡检机器人，其特征在于，所述控制结果生成模块，包括：

展开单元，用于将所述分类特征图按照行向量或列向量展开为分类特征向量；

全连接单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到全连接编码特征向量；

概率化单元，用于将所述全连接编码特征向量输入所述分类器的Softmax分类函数以得到所述分类特征图归属于各个分类标签的概率值，所述分类标签包括所有用于表示巡检机器人的前进方向的标签数据；

分类单元，用于将所述概率值中最大者对应的分类标签确定为所述分类结果。

7.一种基于泊位定位的互动式巡检机器人的控制方法，其特征在于，包括：

由部署于巡检机器人上的摄像头采集多个视角的监控图像，其中，所述监控图像包含泊位位置；

将所述多个视角的监控图像进行直方图均衡化预处理和CLAHE校正颜色以得到多个优化监控图像；

将所述多个优化监控图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个图像特征矩阵；

将所述多个图像特征矩阵排列为三维特征张量后通过包含第一卷积层和第二卷积层的第二卷积神经网络模型以得到分类特征图；

将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示巡检机器人的前进方向；

响应于所述分类结果控制巡检机器人运动。

8.根据权利要求7所述的基于泊位定位的互动式巡检机器人的控制方法，其特征在于，将所述多个视角的监控图像进行直方图均衡化预处理和CLAHE校正颜色以得到多个优化监控图像，包括：

对所述多个视角监控图像进行直方图均衡化预处理以将所述多个视角监控图像通过变换函数映射为灰度分布均匀的图像以得到多个预处理后图像；

对所述多个预处理后图像进行CLAHE校正颜色以得到所述多个优化监控图像。

9.根据权利要求8所述的基于泊位定位的互动式巡检机器人的控制方法，其特征在于，将所述多个优化监控图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个图像特征矩阵，包括：

使用所述第一卷积神经网络模型的卷积编码部分对所述优化监控图像进行深度卷积编码以得到初始卷积特征图；

将所述初始卷积特征图输入所述第一卷积神经网络模型的空间注意力部分以得到空间注意力图；

将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；

计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到空间增强图像特征图；

将所述空间增强图像特征图进行沿通道维度的均值池化处理以得到所述图像特征矩阵。

10.根据权利要求9所述的基于泊位定位的互动式巡检机器人的控制方法，其特征在于，将所述多个图像特征矩阵排列为三维特征张量后通过包含第一卷积层和第二卷积层的第二卷积神经网络模型以得到分类特征图，包括：

使用所述第二卷积神经网络模型的第一卷积层的各层在层的正向传递中分别对输入数据进行三维卷积处理、基于局部特征矩阵的池化处理和非线性激活处理以由所述第一卷积层的最后一层输出第一尺度图像关联特征图；

使用所述第二卷积神经网络模型的第二卷积层的各层在层的正向传递中分别对输入数据进行三维卷积处理、基于局部特征矩阵的池化处理和非线性激活处理以由所述第二卷积层的最后一层输出第二尺度图像关联特征图；

对所述第一尺度图像关联特征图和所述第二尺度图像关联特征图进行先验规范化匹配以得到分类特征图。