CN116758029A - 基于机器视觉的擦窗机移动控制方法及*** - Google Patents
基于机器视觉的擦窗机移动控制方法及*** Download PDFInfo
- Publication number
- CN116758029A CN116758029A CN202310717380.XA CN202310717380A CN116758029A CN 116758029 A CN116758029 A CN 116758029A CN 202310717380 A CN202310717380 A CN 202310717380A CN 116758029 A CN116758029 A CN 116758029A
- Authority
- CN
- China
- Prior art keywords
- erased
- region image
- glass region
- neural network
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 145
- 230000033001 locomotion Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000011521 glass Substances 0.000 claims abstract description 301
- 238000013527 convolutional neural network Methods 0.000 claims description 69
- 238000003062 neural network model Methods 0.000 claims description 52
- 239000011159 matrix material Substances 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 39
- 239000013598 vector Substances 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000009826 distribution Methods 0.000 abstract description 18
- 230000000694 effects Effects 0.000 abstract description 17
- 238000013135 deep learning Methods 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 10
- 238000007792 addition Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
一种基于机器视觉的擦窗机移动控制方法及***，其获取由部署于所述擦窗机的第一预定方向的第一摄像头采集的第一待擦除玻璃区域图像；采用基于深度学习的人工智能技术，进行所述擦窗机的各个方位图像中关于玻璃污渍的隐含特征分布信息的充分表达，以此来准确地进行擦窗机的擦窗控制，从而优化擦窗效率和效果。
Description
技术领域
本申请涉及智能化控制技术领域，并且更具体地，涉及一种基于机器视觉的擦窗机移动控制方法及***。
背景技术
擦窗机是一种用于清洁高层建筑外部玻璃幕墙的专用机器设备。目前，擦窗机在高空作业的工作过程中，其通过控制机器的移动轨迹和擦拭力度，实现对玻璃幕墙的清洁和维护。擦窗机的使用可以提高清洁效率，减少人工作业的风险，是现代高层建筑维护不可或缺的设备之一。
然而，传统的擦窗机通常采用固定的轨道或者线性运动方式进行擦窗，其擦拭效果受到擦拭力度、擦拭速度、擦拭频率等因素的影响，同时无法适应不同窗户的形状和大小。
因此，期望一种优化的基于机器视觉的擦窗机移动控制方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于机器视觉的擦窗机移动控制方法及***，其获取由部署于所述擦窗机的第一预定方向的第一摄像头采集的第一待擦除玻璃区域图像；采用基于深度学习的人工智能技术，进行所述擦窗机的各个方位图像中关于玻璃污渍的隐含特征分布信息的充分表达，以此来准确地进行擦窗机的擦窗控制，从而优化擦窗效率和效果。
第一方面，提供了一种基于机器视觉的擦窗机移动控制方法，其包括：
获取由部署于所述擦窗机的第一预定方向的第一摄像头采集的第一待擦除玻璃区域图像；
对所述第一待擦除玻璃区域图像进行Mosaic图像增强以得到增强第一待擦除玻璃区域图像；
将所述增强第一待擦除玻璃区域图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的表面特征提取器以得到待擦除玻璃区域图像特征图，其中，所述第一卷积神经网络模型和第二卷积神经网络模型分别使用具有不同尺度的二维卷积核；
将所述待擦除玻璃区域图像特征图通过空间注意力模块以得到分类特征图；
将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一待擦除玻璃区域是否存在污渍；以及
基于所述分类结果，确定所述擦窗机是否往所述第一预定方向进行移动。
在上述基于机器视觉的擦窗机移动控制方法中，将所述增强第一待擦除玻璃区域图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的表面特征提取器以得到待擦除玻璃区域图像特征图，包括：将所述增强第一待擦除玻璃区域图像通过所述表面特征提取器的第一卷积神经网络模型以得到第一尺度待擦除玻璃区域图像特征图，其中，所述第一卷积神经网络模型使用第一尺度的二维卷积核；将所述增强第一待擦除玻璃区域图像通过所述表面特征提取器的第二卷积神经网络模型以得到第二尺度待擦除玻璃区域图像特征图，其中，所述第二卷积神经网络模型使用第二尺度的二维卷积核，且第一尺度不等于第二尺度；以及，融合所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图以得到所述待擦除玻璃区域图像特征图。
在上述基于机器视觉的擦窗机移动控制方法中，将所述增强第一待擦除玻璃区域图像通过所述表面特征提取器的第一卷积神经网络模型以得到第一尺度待擦除玻璃区域图像特征图，包括：使用所述表面特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述表面特征提取器的第一卷积神经网络模型的最后一层的输出为所述第一尺度待擦除玻璃区域图像特征图，其中，所述表面特征提取器的第一卷积神经网络模型的第一层的输入为所述增强第一待擦除玻璃区域图像。
在上述基于机器视觉的擦窗机移动控制方法中，将所述增强第一待擦除玻璃区域图像通过所述表面特征提取器的第二卷积神经网络模型以得到第二尺度待擦除玻璃区域图像特征图，包括：使用所述表面特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述表面特征提取器的第二卷积神经网络模型的最后一层的输出为所述第二尺度待擦除玻璃区域图像特征图，其中，所述表面特征提取器的第二卷积神经网络模型的第一层的输入为所述增强第一待擦除玻璃区域图像。
在上述基于机器视觉的擦窗机移动控制方法中，融合所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图以得到所述待擦除玻璃区域图像特征图，包括：以如下优化公式对所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图进行全局上下文空间关联富化融合以得到所述待擦除玻璃区域图像特征图；其中，所述优化公式为：
其中，M1i和M2i分别是所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图的第i个特征矩阵，是所述第二尺度待擦除玻璃区域图像特征图的第i个特征矩阵的转置矩阵，(·)T表示矩阵的转置矩阵，且Mfi是所述待擦除玻璃区域图像特征图的第i个特征矩阵，/>和/>分别是矩阵乘法和矩阵加法。
在上述基于机器视觉的擦窗机移动控制方法中，将所述待擦除玻璃区域图像特征图通过空间注意力模块以得到分类特征图，包括：使用所述空间注意力模块的卷积编码部分对所述待擦除玻璃区域图像特征图进行深度卷积编码以得到卷积特征图；将所述卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图；将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及，计算所述空间注意力特征图和所述卷积特征图的按位置点乘以得到所述分类特征图。
在上述基于机器视觉的擦窗机移动控制方法中，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一待擦除玻璃区域是否存在污渍，包括：将所述分类特征图按照行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
第二方面，提供了一种基于机器视觉的擦窗机移动控制***，其包括：
图像获取模块，用于获取由部署于所述擦窗机的第一预定方向的第一摄像头采集的第一待擦除玻璃区域图像；
图像增强模块，用于对所述第一待擦除玻璃区域图像进行Mosaic图像增强以得到增强第一待擦除玻璃区域图像；
表面特征提取模块，用于将所述增强第一待擦除玻璃区域图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的表面特征提取器以得到待擦除玻璃区域图像特征图，其中，所述第一卷积神经网络模型和第二卷积神经网络模型分别使用具有不同尺度的二维卷积核；
空间注意力模块，用于将所述待擦除玻璃区域图像特征图通过空间注意力模块以得到分类特征图；
待擦除玻璃区域污渍检测模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一待擦除玻璃区域是否存在污渍；以及
擦窗机移动模块，用于基于所述分类结果，确定所述擦窗机是否往所述第一预定方向进行移动。
在上述基于机器视觉的擦窗机移动控制***中，所述表面特征提取模块，包括：第一尺度特征提取单元，用于将所述增强第一待擦除玻璃区域图像通过所述表面特征提取器的第一卷积神经网络模型以得到第一尺度待擦除玻璃区域图像特征图，其中，所述第一卷积神经网络模型使用第一尺度的二维卷积核；第二尺度特征提取单元，用于将所述增强第一待擦除玻璃区域图像通过所述表面特征提取器的第二卷积神经网络模型以得到第二尺度待擦除玻璃区域图像特征图，其中，所述第二卷积神经网络模型使用第二尺度的二维卷积核，且第一尺度不等于第二尺度；以及，融合单元，用于融合所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图以得到所述待擦除玻璃区域图像特征图。
在上述基于机器视觉的擦窗机移动控制***中，所述第一尺度特征提取单元，用于：使用所述表面特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述表面特征提取器的第一卷积神经网络模型的最后一层的输出为所述第一尺度待擦除玻璃区域图像特征图，其中，所述表面特征提取器的第一卷积神经网络模型的第一层的输入为所述增强第一待擦除玻璃区域图像。
与现有技术相比，本申请提供的基于机器视觉的擦窗机移动控制方法及***，其获取由部署于所述擦窗机的第一预定方向的第一摄像头采集的第一待擦除玻璃区域图像；采用基于深度学习的人工智能技术，进行所述擦窗机的各个方位图像中关于玻璃污渍的隐含特征分布信息的充分表达，以此来准确地进行擦窗机的擦窗控制，从而优化擦窗效率和效果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本申请实施例的基于机器视觉的擦窗机移动控制方法的场景示意图。
图2为根据本申请实施例的基于机器视觉的擦窗机移动控制方法的流程图。
图3为根据本申请实施例的基于机器视觉的擦窗机移动控制方法的架构示意图。
图4为根据本申请实施例的基于机器视觉的擦窗机移动控制方法中步骤130的子步骤的流程图。
图5为根据本申请实施例的基于机器视觉的擦窗机移动控制方法中步骤140的子步骤的流程图。
图6为根据本申请实施例的基于机器视觉的擦窗机移动控制方法中步骤150的子步骤的流程图。
图7为根据本申请实施例的基于机器视觉的擦窗机移动控制***的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
如上所述，传统的擦窗机通常采用固定的轨道或者线性运动方式进行擦窗，其擦拭效果受到擦拭力度、擦拭速度、擦拭频率等因素的影响，同时无法适应不同窗户的形状和大小。因此，期望一种优化的基于机器视觉的擦窗机移动控制方案。
相应地，考虑到在实际进行擦窗机的工作过程中，为了对玻璃幕墙进行有效地清洁，期望在擦窗机的八个方位(上、下、左、右、左上、左下、右上、右下)分别部署摄像头，并基于各个摄像头所采集的图像来判断对应方位是否有污渍，进而基于图像分析结果来控制擦窗机的移动。但是，由于擦窗机的不同方位采集的图像中存在的信息较为繁杂，而图像中关于玻璃污渍的特征既可能为大尺度的特征信息，也可能为小尺度的隐含特征信息，难以进行有效地捕捉和提取，导致对于擦窗机的控制精准度较低，使得擦窗效率和效果都不佳。因此，在此过程中，难点在于如何进行所述擦窗机的各个方位图像中关于玻璃污渍的隐含特征分布信息的充分表达，以此来准确地进行擦窗机的擦窗控制，从而优化擦窗效率和效果。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述擦窗机的各个方位图像中关于玻璃污渍的隐含特征分布信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，在所述擦窗机的第一个方位移动控制过程中，首先，通过部署于所述擦窗机的第一预定方向的第一摄像头采集第一待擦除玻璃区域图像。接着，对所述第一待擦除玻璃区域图像进行Mosaic图像增强以得到增强第一待擦除玻璃区域图像，以提高图像质量和减少图像中的噪声，从而更好地判断所述第一待擦除玻璃区域是否有污渍，以实现擦窗机的精准控制。应可以理解，Mosaic图像增强是一种基于机器视觉的图像增强方法，其能够通过随机读取四张图片，并采用随机的排布、翻转、裁剪、缩放、色域变换等方法，将这四张图片结合成一张大小为416×416的图像，从而增强原始图像中的目标选区。在这个过程中，原始图像中的目标选区的坐标位置也需要进行相应的调整，以保证增强后的图像中目标选区的位置正确。通过这种方式，可以提高图像的分辨率和质量，并且可以使目标选区更加鲜明、清晰，从而提高机器视觉算法的精度和鲁棒性。
然后，将图像增强后的所述增强第一待擦除玻璃区域图像通过在图像的隐含特征提取方面具有优异表现的卷积神经网络模型中进行处理，以此来提取出所述待擦除玻璃区域的污渍隐含特征信息。特别地，考虑到在实际进行玻璃污渍检测时，由于所述待擦除玻璃区域的污渍特征既可能为大尺度的特征信息，也可能为小尺度的隐含特征信息。因此，在本申请的技术方案中，将所述增强第一待擦除玻璃区域图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的表面特征提取器以得到待擦除玻璃区域图像特征图。特别地，这里，所述第一卷积神经网络模型和第二卷积神经网络模型分别使用具有不同尺度的二维卷积核，以此来提取出所述增强第一待擦除玻璃区域图像中关于第一待擦除玻璃区域的表面污渍多尺度隐含特征分布信息。
进一步地，考虑到在实际进行第一待擦除玻璃区域的表面污渍检测，以进行擦窗机的移动控制过程中，应更加关注于所述第一待擦除玻璃区域的空间位置上关于玻璃表面污渍的特征信息，而忽略与污渍检测无关的干扰特征。鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。因此，在本申请的技术方案中，进一步将所述待擦除玻璃区域图像特征图通过空间注意力模块中进行空间特征增强，以提取出所述第一待擦除玻璃区域中聚焦于空间方位上的关于玻璃表面污渍的多尺度隐含特征分布信息，从而得到分类特征图。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上聚焦于第一待擦除玻璃区域的表面污渍特征信息。
接着，进一步再将所述分类特征图通过分类器中进行分类处理，以得到用于表示第一待擦除玻璃区域是否存在污渍的分类结果。也就是，在本申请的技术方案中，所述分类器的标签包括第一待擦除玻璃区域存在污渍(第一标签)，以及，第一待擦除玻璃区域不存在污渍(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征图属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“第一待擦除玻璃区域是否存在污渍”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，第一待擦除玻璃区域是否存在污渍的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“第一待擦除玻璃区域是否存在污渍”的语言文本意义。应可以理解，在本申请的技术方案中，所述分类器的分类标签为第一待擦除玻璃区域是否存在污渍的检测评估标签，因此，在得到所述分类结果后，可基于所述分类结果来确定所述擦窗机是否往所述第一预定方向进行移动。具体来说，响应于第一待擦除玻璃区域存在污渍，则确定所述擦窗机往所述第一预定方向进行移动，以此来优化擦窗效率和效果。
特别地，在本申请的技术方案中，在将所述增强第一待擦除玻璃区域图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的表面特征提取器得到所述待擦除玻璃区域图像特征图，需要将所述增强第一待擦除玻璃区域图像分别通过所述第一卷积神经网络模型和所述第二卷积神经网络模型得到的第一尺度待擦除玻璃区域图像特征图和第二尺度待擦除玻璃区域图像特征图融合以得到所述待擦除玻璃区域图像特征图。并且，考虑到所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图分别表达不同尺度下的所述增强第一待擦除玻璃区域图像的图像源语义的空间局部关联特征，也就是，具有各自尺度下的空间图像语义关联特征。因此，在对所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图进行融合时，需要考虑其各自的空间图像语义关联特征的尺度表示来进行融合。
基于此，本申请的申请人对所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图进行全局上下文空间关联富化融合，具体表示为：
M1i和M2i分别是所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图的第i个特征矩阵，且Mfi是所述待擦除玻璃区域图像特征图的第i个特征矩阵。
这里，为了聚集在所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图之间关联分布的本地空间语义之间的上下文空间关联语义，所述全局上下文空间关联富化融合通过聚焦于特征图的特征矩阵所表示的空间帧级别(spatialframe-level)的显式上下文相关性，来富化(enriching)全局感知野下的特征矩阵的帧级别的空间语义融合式表达，从而实现所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图的跨通道的空间共享上下文语义的同化(assimilation)融合，以提升所述待擦除玻璃区域图像特征图对所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图的融合效果。这样，能够准确地进行擦窗机的移动控制，从而优化擦窗效率和效果。
图1为根据本申请实施例的基于机器视觉的擦窗机移动控制方法的场景示意图。如图1所示，在该应用场景中，首先，获取由部署于所述擦窗机(例如，如图1中所示意的M)的第一预定方向的第一摄像头采集的第一待擦除玻璃区域图像(例如，如图1中所示意的C)；然后，将获取的第一待擦除玻璃区域图像输入至部署有基于机器视觉的擦窗机移动控制算法的服务器(例如，如图1中所示意的S)中，其中所述服务器能够基于机器视觉的擦窗机移动控制算法对所述第一待擦除玻璃区域图像进行处理，以生成用于表示第一待擦除玻璃区域是否存在污渍的分类结果；以及，基于所述分类结果，确定所述擦窗机是否往所述第一预定方向进行移动。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
在本申请的一个实施例中，图2为根据本申请实施例的基于机器视觉的擦窗机移动控制方法的流程图。如图2所示，根据本申请实施例的基于机器视觉的擦窗机移动控制方法100，包括：110，获取由部署于所述擦窗机的第一预定方向的第一摄像头采集的第一待擦除玻璃区域图像；120，对所述第一待擦除玻璃区域图像进行Mosaic图像增强以得到增强第一待擦除玻璃区域图像；130，将所述增强第一待擦除玻璃区域图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的表面特征提取器以得到待擦除玻璃区域图像特征图，其中，所述第一卷积神经网络模型和第二卷积神经网络模型分别使用具有不同尺度的二维卷积核；140，将所述待擦除玻璃区域图像特征图通过空间注意力模块以得到分类特征图；150，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一待擦除玻璃区域是否存在污渍；以及，160，基于所述分类结果，确定所述擦窗机是否往所述第一预定方向进行移动。
图3为根据本申请实施例的基于机器视觉的擦窗机移动控制方法的架构示意图。如图3所示，在该网络架构中，首先，获取由部署于所述擦窗机的第一预定方向的第一摄像头采集的第一待擦除玻璃区域图像；然后，对所述第一待擦除玻璃区域图像进行Mosaic图像增强以得到增强第一待擦除玻璃区域图像；接着，将所述增强第一待擦除玻璃区域图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的表面特征提取器以得到待擦除玻璃区域图像特征图，其中，所述第一卷积神经网络模型和第二卷积神经网络模型分别使用具有不同尺度的二维卷积核；然后，将所述待擦除玻璃区域图像特征图通过空间注意力模块以得到分类特征图；接着，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一待擦除玻璃区域是否存在污渍；以及，最后，基于所述分类结果，确定所述擦窗机是否往所述第一预定方向进行移动。
具体地，在步骤110中，获取由部署于所述擦窗机的第一预定方向的第一摄像头采集的第一待擦除玻璃区域图像。如上所述，传统的擦窗机通常采用固定的轨道或者线性运动方式进行擦窗，其擦拭效果受到擦拭力度、擦拭速度、擦拭频率等因素的影响，同时无法适应不同窗户的形状和大小。因此，期望一种优化的基于机器视觉的擦窗机移动控制方案。
相应地，考虑到在实际进行擦窗机的工作过程中，为了对玻璃幕墙进行有效地清洁，期望在擦窗机的八个方位(上、下、左、右、左上、左下、右上、右下)分别部署摄像头，并基于各个摄像头所采集的图像来判断对应方位是否有污渍，进而基于图像分析结果来控制擦窗机的移动。但是，由于擦窗机的不同方位采集的图像中存在的信息较为繁杂，而图像中关于玻璃污渍的特征既可能为大尺度的特征信息，也可能为小尺度的隐含特征信息，难以进行有效地捕捉和提取，导致对于擦窗机的控制精准度较低，使得擦窗效率和效果都不佳。因此，在此过程中，难点在于如何进行所述擦窗机的各个方位图像中关于玻璃污渍的隐含特征分布信息的充分表达，以此来准确地进行擦窗机的擦窗控制，从而优化擦窗效率和效果。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述擦窗机的各个方位图像中关于玻璃污渍的隐含特征分布信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，在所述擦窗机的第一个方位移动控制过程中，首先，通过部署于所述擦窗机的第一预定方向的第一摄像头采集第一待擦除玻璃区域图像。
具体地，在步骤120中，对所述第一待擦除玻璃区域图像进行Mosaic图像增强以得到增强第一待擦除玻璃区域图像。接着，对所述第一待擦除玻璃区域图像进行Mosaic图像增强以得到增强第一待擦除玻璃区域图像，以提高图像质量和减少图像中的噪声，从而更好地判断所述第一待擦除玻璃区域是否有污渍，以实现擦窗机的精准控制。
应可以理解，Mosaic图像增强是一种基于机器视觉的图像增强方法，其能够通过随机读取四张图片，并采用随机的排布、翻转、裁剪、缩放、色域变换等方法，将这四张图片结合成一张大小为416×416的图像，从而增强原始图像中的目标选区。在这个过程中，原始图像中的目标选区的坐标位置也需要进行相应的调整，以保证增强后的图像中目标选区的位置正确。通过这种方式，可以提高图像的分辨率和质量，并且可以使目标选区更加鲜明、清晰，从而提高机器视觉算法的精度和鲁棒性。
具体地，在步骤130中，将所述增强第一待擦除玻璃区域图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的表面特征提取器以得到待擦除玻璃区域图像特征图，其中，所述第一卷积神经网络模型和第二卷积神经网络模型分别使用具有不同尺度的二维卷积核。然后，将图像增强后的所述增强第一待擦除玻璃区域图像通过在图像的隐含特征提取方面具有优异表现的卷积神经网络模型中进行处理，以此来提取出所述待擦除玻璃区域的污渍隐含特征信息。
特别地，考虑到在实际进行玻璃污渍检测时，由于所述待擦除玻璃区域的污渍特征既可能为大尺度的特征信息，也可能为小尺度的隐含特征信息。因此，在本申请的技术方案中，将所述增强第一待擦除玻璃区域图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的表面特征提取器以得到待擦除玻璃区域图像特征图。
特别地，这里，所述第一卷积神经网络模型和第二卷积神经网络模型分别使用具有不同尺度的二维卷积核，以此来提取出所述增强第一待擦除玻璃区域图像中关于第一待擦除玻璃区域的表面污渍多尺度隐含特征分布信息。
图4为根据本申请实施例的基于机器视觉的擦窗机移动控制方法中步骤130的子步骤的流程图，如图4所示，将所述增强第一待擦除玻璃区域图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的表面特征提取器以得到待擦除玻璃区域图像特征图，包括：131，将所述增强第一待擦除玻璃区域图像通过所述表面特征提取器的第一卷积神经网络模型以得到第一尺度待擦除玻璃区域图像特征图，其中，所述第一卷积神经网络模型使用第一尺度的二维卷积核；132，将所述增强第一待擦除玻璃区域图像通过所述表面特征提取器的第二卷积神经网络模型以得到第二尺度待擦除玻璃区域图像特征图，其中，所述第二卷积神经网络模型使用第二尺度的二维卷积核，且第一尺度不等于第二尺度；以及，133，融合所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图以得到所述待擦除玻璃区域图像特征图。
其中，将所述增强第一待擦除玻璃区域图像通过所述表面特征提取器的第一卷积神经网络模型以得到第一尺度待擦除玻璃区域图像特征图，包括：使用所述表面特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述表面特征提取器的第一卷积神经网络模型的最后一层的输出为所述第一尺度待擦除玻璃区域图像特征图，其中，所述表面特征提取器的第一卷积神经网络模型的第一层的输入为所述增强第一待擦除玻璃区域图像。
进一步地，将所述增强第一待擦除玻璃区域图像通过所述表面特征提取器的第二卷积神经网络模型以得到第二尺度待擦除玻璃区域图像特征图，包括：使用所述表面特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述表面特征提取器的第二卷积神经网络模型的最后一层的输出为所述第二尺度待擦除玻璃区域图像特征图，其中，所述表面特征提取器的第二卷积神经网络模型的第一层的输入为所述增强第一待擦除玻璃区域图像。
卷积神经网络(Convolutional Neural Network，CNN)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。
卷积神经网络模型利用卷积核作为特征过滤因子在图像局部特征提取方面具有非常优异的性能表现，且相较于传统的基于统计或者基于特征工程的图像特征提取算法，所述卷积神经网络模型具有更强的特征提取泛化能力和拟合能力。
特别地，在本申请的技术方案中，在将所述增强第一待擦除玻璃区域图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的表面特征提取器得到所述待擦除玻璃区域图像特征图，需要将所述增强第一待擦除玻璃区域图像分别通过所述第一卷积神经网络模型和所述第二卷积神经网络模型得到的第一尺度待擦除玻璃区域图像特征图和第二尺度待擦除玻璃区域图像特征图融合以得到所述待擦除玻璃区域图像特征图。并且，考虑到所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图分别表达不同尺度下的所述增强第一待擦除玻璃区域图像的图像源语义的空间局部关联特征，也就是，具有各自尺度下的空间图像语义关联特征。因此，在对所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图进行融合时，需要考虑其各自的空间图像语义关联特征的尺度表示来进行融合。
基于此，本申请的申请人对所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图进行全局上下文空间关联富化融合，具体表示为：以如下优化公式对所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图进行全局上下文空间关联富化融合以得到所述待擦除玻璃区域图像特征图；其中，所述优化公式为：
其中，M1i和M2i分别是所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图的第i个特征矩阵，是所述第二尺度待擦除玻璃区域图像特征图的第i个特征矩阵的转置矩阵，(·)T表示矩阵的转置矩阵，且Mfi是所述待擦除玻璃区域图像特征图的第i个特征矩阵，/>和/>分别是矩阵乘法和矩阵加法。
这里，为了聚集在所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图之间关联分布的本地空间语义之间的上下文空间关联语义，所述全局上下文空间关联富化融合通过聚焦于特征图的特征矩阵所表示的空间帧级别(spatialframe-level)的显式上下文相关性，来富化(enriching)全局感知野下的特征矩阵的帧级别的空间语义融合式表达，从而实现所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图的跨通道的空间共享上下文语义的同化(assimilation)融合，以提升所述待擦除玻璃区域图像特征图对所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图的融合效果。这样，能够准确地进行擦窗机的移动控制，从而优化擦窗效率和效果。
具体地，在步骤140中，将所述待擦除玻璃区域图像特征图通过空间注意力模块以得到分类特征图。进一步地，考虑到在实际进行第一待擦除玻璃区域的表面污渍检测，以进行擦窗机的移动控制过程中，应更加关注于所述第一待擦除玻璃区域的空间位置上关于玻璃表面污渍的特征信息，而忽略与污渍检测无关的干扰特征。鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。
因此，在本申请的技术方案中，进一步将所述待擦除玻璃区域图像特征图通过空间注意力模块中进行空间特征增强，以提取出所述第一待擦除玻璃区域中聚焦于空间方位上的关于玻璃表面污渍的多尺度隐含特征分布信息，从而得到分类特征图。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上聚焦于第一待擦除玻璃区域的表面污渍特征信息。
图5为根据本申请实施例的基于机器视觉的擦窗机移动控制方法中步骤140的子步骤的流程图，如图5所示，将所述待擦除玻璃区域图像特征图通过空间注意力模块以得到分类特征图，包括：141，使用所述空间注意力模块的卷积编码部分对所述待擦除玻璃区域图像特征图进行深度卷积编码以得到卷积特征图；142，将所述卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图；143，将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及，144，计算所述空间注意力特征图和所述卷积特征图的按位置点乘以得到所述分类特征图。
空间注意力模块是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。一方面，空间注意力模块就是希望网络能够自动学出来图片或者文字序列中的需要注意的地方；另一方面，空间注意力模块通过神经网络的操作生成一个掩码mask,mask上的值的权重。一般来说，空间注意力模块对于同一像素点不同通道求均值,再经过一些卷积和上采样的运算得到空间特征,空间特征每层的像素点就被赋予不同的权重。
具体地，在步骤150和步骤160中，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一待擦除玻璃区域是否存在污渍；以及，基于所述分类结果，确定所述擦窗机是否往所述第一预定方向进行移动。
接着，进一步再将所述分类特征图通过分类器中进行分类处理，以得到用于表示第一待擦除玻璃区域是否存在污渍的分类结果。也就是，在本申请的技术方案中，所述分类器的标签包括第一待擦除玻璃区域存在污渍(第一标签)，以及，第一待擦除玻璃区域不存在污渍(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征图属于哪个分类标签。
值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“第一待擦除玻璃区域是否存在污渍”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，第一待擦除玻璃区域是否存在污渍的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“第一待擦除玻璃区域是否存在污渍”的语言文本意义。
应可以理解，在本申请的技术方案中，所述分类器的分类标签为第一待擦除玻璃区域是否存在污渍的检测评估标签，因此，在得到所述分类结果后，可基于所述分类结果来确定所述擦窗机是否往所述第一预定方向进行移动。具体来说，响应于第一待擦除玻璃区域存在污渍，则确定所述擦窗机往所述第一预定方向进行移动，以此来优化擦窗效率和效果。
图6为根据本申请实施例的基于机器视觉的擦窗机移动控制方法中步骤150的子步骤的流程图，如图6所示，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一待擦除玻璃区域是否存在污渍，包括：151，将所述分类特征图按照行向量或列向量展开为分类特征向量；152，使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，153，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
综上，基于本申请实施例的基于机器视觉的擦窗机移动控制方法100被阐明，其获取由部署于所述擦窗机的第一预定方向的第一摄像头采集的第一待擦除玻璃区域图像；采用基于深度学习的人工智能技术，进行所述擦窗机的各个方位图像中关于玻璃污渍的隐含特征分布信息的充分表达，以此来准确地进行擦窗机的擦窗控制，从而优化擦窗效率和效果。
在本申请的一个实施例中，图7为根据本申请实施例的基于机器视觉的擦窗机移动控制***的框图。如图7所示，根据本申请实施例的基于机器视觉的擦窗机移动控制***200，包括：图像获取模块210，用于获取由部署于所述擦窗机的第一预定方向的第一摄像头采集的第一待擦除玻璃区域图像；图像增强模块220，用于对所述第一待擦除玻璃区域图像进行Mosaic图像增强以得到增强第一待擦除玻璃区域图像；表面特征提取模块230，用于将所述增强第一待擦除玻璃区域图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的表面特征提取器以得到待擦除玻璃区域图像特征图，其中，所述第一卷积神经网络模型和第二卷积神经网络模型分别使用具有不同尺度的二维卷积核；空间注意力模块240，用于将所述待擦除玻璃区域图像特征图通过空间注意力模块以得到分类特征图；待擦除玻璃区域污渍检测模块250，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一待擦除玻璃区域是否存在污渍；以及，擦窗机移动模块260，用于基于所述分类结果，确定所述擦窗机是否往所述第一预定方向进行移动。
在一个具体示例中，在上述基于机器视觉的擦窗机移动控制***中，所述表面特征提取模块，包括：第一尺度特征提取单元，用于将所述增强第一待擦除玻璃区域图像通过所述表面特征提取器的第一卷积神经网络模型以得到第一尺度待擦除玻璃区域图像特征图，其中，所述第一卷积神经网络模型使用第一尺度的二维卷积核；第二尺度特征提取单元，用于将所述增强第一待擦除玻璃区域图像通过所述表面特征提取器的第二卷积神经网络模型以得到第二尺度待擦除玻璃区域图像特征图，其中，所述第二卷积神经网络模型使用第二尺度的二维卷积核，且第一尺度不等于第二尺度；以及，融合单元，用于融合所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图以得到所述待擦除玻璃区域图像特征图。
在一个具体示例中，在上述基于机器视觉的擦窗机移动控制***中，所述第一尺度特征提取单元，用于：使用所述表面特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述表面特征提取器的第一卷积神经网络模型的最后一层的输出为所述第一尺度待擦除玻璃区域图像特征图，其中，所述表面特征提取器的第一卷积神经网络模型的第一层的输入为所述增强第一待擦除玻璃区域图像。
在一个具体示例中，在上述基于机器视觉的擦窗机移动控制***中，所述第二尺度特征提取单元，用于：使用所述表面特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述表面特征提取器的第二卷积神经网络模型的最后一层的输出为所述第二尺度待擦除玻璃区域图像特征图，其中，所述表面特征提取器的第二卷积神经网络模型的第一层的输入为所述增强第一待擦除玻璃区域图像。
在一个具体示例中，在上述基于机器视觉的擦窗机移动控制***中，所述融合单元，用于：以如下优化公式对所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图进行全局上下文空间关联富化融合以得到所述待擦除玻璃区域图像特征图；其中，所述优化公式为：
其中，M1i和M2i分别是所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图的第i个特征矩阵，是所述第二尺度待擦除玻璃区域图像特征图的第i个特征矩阵的转置矩阵，(·)T表示矩阵的转置矩阵，且Mfi是所述待擦除玻璃区域图像特征图的第i个特征矩阵，/>和/>分别是矩阵乘法和矩阵加法。
在一个具体示例中，在上述基于机器视觉的擦窗机移动控制***中，所述空间注意力模块，包括：编码单元，用于使用所述空间注意力模块的卷积编码部分对所述待擦除玻璃区域图像特征图进行深度卷积编码以得到卷积特征图；空间注意力单元，用于将所述卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图；激活单元，用于将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及，计算单元，用于计算所述空间注意力特征图和所述卷积特征图的按位置点乘以得到所述分类特征图。
在一个具体示例中，在上述基于机器视觉的擦窗机移动控制***中，所述待擦除玻璃区域污渍检测模块，包括：展开单元，用于将所述分类特征图按照行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
这里，本领域技术人员可以理解，上述基于机器视觉的擦窗机移动控制***中的各个单元和模块的具体功能和操作已经在上面参考图1到图6的基于机器视觉的擦窗机移动控制方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的基于机器视觉的擦窗机移动控制***200可以实现在各种终端设备中，例如用于基于机器视觉的擦窗机移动控制的服务器等。在一个示例中，根据本申请实施例的基于机器视觉的擦窗机移动控制***200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于机器视觉的擦窗机移动控制***200可以是该终端设备的操作***中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于机器视觉的擦窗机移动控制***200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于机器视觉的擦窗机移动控制***200与该终端设备也可以是分立的设备，并且基于机器视觉的擦窗机移动控制***200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
本申请还提供了一种计算机程序产品，所述计算机程序产品包括指令，当所述指令被执行时，以使得装置执行对应于上述方法中的操作。
在本申请的一个实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。
应可以理解，本申请的实施例可提供为方法、***、或计算机程序产品。因此，可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例的方法、***、和计算机程序产品的流程图和/或框图来描述的。应理解可由计算机程序指令实现流程图和/或框图中的每一流程和/或方框、以及流程图和/或框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的步骤。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种基于机器视觉的擦窗机移动控制方法，其特征在于，包括：
获取由部署于所述擦窗机的第一预定方向的第一摄像头采集的第一待擦除玻璃区域图像；
对所述第一待擦除玻璃区域图像进行Mosaic图像增强以得到增强第一待擦除玻璃区域图像；
将所述增强第一待擦除玻璃区域图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的表面特征提取器以得到待擦除玻璃区域图像特征图，其中，所述第一卷积神经网络模型和第二卷积神经网络模型分别使用具有不同尺度的二维卷积核；
将所述待擦除玻璃区域图像特征图通过空间注意力模块以得到分类特征图；
将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一待擦除玻璃区域是否存在污渍；以及
基于所述分类结果，确定所述擦窗机是否往所述第一预定方向进行移动。
2.根据权利要求1所述的基于机器视觉的擦窗机移动控制方法，其特征在于，将所述增强第一待擦除玻璃区域图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的表面特征提取器以得到待擦除玻璃区域图像特征图，包括：
将所述增强第一待擦除玻璃区域图像通过所述表面特征提取器的第一卷积神经网络模型以得到第一尺度待擦除玻璃区域图像特征图，其中，所述第一卷积神经网络模型使用第一尺度的二维卷积核；
将所述增强第一待擦除玻璃区域图像通过所述表面特征提取器的第二卷积神经网络模型以得到第二尺度待擦除玻璃区域图像特征图，其中，所述第二卷积神经网络模型使用第二尺度的二维卷积核，且第一尺度不等于第二尺度；以及
融合所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图以得到所述待擦除玻璃区域图像特征图。
3.根据权利要求2所述的基于机器视觉的擦窗机移动控制方法，其特征在于，将所述增强第一待擦除玻璃区域图像通过所述表面特征提取器的第一卷积神经网络模型以得到第一尺度待擦除玻璃区域图像特征图，包括：使用所述表面特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述表面特征提取器的第一卷积神经网络模型的最后一层的输出为所述第一尺度待擦除玻璃区域图像特征图，其中，所述表面特征提取器的第一卷积神经网络模型的第一层的输入为所述增强第一待擦除玻璃区域图像。
4.根据权利要求3所述的基于机器视觉的擦窗机移动控制方法，其特征在于，将所述增强第一待擦除玻璃区域图像通过所述表面特征提取器的第二卷积神经网络模型以得到第二尺度待擦除玻璃区域图像特征图，包括：使用所述表面特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述表面特征提取器的第二卷积神经网络模型的最后一层的输出为所述第二尺度待擦除玻璃区域图像特征图，其中，所述表面特征提取器的第二卷积神经网络模型的第一层的输入为所述增强第一待擦除玻璃区域图像。
5.根据权利要求4所述的基于机器视觉的擦窗机移动控制方法，其特征在于，融合所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图以得到所述待擦除玻璃区域图像特征图，包括：
以如下优化公式对所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图进行全局上下文空间关联富化融合以得到所述待擦除玻璃区域图像特征图；
其中，所述优化公式为：
其中，M1i和M2i分别是所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图的第i个特征矩阵，是所述第二尺度待擦除玻璃区域图像特征图的第i个特征矩阵的转置矩阵，(·)T表示矩阵的转置矩阵，且Mfi是所述待擦除玻璃区域图像特征图的第i个特征矩阵，/>和/>分别是矩阵乘法和矩阵加法。
6.根据权利要求5所述的基于机器视觉的擦窗机移动控制方法，其特征在于，将所述待擦除玻璃区域图像特征图通过空间注意力模块以得到分类特征图，包括：
使用所述空间注意力模块的卷积编码部分对所述待擦除玻璃区域图像特征图进行深度卷积编码以得到卷积特征图；
将所述卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图；
将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及
计算所述空间注意力特征图和所述卷积特征图的按位置点乘以得到所述分类特征图。
7.根据权利要求6所述的基于机器视觉的擦窗机移动控制方法，其特征在于，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一待擦除玻璃区域是否存在污渍，包括：
将所述分类特征图按照行向量或列向量展开为分类特征向量；
使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
8.一种基于机器视觉的擦窗机移动控制***，其特征在于，包括：
图像获取模块，用于获取由部署于所述擦窗机的第一预定方向的第一摄像头采集的第一待擦除玻璃区域图像；
图像增强模块，用于对所述第一待擦除玻璃区域图像进行Mosaic图像增强以得到增强第一待擦除玻璃区域图像；
表面特征提取模块，用于将所述增强第一待擦除玻璃区域图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的表面特征提取器以得到待擦除玻璃区域图像特征图，其中，所述第一卷积神经网络模型和第二卷积神经网络模型分别使用具有不同尺度的二维卷积核；
空间注意力模块，用于将所述待擦除玻璃区域图像特征图通过空间注意力模块以得到分类特征图；
待擦除玻璃区域污渍检测模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一待擦除玻璃区域是否存在污渍；以及
擦窗机移动模块，用于基于所述分类结果，确定所述擦窗机是否往所述第一预定方向进行移动。
9.根据权利要求8所述的基于机器视觉的擦窗机移动控制***，其特征在于，所述表面特征提取模块，包括：
第一尺度特征提取单元，用于将所述增强第一待擦除玻璃区域图像通过所述表面特征提取器的第一卷积神经网络模型以得到第一尺度待擦除玻璃区域图像特征图，其中，所述第一卷积神经网络模型使用第一尺度的二维卷积核；
第二尺度特征提取单元，用于将所述增强第一待擦除玻璃区域图像通过所述表面特征提取器的第二卷积神经网络模型以得到第二尺度待擦除玻璃区域图像特征图，其中，所述第二卷积神经网络模型使用第二尺度的二维卷积核，且第一尺度不等于第二尺度；以及
融合单元，用于融合所述第一尺度待擦除玻璃区域图像特征图和所述第二尺度待擦除玻璃区域图像特征图以得到所述待擦除玻璃区域图像特征图。
10.根据权利要求9所述的基于机器视觉的擦窗机移动控制***，其特征在于，所述第一尺度特征提取单元，用于：使用所述表面特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述表面特征提取器的第一卷积神经网络模型的最后一层的输出为所述第一尺度待擦除玻璃区域图像特征图，其中，所述表面特征提取器的第一卷积神经网络模型的第一层的输入为所述增强第一待擦除玻璃区域图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310717380.XA CN116758029B (zh) | 2023-06-15 | 基于机器视觉的擦窗机移动控制方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310717380.XA CN116758029B (zh) | 2023-06-15 | 基于机器视觉的擦窗机移动控制方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116758029A true CN116758029A (zh) | 2023-09-15 |
| CN116758029B CN116758029B (zh) | 2024-07-26 |
Family
ID=
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110251004A (zh) * | 2019-07-16 | 2019-09-20 | 深圳市杉川机器人有限公司 | 扫地机器人及其清扫方法和计算机可读存储介质 |
| CN111374584A (zh) * | 2018-12-28 | 2020-07-07 | 珠海市一微半导体有限公司 | 一种视觉擦窗机器人及其控制方法 |
| JP2020113297A (ja) * | 2015-12-25 | 2020-07-27 | シャダイ株式会社 | 移動体プラットフォームシステム |
| CN112699808A (zh) * | 2020-12-31 | 2021-04-23 | 深圳市华尊科技股份有限公司 | 密集目标检测方法、电子设备及相关产品 |
| CN113510691A (zh) * | 2021-07-30 | 2021-10-19 | 南京智凝人工智能研究院有限公司 | 一种抹灰机器人的智能视觉*** |
| CN114332620A (zh) * | 2021-12-30 | 2022-04-12 | 杭州电子科技大学 | 基于特征融合和注意力机制的机载图像车辆目标识别方法 |
| US20220192444A1 (en) * | 2019-04-26 | 2022-06-23 | Ecovacs Home Service Robotics Co., Ltd. | Cleaning method, window wiping robot, and storage medium |
| WO2022205502A1 (zh) * | 2021-04-01 | 2022-10-06 | 华中科技大学 | 一种图像分类模型的构建方法、图像分类方法及存储介质 |
| CN115170475A (zh) * | 2022-06-08 | 2022-10-11 | 哈尔滨理工大学 | 一种基于深度学习方法的无纺布缺陷检测方法 |
| CN115760768A (zh) * | 2022-11-19 | 2023-03-07 | 河南省肿瘤医院 | 医疗环境紫外线消毒管控*** |
| CN115761642A (zh) * | 2022-11-23 | 2023-03-07 | 华能伊敏煤电有限责任公司 | 基于图像处理的破碎作业监控方法及其*** |
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020113297A (ja) * | 2015-12-25 | 2020-07-27 | シャダイ株式会社 | 移動体プラットフォームシステム |
| CN111374584A (zh) * | 2018-12-28 | 2020-07-07 | 珠海市一微半导体有限公司 | 一种视觉擦窗机器人及其控制方法 |
| US20220192444A1 (en) * | 2019-04-26 | 2022-06-23 | Ecovacs Home Service Robotics Co., Ltd. | Cleaning method, window wiping robot, and storage medium |
| CN110251004A (zh) * | 2019-07-16 | 2019-09-20 | 深圳市杉川机器人有限公司 | 扫地机器人及其清扫方法和计算机可读存储介质 |
| CN112699808A (zh) * | 2020-12-31 | 2021-04-23 | 深圳市华尊科技股份有限公司 | 密集目标检测方法、电子设备及相关产品 |
| WO2022205502A1 (zh) * | 2021-04-01 | 2022-10-06 | 华中科技大学 | 一种图像分类模型的构建方法、图像分类方法及存储介质 |
| CN113510691A (zh) * | 2021-07-30 | 2021-10-19 | 南京智凝人工智能研究院有限公司 | 一种抹灰机器人的智能视觉*** |
| CN114332620A (zh) * | 2021-12-30 | 2022-04-12 | 杭州电子科技大学 | 基于特征融合和注意力机制的机载图像车辆目标识别方法 |
| CN115170475A (zh) * | 2022-06-08 | 2022-10-11 | 哈尔滨理工大学 | 一种基于深度学习方法的无纺布缺陷检测方法 |
| CN115760768A (zh) * | 2022-11-19 | 2023-03-07 | 河南省肿瘤医院 | 医疗环境紫外线消毒管控*** |
| CN115761642A (zh) * | 2022-11-23 | 2023-03-07 | 华能伊敏煤电有限责任公司 | 基于图像处理的破碎作业监控方法及其*** |
Non-Patent Citations (3)
| Title |
|---|
| SOOWOONG KIM, ET AL.: "Vision-based cleaning area control for cleaning robots", 《IEEE TRANSACTIONS ON CONSUMER ELECTRONICS》, vol. 58, no. 2 * |
| 房武炳: "基于RECMAC神经网络的视觉移动机器人控制器设计", 《中国优秀硕士学位论文全文数据库》 * |
| 杨晓莉;蔺素珍;: "一种注意力机制的多波段图像特征级融合方法", 《西安电子科技大学学报》, no. 1 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110598610B (zh) | 一种基于神经选择注意的目标显著性检测方法 | |
| Chen et al. | Semantic image segmentation with task-specific edge detection using cnns and a discriminatively trained domain transform | |
| CN110929593B (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN107423698B (zh) | 一种基于并联卷积神经网络的手势估计方法 | |
| CN108416266B (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
| CN108509839A (zh) | 一种基于区域卷积神经网络高效的手势检测识别方法 | |
| CN111080675B (zh) | 一种基于时空约束相关滤波的目标跟踪方法 | |
| CN110705412A (zh) | 一种基于运动历史图像的视频目标检测方法 | |
| CN111626090B (zh) | 一种基于深度帧差卷积神经网络的运动目标检测方法 | |
| CN110728183A (zh) | 一种基于注意力机制的神经网络的人体动作识别方法 | |
| CN104537686B (zh) | 基于目标时空一致性和局部稀疏表示的跟踪方法及装置 | |
| CN113312973B (zh) | 一种手势识别关键点特征提取方法及*** | |
| CN114463218B (zh) | 一种基于事件数据驱动的视频去模糊方法 | |
| CN115601403A (zh) | 一种基于自注意力机制的事件相机光流估计方法及装置 | |
| Cho et al. | Semantic segmentation with low light images by modified CycleGAN-based image enhancement | |
| CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
| CN105046670A (zh) | 一种图像去雨方法及*** | |
| CN107067373A (zh) | 一种基于0范数的梯度最小化二值图像复原方法 | |
| CN115588237A (zh) | 一种基于单目rgb图像的三维手部姿态估计方法 | |
| CN105975911A (zh) | 基于滤波器的能量感知运动显著目标检测算法 | |
| CN116758029B (zh) | 基于机器视觉的擦窗机移动控制方法及*** | |
| CN111401209A (zh) | 一种基于深度学习的动作识别方法 | |
| CN116758029A (zh) | 基于机器视觉的擦窗机移动控制方法及*** | |
| CN110570450A (zh) | 一种基于级联的上下文感知框架的目标跟踪方法 | |
| JP7495368B2 (ja) | 骨格推定装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240119 Address after: Room 413, Unit 1, Building 1, Tian'an Digital City, No. 1 Huangjin Road, Nancheng Street, Dongguan City, Guangdong Province, 523000 Applicant after: Guangdong Lingdun Zhilian Information Technology Co.,Ltd. Address before: 523000 Room 101, building 1, No. 8, Keyuan 8th Road, Tangxia Town, Dongguan City, Guangdong Province Applicant before: Dongguan shangsimai Intelligent Technology Co.,Ltd. |
|
| GR01 | Patent grant |