CN112381852A - 清洁机器人的定位方法及存储介质 - Google Patents

清洁机器人的定位方法及存储介质 Download PDF

Info

Publication number
CN112381852A
CN112381852A CN202011252054.9A CN202011252054A CN112381852A CN 112381852 A CN112381852 A CN 112381852A CN 202011252054 A CN202011252054 A CN 202011252054A CN 112381852 A CN112381852 A CN 112381852A
Authority
CN
China
Prior art keywords
cleaning robot
camera
panel
real
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011252054.9A
Other languages
English (en)
Inventor
徐斐
马晓伟
徐建荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Radiant Photovoltaic Technology Co Ltd
Original Assignee
Suzhou Radiant Photovoltaic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Radiant Photovoltaic Technology Co Ltd filed Critical Suzhou Radiant Photovoltaic Technology Co Ltd
Priority to CN202011252054.9A priority Critical patent/CN112381852A/zh
Publication of CN112381852A publication Critical patent/CN112381852A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供清洁机器人的定位方法及存储介质，通过利用深度学习图像分割技术分割面板阵列的前景图片，在前景图片中分割边界线，进而得到相机的角度信息。并通过边界识别模型判断所有可能的前向面板阵列边界位置，得到最有可能的相邻的面板阵列的缝隙位置，通过相机姿态计算缝隙的真实距离。最后，本发明部署摄像头，既可以实现冗余布置，同时可以恢复更加准确的距离信息。

Description

清洁机器人的定位方法及存储介质
技术领域
本发明太阳能面板技术领域，尤其是涉及一种清洁机器人的定位方法及存 储介质。
背景技术
在化石燃料日趋减少的情况下，作为一种新兴的可再生能源的太阳能已成 为人类使用能源的重要组成部分，近十年来，太阳能应用技术在世界各国都得 到迅猛发展。
由于太阳能面板的工作环境只能是户外，影响其工作的最大问题并不是风 雨雷电，而是常年累积的灰尘、积雪等。太阳能面板上附着有灰尘或其它附着 物，会影响面板板的透光率，阻碍光电效率，从而会严重影响面板直接获取阳 光的效率，降低面板的能量吸收和转换效率，降低发电效率。
因此，每个光伏电站都需要进行太阳能面板表面的清扫工作，很明显人工 清扫效率低、风险大。相应的，业界开发出了太阳能面板清洁机器人对其进行 表面清扫，即可有效的提高清扫效率，又不会出现高处清扫作业而存在的人身 安全隐患问题。但是现有的清洁机器人视觉定位通过图像特征点实现，而在弱 光(黑夜)，强光(镜面强反光)，纹理单一(面板线条重复)等状态下，很难提取出 有效的特征点，甚至很难进行特征的描述子匹配。已有的视觉定位算法很难在 光伏扫地机器人上部署。室外太阳能光伏组件清洁机器人应用场景特殊，组件 面板肮污程度不一，因此传统的图像处理技术很难覆盖所有情形，导致识别阵 列边界或组件间隙的鲁棒性差，从而影响定位性能。
因此，需要提供清洁机器人的定位方法，可以有效解决清洁机器人视觉定 位特征提取困难及视觉定位算法适应场景较少的问题。
发明内容
本发明提供了一种清洁机器人的定位方法，通过引进深度学习的技术方法， 可以有效地对太阳能面板阵列的特征提取。
本发明的技术方案为：提供一种清洁机器人的定位方法，包括：在一清洁 机器人上设置至少一摄像头；所述清洁机器人在一面板阵列上行进并采集多张 样本图片，记录每一样本图片对应的摄像头朝向，所述面板阵列由多块排成阵 列的光伏面板组成；以样本图片及其摄像头朝向作为训练样本，构建前景分割 模型及边界识别模型；所述清洁机器人在一面板阵列上行进，并实时采集至少 一张实时图片；录入清洁机器人的实时图片至所述前景分割模型，获取该实时 图像中的面板阵列范围；录入清洁机器人的实时图片至所述边界识别模型，获 取该实时图像中每一光伏面板的边界线；对比清洁机器人所在光伏面板的边界 线与面板阵列范围，获取所述清洁机器人所处的光伏面板在该面板阵列中的位 置；根据所述边界线在该实时图像的位置，获取所述清洁机器人在该光伏面板 上的位置；以及获取所述清洁机器人在所述面板阵列中的位置。
进一步地，在一清洁机器人上设置至少一摄像头的步骤中，在所述清洁机 器人的前端、后端、左侧、右侧分别设置至少一摄像头，所述摄像头的镜头中 轴线与水平面保持20-90度的夹角。
进一步地，在一清洁机器人上设置至少一摄像头的步骤中，在一清洁机器 人的最高点处设置一可水平转动的摄像头，所述摄像头的镜头中轴线与水平面 保持20-90度的夹角。
进一步地，构建前景分割模型的步骤，具体包括如下步骤：在每一样本图 片中标注出有效区，作为该样本图片的第一特征，所述有效区内为面板阵列； 以及将多个被标注第一特征的样本图片作为训练样本录入至一卷积神经网络模 型进行训练，得到一前景分割模型，用于去除样本图片中的背景部分，仅保留 前景部分。
进一步地，构建边界识别模型的步骤，具体包括如下步骤：获取多张样本 图片，所述样本图片为所述清洁机器人在清扫面板阵列时拍摄的图像，所述面 板阵列由多块排列成阵列的光伏面板组成；在每一样本图片中标注出每一光伏 面板的边界线，作为该样本图片的第二特征；以及将多个被标注第二特征的样 本图片作为训练样本录入至另一卷积神经网络模型进行训练，得到一边界识别 模型；用于识别边界。
进一步地，获取所述清洁机器人所处的光伏面板在所述面板阵列中的位置， 具体包括如下步骤：获取所述清洁机器人的摄像头视野中彼此平行的光伏面板 边界线的数量；计算所述清洁机器人所处的光伏面板周围四个方向上的面板数 量。
进一步地，获取所述清洁机器人在该光伏面板上的位置，具体包括如下步 骤：获取所述清洁机器人的摄像头视野中第一条边界线；计算所述清洁机器人 的摄像头视野中第一条边界线与所述摄像头的距离；计算所述摄像头与其所在 面板的四条边缘处的距离。
进一步地，在获取该实时图像中每一光伏面板的边界线的步骤之后，还包 括如下步骤：根据实时图像中清洁机器人所在光伏面板的边界线与其他光伏面 板边界线的夹角计算清洁机器人的偏航角；根据所述偏航角计算清洁机器人的 行进方向与其所在光伏面板的四条边缘处的夹角。
进一步地，所述清洁机器人在一面板阵列上行进，并实时采集至少一张实 时图片的步骤之后，还包括对图片做降噪处理的步骤；以及筛除畸变图片的步 骤。
本发明提供一种存储介质，所述存储介质中存储有多条指令，处理器读取 所述指令以执行所述的清洁机器人的定位方法中至少一步骤。
本发明的有益效果是：本发明提供清洁机器人的定位方法及存储介质，通 过利用深度学习图像分割技术分割面板阵列的前景图片，通过建立的前景分割 迷行在前景图片中分割边界线，进而得到相机的角度信息。并通过边界识别模 型判断所有可能的前向面板阵列边界位置，得到最有可能的相邻的面板阵列的 缝隙位置，通过相机姿态计算缝隙的真实距离。最后，本发明部署摄像头，既 可以实现冗余布置，同时可以恢复更加准确的距离信息。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技 术方案及其它有益效果显而易见。
图1为本发明一实施例中提供的面板阵列的示意图；
图2为本发明一实施例中提供的面板阵清洁机器人工作的示意图；
图3为本发明一实施例中提供的清洁机器人的定位方法的流程图；
图4为本发明一实施例中提供的构建前景分割模型的步骤流程图；
图5为本发明一实施例中提供的构建边界识别模型的步骤流程图；
图6为本发明一实施例中提供的面板阵列与光伏面板的示意图；
图7为本发明一实施例中提供的在获取该实时图像中每一光伏面板的边界 线的步骤之后的流程图；
图8为本发明一实施例中提供的获取所述清洁机器人所处的光伏面板在所 述面板阵列中的位置的流程图；
图9为本发明一实施例中提供的获取所述清洁机器人在该光伏面板上的位 置的流程图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳 动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结 构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然， 它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子 中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不 指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特 定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用 和/或其他材料的使用。
如图1所示，一太阳能电站内设有一作业区100，在该作业区100内包括多个 太阳能面板阵列101，每一太阳能面板阵列101与水平面的倾斜角为15～45度中的 某一角度值，尽量保证阳光较多地直射至太阳能面板上。在大部分的太阳能电 站中，所有太阳能面板相对于水平面的倾斜角都是相同的；在某些太阳能电站 中，不同太阳能面板的倾斜角可能会有所区别，甚至有些面板的倾斜角是可调 节或可变化的。每一太阳能面板阵列101包括多块拼接在一起的太阳能光伏面板 102。
如图2所示，太阳能电站在正常工作过程中，某些太阳能面板或太阳能面板 阵列101会沾附灰尘或污渍，需要被清洁处理；每一块需要被清洁处理的太阳能 面板或太阳能面板阵列101即为清洁区500。清洁机器人200可以在太阳能面板或 太阳能面板阵列101上完成清洁作业，可以有效清洁面板或面板阵列101上的每 一处区域。待接驳车300到达接驳区110后，调整好接驳平台的位置以后，可以 将清洁机器人200从清洁机器人存放地运载至一清洁区500(需要被清洁的面板 阵列101)上表面，从一个被清洁过的面板阵列101上表面运载至另一个清洁区 500(需要被清洁的面板或面板阵列101)上表面。
本发明提供过一种清洁机器人的定位方法，用以实验清洁机器人在所述面 板阵列101上的精确定位。如图3所示，所述清洁机器人的定位方法包括如下步 骤S1～S10。
S1、在一清洁机器人上设置至少一摄像头。
本发明摄像头的安装方案包括如下实施例。
在一实施例中，所述清洁机器人的前端、后端、左侧、右侧分别设置至少 一摄像头，所述摄像头的镜头中轴线与水平面保持20-90度的夹角。
在另一实施例中，在所述清洁机器人的最高点处设置一可水平转动的摄像 头，所述摄像头的镜头中轴线与水平面保持20-90度的夹角。
这样可以让清洁机器人可以实现前端、后端、左侧、右侧各个角度拍摄照 片。
S2、所述清洁机器人在一面板阵列上行进并采集多张样本图片，记录每一 样本图片对应的摄像头朝向，所述面板阵列由多块排成阵列的光伏面板组成。
S3、以样本图片及其摄像头朝向作为训练样本，构建前景分割模型及边界 识别模型。根据摄像头朝向对样本图片进行分组，例如，若将摄像头在面板上 的朝向分成360个角度，所有的样本图片可以被分成360个组别。
如图4所示，构建前景分割模型的步骤，具体包括如下步骤S301～S302。
S301、在每一样本图片中标注出有效区，作为该样本图片的第一特征，所 述有效区为面板阵列图像。
即清洁机器人拍摄的图像大多数包括非面板阵列图像，而需要将面板阵列 分割出来。
S302、将多个被标注第一特征的样本图片作为训练样本录入至一卷积神经 网络模型进行训练，得到一前景分割模型，前景分割模型用于去除样本图片中 的背景部分，仅保留前景部分。所述前景部分仅为面板阵列图像。
所述卷积神经网络包含输入模块、卷积模块和分类模块。
所述输入模块用于读入预处理后的遥感图像数据；网络的输入是224像素 *224像素大小的图像数据。
所述卷积模块包含卷积、激活和采样操作，用于提取和选择图像特征。
由卷积层进行卷积操作，卷积公式表述为：
o＝∑i，j∈nwi，j*Ii，j
其中，wi，j是n*n大小的卷积核位置i,j处的参数；Ii，j是与卷积核元素相对应位 置的像素值。网络中所包含的13个卷积层采用的卷积核的尺寸均为3*3的尺寸， 卷积核的滑动步长为1。
采用ReLU激活函数对卷积层的输出进行处理，其函数表达式为：
f(in)＝max(0，in)
其中in为输入信号，I(in)为输出信号。
由采样层对数据进行池化，池化操作类似卷积操作，同样是用一个n*n大小 的卷积核在另一的N*M的矩阵上以一定的滑动步长滑动，这里滑动步长的值为 2。在滑动过程中选出当前与核对应位置的最大值，即使用最大值池化方式，最 大值池化公式表述如下：
o＝maxIi，j
其中，Ii，j是与卷积核元素相对应位置的像素值。
所述分类模块用于进行目标特征的分类。
卷积神经网络的分类模块包括3层全连接层和逻辑回归(softmax)层，用 于进行目标特征的分类。所述的逻辑回归(softmax)层，在学习训练期间将卷 积神经网络中的学习结果作为逻辑回归(softmax)层的输入数据；逻辑回归(softmax)回归是面向多类分类问题的逻辑回归，是逻辑回归的一般形式，适 用于类别之间互斥的情况。
假设对于样本θ(x(1)，y(1))，(x(o)，y(o))，...，(x(m)，y(m))有K个类别，即y(i)∈{1，2，...，k}。 逻辑回归层(softmax)用于估算输入样本x(i)属于每一类别的概率，逻辑回归层(softmax)的假设函数如下：
Figure RE-GDA0002897589460000071
其中θ1,θ2,...,θk是模型的参数，乘以
Figure RE-GDA0002897589460000072
的目的是为了使概率在[0，1]之间 且概率和为1。
逻辑回归层(softmax)将样本x(i)标记为类别j的概率为：
Figure RE-GDA0002897589460000073
网络模型的损失函数采用的是交叉熵函数，交叉熵刻画的是实际输出(概率) 与期望输出(概率)的距离，也就是交叉熵的值越小，两个概率分布就越接近。 假设概率分布p为期望输出(标签)，概率分布q为实际输出，H(o，q)为交叉熵。一 种交叉熵损失函数公式如下：
Figure RE-GDA0002897589460000074
如图5所示，构建边界识别模型的步骤，具体包括如下步骤S401～S403。
S401、获取多张样本图片，所述样本图片为所述清洁机器人在清扫面板阵 列时拍摄的图像，所述面板阵列由多块排列成阵列的光伏面板组成。
S402、在每一样本图片中标注出每一光伏面板的边界线，作为该样本图片 的第二特征。如图6所示，所述边界线即为方形线，与光伏面板的方形周边相 同。
S403、将多个被标注第二特征的样本图片作为训练样本录入至另一卷积神 经网络模型进行训练，得到一边界识别模型。所述另一卷积神经网络与所述一 卷积神经网络的模型结构相同。
边界识别模型用于识别光伏面板的边界，可以得到所述清洁机器人在哪一 块面板组件上。
S4、所述清洁机器人在一面板阵列上行进，并实时采集至少一张实时图片。
S5、对图片做降噪处理的步骤，用以去除反射光带来的低频噪声。
主要针对图片曝光度差以及夜晚的场景，图片的去噪处理可通过噪声压制 滤波法进行，即使用滤波技术来达到去斑点噪声的效果，进而提高信噪比。
S6、筛除畸变图片的步骤。
面板组件的平行线，在照片上，也就是投影变换之后不再平行。不过，借 助于光伏组件上的经纬线，可以纠正图像的投影畸变，让经线和纬线分别变的 平行。这一操作会让光伏板平面上的几何元素变的更加有序，从而排除外界(不 在光伏板平面上的)元素的干扰。
S7、录入经过处理后清洁机器人的实时图片至所述前景分割模型，获取该 实时图像中的面板阵列范围，即得到实时图片的有效区域。
S8、录入清洁机器人的实时图片至所述边界识别模型，获取该实时图像中 每一光伏面板的边界线。
如图7所示，在获取该实时图像中每一光伏面板的边界线的步骤之后，还 包括如下步骤S601～S602，用以确定清洁机器人的车头朝向，也即清洁机器人 的位姿，位姿即清洁机器人的偏航角。
S601、根据实时图像中清洁机器人所在光伏面板的边界线与其他光伏面板 边界线的夹角计算清洁机器人的偏航角。
S602、根据所述偏航角计算清洁机器人的行进方向与其所在光伏面板的四 条边缘处的夹角。
S9、对比清洁机器人所在光伏面板的边界线与面板阵列范围，获取所述清 洁机器人所处的光伏面板在该面板阵列中的位置。
如图8所示，获取所述清洁机器人所处的光伏面板在所述面板阵列中的位 置，具体包括如下步骤S701～S702。
S701、获取所述清洁机器人的摄像头视野中彼此平行的光伏面板边界线的 数量。
S702、计算所述清洁机器人所处的光伏面板周围四个方向上的面板数量。
S10、根据所述边界线在该实时图像的位置，获取所述清洁机器人在该光伏 面板上的位置。
如图9所示，获取所述清洁机器人在该光伏面板上的位置，具体包括如下 步骤S801～S803。
S801、获取所述清洁机器人的摄像头视野中第一条边界线。
S802、计算所述清洁机器人的摄像头视野中第一条边界线与所述摄像头的 距离。
S803、计算所述摄像头与其所在面板的四条边缘处的距离。
S11、获取所述清洁机器人在所述面板阵列中的位置。
本发明还提供一种存储介质，所述存储介质中存储有多条指令，处理器读 取所述指令以执行所述的清洁机器人的定位方法中至少一步骤。
本发明提供清洁机器人的定位方法及存储介质，通过利用深度学习图像分 割技术分割面板阵列的前景图片，在前景图片中分割边界线，进而恢得到相机 的角度信息。并通过边界识别模型判断所有可能的前向面板阵列边界位置，得 到最有可能的相邻的面板阵列的缝隙位置，通过相机姿态计算缝隙的真实距离。 最后，本发明部署摄像头，既可以实现冗余布置，同时可以恢复更加准确的距 离信息。
以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及 实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案 及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例 所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些 修改或者替换，并不使相应技术方案的本质脱离本发明各实施例的技术方案的 范围。

Claims (10)

1.一种清洁机器人的定位方法，其特征在于，包括：
在一清洁机器人上设置至少一摄像头；
所述清洁机器人在一面板阵列上行进并采集多张样本图片，记录每一样本图片对应的摄像头朝向，所述面板阵列由多块排成阵列的光伏面板组成；
以样本图片及其摄像头朝向作为训练样本，构建前景分割模型及边界识别模型；
所述清洁机器人在一面板阵列上行进，并实时采集至少一张实时图片；
录入清洁机器人的实时图片至所述前景分割模型，获取该实时图像中的面板阵列范围；
录入清洁机器人的实时图片至所述边界识别模型，获取该实时图像中每一光伏面板的边界线；
对比清洁机器人所在光伏面板的边界线与面板阵列范围，获取所述清洁机器人所处的光伏面板在该面板阵列中的位置；
根据所述边界线在该实时图像的位置，获取所述清洁机器人在该光伏面板上的位置；以及
获取所述清洁机器人在所述面板阵列中的位置。
2.如权利要求1所述的清洁机器人的定位方法，其特征在于，
在一清洁机器人上设置至少一摄像头的步骤中，
在所述清洁机器人的前端、后端、左侧、右侧分别设置至少一摄像头，所述摄像头的镜头中轴线与水平面保持20-90度的夹角。
3.如权利要求1所述的清洁机器人的定位方法，其特征在于，
在一清洁机器人上设置至少一摄像头的步骤中，
在一清洁机器人的最高点处设置一可水平转动的摄像头，所述摄像头的镜头中轴线与水平面保持20-90度的夹角。
4.如权利要求1所述的清洁机器人的定位方法，其特征在于，
构建前景分割模型的步骤，具体包括如下步骤：
在每一样本图片中标注出有效区，作为该样本图片的第一特征，所述有效区内为面板阵列；以及
将多个被标注第一特征的样本图片作为训练样本录入至一卷积神经网络模型进行训练，得到一前景分割模型，用于去除样本图片中的背景部分，仅保留前景部分。
5.如权利要求1所述的清洁机器人的定位方法，其特征在于，
构建边界识别模型的步骤，具体包括如下步骤：
获取多张样本图片，所述样本图片为所述清洁机器人在清扫面板阵列时拍摄的图像，所述面板阵列由多块排列成阵列的光伏面板组成；
在每一样本图片中标注出每一光伏面板的边界线，作为该样本图片的第二特征；以及
将多个被标注第二特征的样本图片作为训练样本录入至另一卷积神经网络模型进行训练，得到一边界识别模型；用于识别边界。
6.如权利要求1所述的清洁机器人的定位方法，其特征在于，
获取所述清洁机器人所处的光伏面板在所述面板阵列中的位置，具体包括如下步骤：
获取所述清洁机器人的摄像头视野中彼此平行的光伏面板边界线的数量；
计算所述清洁机器人所处的光伏面板周围四个方向上的面板数量。
7.如权利要求1所述的清洁机器人的定位方法，其特征在于，
获取所述清洁机器人在该光伏面板上的位置，具体包括如下步骤：
获取所述清洁机器人的摄像头视野中第一条边界线；
计算所述清洁机器人的摄像头视野中第一条边界线与所述摄像头的距离；
计算所述摄像头与其所在面板的四条边缘处的距离。
8.如权利要求1所述的清洁机器人的定位方法，其特征在于，
在获取该实时图像中每一光伏面板的边界线的步骤之后，还包括如下步骤：
根据实时图像中清洁机器人所在光伏面板的边界线与其他光伏面板边界线的夹角计算清洁机器人的偏航角；
根据所述偏航角计算清洁机器人的行进方向与其所在光伏面板的四条边缘处的夹角。
9.如权利要求1所述的清洁机器人的定位方法，其特征在于，
所述清洁机器人在一面板阵列上行进，并实时采集至少一张实时图片的步骤之后，还包括
对图片做降噪处理的步骤；以及
筛除畸变图片的步骤。
10.一种存储介质，其特征在于，所述存储介质中存储有多条指令，
处理器读取所述指令以执行权利要求1至9任一项所述的清洁机器人的定位方法中至少一步骤。
CN202011252054.9A 2020-11-11 2020-11-11 清洁机器人的定位方法及存储介质 Pending CN112381852A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011252054.9A CN112381852A (zh) 2020-11-11 2020-11-11 清洁机器人的定位方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011252054.9A CN112381852A (zh) 2020-11-11 2020-11-11 清洁机器人的定位方法及存储介质

Publications (1)

Publication Number Publication Date
CN112381852A true CN112381852A (zh) 2021-02-19

Family

ID=74582027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011252054.9A Pending CN112381852A (zh) 2020-11-11 2020-11-11 清洁机器人的定位方法及存储介质

Country Status (1)

Country Link
CN (1) CN112381852A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023208084A1 (zh) * 2022-04-30 2023-11-02 苏州瑞得恩光能科技有限公司 一种机器人及其启动模式判定方法、数据处理设备
CN117522961A (zh) * 2023-11-07 2024-02-06 湖州丽天智能科技有限公司 一种基于光伏机器人的光伏阵列中断识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097355A (zh) * 2016-06-14 2016-11-09 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN106774346A (zh) * 2017-02-10 2017-05-31 苏州瑞得恩光能科技有限公司 用于太阳能面板清扫机器人的定位装置及其定位方法
US20170277966A1 (en) * 2016-03-28 2017-09-28 General Dynamics Mission Systems, Inc. System and methods for automatic solar panel recognition and defect detection using infrared imaging
CN107553497A (zh) * 2017-10-20 2018-01-09 苏州瑞得恩光能科技有限公司 太阳能面板清扫机器人的边缘定位装置及其定位方法
CN110297483A (zh) * 2018-03-21 2019-10-01 广州极飞科技有限公司 待作业区域边界获取方法、装置，作业航线规划方法
CN111687857A (zh) * 2020-06-20 2020-09-22 深圳怪虫机器人有限公司 一种可识别光伏阵列放置方式的光伏清洁机器人
CN111687859A (zh) * 2020-06-20 2020-09-22 深圳怪虫机器人有限公司 一种光伏清洁机器人获取最优作业路径的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170277966A1 (en) * 2016-03-28 2017-09-28 General Dynamics Mission Systems, Inc. System and methods for automatic solar panel recognition and defect detection using infrared imaging
CN106097355A (zh) * 2016-06-14 2016-11-09 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN106774346A (zh) * 2017-02-10 2017-05-31 苏州瑞得恩光能科技有限公司 用于太阳能面板清扫机器人的定位装置及其定位方法
CN107553497A (zh) * 2017-10-20 2018-01-09 苏州瑞得恩光能科技有限公司 太阳能面板清扫机器人的边缘定位装置及其定位方法
CN110297483A (zh) * 2018-03-21 2019-10-01 广州极飞科技有限公司 待作业区域边界获取方法、装置，作业航线规划方法
CN111687857A (zh) * 2020-06-20 2020-09-22 深圳怪虫机器人有限公司 一种可识别光伏阵列放置方式的光伏清洁机器人
CN111687859A (zh) * 2020-06-20 2020-09-22 深圳怪虫机器人有限公司 一种光伏清洁机器人获取最优作业路径的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
牛永超: "光伏清洗机器人实时环境构建与路径规划技术的研究", 能源与节能, 31 October 2020 (2020-10-31), pages 58 - 62 *
陈耀丹;王连明;: "基于卷积神经网络的人脸识别方法", 东北师大学报(自然科学版), no. 02, 20 June 2016 (2016-06-20) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023208084A1 (zh) * 2022-04-30 2023-11-02 苏州瑞得恩光能科技有限公司 一种机器人及其启动模式判定方法、数据处理设备
CN117522961A (zh) * 2023-11-07 2024-02-06 湖州丽天智能科技有限公司 一种基于光伏机器人的光伏阵列中断识别方法

Similar Documents

Publication Publication Date Title
CN107253485B (zh) 异物侵入检测方法及异物侵入检测装置
CN111968129A (zh) 具有语义感知的即时定位与地图构建***及方法
CN111899172A (zh) 一种面向遥感应用场景的车辆目标检测方法
CN112381852A (zh) 清洁机器人的定位方法及存储介质
CN112365414B (zh) 一种基于双路残差卷积神经网络的图像去雾方法
CN101621634A (zh) 动态前景分离的大幅面视频拼接方法
CN113159466B (zh) 一种短时光伏发电功率预测***及方法
CN114973032B (zh) 一种基于深度卷积神经网络的光伏板热斑检测方法及装置
WO2020207172A1 (zh) 基于三维光场技术的光学无人机监测方法及***
CN115908354A (zh) 一种基于双尺度策略和改进的yolov5网络的光伏面板缺陷检测方法
CN115937517A (zh) 一种基于多光谱融合的光伏故障自动检测方法
CN114283137A (zh) 基于多尺度特征图推理网络的光伏组件热斑缺陷检测方法
CN114140672A (zh) 一种应用于雨雪天气场景下多传感器数据融合的目标检测网络***及方法
CN115171148A (zh) 一种基于特定模态特征补偿的跨模态行人重识别方法
Hanafy et al. Machine learning approach for photovoltaic panels cleanliness detection
CN115619623A (zh) 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法
CN117876308A (zh) 基于图像分析的光伏板检测方法
Furukawa et al. Self-supervised simultaneous alignment and change detection
KR20180100406A (ko) 자동 조명 및 보안 장치
Porav et al. Rainy screens: Collecting rainy datasets, indoors
CN112686247A (zh) 一种身份证号码检测方法、装置、可读存储介质和终端
Hao et al. Occupant detection through near-infrared imaging
KR102491684B1 (ko) 선실드가 형성된 감시카메라 장치 및 이의 제어방법
Iwaszczuk et al. Detection of windows in IR building textures using masked correlation
CN113870129B (zh) 基于空间感知与时间差异学习的视频去雨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination