CN115100497A - 基于机器人的通道异常物体巡检方法、装置、设备及介质 - Google Patents
基于机器人的通道异常物体巡检方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115100497A CN115100497A CN202210586850.9A CN202210586850A CN115100497A CN 115100497 A CN115100497 A CN 115100497A CN 202210586850 A CN202210586850 A CN 202210586850A CN 115100497 A CN115100497 A CN 115100497A
- Authority
- CN
- China
- Prior art keywords
- picture
- image
- inspection
- robot
- inspection point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 109
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000013136 deep learning model Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000007417 hierarchical cluster analysis Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000037361 pathway Effects 0.000 claims 2
- 230000005856 abnormality Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 101100026202 Neosartorya fumigata (strain ATCC MYA-4609 / Af293 / CBS 101355 / FGSC A1100) neg1 gene Proteins 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000035508 accumulation Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于机器人的通道异常物体巡检方法，通过获取机器人在巡检时拍摄的巡检点图片，其中一个巡检点对应多张巡检点图片，并且通过图像处理将多张图片进行对齐，然后通过预先训练好的深度学习模型对对齐后的图像进行特征值提取，进而通过特征值判断是否存在异常的图像，从而得知在巡检的通道是否存在异常物体。本发明通过使用训练后的模型获取图像的特征信息判断特征差异的技术方案，相比传统的图像帧差的方式，克服对环境的依赖性，整理方案鲁棒性更强，检测异常物体范围不受限。
Description
技术领域
本发明属于机器人巡检领域，具体涉及一种基于机器人的通道异常物体巡检方法、装置及介质。
背景技术
随着科技的发展，人工智能逐渐出现在人们的视线，其中巡检机器人便是人工智能重要的环节，利用机器人针对不同场景巡检异常堆积物从而代替传统的人工巡检，具有广泛应用价值。例如在消防通道处，不应该出现有诸如纸箱，垃圾等比较大型的杂物阻塞通道，又如在某些特定的街道或者路口我们不能存在垃圾或者纸箱等杂物堆积而影响市容。
机器人在巡检上述不同场景的异常堆积物时，现有技术中常见的方法有：
1)、利用深度学习异常物体作为目标并检测，在学习过程中，须先学习固定类别的异常物体物作为检测目标，例如预先设定只检测通道堆积的异物是纸盒和垃圾袋。该现有方案存在的缺陷是，对待检测的异常目标物体种类有类别限制，而现实中异物的种类是很庞大的甚至难以枚举，这也就导致了这种方案只能解决特定场景的特定需求，具有比较强的异常物体检测局限性。
2)、使用图像差分的方式检测非特定的异常物体，该方案主要通过使用异常场景出现的图片和正常场景的图片做差分，然后通过边缘检测或者图像滤波等经典的图像处理的方法进行异物的检测判定。该方案对图像的位置和环境光照或者场景变化十分敏感，并且要求摄像头是固定的，对硬件设备的依赖也比较严重。即环境光照或者场景背景稍有轻微的变化这种方法就会产生大量的错误判断，对环境变化的鲁棒性比较差。
因此现有技术中至少存在的技术问题有：
(—)、先学习固定类别的异常物体物作为检测目标的深度学习检测方法，对异常物体的种类数量依赖比较大，难以覆盖现实场景，检测异物范围有比较大的局限性；
(二)、利用图像差分的方式检测非特定的异常物体，对硬件设备和环境的情况的依赖比较大，鲁棒性不高。
发明内容
本发明提出一种基于机器人的通道异常物体巡检方法，以解决现有技术中存在的受环境影响大、鲁棒性差、检测异常物体范围受限的问题。
本发明通过以下技术方案实现：
一种基于机器人的通道异常物体巡检方法，包括以下步骤：
S1、获取机器人在巡检时拍摄的巡检点图片，其中一个巡检点对应多张巡检点图片；
S2、对同一巡检点的所述多张巡检点图片进行图像对齐处理，获取对齐后的多张图像；
S3、根据预先训练好的深度学习模型对所述多张图像进行特征值提取，得到图像特征值；
S4、根据所述图像特征值判断是否存在异常物体。
优选地，所述巡检时拍摄的巡检点图片包括：
按照预设的巡检路线循环多个巡检点拍摄图片，得到同一巡检点的多张巡检点图片。
进一步地，所述巡检点包括固定拍摄点和固定拍摄参数。
优选地，所述对同一巡检点的所述多张巡检点图片进行图像对齐处理包括：
针对同一巡检点的所述多张巡检点图片，预设一张图片为图像对齐的基准图像，待对齐校准的图像为目标图像；
获取基准图像和目标图像上的特征点，对所述特征点进行匹配；
根据所述特征点匹配结果，将所述目标图像映射到所述基准图像。
优选地，所述预设一张图片为图像对齐的基准图像包括：
预先选定一张图片或者将机器人在巡检点拍摄的第一张图片作为图像对齐的基准图像。
优选地，所述所述深度学习模型的训练过程包括：
获取训练样本集，所述训练样本集中包括若干张原始图片；
将每张原始图片进行处理并生成三种类型的图片，包括第一种图片，第二种图片，第三种图片，所述第一种图片为原始图片，所述第二种图片为在第一种图片上进行图像变换得到的图片，所述第三种图片为在第一种图片上随机粘贴图像内容得到的图片；
根据预设的规则，将所述第一图片、第二图片、第三图片生成对应的标签，所述预设的规则为：所述第二图片和所述第一图片的标签设置相同，所述第三图片和所述第一图片的标签设置不相同；
采用所述第一图片、第二图片、第三图片对所述标签分类器Circle Loss进行训练，获得所述深度学习网络模型。
优选地，所述步骤S4中，根据所述图像特征值判断是否存在异常物体包括：
对所述图像特征值进行层次聚类分析，得到若干个簇；采用聚类后纵坐标最大值和最小值的平均值作为阈值对所述簇进行分离得到异常特征，所述异常特征为比阈值大的图像特征值，则包含所述异常特征的图像中存在异常物体。
一种基于机器人的通道异常物体巡检装置，包括：
获取模块，获取机器人在巡检时拍摄的巡检点图片，其中一个巡检点对应多张巡检点图片；
对齐模块，对同一巡检点的所述多张巡检点图片进行图像对齐处理，获取对齐后的多张图像；
特征值提取模块，根据预先训练好的深度学习模型对所述多张图像进行特征值提取，得到图像特征值；
异常物体判断模块，根据所述图像特征值判断是否存在异常物体。
本发明还包括一种非易失性存储介质，其包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现上述的测量方法。
一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述的基于机器人的通道异常物体巡检方法。
与现有技术相比，本发明至少具有下述的有益效果或优点：
本发明通过使用训练后的模型获取图像的特征信息判断特征差异的技术方案，相比传统的图像帧差的方式，克服对环境的依赖性，整理方案鲁棒性更强，检测异常物体范围不受限。
附图说明
以下将结合附图对本发明做进一步详细说明；
图1为本发明基于机器人的通道异常物体巡检的方法流程图；
图2为本发明基于机器人的通道异常物体巡检的图像特征点匹配和对齐的示意图；
图3本发明基于机器人的通道异常物体巡检的层次聚类分析结果示意图；
图4为本发明基于机器人的通道异常物体巡检的装置示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种基于机器人的通道异常物体巡检方法，包括以下步骤：
S1、获取机器人在巡检时拍摄的巡检点图片，其中一个巡检点对应多张巡检点图片；
S2、对同一巡检点的所述多张巡检点图片进行图像对齐处理，获取对齐后的多张图像；
S3、根据预先训练好的深度学习模型对所述多张图像进行特征值提取，得到图像特征值；
S4、根据所述图像特征值判断是否存在异常物体。
根据一个具体的机器人巡检场景，本发明是基于巡检机器人的，其中摄像头置于机器人头部，通过在固定的巡检点以固定的拍摄参数拍摄多张图片，并且通过图像处理将多张图片进行对齐，然后通过预先训练好的深度学习模型对对齐后的图像进行特征值提取，进而通过特征值判断是否存在异常的图像，从而得知在巡检的通道是否存在异常物体。本发明通过使用训练后的模型获取图像的特征信息判断特征差异的技术方案，相比传统的图像帧差的方式，克服对环境的依赖性，整理方案鲁棒性更强，检测异常物体范围不受限。
进一步地，本发明实施例采用机器人进行巡检，无需学习固定类别的异常物体物作为检测目标，可覆盖全场景，不受异常物体检测范围影响。
根据一个优选地实施例，在步骤S1中，按照预设的巡检路线循环多个巡检点拍摄图片，得到同一巡检点的多张巡检点图片。具体地，可以根据巡检的通道场景预先布局定制好巡检路线，并且预先设定好固定的拍摄点和对应固定拍摄参数，所述拍摄参数不限于拍摄时的角度，曝光度和焦距。每次机器人巡检检查都会在固定的巡检点以固定的角度拍摄一张图片，拍摄完毕后机器人就会根据指令运行至下一个固定巡检点位进行拍摄。拍摄完全部巡检点位后，机器人会根据导航闭环从头开始，从第一个固定巡检点位重复第一次的巡检路线和图像拍摄。随着机器人不停的按照规定重复路线多次巡检运行后，在同一个巡检点位获得多张按照时间先后顺序拍摄的多张巡检点图片。本实施例中，通过机器人巡检获取同一巡检点不同时间点的多张图片的方式，相比现有技术中摄像头是固定在巡检点位拍摄的方案，减少摄像头数量的布局，不但降低了摄像头的成本，还使得检测的覆盖范围得到极大的提高。
根据一个具体的实施例，机器人巡检导航过程中可能会出现一定的误差，这也导致同一巡检点位拍摄出来的图片可能会有一些细微的位置或者角度偏差。为了减少这种偏差对后续判断异常物体的影响，针对同一巡检点的所述多张巡检点图片，采取图像对齐的方式校准所述多张巡检点图片的偏差。在图像校准对齐时，需预先选取一张图片作为图像对齐的基准图像，其他待对齐校准的图像为目标图像。优选的，可以人工预先选定一张图片或者将机器人在巡检点拍摄的第一张图片作为图像对齐的基准图像。如图2所示，在实施步骤S2的图像校准对齐时，预设一张图片为图像对齐的基准图像，待对齐校准的图像为目标图像，获取基准图像和目标图像上的特征点，对所述特征点进行匹配，根据所述特征点匹配结果，将所述目标图像映射到所述基准图像。
根据上述技术方案，本发明基于特征的图像对齐方法，分别在基准图像和目标图像上计算出一组特征点，使用一定的匹配原则对特征点进行匹配，然后根据匹配结果计算出一个图像的单映仿射变换矩阵，然后通过矩阵乘法的操作将原始图像的每个点通过仿射变换映射到新的图像上，而形成的新图像即为最终对齐后的图像，从而将一个目标图像映射到基准图像上实现图像对齐。优选的，特征点的获取使用比较传统的SIFT尺度不变特征变换算法，特征点匹配算法使用的是KNN最邻近匹配算法。本发明实施例的技术方案，校正了机器人巡检导航过程中拍摄多张图片时带来的位置和角度偏差，减少了判断异常物体时的误差。
根据一个具体的实施例，在步骤S3中，所述深度学习模型的训练过程包括：
获取训练样本集，所述训练样本集中包括若干张原始图片；
将每张原始图片进行处理并生成三种类型的图片，包括第一种图片，第二种图片，第三种图片，所述第一种图片为原始图片，所述第二种图片为在第一种图片上进行图像变换得到的图片，所述第三种图片为在第一种图片上随机粘贴图像内容得到的图片；
根据预设的规则，将所述第一图片、第二图片、第三图片生成对应的标签，所述预设的规则为：所述第二图片和所述第一图片的标签设置相同，所述第三图片和所述第一图片的标签设置不相同；
采用所述第一图片、第二图片、第三图片对所述标签分类器Circle Loss进行训练，获得所述深度学习网络模型。
该实施例中，优选地，包括以下具体实施方式：
数据准备阶段
本发明使用Imagenet这种开源的网络数据集，在训练时对每张训练的图片会生成三种类型的图片：第一种是不对图像做任何操作的原始图片，记为img_src；第二种是在img_src基础上做一些平移，缩放，旋转等图像变换使其与img_src产生一定偏差的图片，记为img_pos；第三种是使用一些其他图片进行一定比例的缩放随机黏贴在img_src上的图片，记为img_neg。
标签label的生成阶段：
本发明实施例在训练的时候，会根据图片的类型自动生成对应的label,生成的规则是将img_src和img_pos的label设置为一样的，将img_src和img_neg的label设置为不同的。例如选取了一张原始图片img_src1，将其Label设置为1，然后利用上述地规则将img_src1生成了对应的img_pos1和img_neg1两张图片，将img_pos1的label设置为1，将img_neg1的Label设置为非1的数字即可。
度量学习模型训练阶段：
本发明在模型训练的损失函数上使用的是近年来精确度比较高的海量Label的分类器损失CircleLoss，这个Loss主要是用在人脸识别等通用细粒度搜索任务上的。本发明中的异常物体在某些情况下可能会出现较小粒度的情况，所以用这种方法会比较合适，以下为Cricle Loss的原始公式：
根据上述实施例，本发明采用非监督式对比学习地训练方式获得深度神经网络模型，并且利用深度学习网络模型获取图像特征差异，以替代现有技术中的图像帧差，来判断是否存在异常物体。本发明相对特定异常目标检测方案能够完全不依赖异常目标的种类，从而能适应更多的异常物体检测，且对环境的依赖性低，相比计算图像帧差方案鲁棒性更强。
根据一个具体的实施例，所述步骤S4中，根据所述图像特征值判断是否存在异常物体包括：
对所述图像特征值进行层次聚类分析，得到若干个簇；采用聚类后纵坐标最大值和最小值的平均值作为阈值对所述簇进行分离得到异常特征，所述异常特征为比阈值大的图像特征值，则包含所述异常特征的图像中存在异常物体。
具体地，在同一个巡检点获得多张图片的一系列特征之后，采取层次聚类分析的方法找出对应的离群特征。在现有技术中，层次聚类分析主要指一层一层地进行聚类，可以从下而上地把小的簇合并聚集，也可以从上而下地将大的cluster进行分割。如图3所示，本发明使用的是从下至上的聚类方式：具体来说每次找到距离最短的两个cluster，然后进行合并成一个大的cluster，直到全部合并为一个cluster，整个过程相当于建立一个树结构，结果如图3所示。在本实施例中，由于本发明使用的是带边缘差异的度量学***均的阈值就可以区分出异常的特征值了，则包含异常特征值的图像即是存在异常物体的图像。这里的阈值指的是层次聚类后纵坐标得到的各个簇之间的分数阈值。举个例子，如图3所示，如果我们选择25作为阈值，那么就可以将数据总体分成两类，其中图3中用虚线框住加起来为一类，剩下的未用虚线框住的线段为一类，这样我们就可以很清楚的知道13，14这两个样本是异类。优选的，本发明的阈值选择纵坐标最大值和最小值的平均值即可，比该阈值大的为异常样本，小的为正常样本。由于我们使用的带Margin的MetricLearning，其可类别之间的可分离度会比较高，所以设置一个平均值即可以很好的分离出异类样本。
根据本发明一个具体的实施例，如图4所示，还提供一种基于机器人通道异常物体巡检装置，包括：
获取模块，用于获取机器人在巡检时拍摄的巡检点图片，其中一个巡检点对应多张巡检点图片；
对齐模块，用于对同一巡检点的所述多张巡检点图片进行图像对齐处理，获取对齐后的多张图像；
特征值提取模块，用于根据预先训练好的深度学习模型对所述多张图像进行特征值提取，得到图像特征值；
异常物体判断模块，用于根据所述图像特征值判断是否存在异常物体。具体的，上述基于机器人通道异常物体巡检的装置与通道异常物体巡检的方法的过程一一对应，在此不再详细赘述。
本发明还提供了一种非易失性存储介质，其包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现上述巡检方法。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。
Claims (10)
1.一种基于机器人的通道异常物体巡检方法，其特征在于，包括以下步骤：
S1、获取机器人在巡检时拍摄的巡检点图片，其中一个巡检点对应多张巡检点图片；
S2、对同一巡检点的所述多张巡检点图片进行图像对齐处理，获取对齐后的多张图像；
S3、根据预先训练好的深度学习模型对所述多张图像进行特征值提取，得到图像特征值；
S4、根据所述图像特征值判断是否存在异常物体。
2.根据权利要求1所述的基于机器人的通道异常物体巡检方法，其特征在于，所述巡检时拍摄的巡检点图片包括：
按照预设的巡检路线循环多个巡检点拍摄图片，得到同一巡检点的多张巡检点图片。
3.根据权利要求1所述的基于机器人的异常物体巡检方法，其特征在于，所述巡检点包括固定拍摄点和固定拍摄参数。
4.根据权利要求1所述的基于机器人的通道异常物体巡检方法，其特征在于，所述对同一巡检点的所述多张巡检点图片进行图像对齐处理包括：
针对同一巡检点的所述多张巡检点图片，预设一张图片为图像对齐的基准图像，待对齐校准的图像为目标图像；
获取基准图像和目标图像上的特征点，对所述特征点进行匹配；
根据所述特征点匹配结果，将所述目标图像映射到所述基准图像。
5.根据权利要求4所述的基于机器人的通道异常物体巡检方法，其特征在于，所述预设一张图片为图像对齐的基准图像包括：
预先选定一张图片或者将机器人在巡检点拍摄的第一张图片作为图像对齐的基准图像。
6.根据权利要求1所述的基于机器人的通道异常物体巡检方法，其特征在于，所述深度学习模型的训练过程包括：
获取训练样本集，所述训练样本集中包括若干张原始图片；
将每张原始图片进行处理并生成三种类型的图片，包括第一种图片，第二种图片，第三种图片，所述第一种图片为原始图片，所述第二种图片为在第一种图片上进行图像变换得到的图片，所述第三种图片为在第一种图片上随机粘贴图像内容得到的图片；
根据预设的规则，将所述第一图片、第二图片、第三图片生成对应的标签，所述预设的规则为：所述第二图片和所述第一图片的标签设置相同，所述第三图片和所述第一图片的标签设置不相同；
采用所述第一图片、第二图片、第三图片对所述标签分类器Circle Loss进行训练，获得所述深度学习网络模型。
7.根据权利要求1所述的基于机器人的通道异常物体巡检方法，其特征在于，所述步骤S4中，根据所述图像特征值判断是否存在异常物体包括：
对所述图像特征值进行层次聚类分析，得到若干个簇；采用聚类后纵坐标最大值和最小值的平均值作为阈值对所述簇进行分离得到异常特征，所述异常特征为比阈值大的图像特征值，则包含所述异常特征的图像中存在异常物体。
8.一种基于机器人的通道异常物体巡检装置，其特征在于，包括：
获取模块，获取机器人在巡检时拍摄的巡检点图片，其中一个巡检点对应多张巡检点图片；
对齐模块，对同一巡检点的所述多张巡检点图片进行图像对齐处理，获取对齐后的多张图像；
特征值提取模块，根据预先训练好的深度学习模型对所述多张图像进行特征值提取，得到图像特征值；
异常物体判断模块，根据所述图像特征值判断是否存在异常物体。
9.一种非易失性存储介质，其特征在于，包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现上述权利要求1-8任一项所述的基于机器人的通道异常物体巡检方法。
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于机器人的通道异常物体巡检方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210586850.9A CN115100497A (zh) | 2022-05-27 | 2022-05-27 | 基于机器人的通道异常物体巡检方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210586850.9A CN115100497A (zh) | 2022-05-27 | 2022-05-27 | 基于机器人的通道异常物体巡检方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115100497A true CN115100497A (zh) | 2022-09-23 |
Family
ID=83288875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210586850.9A Pending CN115100497A (zh) | 2022-05-27 | 2022-05-27 | 基于机器人的通道异常物体巡检方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115100497A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115376073A (zh) * | 2022-10-24 | 2022-11-22 | 广东科凯达智能机器人有限公司 | 一种基于特征点的异物检测方法和*** |
| CN115937601A (zh) * | 2022-12-27 | 2023-04-07 | 四川数聚智造科技有限公司 | 一种基于正常样本建模的变电站异常检测方法 |
-
2022
- 2022-05-27 CN CN202210586850.9A patent/CN115100497A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115376073A (zh) * | 2022-10-24 | 2022-11-22 | 广东科凯达智能机器人有限公司 | 一种基于特征点的异物检测方法和*** |
| CN115937601A (zh) * | 2022-12-27 | 2023-04-07 | 四川数聚智造科技有限公司 | 一种基于正常样本建模的变电站异常检测方法 |
| CN115937601B (zh) * | 2022-12-27 | 2023-08-08 | 四川数聚智造科技有限公司 | 一种基于正常样本建模的变电站异常检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tabernik et al. | Deep learning for large-scale traffic-sign detection and recognition | |
| CN112380952B (zh) | 基于人工智能的电力设备红外图像实时检测及识别方法 | |
| CN107133569B (zh) | 基于泛化多标记学习的监控视频多粒度标注方法 | |
| CN111310862B (zh) | 复杂环境下基于图像增强的深度神经网络车牌定位方法 | |
| CN109255317B (zh) | 一种基于双网络的航拍图像差异检测方法 | |
| Mathur et al. | Crosspooled FishNet: transfer learning based fish species classification model | |
| CN110929593B (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN111860160B (zh) | 一种室内检测口罩佩戴的方法 | |
| CN111680632A (zh) | 基于深度学习卷积神经网络的烟火检测方法及*** | |
| CN115100497A (zh) | 基于机器人的通道异常物体巡检方法、装置、设备及介质 | |
| JP2006209755A (ja) | シーンから取得されたフレームシーケンス中の移動オブジェクトを追跡する方法 | |
| CN111768388A (zh) | 一种基于正样本参考的产品表面缺陷检测方法及*** | |
| CN111368690A (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及*** | |
| Li et al. | A review of deep learning methods for pixel-level crack detection | |
| CN111259808A (zh) | 一种基于改进ssd算法的交通标识的检测识别方法 | |
| CN116385958A (zh) | 一种用于电网巡检和监控的边缘智能检测方法 | |
| TWI696958B (zh) | 影像適應性特徵提取法及其應用 | |
| CN111444816A (zh) | 一种基于Faster RCNN的多尺度密集行人检测方法 | |
| CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
| CN111476314B (zh) | 一种融合光流算法与深度学习的模糊视频检测方法 | |
| CN117115412A (zh) | 一种基于加权得分标签分配的小目标检测方法 | |
| CN112418262A (zh) | 车辆再识别的方法、客户端及*** | |
| Liu et al. | Container-code recognition system based on computer vision and deep neural networks | |
| Alsaadi et al. | An automated mammals detection based on SSD-mobile net | |
| Shishkin et al. | Implementation of yolov5 for detection and classification of microplastics and microorganisms in marine environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |