CN116912805B - 一种基于无人清扫车的井盖异常智能检测识别方法及*** - Google Patents

一种基于无人清扫车的井盖异常智能检测识别方法及*** Download PDF

Info

Publication number
CN116912805B
CN116912805B CN202311146377.3A CN202311146377A CN116912805B CN 116912805 B CN116912805 B CN 116912805B CN 202311146377 A CN202311146377 A CN 202311146377A CN 116912805 B CN116912805 B CN 116912805B
Authority
CN
China
Prior art keywords
well lid
depth
image
color image
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311146377.3A
Other languages
English (en)
Other versions
CN116912805A (zh
Inventor
乔文静
董利亚
杨克显
宫玮玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Boang Information Technology Co ltd
Original Assignee
Shandong Boang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Boang Information Technology Co ltd filed Critical Shandong Boang Information Technology Co ltd
Priority to CN202311146377.3A priority Critical patent/CN116912805B/zh
Publication of CN116912805A publication Critical patent/CN116912805A/zh
Application granted granted Critical
Publication of CN116912805B publication Critical patent/CN116912805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，尤其是涉及一种基于无人清扫车的井盖异常智能检测识别方法及***，方法包括获取无人清扫车的视频流；对获取的视频流进行预处理，得到RGB通道的彩色图像和DEPTH通道的深度图像；利用目标检测模型检测彩色图像，并融合深度图像的深度信息，得到井盖的位置；通过深度学习模型识别彩色图像，得到井盖状态；本发明的方法和***在井盖异常检测领域具有广阔的应用前景，可以提高工作效率、降低安全风险，并为城市管理和维护提供重要技术支持。

Description

一种基于无人清扫车的井盖异常智能检测识别方法及***
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种基于无人清扫车的井盖异常智能检测识别方法及***。
背景技术
井盖广泛分布在现代城市中的各个角落，例如常见的自来水井盖和下水道井盖等，是城市环境中必不可少的组成构件，为了保证行人、车辆安全，需要对井盖进行定期巡检，并及时对缺失、损坏的井盖进行更换或者修复。现有的路面井盖异常情况检查主要是通过人工在城市管理作业车上进行视觉判断，不仅效率低下，而且相当耗费时间和人力。智能井盖，虽然可以对自身的情况进行识别和上报，但成本较高，且极易由于环境因素或人为因素导致智能井盖中的电子元件失灵，报废率较高。由此可见，现有技术中的诸多监测手段都存在一定的缺陷，难以满足准确巡检井盖的应用要求。
传统的道路井盖识别主要是用传感器检测和数字图像处理的方法，前者基于传感器采集井盖图片信息，然后再对采集到的信息进一步分析，最终结合一定算法来实现井盖的检测与识别；后者基于图像分割，边缘检测等原理对不同类型的井盖进行检测、识别和分割。由于井盖的种类繁多，特征不易提取等原因，传统的道路井盖识别方法正确率较低，出现误判的几率较大，投入实际使用的效果并不理想，所以传统的检测方法不是最好的选择。
发明内容
为了解决上述提到的问题，本发明提供一种基于无人清扫车的井盖异常智能检测识别方法及***。
第一方面，本发明提供的一种基于无人清扫车的井盖异常智能检测识别方法，采用如下的技术方案：
一种基于无人清扫车的井盖异常智能检测识别方法，包括：
获取无人清扫车的视频流；
对获取的视频流进行预处理，得到RGB通道的彩色图像和DEPTH通道的深度图像；
利用目标检测模型检测彩色图像，并融合深度图像的深度信息，得到井盖的位置；
通过深度学习模型识别彩色图像，得到井盖状态；
若识别为非正常状态，将深度图像转化为点云图像，根据点云图像判断井盖变形深度或变形高度；
识别井盖破损点，根据井盖破损点计算井盖破损面积；
根据深度图像的数值，判断井盖的倾斜程度。
进一步地，所述对获取的视频流进行预处理，包括基于深度摄像头的深度传感器、红外通滤光片、RGB 传感器和红外投影仪的结合，得到RGB通道的彩色图像和DEPTH通道的深度图像。
进一步地，所述利用目标检测模型检测彩色图像，并融合深度图像的深度信息，得到井盖的位置，包括利用目标检测模型对彩色图像进行检测，得到井盖的候选框或掩码，根据深度图像中ROI的深度信息，筛选出与彩色图像中井盖候选框或掩码相对应的深度值，通过深度值和彩色图像坐标相融合，得到井盖的位置坐标。
进一步地，所述将深度图像转化为点云图像，根据点云图像判断井盖变形深度或变形高度，包括将深度图像点阵化得到井盖图像点云，根据井盖图像点云中纵坐标变化判断变形深度或变形高度。
进一步地，所述识别井盖破损点，根据井盖破损点计算井盖破损面积，包括利用边缘检测、斑点检测和纹理分析提取彩色图像中井盖破损点，并提取破损点的特征。
进一步地，所述识别井盖破损点，根据井盖破损点计算井盖破损面积，还包括根据破损点的特征确定破损点在图像中的位置，并计算其二维表面积，通过将所有破损点的二维表面积相加，得到井盖破损的总面积。
进一步地，所述根据深度图像的数值，判断井盖的倾斜程度，包括利用深度图像中的几何信息，通过计算井盖区域的表面法线或拟合平面，估计井盖的倾斜角度，通过井盖的倾斜角度判断井盖的倾斜程度。
第二方面，一种基于无人清扫车的井盖异常智能检测识别***，包括：
数据获取模块，被配置为，获取无人清扫车的视频流；对获取的视频流进行预处理，得到RGB通道的彩色图像和DEPTH通道的深度图像；
位置检测模块，被配置为，利用目标检测模型检测彩色图像，并融合深度图像的深度信息，得到井盖的位置；
状态检测模块，被配置为，通过深度学习模型识别彩色图像，得到井盖状态；
深度检测模块，被配置为，若识别为非正常状态，将深度图像转化为点云图像，根据点云图像判断井盖变形深度或变形高度；
破损检测模块，被配置为，识别井盖破损点，根据井盖破损点计算井盖破损面积；
倾斜检测模块，被配置为，根据深度图像的数值，判断井盖的倾斜程度。
第三方面，本发明提供一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于无人清扫车的井盖异常智能检测识别方法。
第四方面，本发明提供一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于无人清扫车的井盖异常智能检测识别方法。
综上所述，本发明具有如下的有益技术效果：
1、自动化检测：利用无人清扫车进行井盖异常检测，不需要人工巡查，提高了工作效率和安全性。
2、多重检测手段：采用了多种技术手段，包括目标检测模型、深度学习识别模型和点云图像处理等，可以全面、准确地检测井盖的位置、状态、变形深度、破损面积和倾斜程度等。
3、高效识别井盖状态：通过图像视觉处理与深度学习相结合的方法，可以快速准确地识别井盖状态，为维护和修复工作提供参考依据。
4、实时监测和预警：无人清扫车可以实时采集数据并进行处理，及时发现井盖异常情况，并通过***提供的预警功能，及时通知相关人员进行处理。
综上所述，本发明的方法和***在井盖异常检测领域具有广阔的应用前景，可以提高工作效率、降低安全风险，并为城市管理和维护提供重要技术支持。
附图说明
图1是本发明实施例1的一种基于无人清扫车的井盖异常智能检测识别方法的示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
实施例1
参照图1，本实施例的一种基于无人清扫车的井盖异常智能检测识别方法，包括：
获取无人清扫车的视频流；
对获取的视频流进行预处理，得到RGB通道的彩色图像和DEPTH通道的深度图像；
利用目标检测模型检测彩色图像，并融合深度图像的深度信息，得到井盖的位置；
通过深度学习模型识别彩色图像，得到井盖状态；
若识别为非正常状态，将深度图像转化为点云图像，根据点云图像判断井盖变形深度或变形高度；
识别井盖破损点，根据井盖破损点计算井盖破损面积；
根据深度图像的数值，判断井盖的倾斜程度。
所述对获取的视频流进行预处理，包括基于深度摄像头的深度传感器、红外通滤光片、RGB 传感器和红外投影仪的结合，得到RGB通道的彩色图像和DEPTH通道的深度图像。
所述利用目标检测模型检测彩色图像，并融合深度图像的深度信息，得到井盖的位置，包括利用目标检测模型对彩色图像进行检测，得到井盖的候选框或掩码，根据深度图像中ROI的深度信息，筛选出与彩色图像中井盖候选框或掩码相对应的深度值，通过深度值和彩色图像坐标相融合，得到井盖的位置坐标。
所述将深度图像转化为点云图像，根据点云图像判断井盖变形深度或变形高度，包括将深度图像点阵化得到井盖图像点云，根据井盖图像点云中纵坐标变化判断变形深度或变形高度。
所述识别井盖破损点，根据井盖破损点计算井盖破损面积，包括利用边缘检测、斑点检测和纹理分析提取彩色图像中井盖破损点，并提取破损点的特征。
所述识别井盖破损点，根据井盖破损点计算井盖破损面积，还包括根据破损点的特征确定破损点在图像中的位置，并计算其二维表面积，通过将所有破损点的二维表面积相加，得到井盖破损的总面积。
所述根据深度图像的数值，判断井盖的倾斜程度，包括利用深度图像中的几何信息，通过计算井盖区域的表面法线或拟合平面，估计井盖的倾斜角度，通过井盖的倾斜角度判断井盖的倾斜程度。
具体的，包括以下步骤：
S1.获取无人清扫车的视频流；
其中，使用RGB-D相机拍摄包含井盖的图像，并同时获取彩色图像和对应的深度图像，采集到的数据集具有多种不同角度和光照条件下的井盖图像。
采用的摄像头，由一对深度传感器、红外通滤光片、RGB 传感器和红外投影仪组成。用它采集的视频可解码为一帧帧图像，包含深度图像和彩色图像。
S2.对获取的视频流进行预处理，得到RGB通道的彩色图像和DEPTH通道的深度图像；
其中，对收集的图像进行预处理。首先，根据相机内外参数将深度图像和彩色图像对齐。最后，对图像进行必要的归一化和增强等操作。
S3.利用目标检测模型检测彩色图像，并融合深度图像的深度信息，得到井盖的位置；
在彩色图像手动标注数据以指示井盖的位置。使用深度学习算法构建一个目标检测模型来检测井盖。将标注好的数据集划分为训练集和测试集。使用训练集对目标检测模型进行训练，并不断调整模型参数以提高性能。
使用训练好的模型对新的彩色图像进行检测。通过检测模型可以得到井盖的候选框或掩码。然后，根据深度图像中ROI的深度信息，筛选出与彩色图像中井盖候选框或掩码相对应的深度值。通过深度信息和彩色图像坐标的融合，可以确定井盖在三维空间中的具***置。
作为进一步地的实施方式，
深度信息和彩色图像坐标的融合一般通过深度图像和彩色图像的对齐来实现。以下是一个示例计算过程：
获取深度图像和彩色图像：得到深度图像 D(x, y) 和彩色图像 C(u, v)，其中(x, y) 表示深度图像上的像素坐标，(u, v) 表示彩色图像上的像素坐标。
转换深度图像坐标到彩色图像坐标：根据相机内参矩阵，将深度图像上的像素坐标 (x, y) 转换为彩色图像上的坐标 (u', v')。具体转换公式如下：
u' = fx * (x / depth) + cx
v' = fy * (y / depth) + cy
其中，fx 和 fy 分别是相机在水平和垂直方向的焦距，cx 和 cy 分别是光心的水平和垂直坐标。
插值获取对应的深度值：根据转换后的彩色图像坐标 (u', v')，使用插值方法获取对应的深度值 depth'。常用的插值方法包括双线性插值、最近邻插值等。
对齐深度图像和彩色图像：根据转换后的彩色图像坐标 (u', v')，将深度图像上的深度值 depth' 映射到彩色图像上，得到对齐后的深度图像 D'(u', v')。
这样，就完成了深度信息和彩色图像坐标的融合。
S4.通过深度学习模型识别彩色图像，得到井盖状态；
在获得的一系列井盖图像序列中，选择位置图像最佳图像，进行井盖状态识别，包括正常、井盖倾斜、井盖位移、井盖丢失、井盖破损、井盖变形。
其中，要进行井盖状态识别，使用计算机视觉和深度学习算法来识别井盖的状态。以下是一种常见的基于深度学习的井盖状态识别的步骤：
数据收集：收集包含不同井盖状态的彩色图像数据。这些状态可以包括正常、井盖倾斜、井盖位移、井盖丢失、井盖破损、井盖变形等。确保数据集具有多样性，包括不同角度、光照条件和亮度等变化。
数据预处理：对收集到的图像进行预处理。使用数据增强技术，如旋转、平移、翻转或添加噪声等，以增加数据集的丰富性。
标注数据：手动标注数据集，以指示每张图像中每个井盖的状态。
构建模型：选择适当的深度学习模型来进行井盖状态识别。
数据集划分和训练：将标注好的数据集划分为训练集和测试集。使用训练集对模型进行训练，并根据验证集的性能调整模型参数。
预测和应用：使用训练好的模型进行预测，输入新的井盖图像，通过模型输出确定井盖的状态。
S5.若识别为非正常状态，将深度图像转化为点云图像，根据点云图像判断井盖变形深度或变形高度；
其中，首先根据彩色图像获取的井盖位置进行深度图像的截取。这样可以减少误干扰的同时提高速率。
转换为点云：将截取后的深度图像转换为点云数据。根据深度值和像素坐标，可以计算出每个像素点对应的三维坐标。将这些三维坐标组成点云数据。
点云滤波：对于点云数据进行高斯滤波处理，去除离群点、噪声和无效部分，保留井盖的精确形状和细节。
数据可视化：用PointCloudLibrary（PCL）将点云数据可视化为井盖的三维模型，并对其进行交互操作和显示。
（1）使用拥有识别最佳角度的截取后的深度图像和相机内参参数。
（2）遍历截取后的深度图像中的所有像素点：
针对每个像素点，执行以下操作：
（1）计算该像素点与相机的距离；
（2）考虑相机的倾斜角度A，调整相机到该点的距离（将距离乘以 cos(A)）；
（3）若该点的深度值经过倾斜角度调整后大于最大深度差，则更新最大深度差的值；
（4）输出最大深度差：最大深度差即为遍历完所有像素点后得到的最大深度差值。
在上述步骤中，针对每个像素点，通过计算距离并考虑相机倾斜角度A，可以获取经过倾斜角度调整后的深度值。然后与最大深度差进行比较，若大于最大深度差，则更新最大深度差的值。
此最大深度差值为变形深度或变形高度。
S6.识别井盖破损点，根据井盖破损点计算井盖破损面积；
其中，
图像预处理：对识别为井盖破损的彩色图像进行图像的对比度、亮度、去噪等的预处理操作，以提高后续破损点检测的准确性；
特征提取：使用图像处理技术边缘检测、斑点检测、纹理分析提取井盖破损点的特征；
破损点检测：基于提取到的特征，进行井盖破损点的检测。
破损点定位：确定井盖破损点在图像中的位置。
识别破损区域：利用区域生长、聚类等算法识别连续的破损区域。
计算破损面积：对于每个识别出的破损区域，计算其二维表面积。
汇总面积： 将所有破损区域的面积相加，得到井盖破损的总面积。
作为进一步地实施方式，
以下是一个通过破损点得到破损面积的计算示例：
识别破损区域：基于破损点的位置，可以使用区域生长、聚类算法等方法来识别连续的破损区域。这些算法可以根据像素的相似性或邻近关系，将破损点周围的像素组成一个连续的破损区域。
计算破损面积：对于每个识别出的破损区域，可以使用计算几何的方法来计算其二维表面积。
汇总面积：对于所有识别出的破损区域，将它们的面积相加，得到井盖破损的总面积。
S7.根据深度图像的数值，判断井盖的倾斜程度；
区域选择：根据井盖检测获得的包含井盖的区域，并经过井盖状态识别为井盖倾斜的区域，在这个区域内进行后续分析。
倾斜角度估计：利用深度图像中的几何信息，通过计算井盖区域的表面法线或拟合平面，估计井盖的倾斜角度。
通过井盖的倾斜角度判断井盖的倾斜程度。
其中，要通过几何信息来估计井盖的倾斜角度，我们可以使用拟合平面或计算表面法线的方法。
下面是一个示例：
假设有一组井盖的三维坐标数据，表示了井盖的形状。将这些坐标点视为离散的点云数据。
拟合平面方法：
（1）首先，使用这些坐标点构建一个平面拟合模型。可以使用最小二乘平面拟合等方法。
（2）拟合平面模型通常用方程表示：Ax + By + Cz + D = 0，其中 A、B、C 是平面的法向量，D 是距离原点的偏移量。
（3）通过拟合得到的 A、B、C 的值，可以计算出平面的法向量和倾斜角度。
（4）倾斜角度可以通过计算法向量与参考轴（例如水平轴）的夹角得到。
表面法线方法：
（1）使用云点数据进行表面法线计算。
（2）对于每个点，可以使用最邻近点的数据来计算其表面法线。
（3）通过计算点云中每个点的法线向量，可以获得井盖的整体法线分布。
（4）然后，可以使用这些法线向量的平均值或主成分分析等方法来估计井盖的整体倾斜角度。
实施例2
本实施例提供一种基于无人清扫车的井盖异常智能检测识别***，包括：
数据获取模块，被配置为，获取无人清扫车的视频流；对获取的视频流进行预处理，得到RGB通道的彩色图像和DEPTH通道的深度图像；
位置检测模块，被配置为，利用目标检测模型检测彩色图像，并融合深度图像的深度信息，得到井盖的位置；
状态检测模块，被配置为，通过深度学习模型识别彩色图像，得到井盖状态；
深度检测模块，被配置为，若识别为非正常状态，将深度图像转化为点云图像，根据点云图像判断井盖变形深度或变形高度；
破损检测模块，被配置为，识别井盖破损点，根据井盖破损点计算井盖破损面积；
倾斜检测模块，被配置为，根据深度图像的数值，判断井盖的倾斜程度。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于无人清扫车的井盖异常智能检测识别方法。
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于无人清扫车的井盖异常智能检测识别方法。
以上均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。

Claims (6)

1.一种基于无人清扫车的井盖异常智能检测识别方法，其特征在于，包括：
获取无人清扫车的视频流；
对获取的视频流进行预处理，得到RGB通道的彩色图像和DEPTH通道的深度图像；
利用目标检测模型检测彩色图像，并融合深度图像的深度信息，得到井盖的位置；
通过深度学习模型识别彩色图像，得到井盖状态；
若识别为非正常状态，将深度图像转化为点云图像，根据点云图像判断井盖变形深度或变形高度；
识别井盖破损点，根据井盖破损点计算井盖破损面积；
根据深度图像的数值，判断井盖的倾斜程度；
所述利用目标检测模型检测彩色图像，并融合深度图像的深度信息，得到井盖的位置，包括利用目标检测模型对彩色图像进行检测，得到井盖的候选框或掩码，根据深度图像中ROI的深度信息，筛选出与彩色图像中井盖候选框或掩码相对应的深度值，通过深度值和彩色图像坐标相融合，得到井盖的位置坐标；
所述对获取的视频流进行预处理，包括基于深度摄像头的深度传感器、红外通滤光片、RGB 传感器和红外投影仪的结合，得到RGB通道的彩色图像和DEPTH通道的深度图像；
所述通过深度值和彩色图像坐标相融合，包括获取深度图像和彩色图像，得到深度图像 D(x, y) 和彩色图像 C(u, v)，其中 (x, y) 表示深度图像上的像素坐标，(u, v) 表示彩色图像上的像素坐标；转换深度图像坐标到彩色图像坐标，包括根据相机内参矩阵，将深度图像上的像素坐标 (x, y) 转换为彩色图像上的坐标 (u', v')；插值获取对应的深度值，包括根据转换后的彩色图像坐标 (u', v')，使用插值方法获取对应的深度值depth'；对齐深度图像和彩色图像，包括根据转换后的彩色图像坐标 (u', v')，将深度图像上的深度值 depth' 映射到彩色图像上，得到对齐后的深度图像 D'(u', v')；所述识别井盖破损点，根据井盖破损点计算井盖破损面积，包括利用边缘检测、斑点检测和纹理分析提取彩色图像中井盖破损点，并提取破损点的特征；所述根据深度图像的数值，判断井盖的倾斜程度，包括利用深度图像中的几何信息，通过计算井盖区域的表面法线或拟合平面，估计井盖的倾斜角度，通过井盖的倾斜角度判断井盖的倾斜程度。
2.根据权利要求1所述的一种基于无人清扫车的井盖异常智能检测识别方法，其特征在于，所述将深度图像转化为点云图像，根据点云图像判断井盖变形深度或变形高度，包括将深度图像点阵化得到井盖图像点云，根据井盖图像点云中纵坐标变化判断变形深度或变形高度。
3.根据权利要求2所述的一种基于无人清扫车的井盖异常智能检测识别方法，其特征在于，所述识别井盖破损点，根据井盖破损点计算井盖破损面积，还包括根据破损点的特征确定破损点在图像中的位置，并计算其二维表面积，通过将所有破损点的二维表面积相加，得到井盖破损的总面积。
4.一种基于无人清扫车的井盖异常智能检测识别***，其特征在于，所述***执行如权利要求1所述的一种基于无人清扫车的井盖异常智能检测识别方法。
5.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行如权利要求1所述的一种基于无人清扫车的井盖异常智能检测识别方法。
6.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行如权利要求1所述的一种基于无人清扫车的井盖异常智能检测识别方法。
CN202311146377.3A 2023-09-07 2023-09-07 一种基于无人清扫车的井盖异常智能检测识别方法及*** Active CN116912805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311146377.3A CN116912805B (zh) 2023-09-07 2023-09-07 一种基于无人清扫车的井盖异常智能检测识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311146377.3A CN116912805B (zh) 2023-09-07 2023-09-07 一种基于无人清扫车的井盖异常智能检测识别方法及***

Publications (2)

Publication Number Publication Date
CN116912805A CN116912805A (zh) 2023-10-20
CN116912805B true CN116912805B (zh) 2024-02-02

Family

ID=88358633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311146377.3A Active CN116912805B (zh) 2023-09-07 2023-09-07 一种基于无人清扫车的井盖异常智能检测识别方法及***

Country Status (1)

Country Link
CN (1) CN116912805B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117350985B (zh) * 2023-10-24 2024-04-19 云途信息科技(杭州)有限公司 井盖病害检测方法、装置、计算机设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019178851A1 (zh) * 2018-03-23 2019-09-26 深圳市锐明技术股份有限公司 一种基于深度学习的井盖缺失检测***及方法
CN111025330A (zh) * 2019-12-16 2020-04-17 深圳奥比中光科技有限公司 一种基于深度图的目标倾斜角检测方法及设备
CN112040172A (zh) * 2020-07-17 2020-12-04 深圳奇迹智慧网络有限公司 井盖监控方法、装置、计算机设备和存储介质
CN112325785A (zh) * 2020-10-09 2021-02-05 国家电网公司西北分部 基于顶部平面拟合的铁塔变形监测方法及***
CN113066120A (zh) * 2021-03-25 2021-07-02 涵涡智航科技(玉溪)有限公司 一种基于机器视觉的智能杆塔倾斜检测方法
CN113112588A (zh) * 2021-04-07 2021-07-13 中国电建集团贵州电力设计研究院有限公司 基于rgb-d深度相机重建的地下管井三维可视化方法
CN113724259A (zh) * 2021-11-03 2021-11-30 城云科技（中国）有限公司 井盖异常检测方法、装置及其应用

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128347B (zh) * 2021-03-24 2024-01-16 北京中科慧眼科技有限公司 基于rgb-d融合信息的障碍物目标分类方法、***和智能终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019178851A1 (zh) * 2018-03-23 2019-09-26 深圳市锐明技术股份有限公司 一种基于深度学习的井盖缺失检测***及方法
CN111025330A (zh) * 2019-12-16 2020-04-17 深圳奥比中光科技有限公司 一种基于深度图的目标倾斜角检测方法及设备
CN112040172A (zh) * 2020-07-17 2020-12-04 深圳奇迹智慧网络有限公司 井盖监控方法、装置、计算机设备和存储介质
CN112325785A (zh) * 2020-10-09 2021-02-05 国家电网公司西北分部 基于顶部平面拟合的铁塔变形监测方法及***
CN113066120A (zh) * 2021-03-25 2021-07-02 涵涡智航科技(玉溪)有限公司 一种基于机器视觉的智能杆塔倾斜检测方法
CN113112588A (zh) * 2021-04-07 2021-07-13 中国电建集团贵州电力设计研究院有限公司 基于rgb-d深度相机重建的地下管井三维可视化方法
CN113724259A (zh) * 2021-11-03 2021-11-30 城云科技（中国）有限公司 井盖异常检测方法、装置及其应用

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RGB-D图像中的分步超像素聚合和多模态融合目标检测;赵轩;郭蔚;刘京;;中国图象图形学报(08);全文 *
基于无人机航拍图像的破损井盖检测;廖梦纯;;工业控制计算机(09);全文 *

Also Published As

Publication number Publication date
CN116912805A (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN101957325B (zh) 基于变电站巡检机器人变电站设备外观异常识别方法
US11688057B2 (en) Method and system for quickly matching image features applied to mine machine vision
JP4930046B2 (ja) 路面判別方法および路面判別装置
CN116912805B (zh) 一种基于无人清扫车的井盖异常智能检测识别方法及***
CN115359021A (zh) 一种基于激光雷达和相机信息融合的目标定位检测方法
CN110210350A (zh) 一种基于深度学习的快速停车位检测方法
CN113781537B (zh) 一种轨道弹条扣件缺陷识别方法、装置和计算机设备
CN113379712A (zh) 一种基于计算机视觉的钢桥螺栓病害检测方法及***
Dillabaugh et al. Semi-automated extraction of rivers from digital imagery
CN111832760B (zh) 一种基于视觉算法的井盖自动巡检方法
CN111597904B (zh) 用于隧道电缆支架倾斜的识别方法
CN114663672B (zh) 一种输电线路塔钢构件腐蚀检测方法及***
CN112669287A (zh) 基于图像识别的电气设备温度监测方法
CN116228651A (zh) 一种布匹缺陷检测方法、***、设备及介质
CN115018785A (zh) 基于视觉振频识别的提升钢丝绳张力检测方法
CN110909751B (zh) 用于变电站绝缘子清扫机器人的视觉识别方法、***及介质
CN117197019A (zh) 一种车辆三维点云图像融合方法及***
CN113869407A (zh) 一种基于单目视觉的车长测量方法和装置
CN108509845B (zh) 基于特征拟合的变电站仪表设备巡检的视觉检测方法
CN112489015A (zh) 一种用于移动机器人的化纤飘杂识别方法
CN110363109A (zh) 一种基于计算机视觉的覆盖式漏油检测***及方法
CN113358046B (zh) 盾尾间隙的视觉测量方法及其***
CN117593300B (zh) 一种pe管材裂纹缺陷检测方法及***
CN117058635A (zh) 一种基于深度学习的道路标线破损检测方法
Day et al. Image based detection of D-cracking in pavements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant