CN115527160A - 一种道路中井盖的缺陷监测方法和装置 - Google Patents

一种道路中井盖的缺陷监测方法和装置 Download PDF

Info

Publication number
CN115527160A
CN115527160A CN202211102416.5A CN202211102416A CN115527160A CN 115527160 A CN115527160 A CN 115527160A CN 202211102416 A CN202211102416 A CN 202211102416A CN 115527160 A CN115527160 A CN 115527160A
Authority
CN
China
Prior art keywords
road
image
determining
manhole cover
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211102416.5A
Other languages
English (en)
Inventor
宋树祥
郑秀征
杨静林
李永翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202211102416.5A priority Critical patent/CN115527160A/zh
Publication of CN115527160A publication Critical patent/CN115527160A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种道路中井盖的缺陷监测方法和装置，该方法包括：针对铺设有井盖的目标道路，获取不同时间采集的至少两张道路图像；分别从所述至少两张道路图像中，确定包含井盖图像区域的区域子图；根据所述至少两张道路图像的区域子图，确定特征差异信息，并基于所述特征差异信息，确定所述目标道路中井盖的缺陷监测结果，实现了基于时序图像比对的井盖缺陷监测，通过基于道路上已有的监控相机即可快速部署，极大地节约了成本，且可行性高，并基于区域子图比对即可准确确定井盖缺陷监测结果，无需提前收集井盖缺陷样本。

Description

一种道路中井盖的缺陷监测方法和装置
技术领域
本发明涉及计算机视觉领域，具体涉及一种道路中井盖的缺陷监测方法和装置。
背景技术
随着现代化城市建设的高速发展，道路中井盖的数目也逐年增多，井盖的塌陷、开裂等缺陷情况时有出现，及时发现道路中井盖缺陷、保证井盖完整性对于保障出行安全十分重要。
目前，井盖缺陷检测方法包括基于监测模块的井盖破损检测和基于深度学习的井盖破损检测。基于监测模块的井盖破损检测需要在井盖上提前安装监测模块，所需的经济成本和人力成本极高；基于深度学习的井盖破损检测需要采集大量的井盖缺陷图像，在实际中，正常的井盖图像样本很多，采集也比较简单，而含缺陷的井盖图像样本极少，难以采集到足够多数量的含缺陷的井盖图像。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种道路中井盖的缺陷监测方法和装置。
为了解决上述问题，本发明实施例公开了一种道路中井盖的缺陷监测方法，该方法包括：
针对铺设有井盖的目标道路，获取不同时间采集的至少两张道路图像；
分别从至少两张道路图像中，确定包含井盖图像区域的区域子图；
根据至少两张道路图像的区域子图，确定特征差异信息，并基于特征差异信息，确定目标道路中井盖的缺陷监测结果。
可选地，针对铺设有井盖的目标道路，获取不同时间采集的至少两张道路图像，包括：
针对铺设有井盖的目标道路，获取在第一时间采集的第一道路图像，并获取在其他时间采集的多张候选道路图像；
从多张候选道路图像中，确定与第一道路图像匹配的第二道路图像。
可选地，从多张候选道路图像中，确定与第一道路图像匹配的第二道路图像，包括：
针对第一道路图像，确定第一局部图组，并针对每张候选道路图像，确定第二局部图组；
针对第一局部图组，确定第一极值矩阵，并针对每个第二局部图组，确定第二极值矩阵；其中，极值矩阵为由局部图组所包含的每张局部图中最大灰度值组成的矩阵；
从多个第二极值矩阵中，确定与第一极值矩阵匹配的目标第二极值矩阵，并确定目标第二极值矩阵对应的候选道路图像为第二道路图像。
可选地，从多个第二极值矩阵中，确定与第一极值矩阵匹配的目标第二极值矩阵，包括：
根据第一极值矩阵，确定第一一维向量，并根据每个第二极值矩阵，确定第二一维向量；
从多个第二一维向量中，确定与第一一维向量匹配的目标第二一维向量，并确定目标第二一维向量对应的第二极值矩阵为目标第二极值矩阵。
可选地，分别从至少两张道路图像中，确定包含井盖图像区域的区域子图，包括：
针对每张道路图像，确定井盖图像区域；
从井盖图像区域中，确定基准点，并基于基准点，从道路图像中，确定区域子图。
可选地，在根据至少两张区域子图，确定特征差异信息之前，还包括：
在单张道路图像中确定有多个井盖图像区域的情况下，基于基准点，将至少两张道路图像的区域子图进行配对；
针对配对的区域子图，执行根据至少两张区域子图，确定特征差异信息。
可选地，在根据至少两张区域子图，确定特征差异信息之前，还包括：
基于基准点，确定任意两个井盖图像区域之间的欧氏距离；其中，任意两个井盖图像区域为不同的道路图像中的井盖图像区域；
根据欧氏距离，将至少两张道路图像的区域子图进行配对；
针对配对的区域子图，执行根据至少两张区域子图，确定特征差异信息。
可选地，特征差异信息包括特征差分图，根据至少两张道路图像的区域子图，确定特征差异信息，包括：
确定至少两张道路图像的区域子图的边缘特征；
根据边缘特征所包含的像素点的灰度值，确定灰度值差值；
根据灰度值差值，生成特征差分图。
可选地，基于特征差异信息，确定目标道路中井盖的缺陷监测结果，包括：
从特征差分图中，确定目标像素点；其中，目标像素点为灰度值大于预设值的像素点；
根据目标像素点在特征差分图中的占比，确定目标道路中井盖的缺陷监测结果。
本发明实施例还公开了一种道路中井盖的缺陷监测装置，装置包括：
图像采集模块，用于针对铺设有井盖的目标道路，获取不同时间采集的至少两张道路图像；
井盖识别模块，用于分别从至少两张道路图像中，确定包含井盖图像区域的区域子图；
缺陷监测模块，用于根据至少两张道路图像的区域子图，确定特征差异信息，并基于特征差异信息，确定目标道路中井盖的缺陷监测结果。
本发明实施例包括以下优点：
在本发明实施例中，通过针对铺设有井盖的目标道路，获取不同时间采集的至少两张道路图像，分别从至少两张道路图像中，确定包含井盖图像区域的区域子图，然后根据至少两张道路图像的区域子图，确定特征差异信息，并基于特征差异信息，确定目标道路中井盖的缺陷监测结果，实现了基于时序图像比对的井盖缺陷监测，通过基于道路上已有的监控相机即可快速部署，极大地节约了成本，且可行性高，并基于区域子图比对即可准确确定井盖缺陷监测结果，无需提前收集井盖缺陷样本。
并且，通过在多张候选道路图像中确定与第一道路图像匹配的第二道路图像，以进行时序图像的比对，减少了光照变化、天气变化带来的影响，保证了后续井盖缺陷比对时背景区域的一致性，提高了算法鲁棒性。
而且，对于铺设有多个井盖的道路，通过基于基准点，将至少两张道路图像的区域子图进行配对，实现了各个井盖图像区域的精准配对，从而完成井盖的准确监测，避免了不同井盖图像区域之间错误比对的情况。
再者，针对井盖区域面积小，缺陷难以识别的特点，通过生成特征差分图，并根据目标像素点在特征差分图中的占比，确定目标道路中井盖的缺陷监测结果，实现了对井盖缺陷的像素级定位。
附图说明
图1是本发明的一种道路中井盖的缺陷监测***实施例的示意图；
图2是本发明的一种道路中井盖的缺陷监测方法实施例的步骤流程图；
图3是本发明的另一种道路中井盖的缺陷监测方法实施例的步骤流程图；
图4是本发明的另一种道路中井盖的缺陷监测方法实施例的步骤流程图；
图5是本发明的一种道路中井盖的缺陷监测装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
在本发明实施例中，如图1，通过时序图像采集，以获取用于进行比对的道路图像，再通过井盖识别，以确定井盖图像区域，然后通过井盖信息提取，以确定包含井盖图像区域的区域子图，之后通过井盖对齐，以使各对应的井盖图像区域进行对齐，最后通过缺陷确定，以确定道路中井盖的监测结果，实现了基于时序图像比对的井盖缺陷监测，通过基于道路上已有的监控相机即可快速部署，极大地节约了成本，且可行性高，并基于区域子图比对即可准确确定井盖缺陷监测结果，无需提前收集井盖缺陷样本。
以下对本发明实施例作进一步说明：
参照图2，示出本发明的一种道路中井盖的缺陷监测方法实施例的步骤流程图，该方法可以包括如下步骤：
步骤201、针对铺设有井盖的目标道路，获取不同时间采集的至少两张道路图像。
当需要对目标道路中的井盖进行缺陷监测时，可通过道路上已有的监控相机，如设置在道路路旁的监控摄像头，按预设的时序进行道路图像的采集，如在不同时间内对目标道路进行道路图像的采集，可依据实际需要，在同一时间采集一张或多张；更进一步地，可通过同一位置的同一监控相机，以同一角度进行道路图像的采集，以使道路图像之间能够进行精准比对。
在本发明一实施例中，步骤201可以包括如下子步骤：
子步骤11、针对铺设有井盖的目标道路，获取在第一时间采集的第一道路图像，并获取在其他时间采集的多张候选道路图像。
在实际应用中，通过获取在其他时间采集的多张候选道路图像，可以从中确定第二道路图像，以减少光照变化、天气变化的影响，保证后续井盖缺陷比对时背景区域的一致性。
例如，在当日9点-15点之间，监控相机采集一张第一道路图像；在次日9点-15点之间，每隔一小时监控相机采集一张候选图像，得到多张候选道路图像。
子步骤12、从多张候选道路图像中，确定与第一道路图像匹配的第二道路图像。
在实际应用中，可以分别确定各张候选道路图像与第一道路图像的匹配度，选取匹配度最高的候选道路图像作为第二道路图像，如选取与第一道路图像最相似的候选道路图像作为第二道路图像，从而避免后续井盖缺陷比对时背景区域之间差别过大而引起的误判。
在本发明一实施例中，子步骤12可以包括如下子步骤：
子步骤111、针对第一道路图像，确定第一局部图组，并针对每张候选道路图像，确定第二局部图组。
其中，局部图组为一张道路图像划分出来的多张局部图，而各张局部图则为一张道路图像的各个部分，若将同属一张道路图像的各张局部图进行拼接，则可以组成完整的该张道路图像；故针对一张第一道路图像，可确定一个第一局部图组，针对多张候选道路图像，可确定多个第二局部图组。
具体的实现步骤为：将第一道路图像和候选道路图像划分为N×N块局部图，如划分为16×16块局部图，即一张道路图像可以划分为256块局部图。由此，确定一个第一局部图组和多个第二局部图组。
进一步地，在进行局部图划分之前，还可以针对第一道路图像和候选道路图像进行格式转换，如将RGB图像格式转换为灰度图格式，将完成格式转换的第一道路图像和候选道路图像划分为N×N块局部图。
其中，RGB图像为由RGB色彩构成的图像，RGB色彩即常说的光学三原色，R代表Red(红色)，G代表Green(绿色)，B代表Blue(蓝色)；灰度图，又称灰阶图，是用灰度表示的图像；灰度，即把白色与黑色之间按对数关系分为若干等级，共分为256阶，不同的等级对应不同的灰度值。
子步骤112、针对第一局部图组，确定第一极值矩阵，并针对每个第二局部图组，确定第二极值矩阵；其中，极值矩阵为由局部图组所包含的每张局部图中最大灰度值组成的矩阵。
在实际应用中，极值矩阵为与局部图对应的N×N矩阵，如16×16矩阵，其具体的实现步骤为：确定每张局部图中各个像素点的灰度值，选取灰度值最大的像素点的灰度值作为各张局部图的最大灰度值，最后将各局部图的最大灰度值组成极值矩阵。
子步骤113、从多个第二极值矩阵中，确定与第一极值矩阵匹配的目标第二极值矩阵，并确定目标第二极值矩阵对应的候选道路图像为第二道路图像。
在实际应用中，可以分别确定各个第二极值矩阵与第一极值矩阵的匹配度，选取匹配度最高的第二极值矩阵作为目标第二极值矩阵，从而根据目标第二极值矩阵，确定目标第二极值矩阵对应的候选道路图像为第二道路图像。
在本发明一实施例中，子步骤113可以包括：
根据第一极值矩阵，确定第一一维向量，并根据每个第二极值矩阵，确定第二一维向量；从多个第二一维向量中，确定与第一一维向量匹配的目标第二一维向量，并确定目标第二一维向量对应的第二极值矩阵为目标第二极值矩阵。
在具体实现中，通过对第一极值矩阵、第二极值矩阵进行计算，获得与第一极值矩阵对应的第一一维向量、与各个第二极值矩阵对应的各个第二一维向量；再计算各个第二一维向量与第一一维向量的匹配度，选取匹配度最高的第二一维向量作为目标第二一维向量，如通过余弦相似度算法计算各个第二一维向量与第一一维向量的余弦相似度值，选取余弦相似度值最大的第二一维向量为目标第二一维向量。
步骤202、分别从至少两张道路图像中，确定包含井盖图像区域的区域子图。
在实际应用中，确定各张道路图像中的井盖图像区域，并根据井盖图像区域，确定包含该井盖图像区域的区域子图，从而只需对各张道路图像中的井盖图像区域进行比对，进一步提高了基于时序图像比对的精确度，并大大降低了时序图像比对时的计算量。
在本发明一实施例中，步骤202可以包括如下子步骤：
子步骤21、针对每张道路图像，确定井盖图像区域。
在具体实现中，将道路图像输入到井盖检测模型，进行井盖图像区域识别，以输出包含井盖图像区域的区域子图；其中，井盖检测模型具备识别正常的井盖图像区域和识别含缺陷的井盖图像区域的功能。
为使井盖检测模型具备识别正常的井盖图像区域的功能，可对其输入多张正常的井盖图像样本，以进行识别正常的井盖图像区域的功能的训练。
为使井盖检测模型具备识别含缺陷的井盖图像区域的功能，可对其进行训练，具体的训练步骤为：随机抽取一定比例的已标注出井盖图像区域的道路图像，使用黑色的蒙版对井盖图像区域进行遮挡，以模拟含缺陷的井盖。其中，蒙版的形状可以为矩形或圆形，对井盖图像区域进行的遮挡可以为部分遮挡，所以蒙版的面积要小于当前图像中的井盖区域面积。
例如，采集含有井盖图像区域的道路图像50000张，随机抽取50％的已标注出井盖图像区域的道路图像，使用黑色的矩形蒙版和圆形蒙版遮挡其中的井盖图像区域，其中，蒙版的面积不大于当前井盖图像区域面积的二分之一，从而使得井盖检测模型具备识别含缺陷的井盖图像区域的功能。
更进一步地，可以使用目标检测网络对井盖检测模型进行训练，以使井盖检测模型具备识别含缺陷的井盖图像区域的功能，如使用yolov5s网络对井盖检测模型进行训练。
子步骤22、从井盖图像区域中，确定基准点，并基于基准点，从道路图像中，确定区域子图。
在具体的实现中，可以提取井盖图像区域的质心作为基准点，并将基准点作为中心，在井盖图像区域的高宽方向分别扩大一定比例后，截取该部分图像为区域子图。其中，质心，即质量中心，指物质***上被认为质量集中于此的一个假想点；井盖图像区域的质心由井盖检测模型进行预测并加以确定。
例如，为保证区域子图中井盖图像区域的完整性，可以将井盖图像区域的质心作为基准点，在井盖图像区域的高宽方向分别扩大20％后，截取该部分图像为区域子图，即识别出的井盖图像区域的尺寸为w×h，则以1.2w×1.2h的尺寸进行区域子图的截取。
步骤203、根据至少两张道路图像的区域子图，确定特征差异信息，并基于特征差异信息，确定目标道路中井盖的缺陷监测结果。
在实际应用中，在执行步骤203之前，还需将不同道路图像的区域子图进行配准对齐，可以基于ORB算法对不同道路图像的区域子图进行像素级配准对齐，所用到的opencv函数如下：
1、创建一个Ptr<ORB>类型的orb：
Ptr<Feature2D>orb＝ORB::create(int MAX_FEATURES)；
2、检测FAST角点，并计算BRIEF描述子：
orb->detectAndCompute(Matimg_1,Mat(),std::vector<KeyPoint>keypoints_1,Mat descriptors_1)；
orb->detectAndCompute(Mat img_2,Mat(),std::vector<KeyPoint>keypoints_2,Mat descriptors_2)；
3、基于BRIEF描述子，配对FAST角点：
std::vector<DMatch>matches；
Ptr<DescriptorMatcher>matcher＝DescriptorMatcher::create("BruteForce-Hamming")；
matcher->match(descriptors_1,descriptors_2,matches,Mat())；
4、基于两幅区域子图的配对FAST角点，计算单应矩阵H：
std::vector<Point2f>points1,points2；
for(size_t i＝0；i<matches.size()；i++)
{
points1.push_back(keypoints_1[matches[i].queryIdx].pt)；
points2.push_back(keypoints_2[matches[i].trainIdx].pt)；
}；
H＝findHomography(points1,points2,RANSAC)；
5、基于单应矩阵H，对两幅区域子图进行对齐：
warpPerspective(img_1,img_1Re,H,img_2.size())；
在本发明实施例中，通过针对铺设有井盖的目标道路，获取不同时间采集的至少两张道路图像，分别从至少两张道路图像中，确定包含井盖图像区域的区域子图，然后根据至少两张道路图像的区域子图，确定特征差异信息，并基于特征差异信息，确定目标道路中井盖的缺陷监测结果，实现了基于时序图像比对的井盖缺陷监测，通过基于道路上已有的监控相机即可快速部署，极大地节约了成本，且可行性高，并基于区域子图比对即可准确确定井盖缺陷监测结果，无需提前收集井盖缺陷样本。
并且，通过在多张候选道路图像中确定与第一道路图像匹配的第二道路图像，以进行时序图像的比对，减少了光照变化、天气变化带来的影响，保证了后续井盖缺陷比对时背景区域的一致性，提高了算法鲁棒性。
参照图3，示出本发明的另一种道路中井盖的缺陷监测方法实施例的步骤流程图，该方法可以包括如下步骤：
步骤301、针对铺设有井盖的目标道路，获取不同时间采集的至少两张道路图像。
步骤302、针对每张道路图像，确定井盖图像区域。
步骤303、从井盖图像区域中，确定基准点，并基于基准点，从道路图像中，确定区域子图。
在具体的实现中，可以提取井盖图像区域的质心作为基准点，并将基准点作为中心，在井盖图像区域的高宽方向分别扩大一定比例后，截取该部分图像为区域子图。其中，井盖图像区域的质心由井盖检测模型进行预测并加以确定。
步骤304、在单张道路图像中确定有多个井盖图像区域的情况下，基于基准点，将至少两张道路图像的区域子图进行配对。
在具体的实现中，由于识别出单张道路图像中有多个井盖图像区域，所以与井盖图像区域对应的基准点也存在多个，由此得到基准点坐标的集合，即多个基准点坐标。其中，基准点坐标为井盖检测模型预测的井盖图像区域的质心在道路图像中的坐标。
具体确定基准点坐标的步骤为：
首先，在道路图像中构建x-y坐标系，由此确定道路图像中各个像素点的坐标；其次，基于井盖检测模型预测的井盖图像区域的质心，确定井盖图像区域的质心对应像素点的坐标；最后，将前述的像素点坐标确定为与井盖图像区域对应的基准点坐标。
例如，目标道路铺设有多个井盖，针对目标道路获取的第一道路图像和第二道路图像中便能识别出多个井盖图像区域，提取井盖图像区域的质心坐标作为基准点坐标，得到第一道路图像的基准点坐标集合C1、第二道路图像的基准点坐标集合C2。
其中，第一道路图像的基准点坐标集合C1为：
C1＝{(x1,y1),(x2,y2),…,(xn,yn)}
第二道路图像的基准点坐标集合C2为：
C2＝{(x′1,y′1),(x′2,y′2),…,(x′n,y′n)}
在发明一实施例中，步骤304中的基于基准点，将至少两张道路图像的区域子图进行配对，可以包括如下子步骤：
子步骤31、基于基准点，确定任意两个井盖图像区域之间的欧氏距离；其中，任意两个井盖图像区域为不同的道路图像中的井盖图像区域。
在实际应用中，基于各基准点坐标，计算井盖图像区域之间的欧氏距离。
例如，基于C1、C2，分别计算第一道路图像中各井盖图像区域与第二道路图像中各井盖图像区域之间的欧式距离，计算公式如下：
Figure BDA0003841143590000111
其中，(x,y)∈C1，(x′,y′)∈C2。
子步骤32、根据欧氏距离，将所述至少两张道路图像的区域子图进行配对。
当两个基准点之间的欧式距离最短时，则认定该两个基准点对应的井盖图像区域为同一井盖图像区域，从而将该两个井盖图像区域对应的区域子图进行配对。
例如，选取计算出的所有d中的最小值所对应的第一道路图像的基准点、第二道路基准点，将以该两个基准点为中心截取的区域子图进行配对。
步骤305、针对配对的区域子图，确定特征差异信息，并基于特征差异信息，确定目标道路中井盖的缺陷监测结果。
在本发明实施例中，通过针对铺设有井盖的目标道路，获取不同时间采集的至少两张道路图像，分别从至少两张道路图像中，确定包含井盖图像区域的区域子图，然后根据至少两张道路图像的区域子图，确定特征差异信息，并基于特征差异信息，确定目标道路中井盖的缺陷监测结果，实现了基于时序图像比对的井盖缺陷监测，通过基于道路上已有的监控相机即可快速部署，极大地节约了成本，且可行性高，并基于区域子图比对即可准确确定井盖缺陷监测结果，无需提前收集井盖缺陷样本。
而且，对于铺设有多个井盖的道路，通过基于基准点，将至少两张道路图像的区域子图进行配对，实现了各个井盖图像区域的精准配对，从而完成井盖的准确监测，避免了不同井盖图像区域之间错误比对的情况。
参照图4，示出本发明的另一种道路中井盖的缺陷监测方法实施例的步骤流程图，该方法可以包括如下步骤：
步骤401、针对铺设有井盖的目标道路，获取不同时间采集的至少两张道路图像。
步骤402、分别从至少两张道路图像中，确定包含井盖图像区域的区域子图。
步骤403、确定至少两张道路图像的区域子图的边缘特征。
边缘特征是图像中特性(如像素点灰度)分布的不连续处，即图像周围特性有阶跃变化或屋脊状变化的像素集合。图像的边缘特征集中了图像的大部分信息，边缘特征广泛存在于物体与背景之间、物体与物体之间。因此，边缘特征是图像分割、图像理解及图像识别的重要特征。
在实际应用中，可以采用canny边缘检测算法对区域子图的边缘特征进行提取，从而确定每张道路图像的区域子图的边缘特征，所用到的canny函数如下：
void cv::Canny(InputArray image,OutputArray edges,double threshold1,double threshold2,int apertureSize,bool L2gradient)；
步骤404、根据边缘特征所包含的像素点的灰度值，确定灰度值差值。
在具体的实现中，将两张区域子图的边缘特征所包含的像素点的灰度值进行求差值计算，从而确定两张区域子图的边缘特征所包含的各个像素点之间的灰度值差值。其中，该两张区域子分别属于不同的道路图像。
步骤405、根据灰度值差值，生成特征差分图。
在具体的实现中，对步骤404中确定的各个灰度值差值进行求绝对值计算，得到各个灰度值差值对应的绝对值，并根据各个绝对值，生成特征差分图。其中，特征差分图中各个像素点的灰度值对应步骤404中确定的各个灰度值差值。
在实际应用中，还需对特征差分图进行形态学腐蚀操作，以消除噪声带来的干扰。
步骤406、从特征差分图中，确定目标像素点；其中，目标像素点为灰度值大于预设值的像素点。
其中，目标像素点是用于表示井盖图像区域中可能存在缺陷的部分的像素点。
例如，预设值可以为254，则目标像素点为灰度值255的像素点。
步骤407、根据目标像素点在特征差分图中的占比，确定目标道路中井盖的缺陷监测结果。
当目标像素点在特征差分图中的像素面积占比超过预设阈值时，则判定当前特征差分图对应的井盖存在缺陷。
例如，当特征差分图中灰度值为255的像素点数目在当前特征差分图中的像素面积占比大于5％，则判定当前特征差分图对应的井盖存在缺陷。
在本发明实施例中，通过针对铺设有井盖的目标道路，获取不同时间采集的至少两张道路图像，分别从至少两张道路图像中，确定包含井盖图像区域的区域子图，然后根据至少两张道路图像的区域子图，确定特征差异信息，并基于特征差异信息，确定目标道路中井盖的缺陷监测结果，实现了基于时序图像比对的井盖缺陷监测，通过基于道路上已有的监控相机即可快速部署，极大地节约了成本，且可行性高，并基于区域子图比对即可准确确定井盖缺陷监测结果，无需提前收集井盖缺陷样本。
再者，针对井盖区域面积小，缺陷难以识别的特点，通过生成特征差分图，并根据目标像素点在特征差分图中的占比，确定目标道路中井盖的缺陷监测结果，实现了对井盖缺陷的像素级定位。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图5，示出本发明实施例还公开了一种道路中井盖的缺陷监测装置实施例的结构框图，该装置可以包括如下模块：
图像采集模块501，用于针对铺设有井盖的目标道路，获取不同时间采集的至少两张道路图像。
在本发明一实施例中，图像采集模块501可以包括如下子模块：
时序采集子模块，用于针对铺设有井盖的目标道路，获取在第一时间采集的第一道路图像，并获取在其他时间采集的多张候选道路图像。
图像匹配子模块，用于从多张候选道路图像中，确定与第一道路图像匹配的第二道路图像。
在本发明一实施例中，图像匹配子模块可以包括如下子单元：
局部图组确定子单元，用于针对第一道路图像，确定第一局部图组，并针对每张候选道路图像，确定第二局部图组。
极值矩阵确定子单元，用于针对第一局部图组，确定第一极值矩阵，并针对每个第二局部图组，确定第二极值矩阵。
第二道路图像确定子单元，从多个第二极值矩阵中，确定与第一极值矩阵匹配的目标第二极值矩阵，并确定目标第二极值矩阵对应的候选道路图像为第二道路图像。
井盖识别模块502，用于分别从至少两张道路图像中，确定包含井盖图像区域的区域子图。
在本发明一实施例中，井盖识别模块502可以包括如下子模块：
井盖辨认子模块，用于针对每张道路图像，确定井盖图像区域。
子图确定子模块，用于从井盖图像区域中，确定基准点，并基于基准点，从道路图像中，确定区域子图。
在本发明一实施例中，子图确定子模块可以包括如下子单元：
区域子图截取子单元，用于提取井盖图像区域的质心作为基准点，并将基准点作为中心，在井盖图像区域的高宽方向分别扩大一定比例后，截取该部分图像为区域子图。
在本发明一实施例中，子图确定子模块还可以包括如下子单元：
区域子图配对子单元，用于在单张道路图像中确定有多个井盖图像区域的情况下，基于基准点，将至少两张道路图像的区域子图进行配对。
缺陷监测模块503，用于根据至少两张道路图像的区域子图，确定特征差异信息，并基于特征差异信息，确定目标道路中井盖的缺陷监测结果。
在本发明一实施例中，该装置还可以包括如下模块：
配准对齐模块，用于将不同道路图像的区域子图进行配准对齐。
在本发明一实施例中，缺陷监测模块503可以包括如下子模块：
边缘特征子模块，用于确定至少两张道路图像的区域子图的边缘特征。
灰度差值子模块，用于根据边缘特征所包含的像素点的灰度值，确定灰度值差值。
差分图生成子模块，用于根据灰度值差值，生成特征差分图。
在本发明一实施例中，缺陷监测模块503还可以包括如下子模块：
目标像素点子模块，用于从特征差分图中，确定目标像素点。
结果判断子模块，用于根据目标像素点在特征差分图中的占比，确定目标道路中井盖的缺陷监测结果。
在本发明实施例中，通过针对铺设有井盖的目标道路，获取不同时间采集的至少两张道路图像，分别从至少两张道路图像中，确定包含井盖图像区域的区域子图，然后根据至少两张道路图像的区域子图，确定特征差异信息，并基于特征差异信息，确定目标道路中井盖的缺陷监测结果，实现了基于时序图像比对的井盖缺陷监测，通过基于道路上已有的监控相机即可快速部署，极大地节约了成本，且可行性高，并基于区域子图比对即可准确确定井盖缺陷监测结果，无需提前收集井盖缺陷样本。
并且，通过在多张候选道路图像中确定与第一道路图像匹配的第二道路图像，以进行基于时序图像的比对，减少了光照变化、天气变化带来的影响，保证了后续井盖缺陷比对时背景区域的一致性，提高了算法鲁棒性。
而且，对于铺设有多个井盖的道路，通过基于基准点，将至少两张道路图像的区域子图进行配对，实现了各个井盖图像区域的精准配对，从而完成井盖的准确监测，避免了不同井盖图像区域之间错误比对的情况。
再者，针对井盖区域面积小，缺陷难以识别的特点，通过生成特征差分图，并根据目标像素点在特征差分图中的占比，确定目标道路中井盖的缺陷监测结果，实现了对井盖缺陷的像素级定位。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种数据交互的方法、***和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种道路中井盖的缺陷监测方法，其特征在于，所述方法包括：
针对铺设有井盖的目标道路，获取不同时间采集的至少两张道路图像；
分别从所述至少两张道路图像中，确定包含井盖图像区域的区域子图；
根据所述至少两张道路图像的区域子图，确定特征差异信息，并基于所述特征差异信息，确定所述目标道路中井盖的缺陷监测结果。
2.根据权利要求1所述的方法，其特征在于，所述针对铺设有井盖的目标道路，获取不同时间采集的至少两张道路图像，包括：
针对铺设有井盖的目标道路，获取在第一时间采集的第一道路图像，并获取在其他时间采集的多张候选道路图像；
从所述多张候选道路图像中，确定与所述第一道路图像匹配的第二道路图像。
3.根据权利要求2所述的方法，其特征在于，所述从所述多张候选道路图像中，确定与所述第一道路图像匹配的第二道路图像，包括：
针对所述第一道路图像，确定第一局部图组，并针对每张候选道路图像，确定第二局部图组；
针对所述第一局部图组，确定第一极值矩阵，并针对每个第二局部图组，确定第二极值矩阵；其中，极值矩阵为由局部图组所包含的每张局部图中最大灰度值组成的矩阵；
从多个所述第二极值矩阵中，确定与所述第一极值矩阵匹配的目标第二极值矩阵，并确定所述目标第二极值矩阵对应的候选道路图像为第二道路图像。
4.根据权利要求3所述的方法，其特征在于，所述从多个所述第二极值矩阵中，确定与所述第一极值矩阵匹配的目标第二极值矩阵，包括：
根据所述第一极值矩阵，确定第一一维向量，并根据每个第二极值矩阵，确定第二一维向量；
从多个所述第二一维向量中，确定与所述第一一维向量匹配的目标第二一维向量，并确定所述目标第二一维向量对应的第二极值矩阵为所述目标第二极值矩阵。
5.根据权利要求1所述的方法，其特征在于，所述分别从所述至少两张道路图像中，确定包含井盖图像区域的区域子图，包括：
针对每张道路图像，确定井盖图像区域；
从所述井盖图像区域中，确定基准点，并基于所述基准点，从所述道路图像中，确定区域子图。
6.根据权利要求5所述的方法，其特征在于，在所述根据至少两张区域子图，确定特征差异信息之前，还包括：
在单张道路图像中确定有多个井盖图像区域的情况下，基于所述基准点，将所述至少两张道路图像的区域子图进行配对；
针对配对的区域子图，执行所述根据至少两张区域子图，确定特征差异信息。
7.根据权利要求5所述的方法，其特征在于，在所述根据至少两张区域子图，确定特征差异信息之前，还包括：
基于所述基准点，确定任意两个井盖图像区域之间的欧氏距离；其中，所述任意两个井盖图像区域为不同的道路图像中的井盖图像区域；
根据所述欧氏距离，将所述至少两张道路图像的区域子图进行配对；
针对配对的区域子图，执行所述根据至少两张区域子图，确定特征差异信息。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述特征差异信息包括特征差分图，所述根据所述至少两张道路图像的区域子图，确定特征差异信息，包括：
确定所述至少两张道路图像的区域子图的边缘特征；
根据所述边缘特征所包含的像素点的灰度值，确定灰度值差值；
根据所述灰度值差值，生成所述特征差分图。
9.根据权利要求8所述的方法，其特征在于，所述基于所述特征差异信息，确定所述目标道路中井盖的缺陷监测结果，包括：
从所述特征差分图中，确定目标像素点；其中，所述目标像素点为灰度值大于预设值的像素点；
根据所述目标像素点在所述特征差分图中的占比，确定所述目标道路中井盖的缺陷监测结果。
10.一种道路中井盖的缺陷监测装置，其特征在于，所述装置包括：
图像采集模块，用于针对铺设有井盖的目标道路，获取不同时间采集的至少两张道路图像；
井盖识别模块，用于分别从所述至少两张道路图像中，确定包含井盖图像区域的区域子图；
缺陷监测模块，用于根据所述至少两张道路图像的区域子图，确定特征差异信息，并基于所述特征差异信息，确定所述目标道路中井盖的缺陷监测结果。
CN202211102416.5A 2022-09-09 2022-09-09 一种道路中井盖的缺陷监测方法和装置 Pending CN115527160A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211102416.5A CN115527160A (zh) 2022-09-09 2022-09-09 一种道路中井盖的缺陷监测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211102416.5A CN115527160A (zh) 2022-09-09 2022-09-09 一种道路中井盖的缺陷监测方法和装置

Publications (1)

Publication Number Publication Date
CN115527160A true CN115527160A (zh) 2022-12-27

Family

ID=84698484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211102416.5A Pending CN115527160A (zh) 2022-09-09 2022-09-09 一种道路中井盖的缺陷监测方法和装置

Country Status (1)

Country Link
CN (1) CN115527160A (zh)

Similar Documents

Publication Publication Date Title
CN108364010B (zh) 一种车牌识别方法、装置、设备及计算机可读存储介质
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN101650783B (zh) 图像识别方法以及摄像装置
KR101617681B1 (ko) 히스토그램들을 갖는 다중 층 연결 요소들을 사용하는 텍스트 검출
CN107424142B (zh) 一种基于图像显著性检测的焊缝识别方法
CN109583345B (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
JP2008217347A (ja) ナンバープレート認識装置、その制御方法、コンピュータプログラム
CN110781877B (zh) 一种图像识别方法、设备及存储介质
CN103530638A (zh) 多摄像头下的行人匹配方法
CN110598795A (zh) 图像差异检测方法及装置、存储介质、终端
CN108961262B (zh) 一种复杂场景下的条码定位方法
JP2008251029A (ja) 文字認識装置、ナンバープレート認識システム
CN109635679B (zh) 一种实时的靶纸定位及环线识别方法
CN112418226B (zh) 一种鱼眼分合闸状态识别的方法及装置
CN115410191B (zh) 文本图像识别方法、装置、设备和存储介质
JP5010627B2 (ja) 文字認識装置及び文字認識方法
JP2011087144A (ja) テロップ文字領域検出方法，テロップ文字領域検出装置およびテロップ文字領域検出プログラム
CN111047614A (zh) 一种基于特征提取的复杂场景图像的目标角点提取方法
CN115527160A (zh) 一种道路中井盖的缺陷监测方法和装置
CN111583341B (zh) 云台像机移位检测方法
CN112883959B (zh) 身份证照完整性检测方法、装置、设备及存储介质
CN113470093A (zh) 基于航拍图像处理的视频果冻效应检测方法、装置及设备
CN112825141B (zh) 识别文本的方法、装置、识别设备和存储介质
JP6613625B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination