CN114565771B - 一种道路两侧设施的缺陷检测方法及装置 - Google Patents

一种道路两侧设施的缺陷检测方法及装置 Download PDF

Info

Publication number
CN114565771B
CN114565771B CN202210462435.2A CN202210462435A CN114565771B CN 114565771 B CN114565771 B CN 114565771B CN 202210462435 A CN202210462435 A CN 202210462435A CN 114565771 B CN114565771 B CN 114565771B
Authority
CN
China
Prior art keywords
mask
defect
guardrail
light shielding
shielding plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210462435.2A
Other languages
English (en)
Other versions
CN114565771A (zh
Inventor
黄智刚
吴清泉
李然
崔开金
杨军红
刘浩
王家赞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Guangdong Hong Kong Macao Dawan District Hard Science And Technology Innovation Research Institute
Original Assignee
Guangdong Guangdong Hong Kong Macao Dawan District Hard Science And Technology Innovation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Guangdong Hong Kong Macao Dawan District Hard Science And Technology Innovation Research Institute filed Critical Guangdong Guangdong Hong Kong Macao Dawan District Hard Science And Technology Innovation Research Institute
Priority to CN202210462435.2A priority Critical patent/CN114565771B/zh
Publication of CN114565771A publication Critical patent/CN114565771A/zh
Application granted granted Critical
Publication of CN114565771B publication Critical patent/CN114565771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于道路设施缺陷检测技术领域，公开了一种道路两侧设施的缺陷检测方法及装置，包括：获取道路两侧设施的图像，并将图像输入到训练好的图像分割网络，得到护栏掩膜和遮光板掩膜；根据得到的护栏掩膜和遮光板掩膜判断护栏和遮光板是否存在缺陷，对护栏掩膜采集候选边缘点，获取拟合边界直线，根据候选边缘点到拟合边界的距离判断是否存在缺陷；对遮光板掩膜进行边缘检测得到边缘轮廓信息，由边缘轮廓信息得到最小外接矩形，根据最小外接矩形的长边方向判断遮光板的倾斜缺陷；根据遮光板的中心距离判断缺失缺陷。本发明通过图像分割网络和视觉算法检测高速公路护栏、遮光板的损坏信息，实现自动化检测，提高检测效率也保障了道路的通行效率。

Description

一种道路两侧设施的缺陷检测方法及装置
技术领域
本发明涉及道路设施缺陷检测技术领域，特别是涉及一种道路两侧设施的缺陷检测方法及装置。
背景技术
道路网络不断完善，高速公路建设日益进行，道路的检测、维护和管理成为中国道路建设领域的一项重要任务。现有的道路检测以人工检测为主，在实际应用中表现不佳。且在人工进行护栏、遮光板等道路两侧设施进行检测时，需要对高速道路部分段进行封闭，这样大大降低了高速公路的通行效率。
发明内容
本发明的目的是：提供一种道路两侧设施的缺陷检测方法及装置，在不封闭道路的前提下进行道路两侧设施的缺陷检测，保证道路的通行效率和道路检测效率。
为了实现上述目的，本发明提供了一种道路两侧设施的缺陷检测方法，包括：
获取道路两侧设施的图像，并将图像输入到训练好的图像分割网络，得到护栏掩膜和遮光板掩膜；
根据得到的护栏掩膜和遮光板掩膜判断护栏和遮光板是否存在缺陷，具体为：
对护栏掩膜沿列方向进行遍历搜索并采集候选边缘点，通过随机抽样一致算法选择护栏边界内点并通过最小二乘法拟合边界直线；根据所有候选边缘点到拟合边界的距离判断是否存在缺陷，候选边缘点为掩膜边缘的像素点；
对遮光板掩膜进行边缘检测，得到每个遮光板的边缘轮廓信息，根据每个遮光板的边缘轮廓信息得到每个遮光板的最小外接矩形，根据最小外接矩形的长边方向判断遮光板的倾斜缺陷；对边缘轮廓信息从左到右进行排序，并计算相邻两个独立个体的中心点的距离是否大于预设的间隔，若大于则遮光板存在缺失缺陷。
进一步的，所述图像分割网络的图像分割流程包括：
图像经过卷积网络采样后分为两个分支结构进行深度采样；
第一支由五个不同大小的卷积核的池化层提取深度语义特征，得到五个相对应的特征图，然后通过1x1的卷积对五个特征图进行融合得到第一中间特征图；
第二支由1x1的卷积核深化特征图中的目标定位信息得到第二中间特征图；
将上采样后的第一中间特征图和第二中间特征图合并，然后对合并结果进行3x3的卷积和上采样得到护栏掩膜、遮光板掩膜和背景掩膜。
进一步的，所述背景掩膜为一切不属于需要检测的目标的像素点集合。
进一步的，所述根据所有候选边缘点到拟合边界的距离判断是否存在检测缺陷，具体为：
当候选边缘点到拟合边界的距离大于第一阈值时，判断护栏存在断裂缺陷并标记断裂缺陷的位置；当候选边缘点到拟合边界的距离小于第一阈值大于第二阈值时，判断护栏存在弯曲缺陷并标记弯曲缺陷的位置。
进一步的，所述根据最小外接矩形的长边方向判断遮光板的倾斜缺陷，具体为：
以最小外接矩形的长边方向作为遮光板的倾斜判断基准，获取长边方向的角度并判断长边方向的角度是否大于第一角度，若大于则判断遮光板倾斜并标记遮光板的位置。
进一步的，在进行缺失缺陷的判断时，根据图像的缩放关系对图像尺寸进行调整以确定实际间隔。
本发明还公开了一种道路两侧设施的缺陷检测装置，包括：图像采集模块、图像分割模块、缺陷分析模块和结果输出模块；
所述图像采集模块，用于获取道路两侧设施的图像；
所述图像分割模块，用于将获取到的图像输入到训练好的图像分割网络，得到护栏掩膜和遮光板掩膜；
所述缺陷分析模块，用于对护栏掩膜沿列方向进行遍历搜索并采集候选边缘点，通过随机抽样一致算法选择护栏边界内点并通过最小二乘法拟合边界直线；根据所有候选边缘点到拟合边界的距离判断是否存在缺陷，候选边缘点为掩膜边缘的像素点；对遮光板掩膜进行边缘检测，得到每个遮光板的边缘轮廓信息，根据每个遮光板的边缘轮廓信息得到每个遮光板的最小外接矩形，根据最小外接矩形的长边方向判断遮光板的倾斜缺陷；对边缘轮廓信息从左到右进行排序，并计算相邻两个独立个体的中心点的距离是否大于预设的间隔，若大于则遮光板存在缺失缺陷；
所述结果输出模块，用于将缺陷分析模块所得到的缺陷输出。
进一步的，所述图像分割网络的图像分割流程包括：
图像经过卷积网络采样后分为两个分支结构进行深度采样；
第一支由五个不同大小的卷积核的池化层提取深度语义特征，得到五个相对应的特征图，然后通过1x1的卷积对五个特征图进行融合得到第一中间特征图；
第二支由1x1的卷积核深化特征图中的目标定位信息得到第二中间特征图；
将上采样后的第一中间特征图和第二中间特征图合并，然后对合并结果进行3x3的卷积和上采样得到护栏掩膜、遮光板掩膜和背景掩膜。
进一步的，所述根据所有候选边缘点到拟合边界的距离判断是否存在检测缺陷，具体为：
当候选边缘点到拟合边界的距离大于第一阈值时，判断护栏存在断裂缺陷并标记断裂缺陷的位置；当候选边缘点到拟合边界的距离小于第一阈值大于第二阈值时，判断护栏存在弯曲缺陷并标记弯曲缺陷的位置。
进一步的，所述根据最小外接矩形的长边方向判断遮光板的倾斜缺陷，具体为：
以最小外接矩形的长边方向作为遮光板的倾斜判断基准，获取长边方向的角度并判断长边方向的角度是否大于第一角度，若大于则判断遮光板倾斜并标记遮光板的位置。
本发明实施例一种道路两侧设施的缺陷检测方法及装置与现有技术相比，其有益效果在于：通过图像分割网络和视觉算法相结合的方式检测高速公路护栏、遮光板的损坏信息，实现自动化检测，提高了检测效率也保障了道路的通行效率；实现了护栏和遮光板的同时检测，不需要分别对两侧的图像进行采集，进一步提高了道路两侧设施的检测效率。
附图说明
图1是本发明一种道路两侧设施的缺陷检测方法的第一流程示意图；
图2是本发明一种道路两侧设施的缺陷检测方法的第二流程示意图；
图3是本发明一种道路两侧设施的缺陷检测方法的中图像分割流程；
图4是本发明一种道路两侧设施的缺陷检测方法中护栏缺陷检测的流程示意图；
图5是本发明一种道路两侧设施的缺陷检测方法中遮光板缺陷检测的流程示意图；
图6是本发明一种道路两侧设施的缺陷检测装置的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1：
如图1和图2所示，本发明公开了一种道路两侧设施的缺陷检测方法，包括：
步骤S1，获取道路两侧设施的图像，并将图像输入到训练好的图像分割网络，得到护栏掩膜和遮光板掩膜；
步骤S2，根据得到的护栏掩膜和遮光板掩膜判断护栏和遮光板是否存在缺陷，具体为：
对护栏掩膜沿列方向进行遍历搜索并采集候选边缘点，通过随机抽样一致算法选择护栏边界内点并通过最小二乘法拟合边界直线；根据所有候选边缘点到拟合边界的距离判断是否存在缺陷，候选边缘点为掩膜边缘的像素点；
对遮光板掩膜进行边缘检测，得到每个遮光板的边缘轮廓信息，根据每个遮光板的边缘轮廓信息得到每个遮光板的最小外接矩形，根据最小外接矩形的长边方向判断遮光板的倾斜缺陷；对边缘轮廓信息从左到右进行排序，并计算相邻两个独立个体的中心点的距离是否大于预设的间隔，若大于则遮光板存在缺失缺陷。
现有技术中还存在的技术缺陷为：没有对高速公路两侧的护栏、遮光板进行同时检测和判断，一般是分开进行检测，这就造成了检测效率低；同时检测出的缺陷需要人工记录，不能及时有效的进行标注，缺乏时效性。
在本实施例的步骤S1中，对于图像的采集，检测车的摄像头所拍摄的道路前向图像为基础，进一步的摄像头可以设置到检测车的前方。方便同时对道路两侧的图像进行采集。本领域技术人员也可以采用其它的设备进行图像的采集，采集图像完成后输入到训练好的图像分割网络即可。
参照图3，在本实施例的步骤S1中，所述图像分割网络的图像分割流程包括：
图像经过卷积网络采样后分为两个分支结构进行深度采样；
第一支由五个不同大小的卷积核的池化层提取深度语义特征，得到五个相对应的特征图，然后通过1x1的卷积对五个特征图进行融合得到第一中间特征图；
第二支由1x1的卷积核深化特征图中的目标定位信息得到第二中间特征图；
将上采样后的第一中间特征图和第二中间特征图合并，然后对合并结果进行3x3的卷积和上采样得到护栏掩膜、遮光板掩膜和背景掩膜。
在本实施例中，输入的原始图像经过卷积网络采样后，分为两个分支结构进行深度采样，其中一支经过由5个不同大小的卷积核的池化层抽取深度语义特征，得到5个相对应的特征图，再经由一个1x1的卷积对五个通道的特征进行融合；第二支经由1x1的卷积核深化特征图中的目标定位信息。两分支进行合并后，使特征图中可以同时融合强语义特征和强定位特征，从使网络快速提取相应的像素掩膜。掩膜流程上，在特征图上逐步进行上采样，对每个像素点的归属类别进行判断，从而得到相应类别的掩膜分布数据。
在本实施例中，将图像输入至训练完成的图像分割网络，图像分割网络通过卷积的方法归纳被测物体的抽象特征，并以逐像素点的方式对每个像素进行归类判断，最后输出相应类别的图像掩膜信息。分类信息中，本发明将图像的分割识别设定三类：护栏、遮光板、背景，
在本实施例中，所述背景掩膜为一切不属于需要检测的目标的像素点集合。
在本实施例中，通过将图像分割识别分成三类可以有效的剔除背景对护栏掩膜和遮光板掩膜的影响，提高护栏掩膜和遮光板掩膜的缺陷检测准确性。
在本实施例的步骤S2中，包括了对护栏和遮光板的缺陷检测，这两种检测是同时进行的，且使用的是同一图像所输出的护栏掩膜和遮光板掩膜。
步骤S2的具体实施方式包括：
对护栏区域沿列方向进行遍历搜索，通过随机抽样一致算法选择最优的护栏边界内点，以及通过最小二乘法拟合最优边界直线。根据所有候选边缘点到拟合边界的距离来确定是否存在断裂和弯曲，所述候选边缘点为掩膜边缘的像素点。当候选边缘点到直线的距离大于高阈值T1，则认为在该像素对应的图像一列存在贯穿护栏的断裂损伤，从而确定断裂区域位置。当候选边缘点到直线的距离在低阈值T2和高阈值T1之间的话，则认为其是弯曲边界上的像素，从而确定护栏弯曲区域。
在提取出遮光板的掩膜图像之后，对整个掩膜进行边缘检测，拿到每个独立个体的边缘轮廓信息，按从左向右进行排序。然后计算每个独立轮廓的最小外接矩形，此时以最小外接矩形的长边方向作为遮光板的倾斜判断基准，计算其角度从而得到遮光板的倾斜角度。如果倾斜角度大于设定的角度值α，则标记该位置存在遮光板倾斜。其次，对于从左向右的遮光板掩膜轮廓，分别计算中心点的水平位置，按从左向右依次计算相领两个中心点的距离，从而判断是否存在缺失。判断缺失时，根据图像的缩放关系，从近向远在尺度上有一定的缩小，所以计算中心点距离时还需要将图像变换关系引入以确定实际的间隔。
参照图4，在本实施例中，所述根据所有候选边缘点到拟合边界的距离判断是否存在检测缺陷，具体为：
当候选边缘点到拟合边界的距离大于第一阈值时，判断护栏存在断裂缺陷并标记断裂缺陷的位置；当候选边缘点到拟合边界的距离小于第一阈值大于第二阈值时，判断护栏存在弯曲缺陷并标记弯曲缺陷的位置。
参照图5，在本实施例中，所述根据最小外接矩形的长边方向判断遮光板的倾斜缺陷，具体为：
以最小外接矩形的长边方向作为遮光板的倾斜判断基准，获取长边方向的角度并判断长边方向的角度是否大于第一角度，若大于则判断遮光板倾斜并标记遮光板的位置。
在本实施例中，在进行缺失缺陷的判断时，根据图像的缩放关系对图像尺寸进行调整以确定实际间隔。
本发明可以自动化检测高速道路中的护栏和遮光板，并对其中存在的缺陷进行判断和定位，具有快速、准确的特点，可以应用于各种便携式设备上，不受场地、天气、环境等因素影响，具有较好的鲁棒性。
本发明通过图像分割网络和视觉算法相结合的方式检测高速公路护栏、遮光板的损坏信息，实现自动化检测，提高了检测效率也保障了道路的通行效率；实现了护栏和遮光板的同时检测，不需要分别对两侧的图像进行采集，进一步提高了道路两侧设施的检测效率。
实施例2：
参照图6，本发明还公开了一种道路两侧设施的缺陷检测装置，包括：图像采集模块101、图像分割模块102、缺陷分析模块103和结果输出模块104；
所述图像采集模块101，用于获取道路两侧设施的图像；
所述图像分割模块102，用于将获取到的图像输入到训练好的图像分割网络，得到护栏掩膜和遮光板掩膜；
所述缺陷分析模块103，用于对护栏掩膜沿列方向进行遍历搜索并采集候选边缘点，通过随机抽样一致算法选择护栏边界内点并通过最小二乘法拟合边界直线；根据所有候选边缘点到拟合边界的距离判断是否存在缺陷，候选边缘点为掩膜边缘的像素点；对遮光板掩膜进行边缘检测，得到每个遮光板的边缘轮廓信息，根据每个遮光板的边缘轮廓信息得到每个遮光板的最小外接矩形，根据最小外接矩形的长边方向判断遮光板的倾斜缺陷；对边缘轮廓信息从左到右进行排序，并计算相邻两个独立个体的中心点的距离是否大于预设的间隔，若大于则遮光板存在缺失缺陷。
所述结果输出模块104，用于将缺陷分析模块所得到的缺陷输出。
在本实施例中，所述图像分割网络的图像分割流程包括：
图像经过卷积网络采样后分为两个分支结构进行深度采样；
第一支由五个不同大小的卷积核的池化层提取深度语义特征，得到五个相对应的特征图，然后通过1x1的卷积对五个特征图进行融合得到第一中间特征图；
第二支由1x1的卷积核深化特征图中的目标定位信息得到第二中间特征图；
将上采样后的第一中间特征图和第二中间特征图合并，然后对合并结果进行3x3的卷积和上采样得到护栏掩膜、遮光板掩膜和背景掩膜。
在本实施例中，所述根据所有候选边缘点到拟合边界的距离判断是否存在检测缺陷，具体为：
当候选边缘点到拟合边界的距离大于第一阈值时，判断护栏存在断裂缺陷并标记断裂缺陷的位置；当候选边缘点到拟合边界的距离小于第一阈值大于第二阈值时，判断护栏存在弯曲缺陷并标记弯曲缺陷的位置。
在本实施例中，所述根据最小外接矩形的长边方向判断遮光板的倾斜缺陷，具体为：
以最小外接矩形的长边方向作为遮光板的倾斜判断基准，获取长边方向的角度并判断长边方向的角度是否大于第一角度，若大于则判断遮光板倾斜并标记遮光板的位置。
实施例2是在实施例1的基础上撰写的，本领域技术人员可以自行根据实施例1的检测方法实施检测装置。由于实施例1中的说明和限定同样可以用于解释和说明实施例2的检测装置，因此不在实施例2中重复说明这些技术内容。
综上，本发明实施例提供一种道路两侧设施的缺陷检测方法及装置与现有技术相比，其有益效果在于：通过图像分割网络和视觉算法相结合的方式检测高速公路护栏、遮光板的损坏信息，实现自动化检测，提高了检测效率也保障了道路的通行效率；实现了护栏和遮光板的同时检测，不需要分别对两侧的图像进行采集，进一步提高了道路两侧设施的检测效率。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims (8)

1.一种道路两侧设施的缺陷检测方法，其特征在于，包括：
获取道路两侧设施的图像，并将图像输入到训练好的图像分割网络，得到护栏掩膜和遮光板掩膜；
根据得到的护栏掩膜和遮光板掩膜判断护栏和遮光板是否存在缺陷，具体为：
对护栏掩膜沿列方向进行遍历搜索并采集候选边缘点，通过随机抽样一致算法选择护栏边界内点并通过最小二乘法拟合边界直线；根据所有候选边缘点到拟合边界的距离判断是否存在缺陷，候选边缘点为掩膜边缘的像素点；
对遮光板掩膜进行边缘检测，得到每个遮光板的边缘轮廓信息，根据每个遮光板的边缘轮廓信息得到每个遮光板的最小外接矩形，根据最小外接矩形的长边方向判断遮光板的倾斜缺陷；对边缘轮廓信息从左到右进行排序，并计算相邻两个独立个体的中心点的距离是否大于预设的间隔，若大于则遮光板存在缺失缺陷；
所述根据所有候选边缘点到拟合边界的距离判断是否存在检测缺陷，具体为：
当候选边缘点到拟合边界的距离大于第一阈值时，判断护栏存在断裂缺陷并标记断裂缺陷的位置；当候选边缘点到拟合边界的距离小于第一阈值大于第二阈值时，判断护栏存在弯曲缺陷并标记弯曲缺陷的位置。
2.根据权利要求1所述的一种道路两侧设施的缺陷检测方法，其特征在于，所述图像分割网络的图像分割流程包括：
图像经过卷积网络采样后分为两个分支结构进行深度采样；
第一支由五个不同大小的卷积核的池化层提取深度语义特征，得到五个相对应的特征图，然后通过1x1的卷积对五个特征图进行融合得到第一中间特征图；
第二支由1x1的卷积核深化特征图中的目标定位信息得到第二中间特征图；
将上采样后的第一中间特征图和第二中间特征图合并，然后对合并结果进行3x3的卷积和上采样得到护栏掩膜、遮光板掩膜和背景掩膜。
3.根据权利要求2所述的一种道路两侧设施的缺陷检测方法，其特征在于，所述背景掩膜为一切不属于需要检测的目标的像素点集合。
4.根据权利要求1所述的一种道路两侧设施的缺陷检测方法，其特征在于，所述根据最小外接矩形的长边方向判断遮光板的倾斜缺陷，具体为：
以最小外接矩形的长边方向作为遮光板的倾斜判断基准，获取长边方向的角度并判断长边方向的角度是否大于第一角度，若大于则判断遮光板倾斜并标记遮光板的位置。
5.根据权利要求1所述的一种道路两侧设施的缺陷检测方法，其特征在于，在进行缺失缺陷的判断时，根据图像的缩放关系对图像尺寸进行调整以确定实际间隔。
6.一种道路两侧设施的缺陷检测装置，其特征在于，包括：图像采集模块、图像分割模块、缺陷分析模块和结果输出模块；
所述图像采集模块，用于获取道路两侧设施的图像；
所述图像分割模块，用于将获取到的图像输入到训练好的图像分割网络，得到护栏掩膜和遮光板掩膜；
所述缺陷分析模块，用于对护栏掩膜沿列方向进行遍历搜索并采集候选边缘点，通过随机抽样一致算法选择护栏边界内点并通过最小二乘法拟合边界直线；根据所有候选边缘点到拟合边界的距离判断是否存在缺陷，候选边缘点为掩膜边缘的像素点；对遮光板掩膜进行边缘检测，得到每个遮光板的边缘轮廓信息，根据每个遮光板的边缘轮廓信息得到每个遮光板的最小外接矩形，根据最小外接矩形的长边方向判断遮光板的倾斜缺陷；对边缘轮廓信息从左到右进行排序，并计算相邻两个独立个体的中心点的距离是否大于预设的间隔，若大于则遮光板存在缺失缺陷；
所述结果输出模块，用于将缺陷分析模块所得到的缺陷输出；
所述根据所有候选边缘点到拟合边界的距离判断是否存在检测缺陷，具体为：
当候选边缘点到拟合边界的距离大于第一阈值时，判断护栏存在断裂缺陷并标记断裂缺陷的位置；当候选边缘点到拟合边界的距离小于第一阈值大于第二阈值时，判断护栏存在弯曲缺陷并标记弯曲缺陷的位置。
7.根据权利要求6所述的一种道路两侧设施的缺陷检测装置，其特征在于，所述图像分割网络的图像分割流程包括：
图像经过卷积网络采样后分为两个分支结构进行深度采样；
第一支由五个不同大小的卷积核的池化层提取深度语义特征，得到五个相对应的特征图，然后通过1x1的卷积对五个特征图进行融合得到第一中间特征图；
第二支由1x1的卷积核深化特征图中的目标定位信息得到第二中间特征图；
将上采样后的第一中间特征图和第二中间特征图合并，然后对合并结果进行3x3的卷积和上采样得到护栏掩膜、遮光板掩膜和背景掩膜。
8.根据权利要求6所述的一种道路两侧设施的缺陷检测装置，其特征在于，所述根据最小外接矩形的长边方向判断遮光板的倾斜缺陷，具体为：
以最小外接矩形的长边方向作为遮光板的倾斜判断基准，获取长边方向的角度并判断长边方向的角度是否大于第一角度，若大于则判断遮光板倾斜并标记遮光板的位置。
CN202210462435.2A 2022-04-29 2022-04-29 一种道路两侧设施的缺陷检测方法及装置 Active CN114565771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210462435.2A CN114565771B (zh) 2022-04-29 2022-04-29 一种道路两侧设施的缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210462435.2A CN114565771B (zh) 2022-04-29 2022-04-29 一种道路两侧设施的缺陷检测方法及装置

Publications (2)

Publication Number Publication Date
CN114565771A CN114565771A (zh) 2022-05-31
CN114565771B true CN114565771B (zh) 2022-07-26

Family

ID=81721372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210462435.2A Active CN114565771B (zh) 2022-04-29 2022-04-29 一种道路两侧设施的缺陷检测方法及装置

Country Status (1)

Country Link
CN (1) CN114565771B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082436B (zh) * 2022-07-22 2022-11-08 山东易斯特工程工具有限公司 一种盾构机刀头生产缺陷检测方法
CN115409839B (zh) * 2022-11-01 2023-02-21 北京闪马智建科技有限公司 基于像素分析模型的道路声屏障隐患识别方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204405064U (zh) * 2015-02-03 2015-06-17 长安大学 一种基于立体摄影测量的道路沿线设施检测***

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934803B (zh) * 2017-03-13 2019-12-06 珠海格力电器股份有限公司 电子器件表面缺陷的检测方法及装置
CN109239076B (zh) * 2018-08-29 2021-04-06 西安理工大学 一种基于机器视觉的缝纫线迹缺陷检测方法
CN112147147B (zh) * 2019-06-26 2023-12-22 杭州海康机器人股份有限公司 边缘缺陷检测方法和边缘缺陷检测装置以及质量检测设备
CN111896556B (zh) * 2020-08-04 2021-05-28 湖南大学 一种基于机器视觉的玻璃瓶底缺陷检测方法及***
CN112598672A (zh) * 2020-11-02 2021-04-02 坝道工程医院(平舆) 一种基于深度学习的路面病害图像分割方法和***
CN113989196A (zh) * 2021-10-07 2022-01-28 博科视(苏州)技术有限公司 一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法
CN114155518A (zh) * 2021-11-08 2022-03-08 西安西光产业发展有限公司 基于深度语义分割网络和图像矫正的高速路遮光板倾斜识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204405064U (zh) * 2015-02-03 2015-06-17 长安大学 一种基于立体摄影测量的道路沿线设施检测***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的货车侧面防护装置检测***研究;王英军;《中国优秀博硕士学位论文全文数据库(硕士)》;20170415(第04期);第1-86页 *

Also Published As

Publication number Publication date
CN114565771A (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN114565771B (zh) 一种道路两侧设施的缺陷检测方法及装置
Zhang et al. Automatic pavement defect detection using 3D laser profiling technology
Wang et al. Extraction of urban building damage using spectral, height and corner information from VHR satellite images and airborne LiDAR data
CN105488454B (zh) 基于单目视觉的前方车辆检测与测距
Tran et al. One stage detector (RetinaNet)-based crack detection for asphalt pavements considering pavement distresses and surface objects
US6453056B2 (en) Method and apparatus for generating a database of road sign images and positions
Huertas et al. Detecting buildings in aerial images
Yu et al. Automated detection of urban road manhole covers using mobile laser scanning data
CN110675415B (zh) 一种基于深度学习增强实例分割的道路积水区域检测方法
Hadjigeorgiou et al. An evaluation of image analysis algorithms for constructing discontinuity trace maps
Youn et al. Extracting urban road networks from high-resolution true orthoimage and lidar
Hassan et al. Detecting patches on road pavement images acquired with 3D laser sensors using object detection and deep learning
CN117474870B (zh) 一种基于大数据筛选的公路路面裂缝识别决策方法及***
Wang et al. Crack junction detection in pavement image using correlation structure analysis and iterative tensor voting
Gao et al. Intelligent crack damage detection system in shield tunnel using combination of retinanet and optimal adaptive selection
CN116091456A (zh) 一种行车道路能见度检测方法
CN113569943A (zh) 一种基于深度神经网络的渣片大块预警方法、***及装置
Ho et al. Automatic image recognition of pavement distress for improving pavement inspection
Kaddah et al. Ongoing Studies for Automatic Road Anomalies Detection on 2D and 3D Pavement Images
Maharjan et al. Automatic Vehicle Detection and Road Traffic Congestion Mapping with Image Processing Technique
Wright Pseudo feature point registration of pavement images
Wang et al. Exploration of using GDOT's existing videolog images and pavement surface imaging data to support statewide maintenance practices
Ahmed et al. Iraqi license plate detection using edges and contours with different acquisition conditions
Koutaki et al. Road updating from high resolution aerial imagery using road intersection model
Aeri Pavement Crack Detection Algorithm Based on Densely Connected and Deeply Supervised Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant