CN113313107B - 一种斜拉桥缆索表面多类型病害智能检测和识别方法 - Google Patents

一种斜拉桥缆索表面多类型病害智能检测和识别方法 Download PDF

Info

Publication number
CN113313107B
CN113313107B CN202110446806.3A CN202110446806A CN113313107B CN 113313107 B CN113313107 B CN 113313107B CN 202110446806 A CN202110446806 A CN 202110446806A CN 113313107 B CN113313107 B CN 113313107B
Authority
CN
China
Prior art keywords
cable
stayed bridge
image
cylindrical
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110446806.3A
Other languages
English (en)
Other versions
CN113313107A (zh
Inventor
周朗明
万智
胡帅花
陈晓辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Qiaokang Intelligent Technology Co ltd
Original Assignee
Hunan Qiaokang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Qiaokang Intelligent Technology Co ltd filed Critical Hunan Qiaokang Intelligent Technology Co ltd
Priority to CN202110446806.3A priority Critical patent/CN113313107B/zh
Publication of CN113313107A publication Critical patent/CN113313107A/zh
Application granted granted Critical
Publication of CN113313107B publication Critical patent/CN113313107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种斜拉桥缆索表面多类型病害智能检测和识别方法，包括如下步骤：S1：通过自动化设备采集斜拉桥缆索表观状态图像信息；S2：基于图像预处理算法去除斜拉桥缆索图像中的背景，建立斜拉桥缆索表观状态图像信息数据库；S3：基于神经网络搭建斜拉桥缆索多类型病害检测模型；S4：训练斜拉桥缆索多类型病害检测模型；S5：预测斜拉桥缆索图像，确定其病害类别和像素坐标信息。本发明提供的一种斜拉桥缆索表面多类型病害智能检测和识别方法可以快速准确的识别出缆索表面多类型病害，借助自动化采集设备提供的信息，精准定位病害在斜拉桥缆索上的位置，解决了人工检测斜拉桥缆索表观病害高成本，高危险，低效率，低精度等问题。

Description

一种斜拉桥缆索表面多类型病害智能检测和识别方法
技术领域
本发明涉及桥梁工程检测技术和计算机视觉技术领域，尤其涉及一种斜拉桥缆索表面多类型病害智能检测和识别方法。
背景技术
斜拉桥作为现代桥梁的一种新型桥型，逐渐成为大跨度桥梁的主要形式。在我国，由于大跨径斜拉桥载荷分布结构合理、抗震性能好且建设成本较低的特点，其已经成为国内大型桥梁的最主要形式。
斜拉桥缆索的表观腐蚀损伤是大多数斜拉桥发生事故的主要原因，特别是拉索内部钢丝的生锈腐蚀、断丝失效等病害，在斜拉桥的检测与维护中，也一直把缆索的表观检测与防护问题作为重要的检测内容。
斜拉桥缆索常规检查方法包括两种：人工检测法、吊篮检测法。人工检测法通过桥梁维护人员目测或通过携带检测设备对斜拉索表面进行检查，以发现并反馈斜拉索的表面的破损，此法主观性较强，检测效率较低，且存在一定的危险性；至于吊篮检测和维护法，需高空作业，不仅成本高、效率低、危险性大且影响正常的交通通行。
重庆大学周忆教授的团队设计了一套缆索表面缺陷检测***使用canny算子提取缺陷边缘，使用模糊集合方法对图像进行特征识别，最后基于图像的灰度和形状特征进行缺陷的分类，不能区分缆索表面附着物和缺陷。东南大学的徐丰羽团队设计了一套缆索表面损伤检测***使用边缘检测算法提取缺陷轮廓，然后基于缺陷面积大小对缺陷进行判定，未对缺陷进行分类。以上两套缺陷检测***都是基于传统的图像处理方法对缆索表面缺陷进行检测，对于缺陷的分类，表面附着物和缺陷的区分都有待优化和完善。
此外，斜拉桥缆索图像采集是在室外进行，由于受光照不均匀和复杂背景的影响，采集的图像会有曝光、阴影、背景和缆索灰度差异不明显等情况。为了提高病害检测和识别的精度，本发明在进行深度学习网络训练和检测前先对斜拉桥缆索图像进行预处理，将斜拉桥缆索目标和背景分割，并通过直方图均衡化调整图像对比度；斜拉桥缆索是圆柱体，在成像过程中会发生表面纹理的畸变，曲面在拍摄时会压缩图像的表面面积，不利于病害的检测和识别。
深度学习是一种基于对数据进行表征学习的方法，组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。对图像分类的研究中，大多数特征提取过程是人工设计的，通过浅层学习获得图像底层特征，与图像高级主题间还存在很大的“语义鸿沟”。而深度学习利用设定好的网络结构，完全从训练数据中学习图像的层级结构性特征，能够提取更加接近图像高级语义的抽象特征，因此在图像识别上的表现远远超过传统方法。
名词解释：
均值漂移算法：是一种用于寻求样本数据集中模值点的非参数统计迭代算法，也是一种无参数核密度估计的迭代算法。其核心是对图像特征空间的样本点进行聚类，样本点沿着概率密度梯度上升方向收敛于值为零的点即模值点处。
洪水填充算法：也称为种子填充，是一个从区域中提取若干个连通的点与其他相邻区域区分开的算法。
Canny算子：是一种边缘检测算法，具有很好的信噪比和检测精度。其原理是对输入图像进行高斯平滑，降低错误率。计算梯度幅度和方向来估计每一点处的边缘强度与方向，根据梯度方向，对梯度幅值进行非极大值抑制。最后用双阈值处理检测和连接边缘。
直线段检测器(LSD)算法：是一种线段检测算法，该方法能在较短的时间内获得亚像素级精度的直线段检测结果。计算图像中所有点的梯度大小和方向，将梯度方向变化小且相邻的点作为一个连通域，根据每一个域的矩形度判断是否需要按照规则将其断开以形成多个矩形度较大的域，最后对生成的所有的域做改善和筛选，保留其中满足条件的域，即为最后的直线检测结果。该算法的优点在于检测速度快，而且无需参数调节，利用错误控制的方法，提高直线检测的准确度。
直方图均衡化算法：是一种图像增强算法，均衡化原始图像的灰度值，对在图像中像素个数较少的灰度级进行缩减，而对图像中像素个数较多的灰度级进行扩宽，使图像对应的直方图为均匀分布的形式。从而增大对比度，使图像细节清晰，实现图像空间增强。
柱面反投影：是将柱面表面的某个特定的观察区域投影到柱面的切平面上的过程。
发明内容
基于上述背景现状，本发明的目的在于提供一种斜拉桥缆索表面多类型病害智能检测和识别方法，采用自动化设备实现对斜拉索保护层的表面状况进行100％无损检测，借助图像预处理算法和深度学***面，便于后续斜拉桥缆索表面病害检测和识别；解决了病害分类、缆索表面附着物和病害的区分等问题，大幅提高工作效率和安全性、降低维护成本，具有良好的应用前景，同时也将创造巨大的经济价值和社会价值。
本发明提出一种基于相机标定的空间几何信息与图像信息。
一种斜拉桥缆索表面多类型病害智能检测和识别方法，包括如下步骤：
S1：采集斜拉桥缆索表观状态图像，所述斜拉桥缆索表观状态图像用于体现斜拉桥缆索360°的完整表观状态图像；所述斜拉桥缆索表观状态图像包括至少四个不同方向采集的图像；
S2：基于图像预处理算法去除斜拉桥缆索图像中的背景，采用柱面展开算法对圆柱形缆索图像进行校正，得到圆柱形缆索图像；对圆柱形缆索图像上的病害进行人工标注，建立斜拉桥缆索表观状态图像信息数据库；
S3：将斜拉桥缆索表观状态图像信息数据库分为训练集和验证集，将训练集输入神经网络进行训练，训练得到斜拉桥缆索多类型病害检测模型；
S4：斜拉桥缆索多类型病害检测模型，在验证集上评估模型，选取精度最高的斜拉桥缆索多类型病害检测模型作为最终的斜拉桥缆索多类型病害检测模型；
S5：采集待检测斜拉桥缆索的斜拉桥缆索表观状态图像，然后根据步骤S2得到待检测斜拉桥缆索的圆柱形缆索图像，将待检测斜拉桥缆索的圆柱形缆索图像输入最终的斜拉桥缆索多类型病害检测模型得到病害的类别和像素坐标位置信息。
进一步的改进，所述步骤S2中，圆柱形缆索图像上的病害包括划痕、损伤、剥落掉线。
进一步的改进，所述基于图像预处理算法去除斜拉桥缆索图像中的背景，建立斜拉桥缆索表观状态图像信息数据库，具体包括如下步骤：
S2.1：对步骤S1中采集的斜拉桥缆索表观状态图像信息进行色彩抖动、缩放、添加高斯噪声进行数据增强，增加表观状态图像数量；
S2.2：采用均值漂移和洪水填充法对步骤S2.1中获得的表观状态图像进行预分割，将不同区域分割出来；
S2.3：利用边缘检测Canny算子对预分割图像进行边缘提取；
S2.4：利用直线段检测器算法对提取边缘后的图像检测直线；
S2.5：用外部矩形边界拟合直线，提取缆索边界；
S2.6：根据S2.5提取的缆索边界，清除缆索外的背景，并用白色填充背景，得到圆柱形缆索图像；
S2.7：通过直方图匹配算法调整图像的明亮度；
S2.8：通过柱面展开算法对圆柱形缆索图像进行校正；
S2.9：使用labelImg软件标注校正后的斜拉桥缆索图像，标注病害的类别和像素坐标位置信息获得正样本，寻找易混淆的假病害当作负样本，负样本不需要标注任何信息；
S2.10：将正负样本组成斜拉桥缆索表观状态图像信息数据库，通过随机抽样将数据库按9:1的比例划分为训练集和验证集，训练集用于训练模型，验证集用于评估模型质量。
进一步的改进，所述的柱面展开算法对圆柱形缆索图像进行校正包括如下步骤：
设圆柱形缆索图像是一个理想的圆柱体图像，并沿母线方向展开，采用柱面反投影将相机拍摄的柱面表面观察区投影到二维平面上形成二维图像。以圆柱体圆心Ow为坐标原点建立三维坐标系，沿相机光心Oc方向为Zw轴，垂直于OcOw的平面的水平方向为Xw轴，垂直方向为Yw轴；取圆柱体图像表面上的任意一点对应于投影的二维图像上点/>设为圆柱体半径r，相机光心Oc到投影的二维图像的距离为f，相机光心Oc到圆柱体圆心Ow的距离为g；点P的计算公式如下：
角θ为柱面目标上点P投影到XwZw轴平面与Xw轴成的夹角，d是圆柱体图像上点P到XwZw轴平面的垂直距离；设点P在XwZw轴平面的投影为点C，点C投影到Zw轴为点A，Zw轴和OcOw在同一直线上，故CA垂直于OcOw；相机光心Oc到圆柱体圆心Ow的连线与投影的二维平面垂直且相交于点a，以a为原点，水平方向为X轴，垂直方向为Y轴建立二维坐标系；设点P'在X轴上的投影为点c，ca垂直于OcOw；根据相似三角形原理，在柱面目标中心位于图像中心的前提下，有如下结果：
其中,m为柱面目标的高，h为投影的二维图像的宽，w为投影的二维图像的长，g为柱面目标的中心Ow到相机光心Oc的距离；
由公式(2)(3)推出二维点p'的坐标：
根据公式(4)将圆柱形缆索图像映射到二维平面内，实现校正。
进一步的改进，步骤S1中，通过自动化设备采集斜拉桥缆索表观状态图像信息，所述自动化采集设备有4个摄像头，4个摄像头360°拍摄圆柱形斜拉缆索的完整表观状态图像。
附图说明
图1为本发明提供的一种斜拉桥缆索表面多类型病害智能检测和识别方法流程图；
图2为本发明提供的去背景算法效果图；(a)原始图像；(b)预分割图像；(c)边缘检测图像；(d)线段检测图像；(e)边界拟合图像；(f)背景消除和直方图均衡化图像。
图3为本发明提供的柱面物体成像几何关系；
图4为本发明提供的圆柱面校正结果展示图；(a)拍摄的柱面图像；(b)校正后的柱面图像；
图5为本发明提供的模型网络结构图；
图6为本发明提供的模型训练流程图；
图7为本发明提供的斜拉桥缆索表面病害检测结果；(a)划痕检测结果；(b)损伤检测结果；(c)剥落检测结果。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。本领域普通技术人员在基于本发明的实施例没有做出创造性劳动的前提下所获得的其它实施例，都属于本发明保护的范围。
如图1所示，本发明提供的一种斜拉桥缆索表面多类型病害智能检测和识别方法，包括如下步骤：
S1：通过自动化设备采集斜拉桥缆索表观状态图像信息；
在斜拉桥缆索表观状态检测任务中，构建表观状态数据库是非常重要的，数据库的好坏对检测算法的效果有很大的影响。人工拍摄采集的斜拉桥缆索表观状态图像数据数量少，成本高，不全面，因此本发明采用自动化采集设备来自动全方位的获取斜拉桥缆索表观状态图像数据，该自动化采集设备有4个摄像头，4个摄像头能够360°拍摄圆柱形斜拉缆索的完整表观状态图像，采集后的图像通过无线网络传回地面储存设备中；
S2：基于图像预处理算法去除斜拉桥缆索图像中的背景，采用柱面展开算法对圆柱形缆索图像进行校正，建立斜拉桥缆索表观状态图像信息数据库；
在上述技术方案的基础上，所述步骤S2具体包括：
S2.1：对步骤S1中采集的表观状态图像信息进行色彩抖动、缩放、添加高斯噪声等数据增强，增加表观状态图像数量，其中色彩抖动数值的变化范围在[-0.1，+0.1]之间，缩放的尺寸为原始图像的0.25，0.5，0.75，1.25，1.5，1.75，2.0倍，高斯噪声是以0.2为均值，0.3为标准差的随机数值。
S2.2：采用均值漂移和洪水填充法对步骤S2.1中获得的图像进行预分割，将不同区域分割出来，首先用均值漂移算法对图像进行分割，之后用洪水填充算法对不同分割区域着色；
S2.3：利用边缘检测Canny算子对预分割图像进行边缘提取，首先将预分割图像转化成灰度图，之后使用边缘检测Canny算子从灰度图中提取边缘，获得二值边缘提取结果图；
S2.4：利用直线段检测器(LSD)算法对提取边缘后的图像检测直线；
S2.5：用外部矩形边界拟合直线，提取缆索边界；缆索是一个圆柱体，采集的缆索图像的边界应该是相对平行的，求S2.4中检测的直线的斜率，筛选出平行的线段。计算平行线段之间的距离，根据相机到缆索的距离固定，缆索两条边之间的距离在一定范围内这一约束筛选出缆索边界；根据统计，本实施例中缆索两条边之间的距离d的范围为w是采集的图像的宽。
S2.6：根据S2.5提取的缆索边界，清除缆索外的背景，并用白色填充背景；
S2.7：通过直方图匹配算法调整图像的对比度，去背景算法效果图如图2所示；
S2.8：通过柱面展开算法对圆柱形缆索图像进行校正；
设圆柱形缆索图像是一个理想的圆柱体图像，并沿母线方向展开，采用柱面反投影将相机拍摄的柱面表面观察区投影到二维平面上形成二维图像。以圆柱体圆心Ow为坐标原点建立三维坐标系，沿相机光心Oc方向为Zw轴，垂直于OcOw的平面的水平方向为Xw轴，垂直方向为Yw轴；取圆柱体图像表面上的任意一点对应于投影的二维图像上点设为圆柱体半径r，相机光心Oc到投影的二维图像的距离为f，相机光心Oc到圆柱体圆心Ow的距离为g；点P的计算公式如下：
角θ为柱面目标上点P投影到XwZw轴平面与Xw轴成的夹角，d是圆柱体图像上点P到XwZw轴平面的垂直距离；设点P在XwZw轴平面的投影为点C，点C投影到Zw轴为点A，Zw轴和OcOw在同一直线上，故CA垂直于OcOw；相机光心Oc到圆柱体圆心Ow的连线与投影的二维平面垂直且相交于点a，以a为原点，水平方向为X轴，垂直方向为Y轴建立二维坐标系；设点P'在X轴上的投影为点c，ca垂直于OcOw；根据相似三角形原理，在柱面目标中心位于图像中心的前提下，有如下结果：
其中,m为柱面目标的高，h为投影的二维图像的宽，w为投影的二维图像的长，g为柱面目标的中心Ow到相机光心Oc的距离；
由公式(2)(3)推出二维点p'的坐标：
根据公式(4)将圆柱形缆索图像映射到二维平面内，实现校正。拍摄的柱面图像如图4(a)所示，通过柱面展开算法进行校正，校正后的柱面图像如图4(b)所示。
S2.9：使用labelImg软件标注校正后的斜拉桥缆索图像，标注病害的类别和像素坐标位置信息获得正样本，具体标注为在病害处绘制一个最小外接矩形，输入病害的类别，这样就会生成一个名称和图像名称相同的xml文件，该xml文件包含病害的类别和像素坐标信息，之后通过程序解析xml文件，生成模型训练所需要的txt文件；寻找易混淆的假病害当作负样本，这些负样本很大程度上增加了算法的鲁棒性，负样本不需要标注任何信息，生成空的txt文件；
S2.10：将正负样本组成斜拉桥缆索数据库，数据库共27070张图像，其中负样本图像10200张，图片格式均用JPG格式；通过随机抽样将数据库按9:1的比例划分为训练集和验证集，训练集用于训练模型，验证集用于评估模型质量；
所述斜拉桥缆索表面多类型病害包含且不限于划痕、损伤、剥落掉线；
S3：基于神经网络YOLOV5搭建斜拉桥缆索多类型病害检测模型；
图5为模型网络结构图，输入图像通过骨干网络不断提取特征，浅层特征提取几何纹理信息，深层特征提取抽象语义信息，该网络结构通过三个分支分别将浅层特征，中层特征和深层特征横向连接出来，通过融合通道将深层特征，中层特征和浅层特征融合起来，最终将三个融合了其他特征信息的浅层特征，中层特征和深层特征输出来，输出结果中包含了病害的类别信息和包围框像素坐标信息，由于模型网络结构输出融合了浅层，中层和深层特征，能够较好的识别出病害类别及其包围框。
S4：训练斜拉桥缆索多类型病害检测模型，在验证集上评估模型，获得精度最高的模型；
图6为模型训练流程图，输入训练数据，设置超参数，超参数设置具体如下：先验框尺寸通过k-means聚类算法获得，具体为anchors＝89,40,49,82,149,46,111,78,48,184,81,118,227,72,58,335,158,122，105,194，118,337，69,601，219,212，161,550，339,345；
批次大小(batch)设置为32，采用动量(Momentum)的随机梯度下降(SGD)算法，动量值设置为0.93，权重衰减系数(weight decay)设置为0.0009；初始学习率设置为0.013，在前2000次迭代中，学习率从0开始线性增长到0.013，之后以4000次迭代为周期，每个周期内学习率以cosine函数方式变化，总迭代次数为39000次。
本发明先将模型在ImageNet数据集训练样本上训练好，之后将训练好的网络模型参数初始化为斜拉桥缆索多类型病害检测模型参数，这样可以提高网络模型训练收敛速度和模型性能。
加载预训练模型进行网络训练，模型网络通过提取特征，预测病害类别及其包围框，计算损失函数值，基于反向传播算法更新模型参数，基于模型在验证集上的评测精度判断模型训练是否完成，如果评测精度收敛于某一数值则训练完成，此时保存模型参数，结束模型训练，否则模型继续训练，直到评测精度收敛为止。
S5：预测经过图像预处理去除背景后的斜拉桥缆索图像，确定其病害类别和像素坐标信息，自动化设备采集的图像使用步骤S2中的预处理算法将其背景去除，通过柱面展开算法对圆柱形缆索图像进行校正，将校正后的图像送入步骤S4训练好的模型中预测，解析输出结果，获得病害的类别和像素坐标位置信息，本发明采用去除背景的预处理算法和柱面展开算法，可以很大程度上减少背景干扰，增强图像对比度，提高算法的检测性能,图7为斜拉桥缆索表面病害检测结果；
上文所述的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并不是用以限制本发明的保护范围，在所述技术领域普通技术人员所具备的知识范围内，在不脱离本发明宗旨的前提下作出的各种变化均属于本发明的保护范围。

Claims (1)

1.一种斜拉桥缆索表面多类型病害智能检测和识别方法，其特征在于，包括如下步骤：
S1：采集斜拉桥缆索表观状态图像，所述斜拉桥缆索表观状态图像用于体现斜拉桥缆索360°的完整表观状态图像；所述斜拉桥缆索表观状态图像包括至少四个不同方向采集的图像；其中通过自动化设备采集斜拉桥缆索表观状态图像信息，所述自动化采集设备有4个摄像头，4个摄像头360°拍摄圆柱形斜拉缆索的完整表观状态图像；
S2：基于图像预处理算法去除斜拉桥缆索图像中的背景，采用柱面展开算法对圆柱形缆索图像进行校正，得到圆柱形缆索图像；对圆柱形缆索图像上的病害进行人工标注，建立斜拉桥缆索表观状态图像信息数据库；圆柱形缆索图像上的病害包括划痕、损伤、剥落掉线
S3：将斜拉桥缆索表观状态图像信息数据库分为训练集和验证集，将训练集输入神经网络进行训练，训练得到斜拉桥缆索多类型病害检测模型；所述基于图像预处理算法去除斜拉桥缆索图像中的背景，建立斜拉桥缆索表观状态图像信息数据库，具体包括如下步骤：
S2.1：对步骤S1中采集的斜拉桥缆索表观状态图像信息进行色彩抖动、缩放、添加高斯噪声进行数据增强，增加表观状态图像数量；色彩抖动数值的变化范围在[-0.1，+0.1]之间，缩放的尺寸为原始图像的0.25，0.5，0.75，1.25，1.5，1.75，2.0倍，高斯噪声是以0.2为均值，0.3为标准差的随机数值；
S2.2：采用均值漂移和洪水填充法对步骤S2.1中获得的表观状态图像进行预分割，将不同区域分割出来；
S2.3：利用边缘检测Canny算子对预分割图像进行边缘提取；
S2.4：利用直线段检测器算法对提取边缘后的图像检测直线；
S2.5：用外部矩形边界拟合直线，提取缆索边界；
S2.6：根据S2.5提取的缆索边界，清除缆索外的背景，并用白色填充背景，得到圆柱形缆索图像；
S2.7：通过直方图匹配算法调整图像的明亮度；
S2.8：通过柱面展开算法对圆柱形缆索图像进行校正；
所述的柱面展开算法对圆柱形缆索图像进行校正包括如下步骤：
设圆柱形缆索图像是一个理想的圆柱体图像，并沿母线方向展开，采用柱面反投影将相机拍摄的柱面表面观察区投影到二维平面上形成二维图像；以圆柱体圆心Ow为坐标原点建立三维坐标系，沿相机光心Oc方向为Zw轴，垂直于OcOw的平面的水平方向为Xw轴，垂直方向为Yw轴；取圆柱体图像表面上的任意一点对应于投影的二维图像上点/>设为圆柱体半径r，相机光心Oc到投影的二维图像的距离为f，相机光心Oc到圆柱体圆心Ow的距离为g；点P的计算公式如下：
角θ为柱面目标上点P投影到XwZw轴平面与Xw轴成的夹角，d是圆柱体图像上点P到XwZw轴平面的垂直距离；设点P在XwZw轴平面的投影为点C，点C投影到Zw轴为点A，Zw轴和OcOw在同一直线上，故CA垂直于OcOw；相机光心Oc到圆柱体圆心Ow的连线与投影的二维平面垂直且相交于点a，以a为原点，水平方向为X轴，垂直方向为Y轴建立二维坐标系；设点P'在X轴上的投影为点c，ca垂直于OcOw；根据相似三角形原理，在柱面目标中心位于图像中心的前提下，有如下结果：
其中,m为柱面目标的高，h为投影的二维图像的宽，w为投影的二维图像的长，g为柱面目标的中心Ow到相机光心Oc的距离；
由公式(2)(3)推出二维点p'的坐标：
根据公式(4)将圆柱形缆索图像映射到二维平面内，实现校正；
S2.9：使用labelImg软件标注校正后的斜拉桥缆索图像，标注病害的类别和像素坐标位置信息获得正样本，寻找易混淆的假病害当作负样本，负样本不需要标注任何信息；具体标注为在病害处绘制一个最小外接矩形，输入病害的类别，这样就会生成一个名称和图像名称相同的xml文件，该xml文件包含病害的类别和像素坐标信息，之后通过程序解析xml文件，生成模型训练所需要的txt文件；寻找易混淆的假病害当作负样本，负样本不需要标注任何信息，生成空的txt文件；
S2.10：将正负样本组成斜拉桥缆索表观状态图像信息数据库，通过随机抽样将数据库按9:1的比例划分为训练集和验证集，训练集用于训练模型，验证集用于评估模型质量；斜拉桥缆索表面多类型病害包含且不限于划痕、损伤、剥落掉线；
S4：斜拉桥缆索多类型病害检测模型，在验证集上评估模型，选取精度最高的斜拉桥缆索多类型病害检测模型作为最终的斜拉桥缆索多类型病害检测模型；
S5：采集待检测斜拉桥缆索的斜拉桥缆索表观状态图像，然后根据步骤S2得到待检测斜拉桥缆索的圆柱形缆索图像，将待检测斜拉桥缆索的圆柱形缆索图像输入最终的斜拉桥缆索多类型病害检测模型得到病害的类别和像素坐标位置信息。
CN202110446806.3A 2021-04-25 2021-04-25 一种斜拉桥缆索表面多类型病害智能检测和识别方法 Active CN113313107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110446806.3A CN113313107B (zh) 2021-04-25 2021-04-25 一种斜拉桥缆索表面多类型病害智能检测和识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110446806.3A CN113313107B (zh) 2021-04-25 2021-04-25 一种斜拉桥缆索表面多类型病害智能检测和识别方法

Publications (2)

Publication Number Publication Date
CN113313107A CN113313107A (zh) 2021-08-27
CN113313107B true CN113313107B (zh) 2023-08-15

Family

ID=77371085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110446806.3A Active CN113313107B (zh) 2021-04-25 2021-04-25 一种斜拉桥缆索表面多类型病害智能检测和识别方法

Country Status (1)

Country Link
CN (1) CN113313107B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113960069B (zh) * 2021-10-22 2024-03-19 中铁二十二局集团第五工程有限公司 一种通过激光线扫描建立缆索表面形态的方法
CN114280061B (zh) * 2021-12-27 2022-10-14 交通运输部公路科学研究所 一种斜拉桥索梁锚固区技术状况的观测方法及监视窗
CN115272276A (zh) * 2022-08-12 2022-11-01 东南大学 基于红外光摄像的悬索桥主缆亚表面病害识别方法、装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191714A (zh) * 2019-12-28 2020-05-22 浙江大学 桥梁外观损伤病害智能识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101169380B (zh) * 2007-10-31 2010-09-15 重庆大学 桥梁拉索表面损伤智能化检测装置
CN106856003B (zh) * 2016-12-31 2019-06-25 南京理工大学 轴类工件侧表面缺陷检测图像的展开校正方法
CN107796835B (zh) * 2017-10-20 2021-05-25 北京航空航天大学 一种x射线柱面三维锥束计算机层析成像方法及装置
CN111127399A (zh) * 2019-11-28 2020-05-08 东南大学 一种基于深度学习与声呐成像的水下桥墩病害识别方法
CN111985499B (zh) * 2020-07-23 2022-11-04 东南大学 一种基于计算机视觉的高精度桥梁表观病害识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191714A (zh) * 2019-12-28 2020-05-22 浙江大学 桥梁外观损伤病害智能识别方法

Also Published As

Publication number Publication date
CN113313107A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN113313107B (zh) 一种斜拉桥缆索表面多类型病害智能检测和识别方法
CN110268190B (zh) 一种基于静态红外热像图处理的地下管廊渗漏检测方法
WO2019104767A1 (zh) 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
Huang et al. A multidirectional and multiscale morphological index for automatic building extraction from multispectral GeoEye-1 imagery
CN108615226B (zh) 一种基于生成式对抗网络的图像去雾方法
CN110309781B (zh) 基于多尺度光谱纹理自适应融合的房屋损毁遥感识别方法
CN111027446B (zh) 一种高分辨率影像的海岸线自动提取方法
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN112465746B (zh) 一种射线底片中小缺陷检测方法
CN109685045A (zh) 一种运动目标视频跟踪方法及***
CN113177456B (zh) 基于单阶段全卷积网络和多特征融合的遥感目标检测方法
CN114758222B (zh) 一种基于PointNet++神经网络混凝土管道损伤识别与体积量化方法
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN113989257A (zh) 基于人工智能技术的电力综合管廊沉降裂缝识别方法
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
CN105787870A (zh) 一种图形图像拼接融合***
CN109341524A (zh) 一种基于机器视觉的光纤几何参数检测方法
CN116563262A (zh) 基于多模态的建筑裂缝检测算法
CN108665468B (zh) 一种提取直线塔绝缘子串的装置及方法
CN113435407A (zh) 一种输电***的小目标识别方法及装置
CN115512247A (zh) 基于图像多参数提取的区域建筑损伤等级评定方法
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及***
Dong et al. Pixel-level intelligent segmentation and measurement method for pavement multiple damages based on mobile deep learning
CN116758421A (zh) 一种基于弱监督学习的遥感图像有向目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant