CN110033431A - 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法 - Google Patents
钢桥表面锈蚀区域检测的非接触式检测装置及检测方法 Download PDFInfo
- Publication number
- CN110033431A CN110033431A CN201910139200.8A CN201910139200A CN110033431A CN 110033431 A CN110033431 A CN 110033431A CN 201910139200 A CN201910139200 A CN 201910139200A CN 110033431 A CN110033431 A CN 110033431A
- Authority
- CN
- China
- Prior art keywords
- image
- detection
- steel bridge
- bridge
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 64
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 43
- 239000010959 steel Substances 0.000 title claims abstract description 43
- 230000007797 corrosion Effects 0.000 title claims abstract description 40
- 238000005260 corrosion Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 26
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims abstract description 15
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 230000001360 synchronised effect Effects 0.000 claims abstract description 8
- 229910002056 binary alloy Inorganic materials 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000002156 mixing Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000003628 erosive effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 5
- 238000003672 processing method Methods 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 abstract 1
- 238000013507 mapping Methods 0.000 description 11
- 238000010276 construction Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000872198 Serjania polyphylla Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明属于桥梁检测领域，具体涉及一种基于红外、高清图像传感器同步采集模组与基于深度学习像素模式分类器的钢桥表面锈蚀区域检测的非接触式检测装置及检测方法。所述装置包括无人机与图像采集模组，所述图像采集模组包括红外热像仪机芯、图像传感器、同步采集与记录模块、SD卡；所述图像采集模组安装在无人机上，遥控无人机在距离钢桥30米处对钢桥的两个侧面同步拍摄IR图像和RGB图像，拍摄的图像存储在SD卡中，然后利用基于深度学习像素模式分类器的方法进行分析处理。本发明提高了图像获取效率，突破了传统图像处理方法无法直接使用原始桥梁图像进行锈蚀检测的局限，提高了检测算法的抗干扰能力及对不同桥梁环境的适应能力。
Description
技术领域
本发明属于桥梁检测领域，具体涉及一种基于红外、高清图像传感器同步采集模组与基于深度学习像素模式分类器(Pixel Pattern Classifier，PPC)的钢桥表面锈蚀区域检测的非接触式检测装置及检测方法。
背景技术
锈蚀缺陷是桥梁中最常见的劣化形式，尤其是钢桥的上层结构。如果没有适当地识别和解决，这种劣化会极大地影响桥梁的安全性能。因此，通常会及时重新涂漆以防止桥接基材被进一步腐蚀。目前对钢桥表面锈蚀的表观检测方法主要有两种：检察员人工检测和检测机器人检测。人工检测主要是由检察员根据桥梁外观锈蚀情况直接判断桥梁的锈蚀程度，机器人检测主要是近距离的对桥梁进行化学检测，根据钢筋锈蚀反应来确定桥梁是否被锈蚀。以上方法存在的问题是检测速度较慢，检测效率较低。
不均匀照明是影响锈蚀检测的重要因素之一。为了解决这个问题，人们对14个不同的颜色空间进行了研究，发现了一种对光照变化具有足够鲁棒性的配置，并且观察到L*a*b*颜色空间性能优于其他颜色空间的条件。此外，还采用了支持向量机(SVM)结合傅立叶变换来识别锈蚀缺陷。该方法利用了每个像素的颜色信息，通过SVM将所使用图像中的每个像素分类为有锈蚀和无锈蚀，并使用之前的方法来制备训练数据集，其中分析的样本为理想条件下获取到图像以及人工图像。此外，利用小波分解的子带能量和熵，对传统数码相机拍摄的钢桥图像进行了锈蚀和无锈蚀分类的研究，并针对锈蚀检测中光照不均匀的问题，对四种阴影校正方法进行了比较。最终得出结论，熵最小化方法优于图像平滑，同态滤波和形态滤波方法。
背景颜色变化也是影响锈蚀检测的因素之一，可以利用傅里叶变换降低各种背景条件对图像检测的影响。现有一种锈蚀识别方法，当像素的红-绿-蓝(RGB)值在锈色范围时，将提取的缺陷像素作为锈斑处理。还有一种结合了SVM、变异系数k均值和双中心双半径的混合方法，可以处理不同的场景和不同的背景颜色。
现有研究方法使用的图像过于理想，其中仅包括锈蚀部分，并不包括杂乱的背景目标。这种要求在实际应用中难于满足，因此此类方法难于直接应用于无人机或者手持相机拍摄的图像，需要人工预先处理图像以满足上述要求。与上述方法不同，
发明内容
针对上述现有技术存在的缺点，为了提高检测效率以及检测工作的可行性，本发明使用无人机高空作业收集的红外(IR)图像与RGB图像，并结合深度学习方法自动实现桥梁部件表面锈蚀的检测。本方法可以直接应用于无人机拍摄的包含杂乱背景的实际图像。本方法充分利用桥梁结构信息，首先使用Hough直线变换方法检测出桥梁主结构的粗略信息，其次利用IR图像与RGB图像中的桥梁主结构粗略信息实现IR图像与RGB图像的配准，接着利用IR图像中桥梁结构对温度敏感的特点分割出桥梁主结构的精确信息，获取锈蚀检测的感兴趣区域，最后对感兴趣区域利用基于深度学习的像素模式分类器对每个像素进行分类，判别该像素是否属于锈蚀区域，最终实现锈蚀检测。
基于RGB图像的钢桥表面锈蚀易受钢桥背景和其他外来物体中的相似性的影响，难以使用RGB图像精确地获得桥梁组件，增加了实施自动化锈蚀检测的复杂性。钢桥结构对环境温度的变化较为敏感，因此与RGB图像相比，红外热成像中的钢桥结构与背景的区分度较大，IR图像更容易被分割。因此本方法同时拍摄IR图像和RGB图像并在此基础上进行钢桥的锈蚀检测工作。
本发明采用的技术方案为：一种钢桥表面锈蚀区域检测的非接触式检测装置，包括无人机与图像采集模组，所述图像采集模组包括红外热像仪机芯、图像传感器、同步采集与记录模块、SD卡；所述图像采集模组安装在无人机上，遥控无人机在距离钢桥30米处对钢桥的两个侧面同步拍摄IR图像和RGB图像，拍摄的图像存储在SD卡中，然后利用软件进行分析处理。
本发明还提供一种基于以上装置的钢桥表面锈蚀区域非接触式检测方法，包括以下步骤：
S1二值化处理：通过对图像传感器拍摄的RGB图像和红外热像仪机芯拍摄的IR图像进行二值化处理，利用OTSU阈值化算法把大于自适应临界值的像素灰度设为灰度极大值(255)，把小于这个值的像素灰度设为灰度极小值(0)，这样整个图像呈现出明显的只有黑和白的视觉效果，更加有利于做图像处理判别。
S2直线检测：对S1得到的二值图像进行直线检测，利用霍夫变换提取出钢桥边缘的二值信息：即利用点与线的对偶性，把图像空间中直线上离散的像素点通过给定的直线的参数方程映射为霍夫空间中的曲线，并将霍夫空间中多条曲线的交点作为直线方程的参数映射为图像空间中的直线，通过多数投票算法来检测具有直线特征的桥梁轮廓信息。
S3图像配准：图像配准是寻找在不同时间点、不同的视角下或由不同传感器拍摄的关于同一场景的两幅图像或多幅图像之间的空间变换关系，并对其中的一幅或多幅进行匹配和叠加的过程。无人机在某处拍摄的IR图像和RGB图像可能存在视角不同等因素，因此要对IR图像进行图像配准，重新排列IR图像的像素点位置，并与RGB图像的对应像素点保持空间上的一致性。本发明采用一种使用直线检测结果直线的图像配准方法，针对Hough变换检测出的桥梁边缘信息进行配准。在原始RGB图像和IR图像的分割之后，进行形态滤波的侵蚀操作以去除孤立点，再采用IR图像和RGB图像的二进制信息，其中计算的平方差和(Sumof Squared Differences，SSD)用作度量。
S4图像融合：将配准后的二进制IR图像与每个像素处的RGB图像的灰度相乘来融合IR图像和RGB图像，融合图像是二进制IR图像和灰度RGB图像的逐像素乘积，由于IR图像二值化的滤波效果，大部分背景和其他无关信息都可以通过这种方式被移除。
S5获取感兴趣区域：使用OTSU阈值处理算法对融合图像进行分割以获得二值感兴趣区域。通过将二进制ROI与原始RGB图像相乘，从原始RGB图像中裁剪出感兴趣的桥组件。
S6锈蚀检测：通过像素模式分类器预测钢桥上的某点是否属于锈蚀区域，以得到最终的检测结果。本文使用了基于深度学习的像素模式分类器判断图像中钢桥锈蚀情况：
S6.1利用训练数据构造一个像素模式分类器。因此在训练阶段，需将无锈蚀特征的区域标定为0，将有锈蚀特征的区域标定为1，以此训练该分类器，并预测图像中的某点是否锈蚀。在输入图像内任意一点周围取一矩形区域，每一点都对应一个标签，构成了一个一维向量，称为局部模式向量，并将二者送入卷积神经网络中进行训练。
S6.2在预测阶段，该分类器以像素为基本单元判断该点是否锈蚀。在某一像素周围取一个矩形区域，并将其输入至卷积神经网络中，可得到0～1之间的某个概率数字，即判断某一点是否处于锈蚀区域取决于该点周围邻近区域的状态。可由输出的锈蚀概率值画出置信图，对置信图进行二值化操作即可得到最终检测结果。
与现有技术相比，本发明的有益效果是：利用无人机搭载的图像模组同步采集钢桥IR图像与RGB图像，提高了图像获取效率；利用IR图像与RGB图像的配准获取桥梁结构感兴趣区域，屏蔽背景相似物体的干扰，突破了传统图像处理方法无法直接使用原始桥梁图像进行锈蚀检测的局限；利用深度学习构建像素模式分类器，实现锈蚀的检测，提高了检测算法的抗干扰能力及对不同桥梁环境的适应能力。
附图说明
图1本发明所述钢桥表面锈蚀区域检测的非接触式检测装置的结构组成图；
图2本发明所述钢桥表面锈蚀区域非接触式检测方法工作流程图；
图3桥梁构件分割流程图；
图4图像配准方法流程图；
图5训练和预测的流程图；
图6一个基于LENET-5的7层CNN体系结构。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
图1为本发明所述钢桥表面锈蚀区域检测的非接触式检测装置的结构组成图，包括无人机与图像采集模组，所述图像采集模组包括红外热像仪机芯、图像传感器、同步采集与记录模块、SD卡；所述图像采集模组安装在无人机上，遥控无人机在距离钢桥30米处对钢桥的两个侧面同步拍摄IR图像和RGB图像，拍摄的图像存储在SD卡中，然后利用软件进行分析处理。
遥控载有红外与高清图像传感器同步采集模组的无人机在距离钢桥30米处的两个侧面同步拍摄IR图像和RGB图像，并将图像存入SD卡中等待分析处理。
图2为本发明所述钢桥表面锈蚀区域非接触式检测方法工作流程图，包括以下步骤：
S1二值化处理
将获取的由无人机载上相机拍摄的IR图像和RGB图像进行二值化处理。通过遍历得到自适应的可使类间方差最大的阈值，利用最大类间方差法(OTSU法)，按图像的灰度特性，将图像上的像素点的灰度值与所得阈值作比较，使大于该阈值的像素灰度设为255，小于该阈值的像素灰度设为0。即将图像分成背景部分和目标部分，由此将钢桥的图像信息从背景中提取出来。
S2直线检测
对上述所得二值图像进行直线检测以得到钢桥的边缘信息。图像空间中共线的点对应参数空间共点的线，根据点与线的对偶性，将图像从图像空间转换到参数空间，也就是把在图像空间中存在的直线检测问题转换为在参数空间中存在的点检测问题，利用图像的全局特性对目标轮廓进行直接检测捕获目标的边界，并以连续曲线的形式输出变换结果。线性霍夫变换的最终结果是类似于累加器的二维矩阵，θ表示量化角度，γ表示量化距离，矩阵的每个元素的值等于位于由量化参数(γ,θ)表示的线上的点或像素的总和，因此具有最高值的元素表示输入图像中代表最多的直线。霍夫变换算法被用于确定该像素是否有足够的直线证据，如果是，它将计算该线的参数(γ,θ)，然后查找参数落入的累加器箱，并增加该箱的值(投票值)，以此提取钢桥结构的直线信息。
S3图像配准
由于无人机拍摄的IR图像和RGB图像可能存在视角不同等因素，因此要对IR图像进行图像配准，重新排列IR图像的像素点位置，并与RGB图像的对应像素点保持空间上的一致性。本方案针对Hough变换检测出的桥梁边缘信息进行了配准。在原始RGB图像和IR图像的分割之后，进行形态滤波的侵蚀操作以去除孤立点，再采用IR图像和RGB图像的二进制信息，其中计算的SSD用作度量。假设在一对IR图像和RGB图像之间存在仿射变换，通过仿射变换，图像配准的任务被转换为优化问题。其中最小的SSD成本函数被定义为
IIR(i,j)和IRGB(i,j)分别是IR和RGB图像的二进制图像，m和n是二进制IR图像和RGB图像的行数和列数。具体流程图见图4。
S4图像融合
将配准后的二进制IR图像与每个像素处的RGB图像的灰度相乘来融合IR图像和RGB图像，由于IR图像二值化的滤波效果，大部分背景和其他无关信息都可以通过这种方式被移除。
S5获取感兴趣区域
使用OTSU阈值处理算法对融合图像进行分割以获得二值感兴趣区域。再将二进制ROI与原始RGB图像相乘，从原始RGB图像中裁剪出感兴趣的桥组件。
S6锈蚀检测
使用基于深度学习的像素模式分类器判断图像中钢桥锈蚀情况。
为便于锈蚀分类任务，通过从不同桥梁收集的训练数据集训练得到了一个定制的7层CNN。随后，基于训练好的CNN构造了一个像素模式分类器，可根据每个像素周围的锈蚀情况来预测其概率。以钢桥表面图像平铺的每个像素为中心的18x18像素块被馈送到像素模式分类器中。由此，可从PPC输出得到测试图像的置信图。最后，对置信图进行后处理，确定锈蚀区域。具体实施过程如图5所示。
本文设计了一个基于LENET-5的7层CNN，如图6所示，以一个18x18图像作为输入，它对应于以每个像素为中心的像素块的大小。C1层是一个有6个特征映射的卷积层。C1特征映射的每个点通过3x3卷积滤波器连接到输入图像中的一个3x3邻域。因此，C1层的每个映射的大小为16x16。
S1中的每个单元都对应于最大池化的C1层中的2x2邻域，因此S1层是一个有6个特征映射的次采样层,每个映射的大小为8x8。C2层是一个卷积层，有12个特征映射。C2特征映射的每个单元通过3x3卷积滤波器连接到S1层中的3x3邻域。C2层的每一个特征映射的大小都为6x6。S2层也是具有12个特征映射的次采样层。S2层的每个映射的大小为3x3，因为S2中的每个单元都对应于使用最大池技术的C2层中的2x2邻域。C3层仍然是一个卷积层，有54个特征映射。由于S2层中每个映射的大小为3x3，经过3x3卷积计算后，C3层特征映射的大小为1x1。因此，层C3可以被视为具有54个隐藏单元的完整连接层。C3层的输出为1x54矢量，称为CNN提取的输入图像的特征向量。最后一层是由2个单元组成的Softmax分类器，它将每个特征向量划分为锈蚀或非锈蚀类别：将无锈蚀特征的区域标定为0，将有锈蚀特征的区域标定为1。在输入图像内任意一点周围取一矩形区域，每一点都对应一个标签，构成了一个一维向量，称为局部模式向量，并将二者送入卷积神经网络中进行训练。
当测试图像被输入到PPC中时，可得到0～1之间的某个概率数字，即判断某一点是否处于锈蚀区域取决于该点周围邻近区域的状态，同时生成置信图，其中包含每个像素的概率，表示它是属于锈蚀还是不属于锈蚀。对置信图进行固定阈值分割，去除孤立的噪声点，即可得到最终的锈蚀检测结果(二进制阈值被简单地固定为0.5)。
Claims (3)
1.一种钢桥表面锈蚀区域检测的非接触式检测装置，其特征在于：包括无人机与图像采集模组，所述图像采集模组包括红外热像仪机芯、图像传感器、同步采集与记录模块、SD卡；所述图像采集模组安装在无人机上，遥控无人机在距离钢桥30米处对钢桥的两个侧面同步拍摄红外图像和RGB图像，拍摄的图像存储在SD卡中，然后利用软件进行分析处理。
2.一种基于权利要求1所述装置的钢桥表面锈蚀区域非接触式检测方法，其特征在于，包括以下步骤：
S1二值化处理：通过对图像传感器拍摄的RGB图像和红外热像仪机芯拍摄的IR图像进行二值化处理，利用OTSU阈值化算法把大于自适应临界值的像素灰度设为255，把小于这个值的像素灰度设为0；
S2直线检测：对S1得到的二值图像进行直线检测，利用霍夫变换提取出钢桥边缘的二值信息：即利用点与线的对偶性，把图像空间中直线上离散的像素点通过给定的直线的参数方程映射为霍夫空间中的曲线，并将霍夫空间中多条曲线的交点作为直线方程的参数映射为图像空间中的直线，通过多数投票算法来检测具有直线特征的桥梁轮廓信息；
S3图像配准：采用一种使用直线检测结果直线的图像配准方法，针对Hough变换检测出的桥梁边缘信息进行配准；在原始RGB图像和IR图像的分割之后，进行形态滤波的侵蚀操作以去除孤立点，再采用IR图像和RGB图像二进制信息，其中计算的平方差和用作度量；
S4图像融合：将配准后的二进制IR图像与每个像素处的RGB图像的灰度相乘来融合IR图像和RGB图像，融合图像是二进制IR图像和灰度RGB图像的逐像素乘积；
S5获取感兴趣区域：使用OTSU阈值处理算法对融合图像进行分割以获得二值感兴趣区域；通过将二进制ROI与原始RGB图像相乘，从原始RGB图像中裁剪出感兴趣的桥组件；
S6锈蚀检测：通过像素模式分类器预测钢桥上的某点是否属于锈蚀区域，以得到最终的检测结果。
3.一种根据权利要求2所述钢桥表面锈蚀区域非接触式检测方法，其特征在于：S6使用基于深度学习的像素模式分类器判断图像中钢桥锈蚀情况，包括以下步骤：
S6.1利用训练数据构造一个像素模式分类器：在训练阶段，将无锈蚀特征的区域标定为0，将有锈蚀特征的区域标定为1，以此训练该分类器，并预测图像中的某点是否锈蚀；在输入图像内任意一点周围取一矩形区域，每一点都对应一个标签，构成了一个一维向量，称为局部模式向量，并将二者送入卷积神经网络中进行训练；
S6.2在预测阶段，该分类器以像素为基本单元判断该点是否锈蚀；在某一像素周围取一个矩形区域，并将其输入至卷积神经网络中，可得到0～1之间的某个概率数字，即判断某一点是否处于锈蚀区域取决于该点周围邻近区域的状态；可由输出的锈蚀概率值画出置信图，对置信图进行二值化操作即可得到最终检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910139200.8A CN110033431B (zh) | 2019-02-26 | 2019-02-26 | 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910139200.8A CN110033431B (zh) | 2019-02-26 | 2019-02-26 | 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110033431A true CN110033431A (zh) | 2019-07-19 |
| CN110033431B CN110033431B (zh) | 2021-04-27 |
Family
ID=67235010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910139200.8A Expired - Fee Related CN110033431B (zh) | 2019-02-26 | 2019-02-26 | 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110033431B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738634A (zh) * | 2019-09-10 | 2020-01-31 | 中国三峡建设管理有限公司 | 聚氨酯覆盖区域检测方法、装置、计算机设备和存储介质 |
| CN111967526A (zh) * | 2020-08-20 | 2020-11-20 | 东北大学秦皇岛分校 | 基于边缘映射和深度学习的遥感图像变化检测方法及*** |
| CN112258448A (zh) * | 2020-09-15 | 2021-01-22 | 郑州金惠计算机***工程有限公司 | 细划痕检测方法、装置、电子设备及计算机可读存储介质 |
| CN113030094A (zh) * | 2021-01-26 | 2021-06-25 | 重庆市智翔铺道技术工程有限公司 | 一种钢桥面铺装使用状况的高精度综合检测***和方法 |
| CN113740341A (zh) * | 2021-07-15 | 2021-12-03 | 广东建科创新技术研究院有限公司 | 一种钢筋锈蚀率快速测定方法 |
| CN113740342A (zh) * | 2021-07-15 | 2021-12-03 | 广东建科创新技术研究院有限公司 | 一种钢筋锈蚀率智能检测设备 |
| CN114049354A (zh) * | 2022-01-12 | 2022-02-15 | 山东仲良格环保技术有限公司 | 一种基于金属锈蚀程度的除锈剂优化配比方法及*** |
| CN114529779A (zh) * | 2021-12-31 | 2022-05-24 | 扬州市恒泰人防设备有限公司 | 一种人防门锈蚀状态检测***及方法 |
| CN117474910A (zh) * | 2023-12-27 | 2024-01-30 | 陕西立拓科源科技有限公司 | 一种用于电机质量的视觉检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101214851A (zh) * | 2008-01-10 | 2008-07-09 | 黄席樾 | 船舶行驶智能型全天候主动安全预警***及其预警方法 |
| CN206330924U (zh) * | 2016-12-26 | 2017-07-14 | 马宏飞 | 一种无人机检测桥梁裂缝扫描仪器 |
| CN108490967A (zh) * | 2018-02-08 | 2018-09-04 | 珠海诚然科技服务有限公司 | 一种无人机飞行平台的桥底裂缝检测*** |
-
2019
- 2019-02-26 CN CN201910139200.8A patent/CN110033431B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101214851A (zh) * | 2008-01-10 | 2008-07-09 | 黄席樾 | 船舶行驶智能型全天候主动安全预警***及其预警方法 |
| CN206330924U (zh) * | 2016-12-26 | 2017-07-14 | 马宏飞 | 一种无人机检测桥梁裂缝扫描仪器 |
| CN108490967A (zh) * | 2018-02-08 | 2018-09-04 | 珠海诚然科技服务有限公司 | 一种无人机飞行平台的桥底裂缝检测*** |
Non-Patent Citations (3)
| Title |
|---|
| ELLENBERG, A ET.AL: "《Bridge deck delamination identification from unmanned aerial vehicle infrared imagery》", 《AUTOMATION IN CONSTRUCTION》 * |
| 崔东顺: "《可见光航拍图像水上桥梁检测算法研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 王鹏: "《 基于无人机视频的桥梁裂缝识别方法研究》", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738634A (zh) * | 2019-09-10 | 2020-01-31 | 中国三峡建设管理有限公司 | 聚氨酯覆盖区域检测方法、装置、计算机设备和存储介质 |
| CN111967526A (zh) * | 2020-08-20 | 2020-11-20 | 东北大学秦皇岛分校 | 基于边缘映射和深度学习的遥感图像变化检测方法及*** |
| CN111967526B (zh) * | 2020-08-20 | 2023-09-22 | 东北大学秦皇岛分校 | 基于边缘映射和深度学习的遥感图像变化检测方法及*** |
| CN112258448A (zh) * | 2020-09-15 | 2021-01-22 | 郑州金惠计算机***工程有限公司 | 细划痕检测方法、装置、电子设备及计算机可读存储介质 |
| CN113030094A (zh) * | 2021-01-26 | 2021-06-25 | 重庆市智翔铺道技术工程有限公司 | 一种钢桥面铺装使用状况的高精度综合检测***和方法 |
| CN113740342B (zh) * | 2021-07-15 | 2024-07-02 | 广东省建筑科学研究院集团股份有限公司 | 一种钢筋锈蚀率智能检测设备 |
| CN113740341A (zh) * | 2021-07-15 | 2021-12-03 | 广东建科创新技术研究院有限公司 | 一种钢筋锈蚀率快速测定方法 |
| CN113740342A (zh) * | 2021-07-15 | 2021-12-03 | 广东建科创新技术研究院有限公司 | 一种钢筋锈蚀率智能检测设备 |
| CN113740341B (zh) * | 2021-07-15 | 2024-07-02 | 广东省建筑科学研究院集团股份有限公司 | 一种钢筋锈蚀率快速测定方法 |
| CN114529779A (zh) * | 2021-12-31 | 2022-05-24 | 扬州市恒泰人防设备有限公司 | 一种人防门锈蚀状态检测***及方法 |
| CN114049354A (zh) * | 2022-01-12 | 2022-02-15 | 山东仲良格环保技术有限公司 | 一种基于金属锈蚀程度的除锈剂优化配比方法及*** |
| CN117474910B (zh) * | 2023-12-27 | 2024-03-12 | 陕西立拓科源科技有限公司 | 一种用于电机质量的视觉检测方法 |
| CN117474910A (zh) * | 2023-12-27 | 2024-01-30 | 陕西立拓科源科技有限公司 | 一种用于电机质量的视觉检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110033431B (zh) | 2021-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110033431A (zh) | 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法 | |
| CN110084156B (zh) | 一种步态特征提取方法及基于步态特征的行人身份识别方法 | |
| CN109655019B (zh) | 一种基于深度学习和三维重建的货物体积测量方法 | |
| CN109615611B (zh) | 一种基于巡检影像的绝缘子自爆缺陷检测方法 | |
| Zhang et al. | Ship detection for visual maritime surveillance from non-stationary platforms | |
| CN107767400B (zh) | 基于层次化显著性分析的遥感图像序列动目标检测方法 | |
| CN109657581B (zh) | 基于双目相机行为检测的城市轨道交通闸机通行控制方法 | |
| CN106683119B (zh) | 基于航拍视频图像的运动车辆检测方法 | |
| Özkanoğlu et al. | InfraGAN: A GAN architecture to transfer visible images to infrared domain | |
| CN111582126B (zh) | 基于多尺度行人轮廓分割融合的行人重识别方法 | |
| CN102073846A (zh) | 基于航拍图像的交通信息获取方法 | |
| CN105405138A (zh) | 基于显著性检测的水面目标跟踪方法 | |
| Naufal et al. | Preprocessed mask RCNN for parking space detection in smart parking systems | |
| CN113033385A (zh) | 一种基于深度学习的违章建筑遥感识别方法及*** | |
| CN112907626A (zh) | 基于卫星超时相数据多源信息的运动目标提取方法 | |
| CN116486287A (zh) | 基于环境自适应机器人视觉***的目标检测方法及*** | |
| Palenichka et al. | Multi-scale segmentation of forest areas and tree detection in LiDAR images by the attentive vision method | |
| CN107045630B (zh) | 一种基于rgbd的行人检测和身份识别方法及*** | |
| Qu et al. | Scale self-adaption tracking method of Defog-PSA-Kcf defogging and dimensionality reduction of foreign matter intrusion along railway lines | |
| Yang et al. | A research of feature-based image mosaic algorithm | |
| Kheder et al. | Transfer learning based traffic light detection and recognition using CNN inception-V3 model | |
| Khoshboresh-Masouleh et al. | Robust building footprint extraction from big multi-sensor data using deep competition network | |
| CN113537397B (zh) | 基于多尺度特征融合的目标检测与图像清晰联合学习方法 | |
| CN110929632A (zh) | 面向复杂场景的车辆目标检测方法及装置 | |
| CN114926456A (zh) | 一种半自动标注和改进深度学习的铁轨异物检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210427 |