CN115409768A - 一种基于特征输入增强的渗漏水病害深度学习检测方法 - Google Patents
一种基于特征输入增强的渗漏水病害深度学习检测方法 Download PDFInfo
- Publication number
- CN115409768A CN115409768A CN202210402174.5A CN202210402174A CN115409768A CN 115409768 A CN115409768 A CN 115409768A CN 202210402174 A CN202210402174 A CN 202210402174A CN 115409768 A CN115409768 A CN 115409768A
- Authority
- CN
- China
- Prior art keywords
- image
- characteristic
- water leakage
- leakage
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征输入增强的渗漏水病害深度学***滑处理,将经过图像空域滤波后的特征输入增强权重矩阵与原图像进行相乘,将所得结果作为后续深度神经网络输入图像特征通道的第二部分;建立渗漏水病害检测与识别模型。该方法大大提高了对渗漏水病害检测与识别性能。
Description
技术领域
本发明属于地铁隧道衬砌表面病害检测与识别领域,尤其涉及一种基于特征输入增强的 渗漏水病害深度学习检测方法。
背景技术
地铁隧道表面病害检测,特别是地铁隧道表面渗漏水病害的检测与识别是保障地铁安全 运行的重要内容。目前针对地铁隧道表面渗漏水病害的检测技术主要包括传统的人工巡检法 和计算机视觉法。人工巡检法即巡检人员在巡检过程中将病害标记出来,随着地铁养护工作 量的日益增长,人工巡检法导致地铁养护成本直线上升,而且在有限天窗工作时间内,巡检 人员漏判误判的现象时有发生。计算机视觉法包括传统的图像处理法和深度学习法等。传统 的图像处理法利用阈值分割、边缘检测、形态学分析等方法检测并识别隧道表面渗漏水病害。 这种传统图像处理的方法虽然算法计算复杂度低、算法硬件计算需求也不高,但是难以克服 地铁隧道表面病害对比度低、光照不均、背景噪声污染严重等干扰。近年来,由于深度学习 方法表现出优良的泛化能力和鲁棒性,开始被广泛应用于土木结构健康监测领域。公开号为 CN109615653A的中国发明专利公开了一种基于深度学习与视场投影模型的渗漏水区域检测与 识别方法,该方法采集待测区域的点云数据,通过神经网络模型进行渗漏水病害检测与识别。 公开号为CN111899288A的中国发明专利公开了一种基于红外和可见光图像融合的隧道渗漏 水区域检测与识别方法,该方法通过深度学习技术将采集的隧道内部待测区域的红外数据和 可见光数据进行融合,实现对隧道内部渗漏水区域的检测和识别。上述两种方法借助深度学 习网络强大的特征提取与模式分类能力均取得了比传统图像处理方法更准确的实验效果。
但将深度学习技术应用于实际的地铁隧道表面病害巡检时,仍有以下问题需要解决:
虽然隧道衬砌表面存在拼缝、管线等背景干扰,且其与渗漏水病害在灰度特征分布上较 为相似、难以区分,但根据实际的隧道巡检***中多相机图像采集内容分析,一般相机采集 到的拼缝、管线等背景干扰在图像整体区域中呈现出较为明显的横向、纵向等方向分布规律, 而渗漏水病害作为自然发生现象,其病害边界特征分布存在很大的随机性。但是,目前既有 的基于深度学习的渗漏水检测方法基本忽视了上述这种差别性,在深度学习网络训练中只输 入了原图像内容;而根据机器学习相关案例分析,如果训练样本中噪声内容越少则越有利于 提高目标识别性能,显然,这种单一的训练样本输入方式缺少了对隧道巡检中渗漏水图像先 验分布规律的挖掘利用,进而限制了最终渗漏水病害的检测与识别性能。
发明内容
为解决现有技术存在的问题,本发明提供一种基于特征输入增强的渗漏水病害深度学习 检测方法。
为此,本发明采用以下技术方案:
一种基于特征输入增强的渗漏水病害深度学习检测方法,包括以下步骤:
S1,渗漏水图像方向滤波抑制:隧道表面拼缝、管线等杂波在相机采集图像视野中呈现 出明显的方向特征,为此利用多方向、多尺度Gabor滤波器与待检测渗漏水图像进行卷积, 如下式:
式中,z=(x,y)为像素坐标;为卷积算子;u∈{0,1,2,3,4,5,6,7}为Gabor滤波器选定 的8个方向角v∈{1,2,3,4,5}为Gabor滤波器选定的5个不同尺度kv=2-(v+2)π/2; Ou,v(z)为利用方向u、尺度v时的Gabor滤波器与渗漏水图像的卷积结果;
采用卷积结果Ou,v(z)的幅值响应作为滤波输出结果,如下式:
将方向滤波结果作为后续深度神经网络输入图像特征通道的第一部分;
S2,渗漏水区域信号分割增强处理:采用图像信号大津阈值分割法对隧道巡检图像数据 进行分割预处理,设隧道某一图像区域经大津阈值分割法处理后得到检测结果的真值图为矩 阵B,定义如下式:
再利用图像空域滤波器对矩阵B进行平滑处理,生成连续可微的特征输入增强权重矩阵 Q,具体公式如下:
将经过图像空域滤波后的特征输入增强权重矩阵Q与原图像进行相乘,并将所得结果作 为后续深度神经网络输入图像特征通道的第二部分;
S3,建立渗漏水病害检测与识别模型:将原始图像、方向滤波特征图和图像信号分割处 理特征图在通道方向上进行并连,并作为后续深度神经网络的特征输入;基于特征增强后的 输入样本数据,利用VGG16+FCN全卷积网络建立渗漏水病害检测与识别模型。
由于隧道衬砌表面的拼缝、管线等强干扰物与渗漏水在图像灰度分布上几乎无异,导致 背景与渗漏水的特征未能得到有效的区分,进而使得传统的深度学***与竖直两个方向的 特征幅值信息,并通过与原图像相减操作得到渗漏水病害滤波结果,用于后续全卷积神经网 络的输入。
考虑渗漏水病害与地铁隧道衬砌管片本体之间会存在明显的亮度差异,且渗漏水区域内 像素灰度呈现一定的聚集性,本发明提出利用大津阈值方法对渗漏水病害进行分割处理。但 由于大津阈值分割算法检测的结果是二值信号,直接应用于深度学*** 滑处理,生成连续可微的弱真值图,并通过与原图像相乘操作得到渗漏水病害分割处理特征 图,用于后续全卷积神经网络的输入。
目前基于深度学习的渗漏水病害检测方法大多是直接处理单一的原始输入图像;然而渗 漏水病害作为一种特殊的病害,其所在环境干扰特点及自身灰度聚集属性特征均被忽视,本 发明提出利用方向滤波特征图、图像信号分割处理特征图作为原始图像输入的补充特征,并 以特征通道扩充的方式引入到后续深度学习网络训练中,大大提高了对渗漏水病害检测与识 别性能。
附图说明
图1为基于二维Gabor滤波器的隧道渗漏水图像方向滤波流程图;
图2为渗漏水区域信号分割增强处理图;
图3为Gabor滤波器方向特征抑制结果图;
图4为渗漏水区域信号分割增强结果图;
图5为渗漏水病害检测与识别网络框架图;
图6为本发明的方法与现有方法的检测结果对比图,其中a为原始图像,b为人工标记 的病害图,c为仅输入原始图像时的检测结果图,d为本发明的检测结果图。
具体实施方式
以下结合附图和实施例对本发明的技术方案进行详细说明。
本发明的基于特征输入增强的渗漏水病害深度学习检测方法包括以下步骤:
S1:渗漏水图像方向滤波抑制:
我们结合实际隧道巡检图像采集***,从病害成像角度分析大量的地铁隧道渗漏水图像 数据,确认隧道表面拼缝、管线等杂波在相机采集图像视野中呈现出的明显方向特征。如图 1所示,本发明利用二维Gabor滤波器进行杂波方向特征抑制。Gabor滤波器是正弦平面波和 高斯核函数的乘积,其具备良好的局部特征提取能力。为了确定适用于衬砌表面图像的最优 滤波参数,综合利用多方向、多尺度Gabor滤波器与待检测渗漏水图像I进行卷积,如下式:
公式(1)中,z=(x,y)为像素坐标;为卷积算子;u∈{0,1,2,3,4,5,6,7}为Gabor滤波 器选定的8个方向角v∈{1,2,3,4,5}为Gabor滤波器选定的5个不同尺度kv=2-(v+2)π/2;Ou,v(z)为利用方向u、尺度v时的Gabor滤波器与渗漏水图像I的卷积结果。
为了更有效地计算方向滤波特征,采用卷积结果Ou,v(z)的幅值响应作为滤波输出结果, 如下式:
经过对比分析不同尺度、不同方向上的Gabor滤波器输出响应,可初步确定隧道衬砌表 面拼缝、管线等强干扰物输出响应最大时的Gabor滤波器最优参数。如图3所示,选用二维 Gabor滤波器参数(u∈{0,4}v=5)时,提取隧道表面拼缝、管线等干扰的方向特征,并通 过与原图像相减操作得到渗漏水病害的方向滤波结果。
S2:渗漏水区域信号分割增强处理:
由于渗漏水区域内像素灰度呈现一定的聚集性,基于隧道渗漏水区域的像素灰度聚集分 析,本发明采用图像信号大津阈值分割(Otsu)法对隧道巡检图像数据进行分割预处理,如 图2所示。考虑到Otsu法为图像阈值分割常用方法,该方法的具体细节内容不再赘述。如图 4所示,设隧道某一图像区域I经Otsu算法处理后得到检测结果的真值图为矩阵B,定义如 下式:
由式(3)可知,Otsu检测结果是二值信号,因而直接将二值检测结果作为深度学***滑处理,生成连续 可微的特征输入增强权重矩阵Q,具体公式如下:
将经过图像空域滤波后的特征输入增强权重矩阵Q,与原图像进行相乘,并将所得结果 作为后续深度神经网络输入图像特征通道的第二部分。
S3:建立渗漏水病害检测与识别模型,如图5所示。本发明提出以VGG16+FCN为基础建立渗漏水病害检测与识别网络。整个网络模型共有6组卷积层,在每组卷积层之间用池化层隔离。图5中的Conv、Average Pool、ReLu和DeConv等分别表示卷积、平均池化、激活 和反卷积操作。通过步骤1、步骤2可以得到原图像的方向滤波特征图和图像信号分割处理 特征图,将两个特征图以通道并连的方式,一同作为深度神经网络的特征输入。整个渗漏水 病害检测与识别网络,在原始图像、方向滤波特征图与渗水区域分割特征图的联合输入下,可以更好地感知并学习渗漏水区域显著特征,进而提高对渗漏水病害区域的检测与识别性能。 图6是本发明的一个具体实施例,图中(d)仅输入原始图像,会有漏检,虚线圈出处为漏检区 域。而与“原始图像、方向滤波特征图与渗水区域分割特征图的联合输入”结果对比,本发 明可以将右侧漏检的区域检测到。
Claims (1)
1.一种基于特征输入增强的渗漏水病害深度学习检测方法,包括以下步骤:
S1,渗漏水图像方向滤波抑制:隧道表面拼缝、管线等杂波在相机采集图像视野中呈现出明显的方向特征,为此利用多方向、多尺度Gabor滤波器与待检测渗漏水图像进行卷积,如下式:
式中,z=(x,y)为像素坐标;为卷积算子;u∈{0,1,2,3,4,5,6,7}为Gabor滤波器选定的8个方向角v∈{1,2,3,4,5}为Gabor滤波器选定的5个不同尺度kv=2-(v+2)π/2;Ou,v(z)为利用方向u、尺度v时的Gabor滤波器与渗漏水图像的卷积结果;
采用卷积结果Ou,v(z)的幅值响应作为滤波输出结果,如下式:
将方向滤波结果作为后续深度神经网络输入图像特征通道的第一部分;
S2,渗漏水区域信号分割增强处理:采用图像信号大津阈值分割法对隧道巡检图像数据进行分割预处理,设隧道某一图像区域经大津阈值分割法处理后得到检测结果的真值图为矩阵B,定义如下式:
再利用图像空域滤波器对矩阵B进行平滑处理,生成连续可微的特征输入增强权重矩阵Q,具体公式如下:
将经过图像空域滤波后的特征输入增强权重矩阵Q与原图像进行相乘,并将所得结果作为后续深度神经网络输入图像特征通道的第二部分;
S3,建立渗漏水病害检测与识别模型:将原始图像、方向滤波特征图和图像信号分割处理特征图在通道方向上进行并连,并作为后续深度神经网络的特征输入;基于特征增强后的输入样本数据,利用VGG16+FCN全卷积网络建立渗漏水病害检测与识别模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210402174.5A CN115409768A (zh) | 2022-04-18 | 2022-04-18 | 一种基于特征输入增强的渗漏水病害深度学习检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210402174.5A CN115409768A (zh) | 2022-04-18 | 2022-04-18 | 一种基于特征输入增强的渗漏水病害深度学习检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115409768A true CN115409768A (zh) | 2022-11-29 |
Family
ID=84157752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210402174.5A Pending CN115409768A (zh) | 2022-04-18 | 2022-04-18 | 一种基于特征输入增强的渗漏水病害深度学习检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115409768A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117058125A (zh) * | 2023-09-01 | 2023-11-14 | 无锡维凯科技有限公司 | 基于手机后盖玻璃的检测方法和*** |
-
2022
- 2022-04-18 CN CN202210402174.5A patent/CN115409768A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117058125A (zh) * | 2023-09-01 | 2023-11-14 | 无锡维凯科技有限公司 | 基于手机后盖玻璃的检测方法和*** |
CN117058125B (zh) * | 2023-09-01 | 2024-03-15 | 无锡维凯科技有限公司 | 基于手机后盖玻璃的检测方法和*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tang et al. | Automatic crack detection and segmentation using a hybrid algorithm for road distress analysis | |
Luo et al. | A fast adaptive crack detection algorithm based on a double-edge extraction operator of FSM | |
CN110930357B (zh) | 一种基于深度学习的在役钢丝绳表面缺陷检测方法与*** | |
WO2018122809A1 (zh) | 一种基于静态红外热像图处理的地下管廊渗漏检测方法 | |
CN110827235B (zh) | 钢板表面缺陷检测方法 | |
CN112053376B (zh) | 一种基于深度信息的工件焊缝识别方法 | |
CN108629343A (zh) | 一种基于边缘检测和改进Harris角点检测的车牌定位方法和*** | |
Gui et al. | Automated defect detection and visualization for the robotic airport runway inspection | |
CN104268872A (zh) | 基于一致性的边缘检测方法 | |
CN105678737B (zh) | 一种基于Radon变换的数字图像角点检测方法 | |
CN115345876B (zh) | 一种基于超声图像的螺栓螺纹缺陷检测方法 | |
CN108109154A (zh) | 一种工件的新型定位及数据获取方法 | |
Gao et al. | Pixel-level road crack detection in UAV remote sensing images based on ARD-Unet | |
CN112862744A (zh) | 一种基于超声图像的电容内部缺陷智能检测方法 | |
CN111932490A (zh) | 一种用于工业机器人的视觉***抓取信息提取方法 | |
Li et al. | Detection algorithm of defects on polyethylene gas pipe using image recognition | |
CN115409768A (zh) | 一种基于特征输入增强的渗漏水病害深度学习检测方法 | |
CN115018785A (zh) | 基于视觉振频识别的提升钢丝绳张力检测方法 | |
Berwo et al. | Automotive engine cylinder head crack detection: Canny edge detection with morphological dilation | |
CN108242060A (zh) | 一种基于Sobel算子的图像边缘检测方法 | |
CN102313740B (zh) | 太阳能电池板裂痕检测方法 | |
CN115578366A (zh) | 农机无人驾驶摄像头脏污检测方法、***、介质及设备 | |
Chong et al. | Fabric Defect Detection Method Based on Projection Location and Superpixel Segmentation | |
CN112330633A (zh) | 基于自适应带通滤波的跨接线胶带破损故障图像分割方法 | |
CN115100224B (zh) | 一种煤矿巷道掘进迎头交叉裂隙提取方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |