CN115496982A - 一种基于深度神经网络的煤矿井壁裂缝识别方法 - Google Patents

一种基于深度神经网络的煤矿井壁裂缝识别方法 Download PDF

Info

Publication number
CN115496982A
CN115496982A CN202211237746.5A CN202211237746A CN115496982A CN 115496982 A CN115496982 A CN 115496982A CN 202211237746 A CN202211237746 A CN 202211237746A CN 115496982 A CN115496982 A CN 115496982A
Authority
CN
China
Prior art keywords
well wall
module
wall crack
data
crack
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211237746.5A
Other languages
English (en)
Inventor
付文俊
张亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing China Coal Mine Engineering Co ltd
Original Assignee
Beijing China Coal Mine Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing China Coal Mine Engineering Co ltd filed Critical Beijing China Coal Mine Engineering Co ltd
Priority to CN202211237746.5A priority Critical patent/CN115496982A/zh
Publication of CN115496982A publication Critical patent/CN115496982A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于深度神经网络的煤矿井壁裂缝识别方法，数据收集模块从矿井井下机器人采集数据收集图像数据；对井下机器人采集的图像信息使用图像增强算法进行增强；获取煤矿井壁裂缝目标图像、剔除低质裂缝图像、对图像中的裂缝目标进行标注，构建成煤矿井壁裂缝数据集；将数据集构建模块所建立的井壁裂缝数据集送入改进Efficientdet模型训练模块进行训练，将待检测的裂缝图像输入到改进Efficientdet模型中进行检测，生成最终的检测结果；本发明改进了Efficientdet模型，在现有的模型的基础上增加多空间视角融合模块和三元坐标注意力模块，使得该模型可以克服复杂的煤矿井下环境干扰并且解决细小裂缝漏检问题，提升检测精度。

Description

一种基于深度神经网络的煤矿井壁裂缝识别方法
技术领域
本发明涉及图像识别检测技术领域。具体地说是一种基于深度神经网络的煤矿井壁裂缝识别方法，适用于煤矿井壁的安全隐患排查方面。
背景技术
煤矿井壁裂缝对煤矿生产有着严重的影响，例如导致井下风流方向改变、地下水渗出、瓦斯聚集、煤层因缝隙补充氧气而自燃、塌方等事故。从安全和维护角度考虑，及时快速识别和修复裂缝有助于增大煤矿安全系数、降低维护成本和减少损失。然而由于煤矿井下光照条件较差、裂缝尺寸较小等原因，导致井壁裂缝难以被发现，因此如何高效的检测井壁裂缝越来越受到煤矿产业的关注。人工煤矿井壁裂缝检测通常需要专业人员下井勘探，这种方式不仅效率低下、成本高、容易漏检，并且还伴随着安全上的隐患。因此利用井下机器人代替人工是一种有效且安全的方式。
传统的裂缝检测算法通常都基于经典的数字图像处理方法，例如采用多种边缘检测算子Sobel和Robetrs等。这些经典方法适用场合十分有限，当用来识别背景复杂的煤矿井壁裂缝检测时，很难获得准确的结果。随着深度学习的兴起，许多深度神经网络被用来检测公路裂缝，如SegNet和Deepcrack等。相比于公路裂缝检测任务，煤矿井壁裂缝检测需要克服复杂的环境干扰以及较差的光照条件，这些问题往往会导致井壁细小裂缝的漏检和误检。
发明内容
为此，本发明所要解决的技术问题在于提供一种基于深度神经网络的煤矿井壁裂缝识别方法，该方法基于Efficientdet检测网络并精心设计了多空间视角融合模块和三元坐标注意力模块，克服复杂的环境干扰以及较差的光照条件，提升识别检测精度。
为解决上述技术问题，本发明提供如下技术方案：
一种基于深度神经网络的煤矿井壁裂缝识别方法，包括如下步骤：
步骤100：数据收集模块从矿井井下机器人采集数据中按照时间顺序收集原始煤矿井壁裂缝视频数据和原始煤矿井壁裂缝图像数据，将原始煤矿井壁裂缝视频数据切分成一帧一帧的切分井壁裂缝图像数据，并将切分井壁裂缝图像数据与原始煤矿井壁裂缝图像数据保存到数据收集模块；
步骤200：数据处理增强模块获取数据收集模块收集的井壁裂缝图像数据，并人工手动剔除质量差的井壁裂缝图像数据、剔除无裂缝的图像数据；将筛选过后的井壁裂缝图像数据进行数据增强；
步骤300：将使用数据处理增强模块处理后得到优质井壁裂缝图像数据，输入到数据集构建模块中；对优质井壁图像数据进行手动标注裂缝区域；将标注完成的图像数据按照比例分成训练集与测试集，完成井壁裂缝数据集的构建；
步骤400：将数据集构建模块所建立的井壁裂缝数据集送入改进Efficientdet模型训练模块进行训练学习，将训练过程中测试集裂缝检测精度最高的权重模型保存，用以检测待检的井壁裂缝图像；
步骤500：将待检测的井壁裂缝图像送入到结果检测模块,由步骤400获取的裂缝检测精度最高的权重模型进行检测，展示检测结果并保存。
上述一种基于深度神经网络的煤矿井壁裂缝识别方法，步骤200中构建的数据增强处理模块包括以下子步骤：
步骤210：首先对于收集到的井壁裂缝图像数据进行人工筛选，剔除由于井下机器人移动导致的模糊井壁裂缝图像和采集到的正常无裂缝图像；筛选过后的井壁裂缝图像数据大于等于800张；
步骤220：采用albumentations库函数中的CLAHE算法进行图像的对比度增强，使得经过对比度增强处理后的井壁裂缝图像数据被深度神经网络检测；
步骤230：为了扩充数量有限的数据库并且训练出鲁棒性强的检测模型，对人工筛选过后的优质井壁裂缝图像数据进行数据增广，将优质井壁裂缝图像数据进行水平/垂直翻转、旋转、缩放、裁剪、剪切和平移处理。
上述一种基于深度神经网络的煤矿井壁裂缝识别方法，在步骤300数据集构建模块中，包括以下步骤：
步骤310：将图像数据扩增广的扩增井壁裂缝图像数据按照8：2的比例划分成训练集与测试集；其中训练集是用来训练模型，测试集是用来测试模型的检测精度；
步骤320：利用Label Img软件分别标注划分完成的井壁裂缝图像中存在的裂缝区域，标注时要注意标注框内避免存在干扰物体，必要时将较长的井壁裂缝分成若干进行分段标注。
上述一种基于深度神经网络的煤矿井壁裂缝识别方法，步骤400改进Efficienedet模型训练模块，包括以下步骤：
步骤410：构建改进的主干特征提取网络：改进的主干特征提取网络中加入多空间视角融合模块和三元坐标注意力模块，多层次特征的前三层依旧是由Efficient的不同深度的特征层构成，分别命名为：P3,P4,P5；后两层的特征分别为：由P5经过多空间视角融合模块和上采样形成P6；由P6经过多空间融合块和上采样形成P7；
步骤420：将步骤410构建的多层次主干特征P3,P4,P5,P6,P7送入三元坐标注意力模块以形成改进的多层次主干特征P3′,P4′,P5′,P6′,P7′；
步骤430：将改进的多层次主干特征P3′,P4′,P5′,P6′,P7′送入加强特征提取网络BiFPN，通过将改进的多层次特征相互融合以获取更全面的多层次加强特征P3″,P4″,P5″,P6″,P7″；
步骤440：将多层次加强特征P3″,P4″,P5″,P6″,P7″送入解码器Class PredictionNet和Box Prediction Net获取预测的目标类别和预测框的位置；
步骤450：将步骤440中获取的预测框的位置与标注的井壁裂缝数据集带有的真实预测框输入至公式(1)中计算损失值；
L＝αLce+βLfocal (1)
其中α,β为超参数，α,β均设为0.5；Lce为二元交叉熵损失函数，Lfocal为focal损失函数，二者的计算方式如下：
Lce＝-y log(p)-(1-y)log(1-p) (2)
Lfocal＝-y(1-p)γlog(p)-(1-y)pγlog(1-p) (3)
其中，式(2)和式(3)中，y表示数据真实标签值；p表示模型预测标签值；γ表示权重参数，通常设为2；
步骤460：通过步骤450计算出的损失值进行反向传播，更新网络参数，如此往复循环步骤410-460直至训练至模型收敛；根据实际经验，模型训练轮数设置为30轮。
上述一种基于深度神经网络的煤矿井壁裂缝识别方法，在步骤410中，建立多空间视角融合模块，包括以下子步骤：
步骤411：将Efficient骨干网络提取的特征P5送入多空间视角融合模块；
步骤412：P5∈RN×C×H×W沿通道维度切分为两部分：X1∈RN×αC×H×W,X2∈RN×(1-α)C×H×W；其中X1为原始特征，不参与多空间视角融合运算，保证原始特征图可以访问；X2参与多视角建模操作；其中N，C，H，W和α分别表示训练数据批量大小、通道数、图像高度、图像宽度、通道数切分率；
步骤413：首先将X2送入多视角分支1；X2分别经过1*1卷积、3*1卷积和1*3卷积获取
Figure BDA0003881849280000041
步骤414：然后将X2送入多视角分支2；X2分别经过1*1卷积、5*1卷积和1*5卷积获取
Figure BDA0003881849280000042
步骤415：最后将X2送入多视角分支3；X2分别经过1*1卷积、7*1卷积和1*7卷积获取
Figure BDA0003881849280000043
步骤416：利用公式(4)计算多视角空间特征X2′；
Figure BDA0003881849280000051
其中δ为激活函数，β1,β2,β3为可以通过梯度反向传播进行学习更新的参数；
步骤417：利用公式(5)计算整体融合特征X；
X＝Concat(X1,X2′) (5)
其中Concat代表将特征沿着通道维度拼接。
上述一种基于深度神经网络的煤矿井壁裂缝识别方法，步骤420中的三元坐标注意力模块包括以下子步骤：
步骤421：将步骤410构建的多层次特征P3,P4,P5,P6,P7分别送入三元坐标注意力模块，以获取改进的多层次特征P3′,P4′,P5′,P6′,P7′；
步骤422：以特征层P3为例，首先将P3∈RC×H×W输入到三元坐标注意力模块的分支1，将其沿H方向进行自适应全局平均池化，聚合竖直方向上的信息得到X1∈RC×H×1；接下来将池化后特征送入到3*1卷积探索水平方向上的井壁裂缝区域特征；然后使用批量归一化操作处理以及Sigmoid操作激活后生成空间权重特征图M1；最后将生成的M1与P3对应元素相乘，获取分支1的增强特征图
Figure BDA0003881849280000052
三元坐标注意力模块的分支1的空间权重特征图M1的计算式如公式(6)所示；
步骤423：其次将P3∈RC×H×W输入到三元坐标注意力模块的分支2，将其沿整个空间方向进行自适应全局平均池化，聚合通道维度上的信息得到X2∈R1×H×W；接下来将池化后特征的送入到3*3卷积探索空间方向上的裂缝区域特征；然后使用批量归一化操作处理以及Sigmoid操作激活后生成空间权重特征图M2；最后将生成的M2与P3对应元素相乘，获取分支2的增强特征图P3 2；三元坐标注意力模块的分支2的空间权重特征图M2的计算式如公式(6)所示；
步骤424：最后将P3∈RC×H×W输入到三元坐标注意力模块的分支3，将其沿W方向进行自适应全局平均池化，聚合水平方向上的信息得到X3∈RC×1×W；接下来将池化后特征的送入到1*3卷积探索竖直方向上的井壁裂缝区域特征；然后使用批量归一化操作处理以及Sigmoid操作激活后生成空间权重特征图M3；最后将生成的M3与P3对应元素相乘，获取分支3的增强特征图
Figure BDA0003881849280000061
三元坐标注意力模块的分支3的空间权重特征图M3的计算式如公式(6)所示；
步骤425：将三元坐标注意力模块每个分支得到的增强特征图
Figure BDA0003881849280000062
按通道维度拼接并通过1*1卷积恢复通道数，得到最终的改进多层次特征P3′，其计算公式如公式(7)所示；
Mi＝δ(Convi(Avgpooli(P3))) (6)
Figure BDA0003881849280000063
步骤426：其他层级特征如P4′,P5′,P6′,P7′构建方式与P3′相同，最后获取到改进的多层次主干特征P3′,P4′,P5′,P6′,P7′。
上述一种基于深度神经网络的煤矿井壁裂缝识别方法，步骤500包括以下子步骤：
步骤510：将步骤400获得的最佳网络权重部署到结果检测模块的机器人服务端；
步骤520：由客户端输送的待检测的井壁裂缝图像至机器人服务端，获取识别检测结果并保存。
本发明的技术方案取得了如下有益的技术效果：
本发明利用改进的Efficientdet网络可以高效的识别检测煤矿井壁裂缝。该网络通过增加多空间视角融合模块可以提取不同尺寸和形状的井壁裂缝特征和裂缝细节信息，从而将小尺度裂缝漏检率从25％降低至17％。(降低漏检率和检测精度的困难点在于：从煤矿井壁收集到的裂缝图像不同于其他明显裂缝的检测任务(如公路裂缝检测)，煤矿井壁的裂缝更加细微与不明显，可以将其定位为更加细粒度的检测任务。当图像中存在较多的细小裂缝时必然导致某些不明显的裂缝被漏检，这也是众多检测任务目前遇到的挑战)。同时该网络通过增加三元坐标注意力模块在不同的空间方向上实现空间特征的权重重新分配和融合，可以有效的抑制噪声特征，强调裂缝特征，从而尽量避免井壁裂缝误检情况的发生。
本发明改进了Efficientdet模型，在现有的Efficientdet模型的基础上增加多空间视角融合模块和三元坐标注意力模块，使得该模型可以克服复杂的煤矿井下环境干扰并且解决细小裂缝漏检问题，将检测精度从75％提升至83％。
附图说明
图1本发明一种基于深度神经网络的煤矿井壁裂缝识别方法的流程框图；
图2本发明对于煤矿井壁裂缝检测整体流程的可视化说明；
图3本发明的改进Efficientdet模型的整体结构图；
图4本发明多空间视角融合模块的实施结构图；
图5本发明三元坐标注意里模块的实施结构图。
图中附图标记表示为：101-井下机器人采集数据，102-数据收集模块，103-数据处理增强模块，104-数据集构建模块，105-改进Efficientdet模型训练模块，106-结果检测模块。
具体实施方式
实施例1，基于深度神经网络的煤矿井壁裂缝识别***。
煤矿井壁裂缝识别***，包括井下机器人采集数据101，数据收集模块102，数据处理增强模块103，数据集构建模块104，改进Efficientdet模型训练模块105，结果检测模块106。
所述数据收集模块102、数据处理增强模块103、数据集构建模块104，改进Efficientdet模型训练模块105均存储于计算机***的存储器中；结果检测模块106部署在井下机器人服务端中。井下机器人采集数据101包括：原始煤矿井壁裂缝视频数据、原始煤矿井壁裂缝图像数据。
实施例2，用于煤矿井下机器人的煤矿井壁裂缝检测工作，如图1所示。
步骤100：数据收集模块102从矿井井下机器人采集数据101中按照时间顺序收集视数据，井下机器人采集数据101包括原始煤矿井壁裂缝视频数据和原始煤矿井壁裂缝图像数据，将煤原始矿井壁裂缝视频数据切分成一帧一帧的切分后的切分井壁裂缝图像数据，并将原始煤矿井壁裂缝图像数据和切分后的井壁裂缝图像数据保存到数据收集模块102。
步骤200：数据处理增强模块103获取数据收集模块102收集的井壁裂缝图像数据，并人工手动剔除质量差的井壁裂缝图像数据、剔除无裂缝的图像数据；将筛选过后的井壁裂缝图像数据进行数据增强；筛选过后的井壁裂缝图像数据800张；
步骤210：首先对于收集到的井壁裂缝图像数据进行人工筛选，剔除由于井下机器人移动导致的模糊井壁裂缝图像和采集到的正常无裂缝图像；
步骤220：由于矿井下光照强度低，采集的图像数据清晰度与对比度低。采用albumentations库函数中的CLAHE算法进行图像的对比度增强，使得经过对比度增强处理后的井壁裂缝图像数据被深度神经网络检测；
步骤230：为了扩充数量有限的数据库并且训练出鲁棒性强的检测模型，对人工筛选过后的优质井壁裂缝图像数据进行数据增广，将优质井壁裂缝图像数据进行水平/垂直翻转、旋转、缩放、裁剪、剪切和平移处理。
步骤300：将使用数据处理增强模块103处理后得到优质井壁裂缝图像数据，输入到数据集构建模块104中；对优质井壁图像数据进行手动标注裂缝区域；将标注完成的图像数据按照比例分成训练集与测试集，完成井壁裂缝数据集的构建；
步骤310：将图像数据扩增广的扩增井壁裂缝图像数据按照8：2的比例划分成训练集与测试集；其中训练集是用来训练模型，测试集是用来测试模型的检测精度；
步骤320：利用Label Img软件分别标注划分完成的井壁裂缝图像中存在的裂缝区域，标注时要注意标注框内避免存在干扰物体，必要时将较长的井壁裂缝分成若干进行分段标注。
步骤400：将数据集构建模块104所建立的井壁裂缝数据集送入改进Efficientdet模型训练模块105进行训练，将训练过程中测试集裂缝检测精度最高的权重模型保存，用以检测待检的井壁裂缝图像；
步骤500：将待检测的井壁裂缝图像送入到结果检测模块106,由步骤400获取的裂缝检测精度最高的权重模型进行检测，展示检测结果并保存。
步骤510：将步骤400获得的最佳网络权重部署到结果检测模块106的机器人服务端；
步骤520：由客户端输送的待检测的井壁裂缝图像至机器人服务端，获取识别检测结果并保存。
参照图2，为煤矿井壁裂缝检测方法整体流程的可视化说明。将处理增强后的裂缝图像数据构建为数据集，并将数据集划分后送入改进Efficientdet模型进行训练，然后进行裂缝检测并报告结果。
如下分别对改进Efficienedet模型训练模块和多空间视角融合模块，进行解释。
图3为改进Efficientdet网络结构图，具体过程如下所述：
改进的Efficient模型主要由三部分所构成：改进的主干特征提取网络、加强特征提取网络(BiFPN)和预测结果解码器网络(Class prediction net和Box predictionnet)；我们对于经典Efficientdet模型的改进主要在于主干特征提取网络部分。
首先构建改进的主干特征提取网络。典型Efficientdet的基础架构网络为Efficient，多层次主干特征的前三层由Efficient的不同深度、不同尺寸的特征层组成，分别命名为：P3,P4,P5；后两层特征由P5经过两次上采样形成，分别命名为：P6,P7。
改进的主干特征提取网络中加入多空间视角融合模块和三元坐标注意力模块，多层次特征的前三层依旧是由Efficient的不同深度的特征层构成，分别命名为：P3,P4,P5；后两层的特征由P5经过多空间视角融合模块和上采样形成P6；由P6经过多空间融合模块和上采样形成P7。
其次将构建的多层次主干特征P3,P4,P5,P6,P7送入三元坐标注意力模块以形成改进的多层次主干特征P3′,P4′,P5′,P6′,P7′。
然后将改进的多层次主干特征P3′,P4′,P5′,P6′,P7′送入加强特征提取网络(BiFPN)，通过将改进的多层次特征相互融合以获取更全面的多层次加强特征P3″,P4″,P5″,P6″,P7″。
最后将多层次加强特征P3″,P4″,P5″,P6″,P7″送入解码器Class Prediction Net和Box Prediction Net获取预测的目标类别和预测框的位置。将获取的预测框位置与标注的数据集带有的真实预测框输入至公式(1)中计算损失值。
L＝αLce+βLfocal (1)
其中α,β为超参数，本申请中将二者均设为0.5。Lce为二元交叉熵损失函数，Lfocal为focal损失函数，二者的计算方式如下：
Lce＝-y log(p)-(1-y)log(1-p) (2)
Lfocal＝-y(1-p)γlog(p)-(1-y)pγlog(1-p) (3)
其中，式(2)和式(3)中，y表示数据真实标签值；p表示模型预测标签值；γ表示权重参数，通常设为2；通过计算出的损失值进行反向传播，更新网络参数，循环上述步骤直至训练至模型收敛。根据实际经验，训练论述设置为30轮。
多空间视角融合模块(MSF)通过不同尺寸的卷积来实现，参照图4：
第一步：将Efficient骨干网络提取的特征P5送入多空间视角融合模块；
第二步：P5∈RN×C××H沿通道维度切分为两部分：X1∈RN×αC×H×W,X2∈RN×(1-α)C×H×W，其中N，C，H，W和α分别表示训练数据批量大小、通道数、图像高度、图像宽度、通道数切分率。
其中X1为原始特征，不参与多空间视角融合运算，保证原始特征图可以访问；X2参与多视角建模操作；
首先将X2送入多视角分支1；X2分别经过1*1卷积、3*1卷积和1*3卷积获取
Figure BDA0003881849280000111
然后将X2送入多视角分支2；X2分别经过1*1卷积、5*1卷积和1*5卷积获取
Figure BDA0003881849280000112
最后将X2送入多视角分支3；X2分别经过1*1卷积、7*1卷积和1*7卷积获取
Figure BDA0003881849280000113
第三步：利用公式(4)计算多视角空间特征X2′
Figure BDA0003881849280000114
其中δ为激活函数，β1,β2,β3为可以通过学习更新的参数。这三个参数是在网络中定义的，因此可以设置成可以参与梯度反向传播的参数进行自主学习。
第四步：利用公式(5)计算整体融合特征X
X＝Concat(X1,X2′) (5)
其中Concat代表将特征沿着通道维度拼接。
最终计算得到的X为多空间视角融合模块的输出，将X进行一次上采样得到P6，将P6再经过多空间视角融合模块和上采样得到P7。
参照图5，为本发明设计的三元坐标注意力模块(TCA)结构图。
首先将多层次特征P3,P4,P5,P6,P7分别送入三元坐标注意力模块，以获取改进的多层次特征P3′,P4′,P5′,P6′,P7′。
以P3为例，首先将P3∈RC×H×W输入到三元坐标注意力模块的分支1，将其沿H方向进行自适应全局平均池化，聚合竖直方向上的信息得到X1∈RC×H×1。
接下来将池化后特征的送入到3*1卷积探索水平方向上的井壁裂缝区域特征；然后使用批量归一化操作处理以及Sigmoid操作激活后生成空间权重特征图M1。最后将生成的M1与P3对应元素相乘，获取分支1的增强特征图
Figure BDA0003881849280000115
三元坐标注意力模块的分支1的空间权重特征图M1的计算式如公式(6)所示。
其次将P3∈RC×H×W输入到三元坐标注意力模块的分支2，将其沿整个空间方向进行自适应全局平均池化，聚合通道维度上的信息得到X2∈R1×H×W。接下来将池化后特征的送入到3*3卷积探索空间方向上的裂缝区域特征；然后使用批量归一化操作处理以及Sigmoid操作激活后生成空间权重特征图M2。最后将生成的M2与P3对应元素相乘，获取分支2的增强特征图
Figure BDA0003881849280000121
三元坐标注意力模块的分支2的空间权重特征图M2的计算式如公式(6)所示。
最后将P3∈RC×H×W输入到三元坐标注意力模块的分支3，将其沿W方向进行自适应全局平均池化，聚合水平方向上的信息得到X3∈RC×1×W。接下来将池化后特征的送入到1*3卷积探索竖直方向上的井壁裂缝区域特征；然后使用批量归一化操作处理以及Sigmoid操作激活后生成空间权重图。最后将生成的M3与P3对应元素相乘，获取分支3的增强特征图
Figure BDA0003881849280000122
三元坐标注意力模块的分支3的空间权重特征图M3的计算式如公式(6)所示。
将三元坐标注意力模块每个分支得到的增强特征图
Figure BDA0003881849280000123
按通道维度拼接并通过1*1卷积恢复通道数，得到最终的改进多层次特征P3′，其计算公式如公式(7)所示。
Mi＝δ(Convi(Avgpooli(P3))) (6)
Figure BDA0003881849280000124
这里注意的是P4′,P5′,P6′,P7′构建方式与P3′相同，最后获取到改进的多层次主干特征P3′,P4′,P5′,P6′,P7′。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本专利申请权利要求的保护范围之中。

Claims (7)

1.一种基于深度神经网络的煤矿井壁裂缝识别方法，其特征在于，包括如下步骤：
步骤100：数据收集模块(102)从矿井井下机器人采集数据(101)中按照时间顺序收集原始煤矿井壁裂缝视频数据和原始煤矿井壁裂缝图像数据，将原始煤矿井壁裂缝视频数据切分成一帧一帧的切分井壁裂缝图像数据，并将切分井壁裂缝图像数据与原始煤矿井壁裂缝图像数据保存到数据收集模块(102)；
步骤200：数据处理增强模块(103)获取数据收集模块(102)收集的井壁裂缝图像数据，并人工手动剔除质量差的井壁裂缝图像数据、剔除无裂缝的图像数据；将筛选过后的井壁裂缝图像数据进行数据增强；
步骤300：将使用数据处理增强模块(103)处理后得到优质井壁裂缝图像数据，输入到数据集构建模块(104)中；对优质井壁图像数据进行手动标注裂缝区域；将标注完成的图像数据按照比例分成训练集与测试集，完成井壁裂缝数据集的构建；
步骤400：将数据集构建模块(104)所建立的井壁裂缝数据集送入改进Efficientdet模型训练模块(105)进行训练学习，将训练过程中测试集裂缝检测精度最高的权重模型保存，用以检测待检的井壁裂缝图像；
步骤500：将待检测的井壁裂缝图像送入到结果检测模块(106),由步骤400获取的裂缝检测精度最高的权重模型进行检测，展示检测结果并保存。
2.根据权利要求1所述的一种基于深度神经网络的煤矿井壁裂缝识别方法，其特征在于，步骤200中构建的数据增强处理模块包括以下子步骤：
步骤210：首先对于收集到的井壁裂缝图像数据进行人工筛选，剔除由于井下机器人移动导致的模糊井壁裂缝图像和采集到的正常无裂缝图像；筛选过后的井壁裂缝图像数据大于等于800张；
步骤220：采用albumentations库函数中的CLAHE算法进行图像的对比度增强，使得经过对比度增强处理后的井壁裂缝图像数据被深度神经网络检测；
步骤230：为了扩充数量有限的数据库并且训练出鲁棒性强的检测模型，对人工筛选过后的优质井壁裂缝图像数据进行数据增广，将优质井壁裂缝图像数据进行水平/垂直翻转、旋转、缩放、裁剪、剪切和平移处理。
3.根据权利要求1所述的一种基于深度神经网络的煤矿井壁裂缝识别方法，其特征在于，在步骤300数据集构建模块(104)中，包括以下步骤：
步骤310：将图像数据扩增广的扩增井壁裂缝图像数据按照8：2的比例划分成训练集与测试集；其中训练集是用来训练模型，测试集是用来测试模型的检测精度；
步骤320：利用Label Img软件分别标注划分完成的井壁裂缝图像中存在的裂缝区域，标注时要注意标注框内避免存在干扰物体，必要时将较长的井壁裂缝分成若干进行分段标注。
4.根据权利要求1所述的一种基于深度神经网络的煤矿井壁裂缝识别方法，其特征在于，步骤400改进Efficienedet模型训练模块，包括以下步骤：
步骤410：构建改进的主干特征提取网络：改进的主干特征提取网络中加入多空间视角融合模块和三元坐标注意力模块，多层次特征的前三层依旧是由Efficient的不同深度的特征层构成，分别命名为：P3,P4,P5；后两层的特征分别为：由P5经过多空间视角融合模块和上采样形成P6；由P6经过多空间融合块和上采样形成P7；
步骤420：将步骤410构建的多层次主干特征P3,P4,P5,P6,P7送入三元坐标注意力模块以形成改进的多层次主干特征P3′,P4′,P5′,P6′,P7′；
步骤430：将改进的多层次主干特征P3′,P4′,P5′,P6′,P7′送入加强特征提取网络BiFPN，通过将改进的多层次特征相互融合以获取更全面的多层次加强特征P3″,P4″,P5″,P6″,P7″；
步骤440：将多层次加强特征P3″,P4″,P5″,P6″,P7″送入解码器Class Prediction Net和Box Prediction Net获取预测的目标类别和预测框的位置；
步骤450：将步骤440中获取的预测框的位置与标注的井壁裂缝数据集带有的真实预测框输入至公式(1)中计算损失值；
L＝αLce+βLfocal (1)
其中α,β为超参数，α,β均设为0.5；Lce为二元交叉熵损失函数，Lfocal为focal损失函数，二者的计算方式如下：
Lce＝-ylog(p)-(1-y)log(1-p) (2)
Lfocal＝-y(1-p)γlog(p)-(1-y)pγlog(1-p) (3)
其中，式(2)和式(3)中，y表示数据真实标签值；p表示模型预测标签值；γ表示权重参数，通常设为2；
步骤460：通过步骤450计算出的损失值进行反向传播，更新网络参数，如此往复循环步骤410-460直至训练至模型收敛；根据实际经验，模型训练轮数设置为30轮。
5.根据权利要求4所述的一种基于深度神经网络的煤矿井壁裂缝识别方法，其特征在于，在步骤410中，建立多空间视角融合模块，包括以下子步骤：
步骤411：将Efficient骨干网络提取的特征P5送入多空间视角融合模块；
步骤412：P5∈RN×C×H×W沿通道维度切分为两部分：X1∈RN×αC×H×W,X2∈RN×(1-α)C×H×W；其中X1为原始特征，不参与多空间视角融合运算，保证原始特征图可以访问；X2参与多视角建模操作；其中N，C，H，W和α分别表示训练数据批量大小、通道数、图像高度、图像宽度、通道数切分率；
步骤413：首先将X2送入多视角分支1；X2分别经过1*1卷积、3*1卷积和1*3卷积获取
Figure FDA0003881849270000031
步骤414：然后将X2送入多视角分支2；X2分别经过1*1卷积、5*1卷积和1*5卷积获取
Figure FDA0003881849270000032
步骤415：最后将X2送入多视角分支3；X2分别经过1*1卷积、7*1卷积和1*7卷积获取
Figure FDA0003881849270000041
步骤416：利用公式(4)计算多视角空间特征X2′；
Figure FDA0003881849270000042
其中δ为激活函数，β1,β2,β3为可以通过梯度反向传播进行学习更新的参数；
步骤417：利用公式(5)计算整体融合特征X；
X＝Concat(X1,X2′) (5)
其中Concat代表将特征沿着通道维度拼接。
6.根据权利要求4所述的一种基于深度神经网络的煤矿井壁裂缝识别方法，其特征在于，步骤420中的三元坐标注意力模块包括以下子步骤：
步骤421：将步骤410构建的多层次特征P3,P4,P5,P6,P7分别送入三元坐标注意力模块，以获取改进的多层次特征P3′,P4′,P5′,P6′,P7′；
步骤422：以特征层P3为例，首先将P3∈RC×H×W输入到三元坐标注意力模块的分支1，将其沿H方向进行自适应全局平均池化，聚合竖直方向上的信息得到X1∈RC×H×1；接下来将池化后特征送入到3*1卷积探索水平方向上的井壁裂缝区域特征；然后使用批量归一化操作处理以及Sigmoid操作激活后生成空间权重特征图M1；最后将生成的M1与P3对应元素相乘，获取分支1的增强特征图
Figure FDA0003881849270000043
三元坐标注意力模块的分支1的空间权重特征图M1的计算式如公式(6)所示；
步骤423：其次将P3∈RC×H×W输入到三元坐标注意力模块的分支2，将其沿整个空间方向进行自适应全局平均池化，聚合通道维度上的信息得到X2∈R1×H×W；接下来将池化后特征的送入到3*3卷积探索空间方向上的裂缝区域特征；然后使用批量归一化操作处理以及Sigmoid操作激活后生成空间权重特征图M2；最后将生成的M2与P3对应元素相乘，获取分支2的增强特征图
Figure FDA0003881849270000044
三元坐标注意力模块的分支2的空间权重特征图M2的计算式如公式(6)所示；
步骤424：最后将P3∈RC×H×W输入到三元坐标注意力模块的分支3，将其沿W方向进行自适应全局平均池化，聚合水平方向上的信息得到X3∈RC×1×W；接下来将池化后特征的送入到1*3卷积探索竖直方向上的井壁裂缝区域特征；然后使用批量归一化操作处理以及Sigmoid操作激活后生成空间权重特征图M3；最后将生成的M3与P3对应元素相乘，获取分支3的增强特征图
Figure FDA0003881849270000051
三元坐标注意力模块的分支3的空间权重特征图M3的计算式如公式(6)所示；
步骤425：将三元坐标注意力模块每个分支得到的增强特征图
Figure FDA0003881849270000052
按通道维度拼接并通过1*1卷积恢复通道数，得到最终的改进多层次特征P3′，其计算公式如公式(7)所示；
Mi＝δ(Convi(Avgpooli(P3))) (6)
Figure FDA0003881849270000053
步骤426：其他层级特征如P4′,P5′,P6′,P7′构建方式与P3′相同，最后获取到改进的多层次主干特征P3′,P4′,P5′,P6′,P7′。
7.根据权利要求1所述的一种基于深度神经网络的煤矿井壁裂缝识别方法，其特征在于，步骤500包括以下子步骤：
步骤510：将步骤400获得的最佳网络权重部署到结果检测模块(106)的机器人服务端；
步骤520：由客户端输送的待检测的井壁裂缝图像至机器人服务端，获取识别检测结果并保存。
CN202211237746.5A 2022-10-10 2022-10-10 一种基于深度神经网络的煤矿井壁裂缝识别方法 Pending CN115496982A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211237746.5A CN115496982A (zh) 2022-10-10 2022-10-10 一种基于深度神经网络的煤矿井壁裂缝识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211237746.5A CN115496982A (zh) 2022-10-10 2022-10-10 一种基于深度神经网络的煤矿井壁裂缝识别方法

Publications (1)

Publication Number Publication Date
CN115496982A true CN115496982A (zh) 2022-12-20

Family

ID=84473695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211237746.5A Pending CN115496982A (zh) 2022-10-10 2022-10-10 一种基于深度神经网络的煤矿井壁裂缝识别方法

Country Status (1)

Country Link
CN (1) CN115496982A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152117A (zh) * 2023-04-18 2023-05-23 煤炭科学研究总院有限公司 一种基于Transformer的井下低光照图像增强方法
CN116524293A (zh) * 2023-04-10 2023-08-01 哈尔滨市科佳通用机电股份有限公司 基于深度学习的闸调器拉杆头丢失故障图像识别方法及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524293A (zh) * 2023-04-10 2023-08-01 哈尔滨市科佳通用机电股份有限公司 基于深度学习的闸调器拉杆头丢失故障图像识别方法及***
CN116524293B (zh) * 2023-04-10 2024-01-30 哈尔滨市科佳通用机电股份有限公司 基于深度学习的闸调器拉杆头丢失故障识别方法及***
CN116152117A (zh) * 2023-04-18 2023-05-23 煤炭科学研究总院有限公司 一种基于Transformer的井下低光照图像增强方法
CN116152117B (zh) * 2023-04-18 2023-07-21 煤炭科学研究总院有限公司 一种基于Transformer的井下低光照图像增强方法

Similar Documents

Publication Publication Date Title
Sony et al. A systematic review of convolutional neural network-based structural condition assessment techniques
CN115496982A (zh) 一种基于深度神经网络的煤矿井壁裂缝识别方法
Zhou et al. Automated residential building detection from airborne LiDAR data with deep neural networks
CN110276402B (zh) 一种基于深度学习语义边界增强的盐体识别方法
CN112967243A (zh) 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
CN111898507A (zh) 一种预测无标签遥感影像地表覆盖类别的深度学习方法
CN111563408B (zh) 多层次感知特征渐进自学习的高分辨率影像滑坡自动检测方法
Oskouie et al. Automated recognition of building façades for creation of As-Is Mock-Up 3D models
CN111160389A (zh) 一种基于融合vgg的岩性识别方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
Yang et al. Semantic segmentation in architectural floor plans for detecting walls and doors
CN113505670A (zh) 基于多尺度cam和超像素的遥感图像弱监督建筑提取方法
Yan et al. MSG-SR-Net: A weakly supervised network integrating multiscale generation and superpixel refinement for building extraction from high-resolution remotely sensed imageries
Reghukumar et al. Vision based segmentation and classification of cracks using deep neural networks
Murugan et al. A novel CNN method for the accurate spatial data recovery from digital images
Faltin et al. Inferring interconnections of construction drawings for bridges using deep learning-based methods
Chai et al. Combine Markov random fields and marked point processes to extract building from remotely sensed images
Jafrasteh et al. Generative adversarial networks as a novel approach for tectonic fault and fracture extraction in high resolution satellite and airborne optical images
Anouncia et al. A knowledge model for gray scale image interpretation with emphasis on welding defect classification—An ontology based approach
CN112966774B (zh) 一种基于图片Bert的组织病理图片分类方法
Hake et al. Damage detection for port infrastructure by means of machine-learning-algorithms
CN114170625A (zh) 一种上下文感知、噪声鲁棒的行人搜索方法
Jayaraju et al. A Deep Learning-Image Based Approach for Detecting Cracks in Buildings.
Hakert et al. Informed Machine Learning Methods for Instance Segmentation of Architectural Floor Plans
Satari et al. Extraction of linear structures from digital terrain models using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination