CN117788811A - 矿山地表损伤裂缝的提取方法、装置、电子设备及介质 - Google Patents
矿山地表损伤裂缝的提取方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN117788811A CN117788811A CN202311552671.4A CN202311552671A CN117788811A CN 117788811 A CN117788811 A CN 117788811A CN 202311552671 A CN202311552671 A CN 202311552671A CN 117788811 A CN117788811 A CN 117788811A
- Authority
- CN
- China
- Prior art keywords
- ground
- model
- image
- crack
- fracture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims description 32
- 238000012549 training Methods 0.000 claims abstract description 137
- 230000011218 segmentation Effects 0.000 claims abstract description 109
- 238000005065 mining Methods 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 52
- 239000003245 coal Substances 0.000 claims abstract description 51
- 230000007246 mechanism Effects 0.000 claims abstract description 41
- 238000005520 cutting process Methods 0.000 claims description 63
- 238000001514 detection method Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 8
- 230000001976 improved effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 206010039509 Scab Diseases 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 239000002689 soil Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000000137 annealing Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000009172 bursting Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 1
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种矿山地表损伤裂缝的提取方法、装置、电子设备及介质,其中,方法包括:采集目标煤炭开采区的多张地裂缝图像,建立地裂缝训练数据集;基于分层式Transformer架构网络和高效自注意力机制,生成模型编码器,并通过预设多尺度金字塔联级解码策略,得到模型解码器,根据模型编码器和模型解码器构建分割识别模型;基于地裂缝训练数据集,训练分割识别模型,生成地裂缝分割识别模型,以利用地裂缝分割识别模型识别目标煤炭开采区的地表损伤裂缝。由此,解决了现有技术无法克服裂缝特征多变、地表环境噪声复杂等因素对地裂缝识别的影响,难以准确捕捉裂缝的上下结构关系和微小裂缝的空间位置,裂缝分割的准确性和鲁棒性较差,泛化性能较低等问题。
Description
技术领域
本申请涉及煤矿区地质灾害监测技术领域,特别涉及一种矿山地表损伤裂缝的提取方法、装置、电子设备及介质。
背景技术
高强度煤炭井工开采会引起上覆岩层破断和地表土层形变,在两者耦合扰动下,容易产生地表采动裂缝,会破坏煤矿区建筑设施、交通线路等岩土工程设施的稳定以及造成植被消减、土壤退化、水分流失等生态安全问题,并可能引发煤炭自燃、漏风、溃水、溃沙等安全事故,对生命财产安全以及矿区的可持续发展造成了严重威胁。因此,及时、精确、高效地监测提取地裂缝对矿区的安全生产、生态恢复、减少事故灾害等具有重要意义。
目前,地裂缝监测通常依赖于传统方法,如人工实地勘测、GPS(GlobalPositioning System,全球定位***)等,但这些方法存在工作繁重、效率低下、时效性和安全性限制。卫星遥感影像用于矿区地裂缝监测,但受限于空间分辨率、重访周期和获取条件,难以捕获地裂缝的精细特征和动态演变过程,无法满足后续的防治修复需求。与之相比,无人机航测技术集成了多种先进技术,包括自动飞行、多源传感器和高精度定位等,具有低成本、短周期、高精度、灵活便捷等显著优势,特别适用于小范围、复杂地质环境的煤炭资源开采区,能够快速获取高分辨率影像,为地裂缝的精确提取提供了理想的数据源。
目前,针对无人机高分辨率影像的遥感解译方法包括人工解译、传统图像检测、特征构造分类提取和深度学习分割检测技术。传统人工解译虽然精确,但存在主观误差、高成本、耗时长、不适用于大规模数据等问题;阈值分割法如Otsu和区域增长法可通过阈值分离前景和背景,但难以处理矿区地表的复杂噪声;边缘检测方法如Sobel和Canny常用于裂缝检测,但对噪声、纹理和光照敏感,容易引入误差。相比之下,基于特征构造的机器学习方法效果有所提升,如随机森林、SVM(Support Vector Machine,支持向量机)和XGBoost,但依赖领域专业知识和特征工程,对不同场景需重新选择特征,泛化性不强,并且无法有效捕获地裂缝的结构特征和纹理信息。
深度学习通过大型神经网络模型进行逐层特征提取和映射关系构建,实现高维感知数据与目标检测之间的复杂映射,具备出色的特征学习和模式识别能力。在裂缝识别领域,深度学习技术,尤其是卷积神经网络已成为研究的焦点。CrackPix采用了深度全卷积分割模型,取代全连接层,以像素级缺陷检测为例,效果明显优于传统方法;基于DeepLabV3+的裂缝分割算法通过膨胀卷积来增强裂缝上下文信息捕获,提升了检测效果;另外,FPHBN整合了特征金字塔和分层提升网络,融合多尺度特征信息和上下文内容,显著提高了路面裂缝检测的精度;此外,注意力机制在视觉任务中得到广泛应用,CrackForm采用类似新型注意力模块构建细粒度裂纹检测神经网络,能够适应各种背景条件,包括强度不均、拓扑复杂和低对比度的情况。卷积神经网络主要关注局部信息的交互,但在处理长距离信息交互时存在限制,而Transfomer的视觉扩展(VIT,Vision Tranformer)效应则可有效解决该问题,VIT可通过自注意力机制中实现长距离信息交互,使得浅层网络也能获得较大的感受野。此外,一种基于自注意力模块和局部特征增强模块的道路裂缝检测模型,有效提取了全局信息和长距离依赖关系,整合不同尺度局部信息。尽管VIT在裂缝检测中表现出色,但其也存在一些限制:首先,其仅可生成单一尺度特征,不适用于分割任务;其次,传统VIT计算复杂度高,成本较大。此外,解码器的设计对于裂缝识别也至关重要,传统的多阶段解码器通常会堆叠多层3×3卷积模块,用于融合采样特征和调整信息通道,然而,这种方法可能导致参数数量膨胀,增加计算复杂度,特别是在深层网络中,可能会减缓训练速度,容易出现梯度消失等问题,如何高效整合编码信息以准确还原裂缝边缘前景仍需深入研究。
上述深度学习算法多是针对道路、桥梁等人工建筑的裂缝数据开展检测研究,相比之下,矿区地裂缝的纹理、形态等特征更为复杂,同时存在植被、砾石、阴影、车辙等多种背景噪声,并且不同地理位置的煤矿区地表环境存在显著差异,地裂缝特征多变、地表环境噪声复杂等因素对地裂缝精确识别带来的影响,增加了裂缝提取的难度。
综上所述,现有技术对于地表背景复杂的矿区场景,获取的特征图存在一定的噪声干扰,对深层语义信息的解析产生不利影响;此外,传统多阶段解码器可能导致参数数量膨胀,增加计算复杂度,特别是在深层网络中,可能会减缓训练速度,容易出现梯度消失等问题,亟待解决。
发明内容
本申请提供一种矿山地表损伤裂缝的提取方法、装置、电子设备及介质,以解决现有技术无法克服裂缝特征多变、地表环境噪声复杂等因素对地裂缝识别的影响,难以准确捕捉裂缝的上下结构关系和微小裂缝的空间位置,裂缝分割的准确性和鲁棒性较差,泛化性能较低等问题。
本申请第一方面实施例提供一种矿山地表损伤裂缝的提取方法,应用于离线训练阶段,包括以下步骤:采集目标煤炭开采区的多张地裂缝图像,基于所述多张地裂缝图像,建立地裂缝训练数据集;基于预设的分层式Transformer架构网络和高效自注意力机制,生成模型编码器,并通过卷积神经网络的多尺度金字塔联级解码策略,得到模型解码器,且根据所述模型编码器和所述模型解码器构建分割识别模型;基于所述地裂缝训练数据集,训练所述分割识别模型,生成地裂缝分割识别模型,以利用所述地裂缝分割识别模型识别所述目标煤炭开采区的地表损伤裂缝。
可选地,在本申请的一个实施例中,所述基于所述多张地裂缝图像,建立地裂缝训练数据集,包括:基于所述多张地裂缝图像,构建所述多张地裂缝图像中每张地裂缝图像对应的标签图像;裁剪所述每张地裂缝图像和每张标签图像,得到地裂缝裁剪图像和标签裁剪图像;根据所述标签裁剪图像筛选所述地裂缝裁剪图像,获取目标地裂缝裁剪图像和所述目标地裂缝裁剪图像对应的目标标签裁剪图像;对所述目标地裂缝裁剪图像和所述目标标签裁剪图像进行数据增强处理,得到所述目标地裂缝训练图像,并根据所述目标地裂缝训练图像得到所述地裂缝训练数据集。
可选地,在本申请的一个实施例中,所述基于预设的分层式Transformer架构网络和高效自注意力机制,生成模型编码器,并通过卷积神经网络的多尺度金字塔联级解码策略,得到模型解码器,包括:基于重叠补丁向量映射层、所述高效自注意力机制和混合全连接层构建多个Transformer编码块;串联所述多个Transformer编码块,生成所述模型编码器;基于所述多尺度金字塔联级解码策略,结合深层残差金字塔池化机制和空间-通道注意力瓶颈机制,构建所述模型解码器。
可选地,在本申请的一个实施例中,所述基于所述地裂缝训练数据集,训练所述分割识别模型,包括:基于所述地裂缝训练数据集和所述模型编码器,生成所述地裂缝训练数据集中每张目标地裂缝训练图像的多个不同尺度的特征图;将所述多个不同尺度的特征图输入至所述模型解码器,以输出所述每张目标地裂缝训练图像的概率特征图;根据预设激活函数对所述概率特征图进行归一化,得到所述每张目标地裂缝训练图像的归一化特征图;对所述归一化特征图进行阈值划分处理,获取所述归一化特征图的二值化特征图;基于预设双域加权损失函数、AdamW优化器和动态调整算法,检测所述二值化特征图,生成所述每张目标地裂缝训练图像的地裂缝识别结果。
本申请第二方面实施例提供一种矿山地表损伤裂缝的提取方法,应用于在线检测阶段,其中,包括以下步骤:采集待提取煤炭开采区的初始地表图像,并对所述初始地表图像进行裁剪,得到多张地表子图像;将所述多张地表子图像中的每个地表子图像输入至预先训练的地裂缝分割识别模型中,以输出所述每个地表子图像的地裂缝识别结果,其中,所述地裂缝分割识别模型通过利用预设的地裂缝训练数据集对预设的模型编码器和模型解码器构建的分割识别模型进行训练得到;将所述每个地表子图像的地裂缝识别结果进行拼接,得到所述待提取煤炭开采区的地裂缝识别结果。
本申请第三方面实施例提供一种矿山地表损伤裂缝的提取装置,应用于离线训练阶段,包括:第一采集模块,用于采集目标煤炭开采区的多张地裂缝图像,基于所述多张地裂缝图像,建立地裂缝训练数据集;建模模块,用于基于预设的分层式Transformer架构网络和高效自注意力机制,生成模型编码器,并通过卷积神经网络的多尺度金字塔联级解码策略,得到模型解码器,且根据所述模型编码器和所述模型解码器构建分割识别模型;训练模块,用于基于所述地裂缝训练数据集,训练所述分割识别模型,生成地裂缝分割识别模型,以利用所述地裂缝分割识别模型识别所述目标煤炭开采区的地表损伤裂缝。
可选地,在本申请的一个实施例中,所述采集模块包括:标签单元,用于基于所述多张地裂缝图像,构建所述多张地裂缝图像中每张地裂缝图像对应的标签图像;裁剪单元,用于裁剪所述每张地裂缝图像和每张标签图像,得到地裂缝裁剪图像和标签裁剪图像;筛选单元,用于根据所述标签裁剪图像筛选所述地裂缝裁剪图像,获取目标地裂缝裁剪图像和所述目标地裂缝裁剪图像对应的目标标签裁剪图像;处理单元,用于对所述目标地裂缝裁剪图像和所述目标标签裁剪图像进行数据增强处理,得到所述目标地裂缝训练图像,并根据所述目标地裂缝训练图像得到所述地裂缝训练数据集。
可选地,在本申请的一个实施例中,所述建模模块包括:编码块构建单元,用于基于重叠补丁向量映射层、所述高效自注意力机制和混合全连接层构建多个Transformer编码块;串联单元,用于串联所述多个Transformer编码块,生成所述模型编码器;解码器构建单元,用于基于所述多尺度金字塔联级解码策略,结合深层残差金字塔池化机制和空间-通道注意力瓶颈机制,构建所述模型解码器。
可选地,在本申请的一个实施例中,所述训练模块包括:生成单元,用于基于所述地裂缝训练数据集和所述模型编码器,生成所述地裂缝训练数据集中每张目标地裂缝训练图像的多个不同尺度的特征图;输入单元,用于将所述多个不同尺度的特征图输入至所述模型解码器,以输出所述每张目标地裂缝训练图像的概率特征图;归一化单元,用于根据预设激活函数对所述概率特征图进行归一化,得到所述每张目标地裂缝训练图像的归一化特征图;二值化单元,用于对所述归一化特征图进行阈值划分处理,获取所述归一化特征图的二值化特征图;检测单元,用于基于预设双域加权损失函数、AdamW优化器和动态调整算法,检测所述二值化特征图,生成所述每张目标地裂缝训练图像的地裂缝识别结果。
本申请第四方面实施例提供一种矿山地表损伤裂缝的提取装置,应用于在线检测阶段,包括:第二采集模块,用于采集待提取煤炭开采区的初始地表图像,并对所述初始地表图像进行裁剪,得到多张地表子图像;识别模块,用于将所述多张地表子图像中的每个地表子图像输入至预先训练的地裂缝分割识别模型中,以输出所述每个地表子图像的地裂缝识别结果,其中,所述地裂缝分割识别模型通过利用预设的地裂缝训练数据集对预设的模型编码器和模型解码器构建的分割识别模型进行训练得到;拼接模块,用于将所述每个地表子图像的地裂缝识别结果进行拼接,得到所述待提取煤炭开采区的地裂缝识别结果。
本申请第五方面实施例提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如上述实施例所述的矿山地表损伤裂缝的提取方法。
本申请第六方面实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机程序,该程序被处理器执行时实现如上的矿山地表损伤裂缝的提取方法。
由此,本申请的实施例具有以下有益效果:
本申请的实施例可通过采集目标煤炭开采区的多张地裂缝图像,基于多张地裂缝图像,建立地裂缝训练数据集;基于预设的分层式Transformer架构网络和高效自注意力机制,生成模型编码器,并通过卷积神经网络的多尺度金字塔联级解码策略,得到模型解码器,且根据模型编码器和模型解码器构建分割识别模型;基于地裂缝训练数据集,训练分割识别模型,生成地裂缝分割识别模型,以利用地裂缝分割识别模型识别目标煤炭开采区的地表损伤裂缝,从而能够准确地捕捉肉眼难以辨别的微小裂缝的空间位置以及裂缝的上下结构关系,避免连续裂缝中断,提高了地裂缝分割的准确性和鲁棒性,并具有较强的泛化性能,可有效拓展到路面裂缝监测应用中。由此,解决了现有技术无法克服裂缝特征多变、地表环境噪声复杂等因素对地裂缝识别的影响,难以准确捕捉裂缝的上下结构关系和微小裂缝的空间位置,裂缝分割的准确性和鲁棒性较差,泛化性能较低等问题。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本申请实施例提供的一种应用于离线训练阶段的矿山地表损伤裂缝的提取方法的流程图;
图2为本申请一个实施例的应用于离线训练阶段的矿山地表损伤裂缝的提取方法的执行逻辑示意图;
图3为本申请一个实施例的高效Transformer模块的结构示意图;
图4为本申请一个实施例的残差金字塔模块的结构示意图;
图5为本申请一个实施例的空间通道注意力瓶颈结构示意图;
图6为本申请一个实施例的矿山地表损伤裂缝的提取方法的整体架构示意图;
图7为本申请一个实施例的双域损失函数的逻辑示意图;
图8为本申请一个实施例的矿山地表损失裂缝提取结果示意图;
图9为本申请一个实施例的路面损伤裂缝提取结果示意图;
图10为根据本申请实施例提供的一种应用于在线检测阶段的矿山地表损伤裂缝的提取方法的流程图;
图11为根据本申请实施例的一种应用于离线训练阶段的矿山地表损伤裂缝的提取装置的示例图;
图12为根据本申请实施例的一种应用于在线检测阶段的矿山地表损伤裂缝的提取装置的示例图;
图13为本申请实施例提供的电子设备的结构示意图。
其中,10-应用于离线训练阶段的矿山地表损伤裂缝的提取装置、20-应用于在线检测阶段的矿山地表损伤裂缝的提取装置;101-第一采集模块、102-建模模块、103-训练模块;201-第二采集模块、202-识别模块、203-拼接模块;1301-存储器、1302-处理器、1303-通信接口。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的矿山地表损伤裂缝的提取方法、装置、电子设备及介质。针对上述背景技术中提到的问题,本申请提供了一种矿山地表损伤裂缝的提取方法,在该方法中,通过采集目标煤炭开采区的多张地裂缝图像,基于多张地裂缝图像,建立地裂缝训练数据集;基于预设的分层式Transformer架构网络和高效自注意力机制,生成模型编码器,并通过卷积神经网络的多尺度金字塔联级解码策略,得到模型解码器,且根据模型编码器和模型解码器构建分割识别模型;基于地裂缝训练数据集,训练分割识别模型,生成地裂缝分割识别模型,以利用地裂缝分割识别模型识别目标煤炭开采区的地表损伤裂缝,从而能够准确地捕捉肉眼难以辨别的微小裂缝的空间位置以及裂缝的上下结构关系,避免连续裂缝中断,提高了地裂缝分割的准确性和鲁棒性,并具有较强的泛化性能,可有效拓展到路面裂缝监测应用中。由此,解决了现有技术无法克服裂缝特征多变、地表环境噪声复杂等因素对地裂缝识别的影响,难以准确捕捉裂缝的上下结构关系和微小裂缝的空间位置,裂缝分割的准确性和鲁棒性较差,泛化性能较低等问题。
具体而言,图1为本申请实施例所提供的一种应用于离线训练阶段的矿山地表损伤裂缝的提取方法的流程图。
如图1所示,该矿山地表损伤裂缝的提取方法包括以下步骤:
在步骤S101中,采集目标煤炭开采区的多张地裂缝图像,基于多张地裂缝图像,建立地裂缝训练数据集。
本申请的实施例可通过无人机等设备采集目标煤炭开采区的图像,并对该图像进行预处理,建立煤炭开采区地裂缝深度学习样本数据库,且通过几何维度与像素维度的图像变化算法组合搭建数据增强管道,如图2所示,实现数据样本的增强优化,之后可将煤炭开采区地裂缝深度学习样本数据库划分为训练集、验证集以及测试集,从而为后续的地裂缝分割识别模型的构建提供大量可靠的数据依据,有效抑制了地裂缝分割识别模型过拟合现象。
可选地,在本申请的一个实施例中,基于多张地裂缝图像,建立地裂缝训练数据集,包括:基于多张地裂缝图像,构建多张地裂缝图像中每张地裂缝图像对应的标签图像;裁剪每张地裂缝图像和每张标签图像,得到地裂缝裁剪图像和标签裁剪图像;根据标签裁剪图像筛选地裂缝裁剪图像,获取目标地裂缝裁剪图像和目标地裂缝裁剪图像对应的目标标签裁剪图像;对目标地裂缝裁剪图像和目标标签裁剪图像进行数据增强处理,得到目标地裂缝训练图像,并根据目标地裂缝训练图像得到地裂缝训练数据集。
需要说明的是,在本申请的实施例中,可利用PIX4D等软件对采集的煤炭开采区的无人机影像(包括jpg、png、tif等多种图片格式)进行处理,具体图像处理的过程如下所述:
1、数据源确定:
由于原始影像中可能存在大范围不存在地裂缝的情况(地裂缝范围多与矿区边界相近),因此,本申请的实施例可依据矿界等先验数据,结合目视解译,裁剪出无人机影像中地裂缝存在的大致范围影像,并将该影像作为数据源,从而可以减少训练与推理时间;
2、数据标注:
本申请的实施例可通过QGIS先使用线状矢量在无人机影像中勾绘出地裂缝的外界轮廓,然后将该外界轮廓转成栅格数据,并构建标签影像,且标签影像大小尺寸和无人机影像大小一致;由于jpg格式存在数据压缩,容易造成信息丢失,因此,本申请实施例的标签数据可保存为png格式;
3、影像裁剪:
裁剪无人机影像以及标签影像(可根据实际情况确定裁剪的尺寸,如256*256或者512*512等),且可将裁剪后的无人机影像与标签影像文件名称保持一致,以一一锁定,以便于后续进行模型训练;此外,本申请的实施例还可对训练集数据进行重叠裁剪,重叠率可设置为30%或50%等,以扩大数据集,对于测试集数据(用户利用模型进行推理时所用的数据)可进行无重叠裁剪;
4、数据筛选:
由于遥感影像识别不同于自然图片的识别,对于地物的标签绘制,在大范围未裁剪的影像上进行更加方便,裁剪后的无人机影像中存在大量不含地裂缝的地块影像,为了避免裁剪后精度丢失,因此,本申请的实施例可依据标签结果对裁剪后的无人机影像进行筛选,可只保留存在地裂缝的地块影像以及对应的标签影像;
5、数据增强:
为了有效提高数据规模,本申请的实施例可利用pytorch自带api进行处理或调用其他开源图像增强库或根据场景需求自定义增强算法进行数据增强操作,该操作主要包括几何增强和像素增强两个步骤:
几何增强:通过缩放、水平与垂直翻转、随机旋转等方法同时对无人机影像以及相应标签影像进行几何维度的数据增强;
像素增强:通过直方图均衡化、高斯模糊、模拟阴影、薄雾、改变亮度等方法仅对无人机影像进行像素维度的数据增强。
在数据增强步骤中,若在裁剪步骤中未固定影像大小,则本申请的实施例还可进行无人机影像的resize以及padding操作,以调节图像尺寸,并解决图片尺寸不一等问题;此外,本申请的实施例还可计算图像的三通道的均值和方差,并进行归一化操作;
作为一种可以实现的方式,在本申请的实施例中,对于验证集以及测试集可只进行resize、padding以及归一化操作。
6、数据划分:
本申请的实施例可依据8:1:1的划分比例,将数据样本随机划分为训练集、验证集和测试集,本领域技术人员可根据实际情况设定合适的划分比例对数据样本进行划分,于此不做具体限定。
由此,本申请的实施例通过对煤炭开采区的无人机影像进行预处理和数据划分,以构建数据训练集、验证集和测试集,从而有效保障了训练数据的质量,提升了后续模型训练的效率和性能。
在步骤S102中,基于预设的分层式Transformer架构网络和高效自注意力机制,生成模型编码器,并通过卷积神经网络的多尺度金字塔联级解码策略,得到模型解码器,且根据模型编码器和模型解码器构建分割识别模型。
在实际执行过程中,本申请的实施例可采用Transformer架构网络作为分割识别模型的特征编码器,以增大模型感受野,提升模型鲁棒性与准确性,并可通过引入高效编码块,采用重叠的卷积滤波器进行图像的嵌入投影和特征图尺度变换,从而实现分层式的多尺度Transformer结构。
其次,本申请的实施例可使用高效自注意力机制来替代原始的自注意力机制,减小模型计算开销,并去除VIT中的位置编码,将DWConv层串联到前向连接模块中,构建Mix-MLP模块,以对传统的VIT模型进行了优化调整,弥补了位置信息;此外,本申请的实施例还可还引入了卷积网络的局部感知特性,增强了网络捕获局部边缘信息的能力。
再次,本申请的实施例在解码器部分使用1×1卷积操作代替大尺度卷积,以对概率信息进行通道维度的缩放,从而形成了一种瓶颈式的信息交互方式,以放大重要特征,同时降低计算复杂度;此外,本申请的实施例还采用了SCSE(Spatial and Channel Squeeze-and-Excitation Networks,空间和信道压缩和激励网络)混合注意力机制来进行特征信息的自适应融合,同时还对原始信息进行了残差连接,从而在高效整合信息的同时压缩了模型的参数数量,有效防止了梯度弥散。
之后,本申请的实施例通过选用多尺度的池化层组成层次化的全局先验结构,即金字塔式池化模块,以捕获深层语义信息的多子域细粒度特征,并过滤多余背景噪声,并加入残差结构,以对池化结果进行特征修复。
由此,本申请的实施例通过联合卷积神经网络架构与Transformer视觉架构,从而创建地裂缝精准分割识别模型,为后续煤炭开采区的地表损伤裂缝的识别提供可靠的技术支撑。
可选地,在本申请的一个实施例中,基于预设的分层式Transformer架构网络和高效自注意力机制,生成模型编码器,并通过卷积神经网络的多尺度金字塔联级解码策略,得到模型解码器,包括:基于重叠补丁向量映射层、高效自注意力机制和混合全连接层构建多个Transformer编码块;串联多个Transformer编码块,生成模型编码器;基于多尺度金字塔联级解码策略,结合深层残差金字塔池化机制和空间-通道注意力瓶颈机制,构建模型解码器。
在具体的执行过程中,本申请的实施例可通过Transformer架构网络的编码器和CNN架构网络的解码器组建编码-解码结构。
具体地,模型编码部分由分层式的4个多深度高效Transformer块串联组成,如图3所示,对应深度分别为3、4、18、3,可输出多尺度特征图。每个Transformer编码块由1个Overlap Patch Embedding、N个(对应深度)高效自注意力机制和Mix-MLP串联组成的模块以及一个Overlapped Patch Merging模块组成。
模型的解码部分采用多尺度金字塔联级的解码方式,将深层残差金字塔池化模块(Residual Pyramid Pooling Module,RPPM)、空间-通道注意力瓶颈结构(Spatial andChannel Attention Bottleneck,SCAB)相结合,增强地裂缝全局信息以及边缘信息的捕获效果。
其中,RPPM结构如图4所示,其实现机制为:
1、在原始特征图上使用不同尺度的池化,得到多个不同尺寸的特征图;
2、在通道维度上拼接多个不同尺寸的特征图(含原始特征图);
3、输出一个融合多尺度信息的复合特征图,并且在该结果上与原始特征图进行残差连接,从而达到兼顾全局语义信息与局部细节信息的目的。
上述SCAB依次由1×1卷积层、3×3卷积层、SCSE混合注意力模块和1×1卷积层组成,如图5所示,其中,1×1卷积层以对概率信息进行通道维度的缩放,实现信息交互,同时还对原始信息进行了残差连接,有效防止了梯度弥散问题。
SCSE的实现机制为:
1、将特征图通过全局平均池化层将维度从[C,H,W]变为[C,1,1];
2、使用两个1×1卷积进行信息的处理(即降维与升维操作),最终得到C维的向量;
3、使用sigmoid函数进行归一化,得到对应的权重向量文件;
4、通过channel-wise与原始特征图相乘,得到经过通道信息真个校准过的特征图1;
5、将特征图通过一个输出通道为1,卷积核大小为1×1的卷积层,得到一个维度为(1,H,W)的权重矩阵;
6、将权重矩阵进行sigmod归一化处理,得到最终的权重矩阵;
7、将权重矩阵同原始特征图在空间维度相乘,得到最终空间信息增强特征图2;
8、将特征图结果1和2沿着通道维度相加,得到最终信息校正结果。
由此,本申请的实施例基于Transformer架构网络的编码器和卷积神经网络架构的解码器构建分割识别模型,从而可有效克服地裂缝特征多变、地表环境噪声复杂等因素对地裂缝精确识别带来的影响,降低了计算复杂度,兼顾了全局语义信息与局部细节信息,保障了深层语义信息的解析效率。
在步骤S103中,基于地裂缝训练数据集,训练分割识别模型,生成地裂缝分割识别模型,以利用地裂缝分割识别模型识别目标煤炭开采区的地表损伤裂缝。
在构建分割识别模型后,进一步地,本申请的实施例还可基于训练集与验证集,通过带动能的梯度下降算法、双域损失函数等技术策略训练所建的分割识别模型,并利用测试集进行精度评价,保存精度最高的及其权重,得到地裂缝精确分割模型。
可选地,在本申请的一个实施例中,基于地裂缝训练数据集,训练分割识别模型,包括:基于地裂缝训练数据集和模型编码器,生成地裂缝训练数据集中每张目标地裂缝训练图像的多个不同尺度的特征图;将多个不同尺度的特征图输入至模型解码器,以输出每张目标地裂缝训练图像的概率特征图;根据预设激活函数对概率特征图进行归一化,得到每张目标地裂缝训练图像的归一化特征图;对归一化特征图进行阈值划分处理,获取归一化特征图的二值化特征图;基于预设双域加权损失函数、AdamW优化器和动态调整算法,检测二值化特征图,生成每张目标地裂缝训练图像的地裂缝识别结果。
需要说明的是,本申请的实施例训练分割识别模型的具体过程如下:
1、训练数据集或验证数据集中的图像输入到第一个高效Transformer块中,并通过Overlap Patch Embeddings,由图像映射为具有连续特征的向量序列v,依次将v输入到多深度的高效自注意力机制编码块和Mix-MLP中得到第一层特征图fe1;
2、将fe1输入到第2个Transformer编码块中得到第二层特征图fe2,依次迭代,共得到多不同尺度的特征图fe1、fe2、fe3、fe4;
3、将编码器输出的最深层原始特征图fe4输入到RPPM中,通过多尺度的平均池化层聚合细语粒特征图不同区域的上下文信息,输出得到复合特征图fdc;
4、将复合特征图fdc以及编码器输出的特征图fe2、fe3、fe4输入到由SCAB组成的多层级联合上采样模块中,输出多尺度解码特征图fd1、fd2、fd3、fd4,将各特征图统一到原始图像的四分之一大小后,再依次通过SCAB、Dropout层、1×1卷积层和上采样层,得到最终的概率特征图;
5、利用sigmoid函数将概率特征图的特征值归化到0-1之间,再通过阈值划分将归一化后的特征图二值化,其中,0为背景,1为地裂缝;
6、基于AdamW优化器、融合区域损失函数Dice Loss与边缘损失函数BoundaryLoss的双域加权损失函数结合动态调整算法对二值化特征图进行迭代训练,得到初始的地裂缝分割识别模型,其架构如图6所示;
其中,本申请实施例中双域加权损失函数的区域损失函数可通过加强对裂缝内部结构的学习,提升分割精度;边缘损失函数则专注于边界信息的优化,以增强边缘细节的捕捉,补充局域信息,如图7所示;
学习率动态调整算法为带有Warm Up的余弦退火法,Warmup是一种学习率预热的方法,其在训练开始的时候先选择使用一个较小的学习率,训练一些epochs或者steps,在预热的小学习率下,模型可以慢慢趋于稳定,在模型相对稳定后再选择预先设置的学习率进行训练,使得模型收敛速度变得更快,模型效果更佳,余弦退火法是带有热重启的学习率调整方法,多次的学习率重启则是为了通过增大学习率来跳过局部最优;
7、将测试数据集中的图像输入至初始的地裂缝分割识别模型中,根据输出的地裂缝识别结果通过precision、recall、mIoU、F1-score或浮点运算次数、参数量、推理时间等指标对该初始的地裂缝分割识别模型进行精度测试以及推理性能测试,从而调整初始的地裂缝分割识别模型的各个参数,优化模型的精度、泛化性能和鲁棒性等,以得到最终的地裂缝分割识别模型。
可以理解的是,本申请的实施例通过利用边缘损失信息辅助区域损失信息进行参数优化,可在车辙、阴影、枯草、砾石等多种噪声因素包裹的复杂环境条件下仍然能够有效克服各种干扰,能够有效区分路面损伤裂缝和矿山地表损失裂缝等,如图8、图9所示,提高了地裂缝分割的准确性和鲁棒性。
根据本申请实施例提出的应用于离线训练阶段的矿山地表损伤裂缝的提取方法,通过采集目标煤炭开采区的多张地裂缝图像,基于多张地裂缝图像,建立地裂缝训练数据集;基于预设的分层式Transformer架构网络和高效自注意力机制,生成模型编码器,并通过卷积神经网络的多尺度金字塔联级解码策略,得到模型解码器,且根据模型编码器和模型解码器构建分割识别模型;基于地裂缝训练数据集,训练分割识别模型,生成地裂缝分割识别模型,以利用地裂缝分割识别模型识别目标煤炭开采区的地表损伤裂缝,从而能够准确地捕捉肉眼难以辨别的微小裂缝的空间位置以及裂缝的上下结构关系,避免连续裂缝中断,提高了地裂缝分割的准确性和鲁棒性,并具有较强的泛化性能,可有效拓展到路面裂缝监测应用中。
图10为本申请实施例所提供的一种应用于在线检测阶段的矿山地表损伤裂缝的提取方法的流程图。
如图10所示,该矿山地表损伤裂缝的提取方法包括以下步骤:
在步骤S1001中,采集待提取煤炭开采区的初始地表图像,并对初始地表图像进行裁剪,得到多张地表子图像。
在步骤S1002中,将多张地表子图像中的每个地表子图像输入至预先训练的地裂缝分割识别模型中,以输出每个地表子图像的地裂缝识别结果,其中,地裂缝分割识别模型通过利用预设的地裂缝训练数据集对预设的模型编码器和模型解码器构建的分割识别模型进行训练得到。
在步骤S1003中,将每个地表子图像的地裂缝识别结果进行拼接,得到待提取煤炭开采区的地裂缝识别结果。
由此,本申请的实施例通过训练后的地裂缝分割识别模型进行大尺度地裂缝识别推理,可对大尺度无人机影像裁剪后进行预测,并将预测结果进行拼接,达到大尺度的地裂缝识别结果,从而能够精确提取煤矿开采引起的地表损伤裂缝。
根据本申请实施例提出的应用于在线检测阶段的矿山地表损伤裂缝的提取方法,通过采集待提取煤炭开采区的初始地表图像,并对初始地表图像进行裁剪,得到多张地表子图像;将多张地表子图像中的每个地表子图像输入至预先训练的地裂缝分割识别模型中,以输出每个地表子图像的地裂缝识别结果,其中,地裂缝分割识别模型通过利用预设的地裂缝训练数据集对预设的模型编码器和模型解码器构建的分割识别模型进行训练得到;将每个地表子图像的地裂缝识别结果进行拼接,得到待提取煤炭开采区的地裂缝识别结果,从而能够准确地捕捉肉眼难以辨别的微小裂缝的空间位置以及裂缝的上下结构关系,避免连续裂缝中断,提高了地裂缝分割的准确性和鲁棒性,并具有较强的泛化性能,可有效拓展到路面裂缝监测应用中。
其次,参照附图描述根据本申请实施例提出的矿山地表损伤裂缝的提取装置。
图11是本申请实施例的应用于离线训练阶段的矿山地表损伤裂缝的提取装置的方框示意图。
如图11所示,该应用于离线训练阶段的矿山地表损伤裂缝的提取装置10包括:第一采集模块101、建模模块102以及训练模块103。
其中,第一采集模块101,用于采集目标煤炭开采区的多张地裂缝图像,基于多张地裂缝图像,建立地裂缝训练数据集。
建模模块102,用于基于预设的分层式Transformer架构网络和高效自注意力机制,生成模型编码器,并通过卷积神经网络的多尺度金字塔联级解码策略,得到模型解码器,且根据模型编码器和模型解码器构建分割识别模型。
训练模块103,用于基于地裂缝训练数据集,训练分割识别模型,生成地裂缝分割识别模型,以利用地裂缝分割识别模型识别目标煤炭开采区的地表损伤裂缝。
可选地,在本申请的一个实施例中,采集模块101包括:标签单元、裁剪单元、筛选单元以及处理单元。
其中,标签单元,用于基于多张地裂缝图像,构建多张地裂缝图像中每张地裂缝图像对应的标签图像。
裁剪单元,用于裁剪每张地裂缝图像和每张标签图像,得到地裂缝裁剪图像和标签裁剪图像。
筛选单元,用于根据标签裁剪图像筛选地裂缝裁剪图像,获取目标地裂缝裁剪图像和目标地裂缝裁剪图像对应的目标标签裁剪图像。
处理单元,用于对目标地裂缝裁剪图像和目标标签裁剪图像进行数据增强处理,得到目标地裂缝训练图像,并根据目标地裂缝训练图像得到地裂缝训练数据集。
可选地,在本申请的一个实施例中,建模模块102包括:编码块构建单元、串联单元以及解码器构建单元。
其中,编码块构建单元,用于基于重叠补丁向量映射层、高效自注意力机制和混合全连接层构建多个Transformer编码块。
串联单元,用于串联多个Transformer编码块,生成模型编码器。
解码器构建单元,用于基于多尺度金字塔联级解码策略,结合深层残差金字塔池化机制和空间-通道注意力瓶颈机制,构建模型解码器。
可选地,在本申请的一个实施例中,训练模块103包括:生成单元、输入单元、归一化单元、二值化单元以及检测单元。
其中,生成单元,用于基于地裂缝训练数据集和模型编码器,生成地裂缝训练数据集中每张目标地裂缝训练图像的多个不同尺度的特征图;
输入单元,用于将多个不同尺度的特征图输入至模型解码器,以输出每张目标地裂缝训练图像的概率特征图;
归一化单元,用于根据预设激活函数对概率特征图进行归一化,得到每张目标地裂缝训练图像的归一化特征图;
二值化单元,用于对归一化特征图进行阈值划分处理,获取归一化特征图的二值化特征图;
检测单元,用于基于预设双域加权损失函数、AdamW优化器和动态调整算法,检测二值化特征图,生成每张目标地裂缝训练图像的地裂缝识别结果。
需要说明的是,前述对应用于离线训练阶段的矿山地表损伤裂缝的提取方法实施例的解释说明也适用于该实施例的应用于离线训练阶段的矿山地表损伤裂缝的提取装置,此处不再赘述。
根据本申请实施例提出的应用于离线训练阶段的矿山地表损伤裂缝的提取装置,包括第一采集模块,用于采集目标煤炭开采区的多张地裂缝图像,基于多张地裂缝图像,建立地裂缝训练数据集;建模模块,用于基于预设的分层式Transformer架构网络和高效自注意力机制,生成模型编码器,并通过卷积神经网络的多尺度金字塔联级解码策略,得到模型解码器,且根据模型编码器和模型解码器构建分割识别模型;训练模块,用于基于地裂缝训练数据集,训练分割识别模型,生成地裂缝分割识别模型,以利用地裂缝分割识别模型识别目标煤炭开采区的地表损伤裂缝,从而能够准确地捕捉肉眼难以辨别的微小裂缝的空间位置以及裂缝的上下结构关系,避免连续裂缝中断,提高了地裂缝分割的准确性和鲁棒性,并具有较强的泛化性能,可有效拓展到路面裂缝监测应用中。
图12是本申请实施例应用于在线预阶段的矿山地表损伤裂缝的提取装置的方框示意图。
如图12所示,该应用于在线检测阶段的矿山地表损伤裂缝的提取装置20包括:第二采集模块201、识别模块202以及拼接模块203。
其中,第二采集模块201,用于采集待提取煤炭开采区的初始地表图像,并对初始地表图像进行裁剪,得到多张地表子图像。
识别模块202,用于将多张地表子图像中的每个地表子图像输入至预先训练的地裂缝分割识别模型中,以输出每个地表子图像的地裂缝识别结果,其中,地裂缝分割识别模型通过利用预设的地裂缝训练数据集对预设的模型编码器和模型解码器构建的分割识别模型进行训练得到。
拼接模块203,用于将每个地表子图像的地裂缝识别结果进行拼接,得到待提取煤炭开采区的地裂缝识别结果。
需要说明的是,前述对应用于在线检测阶段的矿山地表损伤裂缝的提取方法实施例的解释说明也适用于该实施例的应用于在线检测阶段的矿山地表损伤裂缝的提取装置,此处不再赘述。
根据本申请实施例提出的应用于在线检测阶段的矿山地表损伤裂缝的提取装置,包括第二采集模块,用于采集待提取煤炭开采区的初始地表图像,并对初始地表图像进行裁剪,得到多张地表子图像;识别模块,用于将多张地表子图像中的每个地表子图像输入至预先训练的地裂缝分割识别模型中,以输出每个地表子图像的地裂缝识别结果,其中,地裂缝分割识别模型通过利用预设的地裂缝训练数据集对预设的模型编码器和模型解码器构建的分割识别模型进行训练得到;拼接模块,用于将每个地表子图像的地裂缝识别结果进行拼接,得到待提取煤炭开采区的地裂缝识别结果,从而能够准确地捕捉肉眼难以辨别的微小裂缝的空间位置以及裂缝的上下结构关系,避免连续裂缝中断,提高了地裂缝分割的准确性和鲁棒性,并具有较强的泛化性能,可有效拓展到路面裂缝监测应用中。
图13为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括:
存储器1301、处理器1302及存储在存储器1301上并可在处理器1302上运行的计算机程序。
处理器1302执行程序时实现上述实施例中提供的矿山地表损伤裂缝的提取方法。
进一步地,电子设备还包括:
通信接口1303,用于存储器1301和处理器1302之间的通信。
存储器1301,用于存放可在处理器1302上运行的计算机程序。
存储器1301可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
如果存储器1301、处理器1302和通信接口1303独立实现,则通信接口1303、存储器1301和处理器1302可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(PeripheralComponent,简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture,简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图13中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选地,在具体实现上,如果存储器1301、处理器1302及通信接口1303,集成在一块芯片上实现,则存储器1301、处理器1302及通信接口1303可以通过内部接口完成相互间的通信。
处理器1302可能是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上的矿山地表损伤裂缝的提取方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“N个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或N个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,N个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种矿山地表损伤裂缝的提取方法,应用于离线训练阶段,其特征在于,包括以下步骤:
采集目标煤炭开采区的多张地裂缝图像,基于所述多张地裂缝图像,建立地裂缝训练数据集;
基于预设的分层式Transformer架构网络和高效自注意力机制,生成模型编码器,并通过卷积神经网络的多尺度金字塔联级解码策略,得到模型解码器,且根据所述模型编码器和所述模型解码器构建分割识别模型;以及
基于所述地裂缝训练数据集,训练所述分割识别模型,生成地裂缝分割识别模型,以利用所述地裂缝分割识别模型识别所述目标煤炭开采区的地表损伤裂缝。
2.根据权利要求1所述的方法,其特征在于,所述基于所述多张地裂缝图像,建立地裂缝训练数据集,包括:
基于所述多张地裂缝图像,构建所述多张地裂缝图像中每张地裂缝图像对应的标签图像;
裁剪所述每张地裂缝图像和每张标签图像,得到地裂缝裁剪图像和标签裁剪图像;
根据所述标签裁剪图像筛选所述地裂缝裁剪图像,获取目标地裂缝裁剪图像和所述目标地裂缝裁剪图像对应的目标标签裁剪图像;
对所述目标地裂缝裁剪图像和所述目标标签裁剪图像进行数据增强处理,得到所述目标地裂缝训练图像,并根据所述目标地裂缝训练图像得到所述地裂缝训练数据集。
3.根据权利要求1所述的方法,其特征在于,所述基于预设的分层式Transformer架构网络和高效自注意力机制,生成模型编码器,并通过卷积神经网络的多尺度金字塔联级解码策略,得到模型解码器,包括:
基于重叠补丁向量映射层、所述高效自注意力机制和混合全连接层构建多个Transformer编码块;
串联所述多个Transformer编码块,生成所述模型编码器;
基于所述多尺度金字塔联级解码策略,结合深层残差金字塔池化机制和空间-通道注意力瓶颈机制,构建所述模型解码器。
4.根据权利要求2所述的方法,其特征在于,所述基于所述地裂缝训练数据集,训练所述分割识别模型,包括:
基于所述地裂缝训练数据集和所述模型编码器,生成所述地裂缝训练数据集中每张目标地裂缝训练图像的多个不同尺度的特征图;
将所述多个不同尺度的特征图输入至所述模型解码器,以输出所述每张目标地裂缝训练图像的概率特征图;
根据预设激活函数对所述概率特征图进行归一化,得到所述每张目标地裂缝训练图像的归一化特征图;
对所述归一化特征图进行阈值划分处理,获取所述归一化特征图的二值化特征图;
基于预设双域加权损失函数、AdamW优化器和动态调整算法,检测所述二值化特征图,生成所述每张目标地裂缝训练图像的地裂缝识别结果。
5.一种矿山地表损伤裂缝提取方法,应用于在线检测阶段,其特征在于,包括以下步骤:
采集待提取煤炭开采区的初始地表图像,并对所述初始地表图像进行裁剪,得到多张地表子图像;
将所述多张地表子图像中的每个地表子图像输入至预先训练的地裂缝分割识别模型中,以输出所述每个地表子图像的地裂缝识别结果,其中,所述地裂缝分割识别模型通过利用预设的地裂缝训练数据集对预设的模型编码器和模型解码器构建的分割识别模型进行训练得到;
将所述每个地表子图像的地裂缝识别结果进行拼接,得到所述待提取煤炭开采区的地裂缝识别结果。
6.一种矿山地表损伤裂缝的提取装置,应用于离线训练阶段,其特征在于,包括:
第一采集模块,用于采集目标煤炭开采区的多张地裂缝图像,基于所述多张地裂缝图像,建立地裂缝训练数据集;
建模模块,用于基于预设的分层式Transformer架构网络和高效自注意力机制,生成模型编码器,并通过卷积神经网络的多尺度金字塔联级解码策略,得到模型解码器,且根据所述模型编码器和所述模型解码器构建分割识别模型;以及
训练模块,用于基于所述地裂缝训练数据集,训练所述分割识别模型,生成地裂缝分割识别模型,以利用所述地裂缝分割识别模型识别所述目标煤炭开采区的地表损伤裂缝。
7.根据权利要求6所述的装置,其特征在于,所述建模模块包括:
编码块构建单元,用于基于重叠补丁向量映射层、所述高效自注意力机制和混合全连接层构建多个Transformer编码块;
串联单元,用于串联所述多个Transformer编码块,生成所述模型编码器;
解码器构建单元,用于基于所述多尺度金字塔联级解码策略,结合深层残差金字塔池化机制和空间-通道注意力瓶颈机制,构建所述模型解码器。
8.一种矿山地表损伤裂缝提取装置,应用于在线检测阶段,其特征在于,包括:
第二采集模块,用于采集待提取煤炭开采区的初始地表图像,并对所述初始地表图像进行裁剪,得到多张地表子图像;
识别模块,用于将所述多张地表子图像中的每个地表子图像输入至预先训练的地裂缝分割识别模型中,以输出所述每个地表子图像的地裂缝识别结果,其中,所述地裂缝分割识别模型通过利用预设的地裂缝训练数据集对预设的模型编码器和模型解码器构建的分割识别模型进行训练得到;
拼接模块,用于将所述每个地表子图像的地裂缝识别结果进行拼接,得到所述待提取煤炭开采区的地裂缝识别结果。
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如权利要求1-5任一项所述的矿山地表损伤裂缝的提取方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行,以用于实现如权利要求1-5任一项所述的矿山地表损伤裂缝的提取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311552671.4A CN117788811A (zh) | 2023-11-20 | 2023-11-20 | 矿山地表损伤裂缝的提取方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311552671.4A CN117788811A (zh) | 2023-11-20 | 2023-11-20 | 矿山地表损伤裂缝的提取方法、装置、电子设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117788811A true CN117788811A (zh) | 2024-03-29 |
Family
ID=90378793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311552671.4A Pending CN117788811A (zh) | 2023-11-20 | 2023-11-20 | 矿山地表损伤裂缝的提取方法、装置、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117788811A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118097154A (zh) * | 2024-04-22 | 2024-05-28 | 清华大学深圳国际研究生院 | 轻量化裂缝分割方法、装置、终端设备及存储介质 |
CN118313701A (zh) * | 2024-06-11 | 2024-07-09 | 四川省冶勘设计集团生态环境工程有限公司 | 一种基于实景三维建模的矿山生态修复及预警的规划方法 |
CN118097154B (zh) * | 2024-04-22 | 2024-08-02 | 清华大学深圳国际研究生院 | 轻量化裂缝分割方法、装置、终端设备及存储介质 |
-
2023
- 2023-11-20 CN CN202311552671.4A patent/CN117788811A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118097154A (zh) * | 2024-04-22 | 2024-05-28 | 清华大学深圳国际研究生院 | 轻量化裂缝分割方法、装置、终端设备及存储介质 |
CN118097154B (zh) * | 2024-04-22 | 2024-08-02 | 清华大学深圳国际研究生院 | 轻量化裂缝分割方法、装置、终端设备及存储介质 |
CN118313701A (zh) * | 2024-06-11 | 2024-07-09 | 四川省冶勘设计集团生态环境工程有限公司 | 一种基于实景三维建模的矿山生态修复及预警的规划方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2023077816A1 (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
Liu et al. | DeepCrack: A deep hierarchical feature learning architecture for crack segmentation | |
Ai et al. | Computer vision framework for crack detection of civil infrastructure—A review | |
Park et al. | Patch-based crack detection in black box images using convolutional neural networks | |
CN109190481B (zh) | 一种遥感影像道路材质提取方法和*** | |
CN111127449B (zh) | 一种基于编码器-解码器的自动化裂缝检测方法 | |
Xu et al. | Pavement crack detection from CCD images with a locally enhanced transformer network | |
CN108416292B (zh) | 一种基于深度学习的无人机航拍图像道路提取方法 | |
CN110807376A (zh) | 基于遥感图像的城外道路提取方法及装置 | |
CN117788811A (zh) | 矿山地表损伤裂缝的提取方法、装置、电子设备及介质 | |
CN103020605A (zh) | 基于决策层融合的桥梁识别方法 | |
CN112287983B (zh) | 一种基于深度学习的遥感图像目标提取***和方法 | |
Zhang et al. | Unifying transformer and convolution for dam crack detection | |
CN114066808A (zh) | 一种基于深度学习的路面缺陷检测方法及*** | |
Li et al. | RoadID: a dedicated deep convolutional neural network for multipavement distress detection | |
CN116503709A (zh) | 一种基于改进YOLOv5的雾霾天气下车辆检测方法 | |
Jiang et al. | Development of a pavement evaluation tool using aerial imagery and deep learning | |
CN116310916A (zh) | 一种高分辨率遥感城市图像语义分割方法及*** | |
Quan et al. | CrackViT: a unified CNN-transformer model for pixel-level crack extraction | |
CN112597996B (zh) | 基于任务驱动的自然场景中交通标志显著性检测方法 | |
Gu et al. | Advances in Rapid Damage Identification Methods for Post-Disaster Regional Buildings Based on Remote Sensing Images: A Survey | |
Parape et al. | Optimization of structure elements for morphological hit-or-miss transform for building extraction from VHR airborne imagery in natural hazard areas | |
Eslami et al. | Improvement of multiclass classification of pavement objects using intensity and range images | |
CN113255524B (zh) | 一种基于YOLO v4的路面信息识别方法及*** | |
Wang et al. | Damage area identification of underwater structures based on wavelength difference of light source |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |