CN114399516B - 一种基于实例分割算法的堆石坝料分割方法 - Google Patents

一种基于实例分割算法的堆石坝料分割方法 Download PDF

Info

Publication number
CN114399516B
CN114399516B CN202111598935.0A CN202111598935A CN114399516B CN 114399516 B CN114399516 B CN 114399516B CN 202111598935 A CN202111598935 A CN 202111598935A CN 114399516 B CN114399516 B CN 114399516B
Authority
CN
China
Prior art keywords
image
module
segmentation
rock
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111598935.0A
Other languages
English (en)
Other versions
CN114399516A (zh
Inventor
樊昊岳
田正宏
路学莹
何天啸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202111598935.0A priority Critical patent/CN114399516B/zh
Publication of CN114399516A publication Critical patent/CN114399516A/zh
Application granted granted Critical
Publication of CN114399516B publication Critical patent/CN114399516B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于实例分割算法的堆石坝料分割方法，包括：(1)采集样本图像，以施工现场自然环境下的土石坝料作为研究对象；(2)建立图像预处理模块，裁剪样本并为转换灰度图像，对图像进行对比度拉伸及暗通道去雾；(3)制作图像数据库，利用labelme进行图像标注及划分；(4)将数据集导入实例分割网络模型，利用迁移学习加载预训练权重进行样本训练，通过组建的Resnet101模块、特征金字塔模块、ROIAlign模块实现土石颗粒的分类与回归预测；(5)利用步骤(4)得到的训练结果，对土石样本预测，实现土石坝料颗粒的分割与形态特征提取。本发明基于深度学习实例分割技术保证了检测精确度与检测效率，简化了操作流程，环境适应性强，分割精度高。

Description

一种基于实例分割算法的堆石坝料分割方法
技术领域
本发明涉及堆石坝料施工领域，尤其涉及一种基于实例分割算法的堆石坝料分割方法。
背景技术
土石坝是世界坝工建设中应用最为广泛和发展最快的一种坝型。堆石坝是土石坝的一种坝型，其坝体主要以石料填筑，可利用当地的天然材料，施工方式较为简单，抗震性能好，可适用不同的地质条件。填筑石料主要通过现场***获取，***石料颗粒形状无规则，尺度变化较大。石料级配对碾压效果影响较大，是决定层面压实度的重要指标之一。级配占比良好的土石料中，小颗粒石料可较大程度填充大颗粒石料堆叠孔隙，保证层面强度、压实度，提升稳定性与耐久性，降低孔隙率。
目前，石料级配确定方法主要由人工筛选获取，其具体操作方法是在施工现场划分单元格并挖坑取样，通过人工筛网筛分的方式进行级配料的颗粒分析实验。此种方法虽技术成熟但效率极低，严重影响工期进度。其代表性较差，准确度与可信度完全依赖实验员水平，经济投入高回报率低。
在传统计算机视觉领域方面，部分专家学者对此进行过相关研究。张仕林等人提出基于数字图像处理的土石坝筑坝材料颗粒级配检验方法，通过将采集的颗粒图像转换为级配曲线，并构建非线性拟合数学模型实现级配预测，但此种方法图像识别误差较大，数学模型拟合结果完全依赖于图像采集的颗粒图像。沙爱民等人提出基于图像的沥青混合料矿料级配检测方法通过对数字图像进行中值滤波、阈值分割等形态学操作，提取颗粒特征参数，此种方式适用范围较小，无法满足批量图像样本处理。吕超等人提出基于数字图像处理技术的砂土颗粒级配分析研究，通过电镜实验获取原始图像，在对其进行定量分析，此种方法效率较低，且实验环境受限无法满足现场施工要求。
发明内容
发明目的：为了解决目前土石坝料人工筛选颗粒效率低以及传统计算机视觉手段准确性低，外界干扰因素大，使用条件受限的问题，本发明提出一种基于实例分割算法的土石坝料颗粒快速分割方法。
技术方案：一种基于实例分割算法的堆石坝料分割方法，包括以下步骤：
(1)采集样本图像，以施工现场自然环境下的土石坝料作为研究对象；
(2)建立图像预处理模块，裁剪样本并为转换灰度图像，对图像进行对比度拉伸及暗通道去雾；
(3)制作图像数据库，利用labelme进行图像标注及划分；
(4)将数据集导入实例分割网络模型，利用迁移学习加载预训练权重进行样本训练，通过组建的Resnet101模块、特征金字塔模块、ROIAlign模块实现土石颗粒的分类与回归预测；
(5)利用步骤(4)得到的训练结果，对土石样本预测，实现土石坝料颗粒的分割与形态特征提取。
所述步骤(1)为通过无人机拍摄土石坝施工现场仓面图像，拍摄时间在仓面铺料及整平场地后，振动碾压之前；图像采集环境按照天气条件分为五种，包括晴天、阴天、傍晚、雨天以及雾霾天气，根据岩石的风化程度分别采集不同料场的岩石种类，包括微风化以及未风化。
所述步骤(2)包括：
(2.1)将步骤(1)采集得到的图像进行图像预处理加工，将三通道RGB图像转变为单通道灰度图像；
(2.2)将预训练模块导入实例分割网络模型；
(2.3)将预处理后的图像，裁剪为统一大小。
所述预训练模块包括对比度拉伸模块和暗通道去雾模块；
对比度拉伸模块，扩展图像灰度级动态范围，可扩展对应的全部灰度范围，同时结合直方图处理技术，增强所需区域画面的品质，模块的计算方法如下所示：
其中，R(x,y)对应坐标点的原始像素值，O(x,y)对应坐标点的调整像素值，Rmin为原始图像的最小灰度值，Rmax为原始图像的最大灰度值，MIN为要拉伸到的灰度空间的灰度最小值，MAX要拉伸到的灰度空间的灰度最大值；
暗通道去雾模块，采用暗通道去雾算法，加强土石颗粒轮廓区分度。
所述步骤(3)利用labelme工具，对步骤(2)处理后的图像进行分割标注，沿土石颗粒目标轮廓标点并形成线段闭合，构建图像的多边形掩膜，根据算法生成图像的矩形目标边界框，顶点信息用于预测回归。
所述步骤(4)包括：
(4.1)将步骤(3)制作的数据集输入实例分割网络模型，实例分割网络模型包括Resnet101主干特征提取网络、特征金字塔网络、RPN建议框网络、ROIAlign网络、Classifier分类器模块和Mask模块；
(4.2)将图像传入Resnet101主干特征提取网络后，图像进行压缩；
(4.3)在Mask R-CNN当中，采用Resnet101主干特征提取网络中长宽压缩了两次、三次、四次、五次的结果C2、C3、C4、C5来进行特征金字塔结构的构造，获得有效特征层P2、P3、P4、P5、P6；
(4.4)将提取到的P2、P3、P4、P5、P6作为RPN建议框网络的有效特征层，对先验框进行解码获得建议框，利用RPN建议框网络对有效特征层进行截取，判断先验框内部是否包含物体，并对先验框网格中心位置进行调整，对得分较高的先验框中心位置进行组合，进行特征层堆叠，获得建议框网格高宽与中心位置；
(4.5)利用ROIAlign网络对区域存在物体进行初步筛选，获得调整后的局部特征层；
(4.6)Classifier分类器模块对ROIAlign网络获得的局部特征层进行处理，其预测结果代表建议框内部物体的种类和建议框的调整参数，Mask模块将Classifier分类器模块预测的结果作为Mask模型的区域截取部分，利用ROIAlign网络再次对共享特征层进行截取，将截取结果通过Mask模块对像素点进行分类，获得语义分割结果。
所述Resnet101主干特征提取网络包含两个残差模块，为Conv Block模块和Identity Block模块；Conv Block模块改变输入特征层维度，Identity Block模块输入维度和输出维度相同。
所述步骤(5)为：将预测图像输入步骤(4)训练后的实例分割网络模型中，输出图像Mask分割位置与单一颗粒的目标检测框，获得的目标检测框位置，经相机标定，将土石颗粒预测框大小转换为真实大小。
有益效果：与现有技术相比，本发明具有如下显著优点：
1、环境适应性较强，图像采集环境按照天气条件和岩石的风化程度分类；2、分割精度较高，基于深度学习实例分割技术保证了检测精确度与检测效率，简化了操作流程，形成一套快速的堆石颗粒图像样本分割与形态特征提取方法。
附图说明
图1是本发明的流程图；
图2是本发明神经网络工作示意图；
图3是本发明神经网络loss函数曲线示意图；
图4是本发明模型测试结果图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
如图1所示，一种基于实例分割算法的堆石坝料分割方法，包括以下步骤：
(1)采集样本图像，以施工现场自然环境下的土石坝料作为研究对象；
(2)建立图像预处理模块，裁剪样本并为转换灰度图像，对图像进行对比度拉伸及暗通道去雾；
(3)制作图像数据库，利用labelme进行图像标注及划分；
(4)将数据集导入实例分割网络模型，利用迁移学习加载预训练权重进行样本训练，通过组建的Resnet101模块、特征金字塔模块、ROIAlign模块实现土石颗粒的分类与回归预测；
(5)利用步骤(4)得到的训练结果，对土石样本预测，实现土石坝料颗粒的分割与形态特征提取。
所述步骤(1)为通过无人机拍摄土石坝施工现场仓面图像，拍摄时间在仓面铺料及整平场地后，振动碾压之前；无人机设定飞行净高程为5米，经过标定单张图像对应实际施工场地尺寸为16*12米；考虑到图像采集质量，为保证模型稳定性，图像采集环境按照天气条件分为五种，包括晴天、阴天、傍晚、雨天以及雾霾天气，根据岩石的风化程度分别采集不同料场的岩石种类，包括微风化以及未风化。
所述步骤(2)包括：
(2.1)将步骤(1)采集得到的图像进行图像预处理加工，将三通道RGB图像转变为单通道灰度图像；
(2.2)将预训练模块导入实例分割网络模型；施工场地环境复杂，不同天气采集图像将导致样本质量存在参差，样本质量存在问题；例如光照强度低图像样本对比度较差、雾霾天气土石颗粒边缘轮廓特征不明显等，考虑到施工场景复杂环境条件，为解决该问题提高样本质量，将预训练模块导入实例分割网络模型；
(2.3)将预处理后的图像，裁剪为统一大小：原始图像大小为4000*3000，为统一输入格式，提高检测速度，将预处理后的图像，随机裁剪为512*512大小，每张原始图像裁剪数量为10张。
所述预训练模块包括对比度拉伸模块和暗通道去雾模块；
对比度拉伸模块，扩展图像灰度级动态范围，可扩展对应的全部灰度范围，提高图像的对比度可以增强图像各个区域的对比效果，对图像感兴趣的部分进行增强，而对图像不感兴趣的部分进行抑制，分段的灰度拉伸技术可以同时结合直方图处理技术，更加灵活的控制输出图像的直方图分布，对感兴趣的区域进行调整，增强画面的品质；模块的计算方法如下所示：
其中，R(x,y)对应坐标点的原始像素值，O(x,y)对应坐标点的调整像素值，Rmin为原始图像的最小灰度值，Rmax为原始图像的最大灰度值，MIN为要拉伸到的灰度空间的灰度最小值，MAX要拉伸到的灰度空间的灰度最大值；
暗通道去雾模块，雾霾天气对图像采集质量影响较大，为保证样本图像质量，降低图像噪声，提高土石颗粒轮廓区分度，采用暗通道去雾算法，加强土石颗粒轮廓区分度。
所述步骤(3)利用labelme工具，对步骤(2)处理后的图像进行分割标注，沿土石颗粒目标轮廓标点并形成线段闭合，构建图像的多边形掩膜(即mask)，根据算法生成图像的矩形目标边界框，顶点信息用于预测回归。
所述步骤(4)包括：
(4.1)将步骤(3)制作的数据集输入实例分割网络模型，实例分割网络模型包括Resnet101主干特征提取网络、特征金字塔网络、RPN建议框网络、ROIAlign网络、Classifier分类器模块和Mask模块；
(4.2)将图像传入Resnet101主干特征提取网络后，图像进行压缩；将图像传入Resnet101主干特征提取网络后，图像总共进行五次压缩，通道数不断进行扩张，最终得到4层有效特征层大小分别为(256,256,256)，(128,128,256)，(64,64,256)，(32,32,256)；
(4.3)在Mask R-CNN当中，采用Resnet101主干特征提取网络中长宽压缩了两次、三次、四次、五次的结果C2、C3、C4、C5来进行特征金字塔结构的构造，获得有效特征层P2、P3、P4、P5、P6；
具体的，对C5有效特征层进行256通道数卷积输出特征层Forword5，并再次对特征层Forword5.1进行256通道数卷积获得有效特征层P5,对有效特征层P5进行最大池化处理获取有效特征层P6；对特征层Forword5.1进行上采样得到尺寸为(64,64,256)特征层，并与C4有效特征层进行256通道数卷积获得特征层Forword4.1进行特征融合得到特征层Forword4.2。对特征层Forword4.2进行256通道数卷积得到有效特征层P4；类似的，共得到P2(256,256,256)、P3(128,128,256)、P4(64,64,256)、P5(32,32,256)、P6(16,16,256)五层有效特征层。
(4.4)将提取到的P2、P3、P4、P5、P6作为RPN建议框网络的有效特征层，对先验框进行解码获得建议框，利用RPN建议框网络对有效特征层进行截取，每个图像像素点包含三个先验框，五个特征层共包含261888个先验框网格(196608+49152+12288+3072+768)，利用RPN建议框网络判断先验框内部是否包含物体，并对先验框网格中心位置进行调整，对得分较高的先验框中心位置进行组合，进行特征层堆叠，获得建议框网格高宽与中心位置；
(4.5)利用RPN建议框网络获得的建议框，对有效特征层网络上的共享特征层进行截取，其中公用特征层里的每一个点相当于原图片上某个区域内部所有特征的浓缩；利用ROIAlign网络对区域存在物体进行初步筛选，获得调整后的局部特征层；
(4.6)Classifier分类器模块对ROIAlign网络获得的局部特征层进行处理，其预测结果代表建议框内部物体的种类和建议框的调整参数，在Classifier模块里，利用一次通道数为1024的7x7的卷积和一次通道数为1024的1x1的卷积对ROIAlign获得的7x7x256的区域进行卷积，两次通道数为1024卷积用于模拟两次1024的全连接，然后再分别全连接到num_classes和num_classes*4上，分别代表这个建议框内的物体，以及这个建议框的调整参数；利用Classifier模型对模型进行解码，取出不属于背景，并且得分大于config.DETECTION_MIN_CONFIDENCE的建议框，获取建议框调整后的结果，利用得分和最终预测框的位置进行非极大抑制，得到最终的预测结果并在原始图片上进行绘制；Mask模块将Classifier分类器模块预测的结果作为Mask模型的区域截取部分，利用ROIAlign网络再次对共享特征层进行截取，将截取结果通过Mask模块对像素点进行分类，获得语义分割结果。
所述Resnet101主干特征提取网络包含两个残差模块，为Conv Block模块和Identity Block模块；Conv Block模块改变输入特征层维度，Identity Block模块输入维度和输出维度相同。
所述步骤(5)为：将预测图像输入步骤(4)训练后的实例分割网络模型中，输出图像Mask分割位置与单一颗粒的目标检测框，获得的目标检测框位置，即目标检测框左上角坐标(X1,Y1)，与右下角坐标(X2,Y2)。经相机标定，将土石颗粒预测框大小转换为真实大小，即将像素级大小转换为颗粒实际尺度，从而获得颗粒尺寸与形态特征。
本实验在实验在TensorFlow和Keras深度学习开发框架下进行，***采用GPU为NVIDIA1080ti，CPU为Inter(R)Core(TM)i7-10700k，内存为32G。实验在TensorFlow和Keras深度学习开发框架下进行，GPU加速采用NVIDIA1080,CPU为Inter(R)Core(TM)i7-10700k，内存为32G。
实验中选取1000张样本图像进行训练，其中训练集80％、验证集20％。为了验证模型的可靠性，选取100张样本图像进行模型评价。对比实验将本发明与Faster Rcnn卷积神经网络模型、YOLOV4卷积神经网络模型进行对比。表1为三种卷机神经网络模型的平均精准度AP值，以及F1-Score得分。可以看出本方法的平均精度以及F1得分均高于其他两种神经网络模型，在各种情况下均能打到最优的预测效果。
表1
Module Faster Rcnn YOLOV4 Mask Rcnn
AP 0.784 0.836 0.885
F1 0.805 0.868 0.912

Claims (7)

1.一种基于实例分割算法的堆石坝料分割方法，其特征在于，包括以下步骤：
(1)采集样本图像，以施工现场自然环境下的土石坝料作为研究对象；
(2)建立图像预处理模块，裁剪样本并为转换灰度图像，对图像进行对比度拉伸及暗通道去雾；
(3)制作图像数据库，利用labelme进行图像标注及划分；
(4)将数据集导入实例分割网络模型，利用迁移学习加载预训练权重进行样本训练，通过组建的Resnet101模块、特征金字塔模块、ROIAlign模块实现土石颗粒的分类与回归预测；
(5)利用步骤(4)得到的训练结果，对土石样本预测，实现土石坝料颗粒的分割与形态特征提取；
所述步骤(4)包括：
(4.1)将步骤(3)制作的数据集输入实例分割网络模型，实例分割网络模型包括Resnet101主干特征提取网络、特征金字塔网络、RPN建议框网络、ROIAlign网络、Classifier分类器模块和Mask模块；
(4.2)将图像传入Resnet101主干特征提取网络后，图像进行压缩；
(4.3)在Mask R-CNN当中，采用Resnet101主干特征提取网络中长宽压缩了两次、三次、四次、五次的结果C2、C3、C4、C5来进行特征金字塔结构的构造，获得有效特征层P2、P3、P4、P5、P6；
(4.4)将提取到的P2、P3、P4、P5、P6作为RPN建议框网络的有效特征层，对先验框进行解码获得建议框，利用RPN建议框网络对有效特征层进行截取，判断先验框内部是否包含物体，并对先验框网格中心位置进行调整，对得分较高的先验框中心位置进行组合，进行特征层堆叠，获得建议框网格高宽与中心位置；
(4.5)利用ROIAlign网络对区域存在物体进行初步筛选，获得调整后的局部特征层；
(4.6)Classifier分类器模块对ROIAlign网络获得的局部特征层进行处理，其预测结果代表建议框内部物体的种类和建议框的调整参数，Mask模块将Classifier分类器模块预测的结果作为Mask模型的区域截取部分，利用ROIAlign网络再次对共享特征层进行截取，将截取结果通过Mask模块对像素点进行分类，获得语义分割结果。
2.根据权利要求1所述的一种基于实例分割算法的堆石坝料分割方法，其特征在于，所述步骤(1)为通过无人机拍摄土石坝施工现场仓面图像，拍摄时间在仓面铺料及整平场地后，振动碾压之前；图像采集环境按照天气条件分为五种，包括晴天、阴天、傍晚、雨天以及雾霾天气，根据岩石的风化程度分别采集不同料场的岩石种类，包括微风化以及未风化。
3.根据权利要求1所述的一种基于实例分割算法的堆石坝料分割方法，其特征在于，所述步骤(2)包括：
(2.1)将步骤(1)采集得到的图像进行图像预处理加工，将三通道RGB图像转变为单通道灰度图像；
(2.2)将预训练模块导入实例分割网络模型；
(2.3)将预处理后的图像，裁剪为统一大小。
4.根据权利要求3所述的一种基于实例分割算法的堆石坝料分割方法，其特征在于，所述预训练模块包括对比度拉伸模块和暗通道去雾模块；
对比度拉伸模块，扩展图像灰度级动态范围，可扩展对应的全部灰度范围，同时结合直方图处理技术，增强所需区域画面的品质，模块的计算方法如下所示：
其中，R(x,y)对应坐标点的原始像素值，O(x,y)对应坐标点的调整像素值，Rmin为原始图像的最小灰度值，Rmax为原始图像的最大灰度值，MIN为要拉伸到的灰度空间的灰度最小值，MAX要拉伸到的灰度空间的灰度最大值；
暗通道去雾模块，采用暗通道去雾算法，加强土石颗粒轮廓区分度。
5.根据权利要求1所述的一种基于实例分割算法的堆石坝料分割方法，其特征在于，所述步骤(3)利用labelme工具，对步骤(2)处理后的图像进行分割标注，沿土石颗粒目标轮廓标点并形成线段闭合，构建图像的多边形掩膜，根据算法生成图像的矩形目标边界框，顶点信息用于预测回归。
6.根据权利要求1所述的一种基于实例分割算法的堆石坝料分割方法，其特征在于，所述Resnet101主干特征提取网络包含两个残差模块，为Conv Block模块和Identity Block模块；Conv Block模块改变输入特征层维度，Identity Block模块输入维度和输出维度相同。
7.根据权利要求1所述的一种基于实例分割算法的堆石坝料分割方法，其特征在于，所述步骤(5)为：将预测图像输入步骤(4)训练后的实例分割网络模型中，输出图像Mask分割位置与单一颗粒的目标检测框，获得的目标检测框位置，经相机标定，将土石颗粒预测框大小转换为真实大小。
CN202111598935.0A 2021-12-24 2021-12-24 一种基于实例分割算法的堆石坝料分割方法 Active CN114399516B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111598935.0A CN114399516B (zh) 2021-12-24 2021-12-24 一种基于实例分割算法的堆石坝料分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111598935.0A CN114399516B (zh) 2021-12-24 2021-12-24 一种基于实例分割算法的堆石坝料分割方法

Publications (2)

Publication Number Publication Date
CN114399516A CN114399516A (zh) 2022-04-26
CN114399516B true CN114399516B (zh) 2024-02-27

Family

ID=81226249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111598935.0A Active CN114399516B (zh) 2021-12-24 2021-12-24 一种基于实例分割算法的堆石坝料分割方法

Country Status (1)

Country Link
CN (1) CN114399516B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640125A (zh) * 2020-05-29 2020-09-08 广西大学 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置
CN113177947A (zh) * 2021-04-06 2021-07-27 广东省科学院智能制造研究所 基于多模块卷积神经网络的复杂环境目标分割方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640125A (zh) * 2020-05-29 2020-09-08 广西大学 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置
CN113177947A (zh) * 2021-04-06 2021-07-27 广东省科学院智能制造研究所 基于多模块卷积神经网络的复杂环境目标分割方法及装置

Also Published As

Publication number Publication date
CN114399516A (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
WO2022160771A1 (zh) 基于自适应多尺度特征提取模型的高光谱图像分类方法
CN103049763B (zh) 一种基于上下文约束的目标识别方法
CN103218831B (zh) 一种基于轮廓约束的视频运动目标分类识别方法
CN112464911A (zh) 基于改进YOLOv3-tiny的交通标志检测与识别方法
CN105138970A (zh) 基于空间信息的极化sar图像分类方法
CN103295191A (zh) 多尺度视觉自适应图像增强方法及评价方法
CN113409314A (zh) 高空钢结构腐蚀的无人机视觉检测与评价方法及***
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及***
CN104680180A (zh) 基于k均值和稀疏自编码的极化sar图像分类方法
CN103246894B (zh) 一种解决光照不敏感问题的地基云图识别方法
CN107154026B (zh) 一种基于自适应亮度高程模型的消除路面阴影的方法
CN103198479A (zh) 基于语义信息分类的sar图像分割方法
CN109741340A (zh) 基于fcn-aspp网络的冰盖雷达图像冰层精细化分割方法
CN110084302A (zh) 一种基于遥感图像的裂缝检测方法
CN112419397B (zh) 一种基于图像和深度神经网络的矿石粒度分级方法及***
CN113327255A (zh) 基于YOLOv3检测定位裁剪及fine-tune的输电线路巡检图像处理方法
CN104268600A (zh) 一种基于Minkowski距离的矿物浮选泡沫图像纹理分析及工况识别方法
CN114219773A (zh) 一种桥梁裂缝检测数据集预筛选与标定方法
CN104835142A (zh) 一种基于纹理特征的车辆排队长度检测方法
CN101894368A (zh) 基于测地距离的半监督sar图像水域分割方法
CN112102214B (zh) 一种基于直方图与神经网络的图像去雾方法
CN114399516B (zh) 一种基于实例分割算法的堆石坝料分割方法
CN110175638B (zh) 一种扬尘源监测方法
CN112288726A (zh) 一种井下带式输送机带面异物检测方法
CN109829511B (zh) 基于纹理分类的下视红外图像中云层区域检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant