CN110930409A - 一种基于深度学习的盐体语义分割方法及语义分割模型 - Google Patents

一种基于深度学习的盐体语义分割方法及语义分割模型 Download PDF

Info

Publication number
CN110930409A
CN110930409A CN201910998936.0A CN201910998936A CN110930409A CN 110930409 A CN110930409 A CN 110930409A CN 201910998936 A CN201910998936 A CN 201910998936A CN 110930409 A CN110930409 A CN 110930409A
Authority
CN
China
Prior art keywords
module
feature
semantic segmentation
feature map
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910998936.0A
Other languages
English (en)
Other versions
CN110930409B (zh
Inventor
许林峰
郭江涛
丁济生
孟凡满
吴庆波
李宏亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910998936.0A priority Critical patent/CN110930409B/zh
Publication of CN110930409A publication Critical patent/CN110930409A/zh
Application granted granted Critical
Publication of CN110930409B publication Critical patent/CN110930409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的盐体语义分割方法及语义分割模型,采用预处理模型做基础模型进行特征提取,得到的特征图经过分类监督模块预测图片有盐与否作为辅助监督加速收敛,同时监督盐体分割分支模块输出的含盐图片分割结果和整体分割分支模块输出的所有图片分割结果,边缘预测模块输出边缘预测结果,组成混合损失有效提高盐体分割精度,最终得到较好的语义分割结果。语义分割模型中每级上采样的特征图经过特征融合模块,将每级上采样的特征图与上一级上采样特征图级联,这样逐级加强特征通道信息的密集获取,更好的利用每级上采样的特征图信息,更好的融合高层的语义信息和底层的空间信息。

Description

一种基于深度学习的盐体语义分割方法及语义分割模型
技术领域
本发明属于图像语义分割和深度学习领域,具体涉及一种基于深度学习的盐体语义分割方法及语义分割模型。
背景技术
地球上有大量石油和天然气聚集的地区也会在地表下面形成巨大的盐沉积物,此外,盐体边界解析对于理解盐层构造和地震迁移速度的模型建设具有重要意义。目前专业的地震成像仍然需要专业人士解析盐体。手工设计的属性是根据专业知识设计的;但是这些属性可能尚未完全描述复杂的噪声污染的现实地震数据。这导致非常主观的,高度可变的结果。更令人担忧的是,这会给石油和天然气公司的钻探人员带来潜在的危险情况。近来的一些工作表明,深度学习能够应用于地质数据的分析,并且效果优于传统的方法。盐体的分类可以看作语义分割的范畴,本文提出利用深度学习算法对地质数据中的盐体进行语义分割。
目前,因为深度卷积神经网络的强大特征表征能力,基于深度卷积神经网络的方法在图像分类,目标检测和图像语义分割获得了巨大的进步。语义分割的目的就是给一个给定图像的每一个像素赋一个语义标签。
近年来,绝大多数当前最佳的图像语义分割方法都是基于全卷积神经网络的。全卷积神经网络结构是一个典型的编码器解码器结构,语义信息经过编码器被嵌入到特征图当中,然后解码器负责产生语义分割结果。通常解码器就是预训练好的卷积神经网络分类模型用于提取图像特征,而解码器则含有多种上采样操作,用于恢复图像分辨率。尽管编码器前端的特征图含有更多的语义但是在重建细节时会受限于低分辨率。为了解决它,我们需要更好的将高级别特征与低级别特征进行融合,避免高低级别的特征融合不充分,造成的语义分割结果的精度较低。
发明内容
本发明的目的在于:现有的图像语义分割方法高低级别的特征融合不充分,因此受限于低分辨率令重建细节时造成语义分割结果精度较低,应用在盐体语义分割上时,影响得到的盐体数据准确性的问题,提出了一种基于深度学习的盐体语义分割方法。
本发明采用的技术方案如下:
一种基于深度学习的盐体语义分割方法,方法为:
构建基于深度学习的盐体语义分割模型,盐体语义分割模型包括:预处理模型、分类监督模块、特征重校正模块、特征融合模块、盐体分割分支模块、整体分割分支模块、边缘预测模块、上采样层,在语义分割模型中:预处理模型对图像进行预处理得到不同尺度的特征图,不同尺度的特征图分别依次经过特征重校正模块,然后分别输入对应的上采样层,再输入特征融合模块将每级尺度对应上采样的特征图与上一级尺度对应上采样的特征图级联,最后再分别输入特征重校正模块,将得到结果中最末一级尺度的特征图分别输入盐体分割分支模块、整体分割分支模块、边缘预测模块,其中分类监督模块对整个过程中每个模块输出特征图进行监督预测是否有盐;
选择盐体图像的训练数据集,输入构建的盐体语义分割模型,并对盐体语义分割模型进行训练,模型训练过程中将盐体分割分支模块、整体分割分支模块、边缘预测模块和分类监督模块的损失进行混合作为总损失,根据总损失进行模型参数更新;
输入待分析盐体图像到训练好的盐体语义分割模型,端到端地输出预测的语义分割结果。
进一步,所述预处理模型为ResNet34,包括1个Convolution层、一个maxpool层、4个残差连接块,其中第一个残差连接块包含3个残差块,有6个3×3的卷积层,第二个残差连接块包含4个残差块,有8个3×3的卷积层,第三个残差连接块包含6个残差块,有 12个3×3的卷积层,第四个残差连接块包含3个残差块,有6个3×3的卷积层,每个残差连接块都采用残差连接,预处理模型输出的特征图分别为特征图DN_1、特征图DN_2、特征图DN_3和特征图DN_4。
进一步,所述分类监督模块包括:1个1×1的卷积、1个全局池化层和1个全连接层,分类监督模块对图片进行判别为有盐还是无盐。
进一步,所述特征重校正模块为结合空间特征重校正模块与通道特征重校正模块的网络模块。
进一步,所述盐体分割分支模块包括1个3×3卷积层和一个1×1卷积层,输出为含盐的特征图。
进一步,所述整体分割分支模块包括1个3×3卷积层和一个1×1卷积层,输出为整体的特征图。
进一步,所述边缘预测模块包括拉普拉斯算子卷积层、tanh激活层以及ReLU激活层,输出为边缘预测特征图,公式为Δf=relu(tanh(conv(f,Klaplace)),其中,Δf表示边缘预测特征图,f表示特征图,Klaplace表示拉普拉斯算子的卷积核,conv()表示拉普拉斯算子卷积层去卷积特征图,tanh()表示tanh激活层处理得到的特征图,relu()表示ReLU激活层处理得到的特征图。
进一步,所述对语义分割模型进行模型训练的具体步骤为:
对训练数据集中的图像进行数据预处理,将图像剪裁为固定尺寸;
对预处理后的训练数据集数据通过上下翻转、缩放和旋转的方式进行扩增,并加载预训练好的ImageNet图像分类模型,对整个盐体语义分割模型进行初始化;
将扩增后的训练数据集输入盐体语义分割模型,记训练过程中模型整体分割分支预测的语义分割结果与标注图像的lovasz_hingeLoss为lossfinal,盐体分割分支预测的语义分割结果与标注图像的lovasz_hingeLoss为lossno_empty,分类监督模块预测的图片结果与图片标签的交叉熵损失为lossclass,边缘预测模块预测的边缘结果与标注图像提取的边缘的交叉熵损失为lossB,则训练过程中的总损失误差记为losstotal=lossfinal+0.5*lossno_empty+0.05*lossclass1+ 0.5*lossB,根据总损失误差losstotal使用随机梯度下降算法进行误差反向传播,用循环学习率策略,更新模型参数,得到训练好的语义分割模型。
一种基于深度学习的语义分割模型,语义分割模型包括:预处理模型、分类监督模块、特征重校正模块、特征融合模块、目标分割分支模块、整体分割分支模块、边缘预测模块、上采样层和卷积层,在语义分割模型中:预处理模型对待分割图像进行预处理得到不同尺度的特征图,不同尺度的特征图输入后分别依次经过特征重校正模块,然后分别输入对应的上采样层,再输入特征融合模块将每级尺度对应上采样的特征图与上一级尺度对应上采样的特征图级联,最后再分别输入特征重校正模块,将得到结果中最末一级尺度的特征图分别输入目标分割分支模块、整体分割分支模块、边缘预测模块,其中分类监督模块对整个过程中每个模块输出特征图进行监督预测是否含有目标。
进一步,
所述预处理模型为ResNet34,包括1个Convolution层、一个maxpool层、4个残差连接块,其中第一个残差连接块包含3个残差块,有6个3×3的卷积层,第二个残差连接块包含4个残差块,有8个3×3的卷积层,第三个残差连接块包含6个残差块,有12个3 ×3的卷积层,第四个残差连接块包含3个残差块,有6个3×3的卷积层,每个残差连接块都采用残差连接;
所述分类监督模块包括:1个1×1的卷积、1个全局池化层和1个全连接层;
所述特征重校正模块为结合空间特征重校正模块与通道特征重校正模块的网络模块;
所述目标分割分支模块包括1个3×3卷积层和一个1×1卷积层,输出为含目标的特征图;
所述整体分割分支模块包括1个3×3卷积层和一个1×1卷积层,输出为整体的特征图;
所述边缘预测模块包括拉普拉斯算子卷积层、tanh激活层以及ReLU激活层,输出为边缘预测特征图,公式为Δf=relu(tanh(conv(f,Klaplace)),其中,Δf表示边缘预测特征图, f表示特征图,Klaplace表示拉普拉斯算子的卷积核,conv()表示拉普拉斯算子卷积层去卷积特征图,tanh()表示tanh激活层处理得到的特征图,relu()表示ReLU激活层处理得到的特征图。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1、本发明中,所述基于深度学习的盐体语义分割方法采用预处理模型做基础模型进行特征提取,得到的特征图经过分类监督模块预测图片有盐与否作为辅助监督加速收敛,同时监督盐体分割分支模块输出的含盐图片分割结果和整体分割分支模块输出的所有图片分割结果,边缘预测模块输出边缘预测结果,组成混合损失有效提高盐体分割精度,最终得到较好的语义分割结果。并且其中每级上采样的特征图经过特征融合模块,将每级上采样的特征图与上一级上采样特征图级联,这样逐级加强特征通道信息的密集获取,更好的利用每级上采样的特征图信息,更好的融合高层的语义信息和底层的空间信息。
2、本发明中,预处理模型中的中每个残差连接块(Residual Block)都采用残差连接,即每个残差块的输出都包含输入的特征图,它的输出被传递至每个后续层,而且每个残差块的特征图都是通过深度加和在一起。这种跳跃连接结构加强了特征图的传递,更加有效地利用特征,便于后续的精准处理。
3、本发明中,特征重校正模块包括空间特征重矫正模块与通道特征重矫正模块,通过给不同尺度的特征图均直接分配一个特征重校正模块,能够实现空间特征重矫正与通道特征重矫正,自适应的学习与当前任务更有利的空间信息和通道信息。具体地,空间特征重校正能够更好的将空间中所有同一位置像素的重要性得到重新校正,并赋以相应的权值,提高语义分割的准确率,通道特征重校正能够将重要的通道赋以高权值,突出重要性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明盐体语义分割模型训练的流程示意图;
图2为本发明盐体语义分割模型结构示意图;
图3为本发明分类监督模块结构示意图;
图4为本发明特征融合模块结构示意图;
图5为本发明特征重校正模块结构示意图;
图6为本发明空间特征重校正模块结构示意图:
图7为本发明通道特征重校正模块结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明,即所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
一种基于深度学习的语义分割模型,语义分割模型包括:预处理模型、分类监督模块、特征重校正模块、特征融合模块、目标分割分支模块、整体分割分支模块、边缘预测模块、上采样层和卷积层,在语义分割模型中:预处理模型对待分割图像进行预处理得到不同尺度的特征图,不同尺度的特征图输入后分别依次经过特征重校正模块,然后分别输入对应的上采样层,再输入特征融合模块将每级尺度对应上采样的特征图与上一级尺度对应上采样的特征图级联,最后再分别输入特征重校正模块,将得到结果中最末一级尺度的特征图分别输入目标分割分支模块、整体分割分支模块、边缘预测模块,其中分类监督模块对整个过程中每个模块输出特征图进行监督预测是否含有目标。
所述预处理模型为ResNet34,包括1个Convolution层、一个maxpool层、4个残差连接块,其中第一个残差连接块包含3个残差块,有6个3×3的卷积层,第二个残差连接块包含4个残差块,有8个3×3的卷积层,第三个残差连接块包含6个残差块,有12个3 ×3的卷积层,第四个残差连接块包含3个残差块,有6个3×3的卷积层,每个残差连接块都采用残差连接;
所述分类监督模块包括:1个1×1的卷积、1个全局池化层和1个全连接层;
所述特征重校正模块为结合空间特征重校正模块与通道特征重校正模块的网络模块;
所述目标分割分支模块包括1个3×3卷积层和一个1×1卷积层,输出为含目标的特征图;
所述整体分割分支模块包括1个3×3卷积层和一个1×1卷积层,输出为整体的特征图;
所述边缘预测模块包括拉普拉斯算子卷积层、tanh激活层以及ReLU激活层,输出为边缘预测特征图,公式为Δf=relu(tanh(conv(f,Klaplace)),其中,Δf表示边缘预测特征图,f 表示特征图,Klaplace表示拉普拉斯算子的卷积核,conv()表示拉普拉斯算子卷积层去卷积特征图,tanh()表示tanh激活层处理得到的特征图,relu()表示ReLU激活层处理得到的特征图。
本模型可以用于对各种图片进行不同的目标语义分割,对不同的目标在本模型基础上相应地进行不同目标数据的变换,例如可以对图片进行某种物品语义分割或者人体语义分割等等,本发明中基于深度学习的盐体语义分割方法采用该模型对图片进行盐体语义分割。本发明中实施例以盐体为目标进行语义分割。
以下结合实施例对本发明的特征和性能作进一步的详细描述。
实施例1
本发明较佳实施例提供的一种基于深度学习的盐体语义分割方法,方法步骤如图1所示方法为:
步骤1:构建基于深度学习的盐体语义分割模型,盐体语义分割模型包括:预处理模型、分类监督模块、特征重校正模块、特征融合模块、盐体分割分支模块、整体分割分支模块、边缘预测模块、上采样层,在语义分割模型中:预处理模型对图像进行预处理得到不同尺度的特征图,不同尺度的特征图分别依次经过特征重校正模块,然后分别输入对应的上采样层,再输入特征融合模块将每级尺度对应上采样的特征图与上一级尺度对应上采样的特征图级联,最后再分别输入特征重校正模块,将得到结果中最末一级尺度的特征图分别输入盐体分割分支模块、整体分割分支模块、边缘预测模块,其中分类监督模块对整个过程中每个模块输出特征图进行监督预测是否有盐。
需要说明的是:得到的不同尺度的特征图,相同大小特征图的网络模块组合在一起称之为[一级],尺度则单纯指大小。预处理器即编码器,「端到端」英文称之为「end-to-end」,表示:输入一张图片,输出一张分割结果,简单一体化。
所述分类监督模块包括:1个1×1的卷积、1个全局池化层和1个全连接层,分类监督模块对图片进行判别为有盐还是无盐。
所述特征重校正模块为结合空间特征重校正模块与通道特征重校正模块的网络模块。
所述盐体分割分支模块包括1个3×3卷积层和一个1×1卷积层,输出为含盐的特征图。
所述整体分割分支模块包括1个3×3卷积层和一个1×1卷积层,输出为整体的特征图。
所述边缘预测模块包括拉普拉斯算子卷积层、tanh激活层以及ReLU激活层,输出为边缘预测特征图,公式为Δf=relu(tanh(conv(f,Klaplace)),其中,Δf表示边缘预测特征图, f表示特征图,Klaplace表示拉普拉斯算子的卷积核,conv()表示拉普拉斯算子卷积层去卷积特征图,tanh()表示tanh激活层处理得到的特征图,relu()表示ReLU激活层处理得到的特征图。
步骤2、选择盐体图像的训练数据集,本实施例中以Kaggle平台举办的竞赛TGSSalt Identification Challenge提供的数据集。
步骤3、对构建的盐体语义分割模型进行模型训练,模型训练过程中将盐体分割分支模块、整体分割分支模块、边缘预测模块和分类监督模块的损失进行混合作为总损失,根据总损失进行模型参数更新。
本实施例中采用训练数据集对盐体语义分割模型进行模型训练的具体步骤如图1所示,具体为:
对训练数据集中的图像进行数据预处理,将图像剪裁为固定尺寸(这里的预处理是对图像简单的归一化,裁剪固定尺寸等等,以适应要求和方便网络训练);
对预处理后训练数据集中的数据通过上下翻转、缩放和旋转的方式进行扩增,并加载预训练好的ImageNet图像分类模型,对整个盐体语义分割模型进行初始化(「预训练好的 ImageNet图像分类模型」是指在ImageNet数据集上训练好的分类模型的预训练权重,虽然分类和分割不是同一个任务,但是为了减少训练时间,可以用分类模型的预训练模型权重去初始化分割网络);
将扩增后训练数据集输入盐体语义分割模型,先对训练数据集图像在预处理模型中进行预处理,得到不同尺度的特征图。所述预处理模型为ResNet34,包括1个Convolution层、一个maxpool层、4个残差连接块,输出的特征图分别为特征图DN_1、特征图DN_2、特征图DN_3和特征图DN_4。具体结构如下表所示:
Figure BDA0002239503930000081
从上表可以看出,预处理模型中,第一个残差连接块包含3个残差块,有6个3×3的卷积层,第二个残差连接块包含4个残差块,有8个3×3的卷积层,第三个残差连接块包含6个残差块,有12个3×3的卷积层,第四个残差连接块包含3个残差块,有6个3×3的卷积层。预处理模型中的中每个残差连接块(Residual Block)都采用残差连接,即每个残差块的输出都包含输入的特征图,它的输出被传递至每个后续层,而且每个残差块的特征图都是通过深度加和在一起。这种跳跃连接结构加强了特征图的传递,更有效地利用特征。取残差块(1)输出的特征图(尺寸为64×64)、残差块(2)输出的特征图(尺寸为32×32)、残差块(3)输出的特征图(尺寸为16×16)、残差块(4)输出的特征图(尺寸为8×8)分别为网络结构中提取特征(编码器)的第一层(记为DN_1)、第二层(记为DN_2)、第三层 (记为DN_3)和第四层(记为DN_4)。
将基于上述预处理模型的不同尺度的特征图输入构建好的盐体语义分割模型中的特征重校正模块(SCSE)中,特征图DN_1、特征图DN_2、特征图DN_3和特征图DN_4经过特征重校正模块后的输出图分别为输出图SS_1、输出图SS_2、输出图SS_3和输出图SS_4,通过给ResNet输出的特征图DN_1、特征图DN_2、特征图DN_3、特征图DN_4均直接分配一个特征重校正模块,能够实现空间特征重矫正与通道特征重矫正,自适应的学习与当前任务更有利的空间信息和通道信息。
然后将SS_1,SS_2,SS_3,SS_4分别输入到对应的上采样层,输出的特征图分别记为U_1,U_2,U_3,U_4,然后再分别输入特征融合模块和特征重校正模块(SCSE),输出的特征图分别记为DSS_1,DSS_2,DSS_3,DSS_4,输出图SS_4输入到分类监督模块,分类监督模块如图3所示。盐体语义分割模型结构图如图2所示,图里面对应的过程为:
FS指代特征融合模块(FeatureFusion),包含上采样,级联的操作;ss-1~4对应预处理模型(即编码器)的每级特征图,尺度从大到小,DSS_1~4对应解码器的每级特征图,尺度从小到大;级联后输出进入分割模块的是第4级DSS_4,图中对应输出进入分割模块的是1/2尺度特征图。
如图4所示,特征融合模块是一个将高层特征融入到低层特征的模块,主要是将每级上采样的特征图与上一级上采样特征图级联,这样逐级加强特征通道信息的密集获取,更好的利用每级上采样的特征图信息。
如图5所示,本发明的特征重校正模块为结合了空间特征重校正与通道特征重校正的网络模块。下面将分开进行说明:
如图6所示,空间特征重校正模块中过程为:
(1)将原始特征图
Figure BDA0002239503930000091
经过一个卷积核大小为1×1,通道数为c(每个通道的权值不共享,让其从学习中获得)的卷积,得到一个特征图
Figure BDA0002239503930000092
(2)再将其经过一个sigmoid层,将Mc的每个空间位置M′(i,,j),i∈{1,2,...,H},j∈ {1,2,...,W}的重要性重新校正,并赋以每个空间位置一个权值p(i,j),得到的p(i,j)与原始特征图Mc进行点乘。
最终,Mc经过空间特征重校正得到的特征图为:
Figure BDA0002239503930000093
空间特征重校正能够更好的将空间中所有同一位置像素的重要性得到重新校正,并赋以相应的权值,提高语义分割的准确率。
如图7所示,通道特征重校正模块中过程为:
(1)将原始特征图
Figure BDA0002239503930000094
经过一个全局平均池化,得到一个特征图
Figure BDA0002239503930000095
在再将M′与原始特征图Mc进行全连接,进行特征图的整合。
(2)整合后的特征图再经过一个线性修正单元,对特征进行修正。
(3)对修正后的特征图最后再经过一个卷积核大小为H×W,通道数为c的卷积得到一个特征向量
Figure BDA0002239503930000096
(4)特征图再经过一个sigmoid层,将特征向量z的激活范围限定在[0,1]之间,得到一个通道权值向量
Figure BDA0002239503930000097
Mc经过通道特征重校正得到的特征图:
Figure BDA0002239503930000098
经过通道特征重校正,能够将重要的通道赋以高权值,突出重要性。
将SS_4输入分类监督模块,得到预测的图片类别结果(有盐/无盐),将DSS_4(即最末一级尺度的特征图)输入盐体分割分支模块,得到含盐特征图,将DSS_4输入整体分割分支模块,得到全部图片特征图,将DSS_4输入边缘预测模块得到预测的的边缘预测特征图(即边缘结果)。
训练过程中计算模型整体分割分支模块预测的全部图片特征图与语义分割标注的 lovasz_hingeLoss(lossfinal),计算盐体分割分支预测的含盐特征图与语义分割标注的lovasz_hingeLoss(lossno_empty),计算分类监督模块预测的图片类别结果(有盐/无盐)与图片标签的交叉熵损失lossclass,计算边缘预测模块预测的边缘预测特征图(即边缘结果)与标注图像提取的边缘的交叉熵损失lossB,训练过程中的总损失误差记为 losstotal=lossfinal+0.5*lossno_empty+0.05*lossclassl+0.5*lossB,根据总损失误差losstotal使用随机梯度下降算法进行误差反向传播,用循环学习率策略,更新模型参数,得到训练好的语义分割模型。
输入待分析盐体图像到训练好的盐体语义分割模型,进行一次前向传播,端到端地输出预测的语义分割结果。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的盐体语义分割方法,其特征在于:方法为:
构建基于深度学习的盐体语义分割模型,盐体语义分割模型包括:预处理模型、分类监督模块、特征重校正模块、特征融合模块、盐体分割分支模块、整体分割分支模块、边缘预测模块、上采样层,在语义分割模型中:预处理模型对图像进行预处理得到不同尺度的特征图,不同尺度的特征图分别依次经过特征重校正模块,然后分别输入对应的上采样层,再输入特征融合模块将每级尺度对应上采样的特征图与上一级尺度对应上采样的特征图级联,最后再分别输入特征重校正模块,将得到结果中最末一级尺度的特征图分别输入盐体分割分支模块、整体分割分支模块、边缘预测模块,其中分类监督模块对整个过程中每个模块输出特征图进行监督预测是否有盐;
选择盐体图像的训练数据集,输入构建的盐体语义分割模型,并对盐体语义分割模型进行训练,模型训练过程中将盐体分割分支模块、整体分割分支模块、边缘预测模块和分类监督模块的损失进行混合作为总损失,根据总损失进行模型参数更新;
输入待分析盐体图像到训练好的盐体语义分割模型,输出预测的语义分割结果。
2.根据权利要求1所述的一种基于深度学习的盐体语义分割方法,其特征在于:所述预处理模型为ResNet34,包括1个Convolution层、一个maxpool层、4个残差连接块,其中第一个残差连接块包含3个残差块,有6个3×3的卷积层,第二个残差连接块包含4个残差块,有8个3×3的卷积层,第三个残差连接块包含6个残差块,有12个3×3的卷积层,第四个残差连接块包含3个残差块,有6个3×3的卷积层,每个残差连接块都采用残差连接,预处理模型输出的特征图分别为特征图DN_1、特征图DN_2、特征图DN_3和特征图DN_4。
3.根据权利要求1所述的一种基于深度学习的盐体语义分割方法,其特征在于:所述分类监督模块包括:1个1×1的卷积、1个全局池化层和1个全连接层,分类监督模块对图片进行判别为有盐还是无盐。
4.根据权利要求1所述的一种基于深度学习的盐体语义分割方法,其特征在于:所述特征重校正模块为结合空间特征重校正模块与通道特征重校正模块的网络模块。
5.根据权利要求1所述的一种基于深度学习的盐体语义分割方法,其特征在于:所述盐体分割分支模块包括1个3×3卷积层和一个1×1卷积层,输出为含盐的特征图。
6.根据权利要求1所述的一种基于深度学习的盐体语义分割方法,其特征在于:所述整体分割分支模块包括1个3×3卷积层和一个1×1卷积层,输出为整体的特征图。
7.根据权利要求1所述的一种基于深度学习的盐体语义分割方法,其特征在于:所述边缘预测模块包括拉普拉斯算子卷积层、tanh激活层以及ReLU激活层,输出为边缘预测特征图,公式为Δf=relu(tanh(conv(f,Klaplace)),其中,Δf表示边缘预测特征图,f表示特征图,Klaplace表示拉普拉斯算子的卷积核,conv()表示拉普拉斯算子卷积层去卷积特征图,tanh()表示tanh激活层处理得到的特征图,relu()表示ReLU激活层处理得到的特征图。
8.根据权利要求1所述的一种基于深度学习的盐体语义分割方法,其特征在于:所述对盐体语义分割模型进行模型训练的具体步骤为:
对训练数据集中的图像进行数据预处理,将图像剪裁为固定尺寸;
对预处理后的训练数据集数据通过上下翻转、缩放和旋转的方式进行扩增,并加载预训练好的ImageNet图像分类模型,对整个盐体语义分割模型进行初始化;
将扩增后的训练数据集输入盐体语义分割模型,记训练过程中模型整体分割分支预测的语义分割结果与标注图像的lovasz_hingeLoss为lossfinal,盐体分割分支预测的语义分割结果与标注图像的lovasz_hingeLoss为lossno_empty,分类监督模块预测的图片结果与图片标签的交叉熵损失为lossclass,边缘预测模块预测的边缘结果与标注图像提取的边缘的交叉熵损失为lossB,则训练过程中的总损失误差记为losstotal=lossfinal+0.5*lossno_empty+0.05*lossclassl+0.5*lossB,根据总损失误差losstotal使用随机梯度下降算法进行误差反向传播,用循环学习率策略,更新模型参数,得到训练好的盐体语义分割模型。
9.一种基于深度学习的语义分割模型,其特征在于:语义分割模型包括:预处理模型、分类监督模块、特征重校正模块、特征融合模块、目标分割分支模块、整体分割分支模块、边缘预测模块、上采样层和卷积层,在语义分割模型中:预处理模型对待分割图像进行预处理得到不同尺度的特征图,不同尺度的特征图输入后分别依次经过特征重校正模块,然后分别输入对应的上采样层,再输入特征融合模块将每级尺度对应上采样的特征图与上一级尺度对应上采样的特征图级联,最后再分别输入特征重校正模块,将得到结果中最末一级尺度的特征图分别输入目标分割分支模块、整体分割分支模块、边缘预测模块,其中分类监督模块对整个过程中每个模块输出特征图进行监督预测是否含有目标。
10.根据权利要求9所述的一种基于深度学习的语义分割模型,其特征在于:
所述预处理模型为ResNet34,包括1个Convolution层、一个maxpool层、4个残差连接块,其中第一个残差连接块包含3个残差块,有6个3×3的卷积层,第二个残差连接块包含4个残差块,有8个3×3的卷积层,第三个残差连接块包含6个残差块,有12个3×3的卷积层,第四个残差连接块包含3个残差块,有6个3×3的卷积层,每个残差连接块都采用残差连接;
所述分类监督模块包括:1个1×1的卷积、1个全局池化层和1个全连接层;
所述特征重校正模块为结合空间特征重校正模块与通道特征重校正模块的网络模块;
所述目标分割分支模块包括1个3×3卷积层和一个1×1卷积层,输出为含目标的特征图;
所述整体分割分支模块包括1个3×3卷积层和一个1×1卷积层,输出为整体的特征图;
所述边缘预测模块包括拉普拉斯算子卷积层、tanh激活层以及ReLU激活层,输出为边缘预测特征图,公式为Δf=relu(tanh(conv(f,Klaplace)),其中,Δf表示边缘预测特征图,f表示特征图,Klaplace表示拉普拉斯算子的卷积核,conv()表示拉普拉斯算子卷积层去卷积特征图,tanh()表示tanh激活层处理得到的特征图,relu()表示ReLU激活层处理得到的特征图。
CN201910998936.0A 2019-10-18 2019-10-18 一种基于深度学习的盐体语义分割方法及语义分割*** Active CN110930409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910998936.0A CN110930409B (zh) 2019-10-18 2019-10-18 一种基于深度学习的盐体语义分割方法及语义分割***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910998936.0A CN110930409B (zh) 2019-10-18 2019-10-18 一种基于深度学习的盐体语义分割方法及语义分割***

Publications (2)

Publication Number Publication Date
CN110930409A true CN110930409A (zh) 2020-03-27
CN110930409B CN110930409B (zh) 2022-10-14

Family

ID=69849453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910998936.0A Active CN110930409B (zh) 2019-10-18 2019-10-18 一种基于深度学习的盐体语义分割方法及语义分割***

Country Status (1)

Country Link
CN (1) CN110930409B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445488A (zh) * 2020-04-22 2020-07-24 南京大学 一种弱监督学习自动识别和分割盐体的方法
CN111539435A (zh) * 2020-04-15 2020-08-14 创新奇智(合肥)科技有限公司 语义分割模型构建方法及图像分割方法、设备、存储介质
CN112101205A (zh) * 2020-09-15 2020-12-18 东软睿驰汽车技术(沈阳)有限公司 基于多任务网络的训练方法和装置
CN113160246A (zh) * 2021-04-14 2021-07-23 中国科学院光电技术研究所 一种基于深度监督的图像语义分割方法
CN114648668A (zh) * 2022-05-18 2022-06-21 浙江大华技术股份有限公司 目标对象的属性分类方法、设备及计算机可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006013688A (ja) * 2004-06-23 2006-01-12 Konica Minolta Medical & Graphic Inc カラープルーフ作成装置、カラープルーフ作成システム、網点画像データ出力装置及びプログラム
US20110115787A1 (en) * 2008-04-11 2011-05-19 Terraspark Geosciences, Llc Visulation of geologic features using data representations thereof
CN106778794A (zh) * 2016-12-29 2017-05-31 南京邮电大学 一种基于图像识别的计算机成像控制方法
CN108230329A (zh) * 2017-12-18 2018-06-29 孙颖 基于多尺度卷积神经网络的语义分割方法
CN108648191A (zh) * 2018-05-17 2018-10-12 吉林大学 基于贝叶斯宽度残差神经网络的害虫图像识别方法
CN108647648A (zh) * 2018-05-14 2018-10-12 电子科技大学 一种基于卷积神经网络的可见光条件下的舰船识别***及方法
CN109101975A (zh) * 2018-08-20 2018-12-28 电子科技大学 基于全卷积神经网络的图像语义分割方法
CN109241972A (zh) * 2018-08-20 2019-01-18 电子科技大学 基于深度学习的图像语义分割方法
CN109816002A (zh) * 2019-01-11 2019-05-28 广东工业大学 基于特征自迁移的单一稀疏自编码器弱小目标检测方法
CN110119744A (zh) * 2019-05-07 2019-08-13 上海交通大学 多尺度分割约束的遥感影像语义分割方法
CN110175613A (zh) * 2019-06-03 2019-08-27 常熟理工学院 基于多尺度特征和编解码器模型的街景图像语义分割方法
CN110276402A (zh) * 2019-06-25 2019-09-24 北京工业大学 一种基于深度学习语义边界增强的盐体识别方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006013688A (ja) * 2004-06-23 2006-01-12 Konica Minolta Medical & Graphic Inc カラープルーフ作成装置、カラープルーフ作成システム、網点画像データ出力装置及びプログラム
US20110115787A1 (en) * 2008-04-11 2011-05-19 Terraspark Geosciences, Llc Visulation of geologic features using data representations thereof
CN106778794A (zh) * 2016-12-29 2017-05-31 南京邮电大学 一种基于图像识别的计算机成像控制方法
CN108230329A (zh) * 2017-12-18 2018-06-29 孙颖 基于多尺度卷积神经网络的语义分割方法
CN108647648A (zh) * 2018-05-14 2018-10-12 电子科技大学 一种基于卷积神经网络的可见光条件下的舰船识别***及方法
CN108648191A (zh) * 2018-05-17 2018-10-12 吉林大学 基于贝叶斯宽度残差神经网络的害虫图像识别方法
CN109101975A (zh) * 2018-08-20 2018-12-28 电子科技大学 基于全卷积神经网络的图像语义分割方法
CN109241972A (zh) * 2018-08-20 2019-01-18 电子科技大学 基于深度学习的图像语义分割方法
CN109816002A (zh) * 2019-01-11 2019-05-28 广东工业大学 基于特征自迁移的单一稀疏自编码器弱小目标检测方法
CN110119744A (zh) * 2019-05-07 2019-08-13 上海交通大学 多尺度分割约束的遥感影像语义分割方法
CN110175613A (zh) * 2019-06-03 2019-08-27 常熟理工学院 基于多尺度特征和编解码器模型的街景图像语义分割方法
CN110276402A (zh) * 2019-06-25 2019-09-24 北京工业大学 一种基于深度学习语义边界增强的盐体识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUNZHI SHI等: "《SaltSeg: Automatic 3D salt segmentation using a deep convolutional neural network》", 《INTERPRETATION》 *
李宏亮 等: "《大分割适形放疗在非小细胞肺癌患者中的临床研究》", 《癌症进展》 *
马文礼 等: "《机器视觉在油气勘探开发中的应用现状》", 《科学技术与工程》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539435A (zh) * 2020-04-15 2020-08-14 创新奇智(合肥)科技有限公司 语义分割模型构建方法及图像分割方法、设备、存储介质
CN111445488A (zh) * 2020-04-22 2020-07-24 南京大学 一种弱监督学习自动识别和分割盐体的方法
CN111445488B (zh) * 2020-04-22 2023-08-04 南京大学 一种弱监督学习自动识别和分割盐体的方法
CN112101205A (zh) * 2020-09-15 2020-12-18 东软睿驰汽车技术(沈阳)有限公司 基于多任务网络的训练方法和装置
CN113160246A (zh) * 2021-04-14 2021-07-23 中国科学院光电技术研究所 一种基于深度监督的图像语义分割方法
CN114648668A (zh) * 2022-05-18 2022-06-21 浙江大华技术股份有限公司 目标对象的属性分类方法、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN110930409B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN110930409B (zh) 一种基于深度学习的盐体语义分割方法及语义分割***
CN110232394B (zh) 一种多尺度图像语义分割方法
CN108764292B (zh) 基于弱监督信息的深度学习图像目标映射及定位方法
CN110188765B (zh) 图像语义分割模型生成方法、装置、设备及存储介质
CN109241972B (zh) 基于深度学习的图像语义分割方法
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN114120102A (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
Dimitrievski et al. Learning morphological operators for depth completion
CN110246148B (zh) 多模态的深度信息融合和注意力学习的显著性检测方法
CN112862774B (zh) 一种遥感影像建筑物精确分割方法
CN113780296A (zh) 基于多尺度信息融合的遥感图像语义分割方法及***
CN110070517B (zh) 基于退化成像机理和生成对抗机制的模糊图像合成方法
CN114742799B (zh) 基于自监督异构网络的工业场景未知类型缺陷分割方法
CN113408398B (zh) 基于通道注意力及概率上采样的遥感图像云检测方法
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN112258537B (zh) 一种基于卷积神经网络的监督暗视觉图像边缘检测方法
CN111444923A (zh) 自然场景下图像语义分割方法和装置
CN114004766A (zh) 一种水下图像增强方法、***和设备
CN116152591A (zh) 模型训练方法、红外小目标检测方法、装置及电子设备
CN116485867A (zh) 一种面向自动驾驶的结构化场景深度估计方法
CN116612472A (zh) 基于图像的单分子免疫阵列分析仪及其方法
CN112329793B (zh) 基于结构自适应和规模自适应感受野的显著性检测方法
CN112767277B (zh) 一种基于参考图像的深度特征排序去模糊方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant