CN116580199A - 基于DeepLabV3+的图像分割方法、装置和存储介质 - Google Patents

基于DeepLabV3+的图像分割方法、装置和存储介质 Download PDF

Info

Publication number
CN116580199A
CN116580199A CN202310556328.0A CN202310556328A CN116580199A CN 116580199 A CN116580199 A CN 116580199A CN 202310556328 A CN202310556328 A CN 202310556328A CN 116580199 A CN116580199 A CN 116580199A
Authority
CN
China
Prior art keywords
image
layer
convolution
detected
intermediate image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310556328.0A
Other languages
English (en)
Inventor
彭绍湖
吴树贤
冼咏炘
谭敏聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202310556328.0A priority Critical patent/CN116580199A/zh
Publication of CN116580199A publication Critical patent/CN116580199A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供了一种基于DeepLabV3+的图像分割方法、装置和存储介质，方法包括：在编码器中，基于多尺度特征融合模型，提取待测图像的图像特征；所述多尺度特征融合模型包括至少一个两层卷积结构和一个三层卷积结构。本申请提供的技术方案用以解决传统的图像分割算法在分割癌细胞区域边界识别精度不高的问题。

Description

基于DeepLabV3+的图像分割方法、装置和存储介质
技术领域
本文件涉及计算机医学图像分割领域，尤其涉及一种基于DeepLabV3+的图像分割方法、装置和存储介质。
背景技术
计算机断层扫描是近几年临床上使用较为广泛的一种临床诊断方法，因其信噪比高、空间分辨率高和成像速度快等优点被广泛应用于直肠肿瘤的诊断和评估。
在诊断和治疗直肠癌期间，从CT影像中准确分割出存在直肠肿瘤的区域是必不可少的环节，医生基于人工智能等技术分割出的直肠肿瘤区域来确定肿瘤的大小，形状和判断是否发生转移，并制定适合患者的最佳治疗方案。
然而，不同患者体内的直肠肿瘤在体积、形态上存在差异，同时直肠肿瘤在CT影像中存在对比度偏低，边界模糊等问题，传统的图像分割算法通常难以提取和利用CT影像中的高级语义分割信息，导致直肠肿瘤分割的精度不高。
发明内容
鉴于上述的分析，本申请旨在提出一种基于DeepLabV3+的图像分割方法、装置和存储介质，提高了癌细胞区域边界识别的精度。
第一方面，本说明书一个或多个实施例提供了一种基于DeepLabV3+的图像分割方法，包括：
在编码器中，基于多尺度特征融合模型，提取待测图像的图像特征；
所述多尺度特征融合模型包括至少一个两层卷积结构和一个三层卷积结构。
进一步地，所述在编码器中，基于多尺度特征融合模型，提取待测图像的图像特征，包括：
以所述待测图像为输入，通过各所述两层卷积结构将所述待测图像分割成预设第一尺寸；
将所述第一尺寸的图像拼接成第一通道数的第一中间图像；
利用所述三层卷积结构将所述第一中间图像拼接成第二通道数的第二中间图像；
根据所述第二中间图像，提取所述待测图像的图像特征。
进一步地，所述两层卷积结构包括：两层卷积层和一层池化层；
所述三层卷积结构包括：三层卷积层。
进一步地，所述方法还包括：
将所述第二中间图像输入到具有级联结构的空洞空间金字塔池化模型中；
所述具有级联结构的空洞空间金字塔池化模型根据所述第二中间图像，提取所述待测图像的图像特征。
进一步地，所述具有级联结构的空洞空间金字塔池化模型包括：一个普通卷积层、三个不同膨胀率的膨胀卷积层和一个全局平均池化层；
所述三个不同膨胀率的膨胀卷积对应的膨胀率分别为1、3和5。
进一步地，所述具有级联结构的空洞空间金字塔池化模型根据所述第二中间图像，提取所述待测图像的图像特征，包括：
所述普通卷积层以所述第二中间图像为输入；
各所述膨胀卷积层和所述全局平均池化层，分别以所述第二中间图像以及上一层的输出结果为输入；
将所述普通卷积层、各所述膨胀卷积层和所述全局平均池化层的输出结果加和，得到所述待测图像的图像特征。
进一步地，所述两层卷积结构为1-3个，所述三层卷积结构为1-2个。
第二方面，本申请实施例提供了一种基于DeepLabV3+的图像分割装置，包括：特征提取模块；
所述特征提取模块设置在所述编码器中，用于基于多尺度特征融合模型，提取待测图像的图像特征；
所述多尺度特征融合模型包括至少一个两层卷积结构和一个三层卷积结构。
进一步地，所述特征提取模块用于以所述待测图像为输入，通过各所述两层卷积结构将所述待测图像分割成预设第一尺寸；将所述第一尺寸的图像拼接成第一通道数的第一中间图像；利用所述三层卷积结构将所述第一中间图像拼接成第二通道数的第二中间图像；根据所述第二中间图像，提取所述待测图像的图像特征。
第三方面，本申请实施例提供了一种存储介质，包括：
用于存储计算机可执行指令，所述计算机可执行指令在被执行时实现第一方面中任一项所述的方法。
与现有技术相比，本申请至少能实现以下技术效果：
现有的DeepLabV3+采用语义分割和空洞卷积，对直肠肿瘤的区域进行识别。然而，语义分割和空洞卷积的特性，导致DeepLabV3+不能有效地识别直肠肿瘤区域中模糊的部分。因此，采用多尺度特征融合模型替代DeepLabV3+原有模型，以提取待测图像的图像特征。由于多尺度特征融合模型以特征融合的方式提取特征，因此多尺度特征融合模型得到图像包含更多的特征，有助于区分某模糊区域。此外，由于多尺度特征融合模型得到图像包含更多的特征，因此相比现有的语义分割模型，多尺度特征融合模型更适用与空洞卷积联用，从而提高模型的整体识别精确度。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例提供的图像中非边界像素点和边界像素点图；
图2为本说明书一个或多个实施例提供的一种基于DeepLabV3+的图像分割方法的流程图；
图3为本说明书一个或多个实施例提供的空洞空间卷积池化金字塔的结构示意图；
图4为本说明书一个或多个实施例提供的训练模型方法的示意图；
图5为本说明书一个或多个实施例提供的训练多尺度特征融合模型的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
现有技术利用DeepLabV3+模型对癌细胞区域进行图像识别，然而癌细胞区域存在边界的模糊的问题。边界模糊是图像中相邻像素间距离过大造成的，在此场景下，利用语义分割容易造成特征缺失，即分割后边界处的像素没有分布在同一张图像中，导致边界识别精度降低。同时DeepLabV3+模型中的空洞卷积模型，会增加特征图像的感受野。在边界出现像素缺失的情况下，增加感受野会进一步降低边界的识别精度。
针对上述场景和技术问题，本申请实施例提出了一种基于DeepLabV3+的图像分割方法：在编码器中，基于多尺度特征融合模型，提取待测图像的图像特征；多尺度特征融合模型包括至少一个两层卷积结构和至少一个三层卷积结构。即利用含有至少一个两层卷积结构和一个三层卷积结构的多尺度特征融合模型替代DeepLabV3+编码器中原有的语义分割模型。
在本申请实施例中，卷积层越多，感受野越大。而感受野越大，识别精度越低。为了解决边界模糊的问题，利用多尺度特征尽可能多的保留特征。同时，利用两层卷积结构，先聚焦于小感受野，保证尽可能多的特征可以清楚的体现，从而防止癌细胞边界的像素丢失。再基于尽可能多的特征可以清楚的体现，使用三层卷积结构以扩展感受野，从而识别出边界与周围的像素，从而实现提高图像分割的精度。
例如，如图1所示，癌细胞区域中靠近边界的点A，其特征能够清楚的识别，然而该癌细胞区域存在一段边界模糊(虚线表示边界模糊)。本申请基于感受野小识别精度高的特点，先清晰地识别点A周围的像素点。之后扩大感受野，将模糊的边界和点A周围的像素点置于同一张特征图。此时，该特征图中，除去A点和点A周围的像素点，就只有边界的像素点了。由于点A周围的像素点的像素点是精确地，因此基于点A周围的像素点能够精准地识别边界像素点的位置。
基于前述场景，本申请实施例提供了一种基于DeepLabV3+的图像分割方法，如图2所示，包括以下具体步骤：
步骤1、以待测图像为输入，通过各两层卷积结构将待测图像分割成预设第一尺寸。
在本申请实施例中，两层卷积结构包括：两层卷积层和一层池化层。每一层卷积层包括：3×3的卷积核，标准化层和激活函数。第一尺寸可以为但不限于：64×64、128×128或256×256。
步骤2、将第一尺寸的图像拼接成第一通道数的第一中间图像。
在本申请实施例中，将每一个卷积层得到的特征图像进行拼接，以增加第一中间图像的通道数。其中，第一通道数可以为64-256。
步骤3、利用三层卷积结构将第一中间图像拼接成第二通道数的第二中间图像。
在本申请实施例中，三层卷积结构包括：三层卷积层。每一层卷积层包括：3×3的卷积核，标准化层和激活函数。其中，第二通道数可以为512-3072。
优选地，为了进一步提高特征图像中的特征数量，在最后一个两层卷积结构和三层卷积结构，加入另一种三层卷积结构。其中，另一种三层卷积结构包括：三层卷积层和一层池化层。另一种三层卷积结构第一中间图像分割成第二尺寸。第二尺寸可以为但不限于：32×32或16×16。之后，再由三层卷积结构将每一个卷积层得到的特征图像进行拼接，以增加第二中间图像的通道数。
优选地，为了保证识别效果，两层卷积结构为1-3个，三层卷积结构总量为1-2个。
步骤4、根据第二中间图像，提取待测图像的图像特征。
由此可见，本申请基于多尺度特征融合的特点，不断特征图像的通道数，以增加特征图像中的特征，从而避免出现边界像素丢失的问题。
为了进一步配合本申请提出的基于DeepLabV3+的图像分割方法，对空洞空间金字塔池化模型进行改进：将原有的空洞空间金字塔池化模型改进为，具有级联结构的空洞空间金字塔池化模型。
改进后，具有级联结构的空洞空间金字塔池化模型包括：一个普通卷积层、三个不同膨胀率的膨胀卷积层和一个全局平均池化层；三个不同膨胀率的膨胀卷积对应的膨胀率分别为1、3和5。
具有级联结构的空洞空间金字塔池化模型的工作流程，如图3所示：
普通卷积层以第二中间图像为输入；
各膨胀卷积层和全局平均池化层，分别以第二中间图像以及上一层的输出结果为输入；
将普通卷积层、各膨胀卷积层和全局平均池化层的输出结果加和，得到待测图像的图像特征。
其中，dia为膨胀率，cov1×1表征普通卷积层，cov3×3表征膨胀卷积层，imagepooling表征池化层，concat表征图像处理中的加法规则对应的函数。
现有技术中，膨胀卷积的膨胀率为1、6和10。其膨胀率和感受野的关系公式1所示：
F＝(d-1)×(k-1)+k
其中，k表示空洞卷积的卷积核大小，d表示膨胀率/空洞数，F表示感受野的尺寸。
虽然大的膨胀率会保证大的感受野，但与此同时，大的膨胀率降低了各膨胀卷积的特征提取数量，最终影响图像识别精度。如果减小膨胀率，相应的感受野也会减小，最终导致特征丢失。
而具有级联结构的空洞空间金字塔池化模型，其膨胀率和感受野的关系公式2所示：
F＝2×(d-1)×(k-1)+k
因此，本申请实施例中三个不同膨胀率的膨胀卷积对应的膨胀率分别为1、3和5，以实现兼顾膨胀率和感受野，从而提高了图像识别的精度。此外，各层以上一层的输出为输入，可以有效防止不明显的特征丢失，例如模糊的边界，进一步提高了图像识别的精度。
为了说明本申请方案的可行性，本申请实施例给出了本申请图像分割模型的训练过程，如图4所示：
步骤S1，构建数据集。
数据集由两部分组成，一部分是人体CT影像，可通过专业的医疗仪器设备采集；另一部分是直肠肿瘤区域的掩模图，其中直肠肿瘤区域由专业医生描绘出来，再通过图像二值化方法生成。
由于CT影像的格式为DICOM，需要将格式转换成适合深度学习网络模型使用的标准图片格式。格式转换过程为：首先利用RadiAntDICOM Viewer软件得出每个病例CT序列的最佳窗宽和窗位，其次利用SimpleITK库读取CT影像的HU值，将HU值储存为数组后设置其最佳窗宽和窗位，使用灰度直方图均衡化技术提高具体器官的对比度，将数组中的像素值归一化到0到1区间，最后保存图像数组为png格式的灰度图。
直肠肿瘤只发生在直肠处，所以实际需要处理的区域并不需要整张图片。通过掩模图可观察到直肠肿瘤均分布在整张图像的一定区域内，运用图像处理算法计算出存在直肠肿瘤区域的像素值范围。经统计得出长为200-456，宽为128-384的像素范围能涵盖数据集中所有肿瘤区域。因此，最终将数据集裁剪成256×256大小的图片，即过滤了无关的特征，提高了网络训练速度。接着手动或者程序自动将裁剪后的CT影像和掩模图合并到一个文件夹中，并划分成训练集和测试集，比例为8：2。
步骤S2，编码器的训练。
将处理后分辨率大小为256×256的训练集图片输入到多尺度特征融合模型里面进行特征提取，使得特征图的尺寸逐渐减小、特征维度逐渐增加，最终生成两个有效特征层，分别为浅层特征层和深层特征层。
多尺度特征融合模型训练过程如图5所示，Input表征输入图片，cov3表征卷积核大小为3×3的卷积层，BN表征标准化层，ReLU表征激活函数，Pool表征池化层，Output表征输出特征图，contact表征特征拼接。
多尺度特征融合模型由多个不同数量的卷积核大小为3×3的卷积层堆叠而成。图片经过多尺度特征融合模型时，首先使用卷积核大小为3×3的卷积层作两次卷积Input图片，提取特征图并增加特征图通道大小为32，即卷积后的特征图尺寸变为256×256×32。接着拼接两个卷积层得到特征图，拼接后的特征图尺寸变为256×256×64。再经过池化单元尺寸为2×2的最大池化层进行图像尺寸减半，池化后的尺寸变为128×128×64。再接着使用卷积核大小为3×3的卷积层作两次卷积提取特征图并增加特征图通道大小为64。接着拼接两个卷积层得到特征图，拼接后的特征图尺寸变为128×128×128。再经过池化单元尺寸为2×2的最大池化层进行图像尺寸减半，池化后的尺寸变为64×64×128。
再接着使用卷积核大小为3×3的卷积层作两次卷积提取特征图并增加特征图通道大小为128。接着拼接两个卷积层得到特征图，拼接后的特征图尺寸变为64×64×256。再经过池化单元尺寸为2×2的最大池化层进行图像尺寸减半，池化后的尺寸变为32×32×256。
之后使用卷积核大小为3×3的卷积层作三次卷积提取特征图，图像拼接后的特征图尺寸变为32×32×768。再经过池化单元尺寸为2×2的最大池化层进行图像尺寸减半，池化后的尺寸变为16×16×768。
最后，卷积核大小为3×3的卷积层作三次卷积提取特征图，并增加特征图通道大小为1024，图像拼接后的特征图尺寸变为16×16×3072。
将卷积后得到的尺寸为128×128×128的特征图作为浅层特征层，整个主干特征提取网络处理后得到的尺寸为16×16×1024的特征图作为深层特征层。将深层特征层传输到快速空洞空间金字塔池化(ASPPF)中，分别与一个普通卷积，三个不同膨胀率的膨胀卷积和一个全局平均池化进行运算。具体来说，快速空洞空间卷积池化金字塔(ASPPF)由1×1标准卷积层，膨胀率分别为1、3、5且卷积核大小为3×3的空洞卷积和全局平均池化层五条支路组成。将主干特征提取网络的输出特征图即深层特征层输入到快速空洞空间卷积池化金字塔(ASPPF)中，首先深层特征层与ASPPF的第一条支路1×1的标准卷积层进行卷积运算，使得输出特征图保持原有的感受野；将卷积后的结果依次经过膨胀率分别为1、3、5且卷积核大小为3×3的空洞卷积进行卷积运算，使得每次输出的特征图在前一层的局部特征上关联到更广阔的视野，防止小目标特征在信息传递时丢失。
接着将输出的特征图与第五条支路全局平均池化层进行运算，从而获取全局特征；最后将五个分支的特征图在通道维度上堆叠，得到具有多尺度上下文信息的输出特征图，增强网络模型识别不同尺寸同一物体的能力。
步骤S3，解码器的训练。
将步骤二中经过1×1卷积进行通道数调整后的输出特征图双线性插值上采样4倍，此时输出的特征图记作FA。再取步骤二中的浅层特征层经过1×1卷积进行特征压缩，此时输出的特征图记作FB。将FA和FB做特征融合，增加肿瘤特征的多样性。融合后的结果再经过一个3×3卷积细化特征，最终通过双线性插值上采样4倍和Sigmoid函数激活得到与输入图片分辨率大小一样的预测结果。同时，网络模型输出训练权重文件。
步骤S4，模型的校验。
将步骤三中输出的训练权重文件载入网络模型，读取测试集中的图片和标签，对图片和标签进行翻转和平移的数据增强和归一化操作。将处理后分辨率大小均为256×256的测试集图片输入到网络模型中进行测试，最后根据指标对测试结果进行评估。
利用训练好的模型以及现有的模型进行实测，测试结果如表1所示，
表1
平均交并比 平均准确率 平均召回率 平均相似度
UNet 92.47 95.19 90.50 95.82
UNet++ 92.51 96.08 92.32 95.83
DeepLabV3+ 90.68 93.54 87.22 94.74
本发明网络 93.56 97.23 94.64 96.49
相比现有技术，本申请的提供模型具有更好的平均交并比、平均准确率、平均召回率和平均相似度，因此本申请提供的技术方案能够提高图像识别精度。
本申请实施例提供了一种基于DeepLabV3+的图像分割装置，包括：特征提取模块；
所述特征提取模块设置在所述编码器中，用于基于多尺度特征融合模型，提取待测图像的图像特征；
所述多尺度特征融合模型包括至少一个两层卷积结构和一个三层卷积结构。
在本申请实施例中，所述特征提取模块用于以所述待测图像为输入，通过各所述两层卷积结构将所述待测图像分割成预设第一尺寸；将所述第一尺寸的图像拼接成第一通道数的第一中间图像；利用所述三层卷积结构将所述第一中间图像拼接成第二通道数的第二中间图像；根据所述第二中间图像，提取所述待测图像的图像特征。
本申请实施例提供了一种存储介质，包括：
用于存储计算机可执行指令，所述计算机可执行指令在被执行时实现以下流程：
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪30年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean E×pression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书一个或多个实施例可提供为方法、***或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (10)

1.一种基于DeepLabV3+的图像分割方法，其特征在于，包括：
在编码器中，基于多尺度特征融合模型，提取待测图像的图像特征；
所述多尺度特征融合模型包括至少一个两层卷积结构和一个三层卷积结构。
2.根据权利要求1所述的方法，其特征在于，
所述在编码器中，基于多尺度特征融合模型，提取待测图像的图像特征，包括：
以所述待测图像为输入，通过各所述两层卷积结构将所述待测图像分割成预设第一尺寸；
将所述第一尺寸的图像拼接成第一通道数的第一中间图像；
利用所述三层卷积结构将所述第一中间图像拼接成第二通道数的第二中间图像；
根据所述第二中间图像，提取所述待测图像的图像特征。
3.根据权利要求2所述的方法，其特征在于，
所述两层卷积结构包括：两层卷积层和一层池化层；
所述三层卷积结构包括：三层卷积层。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将所述第二中间图像输入到具有级联结构的空洞空间金字塔池化模型中；
所述具有级联结构的空洞空间金字塔池化模型根据所述第二中间图像，提取所述待测图像的图像特征。
5.根据权利要求4所述的方法，其特征在于，
所述具有级联结构的空洞空间金字塔池化模型包括：一个普通卷积层、三个不同膨胀率的膨胀卷积层和一个全局平均池化层；
所述三个不同膨胀率的膨胀卷积对应的膨胀率分别为1、3和5。
6.根据权利要求5所述的方法，其特征在于，
所述具有级联结构的空洞空间金字塔池化模型根据所述第二中间图像，提取所述待测图像的图像特征，包括：
所述普通卷积层以所述第二中间图像为输入；
各所述膨胀卷积层和所述全局平均池化层，分别以所述第二中间图像以及上一层的输出结果为输入；
将所述普通卷积层、各所述膨胀卷积层和所述全局平均池化层的输出结果加和，得到所述待测图像的图像特征。
7.根据权利要求1所述的方法，其特征在于，
所述两层卷积结构为1-3个，所述三层卷积结构为1-2个。
8.一种基于DeepLabV3+的图像分割装置，其特征在于，包括：特征提取模块；
所述特征提取模块设置在编码器中，用于基于多尺度特征融合模型，提取待测图像的图像特征；
所述多尺度特征融合模型包括至少一个两层卷积结构和一个三层卷积结构。
9.根据权利要求8所述的装置，其特征在于，
所述特征提取模块用于以所述待测图像为输入，通过各所述两层卷积结构将所述待测图像分割成预设第一尺寸；将所述第一尺寸的图像拼接成第一通道数的第一中间图像；利用所述三层卷积结构将所述第一中间图像拼接成第二通道数的第二中间图像；根据所述第二中间图像，提取所述待测图像的图像特征。
10.一种存储介质，其特征在于，包括：
用于存储计算机可执行指令，所述计算机可执行指令在被执行时实现权利要求1-7中任一项所述的方法。
CN202310556328.0A 2023-05-16 2023-05-16 基于DeepLabV3+的图像分割方法、装置和存储介质 Pending CN116580199A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310556328.0A CN116580199A (zh) 2023-05-16 2023-05-16 基于DeepLabV3+的图像分割方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310556328.0A CN116580199A (zh) 2023-05-16 2023-05-16 基于DeepLabV3+的图像分割方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN116580199A true CN116580199A (zh) 2023-08-11

Family

ID=87542830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310556328.0A Pending CN116580199A (zh) 2023-05-16 2023-05-16 基于DeepLabV3+的图像分割方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN116580199A (zh)

Similar Documents

Publication Publication Date Title
CN114419020B (zh) 医学图像分割方法、装置、计算机设备及存储介质
CN109816650B (zh) 一种基于二维dsa图像的目标区域识别方法及其***
CN116152933A (zh) 一种异常检测模型的训练方法、装置、设备及存储介质
CN115049927A (zh) 基于SegNet的SAR图像桥梁检测方法、装置和存储介质
CN116342888B (zh) 一种基于稀疏标注训练分割模型的方法及装置
CN111105425A (zh) 一种基于颅脑影像数据的对称轴/对称面提取方法及***
CN117333529B (zh) 一种基于模板匹配的血管超声内膜自动化测量方法及***
CN116030247B (zh) 一种医学图像样本生成方法、装置、存储介质及电子设备
CN116342984B (zh) 一种模型训练的方法以及图像处理的方法及装置
CN117079777A (zh) 一种医学影像的补全方法、装置、存储介质及电子设备
CN115830633B (zh) 基于多任务学习残差神经网络的行人重识别方法和***
CN109685843B (zh) 一种基于头颅ct影像的核心梗死体积的测量方法及***
CN116524295A (zh) 一种图像处理方法、装置、设备及可读存储介质
CN115082405B (zh) 颅内病灶的检测模型的训练方法、检测方法、装置及设备
CN109472803B (zh) 一种颅内动脉血管分割方法及***
CN116805393A (zh) 一种基于3DUnet光谱-空间信息融合的高光谱图像分类方法和***
CN116580199A (zh) 基于DeepLabV3+的图像分割方法、装置和存储介质
CN116258679A (zh) 一种信息推荐方法、装置、存储介质及电子设备
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN112862089B (zh) 一种具有可解释性的医学图像深度学习方法
CN112734726B (zh) 一种血管造影的分型方法、装置以及设备
Nour et al. Skin lesion segmentation based on edge attention vnet with balanced focal tversky loss
CN116229218B (zh) 一种模型训练、图像配准方法及装置
CN116363390B (zh) 一种红外弱小目标检测方法、装置、存储介质及电子设备
CN116363070A (zh) 一种血管异常的分析方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination