CN117292135A - 一种图像分割方法及*** - Google Patents

一种图像分割方法及*** Download PDF

Info

Publication number
CN117292135A
CN117292135A CN202311426036.1A CN202311426036A CN117292135A CN 117292135 A CN117292135 A CN 117292135A CN 202311426036 A CN202311426036 A CN 202311426036A CN 117292135 A CN117292135 A CN 117292135A
Authority
CN
China
Prior art keywords
convolution
features
image
segmentation
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311426036.1A
Other languages
English (en)
Inventor
朱皞罡
宫宇新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202311426036.1A priority Critical patent/CN117292135A/zh
Publication of CN117292135A publication Critical patent/CN117292135A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开一种图像分割方法及***，涉及医学图像分割技术领域，该方法包括获取目标医学超声图像；将目标医学超声图像输入至训练好的图像语义分割模型中，得到最终图像分割图；训练好的图像语义分割模型包括训练好的第一分割网络和训练好的第二分割网络；训练好的第一分割网络用于对目标医学超声图像进行语义分割，得到初始图像分割图；训练好的第二分割网络用于在多个提取尺度上对初始图像分割图和目标医学超声图像进行特征提取，得到多个尺度特征，并将所有尺度特征进行融合，得到融合特征，根据融合特征得到最终图像分割图。本发明将第一分割网络输出的初始图像分割图作为先验知识输入至第二分割网络进一步分割，提高了组织的分割结果。

Description

一种图像分割方法及***
技术领域
本发明涉及医学图像分割技术领域，特别是涉及一种图像分割方法及***。
背景技术
医学图像分析广泛应用语义分割，语义分割通常是指通过计算机对图像进行处理找出图像中呈现的对象并为给定图像的每个像素分配一个类标签。近年来，以Unet为主要结构的变体在超声分割领域取得了较好结果，如乳腺癌症、IVUS(血管疾病)、肾脏等超声分割。但是一些任务如颈部超声、甲状腺超声存在相似组织误分类的情况。如图1(a)所示，其为一张临床甲状腺超声的图像。图1(b)为对应的标签，其中灰色部分为甲状腺，甲状腺旁边不带有线段的圆形是血管，甲状腺内部附有水平线段的圆形为甲状腺结节。图1(c)为Unet预测出来的结果。由于图1(a)中的有一个组织结构与血管非常相似，导致图1(c)中出现两个黄色的血管。这是Unet没有学习到血管位置信息导致对两个相似组织出现了混淆。
目前解决这一问题的方法主要是通过在Unet中***上下文信息模块，在上下文信息模块中提取有用信息帮助提升分割的效果。但是目前大多主要提取基于特征的上下文信息，例如提取空间距离；利用空间金字塔卷积Atrous spatialpyramidpooling(ASPP)提取近距离的多尺度上下文信息；利用SE-Net and EncNet尝试捕捉全局上下文信息来估计通道特征用于加权卷积特征层；利用动态多尺度滤波DMNet，通过卷积核来对图像进行卷积操作提取上下文特征。但是上述现有基于特征的上下文信息提取方法没有考虑类别上下文信息，导致其在对图像进行分割时依旧会混淆相似组织，图像分割效果低。
发明内容
本发明的目的是提供一种图像分割方法及***，可提高图像中组织的分割效果。
为实现上述目的，本发明提供了如下方案：
一种图像分割方法，所述方法包括：
获取目标医学超声图像；
将所述目标医学超声图像输入至训练好的图像语义分割模型中，得到最终图像分割图；所述训练好的图像语义分割模型包括训练好的第一分割网络和训练好的第二分割网络；所述最终图像分割图包括所述目标医学超声图像中的组织的最终类型信息和最终位置信息；
其中，所述训练好的第一分割网络用于对所述目标医学超声图像进行语义分割，得到初始图像分割图；所述初始图像分割图包括所述目标医学超声图像中的组织的初始类型信息和初始位置信息；
所述训练好的第二分割网络用于在多个提取尺度上对所述初始图像分割图和所述目标医学超声图像进行特征提取，得到多个尺度特征，并将所有所述尺度特征进行融合，得到融合特征，根据所述融合特征得到最终图像分割图。
可选的，所述训练好的第二分割网络包括HLCS特征提取模块、相乘模块、编码模块、DCPF模块和解码模块；
其中，所述HLCS特征提取模块用于对所述初始图像分割图进行特征提取，得到深度卷积特征；
所述相乘模块用于对所述目标医学超声图像和所述初始图像分割图进行相乘操作，得到乘积特征图；
所述编码模块用于对所述乘积特征图进行编码，得到编码特征；
所述DCPF模块用于在多个所述提取尺度上对所述编码特征和所述深度卷积特征进行特征提取，得到多个尺度特征，并将所有所述尺度特征进行融合，得到融合后的尺度特征，并利用一第一卷积层对所述融合后的尺度特征进行特征提取，得到融合特征；
所述解码模块用于对所述融合特征进行解码，得到最终图像分割图。
可选的，所述HLCS特征提取模块包括依次连接的若干个深度卷积子模块和一个深度卷积单元；所述深度卷积子模块包括依次连接的深度卷积单元和第一最大池化层；所述深度卷积单元包括若干个依次连接的深度卷积层。
可选的，所述编码模块包括依次连接的若干个编码子模块和一个编码卷积单元；所述编码子模块包括依次连接的编码卷积单元和第二最大池化层；所述编码卷积单元包括编码卷积子单元和编码融合子单元，所述编码卷积子单元包括若干个依次连接的第二卷积层，所述编码融合子单元用于对所述编码卷积子单元的输入和所述编码卷积子单元的输出进行相加操作。
可选的，所述DCPF模块包括若干个尺度特征提取子模块和融合子模块；
所述尺度特征提取子模块包括特征提取单元、类别上下文卷积单元和ASPP卷积单元；每一所述尺度特征提取子模块对应一提取尺度；
其中，所述特征提取单元用于在所述尺度特征提取子模块对应的提取尺度上对所述编码特征进行特征提取，得到全局融合特征；
所述类别上下文卷积单元用于对所述深度卷积特征和所述全局融合特征进行融合，得到类别动态卷积核；
所述ASPP卷积单元用于通过所述类别动态卷积核对所述编码特征进行特征提取，得到尺度特征；
所述融合子模块用于将所有所述尺度特征提取子模块得到的尺度特征进行融合，得到融合后的尺度特征，并利用所述第一卷积层对所述融合后的尺度特征进行特征提取，得到融合特征。
可选的，所述特征提取单元包括全局特征提取子单元、配对卷积子单元和全局局部融合子单元；
其中，所述全局特征提取子单元用于通过多个全局卷积层对所述编码特征进行特征提取，得到多个全局子特征，并对所有所述全局子特征进行融合，得到全局特征；一所述全局卷积层对应一所述全局子特征；
所述配对卷积子单元用于在所述尺度特征提取子模块对应的提取尺度上对所述编码特征进行特征提取，得到局部特征；
所述全局局部融合子单元用于将所述全局特征和所述局部特征进行融合，得到全局融合特征。
可选的，所述对所述深度卷积特征和所述全局融合特征进行融合，得到类别动态卷积核具体包括：
对所述深度卷积特征和所述全局融合特征进行相乘操作，得到乘积特征；
利用一第三卷积层对所述编码特征进行特征提取，得到编码卷积特征；
对所述深度卷积特征和所述编码卷积特征进行相乘操作，得到通道类别特征；
对所述乘积特征和所述通道类别特征进行相乘操作，得到类别卷积特征；
将所述类别卷积特征与提取尺度对应的固定卷积核相乘，得到类别卷积核；
利用自适应池化层对所述类别卷积核进行维数调整，得到固定大小的类别动态卷积核。
可选的，所述通过所述类别动态卷积核对所述编码特征进行特征提取，得到尺度特征，具体包括：
利用多个不同大小的空洞率分别对所述类别动态卷积核进行空洞处理，得到每一所述空洞率对应的ASPP卷积层，并分别利用每一所述ASPP卷积层对所述编码特征进行特征提取，得到多个局部尺度特征，将所述编码特征以及所有所述局部尺度特征进行融合，得到ASPP卷积特征，并利用一第四卷积层对所述ASPP卷积特征进行特征提取，得到尺度特征。
可选的，在所述将所述目标医学超声图像输入至训练好的图像语义分割模型中之前，还包括：对图像语义分割模型进行训练，训练过程如下：
获取样本集；所述样本集包括若干个样本医学超声图像以及每一样本医学超声图像对应的样本最终图像分割图；
固定第二分割网络的第二模型参数，以所述样本医学超声图像为输入，以所述样本医学超声图像对应的样本最终图像分割图为标签，对图像语义分割模型进行训练，得到训练好的第一分割网络；
采用所述样本集对所述训练好的第一分割网络和所述第二分割网络进行训练，得到训练好的第二分割网络；所述训练好的第一分割网络和所述训练好的第二分割网络构成所述训练好的图像语义分割模型。
本发明还提供了一种图像分割***，所述***包括：
图像获取模块，用于获取目标医学超声图像；
图像分割模块，用于将所述目标医学超声图像输入至训练好的图像语义分割模型中，得到最终图像分割图；所述训练好的图像语义分割模型包括训练好的第一分割网络和训练好的第二分割网络；所述最终图像分割图包括所述目标医学超声图像中的组织的最终类型信息和最终位置信息；其中，所述训练好的第一分割网络用于对所述目标医学超声图像进行语义分割，得到初始图像分割图；所述初始图像分割图包括所述目标医学超声图像中的组织的初始类型信息和初始位置信息；所述训练好的第二分割网络用于在多个提取尺度上对所述初始图像分割图和所述目标医学超声图像进行特征提取，得到多个尺度特征，并将所有所述尺度特征进行融合，得到融合特征，根据所述融合特征得到最终图像分割图。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种图像分割方法及***，方法包括：获取目标医学超声图像；将目标医学超声图像输入至训练好的图像语义分割模型中，得到最终图像分割图；训练好的图像语义分割模型包括训练好的第一分割网络和训练好的第二分割网络；最终图像分割图包括目标医学超声图像中的组织的最终类型信息和最终位置信息；其中，训练好的第一分割网络用于对目标医学超声图像进行语义分割，得到初始图像分割图；初始图像分割图包括目标医学超声图像中的组织的初始类型信息和初始位置信息；训练好的第二分割网络用于在多个提取尺度上对初始图像分割图和目标医学超声图像进行特征提取，得到多个尺度特征，并将所有尺度特征进行融合，得到融合特征，根据融合特征得到最终图像分割图。本发明通过两层分割网络得到最终图像分割图，使得得到的组织的分割结果更加准确，相比于现有技术考虑了类别上下文信息(将初始图像分割图作为类别先验输入第二分割网络中，进一步进行分割处理，得到最终图像分割图)，分割效果更好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的采用Unet对甲状腺超声图像进行分割的示意图；
图2为本发明实施例提供的图像分割方法的流程示意图；
图3为本发明实施例提供的图像语义分割模型结构示意图；
图4为本发明实施例提供的DCBF模块结构示意图；
图5为本发明实施例提供的配对卷积提取局部特征过程示意图；
图6为本发明实施例提供的采用本发明训练好的图像语义分割模型和现有分割模型的分割效果对比示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种图像分割方法及***，通过两层分割网络得到最终图像分割图，使得得到的组织的分割结果更加准确，相比于现有技术考虑了类别上下文信息(将初始图像分割图作为类别先验标签输入第二分割网络中，进一步进行分割处理，得到最终图像分割图)，提高了医学超声图像中组织的分割效果。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图2所示，本发明提供了一种图像分割方法，方法包括：
S1：获取目标医学超声图像。
S2：将所述目标医学超声图像输入至训练好的图像语义分割模型SCCNet中，得到最终图像分割图；所述训练好的图像语义分割模型包括训练好的第一分割网络和训练好的第二分割网络；所述最终图像分割图包括所述目标医学超声图像中的组织的最终类型信息和最终位置信息。若目标医学超声图像为甲状腺超声图像，则组织包括甲状腺、甲状腺结节以及甲状腺中的血管。若目标医学超声图像为肾脏超声图像，则组织包括肾脏以及肾脏中的血管。
如图3所示，本实施例将目标医学超声图像的分割分为了两个阶段，第一阶段为训练好的第一分割网络，第二阶段为训练好的第二分割网络。
其中，所述训练好的第一分割网络用于对所述目标医学超声图像进行语义分割，得到初始图像分割图；所述初始图像分割图包括所述目标医学超声图像中的组织的初始类型信息和初始位置信息。
所述训练好的第二分割网络用于在多个提取尺度上对所述初始图像分割图和所述目标医学超声图像进行特征提取，得到多个尺度特征，并将所有所述尺度特征进行融合，得到融合特征，根据所述融合特征得到最终图像分割图。
在所述将所述目标医学超声图像输入至训练好的图像语义分割模型中之前，还包括：对图像语义分割模型进行训练，训练过程如下：
获取样本集；所述样本集包括若干个样本医学超声图像以及每一样本医学超声图像对应的样本最终图像分割图。
固定第二分割网络的第二模型参数，以所述样本医学超声图像为输入，以所述样本医学超声图像对应的样本最终图像分割图为标签，对图像语义分割模型进行训练，得到训练好的第一分割网络。
采用所述样本集对所述训练好的第一分割网络和所述第二分割网络进行训练，得到训练好的第二分割网络；所述训练好的第一分割网络和所述训练好的第二分割网络构成所述训练好的图像语义分割模型。
第一分割网络中的DBPB模块为现有专利CN115456985A中的DBPB模块，第一分割网络中的总损失函数LossTotal1为：
其中，i表示第一阶段中的DBPB模块替换第i个卷积块(卷积块为第一分割网络的编码模块和解码模块中任意一卷积块)，l表示第一分割网络的编码模块和解码模块中卷积块的总数量，Dice损失Lossseg用于使预测分割图(第二阶段为Spr2)与真实分割图Sgt更加逼近，其中ε＝0.0001，以确保下式中的分母不是0。
通过损失函数确定DBPB模块替换Unet模型中的哪些卷积块，本实施例通过上述损失函数确定DBPB模块的位置，即将DBPB模块替换如图2所示的Unet模型编码模块的前两个卷积块。
需要说明的是，第一分割网络可以为Unet模型或者现有的任一改进Unet模型。
然后，将此时第一分割网络中的模型参数固定不变，开始训练第二阶段网络(即第二分割网络)。初始样本图像分割图和加权的输入图像(加权的输入图像为样本医学超声图像与/>相乘后的图像)被用作二阶段网络(即第二分割网络)的输入，其中/>作为类别先验输入第二阶段的类别上下文模块DCPF，并利用损失函数LossTotal2得到第二阶段的最终分割结果Spr2(即最终样本图像分割图)，其中，LossTotal2＝lossseg。由此可得到训练好的第二分割网络。
如图3所示，所述训练好的第二分割网络包括HLCS(High-level class semanticmap，高级类别语义图)特征提取模块、相乘模块、编码模块、DCPF(Dynamic classpyramidfilter，动态类别金字塔滤波)模块和解码模块；
其中，所述HLCS特征提取模块用于对所述初始图像分割图进行特征提取，得到深度卷积特征。
所述相乘模块用于对所述目标医学超声图像和所述初始图像分割图进行相乘操作，得到乘积特征图。
所述编码模块用于对所述乘积特征图进行编码，得到编码特征。
所述DCPF模块用于在多个所述提取尺度上对所述编码特征和所述深度卷积特征进行特征提取，得到多个尺度特征，并将所有所述尺度特征进行融合，得到融合后的尺度特征，并利用一第一卷积层对所述融合后的尺度特征进行特征提取，得到融合特征。
所述解码模块用于对所述融合特征进行解码，得到最终图像分割图。
所述HLCS特征提取模块包括依次连接的若干个深度卷积子模块和一个深度卷积单元；所述深度卷积子模块包括依次连接的深度卷积单元和第一最大池化层；所述深度卷积单元包括若干个依次连接的深度卷积层。如图3所示，在本实施例中，HLCS特征提取模块由3个深度卷积子模块和一个深度卷积单元构成，深度卷积单元包括两个依次连接的Depth-wise卷积层(深度卷积层)。
首先通过一阶段Unet(即训练好的第一分割网络)得到一阶段分割图(即初始图像分割图)，并经过Depwise卷积得到大小为N×32×32的HLCS特征(HLCS特征即深度卷积特征)。
所述编码模块包括依次连接的若干个编码子模块和一个编码卷积单元；所述编码子模块包括依次连接的编码卷积单元和第二最大池化层；所述编码卷积单元包括编码卷积子单元和编码融合子单元，所述编码卷积子单元包括若干个依次连接的第二卷积层，所述编码融合子单元用于对所述编码卷积子单元的输入和所述编码卷积子单元的输出进行相加操作。
解码模块包括依次连接的若干个解码子模块和一个解码卷积单元；解码子模块包括依次连接的解码卷积单元和第三最大池化层；解码卷积单元包括解码卷积子单元和解码融合子单元，所述解码卷积子单元包括若干个依次连接的第三卷积层，所述解码融合子单元用于对所述解码卷积子单元的输入和所述解码卷积子单元的输出进行相加操作。
如图3所示，在本实施例中，编码模块和解码模块可构成Unet模型。编码模块包括三个编码子模块，编码卷积子单元包括两个依次连接的第二卷积层。解码模块包括三个解码子模块，解码卷积子单元包括两个依次连接的第二卷积层。
如图4所示，所述DCPF模块包括若干个尺度特征提取子模块和融合子模块。
所述尺度特征提取子模块包括特征提取单元、类别上下文卷积单元和ASPP卷积单元；每一所述尺度特征提取子模块对应一提取尺度；
其中，所述特征提取单元用于在所述尺度特征提取子模块对应的提取尺度上对所述编码特征进行特征提取，得到全局融合特征。
所述类别上下文卷积单元用于对所述深度卷积特征和所述全局融合特征进行融合，得到类别动态卷积核。
所述ASPP卷积单元用于通过所述类别动态卷积核对所述编码特征进行特征提取，得到尺度特征。
所述融合子模块用于将所有所述尺度特征提取子模块得到的尺度特征进行融合，得到融合后的尺度特征，并利用所述第一卷积层对所述融合后的尺度特征进行特征提取，得到融合特征。
其中，所述特征提取单元包括全局特征提取子单元、配对卷积子单元和全局局部融合子单元。
其中，所述全局特征提取子单元用于通过多个全局卷积层对所述编码特征进行特征提取，得到多个全局子特征，并对所有所述全局子特征进行融合，得到全局特征；一所述全局卷积层对应一所述全局子特征。
所述配对卷积子单元用于在所述尺度特征提取子模块对应的提取尺度上对所述编码特征进行特征提取，得到局部特征。
所述全局局部融合子单元用于将所述全局特征和所述局部特征进行融合，得到全局融合特征。
如图4(a)所示，提取图像的长距离和局部特征，从而得到基于特征信息信息的卷积核(全局融合特征)。对编码特征利用两个1x1卷积后相乘得到各像素的相关关系图L(相关关系图L即全局特征)，相关关系图L中含有远距离特征。此外，对/>利用配对卷积进行局部信息的提取，得到局部特征/>将/>与L相乘得到提取尺度为k×k对应的含有远距离特征及局部信息的特征/>(即全局融合特征)。
具体地如图5所示，本实施例提出了基于类别空间相关性先验的动态多尺度滤波方法DCPF，其在构建动态卷积核之时采用了配对卷积用来提取DCPF的局部上下文信息。令DCPF的输入特征为维度h×w×c为32×32×512，如图5中的灰色矩形所示。这里配对卷积使用大小为15×15×512的上下文信息感知窗作为滑动窗口(当k＝15时)，以获得对应于位置(i，j)像素的粗略上下文信息提取范围，这一位置如图5中的黑点所示，例如像素A。在每个上下文信息感知窗中，m和n代表上下文感知窗中的像素坐标。本实施例采用一个3×3局部卷积来学习中间像素(像素A)的局部语义信息，而在位置(i-m，j-n)同样用一个3×3局部卷积来提取局部语义信息，例如像素B、C、D和E作为中间像素A周围的局部语义信息。位置(i，j)和(i-m，j-n)的3×3局部卷积结果之间的差值被用来衡量像素A与其它周围像素的空间相关性，可以表示为下式
其中，表示中间像素位置(i,j)与其周围像素位置(i-m,j-n)之间的卷积输出差异；*表示局部卷积算子；/>表示高斯函数；Θi,j和Θi-m,j-n是两个卷积核；Fi,j和Fi -m,j-n分别是位置(I,j)和(i-m,j-n)的局部特征。需要说明的是，滑动窗口的大小为15×15，在中间像素的滑动窗口不在编码特征/>内时，将滑动窗口超出编码特征/>的部分的周围像素取0，例如图5所示的像素A若为编码特征/>的左上角的第一个像素，则像素A的滑动窗口中的像素B则不是编码特征/>中的像素，则将此类情况的周围像素得到的差异值取0。因此每一个中间像素可得到15×15个卷积输出差异，即得到中间像素A大小为15×15的形状掩码。
首先，采用上下文信息感知窗作为滑动窗口，以获得对应于粗略上下文信息提取范围。在上下文信息感知窗内，使用两个配对3×3卷积来获得中心像素与周像素局部卷积的差值。例如，像素A的3×3卷积与像素B的3×3卷积作差，其可以表示成根据这一计算公式，可以得到像素A周围的局部卷积信息：例如像素B、C、D和E。然后就得到了像素A的形状掩码(Shape mask1)。接下来，上下文信息感知窗作为滑动窗口遍历整个图像(编码特征/>)，即将编码特征/>中每一像素均为中间像素，在每个中间像素对应的滑动窗口内按之前的配对卷积计算方式计算每一个中心像素的上下文信息图即形状掩码(Shape mask1)。最后医学超声图像中的所有像素都得到了其对应的形状掩码，从而得到维数为hw×15×15的局部上下文信息特征(k＝15)。其中，h、w分别为编码特征/>的长和宽，表示编码特征/>具有h×w个像素。
为了避免中间像素与其周围像素的局部卷积的差为负数，本实施例通过一个高斯函数将结果映射为正值，其公式如下：
其中，表示高斯函数处理后的差异值，σ是高斯函数的一个参数，在配对卷积操作中设置为3，a是某一个差异值/>
在本实施例中，默认的值很小时会产生较大的语义相关值。这是因为属于同一物体的两个像素的它的值和它的上下文信息被认为表现出强烈的相关性，因为它们经常在训练图像中共存。基于这种差值计算方式，得到了上下文结果/>hw×k×k，其中形状掩码(Shape mask)大小为k×k(k＝15)。像素的总数为hw，每个像素对应一个特定的形状掩码，代表该像素与其周围像素的上下文信息，所有像素的上下文信息构成局部特征。
如图4(b)所示，引入第一阶段的分割图作为类别先验信息，上述类别上下文卷积单元中，对所述深度卷积特征和所述全局融合特征进行融合，得到类别动态卷积核具体包括：
对所述深度卷积特征和所述全局融合特征进行相乘操作，得到乘积特征。
利用一第三卷积层对所述编码特征进行特征提取，得到编码卷积特征。
对所述深度卷积特征和所述编码卷积特征进行相乘操作，得到通道类别特征。
对所述乘积特征和所述通道类别特征进行相乘操作，得到类别卷积特征。
将所述类别卷积特征与提取尺度对应的固定卷积核相乘，得到类别卷积核。
利用自适应池化层对所述类别卷积核进行维数调整，得到固定大小的类别动态卷积核。
具体地：将第一阶段Unet预测的类别标签图(深度卷积特征)作为类别先验并将其与全局融合特征/>相乘得到乘积特征/>即将类别先验信息对/>进行加权增加。然后将类别先验/>与编码特征/>相乘，得到通道类别信息h1(即通道类别特征)。最后将与h1相乘，得到最后的类别卷积特征C。将这一类别卷积特征作为权重，对固定卷积核S进行加权，得到含有类别信息的动态卷积核(类别卷积核)，这个卷积核的维数通过自适应池化层(Adaptive pooling)调整成固定大小的动态卷积核Class Context。本实施例中固定维数大小可为3x3x512。
需要说明的是，在本实施例中，还可采用类别标签对context模块中的任意信息进行加权，最终得到动态卷积核Class Context。
所述通过所述类别动态卷积核对所述编码特征进行特征提取，得到尺度特征，具体包括：
利用多个不同大小的空洞率分别对所述类别动态卷积核进行空洞处理，得到每一所述空洞率对应的ASPP卷积层，并分别利用每一所述ASPP卷积层对所述编码特征进行特征提取，得到多个局部尺度特征，将所述编码特征以及所有所述局部尺度特征进行融合，得到ASPP卷积特征，并利用一第四卷积层对所述ASPP卷积特征进行特征提取，得到尺度特征。
如图4(c)所示，通过含类别的可变卷积核来得到丰富的多尺度特征，通过ASPP卷积单元得到对应提取尺度的尺度特征DCPF(k)，即通过三种不同大小的空洞率对类别动态卷积核进行空洞处理，得到三个ASPP卷积层，分别利用ASPP卷积提取编码特征的局部特征，并将提取到的所有局部特征与编码特征/>融合，并通过一1×1conv卷积得到尺度特征DCPF(k)。k是图4(a)中配对卷积/>中用来调节局部信息尺度的参数。不同参数下提取的局部信息不同，即一参数对应一提取尺度。配对卷积的参数可以控制局部信息的提取尺度，改变k可以得到不同的局部多尺度信息。将多尺度信息合并可以进一步提升上下文信息的提取能力。
如图4(d)所示，调整k的大小，得到多个提取尺度对应的尺度特征，对所有尺度特征进行融合，并通过一1×1conv卷积得到融合特征DCPF(k＝k1，k2，k3)。融合特征含有ASPP卷积单元提取的全局多尺度信息和局部多尺度信息。
本实施例以甲状腺超声图的分割结果为例，采用本发明中的模型和现有模型对同一甲状腺超声图进行分割处理。图6(a)为甲状腺超声图，可以看出原甲状腺超声图中的边界难以辨认甲状腺组织结构。图6(b)是真实标签图。图6(c)为现有UNet模型的预测结果，图6(d)为现有BPBnet模型的预测结果，图6(e)为现有CE-Net模型的预测结果，图6(f)为现有DSNnet模型的预测结果，图6(g)为现有RAGCnet模型的预测结果，图6(h)为现有TransUNet模型的预测结果，图6(i)为本发明中含有DCPF上下文模块的二级级联Unet模型(训练好的图像语义分割模型)的预测结果。可以明显看出一些相似组织出现在严重的误分类，例如CE-Net和DSNnet模型的结果。而本发明训练好的图像语义分割模型的误分类问题得到有效的改善，说明在上下文结构中引入类别先验信息的方案是有效的，本发明提高了医学超声图像中组织的分割效果。
本发明利用类别标签图来作为类别先验信息，在上下文信息模块中引入类别先验大幅度提升超声分割中识别相似组织的能力。构造含类别信息并随输入图像变化的动态卷积核。并且本发明在类别上下文模块中考虑了局部多尺度和全局多尺度信息。本发明提供的图像分割方法，对于相似组织组织多，对比度差的超声图像组织分割的效果超过现其它现有引入上下文模块的模型的分割效果。
本发明还提供了一种图像分割***，所述***包括：
图像获取模块，用于获取目标医学超声图像。
图像分割模块，用于将所述目标医学超声图像输入至训练好的图像语义分割模型中，得到最终图像分割图；所述训练好的图像语义分割模型包括训练好的第一分割网络和训练好的第二分割网络；所述最终图像分割图包括所述目标医学超声图像中的组织的最终类型信息和最终位置信息；其中，所述训练好的第一分割网络用于对所述目标医学超声图像进行语义分割，得到初始图像分割图；所述初始图像分割图包括所述目标医学超声图像中的组织的初始类型信息和初始位置信息；所述训练好的第二分割网络用于在多个提取尺度上对所述初始图像分割图和所述目标医学超声图像进行特征提取，得到多个尺度特征，并将所有所述尺度特征进行融合，得到融合特征，根据所述融合特征得到最终图像分割图。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像分割方法，其特征在于，所述方法包括：
获取目标医学超声图像；
将所述目标医学超声图像输入至训练好的图像语义分割模型中，得到最终图像分割图；所述训练好的图像语义分割模型包括训练好的第一分割网络和训练好的第二分割网络；所述最终图像分割图包括所述目标医学超声图像中的组织的最终类型信息和最终位置信息；
其中，所述训练好的第一分割网络用于对所述目标医学超声图像进行语义分割，得到初始图像分割图；所述初始图像分割图包括所述目标医学超声图像中的组织的初始类型信息和初始位置信息；
所述训练好的第二分割网络用于在多个提取尺度上对所述初始图像分割图和所述目标医学超声图像进行特征提取，得到多个尺度特征，并将所有所述尺度特征进行融合，得到融合特征，根据所述融合特征得到最终图像分割图。
2.根据权利要求1所述的图像分割方法，其特征在于，所述训练好的第二分割网络包括HLCS特征提取模块、相乘模块、编码模块、DCPF模块和解码模块；
其中，所述HLCS特征提取模块用于对所述初始图像分割图进行特征提取，得到深度卷积特征；
所述相乘模块用于对所述目标医学超声图像和所述初始图像分割图进行相乘操作，得到乘积特征图；
所述编码模块用于对所述乘积特征图进行编码，得到编码特征；
所述DCPF模块用于在多个所述提取尺度上对所述编码特征和所述深度卷积特征进行特征提取，得到多个尺度特征，并将所有所述尺度特征进行融合，得到融合后的尺度特征，并利用一第一卷积层对所述融合后的尺度特征进行特征提取，得到融合特征；
所述解码模块用于对所述融合特征进行解码，得到最终图像分割图。
3.根据权利要求2所述的图像分割方法，其特征在于，所述HLCS特征提取模块包括依次连接的若干个深度卷积子模块和一个深度卷积单元；所述深度卷积子模块包括依次连接的深度卷积单元和第一最大池化层；所述深度卷积单元包括若干个依次连接的深度卷积层。
4.根据权利要求2所述的图像分割方法，其特征在于，所述编码模块包括依次连接的若干个编码子模块和一个编码卷积单元；所述编码子模块包括依次连接的编码卷积单元和第二最大池化层；所述编码卷积单元包括编码卷积子单元和编码融合子单元，所述编码卷积子单元包括若干个依次连接的第二卷积层，所述编码融合子单元用于对所述编码卷积子单元的输入和所述编码卷积子单元的输出进行相加操作。
5.根据权利要求2所述的图像分割方法，其特征在于，所述DCPF模块包括若干个尺度特征提取子模块和融合子模块；
所述尺度特征提取子模块包括特征提取单元、类别上下文卷积单元和ASPP卷积单元；每一所述尺度特征提取子模块对应一提取尺度；
其中，所述特征提取单元用于在所述尺度特征提取子模块对应的提取尺度上对所述编码特征进行特征提取，得到全局融合特征；
所述类别上下文卷积单元用于对所述深度卷积特征和所述全局融合特征进行融合，得到类别动态卷积核；
所述ASPP卷积单元用于通过所述类别动态卷积核对所述编码特征进行特征提取，得到尺度特征；
所述融合子模块用于将所有所述尺度特征提取子模块得到的尺度特征进行融合，得到融合后的尺度特征，并利用所述第一卷积层对所述融合后的尺度特征进行特征提取，得到融合特征。
6.根据权利要求5所述的图像分割方法，其特征在于，所述特征提取单元包括全局特征提取子单元、配对卷积子单元和全局局部融合子单元；
其中，所述全局特征提取子单元用于通过多个全局卷积层对所述编码特征进行特征提取，得到多个全局子特征，并对所有所述全局子特征进行融合，得到全局特征；一所述全局卷积层对应一所述全局子特征；
所述配对卷积子单元用于在所述尺度特征提取子模块对应的提取尺度上对所述编码特征进行特征提取，得到局部特征；
所述全局局部融合子单元用于将所述全局特征和所述局部特征进行融合，得到全局融合特征。
7.根据权利要求5所述的图像分割方法，其特征在于，所述对所述深度卷积特征和所述全局融合特征进行融合，得到类别动态卷积核具体包括：
对所述深度卷积特征和所述全局融合特征进行相乘操作，得到乘积特征；
利用一第三卷积层对所述编码特征进行特征提取，得到编码卷积特征；
对所述深度卷积特征和所述编码卷积特征进行相乘操作，得到通道类别特征；
对所述乘积特征和所述通道类别特征进行相乘操作，得到类别卷积特征；
将所述类别卷积特征与提取尺度对应的固定卷积核相乘，得到类别卷积核；
利用自适应池化层对所述类别卷积核进行维数调整，得到固定大小的类别动态卷积核。
8.根据权利要求5所述的图像分割方法，其特征在于，所述通过所述类别动态卷积核对所述编码特征进行特征提取，得到尺度特征，具体包括：
利用多个不同大小的空洞率分别对所述类别动态卷积核进行空洞处理，得到每一所述空洞率对应的ASPP卷积层，并分别利用每一所述ASPP卷积层对所述编码特征进行特征提取，得到多个局部尺度特征，将所述编码特征以及所有所述局部尺度特征进行融合，得到ASPP卷积特征，并利用一第四卷积层对所述ASPP卷积特征进行特征提取，得到尺度特征。
9.根据权利要求1所述的图像分割方法，其特征在于，在所述将所述目标医学超声图像输入至训练好的图像语义分割模型中之前，还包括：对图像语义分割模型进行训练，训练过程如下：
获取样本集；所述样本集包括若干个样本医学超声图像以及每一样本医学超声图像对应的样本最终图像分割图；
固定第二分割网络的第二模型参数，以所述样本医学超声图像为输入，以所述样本医学超声图像对应的样本最终图像分割图为标签，对图像语义分割模型进行训练，得到训练好的第一分割网络；
采用所述样本集对所述训练好的第一分割网络和所述第二分割网络进行训练，得到训练好的第二分割网络；所述训练好的第一分割网络和所述训练好的第二分割网络构成所述训练好的图像语义分割模型。
10.一种图像分割***，其特征在于，所述***包括：
图像获取模块，用于获取目标医学超声图像；
图像分割模块，用于将所述目标医学超声图像输入至训练好的图像语义分割模型中，得到最终图像分割图；所述训练好的图像语义分割模型包括训练好的第一分割网络和训练好的第二分割网络；所述最终图像分割图包括所述目标医学超声图像中的组织的最终类型信息和最终位置信息；其中，所述训练好的第一分割网络用于对所述目标医学超声图像进行语义分割，得到初始图像分割图；所述初始图像分割图包括所述目标医学超声图像中的组织的初始类型信息和初始位置信息；所述训练好的第二分割网络用于在多个提取尺度上对所述初始图像分割图和所述目标医学超声图像进行特征提取，得到多个尺度特征，并将所有所述尺度特征进行融合，得到融合特征，根据所述融合特征得到最终图像分割图。
CN202311426036.1A 2023-10-31 2023-10-31 一种图像分割方法及*** Pending CN117292135A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311426036.1A CN117292135A (zh) 2023-10-31 2023-10-31 一种图像分割方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311426036.1A CN117292135A (zh) 2023-10-31 2023-10-31 一种图像分割方法及***

Publications (1)

Publication Number Publication Date
CN117292135A true CN117292135A (zh) 2023-12-26

Family

ID=89258698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311426036.1A Pending CN117292135A (zh) 2023-10-31 2023-10-31 一种图像分割方法及***

Country Status (1)

Country Link
CN (1) CN117292135A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649666A (zh) * 2024-01-30 2024-03-05 中国海洋大学 一种基于动态多尺度信息查询的图像语义分割方法及***
CN117934855A (zh) * 2024-03-22 2024-04-26 北京壹点灵动科技有限公司 医学图像分割方法和装置、存储介质及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649666A (zh) * 2024-01-30 2024-03-05 中国海洋大学 一种基于动态多尺度信息查询的图像语义分割方法及***
CN117649666B (zh) * 2024-01-30 2024-04-26 中国海洋大学 一种基于动态多尺度信息查询的图像语义分割方法及***
CN117934855A (zh) * 2024-03-22 2024-04-26 北京壹点灵动科技有限公司 医学图像分割方法和装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN112001928B (zh) 一种视网膜血管分割方法及***
CN112258488A (zh) 一种医疗影像病灶分割方法
CN110675419A (zh) 一种自适应注意门的多模态脑胶质瘤影像分割方法
CN112991365B (zh) 一种冠状动脉分割方法、***及存储介质
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN113569724B (zh) 基于注意力机制和扩张卷积的道路提取方法及***
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与***
CN117292135A (zh) 一种图像分割方法及***
CN114742799B (zh) 基于自监督异构网络的工业场景未知类型缺陷分割方法
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN109977963B (zh) 图像处理方法、设备、装置以及计算机可读介质
CN110853049A (zh) 一种腹部超声图像分割方法
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN110807384A (zh) 低能见度下的小目标检测方法和***
CN112085717B (zh) 一种用于腹腔镜手术的视频预测方法及其***
CN114972378A (zh) 一种基于掩码注意力机制的脑肿瘤mri图像分割方法
CN110599455A (zh) 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质
CN114283165A (zh) 肺结节的智能影像处理***
CN115035172A (zh) 基于置信度分级及级间融合增强的深度估计方法及***
CN117392153B (zh) 一种基于局部补偿和多尺度自适应变形的胰腺分割方法
CN113313728A (zh) 一种颅内动脉分割方法及***
CN117351487A (zh) 一种邻近区域与边缘信息融合的医学图像分割方法、***
CN114708423A (zh) 基于改进Faster RCNN的水下目标检测方法
CN112164078A (zh) 基于编码器-解码器的rgb-d多尺度语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination