CN115375698A - 医学图像分割方法、装置、电子设备及存储介质 - Google Patents

医学图像分割方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115375698A
CN115375698A CN202211008386.1A CN202211008386A CN115375698A CN 115375698 A CN115375698 A CN 115375698A CN 202211008386 A CN202211008386 A CN 202211008386A CN 115375698 A CN115375698 A CN 115375698A
Authority
CN
China
Prior art keywords
medical image
segmented
image segmentation
segmentation
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211008386.1A
Other languages
English (en)
Inventor
陈亚雄
李小玉
邓秋瑜
路雄博
熊盛武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Research Institute Of Wuhan University Of Technology
Original Assignee
Chongqing Research Institute Of Wuhan University Of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Research Institute Of Wuhan University Of Technology filed Critical Chongqing Research Institute Of Wuhan University Of Technology
Priority to CN202211008386.1A priority Critical patent/CN115375698A/zh
Publication of CN115375698A publication Critical patent/CN115375698A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种医学图像分割方法、装置、电子设备及存储介质，其方法包括：获取待分割医学图像；获取训练完备的基于改进Transformer的医学图像分割模型，其中，基于改进Transformer的医学图像分割模型的网络结构包括全局网络和局部网络，全局网络和局部网络中均包括卷积块、编码器块及解码器块；利用卷积块对待分割医学图像进行特征提取，得到待分割医学图像的特征图；编码器块中包括门控轴向Transformer层，利用门控轴向Transformer层从特征图中学习待分割医学图像的位置编码，得到待分割医学图像的注意图；利用解码器块对注意图进行上采样操作，输出医学分割图像。本发明利用门控轴向Transformer层来解决在小数据集上难以学习图像位置编码的问题，提高了图像预测的精度。

Description

医学图像分割方法、装置、电子设备及存储介质
技术领域
本发明涉及医学图像分割技术领域，尤其涉及一种医学图像分割方法、装置、电子设备及存储介质。
背景技术
医学图像分割是计算机视觉在医学图像处理中的重要应用之一，也是计算机辅助诊断、监测、干预和治疗的重要组成部分。其目的是从医学图像中分割出目标区域，在疾病诊断、图像引导手术以及医学数据可视化中起着重要的作用，为后续疾病的诊断和治疗提供有效的帮助。
医学图像相较于一般的图像具有对比度低，组织特征变化大，不同软组织之间界限模糊，或者软组织与病变、微血管或神经结构之间形态分布复杂等特点，再加上人体解剖结构和形态的复杂，且人与人之间的差别也相当大，这些都使得医学图像分割成为一个经典难题。截至目前，医学图像分割也没有得到很好的解决。还未有较为通用的图像分割方法，也没有一个客观的标准来正确评价分割的成功与否。因此，图像分割方法在医学应用领域中的应用的研究变得很有必要。
分割技术从传统的卷积神经网络到全卷积网络进行进步，并且以这两种模型为基础进行改进的分割方法都表现出很好地性能，但是现有的基于深度学习的医学图像分割方法只适用于大数据集，在小数据集上难以学习图像的位置编码，分割精度较低。
发明内容
有鉴于此，有必要提供一种医学图像分割方法、装置、电子设备及存储介质，用以解决在小数据集上难以学习图像位置编码的问题。
为了解决上述问题，第一方面，本发明提供一种医学图像分割方法，包括：
获取待分割医学图像；
获取训练完备的基于改进Transformer的医学图像分割模型，其中，所述基于改进Transformer的医学图像分割模型的网络结构包括全局网络和局部网络，所述全局网络和局部网络中均包括卷积块、编码器块及解码器块；
利用所述卷积块对待分割的医学图像进行特征提取，得到待分割医学图像的特征图；
所述编码器块中包括门控轴向Transformer层，利用所述门控轴向Transformer层从所述特征图中学习待分割医学图像的位置编码，得到待分割医学图像的注意图；
利用所述解码器块对所述注意图进行上采样操作，输出医学分割图像。
进一步的，所述全局网络和局部网络中的每一编码器和解码器块之间分别通过跳跃连接进行连接；
利用所述全局网络学习待分割图像的全局信息；
将所述待分割医学图像划分为图像块，利用所述局部网络从所述图像块中学习待分割图像的局部信息。
进一步的，所述编码器块中包括门控轴向Transformer层，包括：
所述编码器块包括卷积层和两层多头注意层，每一多头注意层由多个门控轴向注意层组成；其中，第一层多头注意层沿待分割医学图像高度轴操作，第二层多头注意层沿待分割医学图像宽度轴操作；
利用所述门控轴向Transformer层从所述特征图中学习待分割医学图像的位置编码，包括：
利用所述门控轴向Transformer层中的门控注意力机制调整不同位置编码的权重，以确定待分割医学图像的位置编码。
进一步的，所述基于改进的Transformer医学图像分割模型，训练步骤包括：
构建数据集，其中，所述数据集为样本医学图像与样本医学图像标签，将数据集划分为训练集和测试集；
构建基于改进的Transformer医学图像分割初始模型，将所述训练集输入到基于改进的Transformer医学图像分割初始模型中进行训练；
确定模型的整体损失函数，利用所述模型的整体损失函数调节所述基于改进的Transformer医学图像分割初始模型的参数，得到训练完备的基于改进的Transformer医学图像分割模型。
进一步的，在对基于改进的Transformer医学图像分割初始模型进行训练的过程中，所述样本医学图像为正方形图片，所述样本医学图像标签为二进制图片；
设定的训练参数包括学习率、训练次数及批大小；
利用Adam函数对损失进行优化。
进一步的，所述确定模型的整体损失函数，包括：利用二元交叉熵损失、负对数似然函数和平滑交叉熵损失的融合作为模型的整体损失函数；
其中，二元交叉熵损失为：
Figure BDA0003809890400000031
Figure BDA0003809890400000032
其中，m为样本数量，yi为真实值，yi为预测值；
负对数似然函数为：
Figure BDA0003809890400000033
其中，θ为预测为真实值的概率，xi表示给定的样本，yi表示给定样本的真实值；
平滑交叉熵损失为：
Figure BDA0003809890400000041
Figure BDA0003809890400000042
其中，pi为预测值，qi为平滑后的标签值，K为样本维度，ε为一常数。
进一步的，上述方法还包括：
将测试数据集中的样本医学图像输入已训练完备的图像分割模型中，输出分割结果；
利用预设的评价指标对所述分割结果进行评价，以获取图像分割模型的分割性能。
第二方面，本发明还提供一种医学图像分割装置，包括：
图像获取模块，用于获取待分割医学图像；
模型获取模块，用于获取训练完备的基于改进Transformer的医学图像分割模型，其中，所述基于改进Transformer的医学图像分割模型的网络结构包括全局网络和局部网络，所述全局网络和局部网络中均包括卷积块、编码器块及解码器块；
特征提取模块，用于利用所述卷积块对待分割的医学图像进行特征提取，得到待分割医学图像的特征图；
位置编码学习模块，用于所述编码器块中包括门控轴向Transformer层，利用所述门控轴向Transformer层从所述特征图中学习待分割医学图像的位置编码，得到待分割医学图像的注意图；
上采样模块，用于利用所述解码器块对所述注意图进行上采样操作，输出医学分割图像。
第三方面，本发明还提供一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述医学图像分割方法中的步骤。
第四方面，本发明还提供一种计算机存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述医学图像分割方法中的步骤。
采用上述实施例的有益效果是：
本发明中的基于改进Transformer的医学图像分割模型的网络结构包括全局网络和局部网络，利用全局网络和局部网络可以充分学习待分割医学图像的全局信息和局部信息，为模型的精准预测提供保障；并且在编码器块中加入门控轴向注意力机制的改进的Transformer层，以此来解决在小数据集上难以学习图像位置编码的问题，进一步扩大了模型的应用范围。
此外，本发明还进一步融合多个损失函数作为模型的整体损失函数，提高了模型对医学图像分割的精度。
附图说明
图1为本发明提供的一种医学图像分割方法一实施例的方法流程图；
图2为本发明一实施例提供的一种基于改进Transformer的医学图像分割模型的网络结构图；
图3为本发明一实施例提供的一种编码器块中使用的门控轴向Transformer层的结构示意图；
图4为本发明一实施例提供的一种门控轴向注意力机制的结构示意图；
图5为本发明一实施例提供的基于改进的Transformer医学图像分割模型训练过程的方法流程图；
图6为本发明一实施例提供的一种在GlaS(显微)数据集上的部分可视化分割结果效果图；
图7为本发明提供的一种医学图像分割装置一实施例的结构示意图；
图8为本发明提供的一种电子设备一实施例的结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。此外，“多个”的含义是两个或两个以上，除非另有明确具体的限定。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明提供了一种医学图像分割方法、装置、电子设备及存储介质，利用门控轴向注意力机制的门控机制，控制图像位置编码的学习。
以下分别对具体实施例进行详细说明：
请参阅图1，图1为本发明提供的医学图像分割方法的一实施例的流程示意图，本发明的一个具体实施例，公开了一种医学图像分割方法，包括：
步骤S101：获取待分割医学图像；
步骤S102：获取训练完备的基于改进Transformer的医学图像分割模型，其中，基于改进Transformer的医学图像分割模型的网络结构包括全局网络和局部网络，全局网络和局部网络中均包括卷积块、编码器块及解码器块；
步骤S103：利用卷积块对待分割的医学图像进行特征提取，得到待分割医学图像的特征图；
步骤S104：编码器块中包括门控轴向Transformer层，利用门控轴向Transformer层从特征图中学习待分割医学图像的位置编码，得到待分割医学图像的注意图；
步骤S105：利用解码器块对注意图进行上采样操作，输出医学分割图像。
其中，待分割医学图像包括MoNuSeg显微图像、腺体分割GlaS显微图像和肺剖分割X光图像，通过将待分割的医学图像输入预先训练完备的基于改进Transformer的图像分割模型中，可以输出图像分割结果，即从待分割医学图像中分割出目标区域，以提高医学图像诊断水平。
具体的，请参阅图2，图2为本发明一实施例提供的一种基于改进Transformer的医学图像分割模型的网络结构图。其中，该模型使用了门控轴向注意层作为基本的构建块，可以理解的是，该网络结构包括了两个分支，即全局网络和局部网络；两个分支均有卷积块、编码器块和解码器块组成，其中，在全局网络中，有2个编码器块和2个解码器块，在局部网络中，有5个编码器块和5个解码器块。
其中，卷积块中有3个卷积层，每个卷积层后面都有批归一化层和ReLU激活层，可以利用卷积块对待分割的医学图像进行特征提取，以得到待分割医学图像的特征图。编码块中包括编码器块中包括门控轴向Transformer层，利用门控轴向Transformer层可以从特征图中学习待分割医学图像的位置编码，以得到待分割医学图像的注意图。在每个解码器块中，包括一个卷积层、一个上采样层和一个ReLU激活层，可以对注意图进行上采样操作。网络的最后为卷积层，用于对从全局网络和局部网络的叠加输出进行卷积操作，最后输出分割结果。
本发明中的基于改进Transformer的医学图像分割模型的网络结构包括全局网络和局部网络，利用全局网络和局部网络可以充分学习待分割医学图像的全局信息和局部信息，为模型的精准预测提供保障；并且在编码器块中加入门控轴向注意力机制的改进的Transformer层，以此来解决在小数据集上难以学习图像位置编码的问题，进一步扩大了模型的应用范围。
在本发明的一个实施例中，全局网络和局部网络中的每一编码器和解码器块之间分别通过跳跃连接进行连接；
利用全局网络学习待分割图像的全局信息；
将待分割医学图像划分为图像块，利用局部网络从图像块中学习待分割图像的局部信息。
其中，全局网络中输入的是待分割的医学图像，全局网络中包括2个编码器块和2个解码器块，每一编码器和解码器之间分别通过跳跃连接进行连接，因此可以利用全局网络学习待分割图像的全局信息。而局部网络中输入的是利用待分割医学图像进行切片的图像块，局部网络中包括了5个编码器块和5个解码器块，因此可以通过局部网络学习待分割图像的局部细节信息。可以理解的是通过将全局信息和局部信息结合利用，避免了图像部分信息丢失，提高了模型的性能。
在本发明的一个实施例中，编码器块中包括门控轴向Transformer层，包括：
编码器块包括卷积层和两层多头注意层，每一多头注意层由多个门控轴向注意层组成；其中，第一层多头注意层沿待分割医学图像高度轴操作，第二层多头注意层沿待分割医学图像宽度轴操作；
利用门控轴向Transformer层从特征图中学习待分割医学图像的位置编码，包括：
利用门控轴向Transformer层中的门控注意力机制调整不同位置编码的权重，以确定待分割医学图像的位置编码。
具体的，请参阅图3，图3为本发明一实施例提供的一种编码器块中使用的门控轴向Transformer层的结构示意图，从图中可以看出编码器块中包括1×1卷积层和两层多头注意层，其中一层沿高度轴操作，另一层沿宽度轴操作。每个多头注意层由提出的门控轴向注意层组成。每个多头注意层有8个门控轴向注意头。多头注意块的输出被连接并通过另一个1×1卷积层，这个1x1卷积层被添加到残差输入图中以输出注意图。
其中，门控轴向注意力机制在轴向注意力的基础上，多了门控的机制，可以控制位置编码，通过及时进行权重调整以进行位置编码的学习。请参阅图4，图4为本发明一实施例提供的一种门控轴向注意力机制的结构示意图。
门控轴向注意力机制可以表示如下：
Figure BDA0003809890400000091
Figure BDA0003809890400000092
其中，yij表示注意力层的输出，
Figure BDA0003809890400000093
分别表示注意力层的输入q(查询)、k(键值)、v(值)，的三个位置编码，GQ、GK、GV1、GV2为可学习参数，通过这四个可学习参数共同创建门控机制，目的就是控制位置编码，具体的，对于准确学习了位置编码的赋予较高的权重，对于未准确学习的相对位置编码会被分配较低的权重。这样就可以让本发明的模型适用于任何大小的数据集。
在本发明的一个实施例中，请参阅图5，图5为本发明一实施例提供的基于改进的Transformer医学图像分割模型训练过程的方法流程图，具体包括：
步骤S501：构建数据集，其中，数据集为样本医学图像与样本医学图像标签，将数据集划分为训练集和测试集；
步骤S502：构建基于改进的Transformer医学图像分割初始模型，将训练集输入到基于改进的Transformer医学图像分割初始模型中进行训练；
步骤S503：确定模型的整体损失函数，利用模型的整体损失函数调节基于改进的Transformer医学图像分割初始模型的参数，得到训练完备的基于改进的Transformer医学图像分割模型。
首先需要说明的是，本发明中图像分割模型中的网络结构由全局分支和局部分支组成，因此在进行训练的过程中使用全局—局部策略进行训练。
其中，构建的数据中包括3个数据集，分别是MoNuSeg显微图像数据集、腺体分割GlaS显微图像数据集和肺剖分割X光图像数据集，并且每个数据集中都包括样本医学图像与样本医学图像标签，具体的，样本医学图像为正方形图片，样本医学图像标签为二进制图片。对于每个数据集，选用70％的数据作为训练集，剩余30％作为测试集。
并且在训练开始前，需要设定训练参数，具体的，设定学习率为0.001；设定训练次数epoch为400个，其中，epoch等于使用训练集中的全部样本训练一次；设定批大小batch_size为1，其中，batch_size为训练一次的样本数目；并给利用Adam函数对损失进行优化。
然后将训练集输入到基于改进的Transformer医学图像分割初始模型中进行训练。具体的，利用模型中的全局网络学习样本医学图像的全局信息，利用局部网络学习样本医学图像的局部细节信息；在全局网络及局部网络中，利用卷积块对训练集中的样本医学图像进行特征提取，得到样本医学图像的特征图；利用编码器块中的门控轴向Transformer层学习图像的位置编码，以得到注意图；利用解码器块对注意图进行上采样；最后利用模型最后一层的卷积层对全局网络与局部网络的输出进行卷积，输出预测的分割结果。
在设定模型的损失函数时，可以理解的是，由于单一的损失函数不能很好地对模型进行优化，导致模型的性能不能够被很好地发挥，故需要采用多个损失函数作为网络模型的训练的约束，通过多个损失函数调节模型的参数，得到训练连完备的基于改进的Transformer医学图像分割模型，可以进一步提高模型的预测精度。
在本发明的一个实施例中，确定模型的整体损失函数，包括：利用二元交叉熵损失、负对数似然函数和平滑交叉熵损失的融合作为模型的整体损失函数；
其中，二元交叉熵损失为：
Figure BDA0003809890400000111
Figure BDA0003809890400000112
其中，m为样本数量，yi为真实值，yi为预测值；
可以理解的是，医学图像分割问题属于二分类问题，常用二元分类问题的损失函数为二元交叉熵损失，即BCELoss计算预测值和真实值之间的差异。
负对数似然函数为：
Figure BDA0003809890400000113
其中，θ为预测为真实值的概率，xi表示给定的样本，yi表示给定样本的真实值。
可以理解的是，考虑到对比预测值和真实值之间的差异，可以直接衡量二者是否相等并进行简单的二分类，相等则视为0，不相等则视为1。但是考虑到损失函数需要连续可导性，因此预测值和和真实之间的差异考虑使用负对数似然函数，即NLLLoss衡量预测值和和真实之间的差异。
平滑交叉熵损失为：
Figure BDA0003809890400000114
Figure BDA0003809890400000115
其中，pi为预测值，qi为平滑后的标签值，K为样本维度，ε为一常数。
可以理解的是，为了防止在训练过程中造成模型的过拟合问题，影响模型表现的真实性，可以使用平滑交叉熵损失，即LSCE。
传统的分类loss采用softmax loss，先对全连接层的输出计算softmax，视为各类别的置信度概率，再利用交叉熵计算损失。具体为：
Figure BDA0003809890400000121
在这个过程中尽可能使得各样本在正确类别上的输出概率为1，但是这样会导致使得对应的z值为+∞，拉大了其与其他类别间的距离。
举例而言，现在假设一个多分类任务标签是[1,0,0]，如果自身标签存在问题，则会对模型造成极大的危害。在训练过程中，非样本强制学习的概率很高，这将影响后续的概率估计。有时，类之间的关系不是独立的。如果激励产出的概率差异过大，会在一定程度上导致过度拟合。
因此平滑交叉熵是让目标不再是one-hot标签，而是变为公式
Figure BDA0003809890400000122
所示，这使得softmax损失中的概率优目标不再为1和0，同时z值的最优解也不再是正无穷大，而是一个具体的数值。这有助于在一定程度上避免了过拟合，也减轻了错误标签带来的影响。
在本发明的一个实施例中，上述方法还包括：
将测试数据集中的样本医学图像输入已训练完备的图像分割模型中，输出分割结果；
利用预设的评价指标对分割结果进行评价，以获取图像分割模型的分割性能。
具体的，请参考图6，图6为本发明一实施例提供的一种在GlaS(显微)数据集上的部分可视化分割结果效果图。其中，第一行是样本医学图像，第二行是样本医学图像的真实值标签，第三行是本发明提出的方法的可视化分割效果。可见，本发明的分割效果较好。
其中，预设的评价指标包括样本医学图像的使用精确度、召回率、f1分数和IoU，以此四个指标评价分割性能。具体的，精确度，即precision用于计算的是所有预测结果为正(即正样本被预测为正、负样本被预测为正)的样本中预测正确的概率；召回率，即recall计算的是所有预测结果正确(即正样本被预测为正、负样本被预测为负)的样本中预测为正样本(正样本被预测为正)的概率；f1分数是精确率和召回率的调和平均数；IoU是对象类别分割问题的标准性能度量。
此外，为了评估本发明方法的有效性，将本发明方法与FCN、UNet、UNet++和Res-UNet等方法进行检索性能的比较，比较结果如表1所示。
表1
precision recall f1 IoU
FCN 0.8537 0.8021 0.8279 0.7502
UNet 0.8850 0.8824 0.8848 0.7931
UNet++ 0.8839 0.8903 0.8871 0.7995
Res-UNet 0.7755 0.8999 0.8377 0.7961
本发明 0.8934 0.9094 0.9067 0.8084
具体的，表1是本发明与其他方法在MoNuSeg数据集上，通过指标精确度、召回率、f1分数和IoU的比较实验结果。通过对比结果可以看出本发明提出的方法在该数据集上的分割效果最好。
为了更好实施本发明实施例中的医学图像分割方法，在医学图像分割基础之上，对应的，请参阅图7，图7为本发明提供的医学图像分割装置的一实施例的结构示意图，本发明实施例提供了一种医学图像分割装置700，包括：
图像获取模块701，用于获取待分割医学图像；
模型获取模块702，用于获取训练完备的基于改进Transformer的医学图像分割模型，其中，基于改进Transformer的医学图像分割模型的网络结构包括全局网络和局部网络，全局网络和局部网络中均包括卷积块、编码器块及解码器块；
特征提取模块703，用于利用卷积块对待分割的医学图像进行特征提取，得到待分割医学图像的特征图；
位置编码学习模块704，用于编码器块中包括门控轴向Transformer层，利用门控轴向Transformer层从特征图中学习待分割医学图像的位置编码，得到待分割医学图像的注意图；
上采样模块707，用于利用解码器块对注意图进行上采样操作，输出医学分割图像。
这里需要说明的是：上述实施例提供的装置700可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述方法实施例中的相应内容，此处不再赘述。
基于上述医学图像分割方法，本发明实施例还相应的提供一种电子设备，包括：处理器和存储器以及存储在存储器中并可在处理器上执行的计算机程序；处理器执行计算机程序时实现如上述各实施例的医学图像分割方法中的步骤。
图8中示出了适于用来实现本发明实施例的电子设备800的结构示意图。本发明实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图8示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
电子设备包括：存储器以及处理器，其中，这里的处理器可以称为下文的处理装置801，存储器可以包括下文中的只读存储器(ROM)802、随机访问存储器(RAM)803以及存储装置808中的至少一项，具体如下所示：
如图8所示，电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储装置808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM803中，还存储有电子设备800操作所需的各种程序和数据。处理装置801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
通常，以下装置可以连接至I/O接口805：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置807；包括例如磁带、硬盘等的存储装置808；以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备800，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置808被安装，或者从ROM802被安装。在该计算机程序被处理装置801执行时，执行本发明实施例的方法中限定的上述功能。
基于上述医学图像分割方法，本发明实施例还相应的提供一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如上述各实施例的医学图像分割方法中的步骤。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种医学图像分割方法，其特征在于，包括：
获取待分割医学图像；
获取训练完备的基于改进Transformer的医学图像分割模型，其中，所述基于改进Transformer的医学图像分割模型的网络结构包括全局网络和局部网络，所述全局网络和局部网络中均包括卷积块、编码器块及解码器块；
利用所述卷积块对待分割医学图像进行特征提取，得到待分割医学图像的特征图；
所述编码器块包括门控轴向Transformer层，利用所述门控轴向Transformer层从所述特征图中学习待分割医学图像的位置编码，得到待分割医学图像的注意图；
利用所述解码器块对所述注意图进行上采样操作，输出医学分割图像。
2.根据权利要求1所述的医学图像分割方法，其特征在于，所述全局网络和局部网络中的每一编码器和解码器块之间分别通过跳跃连接进行连接；
利用所述全局网络学习待分割图像的全局信息；
将所述待分割医学图像划分为图像块，利用所述局部网络从所述图像块中学习待分割图像的局部信息。
3.根据权利要求1所述的医学图像分割方法，其特征在于，所述编码器块中包括门控轴向Transformer层，包括：
所述编码器块包括卷积层和两层多头注意层，每一多头注意层由多个门控轴向注意层组成；其中，第一层多头注意层沿待分割医学图像高度轴操作，第二层多头注意层沿待分割医学图像宽度轴操作；
利用所述门控轴向Transformer层从所述特征图中学习待分割医学图像的位置编码，包括：
利用所述门控轴向Transformer层中的门控注意力机制调整不同位置编码的权重，以确定待分割医学图像的位置编码。
4.根据权利要求1所述的医学图像分割方法，其特征在于，所述基于改进的Transformer医学图像分割模型，训练步骤包括：
构建数据集，其中，所述数据集为样本医学图像与样本医学图像标签，将数据集分为训练集和测试集；
构建基于改进的Transformer医学图像分割初始模型，将所述训练集输入到基于改进的Transformer医学图像分割初始模型中进行训练；
确定模型的整体损失函数，利用所述模型的整体损失函数调节所述基于改进的Transformer医学图像分割初始模型的参数，得到训练完备的基于改进的Transformer医学图像分割模型。
5.根据权利要求4所述的医学图像分割方法，其特征在于，在对基于改进的Transformer医学图像分割初始模型进行训练的过程中，所述样本医学图像为正方形图片，所述样本医学图像标签为二进制图片；
设定的训练参数包括学习率、训练次数及批大小；
利用Adam函数对损失进行优化。
6.根据权利要求5所述的医学图像分割方法，其特征在于，所述确定模型的整体损失函数，包括：利用二元交叉熵损失、负对数似然函数和平滑交叉熵损失的融合作为模型的整体损失函数；
其中，二元交叉熵损失为：
Figure FDA0003809890390000021
其中，m为样本数量，yi为真实值，
Figure FDA0003809890390000022
为预测值；
负对数似然函数为：
Figure FDA0003809890390000023
其中，θ为预测为真实值的概率，xi表示给定的样本，yi表示给定样本的真实值；
平滑交叉熵损失为：
Figure FDA0003809890390000031
Figure FDA0003809890390000032
其中，pi为预测值，qi为平滑后的标签值，K为样本维度，ε为一常数。
7.根据权利要求1所述的医学图像分割方法，其特征在于，所述方法还包括：
将测试数据集中的样本医学图像输入已训练完备的图像分割模型中，输出分割结果；
利用预设的评价指标对所述分割结果进行评价，以获取图像分割模型的分割性能。
8.一种医学图像分割装置，其特征在于，包括：
图像获取模块，用于获取待分割医学图像；
模型获取模块，用于获取训练完备的基于改进Transformer的医学图像分割模型，其中，所述基于改进Transformer的医学图像分割模型的网络结构包括全局网络和局部网络，所述全局网络和局部网络中均包括卷积块、编码器块及解码器块；
特征提取模块，用于利用所述卷积块对待分割的医学图像进行特征提取，得到待分割医学图像的特征图；
位置编码学习模块，用于所述编码器块中包括门控轴向Transformer层，利用所述门控轴向Transformer层从所述特征图中学习待分割医学图像的位置编码，得到待分割医学图像的注意图；
上采样模块，用利用所述解码器块对所述注意图进行上采样操作，输出医学分割图像。
9.一种电子设备，其特征在于，包括存储器和处理器，其中，所述存储器，用于存储程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述权利要求1至7中任一项所述医学图像分割方法中的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时，能够实现上述权利要求1至7中任一项所述医学图像分割方法中的步骤。
CN202211008386.1A 2022-08-22 2022-08-22 医学图像分割方法、装置、电子设备及存储介质 Pending CN115375698A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211008386.1A CN115375698A (zh) 2022-08-22 2022-08-22 医学图像分割方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211008386.1A CN115375698A (zh) 2022-08-22 2022-08-22 医学图像分割方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115375698A true CN115375698A (zh) 2022-11-22

Family

ID=84067916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211008386.1A Pending CN115375698A (zh) 2022-08-22 2022-08-22 医学图像分割方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115375698A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116403728A (zh) * 2023-06-09 2023-07-07 吉林大学第一医院 医疗就诊数据的数据处理装置和相关设备
CN116758093A (zh) * 2023-05-30 2023-09-15 首都医科大学宣武医院 一种图像分割方法、模型训练方法、装置、设备及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758093A (zh) * 2023-05-30 2023-09-15 首都医科大学宣武医院 一种图像分割方法、模型训练方法、装置、设备及介质
CN116758093B (zh) * 2023-05-30 2024-05-07 首都医科大学宣武医院 一种图像分割方法、模型训练方法、装置、设备及介质
CN116403728A (zh) * 2023-06-09 2023-07-07 吉林大学第一医院 医疗就诊数据的数据处理装置和相关设备
CN116403728B (zh) * 2023-06-09 2023-08-29 吉林大学第一医院 医疗就诊数据的数据处理装置和相关设备

Similar Documents

Publication Publication Date Title
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
Dias et al. Artificial intelligence in clinical and genomic diagnostics
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
CN112992317B (zh) 一种医学数据处理方法、***、设备及介质
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN115375698A (zh) 医学图像分割方法、装置、电子设备及存储介质
JP2022505775A (ja) 画像分類モデルの訓練方法、画像処理方法及びその装置、並びにコンピュータプログラム
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
WO2020234349A1 (en) Sampling latent variables to generate multiple segmentations of an image
CN114974397A (zh) 蛋白质结构预测模型的训练方法和蛋白质结构预测方法
US20220245802A1 (en) Systems and methods for classifying biomedical image data using a graph neural network
CN114283878A (zh) 训练匹配模型、预测氨基酸序列和设计药物的方法与装置
CN116129141A (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
CN110472673B (zh) 参数调整方法、眼底图像处理方法、装置、介质及设备
CN113764101A (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断***
CN116227573B (zh) 分割模型训练方法、图像分割方法、装置及相关介质
CN115985513B (zh) 一种基于多组学癌症分型的数据处理方法、装置及设备
JP7307785B2 (ja) 機器学習装置及び方法
CN115937192A (zh) 一种无监督视网膜血管分割方法、***及电子设备
CN116935388B (zh) 一种皮肤痤疮图像辅助标注方法与***、分级方法与***
CN115457339B (zh) 一种基于深度集成学习的ad预测方法、***及装置
CN113408596B (zh) 病理图像的处理方法、装置、电子设备及可读存储介质
CN114693662B (zh) 组织病理学切片的亚型分类方法及装置、介质及终端
CN116759079B (zh) 基于多特征融合的出血转化判定方法、装置、介质及终端
CN117392124B (zh) 一种医学超声图像分级方法、***、服务器、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination