CN117111696A - 一种医疗图像分割方法及医疗图像分割模型的训练方法 - Google Patents

一种医疗图像分割方法及医疗图像分割模型的训练方法 Download PDF

Info

Publication number
CN117111696A
CN117111696A CN202311153927.4A CN202311153927A CN117111696A CN 117111696 A CN117111696 A CN 117111696A CN 202311153927 A CN202311153927 A CN 202311153927A CN 117111696 A CN117111696 A CN 117111696A
Authority
CN
China
Prior art keywords
segmentation
image
medical image
medical
image segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311153927.4A
Other languages
English (en)
Inventor
石一磊
郑子璇
胡敬良
牟立超
侯雨
陈咏虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maide Intelligent Technology Wuxi Co ltd
Original Assignee
Maide Intelligent Technology Wuxi Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maide Intelligent Technology Wuxi Co ltd filed Critical Maide Intelligent Technology Wuxi Co ltd
Priority to CN202311153927.4A priority Critical patent/CN117111696A/zh
Publication of CN117111696A publication Critical patent/CN117111696A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/18—Packaging or power distribution
    • G06F1/183—Internal mounting support structures, e.g. for printed circuit boards, internal connecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Power Engineering (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种医疗图像分割方法及医疗图像分割模型的训练方法，其中，医疗图像分割方法包括：获取待处理医疗图像；将待处理医疗图像输入预先训练好的医疗图像分割模型中，得到医疗图像分割模型输出的分割结果；其中，医疗图像分割模型包括自然图像分割模块，自然图像分割模块包括图像编码器、图像解码器以及分割适配器，分割适配器嵌入图像编码器中，通过对分割适配器的参数进行更新实现对图像编码器进行训练。因此，可以在自然图像分割模块的基础上引入分割适配器，这样，在对医疗图像分割模型进行训练的过程中，可以冻结主干网络(即图像编码器)，只利用少量的医疗分割图像数据去训练分割适配器，得到训练好的医疗图像分割模型。

Description

一种医疗图像分割方法及医疗图像分割模型的训练方法
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种医疗图像分割方法及医疗图像分割模型的训练方法。
背景技术
随着医疗技术的发展，对医疗图像分割模型的分割精度越来越高。以甲状腺癌为例，近年来，甲状腺癌的发病率呈快速上升趋势，2020年全球癌症调查结果显示甲状腺癌发病具有女性多于男性、城市高于农村的分布特点。
其中，超声作为甲状腺病变的首选检查方法，可在发现病灶的同时对其生物学行为进行初步判断，具有便捷、安全等优势。科技的高速发展促使人工智能(ArtificialIntelligence，AI)技术广泛应用于医学大数据的超声影像中，其优势显而易见。在日常超负荷工作量和复杂高风险的检查压力下，超声AI***能优化检查流程、规范诊断标准、缩短检查与报告时间，显著提高超声医师的诊断信心和工作效率。基于人工智能的甲状腺结节超声图像分割进而辅助医生更快速的定位结节位置，确认结节形态，以方便对结节良恶性进行判断。可以预见该项技术在未来助力超声诊断与治疗技术、人才培养等方面具有广阔的创新与发展前景。
因此，需要一种准确度较高的甲状腺结节超声图像分割方法，从而可以辅助医生在检查中进行快速、准确的诊断。推及其他医疗图像，与甲状腺图像结节超声图像类似，同样需要一种准确度较高的分割方法。
在现有技术中，一般主要是通过改进医疗图像分割模型的架构或者进行数据增强，来提升分割的精度。但是，由于医疗数据的隐私性、数据标注的专业性，缺少大规模高质量的医疗分割图像数据，从而导致分割模型的精度较低。
发明内容
本申请实施例的目的在于提供一种医疗图像分割方法及医疗图像分割模型的训练方法，用以解决现有技术中由于医疗数据的隐私性、数据标注的专业性，缺少大规模高质量的医疗分割图像数据，从而导致分割模型的精度较低的技术问题。
第一方面，本申请实施例提供一种医疗图像分割方法，包括：获取待处理医疗图像；将所述待处理医疗图像输入预先训练好的医疗图像分割模型中，得到所述医疗图像分割模型输出的分割结果；其中，所述医疗图像分割模型包括自然图像分割模块，所述自然图像分割模块包括图像编码器、图像解码器以及分割适配器，所述分割适配器嵌入所述图像编码器中，通过对所述分割适配器的参数进行更新实现对所述图像编码器进行训练。
在上述方案中，可以利用预先训练好的医疗图像分割模型对待处理医疗图像进行分割，从而得到对应的分割结果。其中，上述医疗图像分割模型包括自然图像分割模块，可以在自然图像分割模块的基础上引入分割适配器，这样，在对医疗图像分割模型进行训练的过程中，可以冻结主干网络(即图像编码器)，只利用少量的医疗分割图像数据去训练分割适配器，得到训练好的医疗图像分割模型。因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型。
在可选的实施方式中，所述将所述待处理医疗图像输入预先训练好的医疗图像分割模型中，得到所述医疗图像分割模型输出的分割结果，包括：将所述待处理医疗图像输入所述图像编码器中，得到所述图像编码器输出的编码结果；将所述编码结果输入所述图像解码器中，得到所述图像解码器输出的所述分割结果。在上述方案中，可以利用自然图像分割模块对待处理医疗图像进行图像分割，从而得到对应的分割结果。其中，由于自然图像分割模块具有强大的分割能力，因此可以使得整个医疗图像分割模型在医疗图像中可以有较高精度的分割效果。
在可选的实施方式中，所述医疗图像分割方法还包括：利用如下步骤对所述医疗图像分割模型进行训练：获取医疗分割图像数据以及待训练的医疗图像分割模型；针对所述自然图像分割模块加载对应的预训练参数；利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器以及所述图像解码器的参数进行更新，得到训练好的医疗图像分割模型。在上述方案中，在对医疗图像分割模型进行训练的过程中，可以冻结图像编码器，只利用少量的医疗分割图像数据去训练分割适配器，同时训练图像解码器，从而得到训练好的医疗图像分割模型。因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型。
在可选的实施方式中，所述医疗图像分割模型还包括：空间多尺度信息特征提取模块；所述将所述待处理医疗图像输入预先训练好的医疗图像分割模型中，得到所述医疗图像分割模型输出的分割结果，包括：将所述待处理医疗图像输入所述空间多尺度信息特征提取模块，得到所述空间多尺度信息特征提取模块输出的特征数据；将所述待处理医疗图像以及所述特征数据输入所述图像编码器中，得到所述图像编码器输出的编码结果；将所述编码结果输入所述图像解码器中，得到所述图像解码器输出的所述分割结果。在上述方案中，可以引入空间多尺度信息特征提取模块，在对待处理医疗图像进行图像分割之前，先基于上述待处理医疗图像向主干网络传递多尺度空间信息，从而提高训练得到的医疗图像分割模型的分割精度。
在可选的实施方式中，所述医疗图像分割方法还包括：利用如下步骤对所述医疗图像分割模型进行训练：获取医疗分割图像数据以及待训练的医疗图像分割模型；针对所述自然图像分割模块加载对应的预训练参数；利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器、所述图像解码器以及所述空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型。在上述方案中，在对医疗图像分割模型进行训练的过程中，可以冻结图像编码器，只利用少量的医疗分割图像数据去训练分割适配器，同时训练图像解码器以及空间多尺度信息特征提取模块，从而得到训练好的医疗图像分割模型。因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型。
第二方面，本申请实施例提供一种医疗图像分割模型的训练方法，包括：获取医疗分割图像数据以及待训练的医疗图像分割模型，其中，所述医疗图像分割模型包括自然图像分割模块，所述自然图像分割模块包括图像编码器、图像解码器以及分割适配器，所述分割适配器嵌入所述图像编码器中；针对所述自然图像分割模块加载对应的预训练参数；利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器以及所述图像解码器的参数进行更新，得到训练好的医疗图像分割模型。
在上述方案中，上述医疗图像分割模型包括自然图像分割模块，可以在自然图像分割模块的基础上引入分割适配器，这样，在对医疗图像分割模型进行训练的过程中，可以冻结主干网络(即图像编码器)，只利用少量的医疗分割图像数据去训练分割适配器，得到训练好的医疗图像分割模型。因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型。
在可选的实施方式中，所述医疗图像分割模型还包括：空间多尺度信息特征提取模块，所述利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器以及所述图像解码器的参数进行更新，得到训练好的医疗图像分割模型，包括：利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器、所述图像解码器以及所述空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型。
第三方面，本申请实施例提供一种医疗图像分割装置，包括：第一获取模块，用于获取待处理医疗图像；输入模块，用于将所述待处理医疗图像输入预先训练好的医疗图像分割模型中，得到所述医疗图像分割模型输出的分割结果；其中，所述医疗图像分割模型包括自然图像分割模块，所述自然图像分割模块包括图像编码器、图像解码器以及分割适配器，所述分割适配器嵌入所述图像编码器中，通过对所述分割适配器的参数进行更新实现对所述图像编码器进行训练。
在上述方案中，可以利用预先训练好的医疗图像分割模型对待处理医疗图像进行分割，从而得到对应的分割结果。其中，上述医疗图像分割模型包括自然图像分割模块，可以在自然图像分割模块的基础上引入分割适配器，这样，在对医疗图像分割模型进行训练的过程中，可以冻结主干网络(即图像编码器)，只利用少量的医疗分割图像数据去训练分割适配器，得到训练好的医疗图像分割模型。因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型。
在可选的实施方式中，所述输入模块具体用于：将所述待处理医疗图像输入所述图像编码器中，得到所述图像编码器输出的编码结果；将所述编码结果输入所述图像解码器中，得到所述图像解码器输出的所述分割结果。在上述方案中，可以利用自然图像分割模块对待处理医疗图像进行图像分割，从而得到对应的分割结果。其中，由于自然图像分割模块具有强大的分割能力，因此可以使得整个医疗图像分割模型在医疗图像中可以有较高精度的分割效果。
在可选的实施方式中，所述医疗图像分割装置还包括：第一训练模块，用于利用如下步骤对所述医疗图像分割模型进行训练：获取医疗分割图像数据以及待训练的医疗图像分割模型；针对所述自然图像分割模块加载对应的预训练参数；利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器以及所述图像解码器的参数进行更新，得到训练好的医疗图像分割模型。在上述方案中，在对医疗图像分割模型进行训练的过程中，可以冻结图像编码器，只利用少量的医疗分割图像数据去训练分割适配器，同时训练图像解码器，从而得到训练好的医疗图像分割模型。因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型。
在可选的实施方式中，所述医疗图像分割模型还包括：空间多尺度信息特征提取模块；所述输入模块具体用于：将所述待处理医疗图像输入所述空间多尺度信息特征提取模块，得到所述空间多尺度信息特征提取模块输出的特征数据；将所述待处理医疗图像以及所述特征数据输入所述图像编码器中，得到所述图像编码器输出的编码结果；将所述编码结果输入所述图像解码器中，得到所述图像解码器输出的所述分割结果。在上述方案中，可以引入空间多尺度信息特征提取模块，在对待处理医疗图像进行图像分割之前，先基于上述待处理医疗图像向主干网络传递多尺度空间信息，从而提高训练得到的医疗图像分割模型的分割精度。
在可选的实施方式中，所述医疗图像分割装置还包括：第二训练模块，用于利用如下步骤对所述医疗图像分割模型进行训练：获取医疗分割图像数据以及待训练的医疗图像分割模型；针对所述自然图像分割模块加载对应的预训练参数；利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器、所述图像解码器以及所述空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型。在上述方案中，在对医疗图像分割模型进行训练的过程中，可以冻结图像编码器，只利用少量的医疗分割图像数据去训练分割适配器，同时训练图像解码器以及空间多尺度信息特征提取模块，从而得到训练好的医疗图像分割模型。因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型。
第四方面，本申请实施例提供一种医疗图像分割模型的训练装置，包括：第二获取模块，用于获取医疗分割图像数据以及待训练的医疗图像分割模型，其中，所述医疗图像分割模型包括自然图像分割模块，所述自然图像分割模块包括图像编码器、图像解码器以及分割适配器，所述分割适配器嵌入所述图像编码器中；加载模块，用于针对所述自然图像分割模块加载对应的预训练参数；更新模块，用于利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器以及所述图像解码器的参数进行更新，得到训练好的医疗图像分割模型。
在上述方案中，上述医疗图像分割模型包括自然图像分割模块，可以在自然图像分割模块的基础上引入分割适配器，这样，在对医疗图像分割模型进行训练的过程中，可以冻结主干网络(即图像编码器)，只利用少量的医疗分割图像数据去训练分割适配器，得到训练好的医疗图像分割模型。因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型。
在可选的实施方式中，所述医疗图像分割模型还包括：空间多尺度信息特征提取模块，所述更新模块具体用于：利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器、所述图像解码器以及所述空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型。
第五方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如第一方面所述的医疗图像分割方法或者如第二方面所述的医疗图像分割模型的训练方法。
第六方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如第一方面所述的医疗图像分割方法或者如第二方面所述的医疗图像分割模型的训练方法。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举本申请实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种医疗图像分割方法的流程图；
图2为本申请实施例提供的一种ViT结构的示意图；
图3为本申请实施例提供的一种ViT+Adaper结构的示意图；
图4为本申请实施例提供的一种SMS结构的示意图；
图5为本申请实施例提供的一种医疗图像分割模型的训练方法的流程图；
图6为本申请实施例提供一种医疗图像分割装置的结构框图；
图7为本申请实施例提供的一种医疗图像分割模型的训练装置的结构框图；
图8为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
请参照图1，图1为本申请实施例提供的一种医疗图像分割方法的流程图，该医疗图像分割方法可以包括如下步骤：
步骤S101：获取待处理医疗图像。
步骤S102：将待处理医疗图像输入预先训练好的医疗图像分割模型中，得到医疗图像分割模型输出的分割结果。
具体的，在上述步骤S101中，待处理医疗图像是指当前需要进行图像分割的医疗图像。医疗图像是指在医疗行业中使用的图像，需要说明的是，本申请实施例对医疗图像的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整，例如：医疗图像可以包括甲状腺超声图像、乳腺超声图像、颈动脉造影图像等。
此外，本申请实施例对获取上述待处理医疗图像的具体实施方式同样不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整。举例来说，可以接收外部设备的待处理医疗图像；或者，可以读取本地或者云端存储的待处理医疗图像；或者，可以实时采集待处理医疗图像等。
在上述步骤S102中，医疗图像分割模型是指用于对上述待处理医疗图像进行图像分割的神经网络模型，其中，上述步骤S102中的医疗图像分割模型是预先训练好的医疗图像分割模型。
下面对本申请实施例提供的一种医疗图像分割模型的结构进行介绍。该医疗图像分割模型可以包括自然图像分割模块(Segment Anything Model，SAM)；自然图像分割模块可以包括图像编码器、图像解码器以及分割适配器，其中，分割适配器可以嵌入在图像编码器中。
在上述自然图像分割模块中，图像编码器可以基于标准的视觉变形器(VisionTransformer，ViT)，而注意力机制可以由14*14大小的窗口注意力以及四个等间隔的全局注意力构成；图像解码器是一个基于Transformer的解码器，包括可以处理不同提示(文本，点，框等)掩码信息的动态预测头。
请参照图2，图2为本申请实施例提供的一种ViT结构的示意图。该ViT结构中包括层归一化(Layer Norm)、多注意力头(Muti-Head Attention)以及多层感知机(MultilayerPerceptron，MLP)。其中，Layer Norm用于对每个Token进行Norm处理；MLP可以包括全连接层、GELU激活函数以及Dropout。
在图2所示的ViT结构上，可以嵌入分割适配器(Adaper)。作为一种实施方式，请参照图3，图3为本申请实施例提供的一种ViT+Adaper结构的示意图。该ViT+Adaper结构在图2的基础上，分别在Muti-Head Attention层以及MLP层引入Adaper。
根据现在研究表明，部分参数微调方法比完全微调更有效，因为它们可以避免灾难性遗忘，并更好地推广到域外情景，特别是在低数据的情况下。Adapter作为一种有效的工具，不仅在自然语言处理中，而且在计算机视觉中，可以应用于对下游任务的大型基本视觉模型进行微调。考虑到高质量的医疗数据难以获取且不容易标注，因此，本申请实施例中引入Adapter。
作为另一种实施方式，还可以在MLP层中引入Scaling超参数，以达到更好的channel权重学习的目的。
需要说明的是，本申请实施例对Adapter的具体结构不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，如图3所示，Adapter可以包括Down层、ReLU层以及Up层。
基于上述ViT+Adaper结构，在对医疗图像分割模型进行训练的过程中，可以通过对分割适配器的参数进行更新实现对图像编码器进行训练。
作为一种实施方式，考虑到自然图像分割模块是由千万级自然图像训练得到的模型，在自然图像分割上可以实现超高精度的图像分割，因此，在本申请实施例中，自然图像分割模块可以预先加载预训练参数。
在针对医疗图像分割模型进行训练的过程中，可以冻结主干网络(即自然图像分割模块中图像编码器)，只对Adapter部分进行训练。也就是说，在对医疗图像分割模型进行训练的过程中，图像编码器的参数不会发生改变，而Adapter的参数会进行迭代更新，直至得到训练好的医疗图像分割模型。
可以理解的是，由于自然图像分割模块预先加载了针对自然图像进行分割时精度较高的预训练参数，因此可以提升在此基础上训练得到的医疗图像分割模型的分割能力；此外，由于仅需要对Adapter部分进行训练，因此，只需要利用少量的医疗分割图像数据对医疗图像分割模型进行训练便可以得到精度较高的医疗图像分割模型，从而解决了现有技术中由于医疗数据的隐私性、数据标注的专业性，缺少大规模高质量的医疗分割图像数据，从而导致分割模型的精度较低的技术问题。
需要说明的是，现有技术中的自然图像分割模块一般包括图像编码器、图像解码器以及掩码解码器，但是在本申请实施例中，由于只采样图像编码以及图像解码的部分，不需要动态掩码输入，因此，可以省略掩码解码器。
除此之外，本申请实施例对上述步骤S102中的分割结果的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，当医疗图像包括甲状腺超声图像时，分割结果可以包括甲状腺结节的位置；或者，当医疗图像包括颈动脉造影图像时，分割结果可以包括颈动脉斑块的位置等。
在上述方案中，可以利用预先训练好的医疗图像分割模型对待处理医疗图像进行分割，从而得到对应的分割结果。其中，上述医疗图像分割模型包括自然图像分割模块，可以在自然图像分割模块的基础上引入分割适配器，这样，在对医疗图像分割模型进行训练的过程中，可以冻结主干网络(即图像编码器)，只利用少量的医疗分割图像数据去训练分割适配器，得到训练好的医疗图像分割模型。因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型。
进一步的，在上述实施例的基础上，上述步骤S102具体可以包括如下步骤：
步骤1)，将待处理医疗图像输入图像编码器中，得到图像编码器输出的编码结果。
步骤2)，将编码结果输入图像解码器中，得到图像解码器输出的分割结果。
具体的，在上述步骤1)中，图像编码器可以基于标准的视觉变形器(VisionTransformer，ViT)，而注意力机制可以由14*14大小的窗口注意力以及四个等间隔的全局注意力构成。如图3所示，可以将待处理医疗图像输入上述图像编码器中，待处理医疗图像经过Layer Norm、Muti-Head Attention、Adaper以及MLP，最终可以得到图像编码器输出的编码结果。
作为一种实施方式，可以对待处理医疗图像进行16倍下采样后，作为图像编码器的输入。
在上述步骤2)中，图像解码器是一个基于Transformer的解码器，包括可以处理不同提示(文本，点，框等)掩码信息的动态预测头。可以将编码结果输入上述图像解码器中，最终可以得到图像解码器输出的分割结果。
在上述方案中，可以利用自然图像分割模块对待处理医疗图像进行图像分割，从而得到对应的分割结果。其中，由于自然图像分割模块具有强大的分割能力，因此可以使得整个医疗图像分割模型在医疗图像中可以有较高精度的分割效果。
进一步的，在上述实施例的基础上，可以利用如下步骤对上述实施例中的医疗图像分割模型进行训练：
步骤1)，获取医疗分割图像数据以及待训练的医疗图像分割模型。
步骤2)，针对自然图像分割模块加载对应的预训练参数。
步骤3)，利用医疗分割图像数据对医疗图像分割模型中的分割适配器以及图像解码器的参数进行更新，得到训练好的医疗图像分割模型。
具体的，在上述步骤1)中，医疗分割图像数据是指已经分割好并且标注好的医疗图像。可以理解的是，由于本申请实施例中引入了Adaper，因此，上述医疗分割图像数据的数量不需要太大，即只需少量的医疗分割图像数据即可对医疗图像分割模型进行训练。
需要说明的是，本申请实施例对获取上述医疗分割图像数据的具体实施方式同样不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整。举例来说，可以接收外部设备的医疗分割图像数据；或者，可以读取本地或者云端存储的医疗分割图像数据等。
医疗图像分割模型是指用于对上述待处理医疗图像进行图像分割的神经网络模型，其中，上述步骤1)中的医疗图像分割模型是指未进行训练或者未训练好的医疗图像分割模型。可以理解的是，上述步骤1)中的医疗图像分割模型与上述步骤S102中的医疗图像分割模型的结构相同，两者的区别仅在于其模型参数存在不同。
与获取上述医疗分割图像数据类似，本申请实施例对获取上述待训练的医疗图像分割模型的具体实施方式同样不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整。举例来说，可以接收外部设备的待训练的医疗图像分割模型；或者，可以读取本地或者云端存储的待训练的医疗图像分割模型等。
在上述步骤2)中，考虑到自然图像分割模块是由千万级自然图像训练得到的模型，在自然图像分割上可以实现超高精度的图像分割，因此，可以针对自然图像分割模块加载对应的预训练参数。
在上述步骤3)中，在针对医疗图像分割模型进行训练的过程中，可以冻结主干网络(即自然图像分割模块中图像编码器)，利用医疗分割图像数据对医疗图像分割模型中的分割适配器以及图像解码器的参数进行更新，得到训练好的医疗图像分割模型。
在上述方案中，在对医疗图像分割模型进行训练的过程中，可以冻结图像编码器，只利用少量的医疗分割图像数据去训练分割适配器，同时训练图像解码器，从而得到训练好的医疗图像分割模型。因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型。
进一步的，在上述实施例的基础上，医疗图像分割模型还可以包括：空间多尺度信息特征提取模块(Spatial Multi-Scale，SMS)。请参照图4，图4为本申请实施例提供的一种SMS结构的示意图，该空间多尺度信息特征提取模块可以采用从ResNet借鉴的标准卷积***。
作为一种实施方式，空间多尺度信息特征提取模块可以包括三个卷积和一个最大池化层；之后使用一个3×3的卷积层将通道数量增加一倍，并减小特征映射的大小；接着应用多个1×1的卷积层将特征映射投影到D维；这样就得到了一个包含D维特征图的特征金字塔{F1,F2,F3,F4}，分辨率分别为原图的1/8、1/16、1/32、1/64；然后将上述包含D维特征图的特征金字塔进行映射平面化，并拼接成新特征作为特征交互，得到空间多尺度信息特征提取模块的输出。
空间多尺度信息特征提取模块用于给自然图像分割模块传递多尺度空间信息。其中，为了不改变自然图像分割模块的原有结构，空间多尺度信息特征提取模块可以与patch嵌入层并行，对图像的局部空间上下文进行建模。因此，空间多尺度信息特征提取模块的输出可以输入给后面的分割适配器，再由其与第i个图像编码器模块一起进行运算。
进一步的，在上述实施例的基础上，上述步骤S102具体可以包括如下步骤：
步骤1)，将待处理医疗图像输入空间多尺度信息特征提取模块，得到空间多尺度信息特征提取模块输出的特征数据。
步骤2)，将待处理医疗图像以及特征数据输入图像编码器中，得到图像编码器输出的编码结果。
步骤3)，将编码结果输入图像解码器中，得到图像解码器输出的分割结果。
具体的，在上述步骤1)中，空间多尺度信息特征提取模块可以依次包括三个卷积、一个最大池化层一个3×3的卷积层、多个1×1的卷积层，这样就得到了一个包含D维特征图的特征金字塔{F1,F2,F3,F4}，分辨率分别为原图的1/8、1/16、1/32、1/64；然后将上述包含D维特征图的特征金字塔进行映射平面化，并拼接成新特征作为特征交互，得到空间多尺度信息特征提取模块输出的特征数据。
在上述步骤2)中，图像编码器可以基于标准的视觉变形器(Vision Transformer，ViT)，而注意力机制可以由14*14大小的窗口注意力以及四个等间隔的全局注意力构成。如图3所示，可以将待处理医疗图像以及特征数据输入上述图像编码器中，待处理医疗图像以及特征数据经过Layer Norm、Muti-Head Attention、Adaper以及MLP，最终可以得到图像编码器输出的编码结果。
其中，待处理医疗图像可以输入图像编码器中的Layer Norm，而特征数据可以输入图像编码器中的Adaper。
在上述步骤3)中，图像解码器是一个基于Transformer的解码器，包括可以处理不同提示(文本，点，框等)掩码信息的动态预测头。可以将编码结果输入上述图像解码器中，最终可以得到图像解码器输出的分割结果。
在上述方案中，可以引入空间多尺度信息特征提取模块，在对待处理医疗图像进行图像分割之前，先基于上述待处理医疗图像向主干网络传递多尺度空间信息，从而提高训练得到的医疗图像分割模型的分割精度。
进一步的，在上述实施例的基础上，可以利用如下步骤对医疗图像分割模型进行训练：
步骤1)，获取医疗分割图像数据以及待训练的医疗图像分割模型。
步骤2)，针对自然图像分割模块加载对应的预训练参数。
步骤3)，利用医疗分割图像数据对医疗图像分割模型中的分割适配器、图像解码器以及空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型。
具体的，在上述步骤1)中，与上述实施例类似，本申请实施例对获取上述医疗分割图像数据以及待训练的医疗图像分割模型的具体实施方式同样不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整。举例来说，可以接收外部设备的医疗分割图像数据以及待训练的医疗图像分割模型；或者，可以读取本地或者云端存储的医疗分割图像数据以及待训练的医疗图像分割模型等。
在上述步骤2)中，考虑到自然图像分割模块是由千万级自然图像训练得到的模型，在自然图像分割上可以实现超高精度的图像分割，因此，可以针对自然图像分割模块加载对应的预训练参数。
在上述步骤3)中，在针对医疗图像分割模型进行训练的过程中，可以冻结主干网络(即自然图像分割模块中图像编码器)，利用医疗分割图像数据对医疗图像分割模型中的分割适配器、图像解码器以及空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型。
在上述方案中，在对医疗图像分割模型进行训练的过程中，可以冻结图像编码器，只利用少量的医疗分割图像数据去训练分割适配器，同时训练图像解码器以及空间多尺度信息特征提取模块，从而得到训练好的医疗图像分割模型。因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型。
请参照图5，图5为本申请实施例提供的一种医疗图像分割模型的训练方法的流程图，该医疗图像分割模型的训练方法可以包括如下步骤：
步骤S501：获取医疗分割图像数据以及待训练的医疗图像分割模型。
步骤S502：针对自然图像分割模块加载对应的预训练参数。
步骤S503：利用医疗分割图像数据对医疗图像分割模型中的分割适配器以及图像解码器的参数进行更新，得到训练好的医疗图像分割模型。
具体的，在上述步骤S501中，医疗分割图像数据是指已经分割好并且标注好的医疗图像。可以理解的是，由于本申请实施例中引入了Adaper，因此，上述医疗分割图像数据的数量不需要太大，即只需少量的医疗分割图像数据即可对医疗图像分割模型进行训练。
需要说明的是，本申请实施例对获取上述医疗分割图像数据的具体实施方式同样不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整。举例来说，可以接收外部设备的医疗分割图像数据；或者，可以读取本地或者云端存储的医疗分割图像数据等。
医疗图像分割模型是指用于对上述待处理医疗图像进行图像分割的神经网络模型，其中，上述步骤S501中的医疗图像分割模型是指未进行训练或者未训练好的医疗图像分割模型。作为一种实施方式，医疗图像分割模型可以包括自然图像分割模块，自然图像分割模块包括图像编码器、图像解码器以及分割适配器，分割适配器可以嵌入图像编码器中。
与获取上述医疗分割图像数据类似，本申请实施例对获取上述待训练的医疗图像分割模型的具体实施方式同样不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整。举例来说，可以接收外部设备的待训练的医疗图像分割模型；或者，可以读取本地或者云端存储的待训练的医疗图像分割模型等。
在上述步骤S502中，考虑到自然图像分割模块是由千万级自然图像训练得到的模型，在自然图像分割上可以实现超高精度的图像分割，因此，可以针对自然图像分割模块加载对应的预训练参数。
在上述步骤S503中，在针对医疗图像分割模型进行训练的过程中，可以冻结主干网络(即自然图像分割模块中图像编码器)，利用医疗分割图像数据对医疗图像分割模型中的分割适配器以及图像解码器的参数进行更新，得到训练好的医疗图像分割模型。
在上述方案中，上述医疗图像分割模型包括自然图像分割模块，可以在自然图像分割模块的基础上引入分割适配器，这样，在对医疗图像分割模型进行训练的过程中，可以冻结主干网络(即图像编码器)，只利用少量的医疗分割图像数据去训练分割适配器，得到训练好的医疗图像分割模型。因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型。
进一步的，在上述实施例的基础上，医疗图像分割模型还可以包括：空间多尺度信息特征提取模块，本申请实施例介绍另一种医疗图像分割模型的训练方法：
步骤1)，获取医疗分割图像数据以及待训练的医疗图像分割模型。
步骤2)，针对自然图像分割模块加载对应的预训练参数。
步骤3)，利用医疗分割图像数据对医疗图像分割模型中的分割适配器、图像解码器以及空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型。
具体的，在上述步骤1)中，与上述实施例类似，本申请实施例对获取上述医疗分割图像数据以及待训练的医疗图像分割模型的具体实施方式同样不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整。举例来说，可以接收外部设备的医疗分割图像数据以及待训练的医疗图像分割模型；或者，可以读取本地或者云端存储的医疗分割图像数据以及待训练的医疗图像分割模型等。
在上述步骤2)中，考虑到自然图像分割模块是由千万级自然图像训练得到的模型，在自然图像分割上可以实现超高精度的图像分割，因此，可以针对自然图像分割模块加载对应的预训练参数。
在上述步骤3)中，在针对医疗图像分割模型进行训练的过程中，可以冻结主干网络(即自然图像分割模块中图像编码器)，利用医疗分割图像数据对医疗图像分割模型中的分割适配器、图像解码器以及空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型。
请参照图6，图6为本申请实施例提供一种医疗图像分割装置的结构框图，该医疗图像分割装置600包括：第一获取模块601，用于获取待处理医疗图像；输入模块602，用于将所述待处理医疗图像输入预先训练好的医疗图像分割模型中，得到所述医疗图像分割模型输出的分割结果；其中，所述医疗图像分割模型包括自然图像分割模块，所述自然图像分割模块包括图像编码器、图像解码器以及分割适配器，所述分割适配器嵌入所述图像编码器中，通过对所述分割适配器的参数进行更新实现对所述图像编码器进行训练。
在上述方案中，可以利用预先训练好的医疗图像分割模型对待处理医疗图像进行分割，从而得到对应的分割结果。其中，上述医疗图像分割模型包括自然图像分割模块，可以在自然图像分割模块的基础上引入分割适配器，这样，在对医疗图像分割模型进行训练的过程中，可以冻结主干网络(即图像编码器)，只利用少量的医疗分割图像数据去训练分割适配器，得到训练好的医疗图像分割模型。因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型。
进一步的，在上述实施例的基础上，所述输入模块602具体用于：将所述待处理医疗图像输入所述图像编码器中，得到所述图像编码器输出的编码结果；将所述编码结果输入所述图像解码器中，得到所述图像解码器输出的所述分割结果。
在上述方案中，可以利用自然图像分割模块对待处理医疗图像进行图像分割，从而得到对应的分割结果。其中，由于自然图像分割模块具有强大的分割能力，因此可以使得整个医疗图像分割模型在医疗图像中可以有较高精度的分割效果。
进一步的，在上述实施例的基础上，所述医疗图像分割装置600还包括：第一训练模块，用于利用如下步骤对所述医疗图像分割模型进行训练：获取医疗分割图像数据以及待训练的医疗图像分割模型；针对所述自然图像分割模块加载对应的预训练参数；利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器以及所述图像解码器的参数进行更新，得到训练好的医疗图像分割模型。
在上述方案中，在对医疗图像分割模型进行训练的过程中，可以冻结图像编码器，只利用少量的医疗分割图像数据去训练分割适配器，同时训练图像解码器，从而得到训练好的医疗图像分割模型。因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型。
进一步的，在上述实施例的基础上，所述医疗图像分割模型还包括：空间多尺度信息特征提取模块；所述输入模块602具体用于：将所述待处理医疗图像输入所述空间多尺度信息特征提取模块，得到所述空间多尺度信息特征提取模块输出的特征数据；将所述待处理医疗图像以及所述特征数据输入所述图像编码器中，得到所述图像编码器输出的编码结果；将所述编码结果输入所述图像解码器中，得到所述图像解码器输出的所述分割结果。
在上述方案中，可以引入空间多尺度信息特征提取模块，在对待处理医疗图像进行图像分割之前，先基于上述待处理医疗图像向主干网络传递多尺度空间信息，从而提高训练得到的医疗图像分割模型的分割精度。
进一步的，在上述实施例的基础上，所述医疗图像分割装置600还包括：第二训练模块，用于利用如下步骤对所述医疗图像分割模型进行训练：获取医疗分割图像数据以及待训练的医疗图像分割模型；针对所述自然图像分割模块加载对应的预训练参数；利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器、所述图像解码器以及所述空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型。
在上述方案中，在对医疗图像分割模型进行训练的过程中，可以冻结图像编码器，只利用少量的医疗分割图像数据去训练分割适配器，同时训练图像解码器以及空间多尺度信息特征提取模块，从而得到训练好的医疗图像分割模型。因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型。
请参照图7，图7为本申请实施例提供的一种医疗图像分割模型的训练装置的结构框图，该医疗图像分割模型的训练装置700包括：第二获取模块701，用于获取医疗分割图像数据以及待训练的医疗图像分割模型，其中，所述医疗图像分割模型包括自然图像分割模块，所述自然图像分割模块包括图像编码器、图像解码器以及分割适配器，所述分割适配器嵌入所述图像编码器中；加载模块702，用于针对所述自然图像分割模块加载对应的预训练参数；更新模块703，用于利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器以及所述图像解码器的参数进行更新，得到训练好的医疗图像分割模型。
在上述方案中，上述医疗图像分割模型包括自然图像分割模块，可以在自然图像分割模块的基础上引入分割适配器，这样，在对医疗图像分割模型进行训练的过程中，可以冻结主干网络(即图像编码器)，只利用少量的医疗分割图像数据去训练分割适配器，得到训练好的医疗图像分割模型。因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型。
进一步的，在上述实施例的基础上，所述医疗图像分割模型还包括：空间多尺度信息特征提取模块，所述更新模块703具体用于：利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器、所述图像解码器以及所述空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型。
请参照图8，图8为本申请实施例提供的一种电子设备的结构框图，该电子设备800包括：至少一个处理器801，至少一个通信接口802，至少一个存储器803和至少一个通信总线804。其中，通信总线804用于实现这些组件直接的连接通信，通信接口802用于与其他节点设备进行信令或数据的通信，存储器803存储有处理器801可执行的机器可读指令。当电子设备800运行时，处理器801与存储器803之间通过通信总线804通信，机器可读指令被处理器801调用时执行上述医疗图像分割方法或者医疗图像分割模型的训练方法。
例如，本申请实施例的处理器801通过通信总线804从存储器803读取计算机程序并执行该计算机程序，作为一种实施方式，可以实现如下方法：步骤S101：获取待处理医疗图像。步骤S102：将待处理医疗图像输入预先训练好的医疗图像分割模型中，得到医疗图像分割模型输出的分割结果。作为另一种实施方式，可以实现如下方法：步骤S501：获取医疗分割图像数据以及待训练的医疗图像分割模型。步骤S502：针对自然图像分割模块加载对应的预训练参数。步骤S503：利用医疗分割图像数据对医疗图像分割模型中的分割适配器以及图像解码器的参数进行更新，得到训练好的医疗图像分割模型。
其中，处理器801包括一个或多个，其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器801可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、微控制单元(Micro Controller Unit，简称MCU)、网络处理器(NetworkProcessor，简称NP)或者其他常规处理器；还可以是专用处理器，包括神经网络处理器(Neural-network Processing Unit，简称NPU)、图形处理器(Graphics Processing Unit，简称GPU)、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuits，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且，在处理器801为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器。
存储器803包括一个或多个，其可以是，但不限于，随机存取存储器(RandomAccess Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，简称EPROM)，电可擦除可编程只读存储器(ElectricErasable Programmable Read-Only Memory，简称EEPROM)等。
可以理解，图8所示的结构仅为示意，电子设备800还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。图8中所示的各组件可以采用硬件、软件或其组合实现。于本申请实施例中，电子设备800可以是，但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备，还可以是虚拟机等虚拟设备。另外，电子设备800也不一定是单台设备，还可以是多台设备的组合，例如服务器集群，等等。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行前述方法实施例所述的医疗图像分割方法或者医疗图像分割模型的训练方法。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种医疗图像分割方法，其特征在于，包括：
获取待处理医疗图像；
将所述待处理医疗图像输入预先训练好的医疗图像分割模型中，得到所述医疗图像分割模型输出的分割结果；
其中，所述医疗图像分割模型包括自然图像分割模块，所述自然图像分割模块包括图像编码器、图像解码器以及分割适配器，所述分割适配器嵌入所述图像编码器中，通过对所述分割适配器的参数进行更新实现对所述图像编码器进行训练。
2.根据权利要求1所述的医疗图像分割方法，其特征在于，所述将所述待处理医疗图像输入预先训练好的医疗图像分割模型中，得到所述医疗图像分割模型输出的分割结果，包括：
将所述待处理医疗图像输入所述图像编码器中，得到所述图像编码器输出的编码结果；
将所述编码结果输入所述图像解码器中，得到所述图像解码器输出的所述分割结果。
3.根据权利要求1所述的医疗图像分割方法，其特征在于，所述方法还包括：
利用如下步骤对所述医疗图像分割模型进行训练：
获取医疗分割图像数据以及待训练的医疗图像分割模型；
针对所述自然图像分割模块加载对应的预训练参数；
利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器以及所述图像解码器的参数进行更新，得到训练好的医疗图像分割模型。
4.根据权利要求1所述的医疗图像分割方法，其特征在于，所述医疗图像分割模型还包括：空间多尺度信息特征提取模块；
所述将所述待处理医疗图像输入预先训练好的医疗图像分割模型中，得到所述医疗图像分割模型输出的分割结果，包括：
将所述待处理医疗图像输入所述空间多尺度信息特征提取模块，得到所述空间多尺度信息特征提取模块输出的特征数据；
将所述待处理医疗图像以及所述特征数据输入所述图像编码器中，得到所述图像编码器输出的编码结果；
将所述编码结果输入所述图像解码器中，得到所述图像解码器输出的所述分割结果。
5.根据权利要求4所述的医疗图像分割方法，其特征在于，所述方法还包括：
利用如下步骤对所述医疗图像分割模型进行训练：
获取医疗分割图像数据以及待训练的医疗图像分割模型；
针对所述自然图像分割模块加载对应的预训练参数；
利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器、所述图像解码器以及所述空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型。
6.一种医疗图像分割模型的训练方法，其特征在于，包括：
获取医疗分割图像数据以及待训练的医疗图像分割模型，其中，所述医疗图像分割模型包括自然图像分割模块，所述自然图像分割模块包括图像编码器、图像解码器以及分割适配器，所述分割适配器嵌入所述图像编码器中；
针对所述自然图像分割模块加载对应的预训练参数；
利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器以及所述图像解码器的参数进行更新，得到训练好的医疗图像分割模型。
7.一种医疗图像分割装置，其特征在于，包括：
第一获取模块，用于获取待处理医疗图像；
输入模块，用于将所述待处理医疗图像输入预先训练好的医疗图像分割模型中，得到所述医疗图像分割模型输出的分割结果；
其中，所述医疗图像分割模型包括自然图像分割模块，所述自然图像分割模块包括图像编码器、图像解码器以及分割适配器，所述分割适配器嵌入所述图像编码器中，通过对所述分割适配器的参数进行更新实现对所述图像编码器进行训练。
8.一种医疗图像分割模型的训练装置，其特征在于，包括：
第二获取模块，用于获取医疗分割图像数据以及待训练的医疗图像分割模型，其中，所述医疗图像分割模型包括自然图像分割模块，所述自然图像分割模块包括图像编码器、图像解码器以及分割适配器，所述分割适配器嵌入所述图像编码器中；
加载模块，用于针对所述自然图像分割模块加载对应的预训练参数；
更新模块，用于利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器以及所述图像解码器的参数进行更新，得到训练好的医疗图像分割模型。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线；
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如权利要求1-5任一项所述的医疗图像分割方法或者如权利要求6所述的医疗图像分割模型的训练方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如权利要求1-5任一项所述的医疗图像分割方法或者如权利要求6所述的医疗图像分割模型的训练方法。
CN202311153927.4A 2023-09-07 2023-09-07 一种医疗图像分割方法及医疗图像分割模型的训练方法 Pending CN117111696A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311153927.4A CN117111696A (zh) 2023-09-07 2023-09-07 一种医疗图像分割方法及医疗图像分割模型的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311153927.4A CN117111696A (zh) 2023-09-07 2023-09-07 一种医疗图像分割方法及医疗图像分割模型的训练方法

Publications (1)

Publication Number Publication Date
CN117111696A true CN117111696A (zh) 2023-11-24

Family

ID=88812657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311153927.4A Pending CN117111696A (zh) 2023-09-07 2023-09-07 一种医疗图像分割方法及医疗图像分割模型的训练方法

Country Status (1)

Country Link
CN (1) CN117111696A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210397966A1 (en) * 2020-06-18 2021-12-23 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image segmentation
CN115170807A (zh) * 2022-09-05 2022-10-11 浙江大华技术股份有限公司 一种图像分割、模型训练方法、装置、设备及介质
WO2023065070A1 (zh) * 2021-10-18 2023-04-27 中国科学院深圳先进技术研究院 一种基于领域自适应的多域医学图像分割方法
CN116433914A (zh) * 2023-04-28 2023-07-14 齐鲁工业大学(山东省科学院) 一种二维医学图像分割方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210397966A1 (en) * 2020-06-18 2021-12-23 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image segmentation
WO2023065070A1 (zh) * 2021-10-18 2023-04-27 中国科学院深圳先进技术研究院 一种基于领域自适应的多域医学图像分割方法
CN115170807A (zh) * 2022-09-05 2022-10-11 浙江大华技术股份有限公司 一种图像分割、模型训练方法、装置、设备及介质
CN116433914A (zh) * 2023-04-28 2023-07-14 齐鲁工业大学(山东省科学院) 一种二维医学图像分割方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUNDE WU 等: "Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation", pages 1 - 13, Retrieved from the Internet <URL:https://arxiv.org/abs/2304.12620> *
ZHE CHEN 等: "Vision Transformer Adapter for Dense Predictions", pages 1 - 20, Retrieved from the Internet <URL:https://arxiv.org/abs/2205.08534> *

Similar Documents

Publication Publication Date Title
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN110992338B (zh) 一种原发灶转移辅助诊断***
CN111369581B (zh) 图像处理方法、装置、设备及存储介质
CN111291825B (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN110276408B (zh) 3d图像的分类方法、装置、设备及存储介质
CN111080660A (zh) 一种图像分割方法、装置、终端设备及存储介质
CN112862830B (zh) 一种多模态图像分割方法、***、终端及可读存储介质
Liu et al. Cx22: A new publicly available dataset for deep learning-based segmentation of cervical cytology images
CN112308866B (zh) 图像处理方法、装置、电子设备及存储介质
CN113159056A (zh) 图像分割方法、装置、设备及存储介质
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与***
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
CN112150470B (zh) 图像分割方法、装置、介质及电子设备
CN112734755A (zh) 基于3d全卷积神经网络与多任务学习的肺叶分割方法
CN112420170B (zh) 一种提高计算机辅助诊断***图片分类准确度的方法
Wang et al. Multiscale transunet++: dense hybrid u-net with transformer for medical image segmentation
CN114445904A (zh) 基于全卷积神经网络的虹膜分割方法和装置、介质和设备
CN112183541A (zh) 一种轮廓提取方法及装置、电子设备、存储介质
CN112132777B (zh) 一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法
CN115239655A (zh) 一种甲状腺超声影像肿瘤分割分类方法及装置
CN112785581A (zh) 基于深度学习的提取训练大血管cta成像的培训方法和装置
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN111192320A (zh) 一种位置信息确定方法、装置、设备和存储介质
CN114066905A (zh) 一种基于深度学习的医学图像分割方法、***、装置
CN111507950B (zh) 图像分割的方法和装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination