CN117115444B - 一种多任务图像分割方法、***、计算机设备和存储介质 - Google Patents

一种多任务图像分割方法、***、计算机设备和存储介质 Download PDF

Info

Publication number
CN117115444B
CN117115444B CN202311161498.5A CN202311161498A CN117115444B CN 117115444 B CN117115444 B CN 117115444B CN 202311161498 A CN202311161498 A CN 202311161498A CN 117115444 B CN117115444 B CN 117115444B
Authority
CN
China
Prior art keywords
result
feature map
downsampling
image
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311161498.5A
Other languages
English (en)
Other versions
CN117115444A (zh
Inventor
吴柯维
何晓罡
武剑
朱小平
王凤宇
徐雍宁
刘亚茹
郑修齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sinoits Tech Co ltd
Original Assignee
Beijing Sinoits Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sinoits Tech Co ltd filed Critical Beijing Sinoits Tech Co ltd
Priority to CN202311161498.5A priority Critical patent/CN117115444B/zh
Publication of CN117115444A publication Critical patent/CN117115444A/zh
Application granted granted Critical
Publication of CN117115444B publication Critical patent/CN117115444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种多任务图像分割方法、***、计算机设备和存储介质，涉及图像处理技术领域，方法包括：构建包括多个样本图像的数据集；构建包括第一编码器、第二编码器、解码器以及融合模块的图像分割模型，并设置图像分割模型的损失函数，基于数据集和损失函数，对图像分割模型进行训练，得到训练好的图像分割模型；将待分割医学图像输入训练好的图像分割模型，得到待分割医学图像对应的分割特征图和类别向量。本发明能够有效地捕获低层空间特征和高层语义上下文信息，利用一个训练好的图像分割模型能够输出多个数据域的分割图即分割特征图，分割特征图具有更高的类别一致性，提高了模型精度和推理速度。

Description

一种多任务图像分割方法、***、计算机设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种多任务图像分割方法、***、计算机设备和存储介质。
背景技术
癌症是全球各国面临的重要公共卫生问题，建立更加便捷的辅助诊断***可以帮助医生更准确地进行诊断和治疗，从而提高治愈率和生存率，并减轻经济负担和社会负担。此外，防御和早期筛查诊断也是预防和控制癌症的重要措施，针对导致癌症的主要行为与环境因素，采取适当的措施来降低人们暴露于患癌的风险因素的可能性，如吸烟、饮食和环境污染等。同时，建立完善的数据统计信息***可以及时了解癌症的流行趋势，为制定有效的干预措施提供有力支撑。
人工智能技术在癌症筛查和诊断方面具有巨大的潜力，通过训练深度学习模型来自动分析和分类医学图像，可以更准确地检测和诊断癌症，也是提升癌症和息肉检出率，以及降低漏检率的有效手段。但是，内窥镜获取癌变组织成像存在图像质量差、干扰多、类间差异小、癌变种类多和边界模糊等问题，为图像自动分类和分割带来巨大挑战。
虽然现在常用卷积网络已经取得了较好的分割效果，但该领域仍存在一些共性问题。如增加多个癌变部位的多个种类数据后，分割的最终结果在类别准确率上效果欠佳，传统语义分割只是在像素级别上分类，较难从整体特性考虑病变的类别，以及实际应用泛化性能不足等问题。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，具体提供了一种多任务图像分割方法、***、计算机设备和存储介质，具体如下：
1)第一方面，本发明提供一种多任务图像分割方法，具体技术方案如下：
构建包括多个样本图像的数据集；
构建图像分割模型，并设置图像分割模型的损失函数，其中，图像分割模型包括第一编码器、第二编码器、解码器以及融合模块；第一编码器的输入为：样本图像对应的原始嵌入序列，第一编码器的输出为：样本图像对应的第一特征图，对样本图像对应的第一特征图连续进行多次上采样后，根据最后一次上采样结果，得到样本图像对应的类别向量，并将每个上采样结果输入融合模块；第二编码器的输入为：样本图像，第二编码器的输出为：样本图像对应的第二特征图，对样本图像对应的第二特征图连续进行多次下采样后，将每个下采样结果输入融合模块；融合模块用于：将所有的上采样结果和所有的下采样结果进行融合，得到多个融合特征图；解码器的输入为：整体融合特征图，其中，整体融合特征图是对所有融合特征图进行拼接得到的，解码器的输出为样本图像对应的分割特征图；
基于数据集和损失函数，对图像分割模型进行训练，得到训练好的图像分割模型；
将待分割医学图像输入训练好的图像分割模型，得到待分割医学图像对应的分割特征图和类别向量。
本发明提供的一种多任务图像分割方法的有益效果如下：
能够有效地捕获低层空间特征和高层语义上下文信息，利用一个训练好的图像分割模型能够输出多个数据域的分割图即分割特征图，分割特征图具有更高的类别一致性，提高了模型精度和推理速度。
在上述方案的基础上，本发明的一种多任务图像分割方法还可以做如下改进。
进一步，样本图像对应的原始嵌入序列的获取过程包括：
将样本图像平均划分为多个块，将所有块进行处理，并结合相同维数的可学习位置嵌入，得到样本图像对应的原始嵌入序列。
进一步，对样本图像对应的第一特征图连续进行多次上采样，包括：
对样本图像对应的第一特征图进行第一次上采样，得到第一次上采样结果，对第一次上采样结果进行第二次上采样，得到第二次上采样结果，对第二次上采样结果进行第三次上采样，得到第三次上采样结果，第一次上采样结果为：第一预设尺度的特征图，第二次上采样结果为：第二预设尺度的特征图，第三次上采样结果为：第三预设尺度的特征图；
对样本图像对应的第二特征图连续进行多次下采样，包括：
对样本图像对应的第二特征图进行第一次下采样，得到第一次下采样结果，对第一次下采样结果进行第二次下采样，得到第二次下采样结果，对第二次下采样结果进行第三次下采样，得到第三次下采样结果，第一次下采样结果为：第三预设尺度的特征图，第二次下采样结果为：第二预设尺度的特征图，第三次下采样结果为：第一预设尺度的特征图。
进一步，融合模块得到多个融合特征图的过程，包括：
将第一次上采样结果和第三次下采样结果进行哈达玛积运算，并经卷积运算后，得到第一中间特征，将第一次上采样结果通过第一通道注意力模块进行处理后，得到第二中间特征，将第三次下采样结果通过第二通道注意力模块进行处理后，得到第三中间特征，将第一中间特征、第二中间特征和第三中间特征进行拼接后，得到第一融合特征图，直至对第二次上采样结果和第二下采样结果进行处理，得到第二融合特征图，以及对第三次上采样结果和第一下采样结果进行处理，得到第三融合特征图。
进一步，第一编码器为Transformer编码器，第二编码器为U-Net编码器，解码器为U-Net解码器。
进一步，样本图像为医学样本图像。
2)第二方面，本发明还提供一种多任务图像分割***，具体技术方案如下：
包括第一构建模块、第二构建模块、训练模块和分割模块；
第一构建模块用于：构建包括多个样本图像的数据集；
第二构建模块用于：构建图像分割模型，并设置图像分割模型的损失函数，其中，图像分割模型包括第一编码器、第二编码器、解码器以及融合模块；第一编码器的输入为：样本图像对应的原始嵌入序列，第一编码器的输出为：样本图像对应的第一特征图，对样本图像对应的第一特征图连续进行多次上采样后，根据最后一次上采样结果，得到样本图像对应的类别向量，并将每个上采样结果输入融合模块；第二编码器的输入为：样本图像，第二编码器的输出为：样本图像对应的第二特征图，对样本图像对应的第二特征图连续进行多次下采样后，将每个下采样结果输入融合模块；融合模块用于：将所有的上采样结果和所有的下采样结果进行融合，得到多个融合特征图；解码器的输入为：整体融合特征图，其中，整体融合特征图是对所有融合特征图进行拼接得到的，解码器的输出为样本图像对应的分割特征图；
训练模块用于：基于数据集和损失函数，对图像分割模型进行训练，得到训练好的图像分割模型；
分割模块用于：将待分割医学图像输入训练好的图像分割模型，得到待分割医学图像对应的分割特征图和类别向量。
在上述方案的基础上，本发明的一种多任务图像分割***还可以做如下改进。
进一步，样本图像对应的原始嵌入序列的获取过程包括：
将样本图像平均划分为多个块，将所有块进行处理，并结合相同维数的可学习位置嵌入，得到样本图像对应的原始嵌入序列。
进一步，对样本图像对应的第一特征图连续进行多次上采样，包括：
对样本图像对应的第一特征图进行第一次上采样，得到第一次上采样结果，对第一次上采样结果进行第二次上采样，得到第二次上采样结果，对第二次上采样结果进行第三次上采样，得到第三次上采样结果，第一次上采样结果为：第一预设尺度的特征图，第二次上采样结果为：第二预设尺度的特征图，第三次上采样结果为：第三预设尺度的特征图；
对样本图像对应的第二特征图连续进行多次下采样，包括：
对样本图像对应的第二特征图进行第一次下采样，得到第一次下采样结果，对第一次下采样结果进行第二次下采样，得到第二次下采样结果，对第二次下采样结果进行第三次下采样，得到第三次下采样结果，第一次下采样结果为：第三预设尺度的特征图，第二次下采样结果为：第二预设尺度的特征图，第三次下采样结果为：第一预设尺度的特征图。
进一步，融合模块得到多个融合特征图的过程，包括：
将第一次上采样结果和第三次下采样结果进行哈达玛积运算，并经卷积运算后，得到第一中间特征，将第一次上采样结果通过第一通道注意力模块进行处理后，得到第二中间特征，将第三次下采样结果通过第二通道注意力模块进行处理后，得到第三中间特征，将第一中间特征、第二中间特征和第三中间特征进行拼接后，得到第一融合特征图，直至对第二次上采样结果和第二下采样结果进行处理，得到第二融合特征图，以及对第三次上采样结果和第一下采样结果进行处理，得到第三融合特征图。
进一步，第一编码器为Transformer编码器，第二编码器为U-Net编码器，解码器为U-Net解码器。
进一步，样本图像为医学样本图像。
3)第三方面，本发明还提供一种计算机设备，处理器与存储器耦合，存储器中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行，以使计算机设备实现上述任意一种多任务图像分割方法。
4)第四方面，本发明还提供一种计算机可读存储介质，计算机可读存储介质中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行，以使计算机实现上述任意一种多任务图像分割方法。
需要说明的是，本发明的第二方面至第四方面的技术方案及对应的可能的实现方式所取得的有益效果，可以参见上述对第一方面及其对应的可能的实现方式的技术效果，此处不再赘述。
附图说明
通过阅读参照以下附图所作的对非限制性实施例的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例的一种多任务图像分割方法的流程示意图；
图2为图像分割模型的结构示意图；
图3为融合模块进行融合的原理示意图；
图4为本发明实施例的一种多任务图像分割***的结构示意图；
图5为本发明实施例的一种计算设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
如图1和图2所示，本发明实施例的一种多任务图像分割方法，包括如下步骤：
S1、构建包括多个样本图像的数据集，其中，样本图像为医学样本图像，获取医学样本图像过程，包括：
S1000、从医院实际采集内窥镜视频数据，从医学角度采集包含癌变区域的各帧图像。
S1001、使用labelme工具对每帧图像中病变的区域标注好轮廓，作为训练所需的分割标签。
S1002、将包含癌变区域的各帧图像的尺寸修改成256×192大小，并通过随机水平或垂直翻转、随机中值滤波、随机改变饱和度等方法对数据进行增强，得到多个医学样本图像。
该实施例中，数据集中的医学样本图像包括：各个类型的癌症的样本图像，如肝癌的样本图像、胃癌的样本图像和肺癌的样本图像等，需要说明的是，样本图像也可为其它技术领域的样本图像。
S2、构建图像分割模型，并设置图像分割模型的损失函数。
其中，图像分割模型包括第一编码器、第二编码器、解码器以及融合模块；第一编码器的输入为：样本图像对应的原始嵌入序列，第一编码器的输出为：样本图像对应的第一特征图，对样本图像对应的第一特征图连续进行多次上采样后，根据最后一次上采样结果，得到样本图像对应的类别向量，并将每个上采样结果输入融合模块；第二编码器的输入为：样本图像，第二编码器的输出为：样本图像对应的第二特征图，对样本图像对应的第二特征图连续进行多次下采样后，将每个下采样结果输入融合模块；融合模块用于：将所有的上采样结果和所有的下采样结果进行融合，得到多个融合特征图；解码器的输入为：整体融合特征图，其中，整体融合特征图是对所有融合特征图进行拼接得到的，解码器的输出为样本图像对应的分割特征图；
其中，第一编码器为Transformer编码器，第二编码器为U-Net编码器，解码器为U-Net解码器，也可根据实际情况，设置第一编码器、第二编码器为其它类型的编码器，以及设置解码器为其它类型的解码器。
其中，根据最后一次上采样结果，得到样本图像对应的类别向量的过程为：
对最后一次上采样结果进行通道池化，得到样本图像对应的类别向量。
S3、基于数据集和损失函数，对图像分割模型进行训练，得到训练好的图像分割模型。
S4、将待分割医学图像输入训练好的图像分割模型，得到待分割医学图像对应的分割特征图和类别向量，当得到待分割医学图像的类别向量，根据类别向量确定待分割医学图像对应的类别，例如，数据集中的医学样本图像包括肝癌的样本图像、胃癌的样本图像和肺癌的样本图像等，待分割医学图像对应的类别为癌样、胃癌或肺癌等。
本发明提供的一种多任务图像分割方法能够有效地捕获低层空间特征和高层语义上下文信息，利用一个训练好的图像分割模型能够输出多个数据域的分割图即分割特征图，分割特征图具有更高的类别一致性，提高了模型精度和推理速度。
可选地，在上述技术方案中，样本图像对应的原始嵌入序列的获取过程包括：
S20、将样本图像平均划分为多个块，将所有块进行处理，并结合相同维数的可学习位置嵌入，得到样本图像对应的原始嵌入序列。
以“第一编码器为Transformer编码器，第二编码器为U-Net编码器，解码器为U-Net解码器，样本图像为医学样本图像”为例，对原始嵌入序列的获取过程进行说明，具体通过S200至S201得到医学样本图像对应的原始嵌入序列，具体地：
S200、将医学样本图像平均划分为多个块，具体地：医学样本图像的大小为H×W，均分别被平均划分为个块(patch)；
S201、将医学样本图像对应的所有块进行处理，同时加入一个相同维数的可学习位置嵌入，得到样本图像对应的原始嵌入序列。
其中，Transformer编码器包括：多头自注意机制(MSA)和多层感知器(MLP)，将原始嵌入序列通过多头自注意机制和多层感知器进行处理，得到与输入的医学样本图像的维度相同的特征图即第一特征图。
可选地，在上述技术方案中，对样本图像对应的第一特征图连续进行多次上采样，包括：
S21、对样本图像对应的第一特征图进行第一次上采样，得到第一次上采样结果，对第一次上采样结果进行第二次上采样，得到第二次上采样结果，对第二次上采样结果进行第三次上采样，得到第三次上采样结果，第一次上采样结果为：第一预设尺度的特征图，第二次上采样结果为：第二预设尺度的特征图，第三次上采样结果为：第三预设尺度的特征图；
其中，第一次上采样结果、第二次上采样结果与第三次上采样结果中，特征图的尺度依次变大，通道数依次变少，也就是说，第一预设尺度小于第二预设尺度，第二预设尺度小于第三预设尺度，第一次上采样结果中的特征图的通道大于第二次上采样结果中的特征图的通道，第二次上采样结果中的特征图的通道大于第三次上采样结果中的特征图的通道。
其中，对最后一次上采样结果进行通道池化，得到样本图像对应的类别向量，具体为：
对第三次上采样结果进行通道池化，得到样本图像对应的类别向量。
对样本图像对应的第二特征图连续进行多次下采样，包括：
S22、对样本图像对应的第二特征图进行第一次下采样，得到第一次下采样结果，对第一次下采样结果进行第二次下采样，得到第二次下采样结果，对第二次下采样结果进行第三次下采样，得到第三次下采样结果，第一次下采样结果为：第三预设尺度的特征图，第二次下采样结果为：第二预设尺度的特征图，第三次下采样结果为：第一预设尺度的特征图。
其中，第一次下采样结果、第二次上采样结果与第三次上采样结果中，特征图的尺度依次变小，通道数依次变多，也就是说，第一次下采样结果中的特征图的通道小于第二下采样结果中的特征图的通道，第二次下采样结果中的特征图的通道小于第三次下采样结果中的特征图的通道，上文中已经记载了第一预设尺度、第二预设尺度和第三预设尺度的大小关系，在此不做赘述。
需要说明的是：第一次上采样结果中的第一预设尺度的特征图与第三次下采样结果中的第一预设尺度的特征图是不同的，第二次上采样结果中的第二预设尺度的特征图与第二次下采样结果中的第二预设尺度的特征图是不同的，第三次上采样结果中的第三预设尺度的特征图与第一次下采样结果中的第三预设尺度的特征图是不同的。
可选地，在上述技术方案中，多个融合特征图包括第一融合特征图、第二融合特征图和第三融合特征图，融合模块得到多个融合特征图的过程，包括：
将第一次上采样结果和第三次下采样结果进行哈达玛积运算，并经卷积运算后，得到第一中间特征，将第一次上采样结果通过第一通道注意力模块进行处理后，得到第二中间特征，将第三次下采样结果通过第二通道注意力模块进行处理后，得到第三中间特征，将第一中间特征、第二中间特征和第三中间特征进行拼接后，得到第一融合特征图，直至对第二次上采样结果和第二下采样结果进行处理，得到第二融合特征图，以及对第三次上采样结果和第一下采样结果进行处理，得到第三融合特征图。
其中，将第一次上采样结果记作G1，将第三次下采样结果记作L1，并基于图3，对得到第一融合特征图的过程，再进行如下详细阐述，具体包括S1040至S1043：
S1040、将第一次上采样结果G1和第三次下采样结果L1进行哈达玛积运算，并经3×3卷积核的卷积运算后，得到第一中间特征F1；
S1041、将第一次上采样结果G1通过通道注意力模块进行处理后，得到第二中间特征F2，具体地：
第一通道注意力模块用于：对第一次上采样结果G1进行最大池化，对最大池化结果通过全连接层进行处理，按通道将处理结果乘回第一次上采样结果G1，得到第一中间特征F2。
S1042、将第三次下采样结果L1通过第二通道注意力模块进行处理后，得到第三中间特征F3，具体地：
第二通道注意力模块用于：对第三次下采样结果L1进行最大池化，对最大池化结果进行卷积运算，将卷积运算结果乘回第三次下采样结果L1，得到第三中间特征F3。
S1043、将第一中间特征F1、第二中间特征F2和第三中间特征F1进行拼接后，得到第一融合特征图。
以此类推，对第二次上采样结果和第二下采样结果进行处理，得到第二融合特征图，以及对第三次上采样结果和第一下采样结果进行处理，得到第三融合特征图。
然后，对第一融合特征图、对第二融合特征图和第三融合特征进行Concat操作即拼接操作，实现对第一融合特征图、对第二融合特征图和第三融合特征图的拼接，得到整体融合特征图。并将整体融合特征图输入U-Net解码器，得到分割特征图，其中，U-Net解码器具体对整体融合特征图连续进行两次上采样，具体地，U-Net解码器对整体融合特征图进行第一次上采样，对该上采样结果进行第二次上采样，所得到的上采样结果为分割特征图，分割特征图与样本图像的标签图的长宽相同。其中，将U-Net解码器的双卷积模块替换为深度可分离卷积，具体实现方式为，当训练胃、食管、肠道三个数据域的模型时，第一步随机采集一个域的数据使用针对该数据域的独立参数的深度可分离卷积，第二步使用1×1共享卷积输出特征图，重复此步骤进行训练。
可选地，在上述技术方案中，对损失函数的构建过程如下：
损失函数包括：Dice Loss和Focal loss，Dice Loss用于计算分割特征图的损失，Focal loss用于计算类别向量和已知的类型标签之间的损失，对Dice Loss和Focal loss的解释如下：
1)将预测输出(分割特征图)与样本图像的标签图使用Dice损失函数计算损失，Dice Loss表示为yt1与pt1分别表示像素t1的标签灰度值与预测值，n为像素点总个数。
2)Transformer编码器输出分割特征图(第三次上采样结果)，并根据各个通道像素置信度，压缩到与类别向量相同维度，从而与类别向量建立一致性损失，损失函数采用Focal loss，表示为FL(G,pt)＝-αt(1-pt)λlog(pt)，G和pt分别为类别向量和预测类别值，其中αt和λ为超参数，分别可以抑制正负样本的数量失衡和控制难易区分样本数量失衡。
3)Dice损失与Focal损失求和作为总损失和，即L＝αLFocal(G,P)+βLDice(G,P)，其中ɑ和β是控制不同损失权重的超参数，由此进行梯度回传训练网络，并用图像分割评价指标对模型进行评价，L＝αLFocal(G,P)+βLDice(G,P)。
在另外一个实施例中，Transformer编码器和U-Net编码器并行提取，对Transformer编码器输出的第一特征图连续进行三次上采样，将U-Net编码器输出的第二特征图连续进行三次下采样，分别得到三种不同尺度的特征图。其中，Transformer编码器包括：多头自注意机制(MSA)和多层感知器(MLP)，将原始嵌入序列通过多头自注意机制和多层感知器进行处理，得到与输入的医学样本图像的维度相同的特征图即第一特征图，随后将Transformer编码器输出的第一特征图维度重塑回大小，其中D代表通道的个数D＝16×16×3。
然后，使用两个连续的标准上采样卷积层来恢复空间分辨率，其中，分别得到和/>D1和D2代表通道的个数。保存三种不同尺度的特征图，与CNN分支相应大小的特征图通过Fusion模块即融合模块进行后期融合。为保证网络可以适用于多个数据域，将U-Net编码器的双卷积模块替换为域适应卷积模块，该模块由特定领域参数和共享参数组成，并以深度可分离卷积代替标准卷积。具体实现方式为：当训练胃、食管、肠道三个数据域的模型时，第一步随机采集一个域的数据使用针对该数据域的独立参数的深度可分离卷积，第二步使用1×1共享卷积输出特征图。重复此步骤进行训练。
本发明主要从多任务学习方法出发，针对食管、胃以及肠道的癌、早癌、息肉等病变内窥镜图像进行分割和分类，现有的算法对种类单一、图片清晰已经有了不错的分割效果，而针对一些低分辨率、光斑噪声较高、分割目标较小和类别界限模糊的图像，当前还没有一个普适的解决方案。而多任务学习方法通过部分信息共享提升整体的学习效果，可以有效利用来自多个数据域的背景信息，这对于小样本上的学习尤其有效。
在本发明中，应用多任务网络对内窥镜图像进行多类分割和分类之间的关联性研究。分割网络过多关注了各个像素的分类置信预测，忽视了全局信息中的类别信息，实际一张图像中没有多个类别，而通过深层语义特征生成的类别向量指导分割输出可较好解决这个问题，以辅助提升整体效果。
一个健壮的模型应该学习分割和分类两个任务之间的一致预测，因为这两个任务彼此内在相关。因此，本发明的目标是利用多个学习任务中所包含的有用信息来帮助其它任务学习，进而得到更为准确的学习器。
在卷积层提取特征时，进一步利用模型共享多个癌变数据域的信息，这样就可以在一定程度上实现数据信息共享，本发明涉及到了多任务学习(Multi-task Learning,MTL)的领域，多任务学习也是机器学习的一个重要分支，通过收集额外的数据信号来获取归纳偏差。本发明使用来自食管、胃和肠道多个域的数据训练，使用通用模型共享全局信息，并使用类别损失指导最终的分割图损失，以此达到对每一个域的数据都实现更优效果。
本发明的一种多任务医学图像分割方法，是一种基于Transformer和U-net的多任务医学图像分割方法，多个数据域共享一个模型，一次前向计算得出结果，占用内存量减少，推理速度增加。并且，关联分割和分类任务，通过共享信息，相互补充，可以提升彼此的表现。
为了进一步结合Transformer编码器和U-Net编码器的优点，提高在医学图像分割中的效果，保留细粒度特征与全局特征的同时保留整体类别信息，计划将Transformer编码器和U-Net编码器并行结合，提供两个输入，分别送入两个编码器中融合各自输出特征图，并对Transformer编码器输出的全局分割特征图根据各个通道像素置信度，压缩到与类别向量相同维度，从而建立一致性损失。同时，针对U-net编码器的每一个双卷积核，都使用可分离卷积对不同数据域分配独立的卷积核，再通过一个共享参数的卷积核，以此实现多个域数据共享。可实现以下技术效果：
可以有效地捕获低层空间特征和高层语义上下文，一个模型输出多个数据域的分割图；输出的分割图具有更高的类别一致性；提高了模型精度和推理速度。
在上述各实施例中，虽然对步骤进行了编号S1、S2等，但只是本发明给出的具体实施例，本领域的技术人员可根据实际情况调整S1、S2等的执行顺序，此也在本发明的保护范围内，可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。
如图4所示，本发明实施例的一种多任务图像分割***200，包括第一构建模块201、第二构建模块202、训练模块203和分割模块203；
第一构建模块201用于：构建包括多个样本图像的数据集；
第二构建模块202用于：构建图像分割模型，并设置图像分割模型的损失函数，其中，图像分割模型包括第一编码器、第二编码器、解码器以及融合模块；第一编码器的输入为：样本图像对应的原始嵌入序列，第一编码器的输出为：样本图像对应的第一特征图，对样本图像对应的第一特征图连续进行多次上采样后，根据最后一次上采样结果，得到样本图像对应的类别向量，并将每个上采样结果输入融合模块；第二编码器的输入为：样本图像，第二编码器的输出为：样本图像对应的第二特征图，对样本图像对应的第二特征图连续进行多次下采样后，将每个下采样结果输入融合模块；融合模块用于：将所有的上采样结果和所有的下采样结果进行融合，得到多个融合特征图；解码器的输入为：整体融合特征图，其中，整体融合特征图是对所有融合特征图进行拼接得到的，解码器的输出为样本图像对应的分割特征图；
训练模块203用于：基于数据集和损失函数，对图像分割模型进行训练，得到训练好的图像分割模型；
分割模块204用于：将待分割医学图像输入训练好的图像分割模型，得到待分割医学图像对应的分割特征图和类别向量。
可选地，在上述技术方案中，样本图像对应的原始嵌入序列的获取过程包括：
将样本图像平均划分为多个块，将所有块进行处理，并结合相同维数的可学习位置嵌入，得到样本图像对应的原始嵌入序列。
可选地，在上述技术方案中，对样本图像对应的第一特征图连续进行多次上采样，包括：
对样本图像对应的第一特征图进行第一次上采样，得到第一次上采样结果，对第一次上采样结果进行第二次上采样，得到第二次上采样结果，对第二次上采样结果进行第三次上采样，得到第三次上采样结果，第一次上采样结果为：第一预设尺度的特征图，第二次上采样结果为：第二预设尺度的特征图，第三次上采样结果为：第三预设尺度的特征图；
对样本图像对应的第二特征图连续进行多次下采样，包括：
对样本图像对应的第二特征图进行第一次下采样，得到第一次下采样结果，对第一次下采样结果进行第二次下采样，得到第二次下采样结果，对第二次下采样结果进行第三次下采样，得到第三次下采样结果，第一次下采样结果为：第三预设尺度的特征图，第二次下采样结果为：第二预设尺度的特征图，第三次下采样结果为：第一预设尺度的特征图。
可选地，在上述技术方案中，融合模块得到多个融合特征图的过程，包括：
将第一次上采样结果和第三次下采样结果进行哈达玛积运算，并经卷积运算后，得到第一中间特征，将第一次上采样结果通过第一通道注意力模块进行处理后，得到第二中间特征，将第三次下采样结果通过第二通道注意力模块进行处理后，得到第三中间特征，将第一中间特征、第二中间特征和第三中间特征进行拼接后，得到第一融合特征图，直至对第二次上采样结果和第二下采样结果进行处理，得到第二融合特征图，以及对第三次上采样结果和第一下采样结果进行处理，得到第三融合特征图。
可选地，在上述技术方案中，第一编码器为Transformer编码器，第二编码器为U-Net编码器，解码器为U-Net解码器。
可选地，在上述技术方案中，样本图像为医学样本图像。
需要说明的是，上述实施例提供的一种多任务图像分割***200的有益效果与上述一种多任务图像分割方法的有益效果相同，在此不再赘述。此外，上述实施例提供的***在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将***根据实际情况划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的***与方法实施例属于同一构思，其具体实现过程详见方法实施例，在此不再赘述。
如图5所示，本发明实施例的一种计算机设备300，计算机设备300包括处理器320，处理器320与存储器310耦合，存储器310中存储有至少一条计算机程序330，至少一条计算机程序330由处理器320加载并执行，以使计算机设备300实现上述任一种多任务图像分割方法，具体地：
计算机设备300可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器320(Central Processing Units，CPU)和一个或多个存储器310，其中，该一个或多个存储器310中存储有至少一条计算机程序330，该至少一条计算机程序330由该一个或多个处理器320加载并执行，以使该计算机设备300实现上述实施例提供的任一种多任务图像分割方法。当然，该计算机设备300还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备300还可以包括其他用于实现设备功能的部件，在此不做赘述。
本发明实施例的一种计算机可读存储介质，计算机可读存储介质中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行，以使计算机实现上述任一种多任务图像分割方法。
可选地，计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一种多任务图像分割方法。
需要说明的是，本申请的说明书和权利要求书中的术语“第一”、“第二”、等是用于区别类似的对象，而代表对特定的顺序或先后次序进行限定。在适当情况下对于类似的对象的使用顺序可以互换，以便这里描述的本申请的实施例能够以除了图示或描述的顺序以外的顺序实施。
所属技术领域的技术人员知道，本发明可以实现为***、方法或计算机程序产品，因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“***”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)，只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种多任务图像分割方法，其特征在于，包括：
构建包括多个样本图像的数据集；
构建图像分割模型，并设置所述图像分割模型的损失函数，其中，所述图像分割模型包括第一编码器、第二编码器、解码器以及融合模块；所述第一编码器的输入为：样本图像对应的原始嵌入序列，所述第一编码器的输出为：样本图像对应的第一特征图，对样本图像对应的第一特征图连续进行多次上采样后，根据最后一次上采样结果，得到样本图像对应的类别向量，并将每个上采样结果输入所述融合模块；所述第二编码器的输入为：样本图像，所述第二编码器的输出为：样本图像对应的第二特征图，对样本图像对应的第二特征图连续进行多次下采样后，将每个下采样结果输入所述融合模块；所述融合模块用于：将所有的上采样结果和所有的下采样结果进行融合，得到多个融合特征图；所述解码器的输入为：整体融合特征图，其中，所述整体融合特征图是对所有融合特征图进行拼接得到的，所述解码器的输出为样本图像对应的分割特征图；
基于所述数据集和所述损失函数，对所述图像分割模型进行训练，得到训练好的图像分割模型；
将待分割医学图像输入所述训练好的图像分割模型，得到所述待分割医学图像对应的分割特征图和类别向量；
样本图像对应的原始嵌入序列的获取过程包括：
将样本图像平均划分为多个块，将所有块进行处理，并结合相同维数的可学习位置嵌入，得到样本图像对应的原始嵌入序列；
对样本图像对应的第一特征图连续进行多次上采样，包括：
对样本图像对应的第一特征图进行第一次上采样，得到第一次上采样结果，对所述第一次上采样结果进行第二次上采样，得到第二次上采样结果，对所述第二次上采样结果进行第三次上采样，得到第三次上采样结果，所述第一次上采样结果为：第一预设尺度的特征图，所述第二次上采样结果为：第二预设尺度的特征图，所述第三次上采样结果为：第三预设尺度的特征图；
对样本图像对应的第二特征图连续进行多次下采样，包括：
对样本图像对应的第二特征图进行第一次下采样，得到第一次下采样结果，对所述第一次下采样结果进行第二次下采样，得到第二次下采样结果，对所述第二次下采样结果进行第三次下采样，得到第三次下采样结果，所述第一次下采样结果为：第三预设尺度的特征图，所述第二次下采样结果为：第二预设尺度的特征图，所述第三次下采样结果为：第一预设尺度的特征图；
所述融合模块得到多个融合特征图的过程，包括：
将所述第一次上采样结果和所述第三次下采样结果进行哈达玛积运算，并经卷积运算后，得到第一中间特征，将所述第一次上采样结果通过第一通道注意力模块进行处理后，得到第二中间特征，将所述第三次下采样结果通过第二通道注意力模块进行处理后，得到第三中间特征，将所述第一中间特征、所述第二中间特征和所述第三中间特征进行拼接后，得到第一融合特征图，直至对所述第二次上采样结果和所述第二次下采样结果进行处理，得到第二融合特征图，以及对所述第三次上采样结果和所述第一次下采样结果进行处理，得到第三融合特征图。
2.根据权利要求1所述的一种多任务图像分割方法，其特征在于，所述第一编码器为Transformer编码器，所述第二编码器为U-Net编码器，所述解码器为U-Net解码器。
3.根据权利要求1所述的一种多任务图像分割方法，其特征在于，样本图像为医学样本图像。
4.一种多任务图像分割***，其特征在于，包括第一构建模块、第二构建模块、训练模块和分割模块；
所述第一构建模块用于：构建包括多个样本图像的数据集；
所述第二构建模块用于：构建图像分割模型，并设置所述图像分割模型的损失函数，其中，所述图像分割模型包括第一编码器、第二编码器、解码器以及融合模块；所述第一编码器的输入为：样本图像对应的原始嵌入序列，所述第一编码器的输出为：样本图像对应的第一特征图，对样本图像对应的第一特征图连续进行多次上采样后，根据最后一次上采样结果，得到样本图像对应的类别向量，并将每个上采样结果输入所述融合模块；所述第二编码器的输入为：样本图像，所述第二编码器的输出为：样本图像对应的第二特征图，对样本图像对应的第二特征图连续进行多次下采样后，将每个下采样结果输入所述融合模块；所述融合模块用于：将所有的上采样结果和所有的下采样结果进行融合，得到多个融合特征图；所述解码器的输入为：整体融合特征图，其中，所述整体融合特征图是对所有融合特征图进行拼接得到的，所述解码器的输出为样本图像对应的分割特征图；
所述训练模块用于：基于所述数据集和所述损失函数，对所述图像分割模型进行训练，得到训练好的图像分割模型；
所述分割模块用于：将待分割医学图像输入所述训练好的图像分割模型，得到所述待分割医学图像对应的分割特征图和类别向量；
样本图像对应的原始嵌入序列的获取过程包括：
将样本图像平均划分为多个块，将所有块进行处理，并结合相同维数的可学习位置嵌入，得到样本图像对应的原始嵌入序列；
对样本图像对应的第一特征图连续进行多次上采样，包括：
对样本图像对应的第一特征图进行第一次上采样，得到第一次上采样结果，对第一次上采样结果进行第二次上采样，得到第二次上采样结果，对第二次上采样结果进行第三次上采样，得到第三次上采样结果，第一次上采样结果为：第一预设尺度的特征图，第二次上采样结果为：第二预设尺度的特征图，第三次上采样结果为：第三预设尺度的特征图；
对样本图像对应的第二特征图连续进行多次下采样，包括：
对样本图像对应的第二特征图进行第一次下采样，得到第一次下采样结果，对第一次下采样结果进行第二次下采样，得到第二次下采样结果，对第二次下采样结果进行第三次下采样，得到第三次下采样结果，第一次下采样结果为：第三预设尺度的特征图，第二次下采样结果为：第二预设尺度的特征图，第三次下采样结果为：第一预设尺度的特征图；
融合模块得到多个融合特征图的过程，包括：
将第一次上采样结果和第三次下采样结果进行哈达玛积运算，并经卷积运算后，得到第一中间特征，将第一次上采样结果通过第一通道注意力模块进行处理后，得到第二中间特征，将第三次下采样结果通过第二通道注意力模块进行处理后，得到第三中间特征，将第一中间特征、第二中间特征和第三中间特征进行拼接后，得到第一融合特征图，直至对第二次上采样结果和第二下采样结果进行处理，得到第二融合特征图，以及对第三次上采样结果和第一下采样结果进行处理，得到第三融合特征图。
5.一种计算机设备，其特征在于，所述计算机设备包括处理器，所述处理器与存储器耦合，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述计算机设备实现如权利要求1至3任一项所述的一种多任务图像分割方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机实现如权利要求1至3任一项所述的一种多任务图像分割方法。
CN202311161498.5A 2023-09-08 2023-09-08 一种多任务图像分割方法、***、计算机设备和存储介质 Active CN117115444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311161498.5A CN117115444B (zh) 2023-09-08 2023-09-08 一种多任务图像分割方法、***、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311161498.5A CN117115444B (zh) 2023-09-08 2023-09-08 一种多任务图像分割方法、***、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN117115444A CN117115444A (zh) 2023-11-24
CN117115444B true CN117115444B (zh) 2024-04-16

Family

ID=88802108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311161498.5A Active CN117115444B (zh) 2023-09-08 2023-09-08 一种多任务图像分割方法、***、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN117115444B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161269A (zh) * 2019-12-23 2020-05-15 上海联影智能医疗科技有限公司 图像分割方法、计算机设备和可读存储介质
WO2021179205A1 (zh) * 2020-03-11 2021-09-16 深圳先进技术研究院 医学图像分割方法、医学图像分割装置及终端设备
CN114066905A (zh) * 2021-11-19 2022-02-18 安徽大学 一种基于深度学习的医学图像分割方法、***、装置
CN114972254A (zh) * 2022-05-25 2022-08-30 宁夏理工学院 一种基于卷积神经网络的宫颈细胞图像分割方法
CN115482241A (zh) * 2022-10-21 2022-12-16 上海师范大学 一种跨模态双分支互补融合的图像分割方法及装置
CN115797632A (zh) * 2022-12-01 2023-03-14 北京科技大学 一种基于多任务学习的图像分割方法
CN116433914A (zh) * 2023-04-28 2023-07-14 齐鲁工业大学(山东省科学院) 一种二维医学图像分割方法及***
CN116485815A (zh) * 2023-05-04 2023-07-25 中南大学 基于双尺度编码器网络的医学图像分割方法、设备和介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220222914A1 (en) * 2021-01-14 2022-07-14 Tata Consultancy Services Limited System and method for attention-based surface crack segmentation
US11580646B2 (en) * 2021-03-26 2023-02-14 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on U-Net

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161269A (zh) * 2019-12-23 2020-05-15 上海联影智能医疗科技有限公司 图像分割方法、计算机设备和可读存储介质
WO2021179205A1 (zh) * 2020-03-11 2021-09-16 深圳先进技术研究院 医学图像分割方法、医学图像分割装置及终端设备
CN114066905A (zh) * 2021-11-19 2022-02-18 安徽大学 一种基于深度学习的医学图像分割方法、***、装置
CN114972254A (zh) * 2022-05-25 2022-08-30 宁夏理工学院 一种基于卷积神经网络的宫颈细胞图像分割方法
CN115482241A (zh) * 2022-10-21 2022-12-16 上海师范大学 一种跨模态双分支互补融合的图像分割方法及装置
CN115797632A (zh) * 2022-12-01 2023-03-14 北京科技大学 一种基于多任务学习的图像分割方法
CN116433914A (zh) * 2023-04-28 2023-07-14 齐鲁工业大学(山东省科学院) 一种二维医学图像分割方法及***
CN116485815A (zh) * 2023-05-04 2023-07-25 中南大学 基于双尺度编码器网络的医学图像分割方法、设备和介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Network-Aided Intelligent Traffic Steering in 5G Mobile Networks;Kim, DY and Kim, S;《CMC-COMPUTERS MATERIALS & CONTINUA》;20201231;第243-261页 *
结合多任务学习的半监督病理图像分割方法;曾黎等;《协和医学杂志》;20230330;第416-425页 *

Also Published As

Publication number Publication date
CN117115444A (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
Yap et al. Deep learning in diabetic foot ulcers detection: A comprehensive evaluation
CN110399929B (zh) 眼底图像分类方法、装置以及计算机可读存储介质
KR102058884B1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
WO2023070447A1 (zh) 模型训练方法、图像处理方法、计算处理设备及非瞬态计算机可读介质
CN113205524B (zh) 基于U-Net的血管图像分割方法、装置和设备
Wazir et al. HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images
CN114419020A (zh) 医学图像分割方法、装置、计算机设备及存储介质
Raut et al. Transfer learning based video summarization in wireless capsule endoscopy
Al Sobbahi et al. Low-light image enhancement using image-to-frequency filter learning
CN117934824A (zh) 一种超声影像的目标区域分割方法、***及电子设备
Nanni et al. Polyp segmentation with deep ensembles and data augmentation
Wang et al. RFPNet: Reorganizing feature pyramid networks for medical image segmentation
Khan et al. ESDMR-Net: A lightweight network with expand-squeeze and dual multiscale residual connections for medical image segmentation
CN113237881A (zh) 一种特定细胞的检测方法、装置和病理切片检测***
CN117115444B (zh) 一种多任务图像分割方法、***、计算机设备和存储介质
Xian et al. Automatic tongue image quality assessment using a multi-task deep learning model
Nanni et al. Deep ensembles and data augmentation for semantic segmentation
Ali et al. Lightweight encoder-decoder architecture for foot ulcer segmentation
CN115965785A (zh) 图像分割方法、装置、设备、程序产品及介质
CN115661170A (zh) 一种腹部三维ct图像自动分割方法、设备及介质
Lee et al. Improved classification of brain-tumor mri images through data augmentation and filter application
CN113807354B (zh) 图像语义分割方法、装置、设备和存储介质
CN113781468B (zh) 一种基于轻量级卷积神经网络的舌图像分割方法
CN110570417A (zh) 肺结节分类方法、装置及图像处理设备
Wang et al. Classification of clinical skin lesions with double-branch networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant