CN110197491B - 图像分割方法、装置、设备和存储介质 - Google Patents

图像分割方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN110197491B
CN110197491B CN201910414306.4A CN201910414306A CN110197491B CN 110197491 B CN110197491 B CN 110197491B CN 201910414306 A CN201910414306 A CN 201910414306A CN 110197491 B CN110197491 B CN 110197491B
Authority
CN
China
Prior art keywords
segmented
medical image
image
segmentation
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910414306.4A
Other languages
English (en)
Other versions
CN110197491A (zh
Inventor
贾鹏飞
刘钦
吴迪嘉
周翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN201910414306.4A priority Critical patent/CN110197491B/zh
Publication of CN110197491A publication Critical patent/CN110197491A/zh
Application granted granted Critical
Publication of CN110197491B publication Critical patent/CN110197491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像分割方法、装置、设备和存储介质，终端通过获取待分割医学图像，并将待分割医学图像输入至预设的分割模型，得到图像分割结果，其中，预设的分割模型包括编码单元和解码单元，解码单元包括多尺度滤波器，多尺度滤波器用于根据待分割医学图像，提取至少两个分辨率的特征。本申请中，终端是将待分割医学图像输入包括了多尺度滤波器的预设的分割模型，通过多尺度滤波器提取至少两个分辨率的特征获得图像分割结果的，使得图像分割结果中包括至少两个根据不同分辨率的特征获得的目标分割结果，避免了只能精确提取一种目标尺寸的特征的情况，提高了图像分割的精度。

Description

图像分割方法、装置、设备和存储介质
技术领域
本申请涉及人工智能技术领域，特别是涉及了一种图像分割方法、装置、设备和存储介质。
背景技术
随着人工智能技术的不断发展，可以通过神经网络模型对医学图像进行分析，得到医学图像的分析结果。
以通过神经网络模型和膝关节图像得到膝关节图像对应的分析结果为例，由于膝关节包括多个部分，如：股骨、胫骨、髌骨、腓骨、股骨软骨、胫骨软骨、髌骨软骨、腓骨软骨、半月板以及前后交叉韧带，通过神经网络模型将膝关节分割成多个目标部分，得到膝关节图像的分析结果。
然而，现有的神经网络模型通常是基于一个预设尺寸目标进行训练的，继续以膝关节图像为例，若现有的神经网络模型是基于半月板的尺寸进行训练得到的，其对半月板的分割精度高，而膝关节中的其他目标与半月板的尺寸差异较大，因此导致通过训练得到的神经网络模型对膝关节图像中其他目标的分割精度低，进而导致膝关节图像分割精度低。
发明内容
基于此，有必要针对分割精度低的问题，提供一种图像分割方法、装置、设备和存储介质。
第一方面，一种图像分割方法，其特征在于，该方法包括：
获取待分割医学图像；
将待分割医学图像输入至预设的分割模型，得到图像分割结果；预设的分割模型包括编码单元和解码单元；解码单元包括多尺度滤波器，多尺度滤波器用于根据待分割医学图像，提取至少两个分辨率的特征。
在其中一个实施例中，多尺度滤波器包括至少两种卷积核；各卷积核用于提取卷积核对应的分辨率的特征。
在其中一个实施例中，多尺度滤波器还包括池化结构，池化结构用于扩大待分割医学图像的感受野，并提取扩大感受野的待分割医学图像的特征。
在其中一个实施例中，编码单元用于缩小待分割医学图像的分辨率，获得至少一个缩小分辨率的待分割医学图像。
在其中一个实施例中，解码单元包括至少两个分类器，各分类器用于根据待分割医学图像或至少一个缩小分辨率的待分割医学图像，得到待分割医学图像或至少一个缩小分辨率的待分割医学图像对应的图像分割结果。
在其中一个实施例中，预设的分割模型包括至少两个解码单元；各解码单元对应一个损失函数；则该方法还包括：
根据各解码单元对应的损失函数，确定预设的分割模型的总损失函数。
在其中一个实施例中，图像分割结果包括股骨、胫骨、髌骨、腓骨、股骨软骨、胫骨软骨、髌骨软骨、腓骨软骨、半月板、前后交叉韧带中的至少两种。
在其中一个实施例中，该方法还包括：
根据图像分割结果和/或预设参数生成图像分割报告。
第二方面，一种图像分割装置，装置包括：
获取模块，用于获取待分割医学图像；
分割模块，用于将待分割医学图像输入至预设的分割模型，得到图像分割结果；预设的分割模型包括编码单元和解码单元；解码单元包括多尺度滤波器，多尺度滤波器用于根据待分割医学图像，提取至少两个分辨率的特征。
第三方面，一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面任一项实施例的步骤。
第四方面，一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面任一项实施例的步骤。
上述图像分割方法、装置、设备和存储介质，终端通过获取待分割医学图像，并将待分割医学图像输入至预设的分割模型，得到图像分割结果，其中，预设的分割模型包括编码单元和解码单元，解码单元包括多尺度滤波器，多尺度滤波器用于根据待分割医学图像，提取至少两个分辨率的特征。本申请中，终端是将待分割医学图像输入包括了多尺度滤波器的预设的分割模型，通过多尺度滤波器提取至少两个分辨率的特征获得图像分割结果的，进而使得图像分割结果中包括至少两个根据不同分辨率的特征获得的目标分割结果，避免了只能精确提取一种目标尺寸的特征的情况，提高了图像分割的精度。
附图说明
图1为一个实施例中图像分割方法的应用环境的示意图；
图2为一个实施例中图像分割方法的流程示意图；
图3为另一个实施例中分割模型训练的流程图；
图4为另一个实施例中图像分割结果的示意图；
图5为另一个实施例中多尺度滤波器的结构示意图；
图6为另一个实施例中分割模型的结构示意图；
图7为一个实施例中提供的图像分割装置的结构示意图；
图8为另一个实施例中提供的图像分割装置的结构示意图；
图9为另一个实施例中提供的图像分割装置的结构示意图。
具体实施方式
本申请提供的图像分割方法、装置、设备和存储介质，旨在解决图像分割精度低的问题。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
本实施例提供的图像分割方法，可以适用于如图1所示的应用环境中。其中，图像分割终端可以为智能手机、平板电脑、笔记本电脑、台式电脑或个人数字助理等具有数据处理功能的电子设备，本实施例对图像分割终端的具体形式不做限定。
需要说明的是，本申请实施例提供的图像分割方法，其执行主体可以是图像分割装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为图像分割终端的部分或者全部。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图2为一个实施例中图像分割方法的流程示意图。本实施例涉及的是终端如何获得图像分割结果的具体过程。如图2所示，该方法包括以下步骤：
S101、获取待分割医学图像。
具体地，待分割医学图像可以是以是对人体或动物的脑部、心脏、关节、血管、肝脏、肾脏、胆囊、胰腺、甲状腺、泌尿***、子宫及附件、牙齿中的至少一种进行扫描获得的图像。其可以包括电子计算机断层扫描图像(Computed Tomography，CT)、磁共振图像(Magnetic Resonance Imaging，MRI)、正电子发射型计算机断层图像(Positron EmissionComputed Tomography，PET)，本申请实施例对此不做限制。在具体获取分割医学图像时，可以是直接与扫描装置连接，通过通讯网络获取待分割医学图像；也可以是扫描设备获得扫描图像后，对该扫描图像进行预处理，去除扫描图像中的干扰信息，获得带分割医学图像；本申请实施例对此不做限制。
S102、将待分割医学图像输入至预设的分割模型，得到图像分割结果；预设的分割模型包括编码单元和解码单元；解码单元包括多尺度滤波器，多尺度滤波器用于根据待分割医学图像，提取至少两个分辨率的特征。
具体地，图像分割结果可以是多目标分割结果。预设的分割模型可以是一种神经网络模型，该神经网络模型中包括待分割医学图像与图像分割结果的映射关系，当待分割医学图像输入该预设的分割模型后，输出图像分割结果。在使用预设的分割模型前，还可以通过训练样本集对分割模型进行训练，获得预设的分割模型。例如，如图3所示，当图像分割结果是膝关节多目标分割结果时，将膝关节MRI图像通过图像预处理，送进分割模型中，经过一系列运算进行特征提取，将模型分割出来的目标与膝关节MRI标签通过损失函数计算差值，反复迭代来更新网络参数，得到最优的分割模型，即为预设的分割模型。图像分割结果可以是包括至少两个目标标识的医学图像，例如，当图像分割结果是多目标分割结果时，多目标分割结果可以是膝关节各部分的分割结果，如图4所示，不同的灰度颜色即为各目标标识，表示膝关节的不同部分。本实施例所提供的预设的分割模型包括编码单元和解码单元，其中解码单元包括多尺度滤波器，多尺度滤波器用于根据待分割医学图像，提取至少两个分辨率的特征。在实际的使用过程中，同一医学图像中可能包括不同尺寸的待分割目标，通常，神经网络模型是按照一个分辨率进行训练的，因此只能准确获得该分辨率的待分割目标，当同一医学图像中需要提取多个不同尺寸的目标时，由于同一个医学图像各目标的分辨率是一致的，仅仅转换该医学图像中的分辨率，不能同时准确的获得多个待分割目标。本申请中，通过预设的分割模型中的多尺度滤波器，直接从待分割医学图像中提取至少两个分辨率的特征，对至少两个分辨率的特征进行分割，获得的图像分割结果。
上述图像分割方法，终端通过获取待分割医学图像，并将待分割医学图像输入至预设的分割模型，得到图像分割结果，其中，预设的分割模型包括编码单元和解码单元，解码单元包括多尺度滤波器，多尺度滤波器用于根据待分割医学图像，提取至少两个分辨率的特征。本申请中，终端是将待分割医学图像输入包括了多尺度滤波器的预设的分割模型，通过多尺度滤波器提取至少两个分辨率的特征获得图像分割结果的，进而使得图像分割结果中包括至少两个根据不同分辨率的特征获得的目标分割结果，避免了只能精确提取一种目标尺寸的特征的情况，提高了图像分割的精度。
可选地，上述多尺度滤波器包括至少两种卷积核；各卷积核用于提取卷积核对应的分辨率的特征。
具体地，多尺度滤波器InceptionBlock，其中包括至少两种卷积核，各卷积核可以是用于提取卷积核对应的分辨率的特征，其中，各卷积核可以根据其对应的卷积计算的精度，得到不同分辨率的特征。例如，如图5所示，卷积核1中卷积计算的精度为1×1×1,对应提取第一分辨率的特征，卷积核2中的卷积计算精度为3×3×3，对应提取第二分辨率的特征，卷积核3中卷积计算的精度为5×5×5，对应提取第三分辨率的特征。
可选地，多尺度滤波器还包括池化结构，池化结构用于扩大待分割医学图像的感受野，并提取扩大感受野的待分割医学图像的特征。
具体地，继续如图5所示，多尺度滤波器还包括池化结构，池化结构用于扩大待分割医学图像的感受野，并提取扩大感受野的待分割医学图像的特征。其中，感受野可以是表示部分医学图像，是通过选择得到的部分医学图像。扩大感受野，也即是选取了待分割医学图像的一部分，此时通过池化结构，提取扩大感受野的待分割医学图像的特征，实际上是提取了待分割医学图像中特定部分的特征。
上述图像分割方法，多尺度滤波器还包括池化结构，池化结构用于扩大待分割医学图像的感受野，并提取扩大感受野的待分割医学图像的特征，使得提取的特征是待分割医学图像中特定部分的特征，这样获得的特征数量少，但包括的信息更加的聚焦，减少模型参数，进而节省了内存和计算的开销，提高了图像分割的效率。
上述实施例重点描述了终端如何通过多尺度滤波器，提取不同分辨率的特征，以获得图像分割结果的具体过程，下面通过下述实施例来详细描述终端是如何缩小待分割医学图像的分辨率的具体过程。
可选地，编码单元用于缩小待分割医学图像的分辨率，获得至少一个缩小分辨率的待分割医学图像。
具体地，编码单元用于缩小待分割医学图像的分辨率，获得至少一个缩小分辨率的待分割医学图像。其可以是一个缩小分辨率的待分割医学图像，也可以是两个缩小分辨率的待分割医学图像，本申请实施例对此不做限制。其可以是通过下采样缩小待分割医学图像的分辨率。例如，如图6所示的分割模型，当分割模型是膝关节分割模型KneeNet，其中，编码单元中包括了4层下采样过程，每一个下采样阶段会通过缩小分辨率将特征缩小。例如，可以通过缩小分辨率将特征缩小一半。同时，下采样过程引入了残差学习来加速收敛。
在上述实施例的基础上，当编码器缩小了待分割医学图像的分辨率，获得至少一个缩小分辨率的待分割医学图像的情况下，对应的解码单元分别处理待分割医学图像和缩小分辨率的待分割医学图像时，对应的，解码单元还包括至少两个分类器，分别用于获得待分割医学图像或至少一个缩小分辨率的待分割医学图像对应的多目标分割结果。可选地，解码单元包括至少两个分类器，各分类器用于根据待分割医学图像或至少一个缩小分辨率的待分割医学图像，得到待分割医学图像或至少一个缩小分辨率的待分割医学图像对应的多目标分割结果。
具体地，在上述实施例的基础上，解码单元包括至少两个分类器，各分类器用于根据待分割医学图像或至少一个缩小分辨率的待分割医学图像，得到待分割医学图像，或，至少一个缩小分辨率的待分割医学图像对应的多目标分割结果。例如，继续如图6所示，解码单元用于扩大特征图，包含四次上采样过程，每一个上采样单元会将特征扩大一倍，同时上采样部分的特征会和编码单元对应层级的特征融合，进而通过解码单元中各层对应的Softmax分类器，获得该层对应的缩小分辨率的待分割医学图像，或，待分割医学图像对应的多目标分割结果。
可选地，预设的分割模型包括至少两个解码单元；各解码单元对应一个损失函数；则该方法还包括：根据各解码单元对应的损失函数，确定预设的分割模型的总损失函数。
具体地，在上述实施例的基础上，预设的分割模型包括至少两个解码单元，其中，各解码单元对应一个损失函数，继续如图6所示，至少两个解码单元可以分别对应一个分类器，在上述实施例的基础上，通过各层分类器获得图像分割结果后，例如，当图像分割结果可以是多目标分割结果时，可以根据各分类器对应的多目标分割结果，和标签结果进行对比，确定各分类器对应的损失函数，也即是各解码单元对应的损失函数。当分类器是对缩小分辨率的待分割医学图像分类获得的多目标分割结果时，还可以通过反卷积，使得该多目标分割结果和输入待分割医学图像的大小相同，进而获得该解码单元的损失函数。需要说明的是，采用反卷积运算，还可以防止深度训练过程中的梯度消失。在具体根据各解码单元对应的损失函数，确定预设的分割模型的总损失函数时，其可以是将各解码单元对应的损失函数相加，获得预设的分割模型的总损失函数，也可以是将各解码单元对应的损失函数加权后相加，获得预设的分割模型的总损失函数，本申请实施例对此不做限制。
上述图像分割方法，终端根据各解码单元对应的损失函数，确定预设的分割模型的总损失函数。预设的分割模型的总损失函数是根据各解码单元对应的损失函数确定的，通过这种方式，使得中间层也判断特征，进一步地提高了图像分割方法的准确性。
可选地，图像分割结果包括股骨、胫骨、髌骨、腓骨、股骨软骨、胫骨软骨、髌骨软骨、腓骨软骨、半月板、前后交叉韧带中的至少两种。
在上述实施例的基础上，当终端获得了图像分割结果后，例如，获得多目标分割结果后，还可以根据多目标分割结果，生成多目标分割报告。可选地，根据多目标分割结果和/或预设参数生成多目标分割报告。
具体地，在上述实施例的基础上，终端获得图像分割结果之后，例如，该图像分割结果可以是多目标分割结果，可以根据多目标分割结果，和/或预设参数，生成多目标分割报告。其中，预设参数可以是指各目标对应的标记信息，可以是颜色，也可以是标注框，本申请实施例对此不做限制。例如，预设参数可以是股骨的标注颜色为红色，胫骨的标注颜色为绿色，髌骨的标注颜色为黄色。图像分割报告可以是对待分割医学图像中各目标进行标识获得的图像报告，也可以是对待分割医学图像中各目标进行标注，同时对各目标进行文字描述，获得的图像和文字结合的报告，本申请实施例对此不做限制。
上述图像分割方法，终端根据图像分割结果和/或预设参数生成图像分割报告。使得图像分割结果是通过图像分割报告显示的，图像分割报告较图像分割结果更加直观，使得图像分割结果的可读性更好。
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示，依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图7为一个实施例中提供的图像分割装置的结构示意图，如图7所示，该图像分割装置包括：获取模块10和分割模块20，其中：
获取模块10，用于获取待分割医学图像；
分割模块20，用于将所述待分割医学图像输入至预设的分割模型，得到图像分割结果；所述预设的分割模型包括编码单元和解码单元；所述解码单元包括多尺度滤波器，所述多尺度滤波器用于根据所述待分割医学图像，提取至少两个分辨率的特征。
在一个实施例中，多尺度滤波器包括至少两种卷积核；各卷积核用于提取卷积核对应的分辨率的特征。
在一个实施例中，多尺度滤波器还包括池化结构，池化结构用于扩大待分割医学图像的感受野，并提取扩大感受野的待分割医学图像的特征。
在一个实施例中，编码单元用于缩小待分割医学图像的分辨率，获得至少一个缩小分辨率的待分割医学图像。
在一个实施例中，解码单元包括至少两个分类器，各分类器用于根据待分割医学图像或至少一个缩小分辨率的待分割医学图像，得到待分割医学图像或至少一个缩小分辨率的待分割医学图像对应的图像分割结果。
本发明实施例提供的图像分割装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
图8为另一个实施例中提供的图像分割装置的结构示意图，预设的分割模型包括至少两个解码单元；各解码单元对应一个损失函数；在图7所示实施例的基础上，如图8所示，图像分割装置还包括：确定模块30，其中：
确定模板30用于根据各解码单元对应的损失函数，确定预设的分割模型的总损失函数。
在一个实施例中，图像分割结果包括股骨、胫骨、髌骨、腓骨、股骨软骨、胫骨软骨、髌骨软骨、腓骨软骨、半月板、前后交叉韧带中的至少两种。
本发明实施例提供的图像分割装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
图9为另一个实施例中提供的图像分割装置的结构示意图，在图7或图8所示实施例的基础上，如图9所示，图像分割装置还包括：生成模块40，其中：
生成模块40用于根据图像分割结果和/或预设参数生成图像分割报告。需要说明的是，图9是基于图8的基础上进行示出的，当然图9也可以基于图7的结构进行示出，这里仅是一种示例。
本发明实施例提供的图像分割装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于一种图像分割装置的具体限定可以参见上文中对图像分割方法的限定，在此不再赘述。上述图像分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端设备，其内部结构图可以如图1所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像分割方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待分割医学图像；
将待分割医学图像输入至预设的分割模型，得到图像分割结果；预设的分割模型包括编码单元和解码单元；解码单元包括多尺度滤波器，多尺度滤波器用于根据待分割医学图像，提取至少两个分辨率的特征。
在一个实施例中，多尺度滤波器包括至少两种卷积核；各卷积核用于提取卷积核对应的分辨率的特征。
在一个实施例中，多尺度滤波器还包括池化结构，池化结构用于扩大待分割医学图像的感受野，并提取扩大感受野的待分割医学图像的特征。
在一个实施例中，编码单元用于缩小待分割医学图像的分辨率，获得至少一个缩小分辨率的待分割医学图像。
在一个实施例中，解码单元包括至少两个分类器，各分类器用于根据待分割医学图像或至少一个缩小分辨率的待分割医学图像，得到待分割医学图像或至少一个缩小分辨率的待分割医学图像对应的图像分割结果。
在一个实施例中，预设的分割模型包括至少两个解码单元；各解码单元对应一个损失函数；处理器执行计算机程序时还实现以下步骤：根据各解码单元对应的损失函数，确定预设的分割模型的总损失函数。
在一个实施例中，图像分割结果包括股骨、胫骨、髌骨、腓骨、股骨软骨、胫骨软骨、髌骨软骨、腓骨软骨、半月板、前后交叉韧带中的至少两种。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据图像分割结果和/或预设参数生成图像分割报告。
本实施例提供的终端设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待分割医学图像；
将待分割医学图像输入至预设的分割模型，得到图像分割结果；预设的分割模型包括编码单元和解码单元；解码单元包括多尺度滤波器，多尺度滤波器用于根据待分割医学图像，提取至少两个分辨率的特征。
在一个实施例中，多尺度滤波器包括至少两种卷积核；各卷积核用于提取卷积核对应的分辨率的特征。
在一个实施例中，多尺度滤波器还包括池化结构，池化结构用于扩大待分割医学图像的感受野，并提取扩大感受野的待分割医学图像的特征。
在一个实施例中，编码单元用于缩小待分割医学图像的分辨率，获得至少一个缩小分辨率的待分割医学图像。
在一个实施例中，解码单元包括至少两个分类器，各分类器用于根据待分割医学图像或至少一个缩小分辨率的待分割医学图像，得到待分割医学图像或至少一个缩小分辨率的待分割医学图像对应的图像分割结果。
在一个实施例中，预设的分割模型包括至少两个解码单元；各解码单元对应一个损失函数；根据各解码单元对应的损失函数，确定预设的分割模型的总损失函数。
在一个实施例中，图像分割结果包括股骨、胫骨、髌骨、腓骨、股骨软骨、胫骨软骨、髌骨软骨、腓骨软骨、半月板、前后交叉韧带中的至少两种。在一个实施例中，计算机程序被处理器执行时实现以下步骤：根据图像分割结果和/或预设参数生成图像分割报告。
本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像分割方法，其特征在于，所述方法包括：
获取待分割医学图像；
将所述待分割医学图像输入至预设的分割模型，得到所述待分割医学图像的多目标分割结果；所述预设的分割模型包括编码单元和解码单元；所述编码单元用于缩小所述待分割医学图像的分辨率，获得至少一个缩小分辨率的待分割医学图像；所述解码单元包括多尺度滤波器，所述多尺度滤波器用于根据所述待分割医学图像，提取至少两个分辨率的特征；所述解码单元包括至少两个分类器，各所述分类器用于根据所述待分割医学图像或所述至少一个缩小分辨率的待分割医学图像，得到所述待分割医学图像或所述至少一个缩小分辨率的待分割医学图像对应的多目标分割结果。
2.根据权利要求1所述方法，其特征在于，所述多尺度滤波器包括至少两种卷积核；各所述卷积核用于提取所述卷积核对应的分辨率的特征。
3.根据权利要求2所述方法，其特征在于，所述多尺度滤波器还包括池化结构，所述池化结构用于扩大所述待分割医学图像的感受野，并提取扩大感受野的待分割医学图像的特征。
4.根据权利要求1-3任一项所述方法，其特征在于，所述编码单元通过下采样缩小所述待分割医学图像的分辨率，获得所述至少一个缩小分辨率的待分割医学图像。
5.根据权利要求4所述方法，其特征在于，所述下采样过程包括残差学习，用于加速收敛。
6.根据权利要求5所述方法，其特征在于，所述预设的分割模型包括至少两个解码单元；各所述解码单元对应一个损失函数；则所述方法还包括：
根据各所述解码单元对应的损失函数，确定所述预设的分割模型的总损失函数。
7.根据权利要求1-3任一项所述方法，其特征在于，所述图像分割结果包括股骨、胫骨、髌骨、腓骨、股骨软骨、胫骨软骨、髌骨软骨、腓骨软骨、半月板、前后交叉韧带中的至少两种。
8.一种图像分割装置，其特征在于，所述装置包括：
获取模块，用于获取待分割医学图像；
分割模块，用于将所述待分割医学图像输入至预设的分割模型，得到图像分割结果；所述预设的分割模型包括编码单元和解码单元；所述编码单元用于缩小所述待分割医学图像的分辨率，获得至少一个缩小分辨率的待分割医学图像；所述解码单元包括多尺度滤波器，所述多尺度滤波器用于根据所述待分割医学图像，提取至少两个分辨率的特征；所述解码单元包括至少两个分类器，各所述分类器用于根据所述待分割医学或所述至少一个缩小分辨率的待分割医学图像，得到所述待分割医学图像或所述至少一个缩小分辨率的待分割医学图像对应的多目标分割结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法的步骤。
CN201910414306.4A 2019-05-17 2019-05-17 图像分割方法、装置、设备和存储介质 Active CN110197491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910414306.4A CN110197491B (zh) 2019-05-17 2019-05-17 图像分割方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910414306.4A CN110197491B (zh) 2019-05-17 2019-05-17 图像分割方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110197491A CN110197491A (zh) 2019-09-03
CN110197491B true CN110197491B (zh) 2021-08-17

Family

ID=67751532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910414306.4A Active CN110197491B (zh) 2019-05-17 2019-05-17 图像分割方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN110197491B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675409A (zh) * 2019-09-20 2020-01-10 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110633715B (zh) * 2019-09-27 2021-09-10 深圳市商汤科技有限公司 图像处理方法、网络训练方法及装置、和电子设备
CN111178428B (zh) * 2019-12-27 2024-03-22 上海联影智能医疗科技有限公司 软骨损伤分类方法、装置、计算机设备和存储介质
CN111612791B (zh) * 2020-05-13 2023-11-28 北京达佳互联信息技术有限公司 图像分割方法、装置、电子设备及存储介质
CN111640093A (zh) * 2020-05-20 2020-09-08 上海联影智能医疗科技有限公司 医学图像的质控方法和计算机可读存储介质
CN112957126B (zh) * 2021-02-10 2022-02-08 北京长木谷医疗科技有限公司 基于深度学习的单髁置换术前规划方法和相关设备
CN115862030B (zh) * 2023-02-24 2023-05-16 城云科技（中国）有限公司 清除图像中文本的算法模型及其构建方法、装置及应用
CN116342974A (zh) * 2023-03-20 2023-06-27 北京医准智能科技有限公司 模型训练方法、膝关节分割方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230329A (zh) * 2017-12-18 2018-06-29 孙颖 基于多尺度卷积神经网络的语义分割方法
CN108335303A (zh) * 2018-01-28 2018-07-27 浙江大学 一种应用于手掌x光片的多尺度手掌骨骼分割方法
CN108986124A (zh) * 2018-06-20 2018-12-11 天津大学 结合多尺度特征卷积神经网络视网膜血管图像分割方法
CN109446970A (zh) * 2018-10-24 2019-03-08 西南交通大学 一种基于深度学习的变电站巡检机器人道路场景识别方法
CN109614973A (zh) * 2018-11-22 2019-04-12 华南农业大学 水稻秧苗及苗期杂草图像语义分割方法、***、设备和介质
CN109635711A (zh) * 2018-12-07 2019-04-16 上海衡道医学病理诊断中心有限公司 一种基于深度学习网络的病理图像分割方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105321176A (zh) * 2015-09-30 2016-02-10 西安交通大学 一种基于分层高阶条件随机场的图像分割方法
US10176388B1 (en) * 2016-11-14 2019-01-08 Zoox, Inc. Spatial and temporal information for semantic segmentation
CN107680088A (zh) * 2017-09-30 2018-02-09 百度在线网络技术（北京）有限公司 用于分析医学影像的方法和装置
CN108986115B (zh) * 2018-07-12 2020-12-18 佛山生物图腾科技有限公司 医学图像分割方法、装置及智能终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230329A (zh) * 2017-12-18 2018-06-29 孙颖 基于多尺度卷积神经网络的语义分割方法
CN108335303A (zh) * 2018-01-28 2018-07-27 浙江大学 一种应用于手掌x光片的多尺度手掌骨骼分割方法
CN108986124A (zh) * 2018-06-20 2018-12-11 天津大学 结合多尺度特征卷积神经网络视网膜血管图像分割方法
CN109446970A (zh) * 2018-10-24 2019-03-08 西南交通大学 一种基于深度学习的变电站巡检机器人道路场景识别方法
CN109614973A (zh) * 2018-11-22 2019-04-12 华南农业大学 水稻秧苗及苗期杂草图像语义分割方法、***、设备和介质
CN109635711A (zh) * 2018-12-07 2019-04-16 上海衡道医学病理诊断中心有限公司 一种基于深度学习网络的病理图像分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Multi-Scale Network with the Encoder-Decoder Structure for CMR Segmentation;Chaoyang Xia 等;《Journal of Information Hiding and Privacy Protection》;20190131;第1卷(第3期);109-117 *
基于全卷积神经网络的多尺度视网膜血管分割;郑婷月 等;《光学学报》;20190228;第39卷(第2期);第0211002-1-0211002-8页，第2-3节，图3 *
基于深度学习的图像语义分割方法综述;田萱 等;《软件学报》;20190215;第30卷(第2期);第440-468页，第3.1.2节 *
郑婷月 等.基于全卷积神经网络的多尺度视网膜血管分割.《光学学报》.2019,第39卷(第2期), *

Also Published As

Publication number Publication date
CN110197491A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN110197491B (zh) 图像分割方法、装置、设备和存储介质
Audenaert et al. Cascaded statistical shape model based segmentation of the full lower limb in CT
US10410353B2 (en) Multi-label semantic boundary detection system
CN110310256B (zh) 冠脉狭窄检测方法、装置、计算机设备和存储介质
Sekuboyina et al. Attention-driven deep learning for pathological spine segmentation
US20210182622A1 (en) Method and system for image segmentation and identification
Rashid et al. Fully convolutional neural network for lungs segmentation from chest X-rays
CN109978037A (zh) 图像处理方法、模型训练方法、装置、和存储介质
CN111429421A (zh) 模型生成方法、医学图像分割方法、装置、设备及介质
CN116188479B (zh) 基于深度学习的髋关节图像分割方法及***
KR102228087B1 (ko) 의료영상에서의 특정연골 분할 방법 및 장치
CN110189306B (zh) 脑图像中异常区域对应的责任血管确定方法和设备
JP7329041B2 (ja) 条件付き敵対的生成ネットワークに基づいて画像を合成する方法および関連機器
US11276490B2 (en) Method and apparatus for classification of lesion based on learning data applying one or more augmentation methods in lesion information augmented patch of medical image
CN110689551B (zh) 四肢骨分割方法、装置、电子设备及可读存储介质
CN109410189B (zh) 图像分割方法以及图像的相似度计算方法、装置
CN110210544A (zh) 图像分类方法、计算机设备和存储介质
CN113935943A (zh) 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质
CN111223158B (zh) 心脏冠脉图像的伪影校正方法和可读存储介质
CN111724389A (zh) 髋关节ct图像分割方法、装置、存储介质和计算机设备
CN114757908A (zh) 基于ct影像的图像处理方法、装置、设备及存储介质
CN110992439A (zh) 纤维束追踪方法、计算机设备和存储介质
CN116681716B (zh) 颅内血管感兴趣区域分割方法、装置、设备和存储介质
Jin et al. Ribseg v2: A large-scale benchmark for rib labeling and anatomical centerline extraction
Goutham et al. Automatic localization of landmarks in cephalometric images via modified U-Net

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant