CN112802028A - 用于纵膈器官分割的图像处理方法及装置 - Google Patents

用于纵膈器官分割的图像处理方法及装置 Download PDF

Info

Publication number
CN112802028A
CN112802028A CN201911111737.XA CN201911111737A CN112802028A CN 112802028 A CN112802028 A CN 112802028A CN 201911111737 A CN201911111737 A CN 201911111737A CN 112802028 A CN112802028 A CN 112802028A
Authority
CN
China
Prior art keywords
segmentation
image data
organ
image
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911111737.XA
Other languages
English (en)
Inventor
王成
岳师怡
俞益洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN201911111737.XA priority Critical patent/CN112802028A/zh
Publication of CN112802028A publication Critical patent/CN112802028A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种用于纵膈器官分割的图像处理方法及装置、计算机设备及可读存储介质。该方法包括:将纵膈器官断层扫描的影像数据输入预设语义分割模型进行语义分割,并通过融合得到语义分割结果;基于所述语义分割结果,通过预设实例分割模型对所述纵膈器官断层扫描的影像数据进行实例分割,以得到实例分割结果;根据所述语义分割结果和所述实例分割结果输出对所述纵膈器官断层扫描的影像数据的图像分割结果。本申请解决了相关技术中对于纵膈全病种的图像检测缺少检测性能较好的检测方法的技术问题。通过本申请,达到了对纵膈全病种进行图像检测的目的,从而实现了提高纵膈全病种图像检测的效率的技术效果。

Description

用于纵膈器官分割的图像处理方法及装置
技术领域
本申请涉及计算机视觉领域,具体而言,涉及一种用于纵膈器官分割的图像处理方法及装置、计算机设备及可读存储介质。
背景技术
深度学习方法已经广泛地应用于计算机视觉领域,尤其是较为基础的语义分割和实例分割领域,并且在医学CT图像的分割、检测任务中得到了成功的应用。在语义分割领域中,Ronneberger等人使用encoder-decoder结构,优化了网络对输入图像中的纹理细节信息的提取,得到了较为精确的分割结果;Milletari等人使用3D卷积、池化等操作替换2D操作,能够实现3D图像端到端的图像语义分割,适用于三维结构的医学影像分割。在实例分割领域中,He等人在物体检测框架的基础上引入用于分割的分支网络,取得了出色的实例分割效果。Chen等人提出了多任务多阶段的混合级联实例分割框架,并且添加了一个语义分割的分支来增强上下文信息,这种框架取得了优于Mask R-CNN的结果。
目前还没有相关技术涉及纵膈全病种的检测,原因在于涉及的病种比较多,对于每种疾病的检出方案也比较多。例如,可以将主动脉、心脏、淋巴和甲状腺疾病全部用实例分割检出,也可以用3D语义分割去单独检出心脏疾病。每种方案各有利弊,且性能差异会比较大。
针对相关技术中对于纵膈全病种的图像检测缺少检测性能较好的检测方法的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种用于纵膈器官分割的图像处理方法及装置、计算机设备及可读存储介质,以解决相关技术中对于纵膈全病种的检测缺少检测性能较好的检测方法的问题。
为了实现上述目的,根据本申请的第一方面,提供了一种用于纵膈器官分割的图像处理方法。
根据本申请的用于纵膈器官分割的图像处理方法包括:将纵膈器官断层扫描的影像数据输入预设语义分割模型进行语义分割,并通过融合得到语义分割结果;基于所述语义分割结果,通过预设实例分割模型对所述纵膈器官断层扫描的影像数据进行实例分割,以得到实例分割结果;根据所述语义分割结果和所述实例分割结果输出对所述纵膈器官断层扫描的影像数据的图像分割结果。
进一步地,所述预设语义分割模型包括第一语义分割模型,所述将纵膈器官断层扫描的影像数据输入预设语义分割模型进行语义分割,并通过融合得到语义分割结果之前包括:将已标注的所述影像数据进行预处理,以得到多个切片影像数据;将切片多个影像数据进行分组,以得到多组训练数据图像;将所述多组训练数据图像分别进行训练,以得到所述第一语义分割模型。
进一步地,所述预设语义分割模型包括多个子网络模型;所述将纵膈器官断层扫描的影像数据输入预设语义分割模型进行语义分割,并通过融合得到语义分割结果包括:按照第一预设规则对所述影像数据进行数据切分后分别进行训练,以得到多个所述子网络模型;将所述影像数据分别输入到多个所述子网络模型,以得到多个子网络模型的分割结果;将多个所述子网络模型的分割结果进行平均值处理,以得到所述语义分割结果。
进一步地,所述基于所述语义分割结果,通过预设实例分割模型对所述纵膈器官断层扫描的影像数据进行实例分割,以得到实例分割结果包括:获取所述语义分割结果的分割标签信息;在所述预设实例分割模型的卷积层中级联所述分割标签信息,以得到所述实例分割结果。
进一步地,所述基于所述语义分割结果,通过预设实例分割模型对所述纵膈器官断层扫描的影像数据进行实例分割,以得到实例分割结果包括:按照第二预设规则对已标注的所述影像数据进行数据切分,以得到多组训练数据图像;将所述多组训练数据图像分别进行训练,以得到所述预设实例分割模型;按照第二预设规则对未标注的所述影像数据进行数据切分并输入到所述预设实例分割模型中,以得到所述实例分割结果。
进一步地,所述根据所述语义分割结果和所述实例分割结果输出对所述纵膈器官断层扫描的影像数据的图像分割结果之后包括:对所述图像分割结果中的纵膈器官图像进行测量,以得到纵膈器官图像的测量结果;将所述纵膈器官图像的测量结果与预设纵膈器官图像阈值进行比较,以得到纵膈器官图像的检测结果。
为了实现上述目的,根据本申请的第二方面,提供了一种用于纵膈器官分割的图像处理装置。
根据本申请的用于纵膈器官分割的图像处理装置包括:第一分割模块,用于将纵膈器官断层扫描的影像数据输入预设语义分割模型进行语义分割,并通过融合得到语义分割结果;第二分割模块,用于基于所述语义分割结果,通过预设实例分割模型对所述纵膈器官断层扫描的影像数据进行实例分割,以得到实例分割结果;输出模块,用于根据所述语义分割结果和所述实例分割结果输出对所述纵膈器官断层扫描的影像数据的图像分割结果。
进一步地,所述预设语义分割模型包括第一语义分割模型,所述装置还包括:切分模块,用于将已标注的所述影像数据进行预处理,以得到多个切片影像数据;分组模块,用于将切片多个影像数据进行分组,以得到多组训练数据图像;训练模块,用于将所述多组训练数据图像分别进行训练,以得到所述第一语义分割模型。
为了实现上述目的,根据本申请的第三方面,提供了一种计算机设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前所述的方法。
为了实现上述目的,根据本申请的第四方面,提供了一种计算机可读存储介质,其上存储有计算机指令,所述指令被处理器执行时实现如前所述方法的步骤。
在本申请实施例中,采用将纵膈器官断层扫描的影像数据输入预设语义分割模型进行语义分割,并通过融合得到语义分割结果;基于所述语义分割结果,通过预设实例分割模型对所述纵膈器官断层扫描的影像数据进行实例分割,以得到实例分割结果的方式,通过根据所述语义分割结果和所述实例分割结果输出对所述纵膈器官断层扫描的影像数据的图像分割结果,达到了对纵膈全病种进行图像检测的目的,从而实现了提高纵膈全病种图像检测的效率的技术效果,进而解决了相关技术中对于纵膈全病种的图像检测缺少检测性能较好的检测方法的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请第一实施例的用于纵膈器官分割的图像处理方法的流程示意图;
图2是根据本申请第二实施例的用于纵膈器官分割的图像处理方法的流程示意图;
图3是根据本申请第三实施例的用于纵膈器官分割的图像处理方法的流程示意图;
图4是根据本申请实施例的纵膈器官图像语义分割的流程示意图;
图5是根据本申请第四实施例的用于纵膈器官分割的图像处理方法的流程示意图;
图6是根据本申请第五实施例的用于纵膈器官分割的图像处理方法的流程示意图;
图7是根据本申请第六实施例的用于纵膈器官分割的图像处理方法的流程示意图;
图8是根据本申请实施例的纵膈器官图像检测和测量的全流程示意图;以及
图9是根据本申请第一实施例的用于纵膈器官分割的图像处理装置的组成结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本发明实施例,提供了一种用于纵膈器官分割的图像处理方法,如图1所示,该方法包括如下的步骤S101至步骤S103:
步骤S101,将纵膈器官断层扫描的影像数据输入预设语义分割模型进行语义分割,并通过融合得到语义分割结果。
具体实施时,首先需要收集海量的已标注的纵膈器官平扫CT影像数据作为训练样本,输入到预设网络模型中进行训练进而得到上述预设语义分割模型,之后将未标注的纵膈器官平扫CT影像数据作为待测试样本输入到上述训练好的预设语义模型中进行图像的语义分割。其中的纵膈器官平扫CT影像数据可以包括主动脉,肺动脉,气管,食管,心脏,甲状腺结节和***节等纵膈器官的影像数据。
优选地,所述预设语义分割模型有多个,例如可以采用2.5D网络模型和3D网络模型,将上述未标注的纵膈器官平扫CT影像数据分别输入上述2.5D网络模型和3D网络模型进行图像的语义分割,最后将2.5D网络模型和3D网络模型的分割结果进行加权融合处理后得到最终的语义分割结果。
步骤S102,基于所述语义分割结果,通过预设实例分割模型对所述纵膈器官断层扫描的影像数据进行实例分割,以得到实例分割结果。
语义分割的核心是确定像素的类别,而实例分割的核心是确定像素的类别和具体的实体,因此实例分割是在语义分割的基础上进行的进一步识别过程,因此本申请实施例在对甲状腺结节和***节等纵膈器官进行图像分割时,基于上述对甲状腺结节和***节等纵膈器官图像的语义分割结果,进一步采用事先训练好的实例分割模型如Mask R-CNN网络模型对纵膈器官平扫CT影像数据进行实例分割,以得到实例分割结果。
步骤S103,根据所述语义分割结果和所述实例分割结果输出对所述纵膈器官断层扫描的影像数据的图像分割结果。
具体实施时,通过上述语义分割结果得到了主动脉,肺动脉,气管,食管,心脏,甲状腺结节和***节等各个纵膈器官的图像像素分类结果,进一步地基于语义分割结果得到了甲状腺结节和***节的实例分割结果,将上述分割结果汇总后输出,以作为后续根据纵膈器官图像的测量结果判断纵膈器官是否存在病变的基础。通过上述过程,实现了对纵膈全病种的影像数据进行图像分割和检测的目的,综合了各个检测方法的良好检测性能,提高了纵膈全病种图像检测的准确性和效率。
作为本申请实施例的一种优选实施方式,如图2所示,所述预设语义分割模型包括第一语义分割模型,所述将纵膈器官断层扫描的影像数据输入预设语义分割模型进行语义分割,并通过融合得到语义分割结果之前包括如下的步骤S201至步骤S203:
步骤S201,将已标注的所述影像数据进行预处理,以得到多个切片影像数据。
具体实施时,在对纵膈器官平扫CT影像数据进行语义分割时,可以采用2.5D网络模型作为第一语义分割模型进行图像的语义分割,在对2.5D网络模型进行模型训练时,首先需要获取已标注的平扫CT影像数据作为训练数据,进一步地对已标注的平扫CT影像数据进行3D图像数据切分,以得到多个切片影像数据。
步骤S202,将切片多个影像数据进行分组,以得到多组训练数据图像。
具体实施时,在得到上述多个切片影像数据后,可以将7个切片影像数据作为一组,组成多组训练数据图像作为训练样本。当然切片数据的具体分组方法本领域技术人员可以根据实际情况灵活调整,在此不做具体限定。
步骤S203,将所述多组训练数据图像分别进行训练,以得到所述第一语义分割模型。
具体实施时,将上述得到的多组训练数据图像分别输入到2.5D网络模型中进行训练,以得到最终的第一语义分割模型。
作为本申请实施例的一种优选实施方式,如图3所示,所述预设语义分割模型包括多个子网络模型;所述将纵膈器官断层扫描的影像数据输入预设语义分割模型进行语义分割,并通过融合得到语义分割结果包括如下的步骤S301至步骤S303:
步骤S301,按照第一预设规则对所述影像数据进行数据切分后分别进行训练,以得到多个所述子网络模型。
具体实施时,上述预设语义分割模型可以包括多个2.5D分割网络模型,在对训练样本进行训练得到多个2.5D分割网络模型前,首先需要将已标注的平扫CT影像数据在x、y、z三个方向进行3D数据的切分,之后再分别进行训练得到3个子网络模型。
步骤S302,将所述影像数据分别输入到多个所述子网络模型,以得到多个子网络模型的分割结果。
具体实施时,在进行未标注的平扫CT影像数据的图像分割时,首先同样需要将未标注的平扫CT影像数据在x、y、z三个方向进行3D数据的切分,之后将切分后的影像数据分别输入到上述训练好的3个子网络模型中进行图像分割,以得到3个子网络模型的图像分割结果。
步骤S303,将多个所述子网络模型的分割结果进行平均值处理,以得到所述语义分割结果。
具体实施时,需要对3个2.5D分割网络输出的切片分割结果进行拼合,得到一个完整的3D平扫CT分割掩膜。具体的拼合方法可以是将3个2.5D分割网络输出的切片分割结果取平均值,作为最终的2.5D语义分割模型的分割结果。
优选地,所述预设语义分割模型还可以包括第二语义分割模型如3D分割网络模型,在进行模型训练时,将原始3D平扫CT图像数据转换成128*128*128像素的图像块输入网络中,并采用dice损失函数进行训练。3D分割网络模型可以使用改进的V-Net网络架构,之后在无标注的平扫CT图像上进行纵膈器官图像的分割测试,得到各个重要器官的分割标签。
最后将上述2.5D分割网络模型和3D分割网络模型的分割结果进行加权融合处理,得到最终的纵膈器官图像分割结果。
如图4所示,提供了一种纵膈全病种图像语义分割的流程示意图,具体过程详见上文描述,在此不做赘述。
作为本申请实施例的一种优选实施方式,如图5所示,所述基于所述语义分割结果,通过预设实例分割模型对所述纵膈器官断层扫描的影像数据进行实例分割,以得到实例分割结果包括如下的步骤S401至步骤S402:
步骤S401,获取所述语义分割结果的分割标签信息。
具体实施时,在进行甲状腺结节和***节等纵膈器官图像的实例分割时,首先需要获取甲状腺结节和***节CT影像数据相应的语义分割结果,确定与所述语义分割结果对应的分割标签。
步骤S402,在所述预设实例分割模型的卷积层中级联所述分割标签信息,以得到所述实例分割结果。
具体实施时,所述预设实例分割模型可以采用Mask R-CNN网络架构,并在RPN(Region Proposal Networks)网络部分和最后一层的卷积层处级联上述语义分割结果中得到的分割标签信息,以提高实例分割的性能。
作为本申请实施例的一种优选实施方式,如图6所示,所述基于所述语义分割结果,通过预设实例分割模型对所述纵膈器官断层扫描的影像数据进行实例分割,以得到实例分割结果包括如下的步骤S501至步骤S503:
步骤S501,按照第二预设规则对已标注的所述影像数据进行数据切分,以得到多组训练数据图像。
具体实施时,在构建预设实例分割模型时,首先需要将人工标注如采用轮廓勾画方式得到的3D平扫CT图像数据在z轴方向上进行数据切分,其中以3个切片为一组,组成多组训练数据图像,作为模型的输入部分。
步骤S502,将所述多组训练数据图像分别进行训练,以得到所述预设实例分割模型。
具体实施时,将上述多组训练数据输入到Mask R-CNN的网络架构中进行训练,以得到上述预设实例分割模型。
步骤S503,按照第二预设规则对未标注的所述影像数据进行数据切分并输入到所述预设实例分割模型中,以得到所述实例分割结果。
具体实施时,在对甲状腺结节和***节等纵膈器官图像进行实例分割时,将未标注的甲状腺结节和***节等纵膈器官图像数据同样在z轴方向上进行数据切分,并将切分后的影像数据输入到上述训练好的实例分割模型中进行实例分割,以得到每一个切片数据的实例分割结果。
作为本申请实施例的一种优选实施方式,如图7所示,所述根据所述语义分割结果和所述实例分割结果输出对所述纵膈器官断层扫描的影像数据的图像分割结果之后包括如下的步骤S601至步骤S602:
步骤S601,对所述图像分割结果中的纵膈器官图像进行测量,以得到纵膈器官图像的测量结果。
具体实施时,在得到上述各个纵膈器官的图像分割结果后,需要进一步根据图像分割结果通过测量等方式确定该纵膈器官是否存在疾病征象。例如,在语义分割网络输出的主动脉分割结果的基础之上,测量z轴方向每一个切片数据库图像中的主动脉内径数值,在语义分割网络输出的心脏分割和肺分割的基础之上,测量z轴方向上每个切片数据图像中的心脏直径数值和胸廓内径数值,得到心脏大直径和对应的胸廓内径直径。
步骤S602,将所述纵膈器官图像的测量结果与预设纵膈器官图像阈值进行比较,以得到纵膈器官图像的检测结果。
具体实施时,需要将上述各个纵膈器官图像的测量结果与预设纵膈器官图像的阈值进行比较,以判断该纵膈器官是否存在疾病征象。例如,在主动脉内径数值测量结果的基础之上,对比每一个切片数据图像中升主动脉内径长度和降主动脉内径长度的相对大小,若两者相差在1.5倍以上,或者升主动脉内径长度大于4.5cm,或降主动脉内径长度大于4cm,则认为该处存在主动脉扩张或主动脉瘤征象。在心脏直径数值和胸廓内径数值测量结果的基础之上,若心脏最大直径与对应的胸廓内径直径的比值在0.5及以上,则认为存在心脏增大的征象。
优选地,在语义分割网络输出的主动脉分割结果的基础之上,对比原始CT图像中对应主动脉处的CT数据数值,以及钙化病变CT数据数值,若主动脉处的CT数据数值大于钙化病变阈值,则认为该处存在主动脉钙化征象。
优选地,若实例分割网络检测到了甲状腺结节,则认为该处存在甲状腺疾病征象。此外,在实例分割网络输出的淋巴节分割的基础之上,对每一个分割得到的***内径进行测量,若***长径数值大于1.5cm或短径数值大于1cm,则认为该处存在***肿大的征象。
如图8所示,提供了一种纵膈全病种图像检测和测量的全流程示意图,具体过程详见上文描述,在此不做赘述。
从以上的描述中,可以看出,本发明实现了如下技术效果:本申请在平扫CT图像上,使用2.5D和3D网络模型对主动脉,肺动脉,气管,食管,心脏等器官图像进行分割,并对2.5D和3D网络模型的输出进行融合操作,得到最终的分割结果。在主动脉和心脏分割的基础上,根据阈值查找是否有主动脉钙化等征象;根据升主动脉和降主动脉内径测量对比查找是否有主动脉扩张或主动脉瘤;在平扫CT图像上,使用正常和有疾病数据对心脏和胸腔CT图像进行分割,通过对心脏最大直径和对应的胸廓内径直径的比较,判断是否存在心脏增大。对甲状腺和淋巴疾病采用轮廓勾画方式进行标注,并采用实例分割的方法进行甲状腺和淋巴疾病的检测。最后通过测量实例分割得到的***的内径,判断是否存在***肿大的疾病。通过上述过程实现了对纵膈全病种CT图像的快速、准确的分割和检测,提高了纵膈全病种图像检测的效率。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
根据本发明实施例,还提供了一种用于实施上述用于纵膈器官分割的图像处理方法的装置,如图9所示,该装置包括:第一分割模块1、第二分割模块2和输出模块3。本申请实施例的第一分割模块1,用于将纵膈器官断层扫描的影像数据输入预设语义分割模型进行语义分割,并通过融合得到语义分割结果。本申请实施例的第二分割模块2,用于基于所述语义分割结果,通过预设实例分割模型对所述纵膈器官断层扫描的影像数据进行实例分割,以得到实例分割结果。本申请实施例的输出模块3,用于根据所述语义分割结果和所述实例分割结果输出对所述纵膈器官断层扫描的影像数据的图像分割结果。
作为本申请实施例的一种优选实施方式,所述预设语义分割模型包括第一语义分割模型,所述装置还包括:切分模块,用于将已标注的所述影像数据进行预处理,以得到多个切片影像数据;分组模块,用于将切片多个影像数据进行分组,以得到多组训练数据图像;训练模块,用于将所述多组训练数据图像分别进行训练,以得到所述第一语义分割模型。
作为本申请实施例的一种优选实施方式,所述预设语义分割模型包括多个子网络模型;所述第一分割模块包括:第一训练单元,用于按照第一预设规则对所述影像数据进行数据切分后分别进行训练,以得到多个所述子网络模型;输入单元,用于将所述影像数据分别输入到多个所述子网络模型,以得到多个子网络模型的分割结果;第一分割单元,用于将多个所述子网络模型的分割结果进行平均值处理,以得到所述语义分割结果。
作为本申请实施例的一种优选实施方式,所述第二分割模块包括:获取单元,用于获取所述语义分割结果的分割标签信息;级联单元,用于在所述预设实例分割模型的卷积层中级联所述分割标签信息,以得到所述实例分割结果。
作为本申请实施例的一种优选实施方式,所述第二分割模块还包括:切分单元,用于按照第二预设规则对已标注的所述影像数据进行数据切分,以得到多组训练数据图像;第二训练单元,用于将所述多组训练数据图像分别进行训练,以得到所述预设实例分割模型;第二分割单元,用于按照第二预设规则对未标注的所述影像数据进行数据切分并输入到所述预设实例分割模型中,以得到所述实例分割结果。
作为本申请实施例的一种优选实施方式,所述装置还包括:测量模块,用于对所述图像分割结果中的纵膈器官图像进行测量,以得到纵膈器官图像的测量结果;比较模块,用于将所述纵膈器官图像的测量结果与预设纵膈器官图像阈值进行比较,以得到纵膈器官图像的检测结果。
上述各模块和各单元之间的具体连接关系和所发挥的作用请参照方法部分的具体描述,在此不做赘述。
根据本发明实施例,还提供了一种计算机设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前所述的方法。
根据本发明实施例,还提供了一种计算机可读存储介质,其上存储有计算机指令,所述指令被处理器执行时实现如前所述方法的步骤。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种用于纵膈器官分割的图像处理方法,其特征在于,包括:
将纵膈器官断层扫描的影像数据输入预设语义分割模型进行语义分割,并通过融合得到语义分割结果;
基于所述语义分割结果,通过预设实例分割模型对所述纵膈器官断层扫描的影像数据进行实例分割,以得到实例分割结果;
根据所述语义分割结果和所述实例分割结果输出对所述纵膈器官断层扫描的影像数据的图像分割结果。
2.根据权利要求1所述的用于纵膈器官分割的图像处理方法,其特征在于,所述预设语义分割模型包括第一语义分割模型,所述将纵膈器官断层扫描的影像数据输入预设语义分割模型进行语义分割,并通过融合得到语义分割结果之前包括:
将已标注的所述影像数据进行预处理,以得到多个切片影像数据;
将切片多个影像数据进行分组,以得到多组训练数据图像;
将所述多组训练数据图像分别进行训练,以得到所述第一语义分割模型。
3.根据权利要求1所述的用于纵膈器官分割的图像处理方法,其特征在于,所述预设语义分割模型包括多个子网络模型;所述将纵膈器官断层扫描的影像数据输入预设语义分割模型进行语义分割,并通过融合得到语义分割结果包括:
按照第一预设规则对所述影像数据进行数据切分后分别进行训练,以得到多个所述子网络模型;
将所述影像数据分别输入到多个所述子网络模型,以得到多个子网络模型的分割结果;
将多个所述子网络模型的分割结果进行平均值处理,以得到所述语义分割结果。
4.根据权利要求1所述的用于纵膈器官分割的图像处理方法,其特征在于,所述基于所述语义分割结果,通过预设实例分割模型对所述纵膈器官断层扫描的影像数据进行实例分割,以得到实例分割结果包括:
获取所述语义分割结果的分割标签信息;
在所述预设实例分割模型的卷积层中级联所述分割标签信息,以得到所述实例分割结果。
5.根据权利要求1所述的用于纵膈器官分割的图像处理方法,其特征在于,所述基于所述语义分割结果,通过预设实例分割模型对所述纵膈器官断层扫描的影像数据进行实例分割,以得到实例分割结果包括:
按照第二预设规则对已标注的所述影像数据进行数据切分,以得到多组训练数据图像;
将所述多组训练数据图像分别进行训练,以得到所述预设实例分割模型;
按照第二预设规则对未标注的所述影像数据进行数据切分并输入到所述预设实例分割模型中,以得到所述实例分割结果。
6.根据权利要求1所述的用于纵膈器官分割的图像处理方法,其特征在于,所述根据所述语义分割结果和所述实例分割结果输出对所述纵膈器官断层扫描的影像数据的图像分割结果之后包括:
对所述图像分割结果中的纵膈器官图像进行测量,以得到纵膈器官图像的测量结果;
将所述纵膈器官图像的测量结果与预设纵膈器官图像阈值进行比较,以得到纵膈器官图像的检测结果。
7.一种用于纵膈器官分割的图像处理装置,其特征在于,包括:
第一分割模块,用于将纵膈器官断层扫描的影像数据输入预设语义分割模型进行语义分割,并通过融合得到语义分割结果;
第二分割模块,用于基于所述语义分割结果,通过预设实例分割模型对所述纵膈器官断层扫描的影像数据进行实例分割,以得到实例分割结果;
输出模块,用于根据所述语义分割结果和所述实例分割结果输出对所述纵膈器官断层扫描的影像数据的图像分割结果。
8.根据权利要求7所述的用于纵膈器官分割的图像处理装置,其特征在于,所述预设语义分割模型包括第一语义分割模型,所述装置还包括:
切分模块,用于将已标注的所述影像数据进行预处理,以得到多个切片影像数据;
分组模块,用于将切片多个影像数据进行分组,以得到多组训练数据图像;
训练模块,用于将所述多组训练数据图像分别进行训练,以得到所述第一语义分割模型。
9.一种计算机设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至6中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机指令,所述指令被处理器执行时实现如权利要求1至6中任一项所述方法的步骤。
CN201911111737.XA 2019-11-13 2019-11-13 用于纵膈器官分割的图像处理方法及装置 Pending CN112802028A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911111737.XA CN112802028A (zh) 2019-11-13 2019-11-13 用于纵膈器官分割的图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911111737.XA CN112802028A (zh) 2019-11-13 2019-11-13 用于纵膈器官分割的图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN112802028A true CN112802028A (zh) 2021-05-14

Family

ID=75803577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911111737.XA Pending CN112802028A (zh) 2019-11-13 2019-11-13 用于纵膈器官分割的图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN112802028A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187582A (zh) * 2022-08-17 2022-10-14 北京医准智能科技有限公司 一种***分割方法、装置、电子设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180315188A1 (en) * 2017-04-21 2018-11-01 General Electric Company Automated organ risk segmentation machine learning methods and systems
CN109544564A (zh) * 2018-11-23 2019-03-29 清华大学深圳研究生院 一种医疗图像分割方法
CN109658419A (zh) * 2018-11-15 2019-04-19 浙江大学 一种医学图像中小器官的分割方法
CN109801307A (zh) * 2018-12-17 2019-05-24 中国科学院深圳先进技术研究院 一种全景分割方法、装置及设备
US20190251694A1 (en) * 2018-02-14 2019-08-15 Elekta, Inc. Atlas-based segmentation using deep-learning
US10467500B1 (en) * 2018-12-31 2019-11-05 Didi Research America, Llc Method and system for semantic segmentation involving multi-task convolutional neural network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180315188A1 (en) * 2017-04-21 2018-11-01 General Electric Company Automated organ risk segmentation machine learning methods and systems
US20190251694A1 (en) * 2018-02-14 2019-08-15 Elekta, Inc. Atlas-based segmentation using deep-learning
CN109658419A (zh) * 2018-11-15 2019-04-19 浙江大学 一种医学图像中小器官的分割方法
CN109544564A (zh) * 2018-11-23 2019-03-29 清华大学深圳研究生院 一种医疗图像分割方法
CN109801307A (zh) * 2018-12-17 2019-05-24 中国科学院深圳先进技术研究院 一种全景分割方法、装置及设备
US10467500B1 (en) * 2018-12-31 2019-11-05 Didi Research America, Llc Method and system for semantic segmentation involving multi-task convolutional neural network

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187582A (zh) * 2022-08-17 2022-10-14 北京医准智能科技有限公司 一种***分割方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
US10970842B2 (en) Method and device for identifying pathological picture
CN111161275B (zh) 医学图像中目标对象的分割方法、装置和电子设备
JP4950071B2 (ja) 3次元医療画像からの肺動脈樹の自動抽出の方法
CN110059697B (zh) 一种基于深度学习的肺结节自动分割方法
CN110298844B (zh) X光造影图像血管分割与识别方法及装置
CN110956635A (zh) 一种肺段分割方法、装置、设备及存储介质
CN105096310B (zh) 利用多通道特征在磁共振图像中分割肝脏的方法和***
US20070109299A1 (en) Surface-based characteristic path generation
CN112541893B (zh) 一种三维断层扫描图像中树状结构分叉关键点的检测方法
CN111488921A (zh) 一种全景数字病理图像智能分析***及方法
CN107730507A (zh) 一种基于深度学习的病变区域自动分割方法
CN113192069B (zh) 三维断层扫描图像中树状结构的语义分割方法和装置
CN108052909B (zh) 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置
CN111080596A (zh) 一种融合局部阴影与全局特征的尘肺病辅助筛查方法及***
WO2023005634A1 (zh) 一种基于ct图像的肺结节良恶性诊断方法及装置
CN111667459A (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质
CN117373070B (zh) 血管分段标注的方法及装置、电子设备和存储介质
CN111461065B (zh) 管状结构识别方法、装置、计算机设备和可读存储介质
CN110738702B (zh) 一种三维超声图像的处理方法、装置、设备及存储介质
CN115439453A (zh) 一种脊椎椎体定位方法、装置、电子设备及存储介质
Peng et al. Pulmonary lobe segmentation in CT images based on lung anatomy knowledge
CN114155193B (zh) 一种基于特征强化的血管分割方法及装置
Li et al. Left ventricle segmentation by combining convolution neural network with active contour model and tensor voting in short-axis MRI
CN112802028A (zh) 用于纵膈器官分割的图像处理方法及装置
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估***和相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination