CN116958551A - 图像分割方法、电子设备及存储介质 - Google Patents

图像分割方法、电子设备及存储介质 Download PDF

Info

Publication number
CN116958551A
CN116958551A CN202310919972.XA CN202310919972A CN116958551A CN 116958551 A CN116958551 A CN 116958551A CN 202310919972 A CN202310919972 A CN 202310919972A CN 116958551 A CN116958551 A CN 116958551A
Authority
CN
China
Prior art keywords
image
aneurysm
segmentation
blood vessel
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310919972.XA
Other languages
English (en)
Inventor
方刚
林付梁
秦岚
杨光明
印胤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Union Strong Beijing Technology Co ltd
Original Assignee
Union Strong Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Union Strong Beijing Technology Co ltd filed Critical Union Strong Beijing Technology Co ltd
Priority to CN202310919972.XA priority Critical patent/CN116958551A/zh
Publication of CN116958551A publication Critical patent/CN116958551A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像分割方法、电子设备及存储介质。该图像分割方法包括：获取待分割造影图像；将待分割造影图像输入图像分割模型中，得到图像分割模型输出的动脉瘤概率图和血管分段概率图；其中，基于造影图像样本集训练得到图像分割模型；造影图像样本集包含动脉瘤标注和血管分段标注；以及根据动脉瘤概率阈值和动脉瘤概率图确定动脉瘤类别分割图。利用本申请的技术方案，能够同时准确分割动脉瘤图像以及血管分段图像，实现动脉瘤血管分段位置的快速精准定位。

Description

图像分割方法、电子设备及存储介质
技术领域
本申请一般涉及图像处理技术领域。更具体地，本申请涉及一种图像分割方法、电子设备及存储介质。
背景技术
目前临床上，核磁共振是动脉瘤等筛查项目中常规且必要的影像扫描手段。由于动脉瘤具有体积变化范围大、发生位置不定和形态各异的特点，因此在影像扫描图像中非常难以辨认。另外，在大型医院以及团体体检的场景下，医务人员需要对大量图像进行检查，工作负担非常繁重，面临巨大挑战。
现有的技术手段是在3D扫描图像中直接识别，或者将3D扫描图像转换为2D最大密度投影图像后进行处理识别。前者搜索范围大，处理速度慢，识别准确率低。后者因为遮挡原因，可能造成小动脉瘤等特殊动脉瘤的形态学并不明显。而且，上述两种技术手段均无法同时解决分割动脉瘤图像、分割血管分段图像以及动脉瘤定位血管分段问题。
有鉴于此，亟需提供一种图像分割方法，以便能够同时准确分割动脉瘤图像以及血管分段图像，实现动脉瘤血管分段位置的快速精准定位。
发明内容
为了至少解决如上所提到的一个或多个技术问题，本申请在多个方面中提出了图像分割方法、电子设备及存储介质。该图像分割方法能够同时准确分割动脉瘤图像以及血管分段图像，实现动脉瘤血管分段位置的快速精准定位。
在第一方面中，本申请提供一种图像分割方法，包括：获取待分割造影图像；将待分割造影图像输入图像分割模型中，得到图像分割模型输出的动脉瘤概率图和血管分段概率图；其中，基于造影图像样本集训练得到图像分割模型；造影图像样本集包含动脉瘤标注和血管分段标注；以及根据动脉瘤概率阈值和动脉瘤概率图确定动脉瘤类别分割图。
在一些实施例中，基于造影图像样本集训练得到图像分割模型包括：获取造影图像样本集；对造影图像样本集中的每一造影样本图像进行数据标注处理，得到每一标注样本图像；其中每一标注样本图像中均包含动脉瘤标注和血管分段标注；对每一标注样本图像进行预处理，得到每一预处理样本图像；对每一预处理样本图像进行数据增强处理，得到目标图像样本集；以及将目标图像样本集输入初始分割模型中进行训练，得到图像分割模型。
在一些实施例中，对造影图像样本集中的每一造影样本图像进行数据标注处理，包括：通过阈值提取算法对每一造影样本图像进行血管分割提取，得到血管分割信息；对每一造影样本图像对应的血管分割信息进行三维血管还原，得到每一造影样本图像对应的三维血管模型；分别在每一造影样本图像对应的三维血管模型中确定动脉瘤感兴趣区域；根据三维血管模型和动脉瘤感兴趣区域确定动脉瘤像素坐标；以及对动脉瘤像素坐标进行数据标注处理，得到动脉瘤标注。
在一些实施例中，在通过阈值提取算法对每一造影样本图像进行血管分割提取，得到血管分割信息之后，还包括：根据血管分割信息进行数据标注处理，得到血管分段标注。
在一些实施例中，预处理包括灰度归一化处理和重采样处理；其中，对每一标注样本图像进行预处理包括：对每一标注样本图像进行灰度统计和分辨率统计，得到灰度统计信息和分辨率统计信息；根据灰度统计信息确定灰度方差和灰度均值；根据灰度方差和灰度均值进行灰度归一化处理；根据分辨率统计信息确定目标分辨率；以及根据目标分辨率进行重采样处理。
在一些实施例中，初始分割模型包含编码器和解码器；其中，将目标图像样本集输入初始分割模型中进行训练包括：将目标图像样本集中的目标样本图像输入编码器中，得到由解码器输出的动脉瘤预测图和血管分段预测图；基于目标损失函数、动脉瘤预测图和血管分段预测图确定损失函数值；以及根据损失函数值对初始分割模型的模型参数进行优化，并基于损失函数值确定是否输出图像分割模型。
在一些实施例中，解码器包含N层共享反卷积层、M层动脉瘤反卷积层和M层血管分段反卷积层，编码器包含M+N层卷积层；其中，共享反卷积层、动脉瘤反卷积层和血管分段反卷积层中均分别包含反卷积核和Relu激活层；卷积层包含卷积核和Relu激活层；将目标图像样本集中的目标样本图像输入编码器中，得到由解码器输出的动脉瘤预测图和血管分段预测图包括：将目标图像样本集中的目标样本图像输入编码器中进行下采样，得到第一中间特征数据；将第一中间特征数据输入N层共享反卷积层中进行上采样，得到第二中间特征数据；将第二中间特征数据分别输入M层动脉瘤反卷积层和M层血管分段反卷积层中，得到动脉瘤预测图和血管分段预测图。
在一些实施例中，基于目标损失函数、动脉瘤预测图和血管分段预测图确定损失函数值包括：根据动脉瘤预测图中每一像素点的动脉瘤预测概率值、动脉瘤预测类别、目标损失函数和动脉瘤标注确定第一损失值；根据血管分段预测图中每一像素点的血管分段预测概率值、血管预测分段类别、目标损失函数和血管分段标注确定第二损失值；根据第一损失值和第二损失值确定损失函数值。
在一些实施例中，基于损失函数值确定是否输出图像分割模型包括：若训练迭代次数达到预设次数，和/或若在每一损失函数值中连续k次得到的损失函数值不降低，则停止更新初始分割模型的模型参数并输出图像分割模型。
在一些实施例中，在根据动脉瘤概率阈值和动脉瘤概率图确定动脉瘤类别分割图之后，还包括：根据血管分段概率阈值和血管分段概率图确定血管分段类别分割图。
在第二方面中，本申请提供一种电子设备，包括：
处理器；以及存储器，其上存储有用于图像分割的程序代码，当所述程序代码被所述处理器执行时，使所述电子设备实现如上所述的方法。
在第三方面中，本申请提供一种非暂时性机器可读存储介质，其上存储有用于图像分割的程序代码，当所述程序代码由处理器执行时，使得实现如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：
通过如上所提供的图像分割方法、电子设备及存储介质，本申请实施例通过获取待分割造影图像，进而将待分割造影图像输入图像分割模型中，得到图像分割模型输出的动脉瘤概率图和血管分段概率图。其中，图像分割模型基于造影图像样本集训练得到，而造影图像样本集中包含了动脉瘤标注和血管分段标注，从而能够让图像分割模型从大量的造影样本图像中学习到动脉瘤特征和血管分段特征，使得图像分割模型能够在训练完成之后针对不同的待分割造影图像进行图像分割，输出动脉瘤概率图和血管分段概率图。
进一步地，根据动脉瘤概率阈值和动脉瘤概率图确定动脉瘤类别分割图，从而实现对临床产生的待分割造影图像中的动脉瘤进行自动化筛查，降低动脉瘤的检出难度，提升医护人员对动脉瘤的诊断效率，降低医护人员工作量以及降低误诊漏诊风险。
总的来说，本申请实施例能够同时准确分割动脉瘤图像以及血管分段图像，实现动脉瘤血管分段位置的快速精准定位，提升动脉瘤的检测精度。
附图说明
通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
图1示出了本申请一些实施例的图像分割方法的示例性流程图；
图2示出了本申请另一些实施例的图像分割方法的示例性流程图；
图3示出了本申请再一些实施例的图像分割方法的示例性流程图；
图4是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。为了说明的简单和清楚，在认为合适的情况下，可以在附图中重复附图标记以指示对应或类似的元件。另外，本申请阐述了许多具体细节以便提供对本文所述实施例的透彻理解。然而，本领域普通技术人员将理解，可以在没有这些具体细节的情况下实践本文描述的实施例。在其他情况下，没有详细描述公知的方法、过程和组件，以免模糊本文描述的实施例。而且，该描述不应被视为限制本文描述的实施例的范围。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，本申请披露的权利要求、说明书及附图中的可能术语“第一”或“第二”等是用于区别不同对象，而不是用于描述特定顺序。本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
目前临床上，核磁共振是动脉瘤等筛查项目中常规且必要的影像扫描手段。由于动脉瘤具有体积变化范围大、发生位置不定和形态各异的特点，因此在影像扫描图像中非常难以辨认。另外，在大型医院以及团体体检的场景下，医务人员需要对大量图像进行检查，工作负担非常繁重，面临巨大挑战。现有的技术手段是在3D扫描图像中直接识别，或者将3D扫描图像转换为2D最大密度投影图像后进行处理识别。前者搜索范围大，处理速度慢，识别准确率低。后者因为遮挡原因，可能造成小动脉瘤等特殊动脉瘤的形态学并不明显。而且，上述两种技术手段均无法同时解决分割动脉瘤图像、分割血管分段图像以及动脉瘤定位血管分段问题。
有鉴于此，亟需提供一种图像分割方法，以便能够同时准确分割动脉瘤图像以及血管分段图像，实现动脉瘤血管分段位置的快速精准定位。
下面结合附图来详细描述本申请的具体实施方式。
图1示出了本申请一些实施例的图像分割方法的示例性流程图，请参阅图1，本申请实施例示出的图像分割方法可以包括：
在步骤S101中，获取待分割造影图像。在本申请实施例中，前述的待分割造影图像是指需要分割出动脉瘤图像的原始临床造影图像。示例性地，待分割造影图像可以是磁共振血管造影(MRA)影像，也可以是TOF(Time of Flight，飞行时间法)磁共振血管造影影像。在实际应用中，需根据实际应用情况来确定待分割造影图像的模态，本申请在此方面不作任何限制。
可以理解的是，动脉瘤是血管上的异常组织，其跟血管位置有一定的因果关系。因此，在该待分割造影图像中包含有血管分段图像，而血管分段图像中也必然包含有动脉瘤图像的ROI(Region of Interest，感兴趣区域)。
在步骤S102中，将待分割造影图像输入图像分割模型中，得到图像分割模型输出的动脉瘤概率图和血管分段概率图。在本申请实施例中，前述的图像分割模型基于造影图像样本集训练得到。可以理解的是，前述的造影图像样本集中的每一造影样本图像可以是通过磁共振成像MRA或TOF磁共振成像等扫描手段所获取的不同模态的样本影像数据。
在本申请实施例中，每一造影样本图像均可以包含有血管分段图像，而血管分段图像中也包含有动脉瘤图像的ROI。从而，本申请实施例可以通过将各个血管分段以及动脉瘤进行标记统筹，利用血管分段以及动脉瘤之间的解剖关系等信息，提高动脉瘤的检测准确性。因此，本申请实施例中的造影图像样本集包含动脉瘤标注和血管分段标注，能够让图像分割模型从大量的造影样本图像中学习到动脉瘤特征和血管分段特征，使得图像分割模型能够在训练完成之后针对不同的待分割造影图像进行图像分割，输出动脉瘤概率图和血管分段概率图。
在步骤S103中，根据动脉瘤概率阈值和动脉瘤概率图确定动脉瘤类别分割图。在本申请实施例中，可以将图像分割模型所输出的动脉瘤概率图与动脉瘤概率阈值进行对比，从而根据比对结果得到动脉瘤类别分割图。可以理解的是，动脉瘤概率阈值的取值需根据实际应用情况来进行确定，示例性地，动脉瘤概率阈值可以取值为0.5，本申请在此方面不作任何限制，进而可以将动脉瘤概率图中概率大于0.5的位置分割出来，得到动脉瘤类别分割图。
进一步地，可以根据动脉瘤类别分割图计算动脉瘤的形态学参数，该形态学参数包含但不限于动脉瘤体积等。还可以根据动脉瘤类别分割图确定动脉瘤所在血管分段的定位信息。从而能够为医护人员提供更加充分的诊断参考信息，辅助医护人员对动脉瘤进行高效治疗。
在一些应用场景中，医护人员可能不仅需要查看动脉瘤类别分割图，而且需要查看血管分段类别分割图来进行辅助判断，例如根据动脉瘤类别分割图确定动脉瘤所在血管分段的定位信息。因此，在根据动脉瘤概率阈值和动脉瘤概率图确定动脉瘤类别分割图之后，还可以根据血管分段概率阈值和血管分段概率图确定血管分段类别分割图。具体地，可以将图像分割模型所输出的血管分段概率图与血管分段概率阈值进行对比，从而根据比对结果得到血管分段类别分割图。可以理解的是，血管分段概率阈值的取值需根据实际应用情况来进行确定，示例性地，血管分段概率阈值也可以取值为0.5，本申请在此方面不作任何限制，进而可以将血管分段概率图中概率大于0.5的位置分割出来，得到血管分段类别分割图。
本申请实施例通过获取待分割造影图像，进而将待分割造影图像输入图像分割模型中，得到图像分割模型输出的动脉瘤概率图和血管分段概率图。其中，图像分割模型基于造影图像样本集训练得到，而造影图像样本集中包含了动脉瘤标注和血管分段标注，从而能够让图像分割模型从大量的造影样本图像中学习到动脉瘤特征和血管分段特征，使得图像分割模型能够在训练完成之后针对不同的待分割造影图像进行图像分割，输出动脉瘤概率图和血管分段概率图。进一步地，根据动脉瘤概率阈值和动脉瘤概率图确定动脉瘤类别分割图，从而实现对临床产生的待分割造影图像中的动脉瘤进行自动化筛查，降低动脉瘤的检出难度，提升医护人员对动脉瘤的诊断效率，降低医护人员工作量以及降低误诊漏诊风险。总的来说，本申请实施例能够同时准确分割动脉瘤图像以及血管分段图像，实现动脉瘤血管分段位置的快速精准定位，提升动脉瘤的检测精度。
在一些实施例中，可以对图像分割模型的训练步骤进行进一步设计。下文将结合图2来对图像分割模型的训练步骤进行详细说明。图2示出了本申请另一些实施例的图像分割方法的示例性流程图，请参阅图2，本申请实施例示出的图像分割方法可以包括：
在步骤S201中，获取造影图像样本集。由于通过磁共振成像MRA或TOF磁共振成像等扫描手段所获取的不同模态的样本影像数据的像素较多，直接使用该样本影像数据可能会造成运算量过大和运算效率低下的情况。因此，在本申请实施例中，可以对该样本影像数据进行图像取块处理，具体地，在样本影像数据中进行图像取块的位置是随机的，但要求有一定概率分别采样前景和背景，前景可以视为动脉瘤，背景可以视为血管分段，这样的话可以解决动脉瘤像素相对血管分段像素较少的取块类别不均衡问题。作为示例，图像取块分辨率可以设置为[0.5,0.4,0.4]，图像取块尺寸可以设置为[56,224,224]，在实际应用中，需根据实际应用情况确定图像取块处理过程中的各种取块参数，例如上述的图像取块分辨率和图像取块尺寸，本申请在此方面不作任何限制。进而经过图像取块处理所得的图像构成造影图像样本集。
可以理解的是，相应地，在待分割造影图像输入图像分割模型之前，也可以对待分割造影图像进行图像取块处理，形成多个图像块输入至图像分割模型中进行处理。在处理完毕之后，可以通过滑动窗技术(sliding window)对图像分割模型输出的所有图像进行计算拼接，从而得到最终的全图结果。
在步骤S202中，对造影图像样本集中的每一造影样本图像进行数据标注处理，得到每一标注样本图像。具体地，首先可以通过阈值提取算法对每一造影样本图像进行血管分割提取，得到血管分割信息。作为示例，假设采用阈值提取算法来实现血管分割提取，则可以预先设定一个灰度阈值，若大于该灰度阈值，则确定该灰度对应的像素位置属于血管。
然后，可以根据血管分割信息进行数据标注处理，得到血管分段标注。
接着，可以对每一造影样本图像对应的血管分割信息进行三维血管还原，得到每一造影样本图像对应的三维血管模型。作为示例，可以通过MarchingCubes算法对每一造影样本图像对应的血管分割信息进行三维血管还原，得到每一造影样本图像对应的三维血管模型。MarchingCubes是一种面绘制算法，面绘制算法是一种能够用于医学图像三维重建的算法。
再者，可以分别在每一造影样本图像对应的三维血管模型中确定动脉瘤感兴趣区域。作为示例，可以根据预存的动脉瘤形态数据来分别在每一造影样本图像对应的三维血管模型中确定动脉瘤感兴趣区域，从而对动脉瘤感兴趣区域进行选定，进而根据三维血管模型和动脉瘤感兴趣区域确定选定范围之内的动脉瘤像素坐标。
最后，可以对动脉瘤像素坐标对应的像素点进行数据标注处理，得到动脉瘤标注。从而使得每一标注样本图像中均包含动脉瘤标注和血管分段标注。
可以理解的是，上述对于数据标注处理的描述仅为示例性的，在实际应用中，实现数据标注处理的方式是多样的，例如还可以采用区域生长算法等，需根据实际应用情况选择合适的方式来进行数据标注处理，本申请在此方面不作任何限制。
在步骤S203中，对每一标注样本图像进行预处理，得到每一预处理样本图像。在本申请实施例中，前述的预处理可以包括但不限于灰度归一化处理和重采样处理，优选地，还可以包括血管增强滤波处理。
具体地，首先可以对每一标注样本图像进行灰度统计和分辨率统计，得到灰度统计信息和分辨率统计信息。
然后，可以根据灰度统计信息确定灰度方差和灰度均值，进而根据灰度方差和灰度均值进行灰度归一化处理。在本申请实施例中，灰度归一化处理可以采用均值方差归一化来实现。均值方差归一化也称标准化，其将所有数据归到均值为0，方差为1的分布中，即确保最终得到的归一化的解集的均值为0，方差为1。作为示例，可以通过以下公式(1)来进行灰度归一化处理：
其中，Gi为灰度统计信息中第i个灰度值对应的归一化解，xi为灰度统计信息中第i个灰度值，μ为灰度均值，S为灰度方差。
接着，可以根据分辨率统计信息确定目标分辨率，进而根据目标分辨率进行重采样处理。在本申请实施例中，目标分辨率可以示例性地确定为0.600×0.344×0.344，重采样处理所采用的算法可以包含但不限于最近邻算法、双线性插值算法、双立方(三次)卷积插值算法和多重采样算法等。可以理解的是，在实际应用中，需根据实际应用情况确定目标分辨率和选取重采样处理所采用的算法，本申请在此方面不作任何限制。
在步骤S204中，对每一预处理样本图像进行数据增强处理，得到目标图像样本集。在本申请实施例中，具体地，可以对每一预处理样本图像进行包括旋转、放缩、翻转、模糊、gama变换等处理，以实现数据增强的效果。经过数据增强处理之后所得的图像构成目标图像样本集。
在步骤S205中，将目标图像样本集输入初始分割模型中进行训练，得到图像分割模型。在本申请实施例中，目标图像样本集中的各个目标样本图像不仅包含了动脉瘤标注和血管分段标注，而且目标图像样本集中的各个目标样本图像均进行预处理和数据增强处理，从而能够让初始分割模型基于大量的目标样本图像学习到动脉瘤特征和血管分段特征，使得图像分割模型能够具备对不同的待分割造影图像进行图像分割，输出动脉瘤概率图和血管分段概率图的能力。
在一些实施例中，初始分割模型包含编码器和解码器，进而可以对将目标图像样本集输入初始分割模型中进行训练的过程进行进一步设计。下文将结合图3来对将目标图像样本集输入初始分割模型中进行训练的过程进行详细描述。图3示出了本申请再一些实施例的图像分割方法的示例性流程图，请参阅图3，本申请实施例示出的图像分割方法可以包括：
在步骤S301中，将目标图像样本集中的目标样本图像输入编码器中，得到由解码器输出的动脉瘤预测图和血管分段预测图。在本申请实施例中，解码器包含N层共享反卷积层、M层动脉瘤反卷积层和M层血管分段反卷积层，编码器包含M+N层卷积层；其中，共享反卷积层、动脉瘤反卷积层和血管分段反卷积层中均分别包含反卷积核和Relu激活层；卷积层包含卷积核和Relu激活层。前述的Relu激活层是指Relu激活函数层，Relu激活函数即是线性整流函数，又称修正线性单元，是一种人工神经网络中常用的激活函数。激活函数的引入是为了增加神经网络模型的非线性，没有激活函数每层卷积层就相当于矩阵相乘。
首先，可以将目标图像样本集中的目标样本图像输入编码器中进行下采样，得到第一中间特征数据。在本申请实施例中，每一层卷积层所包含的卷积核可以是kernel size(卷积核尺寸)为3×3×3、stride(步长)为1、padding(填充属性)为0的卷积核。可以理解的是，在实际应用中，需根据实际应用情况来对卷积核的参数进行设定，本申请在此方面不作任何限制。每一层卷积层的输入和输出的张量尺寸为均可表示为[N,C,H,W]，其中N为训练数据样本个数(Batch size)，C为网络通道(channel)数，H指特征图的高度，W指特征图的宽度。Batch size可以根据显存大小设置，设置越大收敛性越好。第一层卷积层输入channel数大小可以为1，输出channel数可以为96，后续每一层卷积层的输入和输出channel数都可以设置为96。可以理解的是，在实际应用中，channel数可以根据实际应用情况进行调整，本申请在此方面不作任何限制。示例性地，假设输入的目标样本图像为尺寸为256×256的造影图像，在Batch size设置为4、channel数设置为96以及卷积层层数为5层的情况下，编码器的第一层卷积层的输入张量为4×1×256×256，后续每层卷积层的输出特征向量依次为4×96×254×254，4×96×252×252，4×96×250×250，4×96×248×248以及4×96×246×246。
然后，可以将第一中间特征数据输入N层共享反卷积层中进行上采样，得到第二中间特征数据。进一步地，可以将第二中间特征数据分别输入M层动脉瘤反卷积层和M层血管分段反卷积层中，得到动脉瘤预测图和血管分段预测图。可以理解的是，相当于分出用于血管分段分割训练的反卷积层分支和用于动脉瘤分割训练的反卷积层分支，从而能够利用这两个分支分别输出动脉瘤预测图和血管分段预测图。在本申请实施例中，共享反卷积层、动脉瘤反卷积层和血管分段反卷积层均可以为同样的反卷积层，反卷积是卷积过程的逆操作，因此每一层反卷积层的参数与上述卷积层的参数对应一致，因此，最后一层反卷积层的channel数大小可以为1，用于在训练过程中输出动脉瘤预测图或血管分段预测图，其尺寸与输入的目标样本图像大小一致。示例性地，假设输入的目标样本图像为尺寸为256×256的造影图像，在Batch size设置为4、channel数设置为96以及反卷积层层数(共享反卷积层与动脉瘤反卷积层的层数和或者共享反卷积层与血管分段反卷积层的层数和)为5层的情况下，解码器的第一层反卷积层输入的中间特征图的张量尺寸为4×96×246×246，后续每层反卷积层的输出特征向量依次为4×96×248×248，4×96×250×250，4×96×252×252，4×96×254×254以及4×1×256×256。
作为示例，上述的N可以取值为2，M可以取值为3，在实际应用中，需根据实际应用情况确定M和N的取值，本申请在此方面不作任何限制。
在步骤S302中，基于目标损失函数、动脉瘤预测图和血管分段预测图确定损失函数值。具体地，首先可以根据动脉瘤预测图中每一像素点的动脉瘤预测概率值、动脉瘤预测类别、目标损失函数和动脉瘤标注确定第一损失值，然后可以根据血管分段预测图中每一像素点的血管分段预测概率值、血管预测分段类别、目标损失函数和血管分段标注确定第二损失值。作为示例，目标损失函数可以采用CE Loss函数与DICE Loss函数求和所构成的函数。目标损失函数可以通过以下公式(2)来表示：
其中，pi为动脉瘤预测图中每一像素点的动脉瘤预测概率值或血管分段预测图中每一像素点的血管分段预测概率值，C表示动脉瘤预测类别或血管预测分段类别，gi为每一像素点的对应的动脉瘤标注或血管分段标注，B为像素点总数。
最后可以根据第一损失值和第二损失值确定损失函数值。在本申请实施例中，可以对第一损失值和第二损失值进行加权求和，可以通过以下公式(3)来表示：
Total_Loss＝ a1×Segs_Loss+a2×AN_Loss (3)
其中，Total_Loss为损失函数值，a1为第一权重，Segs_Loss为第二损失值，a2为第二权重，AN_Loss为第一损失值。示例性地，第一权重可以设为0.6，第二权重可以设为0.4，在实际应用中，需根据实际应用情况确定第一权重和第二权重的取值，本申请在此方面不作任何限制。
在步骤S303中，根据损失函数值对初始分割模型的模型参数进行优化，并基于损失函数值确定是否输出图像分割模型。具体地，可以若训练迭代次数达到预设次数，和/或若在每一损失函数值中连续k次得到的损失函数值不降低，则停止更新初始分割模型的模型参数并输出图像分割模型。其中k为正整数，优选地，k可以取值为5，需根据实际应用情况而设置k的取值，本申请在此方面不作任何限制。
与前述应用功能实现方法实施例相对应，本申请还提供了一种用于执行图像分割方法的电子设备及相应的实施例。
图4示出可以实施本申请实施例的图像分割方法的电子设备400的硬件配置的框图。如图4所示，电子设备400可以包括处理器410和存储器420。在图4的电子设备400中，仅示出了与本实施例有关的组成元素。因此，对于本领域普通技术人员而言显而易见的是：电子设备400还可以包括与图4中所示的组成元素不同的常见组成元素。比如：定点运算器。
电子设备400可以对应于具有各种处理功能的计算设备，例如，用于生成神经网络、训练或学习神经网络、将浮点型神经网络量化为定点型神经网络、或者重新训练神经网络的功能。例如，电子设备400可以被实现为各种类型的设备，例如个人计算机(PC)、服务器设备、移动设备等。
处理器410控制电子设备400的所有功能。例如，处理器410通过执行电子设备400上的存储器420中存储的程序代码，来控制电子设备400的所有功能。处理器410可以由电子设备400中提供的中央处理单元(CPU)、图形处理单元(GPU)、应用处理器(AP)、人工智能处理器芯片(IPU)等来实现。然而，本申请不限于此。
在一些实施例中，处理器410可以包括输入/输出(I/O)单元411和计算单元412。I/O单元411可以用于接收各种数据，例如待分割造影图像。示例性地，计算单元412可以用于将经由I/O单元411接收的待分割造影图像输入至图像分割模型中，得到图像分割模型输出的动脉瘤概率图和血管分段概率图；进而根据动脉瘤概率阈值和动脉瘤概率图确定动脉瘤类别分割图。此动脉瘤类别分割图例如可以由I/O单元411输出。输出数据可以提供给存储器420以供其他设备(未示出)读取使用，也可以直接提供给其他设备使用。
存储器420是用于存储电子设备400中处理的各种数据的硬件。例如，存储器420可以存储电子设备400中的处理过的数据和待处理的数据。存储器420可存储处理器410已处理或要处理的图像分割方法过程中涉及的数据集，例如，待分割造影图像等。此外，存储器420可以存储要由电子设备400驱动的应用、驱动程序等。例如：存储器420可以存储与将由处理器410执行的图像分割方法有关的各种程序。存储器420可以是DRAM，但是本申请不限于此。存储器420可以包括易失性存储器或非易失性存储器中的至少一种。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、相变RAM(PRAM)、磁性RAM(MRAM)、电阻RAM(RRAM)、铁电RAM(FRAM)等。易失性存储器可包括动态RAM(DRAM)、静态RAM(SRAM)、同步DRAM(SDRAM)、PRAM、MRAM、RRAM、铁电RAM(FeRAM)等。在实施例中，存储器420可以包括硬盘驱动器(HDD)、固态驱动器(SSD)、高密度闪存(CF)、安全数字(SD)卡、微安全数字(Micro-SD)卡、迷你安全数字(Mini-SD)卡、极限数字(xD)卡、高速缓存(caches)或记忆棒中的至少一项。
综上，本说明书实施方式提供的电子设备400的存储器420和处理器410实现的具体功能，可以与本说明书中的前述实施方式相对照解释，并能够达到前述实施方式的技术效果，这里便不再赘述。
在本实施方式中，处理器410可以按任何适当的方式实现。例如，处理器410可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。
还应当理解，本文示例的执行指令的任何模块、单元、组件、服务器、计算机、终端或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备(可移除的)和/或不可移动的)例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性，可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。
虽然本文已经示出和描述了本申请的多个实施例，但对于本领域技术人员显而易见的是，这样的实施例只是以示例的方式来提供。本领域技术人员可以在不偏离本申请思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本申请的过程中，可以采用对本文所描述的本申请实施例的各种替代方案。所附权利要求书旨在限定本申请的保护范围，并因此覆盖这些权利要求范围内的等同或替代方案。

Claims (12)

1.一种图像分割方法，其特征在于，包括：
获取待分割造影图像；
将所述待分割造影图像输入图像分割模型中，得到所述图像分割模型输出的动脉瘤概率图和血管分段概率图，其中基于造影图像样本集训练得到所述图像分割模型；以及
根据动脉瘤概率阈值和所述动脉瘤概率图确定动脉瘤类别分割图。
2.根据权利要求1所述的图像分割方法，其特征在于，所述造影图像样本集包含动脉瘤标注和血管分段标注，并且所述基于造影图像样本集训练得到所述图像分割模型包括：
获取所述造影图像样本集；
对所述造影图像样本集中的每一造影样本图像进行数据标注处理，得到每一标注样本图像，其中每一标注样本图像中均包含所述动脉瘤标注和所述血管分段标注；
对每一标注样本图像进行预处理，得到每一预处理样本图像；
对每一预处理样本图像进行数据增强处理，得到目标图像样本集；以及
将所述目标图像样本集输入初始分割模型中进行训练，以得到所述图像分割模型。
3.根据权利要求2所述的图像分割方法，其特征在于，所述对所述造影图像样本集中的每一造影样本图像进行数据标注处理包括：
通过阈值提取算法对每一造影样本图像进行血管分割提取，得到血管分割信息；
对每一造影样本图像对应的血管分割信息进行三维血管还原，得到每一造影样本图像对应的三维血管模型；
分别在每一造影样本图像对应的三维血管模型中确定动脉瘤感兴趣区域；
根据所述三维血管模型和所述动脉瘤感兴趣区域确定动脉瘤像素坐标；以及
对所述动脉瘤像素坐标进行数据标注处理，得到所述动脉瘤标注。
4.根据权利要求3所述的图像分割方法，其特征在于，在所述通过阈值提取算法对每一造影样本图像进行血管分割提取，得到血管分割信息之后，所述方法还包括：
根据所述血管分割信息进行数据标注处理，得到所述血管分段标注。
5.根据权利要求2所述的图像分割方法，其特征在于，所述预处理包括灰度归一化处理和重采样处理；其中，所述对每一标注样本图像进行预处理包括：
对每一标注样本图像进行灰度统计和分辨率统计，得到灰度统计信息和分辨率统计信息；
根据所述灰度统计信息确定灰度方差和灰度均值；
根据所述灰度方差和所述灰度均值进行所述灰度归一化处理；
根据所述分辨率统计信息确定目标分辨率；以及
根据所述目标分辨率进行所述重采样处理。
6.根据权利要求2所述的图像分割方法，其特征在于，所述初始分割模型包含编码器和解码器；其中，所述将所述目标图像样本集输入初始分割模型中进行训练包括：
将所述目标图像样本集中的目标样本图像输入所述编码器中，得到由所述解码器输出的动脉瘤预测图和血管分段预测图；
基于目标损失函数、所述动脉瘤预测图和所述血管分段预测图确定损失函数值；以及
根据所述损失函数值对所述初始分割模型的模型参数进行优化，并基于所述损失函数值确定是否输出所述图像分割模型。
7.根据权利要求6所述的图像分割方法，其特征在于，所述解码器包含N层共享反卷积层、M层动脉瘤反卷积层和M层血管分段反卷积层，所述编码器包含M+N层卷积层；其中，所述共享反卷积层、所述动脉瘤反卷积层和所述血管分段反卷积层中均分别包含反卷积核和Relu激活层；所述卷积层包含卷积核和Relu激活层；
所述将所述目标图像样本集中的目标样本图像输入所述编码器中，得到由所述解码器输出的动脉瘤预测图和血管分段预测图包括：
将所述目标图像样本集中的目标样本图像输入所述编码器中进行下采样，得到第一中间特征数据；
将所述第一中间特征数据输入所述N层共享反卷积层中进行上采样，得到第二中间特征数据；
将所述第二中间特征数据分别输入所述M层动脉瘤反卷积层和所述M层血管分段反卷积层中，得到所述动脉瘤预测图和所述血管分段预测图。
8.根据权利要求6所述的图像分割方法，其特征在于，所述基于目标损失函数、所述动脉瘤预测图和所述血管分段预测图确定损失函数值包括：
根据所述动脉瘤预测图中每一像素点的动脉瘤预测概率值、动脉瘤预测类别、所述目标损失函数和所述动脉瘤标注确定第一损失值；
根据所述血管分段预测图中每一像素点的血管分段预测概率值、血管预测分段类别、所述目标损失函数和所述血管分段标注确定第二损失值；
根据所述第一损失值和所述第二损失值确定所述损失函数值。
9.根据权利要求6所述的图像分割方法，其特征在于，所述基于所述损失函数值确定是否输出所述图像分割模型包括：
若训练迭代次数达到预设次数，和/或若在每一损失函数值中连续k次得到的损失函数值不降低，则停止更新所述初始分割模型的模型参数并输出所述图像分割模型。
10.根据权利要求1所述的图像分割方法，其特征在于，在所述根据动脉瘤概率阈值和所述动脉瘤概率图确定动脉瘤类别分割图之后，所述方法还包括：
根据血管分段概率阈值和所述血管分段概率图确定血管分段类别分割图。
11.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有用于图像分割的程序代码，当所述程序代码被所述处理器执行时，使所述电子设备实现如权利要求1-10中任一项所述的方法。
12.一种非暂时性机器可读存储介质，其上存储有用于图像分割的程序代码，当所述程序代码由处理器执行时，使得实现如权利要求1-10中任一项所述的方法。
CN202310919972.XA 2023-07-25 2023-07-25 图像分割方法、电子设备及存储介质 Pending CN116958551A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310919972.XA CN116958551A (zh) 2023-07-25 2023-07-25 图像分割方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310919972.XA CN116958551A (zh) 2023-07-25 2023-07-25 图像分割方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116958551A true CN116958551A (zh) 2023-10-27

Family

ID=88447239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310919972.XA Pending CN116958551A (zh) 2023-07-25 2023-07-25 图像分割方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116958551A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012166A (zh) * 2021-03-19 2021-06-22 北京安德医智科技有限公司 颅内动脉瘤分割方法及装置、电子设备和存储介质
CN113066061A (zh) * 2021-03-24 2021-07-02 同心医联科技（北京）有限公司 一种基于mra的动脉瘤检测方法、***、终端及介质
CN113436166A (zh) * 2021-06-24 2021-09-24 深圳市铱硙医疗科技有限公司 基于磁共振血管造影数据的颅内动脉瘤检测方法及***
WO2022245946A1 (en) * 2021-05-18 2022-11-24 Daniel Ezra Walzman Orientable intravascular devices and methods
US11538163B1 (en) * 2022-01-06 2022-12-27 Rowan University Training a neural network for a predictive aortic aneurysm detection system
US20230134402A1 (en) * 2020-06-30 2023-05-04 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for determining blood vessel parameters

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230134402A1 (en) * 2020-06-30 2023-05-04 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for determining blood vessel parameters
CN113012166A (zh) * 2021-03-19 2021-06-22 北京安德医智科技有限公司 颅内动脉瘤分割方法及装置、电子设备和存储介质
CN113066061A (zh) * 2021-03-24 2021-07-02 同心医联科技（北京）有限公司 一种基于mra的动脉瘤检测方法、***、终端及介质
WO2022245946A1 (en) * 2021-05-18 2022-11-24 Daniel Ezra Walzman Orientable intravascular devices and methods
CN113436166A (zh) * 2021-06-24 2021-09-24 深圳市铱硙医疗科技有限公司 基于磁共振血管造影数据的颅内动脉瘤检测方法及***
US11538163B1 (en) * 2022-01-06 2022-12-27 Rowan University Training a neural network for a predictive aortic aneurysm detection system

Similar Documents

Publication Publication Date Title
CN111080660B (zh) 一种图像分割方法、装置、终端设备及存储介质
CN112132959B (zh) 数字岩心图像处理方法、装置、计算机设备及存储介质
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
CN110689525B (zh) 基于神经网络识别***的方法及装置
CN111598862B (zh) 一种乳腺钼靶图像的分割方法、装置、终端及存储介质
CN112862830B (zh) 一种多模态图像分割方法、***、终端及可读存储介质
CN112446892A (zh) 一种基于注意力学习的细胞核分割方法
CN112991365B (zh) 一种冠状动脉分割方法、***及存储介质
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
CN114742802B (zh) 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN115861250A (zh) 自适应数据集的半监督医学图像器官分割方法及***
CN117115184A (zh) 一种医疗图像分割模型的训练方法、分割方法及相关产品
CN114972382A (zh) 一种基于轻量级UNet++网络的脑肿瘤分割算法
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN116245832B (zh) 一种图像处理方法、装置、设备及存储介质
CN116664513A (zh) 一种基于核磁共振影像的颅内动脉瘤的检测方法、装置及设备
CN116703945A (zh) 一种乳腺超声图像的肿瘤分割方法、***、介质及终端
CN113807354B (zh) 图像语义分割方法、装置、设备和存储介质
CN116958551A (zh) 图像分割方法、电子设备及存储介质
CN116563305A (zh) 一种血管的异常区域的分割方法、装置及电子设备
CN110310314A (zh) 图像配准方法、装置、计算机设备和存储介质
CN112561802B (zh) 连续序列图像的插值方法、插值模型训练方法及其***
CN113255756B (zh) 图像融合方法、装置、电子设备及存储介质
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination