CN113902674B - 医学影像分割方法和电子设备 - Google Patents

医学影像分割方法和电子设备 Download PDF

Info

Publication number
CN113902674B
CN113902674B CN202111035523.6A CN202111035523A CN113902674B CN 113902674 B CN113902674 B CN 113902674B CN 202111035523 A CN202111035523 A CN 202111035523A CN 113902674 B CN113902674 B CN 113902674B
Authority
CN
China
Prior art keywords
medical image
image data
training
pyramid
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111035523.6A
Other languages
English (en)
Other versions
CN113902674A (zh
Inventor
贺志强
牛凯
吴文彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202111035523.6A priority Critical patent/CN113902674B/zh
Publication of CN113902674A publication Critical patent/CN113902674A/zh
Application granted granted Critical
Publication of CN113902674B publication Critical patent/CN113902674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种医学影像分割方法和电子设备。所述方法包括：获取医学影像数据，并对所述医学影像数据进行预处理得到处理后医学影像数据；将所述处理后医学影像数据输入医学影像分割模型；在所述医学影像分割模型，根据所述处理后医学影像数据，得到医学影像的金字塔塔底特征f1；根据所述医学影像的金字塔塔底特征f1，得到预测分数p；根据所述预测分数p，得到所述医学影像的分割结果P。本说明书实施例通过医学影像数据和预先训练的医学影像分割模型，最终得到了医学影像的分割结果P。

Description

医学影像分割方法和电子设备
技术领域
本公开涉及计算机视觉的影像语义分割技术领域，尤其涉及一种医学影像分割的方法。
背景技术
随着科技的发展，医学影像分割技术从之前的大津阈值法、分水岭法、GraphCut以及基于活动轮廓的一些方法逐渐被性能更好、泛化能力更强的深度学习方法所取代。但是目前医学影像分割领域依旧存在一些难点，首先，训练医学影像分割模型时医学影像的数据量不足；其次，医学影像中的待分割目标尺度差异较大，模型难以精确识别，最后，现有医学影像中大部分目标器官较为模糊且易与其他临近部位器官混淆，模型不易识别。
发明内容
有鉴于此，本公开的目的在于提出一种医学影像分割方法和电子设备。
基于上述目的，本公开提供了一种医学影像分割方法，其中，包括：
获取医学影像数据；
对所述医学影像数据进行预处理，得到处理后医学影像数据；
将所述处理后医学影像数据输入医学影像分割模型；
在所述医学影像分割模型，根据所述处理后医学影像数据，得到医学影像的金字塔塔底特征f1；根据所述医学影像的金字塔塔底特征f1，得到预测分数p；
根据所述预测分数p，得到所述医学影像的分割结果P。
可选的，所述医学影像分割模型的训练过程包括：
获取训练用医学影像数据；
获取训练用医学影像数据待分割类别数目c；
获取训练用医学影像数据对应的真实Mask，所述训练用医学影像数据对应的真实Mask为：对所述训练用医学影像数据逐个像素预先标注好的结果；
根据所述训练用医学影像数据，对其进行阈值化、归一化和数据增强处理，得到处理后训练用医学影像数据；
对所述处理后训练用医学影像数据进行初始多尺度特征提取，得到处理后训练用医学影像数据的多尺度特征金字塔；
对所述处理后训练用医学影像数据的多尺度特征金字塔进行多尺度特征融合，得到训练用增强后特征金字塔；
根据所述训练用增强后特征金字塔，得到训练用金字塔塔底特征f1′；
根据所述训练用增强后特征金字塔，提取其针对所有所述待分割类别数目c的权重，得到尺度自适应关注类别权重；
根据所述尺度自适应关注类别权重，得到多尺度自适应分割损失函数；
根据所述训练用金字塔塔底特征f1′，得到类别分割分数p′和目标特征；
根据所述目标特征，得到类内一致性约束损失函数和类间差异性约束损失函数；
根据所述类别分割分数p′和所述训练用医学影像数据对应的真实Mask，得到分割损失函数；
根据所述多尺度自适应分割损失函数、类内一致性约束损失函数、类间差异性约束损失函数和分割损失函数，训练得到所述医学影像分割模型。
可选的，得到所述尺度自适应关注类别权重，包括：
根据所述训练用增强后特征金字塔中的某一个特征fi′，对其进行卷积运算和平均池化后，输入第一全连接网络FC1，使用ReLU激活函数激活，再输入第二全连接网络FC2，使用Sigmoid激活函数激活，获得所述尺度自适应关注类别权重wi。
可选的，得到所述目标特征，包括：
根据所述训练用金字塔塔底特征f1′，对其进行2d卷积运算和自适应池化后，进行拉平操作和维度置换操作，再经过1d卷积运算，获得所述目标特征f1 c′。
可选的，所述处理后医学影像数据为所述医学影像数据经过阈值化和归一化处理得到。
可选的，得到所述医学影像的金字塔塔底特征f1，具体包括：
提取所述处理后医学影像数据的初始多尺度特征，得到多尺度特征金字塔；
对所述多尺度特征金字塔进行多尺度特征融合，得到增强后的特征金字塔；
根据所述增强后的特征金字塔，得到所述医学影像的金字塔塔底特征f1。
可选的，所述预测分数p为所述医学影像的金字塔塔底特征通过2d卷积运算得到。
可选的，所述预测分数p尺度大小为c*H*W，c为所述训练用医学影像数据待分割类别数目c；H为所述预测分数p的长，W为所述预测分数p的宽。
可选的，所述医学影像的最终分割结果P通过计算得到；
所述中，plij,l∈[1,c],i∈[1,H],j∈[1,W]为所述预测分数p中每个像素位置(i,j)的预测分数向量中第l个待分割类别的预测分数的值；
l∈[1,c]为预测分数p中，某个像素位置(i,j)的预测分数向量pij中某个类别预测分数的索引，c为所述训练用医学影像数据待分割类别数目c。
基于同一发明构思，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一项所述的医学影像分割方法。
从上面所述可以看出，本公开提供的一种医学影像分割方法，通过获取医学影像数据并对其进行预处理后，输入预先训练好的医学影像分割模型，得到预测分数p，根据预测分数p得到分割结果P。本公开中训练模型时对医学影像数据额外进行了数据增强的预处理，使得进入模型中的数据量大大提升，利于模型的学习；训练模型时对医学影像数据还进行了初始多尺度特征提取和多尺度特征融合，使得训练后的模型对于不同尺度下的待分割目标的分割能力得到良好提升；训练模型时对医学影像数据进行了目标特征增强的处理，处理后的医学影像数据具有类内差异小和类间差异大的特点，利于模型的学习；以上训练手段使得训练模型时数据量充足，训练后模型具有分割能力强和分类性能强的特点。
附图说明
为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例的医学影像分割方法流程图；
图2为本公开实施例的医学影像分割模型的训练过程示意图；
图3为本公开实施例的电子设备结构。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
如背景技术部分所述，相关技术中的医学影像分割方法，具有训练医学影像分割模型时数据量不足，待分割目标尺度差异较大，目标器官模糊易与附近器官混淆等缺点，给分割医学影像带来了极大不便，且其分割医学影像后得到的分割结果也并不理想。
综合上述考虑，本公开实施例提出一种医学影像分割方法，基于预先训练的医学影像分割模型，利用训练用医学数据并基于预先训练的医学影像分割模型得到医学影像的分割结果P，从而使得医学影像的分割结果更加精准。
以下，通过具体的实施例来详细说明本公开实施例的技术方案。
参考图1，本公开一个实施例的医学影像分割方法，包括以下步骤：
步骤S101，获取医学影像数据。
在本步骤中，所述医学影像数据目前常见的格式有DICOM、NIFFT等，这些数据中包括了患者信息、切片信息、影像信息等等。因此，医学影像分割方法的第一步就是获取医学影像数据，即从医学影像中读取出本实施例所需要的影像数据信息。上述格式的数据均可通过相应的python库函数进行读取，例如nibabel、pydicom等。
步骤S103，对所述医学影像数据进行预处理，得到处理后医学影像数据。
在本步骤中，通过步骤S101获取到的医学影像数据的数值范围较广，若直接对其进行归一化处理可能会出现在后续分割过程中待分割目标之间的对比度不足，甚至无法识别，使得分割结果出现问题，因此本实施例首先对步骤S101中获取到的医学影像数据进行阈值化处理，使得待分割目标得以突出。阈值化中的阈值一般由医生根据临床经验设定。记步骤S101中获取的医学影像数据为O，阈值化的下界为min，阈值化的上界为max，阈值化后的数据为C，则阈值化可以表示为：
对医学影像数据进行阈值化处理后，因为医学影像数据差距较大，不同目标对应的数据范围经过阈值化后可能差距较大，不易处理，为了更统一的对获取的医学影像数据进行处理，本实施例再对其进行归一化处理，使其易于转换为常见的图像格式，如PNG、JPEG等。本实施例采用归一化方案为最大最小值归一化，记Cmin为阈值化的数据的最小值，Cmax为阈值化的数据的最大值，归一化后的数据为N，则归一化可以表示为：
对医学影像数据进行阈值化和归一化处理后得到处理后医学影像数据。
步骤S105，将所述处理后医学影像数据输入医学影像分割模型。
在本步骤中，所述医学影像分割模型是预先训练好的，具体训练过程在后述实施例中详细说明。
步骤S107，在所述医学影像分割模型，根据所述处理后医学影像数据，得到医学影像的金字塔塔底特征f1；根据所述医学影像的金字塔塔底特征f1，得到预测分数p。在本步骤中，所述处理后医学影像数据在医学影像分割模型中经过初始多尺度特征提取后得到多尺度特征金字塔，对多尺度特征金字塔进行多尺度特征融合，得到增强后特征金字塔，根据增强后特征金字塔得到金字塔塔底特征f1，根据金字塔塔底特征f1，得到预测分数p。
本实施例中，金字塔塔底特征f1经过2d卷积后得到的预测分数图即为预测分数p，其尺度大小为c*H*W，c为训练用医学影像数据待分割类别数目；H为所述预测分数p的长，W为所述预测分数p的宽。
步骤S109，根据所述预测分数p，得到所述医学影像的分割结果P。
在本实施例中，输入医学影像分割模型的是处理后医学影像数据，输出模型的是其对应的预测分数p，医学影像的分割结果P是在医学影像分割模型外经计算得到的。计算公式为：公式中plij,l∈[1,c],i∈[1,H],j∈[1,W]为所述预测分数p中每个像素位置(i,j)的预测分数向量中第l个待分割类别的预测分数的值；
l∈[1,c]为预测分数p中，某个像素位置(i,j)的预测分数向量pij中某个类别预测分数的索引，c为训练用医学影像数据待分割类别数目c。
以腹腔CT为例，欲分割大肠、小肠和盲肠。用pydicom读取腹腔CT中的医学影像数据，对其进行阈值化和归一化处理，得到处理后的腹腔CT医学影像数据，将其输入预先训练好的医学影像分割模型，于模型中对处理后的腹腔CT医学影像数据进行初始多尺度特征提取，得到腹腔CT的多尺度特征金字塔，对腹腔CT的多尺度特征金字塔进行多尺度特征融合，得到腹腔CT的增强后特征金字塔，取其金字塔塔底特征，对该金字塔塔底特征进行2d卷积，模型输出腹腔CT中大肠、小肠和盲肠的预测分数，再对该预测分数通过步骤S109中的计算公式进行计算，得到腹腔CT中大肠、小肠和盲肠的分割结果，所述分割结果为大肠、小肠和盲肠在腹腔CT中的索引值，为了更直观的看出大肠、小肠和盲肠的范围，一般会对索引值赋予RGB颜色值，最终呈现出来的效果为大肠、小肠和盲肠在一张图上以不同颜色显现其于腹腔CT中的范围。
在一些实施例中，所述的医学影像分割模型是通过预先训练后得到的，本实施例将详细介绍医学影像分割模型的训练过程。如图2所示，该模型的训练过程包括以下步骤：
步骤S201，获取训练用医学影像数据。
在本步骤中，所述医学影像数据目前常见的格式有DICOM、NIFFT等，这些数据中包括了患者信息、切片信息、影像信息等等。因此，医学影像分割方法的第一步就是获取医学影像数据，即从医学影像中读取出本实施例所需要的影像数据信息。上述格式的数据均可通过相应的python库函数进行读取，例如nibabel、pydicom等。训练时，本实施例投入海量训练数据，将其分为若干批次，记每个批次大小为B，每次对一个批次内的数据进行前传和误差反向传播。
步骤S203，获取训练用医学影像数据待分割类别数目c。
训练用医学影像数据待分割类别数目c为欲推理医学影像数据的待分割类别数目，若想更改待分割类别数目c，不需对整个模型进行重新训练，只需从根据训练用增强后特征金字塔，提取其针对所有所述待分割类别数目c的权重，得到尺度自适应关注类别权重这一步开始重新进行迁移训练即可。
步骤S205，获取训练用医学影像数据对应的真实Mask，所述训练用医学影像数据对应的真实Mask为：对所述训练用医学影像数据逐个像素预先标注好的结果。
本实施例中，医学影像数据对应的真实Mask可为本领域医生于专业标注软件上事先标注好的结果；若其来源于开源数据集，则是数据集发布者负责整理和标注的。
步骤S207，根据所述训练用医学影像数据，对其进行阈值化、归一化和数据增强处理，得到处理后训练用医学影像数据。
本实施例中，对所述训练用医学影像数据进行阈值化和归一化处理的步骤与对推理过程中的医学影像数据进行的阈值化和归一化处理一样，此处不再赘述。医学图像的数据量和数据多样性难以满足深度学***翻转、归一化等数据增强操作，这些操作在实际操作中可以选一种及一种以上进行。
步骤S209，对所述处理后训练用医学影像数据进行初始多尺度特征提取，得到处理后训练用医学影像数据的多尺度特征金字塔。
本步骤中，所述初始多尺度特征提取是为了提升模型对于不同尺度待分割目标的分割能力，本公开采用经典卷积神经网络来完成这一步骤，经典的卷积神经网络通过堆叠卷积模块，逐步提取高级特征，在此过程中会形成不同尺度的特征图，得到一个多尺度的特征金字塔结构。
本实施例采用高分辨率网络(High-Resolution Network，HRNet)来进行初始多尺度特征提取，在本实施例中，医学影像数据经过初始多尺度特征提取后会得到处理后训练用医学影像数据的多尺度特征金字塔，记得到的处理后训练用医学影像数据的多尺度特征金字塔中从下到上的特征图为s1,s2,s3,s4，其尺度依次为原图的1/4，1/8，1/16，1/32，上述四个多尺度特征构成了多尺度特征金字塔。此时的多尺度特征金字塔所具有的信息对于本公开的医学影像分割任务而言是不充分的，且不同尺度的特征具有其各自的优缺点，高分辨特征图位置信息较为准确和丰富，但是语义信息较为低级；低分辨率特征图语义信息较为高级，但位置信息损失较为严重，因此本实施例要对多尺度特征金字塔进行多尺度特征融合处理，使得各个尺度的特征图互相取长补短。
步骤S211对所述处理后训练用医学影像数据的多尺度特征金字塔进行多尺度特征融合，得到训练用增强后特征金字塔。
在本实施例中采用的是Feature Pyramid Network(FPN)结构来进行多尺度特征融合，记经过FPN融合后的多尺度特征分别为f1′,f2′,f3′,f4′，其尺度依次均为原图的1/4。多尺度特征金字塔经过多尺度特征融合处理后得到增强后的特征金字塔，此特征金字塔每一层级均一方面具有良好的分类能力，另一方面也保留或恢复了一定的位置信息。
步骤S213，根据所述训练用增强后特征金字塔，得到训练用金字塔塔底特征f1′。
在本实施例中，增强后的特征金字塔的塔底特征具有最好的定位能力，又因对其进行了多尺度融合处理，使其同时具有了良好的分类能力，因此本实施例将金字塔塔底特征f1′作为最终的分割特征。
步骤S215，根据所述训练用增强后特征金字塔，提取其针对所有所述待分割类别数目c的权重，得到尺度自适应关注类别权重。
考虑到待分割目标在尺度方面变化较大，同一切片上不同目标尺度差异较大，而即使是同一目标在不同切片上尺度也会发生较大变化；同时考虑到不同尺度特征对于不同尺度的目标检测能力不同，尺度较大的特征图位置信息损失较少，对小目标的检测能力更强，而尺度较小的特征图对于大目标的针对性则更强，因此，有必要针对不同尺度的目标采用不同尺度的特征图进行检测、分割。因此，本公开采用一个轻量小网络来提取每个不同尺度的特征图针对各个待分割目标的权重，并且每个尺度的特征图都会自适应的生成一个适合该尺度的权重，此权重将会与对应尺度的特征图中的每一个待分割目标进行加权，使得不同尺度特征图学会针对自身优势去自适应的重点关注某些待分割类别，不同尺度特征图各司其职，提升网络的分割精度。
在本实施例中，该权重生成采用了基于SENet中Squeeze-and-Excitation的操作。不同尺度的特征图，各自独立进行自适应权重生成，但流程一致，因此，本实施例仅针对某个尺度特征图的权重生成进行详细说明：
对于某个尺度的特征来说fi，i∈{1,2,3,4}，其大小为ci*h*w，其中ci为fi的通道数，h为fi的高，w为fi的宽，待分割类别数目为c，则尺度自适应关注类别的权重wi的生成，可以表示为：
根据所述训练用增强后特征金字塔中的某一个特征fi′，对其进行卷积运算和平均池化后，输入第一全连接网络FC1，使用ReLU激活函数激活，再输入第二全连接网络FC2，使用Sigmoid激活函数激活，获得所述尺度自适应关注类别权重wi。
步骤S217,根据所述尺度自适应关注类别权重，得到多尺度自适应分割损失函数。
本公开实施例将每个尺度的特征图对应的卷积网络独立进行优化，使得医学影像分割模型对于不同尺度带分割目标的分类能力得到提升，最终每个尺度特征图都会有一个对应的适合该尺度的卷积网络，可完成尺度自适应分割。
本实施例中，各个尺度的特征图fi′经过卷积之后，得到通道数为c的特征图，即特征分数，记为oi，c即待分割类别数目。而该特征图，即fi′对应的所有待分割目标类别的分割分数，其需与一开始输入模型的训练用医学影像数据对应的真实Mask计算误差Li，计算公式为：
其中c为待分割的目标类别，oij为oi在待分割目标类别j上的分割分数，Mj为待分割目标类别j所对应的训练用医学影像数据对应的真实Mask，l(x,y)则表示x和y之间的损失函数，本实施例采用交叉熵损失函数，在本实施例中即为oij与Mj之间的损失函数。
在此基础上还需考虑前述步骤中得出的各尺度特征图对应的自适应关注类别权重wi，则在此情况下，对于各尺度特征图而言，误差Li的计算公式为：
其中，wij为对应的fi′尺度在待分割目标类别j上的权重。
最终，得到多尺度自适应分割损失函数Li。
步骤S219，根据所述训练用金字塔塔底特征f1′，得到类别分割分数p′和目标特征。
在本实施例中，训练用金字塔塔底特征f1′，经过2d卷积之后得到的特征图称为类别分割分数p′。目标特征提取的过程为：根据所述训练用金字塔塔底特征f1′，对其进行2d卷积运算和自适应池化后，进行拉平操作和维度置换操作，再经过1d卷积运算，获得所述目标特征
步骤S221，根据所述目标特征，得到类内一致性约束损失函数和类间差异性约束损失函数。
本公开实施例期望在训练医学影像分割模型时，同一批次进入模型的医学影像数据之间的同一类别内部的特征具有较小的差异，不同类别之间的特征具有较大的差异，便于医学影像分割模型的学习。为了降低同一类别内部特征的差异性，可以考虑通过计算相似度的方式来度量同一类别内部特征之间的差异性，即通过计算同一类别内部特征之间相似度与1的差异，来引入一个无监督的损失函数，从而引入一个新的正则化项，该正则化项将使得同一类别内部特征之间的一致性尽可能大。与降低同一类别内部特征的差异性类似，为了达到降低不同类别之间的特征的一致性，我们可以通过计算不同类别特征之间相似度与0的差异，从而引入一个新的正则化项，该正则化项将使得不同类别内部特征之间的差异尽可能大。
在本实施例中，不同医学影像采用的是同一个批次内部的不同医学影像图片。对于某待分割目标类别k而言(k∈{1,...,c})，c为待分割目标类别，输入带训练的医学影像分割模型中每一组的医学影像数据数量均为B′，记各个医学影像为bq，其中q∈{1,...,B′}，则医学影像bq提取到的某待分割目标类别类别k的特征为特征之间的相似度采用的是余弦相似度计算方法来度量，记余弦相似度为S(x,y)，余弦相似度的计算方式为：本实施例中x为/>y为/>则/>应当接近于1，m,n∈{1,...,B′}。l(x,y)表示衡量x和y之间差异性的函数，在本实施例中x为/>y为1，计算时采用的是绝对值损失，其公式为：
则类内特征一致性约束损失Lcom计算公式为：
依据公式计算得到类内特征一致性约束损失Lcom。
类间特征差异性约束损失Ldiv计算方式与类内特征一致性约束损失Lcom类似，但其与类内特征一致性约束损失计算不同的地方是，不同类别之间特征的相似度应当尽可能接近于0，因此，累计额特征差异性约束损失Ldiv可以表示为：
依据公式计算得到类间特征差异性约束损失Lcom。
步骤S223，根据所述类别分割分数p′和所述训练用医学影像数据对应的真实Mask，得到分割损失函数。
因金字塔塔底特征f1′具有最好的定位能力和改善后的分类能力，因此本公开利用其与其对应的训练用医学影像数据对应的真实Mask独立计算得出一个分割损失，增强医学影像分割模型的精度。
在本实施例中，在步骤S219中，根据所述训练用金字塔塔底特征f1′，得到类别分割分数p′，类别分割分数p′与该分数对应的训练用医学影像数据对应的真实Mask产生一个分割损失Lseg，此处将训练用医学影像数据对应的真实Mask记为M。在本实施例中，分割损失Lseg采用简单的交叉熵损失函数来计算。
步骤S225，根据所述多尺度自适应分割损失函数、类内一致性约束损失函数、类间差异性约束损失函数和分割损失函数，训练得到所述医学影像分割模型。
本实施例中，计算总损失L的公式为：
其中，s为多尺度特征图的个数，在本实施例中为4；表示第i个尺度产生的尺度自适应分割损失的权重，/>表示第i个尺度产生的类内特征一致性约束损失Lcom的权重，表示第i个尺度产生的类间特征差异性约束损失Ldiv的权重，/>表示第i个尺度产生的最终的分割损失Lseg的权重。
最后，综合这四个损失函数同时对网络进行训练，得到医学影像分割模型。
需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的医学影像分割方法。
图3示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的医学影像分割方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (9)

1.一种医学影像分割方法，其中，包括：
获取医学影像数据；
对所述医学影像数据进行预处理，得到处理后医学影像数据；
将所述处理后医学影像数据输入医学影像分割模型；
在所述医学影像分割模型，根据所述处理后医学影像数据，得到医学影像的金字塔塔底特征；根据所述医学影像的金字塔塔底特征/>，得到预测分数/>；
根据所述预测分数，得到所述医学影像的分割结果/>；
其中，所述医学影像分割模型的训练过程包括：
获取训练用医学影像数据；
获取训练用医学影像数据待分割类别数目；
获取训练用医学影像数据对应的真实Mask，所述训练用医学影像数据对应的真实Mask为：对所述训练用医学影像数据逐个像素预先标注好的结果；
根据所述训练用医学影像数据，对其进行阈值化、归一化和数据增强处理，得到处理后训练用医学影像数据；
对所述处理后训练用医学影像数据进行初始多尺度特征提取，得到处理后训练用医学影像数据的多尺度特征金字塔；
对所述处理后训练用医学影像数据的多尺度特征金字塔进行多尺度特征融合，得到训练用增强后特征金字塔；
根据所述训练用增强后特征金字塔，得到训练用金字塔塔底特征；
根据所述训练用增强后特征金字塔，提取其针对所有所述待分割类别数目的权重，得到尺度自适应关注类别权重；
根据所述尺度自适应关注类别权重，得到多尺度自适应分割损失函数；
根据所述训练用金字塔塔底特征，得到类别分割分数/>和目标特征；
根据所述目标特征，得到类内一致性约束损失函数和类间差异性约束损失函数；
根据所述类别分割分数和所述训练用医学影像数据对应的真实Mask，得到分割损失函数；
根据所述多尺度自适应分割损失函数、类内一致性约束损失函数、类间差异性约束损失函数和分割损失函数，训练得到所述医学影像分割模型。
2.根据权利要求1所述的方法，其中，得到所述尺度自适应关注类别权重，包括：
根据所述训练用增强后特征金字塔中的某一个特征，对其进行卷积运算和平均池化后，输入第一全连接网络/>，使用/>激活函数激活，再输入第二全连接网络/>，使用激活函数激活，获得所述尺度自适应关注类别权重/>。
3.根据权利要求1所述的方法，其中，得到所述目标特征，包括：
根据所述训练用金字塔塔底特征，对其进行2d卷积运算和自适应池化后，进行拉平操作和维度置换操作，再经过1d卷积运算，获得所述目标特征/>。
4.根据权利要求1所述的方法，其中，所述处理后医学影像数据为所述医学影像数据经过阈值化和归一化处理得到。
5.根据权利要求1所述的方法，其中，得到所述医学影像的金字塔塔底特征，具体包括：
提取所述处理后医学影像数据的初始多尺度特征，得到多尺度特征金字塔；
对所述多尺度特征金字塔进行多尺度特征融合，得到增强后的特征金字塔；
根据所述增强后的特征金字塔，得到所述医学影像的金字塔塔底特征。
6.根据权利要求1所述的方法，其中，所述预测分数为所述医学影像的金字塔塔底特征通过2d卷积运算得到。
7.根据权利要求6所述的方法，其中，所述预测分数尺度大小为/>；/>为所述训练用医学影像数据待分割类别数目c；/>为所述预测分数/>的长，/>为所述预测分数/>的宽。
8.根据权利要求1所述的方法，其中，所述医学影像的最终分割结果通过计算得到;
所述中，/>为所述预测分数/>中每个像素位置/>的预测分数向量中第/>个待分割类别的预测分数的值；
为预测分数/>中，某个像素位置/>的预测分数向量/>中某个类别预测分数的索引，/>为所述训练用医学影像数据待分割类别数目c。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
CN202111035523.6A 2021-09-02 2021-09-02 医学影像分割方法和电子设备 Active CN113902674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111035523.6A CN113902674B (zh) 2021-09-02 2021-09-02 医学影像分割方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111035523.6A CN113902674B (zh) 2021-09-02 2021-09-02 医学影像分割方法和电子设备

Publications (2)

Publication Number Publication Date
CN113902674A CN113902674A (zh) 2022-01-07
CN113902674B true CN113902674B (zh) 2024-05-24

Family

ID=79188485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111035523.6A Active CN113902674B (zh) 2021-09-02 2021-09-02 医学影像分割方法和电子设备

Country Status (1)

Country Link
CN (1) CN113902674B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069790A (zh) * 2015-08-06 2015-11-18 潍坊学院 一种齿轮外观缺陷快速影像检测方法
CN112085744A (zh) * 2020-09-04 2020-12-15 厦门大学 一种基于多尺度特征学习的肾肿瘤分割方法
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备
CN113205523A (zh) * 2021-04-29 2021-08-03 浙江大学 多尺度表征优化的医学影像分割识别***、终端及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195057B2 (en) * 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069790A (zh) * 2015-08-06 2015-11-18 潍坊学院 一种齿轮外观缺陷快速影像检测方法
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备
CN112085744A (zh) * 2020-09-04 2020-12-15 厦门大学 一种基于多尺度特征学习的肾肿瘤分割方法
CN113205523A (zh) * 2021-04-29 2021-08-03 浙江大学 多尺度表征优化的医学影像分割识别***、终端及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于改进的数学形态学医学影像分割算法;胡锦美;李佐勇;计算机仿真;20110515;第28卷(第5期);全文 *
多尺度特征融合工件目标语义分割;和超;张印辉;何自芬;;中国图象图形学报;20200316(第03期);全文 *
陈思伃 ; 许文俊 ; 田宝玉 ; 贺志强.一种基于神经网络的传播模型自适应分类校正算法.中国通信学会通信理论与信号处理专业委员会2010年通信理论与信号处理学术年会.2010,全文. *

Also Published As

Publication number Publication date
CN113902674A (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
Liu et al. A deep spatial contextual long-term recurrent convolutional network for saliency detection
US10482603B1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
US20200250398A1 (en) Systems and methods for image classification
Venkatasubramanian et al. Prediction of Alzheimer’s Disease Using DHO‐Based Pretrained CNN Model
KR20210048523A (ko) 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 기억 매체
CN110276745B (zh) 一种基于生成对抗网络的病理图像检测算法
CN109559300A (zh) 图像处理方法、电子设备及计算机可读存储介质
CN108806792A (zh) 深度学习面诊***
CN106295521A (zh) 一种基于多输出卷积神经网络的性别识别方法、装置及计算设备
Charfi et al. Computer‐aided diagnosis system for ulcer detection in wireless capsule endoscopy images
George et al. Computer assisted recognition of breast cancer in biopsy images via fusion of nucleus-guided deep convolutional features
Chen et al. Multi-SVM based Dempster–Shafer theory for gesture intention understanding using sparse coding feature
CN111694954B (zh) 图像分类方法、装置和电子设备
CN113781387A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN113449548A (zh) 更新物体识别模型的方法和装置
CN111598144B (zh) 图像识别模型的训练方法和装置
Yadav et al. End-to-end bare-hand localization system for human–computer interaction: a comprehensive analysis and viable solution
Günay et al. Classification of hand-drawn basic circuit components using convolutional neural networks
Karthiga et al. Automated diagnosis of breast cancer from ultrasound images using diverse ML techniques
Selvia et al. Skin lesion detection using feature extraction approach
Wang et al. Optic disc detection based on fully convolutional neural network and structured matrix decomposition
CN113902674B (zh) 医学影像分割方法和电子设备
Aboulmira et al. Ensemble learning methods for deep learning: Application to skin lesions classification
CN113111879B (zh) 一种细胞检测的方法和***
Liu et al. Histopathologic cancer detection by dense-attention network with incorporation of prior knowledge

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant