CN114092439A - 一种多器官实例分割方法及*** - Google Patents
一种多器官实例分割方法及*** Download PDFInfo
- Publication number
- CN114092439A CN114092439A CN202111372463.7A CN202111372463A CN114092439A CN 114092439 A CN114092439 A CN 114092439A CN 202111372463 A CN202111372463 A CN 202111372463A CN 114092439 A CN114092439 A CN 114092439A
- Authority
- CN
- China
- Prior art keywords
- image
- segmentation
- net
- model
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000003709 image segmentation Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 238000007917 intracranial administration Methods 0.000 claims abstract description 11
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 238000005070 sampling Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 15
- 238000012805 post-processing Methods 0.000 claims description 15
- 238000003708 edge detection Methods 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 7
- 230000007797 corrosion Effects 0.000 claims description 6
- 238000005260 corrosion Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 210000000056 organ Anatomy 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013138 pruning Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000004195 computer-aided diagnosis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 206010056342 Pulmonary mass Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种多器官实例分割方法及***，属于医疗图像处理技术领域。本发明方法包括构建训练数据集：获取待分割的医学影像，进行预处理，在每个预处理后的医学影像上对各个部位进行分割标注，整合后得到实例分割数据集，作为训练数据集；构建训练模型：构建基于U‑Net网络与Transformer模型的图像分割网络，然后采用所述训练数据集训练所述图像分割网络，获取U‑NET‑Transformer模型；获取图像分割结果：使用训练好的U‑NET‑Transformer模型对需要分割的颅内图像进行分割，获取分割结果。本发明能够在一张图像上展示医学影像中各个部位的相互影响关系，让医生更加清晰方便的诊断病情。
Description
技术领域
本发明涉及一种图像分割方法，尤其涉及一种多器官实例分割方法及***。
背景技术
近年来，深度学习在图像识别、目标检测、语义分割等基础图像任务和姿态识别，人脸识别等高级图像视觉任务中取得了重大成果。在许多任务中，深度学习的效果已经超出人工手动能达到的效果，极大的节省了人力、物力。在医疗领域中，深度学习计算机视觉任务最常见的应用场景是医学图像处理。其中图像分割是医学图像处理任务中一个重要的研究方向。虽然目前已经发展了很多图像分割方法，包含传统分割方法和基于深度学习模型的分割方法，但由于各种疾病的特殊性，医生培养周期长、容错率低等特点，使得医疗图像分析领域的发展一直较为缓慢，因此基于医疗图像分析的计算机辅助诊断技术的表现也有待提高。
目前国内的医疗资源主要存在两个问题：一是整体分布不均；二是地区差异较大。而计算机辅助诊断技术可以有效的改善这两个问题。准确高效的计算机诊断技术可以提高医生的诊断准确率并辅助医生进行病变检测，实现疾病的早期预防与筛查，极大的提高了医生的诊疗效率。借助于深度学习的特征提取优势，目前发展较为迅速的计算机诊断技术包括肺结节的检测、糖尿病视网膜病变的筛查和皮肤癌的识别。通过分析处理病人的CT图像或者其他成像文件，综合患者的病史，来进行辅助诊断和预警。在所有的这些计算机辅助诊断技术中，准确高效的分割技术起着至关重要的作用，它直接关系到后续诊断结果的可靠程度。
目前能够应用到临床中的医疗图像分割技术通常是语义分割，也就是按照图像中物体的类别将感兴趣的区域(region of interested，ROI)以前景和背景像素的模式分割。但这带来了两类问题，一是当多个同类别的物体挨着，或者说互相重叠的时候，无法将单个物体分割出来，不利于医生的后期诊断；二是在人体实际情况中，医学扫描形成的图像并不仅仅包含所需要的部分，比如说拍摄扫描肺部图像，在图片中显示的可能不只有想要进行观察的肺结节，还有其他器官以及肺部的其他部分，这些都会影响分割效果。并且医生进行诊断不仅仅依靠观察一个部位的图像，通常需要观察相邻的，相关的一系列图像，综合进行诊断，这一类单一类型分割方法不能够很好的处理这类问题。
在对颅内进行分割的过程中，由于颅内各个部位互相交叉堆叠又互相关联，使用单一语义分割方法很难够获取准确的分割结果，并且颅内每一个细小的部位，每一个细小的神经都有可能造成医生诊断中的误差，极其不利于医生的进一步诊断。
对颅内各个部分进行单独分割，得到大量的影像图片，但如此之多的影像图片都需要医生进行一一观察的话，极其耗费人力，并且各个部位间的相互关系不能够很好体现，可能会导致诊断中的误差。所以需要一种能够在颅内复杂的各个部位上进行的实例分割方法，这更利于医生判断各个部分的状况，了解各个部位间的相互影响，进行深入诊疗，大大提高医生的工作效率，降低人力消耗。
发明内容
为解决现有技术中的问题，本发明提供一种多器官实例分割方法及***。
本发明多器官实例分割方法包括如下步骤：
S1：构建训练数据集：获取待分割的医学影像，进行预处理，在每个预处理后的医学影像上对各个部位进行分割标注，整合后得到实例分割数据集，作为训练数据集；
S2：构建训练模型：构建基于U-Net网络与Transformer模型的图像分割网络，然后采用所述训练数据集训练所述图像分割网络，获取U-NET-Transformer模型，所述U-NET-Transformer模型为：首先，混合卷积神经网络与Transformer模型进行特征提取，然后将各层数据信息以相同分辨率密集连接输入到隐藏特征层后经过U-Net网络进行分割，同时将输入的图像直接进行位置编码输入Transformer模型学习位置信息以及特征的注意力权重，将获得的注意力权重返回到U-NET网络中，将注意力权重拼接加入进行拼接的特征图像中，最后通过U-NET网络的上采样返回预测结果；
S3：获取图像分割结果：使用训练好的U-NET-Transformer模型对需要分割的颅内图像进行分割，获取分割结果。
本发明作进一步改进，还包括步骤S4：对分割结果进行后处理，获取更精确的分割结果，所述后处理的方法包括：形态学操作法、图像灰度处理法、灰度阈值分割法、区域分割法、边缘检测分割法的一种或多种。
本发明作进一步改进，所述后处理包括多种时，通过多种后处理方法，获得多个语义分割结果，再将多个语义分割结果融合回一张图像上，获得更精确的分割结果。
本发明作进一步改进，所述形态学操作法为先腐蚀后膨胀的形态学操作，对分割结果进行腐蚀的操作方式为：
对于集合A和集合B，表示为
的B对A的腐蚀公式为：
z＝(f,g)，f、g分别为平面坐标系中的坐标点的值，该公式中，B对A的腐蚀是一个用点z沿x与y方向平移的B包含在A中的所有的点z的集合；
膨胀的操作方式为：
对于集合A和集合B，表示为A⊕B的B对A的膨胀公式为：
该公式中，B`是B关于它的原点的映像，然后以点z对映像B`进行平移为基础的，B对A的膨胀是所有位移点z的集合。
本发明作进一步改进，所述图像灰度处理法的方法为：按照所占权重比将各个分割结果设置不同的灰度值，越重要的部分，设定的灰度值越大；
通过图像灰度处理法进行图像融合获得灰度图像后，再使用阈值分割方法或者边缘检测分割方法对融合后的图像进行再次分割，以校准分割边界，获得更精确的结果。
本发明作进一步改进，步骤S1中，图像预处理的方法包括以下一种或多种：对图像进行缩放、尺寸转换、增强对比度、灰度化彩色图片后进行二值化处理、对数据进行缩放、旋转操作，实现数据集的扩增。
本发明作进一步改进，步骤S1中，对图像预处理的方法为：使用同一张原始医学图像进行标记分割的不同部位需要进行信息标记处理，以便于之后的实例分割，所述预处理是将原始医学图像转换为512*512大小的固定尺寸，并进行增强对比度处理，灰度化彩色图片后将灰度像素转化为0-1之间，减小输入特征的尺度，预处理后，还包括整合步骤：将预处理后的数据集与原始输入图像一起整合为训练数据集。
本发明作进一步改进，步骤S2中，所述U-Net网络模型包括上采样层、下采样层、跳越连接结构以及层与层之间的特征融合并且加入剪枝操作，Transformer模型全部由注意力机制组合而成，并且，用卷积神经网络混合Transformer模型对信号不同层次的特征进行像素级的提取。
本发明作进一步改进，步骤S2中，在训练U-NET-Transformer模型的过程中，引入BCE Diceloss交叉熵损失函数：
其中，c是标签0或1，a是模型经过激活函数后的输出，范围为(0,1)，n是样本数量，网络每输出一个值，BCE Diceloss交叉熵损失函数根据该数值与对应标签的情况给出一个损失，x为其中某一个样本,取值为[1，n]，当c取0时，ylna消除，剩下-ln(1-a)，a需要接近0才能够降低损失值loss，c取1时，(1-c)ln(1-a)消除，剩下-lna，此时需要a接近1才能够降低损失值loss。
本发明在上述基础上，作进一步优化，还引入了二分类前景和后景损失函数：
L(b)＝max(0，1-t*b)
其中，b是预测值，取值在-1到1之间，t为目标值1或-1，其含义为：b的值在-1到1之间即可，并不鼓励|b|>1，即让某个样本能够正确分类，不鼓励分类器过度自信，当样本与分割线的距离超过1时并不会有任何奖励。
本发明还提供了一种实现所述多器官实例分割方法的***，包括：
构建训练数据集模块：用于获取待分割的医学影像，进行预处理，在每个预处理后的医学影像上对各个部位进行分割标注，整合后得到实例分割数据集，作为训练数据集；
构建训练模型模块：构建基于U-Net网络与Transformer模型的图像分割网络，然后采用所述训练数据集训练所述图像分割网络，获取U-NET-Transformer模型，所述U-NET-Transformer模型为：首先，混合卷积神经网络与Transformer模型进行特征提取，然后将各层数据信息以相同分辨率密集连接输入到隐藏特征层后经过U-Net网络进行分割，同时将输入的图像直接进行位置编码输入Transformer模型学习位置信息以及特征的注意力权重，将获得的注意力权重返回到U-NET网络中，将注意力权重拼接加入进行拼接的特征图像中，最后通过U-NET网络的上采样返回预测结果；
图像分割结果获取模块：用于使用训练好的U-NET-Transformer模型对需要分割的颅内图像进行分割，获取分割结果。
与现有技术相比，本发明的有益效果是：能够在一张图像上展示医学影像中各个部位的相互影响关系，让医生更加清晰方便的诊断病情；融合了U-NET网络和transformer模型，对复杂结构的实例分割效果更好，借助U-NET网络的独特编解码结构和跳跃连接特点，更好的融合高层特征和低层特征，这种高效的特征提取方式可以使用更少的数据集进行训练模型来达到最终效果；使用transformer模型学习位置编码的重要程度可以更有效的掌握全局信息，结合CNN网络进行特征提取，可以获得更加优质的特征信息，使得分割结果更加准确。
附图说明
图1为本发明方法流程图；
图2为现有技术Transformer Layer网络结构示意图；
图3为现有技术Transformer Layer2网络结构示意图；
图4为现有U-Net网络结构示意图；
图5为本发明一实施例的结合Transformer模型和U-Net网络的U-NET-Transformer模型结构示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细说明。
如图1所示，本发明适用于身体各个部位的医学影像的各器官分割，尤其适应于颅内等互相重叠、现有技术无法将单个器官及相邻器官分割出来的情形。本发明的精确度高，更利于医生判断各个部分的状况，了解各个部位间的相互影响，进行深入诊疗，大大提高医生的工作效率，降低人力消耗。
具体的，如图1所示，本发明多器官实例分割方法包括如下步骤：
步骤S1：构建训练数据集。
本例获取待分割的医学影像，进行预处理，在每个预处理后的医学影像上对各个部位进行分割标注，标记初始分割训练标签，整合各个部位得到对应的实例分割数据集，作为训练数据集。
本步骤中，数据预处理获得训练数据集的方法，包括对图像进行缩放，尺寸转换，双线性差值、增强对比度、灰度化彩色图片后进行二值化处理等一系列预处理，同时对数据进行缩放，旋转等操作，实现数据集的扩增。也可以采用其中的一种或多种进行处理，还可以采用其他的预处理，实现满足训练的数据集的获取。
本例可以采用线性差值法的计算公式为：
当R1＝(x，y2)，
当R2＝(x，y2)，
就可推出在y方向的插值f(P)为：
其中，Q11、Q12、Q21、Q22为包围P点的正方形顶点，R1、R2为过P点垂直于x轴的直线上与4个Q点形成的正方形相交的点。
本例进行二值化处理方法如下：
(1)求出图像最大灰度值与最小灰度值，分别记为Rmax和Rmin，令阈值T1＝(Rmax+Rmin)/2；
(2)根据阈值T1将图象的平均灰度值分成两组Ra和Rb；
(3)分别求出两组的平均灰度值μ1和μ2；
(4)求出新阈值T2＝(μ1+μ2)/2。
(5)根据新阈值T2，将大于阈值T2的值设为255，小于阈值T的值设为0。
优选地，本例使用同一张原始医学图像进行标记分割的不同部位需要进行信息标记处理，以便于之后的实例分割，所述预处理是将原始医学图像转换为512*512大小的固定尺寸，并进行增强对比度处理，灰度化彩色图片后将灰度像素转化为0-1之间，减小输入特征的尺度。
步骤S2：构建训练模型。
本例集成训练模型U-Net网络与Transformer模型，其中，U-Net网络模型包括上采样层、下采样层、跳越连接结构以及层与层之间的特征融合并且加入剪枝操作，Transformer模型全部由注意力机制组合而成，可以更好的掌握全局信息，但容易忽略低分辨率的图像细节，在解码恢复的过程中会产生误差，所以利用CNN(卷积神经网络)混合Transformer网络对信号不同层次的特征进行像素级的提取，能够在掌握全局信息的同时，也保留了低分辨率的细节信息。
以下对本例用到的U-Net网络与Transformer模型进行相应说明。
如图2所示，本例的Transformer模型结构可大致分为4个部分：输入、编码、解码和输出。其中包括位置编码(Positional Encoding)、前向传播、自注意力(Self Attention)、相加再归一化(Add&Normalize)和混合多头注意力模块(Multi-Head Attention)。
计算机视觉的注意力(Visual Attention)机制，让计算机***通过学习能够忽略无关信息，关注更加重要的重点信息。包括神经网络能够自主学习的自注意力(SelfAttention)、多头注意力(Multi-Head Attention)等多种注意力方法。
位置编码：通过注入词的顺序信息增强模型输入，一是使用不同频率的sine和cosine函数直接进行计算；二是学习出一份positional embedding，即在batch维度进行broadcast(传播)。本例Transformer模型采用的是第一种方式，计算公式为：
其中，pos表示位置，l表示维度，dmodel表示位置向量维度＝embedding维度＝512(trans)或者768(bert)，这种方法可以对任意位置进行编码表示，并且可以学习更长的序列，对序列的要求变得宽泛。
自注意力模块中Q(Query)、K(Key)、V(Value)三个矩阵均来自同一输入，首先通过计算Q与K的点乘，并且为了防止其乘积过大，需要除以尺度标度
dk是一个query和key向量的维度。再通过Softmax函数将结果归一化，乘以矩阵V即可得到权值：
Transformer网络模型需要2种mask(掩膜)，Padding mask(填充掩膜)和Sequencemask(序列掩膜)。Padding mask通过在各个批次输入序列中长度较短的序列后加0或是将长度过长序列的左边进行截取，并将的多余部分舍弃，以达到使多个长度不一的的序列进行对齐。Sequence mask用于使decoder(解码器)不能接受未来的信息，输出解码器应该只能依赖读取前的输出，不能进行时间后的输出。本例通过产生上三角矩阵并设为0，来实现这一效果。
具体的：在此处使用CNN混合Transformer进行特征提取，通过CNN网络进行下采样，得到不同分辨率下的特征信息。
CNN网络为卷积神经网络，卷积神经网络(Convolutional Neural Networks，CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。
Transformer模型的Transformer Layer2的网络结构图如图3所示，这里的输入采用类似Vit做法，将2D图切片为1维序列进行输入，然后进行位置编码后输入Transformer网络计算其特征部位的权重，计算方式同上。
如图4所示，本实例的U-Net网络模型采用了U-Net的经典编码解码结构，包括下采样(Down-sampling)、上采样(Up-sampling)和跳跃连接(skip connection)，其中跳跃连接可以把编码器部分每一次下采样得到的特征通过级联(Concatenation)和卷积(Convolution)与解码器部分上采样结果融合，使得到的分割结果更加精准。下采样主要是为了增加模型鲁棒性，轻微的旋转不变性，减少训练参数以及增加网络感受野等。上采样则是将提取到的特征逐步恢复到和原图像大小一致的标签预测中。这里主要是对像素点的类别预测所以需要输入图像和其对应标签具有相同的大小。图4中，input为输入，output为输出，Max Pooling为最大池化，Block copled为裁剪拼接。
卷积层主要由卷积计算和激活函数组成，目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。
采用池化层是为了降低卷积层输出的特征向量，同时改善结果，使结构不容易出现过拟合。
全连接层中每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来，即把学习到的特征映射到样本标记空间的作用。
在数据预处理后的各个部位对应的分割标签图片与原始图片做训练集的情况下，通过网络前向传播得到的输出为每个像素点所属类别的概率，进行处理得到分割模型。
本例改进后的U-NET-Transformer模型为：
首先，混合卷积神经网络与Transformer模型进行特征提取，然后将各层数据信息以相同分辨率密集连接输入到隐藏特征层后经过U-Net网络进行分割，同时将输入的图像直接进行位置编码输入Transformer模型学习位置信息以及特征的注意力权重，将获得的注意力权重返回到U-NET网络中，将注意力权重拼接加入进行拼接的特征图像中，最后通过U-NET网络的上采样返回预测结果。
作为本发明的优选实施例，本例在训练U-NET-Transformer模型的过程中，引入BCE Diceloss(Sigmoid与log损失)交叉熵损失函数：
其中，c是标签0或1，a是模型经过激活函数后的输出，范围为(0,1)，n是样本数量，网络每输出一个值，BCE Diceloss交叉熵损失函数根据该数值与对应标签的情况给出一个损失，x为其中某一个样本,取值为[1，n]，当c取0时，ylna消除，剩下-ln(1-a)，a需要接近0才能够降低损失值loss，c取1时，(1-c)ln(1-a)消除，剩下-lna，此时需要a接近1才能够降低损失值loss，该loss考虑了0和1的情况，通常用于二分类情况。
本发明在上述基础上，作进一步优化，还同时引入了二分类前景和后景损失函数：
L(b)＝max(0，1-t*b)
其中，b是预测值，取值在-1到1之间，t为目标值1或-1，其含义为：b的值在-1到1之间即可，并不鼓励|b|>1，即让某个样本能够正确分类，不鼓励分类器过度自信，当样本与分割线的距离超过1时并不会有任何奖励，目的在于使分类器更专注于整体的分类误差。
步骤S3：获取图像分割结果
使用训练好的U-NET-Transformer模型对需要分割的颅内图像进行分割，获取分割结果。
步骤S4：对分割结果进行后处理
为了获取更精确的分割结果，本例对获取的分割结果进行后处理。本例的后处理的方法包括：形态学操作法、图像灰度处理法、灰度阈值分割法、区域分割法、边缘检测分割法的一种或多种。
为了让最后预测结果边界更加平滑、同时消除细小预测噪声的影响，本例对最后预测结果进行先腐蚀后膨胀的形态学操作。
这里形态学表示数学形态学的内容，将数学形态学作为工具从图像中提取表达和描绘区域形状的有用图像分量，如边界、骨架和凸壳等。
对分割结果进行腐蚀的操作方式为：
对于集合A和集合B，表示为
的B对A的腐蚀公式为：
z＝(f,g)，f、g分别为平面坐标系中的坐标点的值，该公式中，B对A的腐蚀是一个用点z沿x与y方向平移的B包含在A中的所有的点z的集合；
膨胀的操作方式为：
对于集合A和集合B，表示为
的B对A的膨胀公式为：
该公式中，B`是B关于它的原点的映像，然后以点z对映像B`进行平移为基础的，B对A的膨胀是所有位移点z的集合。
作为本发明的一个优选实施例，本例为了使分割结果更加平滑并且完整，对图像进行后处理操作如下：
图像灰度处理：按照所占权重比将各个分割结果设置不同的灰度值，越重要的部分，设定的灰度值越大。
同时在进行图像融合获得灰度图像后，可以优化的使用阈值分割方法或者边缘检测分割方法对融合后的图像进行再次分割，以校准分割边界，获得更精确的结果，这也正是医学图像所要求的。
灰度阈值分割方法：首先需要确定一个基础阈值，然后通过对每一个像素点进行判断，阈值化处理公式为：
f(i,j)代表横坐标为i，纵坐标为j的像素，g(i,j)表示阈值分割后的每一个像素。将大于阈值的部分设为1(白色)，小于阈值的部分设为0(黑色)，从而将图像根据阈值分割为不同区域。与之相似的还有区域分割法，比如区域生长法，利用区域内像素的灰度值相似性，将相似区域合并，不相似区域分割开来。其具体步骤是：首先在每个需要分割的区域内找到一个像素点作为该区域的种子点；然后按照一定的连通规则将种子点周围与其有相似性质的像素，按照一定准则合并到种子点的区域中；最后将这些新像素当作新的种子点继续以上步骤，直到整幅图像分割结束。
达到最大值的条件为边缘检测分割法：物体的边缘是图像局部亮度变化最显著的部分，基于这点，先检测边缘点，再按照一定方法将边缘点连接成边缘线，从而分割图像区域。由于图像上边缘线邻域是图像中一个灰度级变化比较剧烈的地带，衡量这种变化最有效的两个特征就是变化率和变化方向。从数学上来讲就是梯度向量的幅值和方向。因此对于一幅图像f(x,y)来说，求其梯度的局部最大值和方向即为边缘检测。已知f(x,y)在q方向沿着r的梯度定义如下：
梯度
达到最大值的条件为
即：
-fx sinθg+fy cosθg＝0得到
梯度最大值(梯度模)：
梯度模算子具有各向同性和位移不变性，适用于边缘检测，而灰度变化的方向，即边界方向则可由θg＝arctanθfy/fx计算得到。
经过以上步骤，就可以通过多个训练模型进行语义分割，获得多个语义分割结果，再将之融合回到一张图像上，获得与实例分割相似的结果。
本发明还提供了一种实现所述多器官实例分割方法的***，包括：
构建训练数据集模块：用于获取待分割的医学影像，进行预处理，在每个预处理后的医学影像上对各个部位进行分割标注，整合后得到实例分割数据集，作为训练数据集；构建训练模型模块：构建基于U-Net网络与Transformer模型的图像分割网络，然后采用所述训练数据集训练所述图像分割网络，获取U-NET-Transformer模型，所述U-NET-Transformer模型为：首先，混合卷积神经网络与Transformer模型进行特征提取，然后将各层数据信息以相同分辨率密集连接输入到隐藏特征层后经过U-Net网络进行分割，同时将输入的图像直接进行位置编码输入Transformer模型学习位置信息以及特征的注意力权重，将获得的注意力权重返回到U-NET网络中，将注意力权重拼接加入进行拼接的特征图像中，最后通过U-NET网络的上采样返回预测结果；
图像分割结果获取模块：用于使用训练好的U-NET-Transformer模型对需要分割的颅内图像进行分割，获取分割结果；
后处理模块：用于对分割结果进行后处理，获取更精确的分割结果。
本发明的有益效果至少包括：
(1)能够在一张图像上展示医学影像中各个部位的相互影响关系，让医生更加清晰方便的诊断病情；
(2)融合了U-NET网络和transformer模型，对复杂结构的实例分割效果更好，借助U-NET网络的独特编解码结构和跳跃连接特点，更好的融合高层特征和低层特征，这种高效的特征提取方式可以使用更少的数据集进行训练模型来达到最终效果；
(3)使用transformer模型学习位置编码的重要程度可以更有效的掌握全局信息，结合CNN网络进行特征提取，可以获得更加优质的特征信息，使得分割结果更加准确；
(4)现有的实例分割方法的分割效果弱于现有的语义分割结果，使用将多个语义分割结果相融合的方法，能够获取更加精准的分割结果。
以上所述之具体实施方式为本发明的较佳实施方式，并非以此限定本发明的具体实施范围，本发明的范围包括并不限于本具体实施方式，凡依照本发明所作的等效变化均在本发明的保护范围内。
Claims (10)
1.一种多器官实例分割方法，其特征在于：包括如下步骤：
S1：构建训练数据集：获取待分割的医学影像，进行预处理，在每个预处理后的医学影像上对各个部位进行分割标注，整合后得到实例分割数据集，作为训练数据集；
S2：构建训练模型：构建基于U-Net网络与Transformer模型的图像分割网络，然后采用所述训练数据集训练所述图像分割网络，获取U-NET-Transformer模型，所述U-NET-Transformer模型为：首先，混合卷积神经网络与Transformer模型进行特征提取，然后将各层数据信息以相同分辨率密集连接输入到隐藏特征层后经过U-Net网络进行分割，同时将输入的图像直接进行位置编码输入Transformer模型学习位置信息以及特征的注意力权重，将获得的注意力权重返回到U-NET网络中，将注意力权重拼接加入进行拼接的特征图像中，最后通过U-NET网络的上采样返回预测结果；
S3：获取图像分割结果：使用训练好的U-NET-Transformer模型对需要分割的颅内图像进行分割，获取分割结果。
2.根据权利要求1所述的多器官实例分割方法，其特征在于：还包括步骤S4：对分割结果进行后处理，获取更精确的分割结果，所述后处理的方法包括：形态学操作法、图像灰度处理法、灰度阈值分割法、区域分割法、边缘检测分割法的一种或多种,当后处理方法包括多种时，通过多种后处理方法，获得多个语义分割结果，再将多个语义分割结果融合回一张图像上，获得更精确的分割结果。
3.根据权利要求2所述的多器官实例分割方法，其特征在于：所述形态学操作法为先腐蚀后膨胀的形态学操作，对分割结果进行腐蚀的操作方式为：
对于集合A和集合B，表示为
的B对A的腐蚀公式为：
z＝(f,g)，f、g分别为平面坐标系中的坐标点的值，该公式中，B对A的腐蚀是一个用点z沿x与y方向平移的B包含在A中的所有的点z的集合；
膨胀的操作方式为：
对于集合A和集合B，表示为A⊕B的B对A的膨胀公式为：
z＝(f,g)，该公式中，B`是B关于它的原点的映像，然后以点z对映像B`进行平移为基础的，B对A的膨胀是所有位移点z的集合。
4.根据权利要求2所述的多器官实例分割方法，其特征在于：所述图像灰度处理法的方法为：按照所占权重比将各个分割结果设置不同的灰度值，越重要的部分，设定的灰度值越大；
通过图像灰度处理法进行图像融合获得灰度图像后，再使用阈值分割方法或者边缘检测分割方法对融合后的图像进行再次分割，以校准分割边界，获得更精确的结果。
5.根据权利要求1-4任一项所述的多器官实例分割方法，其特征在于：步骤S1中，图像预处理的方法包括以下一种或多种：对图像进行缩放、尺寸转换、增强对比度、灰度化彩色图片后进行二值化处理、对数据进行缩放、旋转操作，实现数据集的扩增。
6.根据权利要求5所述的多器官实例分割方法，其特征在于：步骤S1中，对图像预处理的方法为：使用同一张原始医学图像进行标记分割的不同部位需要进行信息标记处理，以便于之后的实例分割，所述预处理是将原始医学图像转换为512*512大小的固定尺寸，并进行增强对比度处理，灰度化彩色图片后将灰度像素转化为0-1之间，减小输入特征的尺度，预处理后，还包括整合步骤：将预处理后的数据集与原始输入图像一起整合为训练数据集。
7.根据权利要求1-4任一项所述的多器官实例分割方法，其特征在于：步骤S2中，所述U-Net网络模型包括上采样层、下采样层、跳越连接结构以及层与层之间的特征融合并且加入剪枝操作，Transformer模型全部由注意力机制组合而成，并且，用卷积神经网络混合Transformer模型对信号不同层次的特征进行像素级的提取。
8.根据权利要求7所述的多器官实例分割方法，其特征在于：步骤S2中，在训练U-NET-Transformer模型的过程中，引入BCE Diceloss交叉熵损失函数：
其中，c是标签0或1，a是模型经过激活函数后的输出，范围为(0,1)，n是样本数量，网络每输出一个值，BCE Diceloss交叉熵损失函数根据该数值与对应标签的情况给出一个损失，x为具体的某一个样本,取值为[1，n]，当c取0时，ylna消除，剩下-ln(1-a)，a需要接近0才能够降低损失值loss，c取1时，(1-c)ln(1-a)消除，剩下-lna，此时需要a接近1才能够降低损失值loss。
9.根据权利要求8所述的多器官实例分割方法，其特征在于：还包括二分类前景和后景损失函数：
L(b)＝max(0，1-t*b)
其中，b是预测值，取值在-1到1之间，t为目标值1或-1，其含义为：b的值在-1到1之间即可，并不鼓励|b|>1，即让某个样本能够正确分类，不鼓励分类器过度自信，当样本与分割线的距离超过1时并不会有任何奖励。
10.一种***，用于实现权利要求1-9任一项所述的多器官实例分割方法，其特征在于，包括：
构建训练数据集模块：用于获取待分割的医学影像，进行预处理，在每个预处理后的医学影像上对各个部位进行分割标注，整合后得到实例分割数据集，作为训练数据集；
构建训练模型模块：构建基于U-Net网络与Transformer模型的图像分割网络，然后采用所述训练数据集训练所述图像分割网络，获取U-NET-Transformer模型，所述U-NET-Transformer模型为：首先，混合卷积神经网络与Transformer模型进行特征提取，然后将各层数据信息以相同分辨率密集连接输入到隐藏特征层后经过U-Net网络进行分割，同时将输入的图像直接进行位置编码输入Transformer模型学习位置信息以及特征的注意力权重，将获得的注意力权重返回到U-NET网络中，将注意力权重拼接加入进行拼接的特征图像中，最后通过U-NET网络的上采样返回预测结果；
图像分割结果获取模块：用于使用训练好的U-NET-Transformer模型对需要分割的颅内图像进行分割，获取分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111372463.7A CN114092439A (zh) | 2021-11-18 | 2021-11-18 | 一种多器官实例分割方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111372463.7A CN114092439A (zh) | 2021-11-18 | 2021-11-18 | 一种多器官实例分割方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114092439A true CN114092439A (zh) | 2022-02-25 |
Family
ID=80302203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111372463.7A Pending CN114092439A (zh) | 2021-11-18 | 2021-11-18 | 一种多器官实例分割方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114092439A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634285A (zh) * | 2020-12-23 | 2021-04-09 | 西南石油大学 | 一种自动分割腹部ct内脏脂肪区域的方法 |
| CN114299072A (zh) * | 2022-03-11 | 2022-04-08 | 四川大学华西医院 | 一种基于人工智能的解剖变异识别提示方法及*** |
| CN114663512A (zh) * | 2022-04-02 | 2022-06-24 | 广西科学院 | 一种基于器官编码的医学影像精确定位方法及*** |
| CN115018824A (zh) * | 2022-07-21 | 2022-09-06 | 湘潭大学 | 一种基于CNN和Transformer融合的结肠镜息肉图像分割方法 |
| CN115035119A (zh) * | 2022-08-12 | 2022-09-09 | 山东省计算中心（国家超级计算济南中心） | 一种玻璃瓶底瑕疵图像检测剔除装置、***及方法 |
| CN117174240A (zh) * | 2023-10-26 | 2023-12-05 | 中国科学技术大学 | 一种基于大模型领域迁移的医疗影像报告生成方法 |
| WO2023232137A1 (zh) * | 2022-06-02 | 2023-12-07 | 北京阅影科技有限公司 | 图像处理模型的训练方法、图像处理方法及装置 |
| WO2024120390A1 (zh) * | 2022-12-05 | 2024-06-13 | 中慧医学成像(深圳)有限公司 | 用于脊柱超声图像的自动标注方法和装置 |
-
2021
- 2021-11-18 CN CN202111372463.7A patent/CN114092439A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634285A (zh) * | 2020-12-23 | 2021-04-09 | 西南石油大学 | 一种自动分割腹部ct内脏脂肪区域的方法 |
| CN112634285B (zh) * | 2020-12-23 | 2022-11-22 | 西南石油大学 | 一种自动分割腹部ct内脏脂肪区域的方法 |
| CN114299072A (zh) * | 2022-03-11 | 2022-04-08 | 四川大学华西医院 | 一种基于人工智能的解剖变异识别提示方法及*** |
| CN114663512A (zh) * | 2022-04-02 | 2022-06-24 | 广西科学院 | 一种基于器官编码的医学影像精确定位方法及*** |
| WO2023232137A1 (zh) * | 2022-06-02 | 2023-12-07 | 北京阅影科技有限公司 | 图像处理模型的训练方法、图像处理方法及装置 |
| CN115018824A (zh) * | 2022-07-21 | 2022-09-06 | 湘潭大学 | 一种基于CNN和Transformer融合的结肠镜息肉图像分割方法 |
| CN115035119A (zh) * | 2022-08-12 | 2022-09-09 | 山东省计算中心（国家超级计算济南中心） | 一种玻璃瓶底瑕疵图像检测剔除装置、***及方法 |
| WO2024120390A1 (zh) * | 2022-12-05 | 2024-06-13 | 中慧医学成像(深圳)有限公司 | 用于脊柱超声图像的自动标注方法和装置 |
| CN117174240A (zh) * | 2023-10-26 | 2023-12-05 | 中国科学技术大学 | 一种基于大模型领域迁移的医疗影像报告生成方法 |
| CN117174240B (zh) * | 2023-10-26 | 2024-02-09 | 中国科学技术大学 | 一种基于大模型领域迁移的医疗影像报告生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114092439A (zh) | 一种多器官实例分割方法及*** | |
| Bashir et al. | A comprehensive review of deep learning-based single image super-resolution | |
| CN111145170B (zh) | 一种基于深度学习的医学影像分割方法 | |
| CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
| CN111951288B (zh) | 一种基于深度学习的皮肤癌病变分割方法 | |
| CN112308860A (zh) | 基于自监督学习的对地观测图像语义分割方法 | |
| CN111563897B (zh) | 基于弱监督学习的乳腺核磁影像肿瘤分割的方法及装置 | |
| CN112734755A (zh) | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 | |
| CN111161271A (zh) | 一种超声图像分割方法 | |
| CN116188479B (zh) | 基于深度学习的髋关节图像分割方法及*** | |
| CN114037714A (zh) | 一种面向******穿刺的3d mr与trus图像分割方法 | |
| CN112465754B (zh) | 基于分层感知融合的3d医疗图像分割方法、装置及存储介质 | |
| CN111275712A (zh) | 一种面向大尺度图像数据的残差语义网络训练方法 | |
| CN114972378A (zh) | 一种基于掩码注意力机制的脑肿瘤mri图像分割方法 | |
| CN116596949A (zh) | 一种基于条件扩散模型的医学图像分割方法 | |
| CN114565572A (zh) | 一种基于图像序列分析的脑出血ct图像分类方法 | |
| CN115546466A (zh) | 一种基于多尺度显著特征融合的弱监督图像目标定位方法 | |
| CN115861181A (zh) | 一种面向ct影像的肿瘤分割方法及其*** | |
| CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
| CN113538363A (zh) | 一种基于改进U-Net的肺部医学影像分割方法及装置 | |
| CN114283406A (zh) | 细胞图像识别方法、装置、设备、介质及计算机程序产品 | |
| CN113538530A (zh) | 一种耳部医学图像分割方法、装置、电子设备及存储介质 | |
| CN117291935A (zh) | 一种头颈瘤病灶区域图像分割方法及计算机可读介质 | |
| CN114119558B (zh) | 一种自动生成鼻咽癌影像诊断结构化报告方法 | |
| CN112967295B (zh) | 一种基于残差网络和注意力机制的图像处理方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |