CN110874860B - 基于混合损失函数的对称监督模型的目标提取方法 - Google Patents
基于混合损失函数的对称监督模型的目标提取方法 Download PDFInfo
- Publication number
- CN110874860B CN110874860B CN201911151141.2A CN201911151141A CN110874860B CN 110874860 B CN110874860 B CN 110874860B CN 201911151141 A CN201911151141 A CN 201911151141A CN 110874860 B CN110874860 B CN 110874860B
- Authority
- CN
- China
- Prior art keywords
- loss function
- symmetrical
- supervision model
- magnetic resonance
- nuclear magnetic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 33
- 210000005246 left atrium Anatomy 0.000 claims abstract description 49
- 238000005481 NMR spectroscopy Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 15
- 230000000747 cardiac effect Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 66
- 238000010606 normalization Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 13
- 230000001746 atrial effect Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 210000002837 heart atrium Anatomy 0.000 claims description 5
- 238000002156 mixing Methods 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 230000036541 health Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000005240 left ventricle Anatomy 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 210000005241 right ventricle Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
基于混合损失函数的对称监督模型的目标提取方法，本发明涉及目标提取方法。本发明的目的是为了解决现有左心房提取方法耗费大量人力物力、存在人为差异、效率低的问题。过程为：1、获取心脏核磁共振影像数据，并进行标注；2、对1获取的带标记的心脏核磁共振影像数据进行预处理；3、得到训练好的对称监督模型，保存训练好的对称监督模型；4、采用3训练好的对称监督模型对预处理后的心脏核磁共振影像数据进行预测，并输出每个像素判别为左心房的概率，设定一个概率阈值将结果二值化；5、根据2的逆操作将4获得的二值化切片结果重建到三维体数据，完成左心房的提取。本发明用于目标提取领域。
Description
技术领域
本发明涉及目标提取方法。
背景技术
医学图像处理是随着计算机技术的发展和成熟以及临床诊断技术的进步而迅速发展起来的一门新兴学科与技术，如今，医学图像处理技术作为医生的辅助工具在临床上的应用越来越广泛。左心房是人体心脏的重要组成部分，其结构、大小以及形态是鉴别人体生理状态的重要因素。临床上用于提取左心房的方法还停留在医生利用软件(如CVI42,Circle cardiovascular imaging)手动提取的阶段，这类方法存在较大的人为主观差异，而且需要具有专业知识的相关人员来负责提取工作。提取效率也比较低，大大增加了医生的负担和患者的等待时间。左心房提取工作是检查身体健康的预处理阶段，不属于疾病的诊断方法，即不是以获得疾病诊断结果或健康状况为直接目的，只属于中间的一个图像处理过程，并不能直接获得诊断结果。如果想要获得最终诊断结果，还需在左心房提取工作的基础上进行一系列其他操作，不涉及疾病诊断以及评价患者健康状态等内容，所以自动化的提取工作可以减少医护工作者的重复劳动，提升工作效率，缓解就医压力。而且自动化的提取具有客观、可重复的优点。
发明内容
本发明的目的是为了解决现有左心房提取方法耗费大量人力物力、存在人为差异、效率低的问题，而提出基于混合损失函数的对称监督模型的目标提取方法。
基于混合损失函数的对称监督模型的目标提取方法具体过程为：
步骤1、获取心脏核磁共振影像数据，并进行标注；
步骤2、对步骤1获取的带标记的心脏核磁共振影像数据进行预处理，预处理包括获取二维切片、裁剪、缩放以及数据归一化操作；
步骤3、将步骤2预处理后的心脏核磁共振影像数据作为对称监督模型的输入；
对称监督模型由编码器和解码器两部分构成，其中编码器包括输入层、卷积层、归一化层、最大池化层、输出层，解码器包括卷积层、反卷积层、归一化层、Dropout层和输出层；
解码器和编码起之间通过串联操作完成跳层连接；
对称监督模型的最终输出由编码器和解码器各自输出层的加权和构成；
所述对称监督模型还包括通道加权模块；通道加权模块由全局池化层和全连接层组成；
对称监督模型的损失函数由三个独立的损失函数组成，分别为目标分割损失函数，边缘检测损失函数以及不确定性损失函数；
对对称监督模型进行网络训练，并采用基于反向传播算法的随机梯度下降的方式进行网络参数的学习，当损失函数不再下降或者达到指定迭代次数后停止训练，得到训练好的对称监督模型，保存训练好的对称监督模型；
步骤4、对待处理的心脏核磁共振影像数据进行预处理，采用步骤3训练好的对称监督模型对预处理后的心脏核磁共振影像数据进行预测，并输出每个像素判别为左心房的概率，设定一个概率阈值将结果二值化；
步骤5、根据步骤2的逆操作将步骤4获得的二值化切片结果重建到三维体数据，完成左心房的提取。
本发明的有益效果为：
本发明提出了一种利用混合损失函数的对称监督模型方法用于自动提取左心房。该方法的主要创新在于对称监督模型的构建、注意力机制的设计以及混合损失函数的设计。
本发明是使用核磁共振成像技术获取心脏影像数据，在对图像预处理过程中，为了避免人为因素的干扰，最大程度的保留图像信息，仅对图像进行最大最小归一化处理。由于临床上获得到的数据是将扫描的切片重建成立体的三维体数据(Volume)，数据量少，而且三维模型的时间成本较高，医生在进行数据标注时也是在切片(Slices)上进行的，所以本发明的模型是基于切片进行训练的，切片是从三维体数据依据长轴(心脏二腔心)提取，然后对切片使用旋转、缩放等操作实现数据扩增。
在模型构造上，本发明在U-Net编码器解码器结构的基础上使用对称的深度监督技术对模型的双侧进行监督，深度监督技术可以很好的保留数据浅层和深层的特征，并直接将损失注入到中间层中，使网络更好、更快的收敛。本发明的对称监督体现在模型的编码器和解码器对称的输出上，常规的模型只在解码器存在一个或多个输出用于监督整个网络的训练，对于编码器的监督处于一种缺失的状态。本发明为了进一步全面的监督网络内部的各个层，在编码器和解码器分别定义了一个输出，模型的最后输出使用两个输出的加权平均进行确定。并且，在输出前对不同层级的特征均使用了注意力机制对特征进行加权，将模型的注意力集中到权重大的特征上。对于注意力机制，由于特征的权重是学习得到的，为了避免学习到差的权重降低网络的性能，本发明将输入特征和输出的加权特征进行残差相加以保证网络的有效性。最后，再结合编码器到解码器之间的跳层连接可以让模型更好的学习并保证数据信息的完整性。
在得到最后的预测概率后，利用阈值将结果掩码化。将掩码作用于输入数据上提取对应的数据信息，然后将其与标签和输入数据获得的数据信息计算相似性，以该相似性作为结果的不确定性，不确定性越小模型的预测效果越好，通过优化不确定性，进一步提高模型的效率。除了常规的目标分割损失外，本发明还在解码器端融入了边界检测的损失函数来优化边界。
基于已经训练好的模型，对心脏核磁共振数据进行预测，获得左心房的预测结果。从大量的样本分析实验中，人工标记每个个体的数据需要20分钟左右，而且不同医生之间的经验和判断具有主观性，很容易发生误判以及不一致的问题。本发明使用自动化的方式完成对数据的预处理和左心房的提取工作，在保证提取准确率的基础上，可以将提取时间缩减到10秒以内，大幅提高数据处理的效率。当然该项技术不仅可以应用于心脏核磁共振数据，还可以应用于心脏计算机断层扫描数据，也可以用于对心脏其他部分(如，左右心室)的提取分析。与传统方法相比较，本发明的基于混合损失函数的对称监督深度学习的左心房提取方法能快速、准确、自动化的提取到左心房，为后续分析左心房的功能提供重要的数据处理支持；解决了现有左心房提取方法耗费大量人力物力、存在人为差异、效率低的问题。
需要注意的是，本发明不属于疾病的诊断方法，不是以获得疾病诊断结果或健康状况为直接目的，本发明只是属于中间的一个图像处理过程。如需获得最终的诊断结果还需在本发明的基础上通过医生进行一系列专业的诊断操作实现。
附图说明
图1是本发明方法流程图；
图2是本发明对称监督的深度卷积神经网络示意图；
图3是本发明实施例中左心房底端的核磁共振切片图像及其对应的边界图；
图4是本发明实施例中左心房中部的核磁共振切片图像及其对应的边界图；
图5是本发明实施例中左心房顶端的核磁共振切片图像及其对应的边界图；
图6是本发明实施例中左心房二值掩模三维示意图。
具体实施方式
具体实施方式一：本实施方式基于混合损失函数的对称监督模型的目标提取方法具体过程为：
步骤1、获取心脏核磁共振影像数据，并进行标注；
步骤2、对步骤1获取的带标记的心脏核磁共振影像数据进行预处理，预处理包括获取二维切片、裁剪、缩放以及数据归一化等操作；
步骤3、将步骤2预处理后的心脏核磁共振影像数据作为对称监督模型的输入；
对称监督模型由编码器和解码器两部分构成，其中编码器包括输入层、卷积层、归一化层、最大池化层、输出层，解码器包括卷积层、反卷积层、归一化层、Dropout层和输出层；
解码器和编码起之间通过串联操作完成跳层连接；
对称监督模型的最终输出由编码器和解码器各自输出层的加权和构成；
所述对称监督模型还包括通道加权模块，实现对卷积层获得到的特征进行排序；通道加权模块由全局池化层(Global Average Pooling，GA)和全连接层(Full Connected，FC)组成；
对称监督模型的损失函数由三个独立的损失函数组成，分别为目标分割损失函数，边缘检测损失函数以及不确定性损失函数；
对对称监督模型进行网络训练，并采用基于反向传播算法的随机梯度下降的方式进行网络参数的学习，当损失函数不再下降或者达到指定迭代次数后停止训练，得到训练好的对称监督模型，保存训练好的对称监督模型；
步骤4、对待处理的心脏核磁共振影像数据进行预处理，采用步骤3训练好的对称监督模型对预处理后的心脏核磁共振影像数据进行预测，并输出每个像素判别为左心房的概率，设定一个概率阈值将结果二值化；
步骤5、根据步骤2的逆操作将步骤4获得的二值化切片结果重建到三维体数据，完成左心房的提取(步骤2对图像进行了缩放、裁剪操作，需要在最后将其恢复到原始尺寸就是填充，放大；然后再将切片重建成3D数据)。
具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤1中获取心脏核磁共振影像数据，并进行标注；具体过程为：
步骤11、人工标注左心房区域和背景区域，其中左心房区域标记为1，背景区域标记为0，存储该类标记，作为提取模型的标签；
步骤12、使用Canny算子在步骤11提取的左心房区域和背景区域二值图像上提取边界，将边界标记为1，其他区域标记为0，存储该类标记，作为边界检测的标签。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤2中对步骤1获取的带标记的心脏核磁共振影像数据进行预处理，预处理包括获取二维切片、裁剪、缩放以及数据归一化等操作；具体过程为：
在训练阶段还会对步骤1获取的带标记的心脏核磁共振影像数据图像进行随机的指定范围内的旋转以及水平、垂直翻转操作实现数据扩增，以避免发生过拟合现象；
对步骤1获取的带标记的心脏核磁共振影像数据通过长轴提取二维切片(核磁提取的时候是以人从头到脚的方向扫描的，其实每个时刻扫描的是一个切片，后来重建成3D的。存储起来就是一个3D的数组，这个提取是根据存储的顺序在长轴方向上将其转换成2D切片)，并在获取的切片上使用中心裁剪去除不包含心脏的大部分背景区域，最后采用最大最小归一化将数据和标签(数据是去除不包含心脏的大部分背景区域后的数据，标签是步骤1获取的带标记的)归一化到[0,1]，使用设定的阈值将因缩放而改变的标签重新二值化(标签是将步骤1获得的人工标记去除不包含心脏的大部分背景区域后的标签)。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤3中的对称监督模型包含三个损失函数：目标分割损失函数Lseg，边界检测损失函数Ledge以及不确定性估计损失函数Lun；
目标分割损失函数和不确定性估计损失函数作用于编码器和解码器端的输出，边界检测损失函数仅作用于解码器端的输出；
目标分割损失函数Lseg表达式为：
其中，N为切片上的像素总数，yi为经步骤2预处理后的像素i的提取标签值，0为背景，1为目标即左心房；
为编码器端输出的像素i的预测结果，
为解码器端输出的像素i的预测结果；α和β分别是在编码器端输出和解码器端输出的损失权重(设定)；
通过最小化目标分割损失函数Lseg，使预测结果的分布逐渐逼近标签的分布，从而达到准确提取左心房的目的；
边界检测损失函数Ledge表达式为：
其中，w为边界的权重值；yi edge为经步骤2预处理后的像素i的边界标签值，0为背景，1为左心房边界；
为解码器端输出的边界检测结果；
通过最小化边界检测损失函数Ledge，达到准确检测左心房边界的目的；
不确定性估计损失函数Lun表达式为：
其中，
为经步骤2预处理后的像素i的标签值，0为背景，1为左心房；
为经步骤4获得的二值化预测结果；Ii为经步骤2预处理后的输入数据的像素值；*代表掩码映射，该操作将保留判断为左心房的像素值，将判断为背景的像素值置为0，从而达到提取左心房数据信息的目的；
不确定性估计损失函数Lun将步骤3对称监督模型获得的二值化预测结果通过掩码映射到步骤2中预处理后的心脏核磁共振影像数据(预测结果是二值的，心房部分为1，其他部分为0，掩码映射即将预测结果与输入数据相乘，预测为心房的部分保留原始像素值，预测为其他部分置为0，不参与计算)，获得预测的左心房数据信息，然后将其与真实心房部分的数据信息计算均方差误差，获得预测的左心房数据信息和真实心房部分的数据信息二者的相似性，从而达到从数据的角度评估分割结果的不确定性的目的；
所述真实心房部分的数据信息通过步骤1人工标记后的二值图像和步骤2中预处理后的心脏核磁共振影像数据掩码映射获得；
通过最小化不确定性估计损失函数Lun，最大化预测的左心房数据信息和真实心房部分的数据信息之间的相似性，提取左心房，以提高左心房提取的准确性；
对称监督模型整体的损失函数如下：
L＝Lseg+Ledge+Lun,
对称监督模型通过最小化损失函数L达到优化左心房提取模型的目的。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述边界检测损失的权重w起到平衡正负样本的作用，由于边界像素在整体图像上占有极少的比率，如果不加干预，模型很容易受到负样本(即背景像素)的干扰。边界的权重值w的计算方式如下：
其中，Nedge为边界像素的个数。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述步骤3中编码器和解码器输出端的加权和的具体求解过程为：
每个像素值经过编码器和解码器输出端的加权和的输出结果及其二值化按照如下公式计算：
其中，α和β分别是在编码器端输出和解码器端输出的损失权重，根据经验人为设定；
为编码器端输出的预测结果，
为解码器端输出的预测结果；
为对称监督模型的加权预测结果；
为像素i的加权预测结果，
为二值化后的预测结果，th为设定的概率阈值，低于该阈值的预测结果置为0，判为背景；不低于该阈值的预测结果置为1，判为目标。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述步骤3中通道加权模块即注意力机制对于特征加权的方式是将特征输入到通道加权模块，该模块通过全局池化层(Global Average Pooling)对每个通道计算一个权重，然后加入一个全连接层(Full Connected)实现非线性映射，最后将计算得到的权重映射回输入尺寸并与输入特征做乘法进行权重赋值，然后再与输入特征做加法实现残差连接。其数学表达如下所示：
Atten＝FC(GA(X))×X+X,
其中，X是卷积得到的特征，GA代表通道加权模块的全局池化层，FC代表通道加权模块的全连接层；Atten是通道加权后的特征值。
通过对特征进行通道加权，可以让模型对权重大的通道进行关注，残差连接的方式避免了学习到差的权重降低模型性能。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述步骤4中对待处理的心脏核磁共振影像数据进行预处理；具体过程为：
对待处理的心脏核磁共振影像数据通过长轴提取二维切片(核磁提取的时候是以人从头到脚的方向扫描的，其实每个时刻扫描的是一个切片，后来重建成3D的。存储起来就是一个3D的数组，这个提取是根据存储的顺序在长轴方向上将其转换成2D切片)，并在获取的切片上使用中心裁剪去除不包含心脏的大部分背景区域，最后采用最大最小归一化将数据和标签(数据是去除不包含心脏的大部分背景区域后的数据，标签是步骤1获取的带标记的)归一化到[0,1]。
其它步骤及参数与具体实施方式一至七之一相同。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (7)
1.基于混合损失函数的对称监督模型的目标提取方法，其特征在于：所述方法具体过程为：
步骤1、获取心脏核磁共振影像数据，并进行标注；
步骤2、对步骤1获取的带标记的心脏核磁共振影像数据进行预处理，预处理包括获取二维切片、裁剪、缩放以及数据归一化操作；
步骤3、将步骤2预处理后的心脏核磁共振影像数据作为对称监督模型的输入；
对称监督模型由编码器和解码器两部分构成，其中编码器包括输入层、卷积层、归一化层、最大池化层、输出层，解码器包括卷积层、反卷积层、归一化层、Dropout层和输出层；
解码器和编码起之间通过串联操作完成跳层连接；
对称监督模型的最终输出由编码器和解码器各自输出层的加权和构成；
所述对称监督模型还包括通道加权模块；通道加权模块由全局池化层和全连接层组成；
对称监督模型的损失函数由三个独立的损失函数组成，分别为目标分割损失函数，边缘检测损失函数以及不确定性损失函数；
对对称监督模型进行网络训练，并采用基于反向传播算法的随机梯度下降的方式进行网络参数的学习，当损失函数不再下降或者达到指定迭代次数后停止训练，得到训练好的对称监督模型，保存训练好的对称监督模型；
步骤4、对待处理的心脏核磁共振影像数据进行预处理，采用步骤3训练好的对称监督模型对预处理后的心脏核磁共振影像数据进行预测，并输出每个像素判别为左心房的概率，设定一个概率阈值将结果二值化；
步骤5、根据步骤2的逆操作将步骤4获得的二值化切片结果重建到三维体数据，完成左心房的提取；
所述步骤3中的对称监督模型包含三个损失函数：目标分割损失函数Lseg，边界检测损失函数Ledge以及不确定性估计损失函数Lun；
目标分割损失函数和不确定性估计损失函数作用于编码器和解码器端的输出，边界检测损失函数仅作用于解码器端的输出；
目标分割损失函数Lseg表达式为：
其中，N为切片上的像素总数，yi为经步骤2预处理后的像素i的提取标签值，0为背景，1为目标即左心房；
为编码器端输出的像素i的预测结果，
为解码器端输出的像素i的预测结果；α和β分别是在编码器端输出和解码器端输出的损失权重；
通过最小化目标分割损失函数Lseg；
边界检测损失函数Ledge表达式为：
其中，w为边界的权重值；yi edge为经步骤2预处理后的像素i的边界标签值，0为背景，1为左心房边界；
为解码器端输出的边界检测结果；
通过最小化边界检测损失函数Ledge，检测左心房边界；
不确定性估计损失函数Lun表达式为：
其中，
为经步骤2预处理后的像素i的标签值，0为背景，1为左心房；
为二值化预测结果；Ii为经步骤2预处理后的输入数据的像素值；*代表掩码映射；
不确定性估计损失函数Lun将步骤3对称监督模型获得的二值化预测结果通过掩码映射到步骤2中预处理后的心脏核磁共振影像数据，获得预测的左心房数据信息，然后将其与真实心房部分的数据信息计算均方差误差，获得预测的左心房数据信息和真实心房部分的数据信息二者的相似性；
所述真实心房部分的数据信息通过步骤1人工标记后的二值图像和步骤2中预处理后的心脏核磁共振影像数据掩码映射获得；
通过最小化不确定性估计损失函数Lun，最大化预测的左心房数据信息和真实心房部分的数据信息之间的相似性；
对称监督模型整体的损失函数如下：
L＝Lseg+Ledge+Lun,
对称监督模型通过最小化损失函数L达到左心房提取。
2.根据权利要求1所述基于混合损失函数的对称监督模型的目标提取方法，其特征在于：所述步骤1中获取心脏核磁共振影像数据，并进行标注；具体过程为：
步骤11、人工标注左心房区域和背景区域，其中左心房区域标记为1，背景区域标记为0，存储该类标记；
步骤12、使用Canny算子在步骤11提取的左心房区域和背景区域二值图像上提取边界，将边界标记为1，其他区域标记为0，存储该类标记。
3.根据权利要求1或2所述基于混合损失函数的对称监督模型的目标提取方法，其特征在于：所述步骤2中对步骤1获取的带标记的心脏核磁共振影像数据进行预处理，预处理包括获取二维切片、裁剪、缩放以及数据归一化操作；具体过程为：
对步骤1获取的带标记的心脏核磁共振影像数据图像进行旋转以及水平、垂直翻转操作实现数据扩增；
对步骤1获取的带标记的心脏核磁共振影像数据通过长轴提取二维切片，并在获取的切片上使用中心裁剪去除不包含心脏的背景区域，最后采用最大最小归一化将数据和标签归一化到[0,1]。
4.根据权利要求3所述基于混合损失函数的对称监督模型的目标提取方法，其特征在于：所述边界的权重值w的计算方式如下：
其中，Nedge为边界像素的个数。
5.根据权利要求4所述基于混合损失函数的对称监督模型的目标提取方法，其特征在于：所述步骤3中编码器和解码器输出端的加权和的具体求解过程为：
每个像素值经过编码器和解码器输出端的加权和的输出结果及其二值化按照如下公式计算：
其中，α和β分别是在编码器端输出和解码器端输出的损失权重；
为编码器端输出的预测结果，
为解码器端输出的预测结果；
为对称监督模型的加权预测结果；
为像素i的加权预测结果，
为二值化后的预测结果，th为设定的概率阈值，低于该阈值的预测结果置为0，判为背景；不低于该阈值的预测结果置为1，判为目标。
6.根据权利要求5所述基于混合损失函数的对称监督模型的目标提取方法，其特征在于：所述步骤3中通道加权模块数学表达如下所示：
Atten＝FC(GA(X))×X+X,
其中，X是卷积得到的特征，GA代表通道加权模块的全局池化层，FC代表通道加权模块的全连接层；Atten是通道加权后的特征值。
7.根据权利要求6所述基于混合损失函数的对称监督模型的目标提取方法，其特征在于：所述步骤4中对待处理的心脏核磁共振影像数据进行预处理；具体过程为：
对待处理的心脏核磁共振影像数据通过长轴提取二维切片，并在获取的切片上使用中心裁剪去除不包含心脏的背景区域，最后采用最大最小归一化将数据和标签归一化到[0,1]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911151141.2A CN110874860B (zh) | 2019-11-21 | 2019-11-21 | 基于混合损失函数的对称监督模型的目标提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911151141.2A CN110874860B (zh) | 2019-11-21 | 2019-11-21 | 基于混合损失函数的对称监督模型的目标提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110874860A CN110874860A (zh) | 2020-03-10 |
| CN110874860B true CN110874860B (zh) | 2023-04-25 |
Family
ID=69718234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911151141.2A Active CN110874860B (zh) | 2019-11-21 | 2019-11-21 | 基于混合损失函数的对称监督模型的目标提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110874860B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402218A (zh) * | 2020-03-11 | 2020-07-10 | 北京深睿博联科技有限责任公司 | 脑出血检测方法和装置 |
| CN112017152B (zh) * | 2020-07-02 | 2022-09-23 | 杭州市第一人民医院 | 心房压迹二维影像的处理方法 |
| CN112364831B (zh) * | 2020-11-30 | 2022-02-25 | 北京智慧荣升科技有限公司 | 人脸识别方法及在线教育*** |
| CN112651453B (zh) * | 2020-12-30 | 2023-10-13 | 北京百度网讯科技有限公司 | 损失函数的自适应方法、装置、设备和存储介质 |
| CN113312978A (zh) * | 2021-04-30 | 2021-08-27 | 中国科学院计算技术研究所 | 一种显微影像下目标精确识别和分割的方法及其*** |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109166130A (zh) * | 2018-08-06 | 2019-01-08 | 北京市商汤科技开发有限公司 | 一种图像处理方法及图像处理装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107203692B (zh) * | 2017-05-09 | 2020-05-05 | 哈尔滨工业大学（威海） | 基于深度卷积神经网络的心电数据数字信号处理方法 |
| CN111770707B (zh) * | 2017-12-28 | 2023-02-24 | 数眠公司 | 具有睡眠阶段检测特征的床 |
| US10896508B2 (en) * | 2018-02-07 | 2021-01-19 | International Business Machines Corporation | System for segmentation of anatomical structures in cardiac CTA using fully convolutional neural networks |
| US11534136B2 (en) * | 2018-02-26 | 2022-12-27 | Siemens Medical Solutions Usa, Inc. | Three-dimensional segmentation from two-dimensional intracardiac echocardiography imaging |
| CN109872333B (zh) * | 2019-02-20 | 2021-07-06 | 腾讯科技（深圳）有限公司 | 医学影像分割方法、装置、计算机设备和存储介质 |
| CN110428427B (zh) * | 2019-07-16 | 2023-05-12 | 东南大学 | 基于密集偏置网络和自编码器的半监督肾动脉分割方法 |
-
2019
- 2019-11-21 CN CN201911151141.2A patent/CN110874860B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109166130A (zh) * | 2018-08-06 | 2019-01-08 | 北京市商汤科技开发有限公司 | 一种图像处理方法及图像处理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110874860A (zh) | 2020-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110874860B (zh) | 基于混合损失函数的对称监督模型的目标提取方法 | |
| US9968257B1 (en) | Volumetric quantification of cardiovascular structures from medical imaging | |
| CN108464840B (zh) | 一种乳腺肿块自动检测方法及*** | |
| CN108257135A (zh) | 基于深度学习方法解读医学图像特征的辅助诊断*** | |
| CN111493935B (zh) | 基于人工智能的超声心动图自动预测识别方法及*** | |
| CN113781440B (zh) | 超声视频病灶检测方法及装置 | |
| CN110599499B (zh) | 基于多路卷积神经网络的mri图像心脏结构分割方法 | |
| CN110245657A (zh) | 病理图像相似性检测方法及检测装置 | |
| CN109919254B (zh) | 乳腺密度分类方法、***、可读存储介质和计算机设备 | |
| CN113159040B (zh) | 医学图像分割模型的生成方法及装置、*** | |
| CN111462049A (zh) | 一种乳腺超声造影视频中病灶区形态自动标注方法 | |
| CN107767362A (zh) | 一种基于深度学习的肺癌早筛装置 | |
| CN107169975B (zh) | 超声图像的分析方法及装置 | |
| de Albuquerque et al. | Fast fully automatic heart fat segmentation in computed tomography datasets | |
| CN116309571B (zh) | 一种基于半监督学习的三维脑血管分割方法和装置 | |
| CN109919912A (zh) | 一种医学影像的质量评价方法和装置 | |
| Phillips et al. | Segmentation of prognostic tissue structures in cutaneous melanoma using whole slide images | |
| CN113034507A (zh) | 基于ccta影像的冠状动脉三维分割方法 | |
| CN113160120A (zh) | 基于多模态融合与深度学习的肝脏血管分割方法及*** | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
| CN113706492A (zh) | 一种基于胸部ct影像的肺实质自动分割方法 | |
| CN114693671A (zh) | 基于深度学习的肺结节半自动分割方法、装置、设备及介质 | |
| Ramos et al. | Fast and smart segmentation of paraspinal muscles in magnetic resonance imaging with CleverSeg | |
| CN117727441A (zh) | 基于临床-融合影像计算机模型预测肺癌免疫疗效方法 | |
| CN111513743B (zh) | 一种骨折检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |