CN110136103B - 医学影像解释方法、装置、计算机设备及存储介质 - Google Patents
医学影像解释方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110136103B CN110136103B CN201910334702.6A CN201910334702A CN110136103B CN 110136103 B CN110136103 B CN 110136103B CN 201910334702 A CN201910334702 A CN 201910334702A CN 110136103 B CN110136103 B CN 110136103B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- medical image
- map
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000010586 diagram Methods 0.000 claims abstract description 38
- 238000013507 mapping Methods 0.000 claims abstract description 33
- 238000010191 image analysis Methods 0.000 claims abstract description 27
- 230000004913 activation Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 77
- 238000013527 convolutional neural network Methods 0.000 claims description 53
- 230000006870 function Effects 0.000 claims description 35
- 238000001228 spectrum Methods 0.000 claims description 34
- 230000003902 lesion Effects 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 230000003416 augmentation Effects 0.000 claims description 18
- 230000003190 augmentative effect Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 16
- 230000003321 amplification Effects 0.000 claims description 14
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 14
- 230000003213 activating effect Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 description 31
- 239000013598 vector Substances 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 10
- 238000012935 Averaging Methods 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开一种医学影像解释方法、装置、计算机设备和存储介质,该方法包括获取影像分析请求,影像分析请求包含目标医学影像;采用预先训练好的影像识别模型对目标医学影像进行识别,获取影像识别模型中最后一层卷积层输出的特征图谱;基于特征图谱,获取影像识别模型输出的每一原始病灶类别对应的预测概率值;将最大预测概率值的原始病灶类别确定为目标病灶类别,获取与目标病灶类别对应的图谱权值,采用激活映射公式对特征图谱和图谱权值进行分类激活映射,获取热力映射图,将热力映射图和目标医学影像进行叠加,生成目标热力图,提高影像识别率。
Description
技术领域
本发明涉及智能决策技术领域,尤其涉及一种医学影像解释方法、装置、计算机设备及存储介质。
背景技术
随着科学发展,近几年卷积神经网络在图像识别领域取得了极好的成绩,其中,卷积神经网络的网络结构逐渐提升,在各个数据集上的分类精度也在快速提高,分类错误率逐渐降低,已经逐渐超过受过简单训练者。在医学领域中,医务人员通常根据医学影像,根据经验进行诊断,若经验不足则可能导致误诊,从而提高医学影像的识别率成为一个亟待解决问题。
发明内容
本发明实施例提供一种医学影像解释方法、装置、计算机设备及存储介质,以解决医学影像的识别率不高的问题。
一种医学影像解释方法,包括:
获取影像分析请求,所述影像分析请求包含目标医学影像;
采用预先训练好的影像识别模型对所述目标医学影像进行识别,获取所述影像识别模型中最后一层卷积层输出的特征图谱;
基于所述特征图谱,获取所述影像识别模型输出的每一原始病灶类别对应的预测概率值;
将最大预测概率值的原始病灶类别确定为目标病灶类别,获取与所述目标病灶类别对应的图谱权值,采用激活映射公式对所述特征图谱和所述图谱权值进行分类激活映射,获取热力映射图,其中,所述激活映射公式为c是指目标病灶类别,Mc(x,y)是指目标病灶类别对应的热力映射图,/>是指第k个特征图谱对应的图谱权值,K是特征图谱的数量,f(x,y)是指第k个特征图谱;
将所述热力映射图和所述目标医学影像进行叠加,生成目标热力图。
一种医学影像解释装置,包括:
影像分析请求获取模块,用于获取影像分析请求,所述影像分析请求包含目标医学影像;
特征图谱获取模块,用于采用预先训练好的影像识别模型对所述目标医学影像进行识别,获取所述影像识别模型中最后一层卷积层输出的特征图谱;
预测概率值获取模块,用于基于所述特征图谱,获取所述影像识别模型输出的每一原始病灶类别对应的预测概率值;
热力映射图获取模块,用于将最大预测概率值的原始病灶类别确定为目标病灶类别,获取与所述目标病灶类别对应的图谱权值,采用激活映射公式对所述特征图谱和所述图谱权值进行分类激活映射,获取热力映射图,其中,所述激活映射公式为c是指目标病灶类别,Mc(x,y)是指目标病灶类别对应的热力映射图,/>是指第k个特征图谱对应的图谱权值,K是特征图谱的数量,f(x,y)是指第k个特征图谱;
目标热力图获取模块,用于将所述热力映射图和所述目标医学影像进行叠加,生成目标热力图。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述医学影像解释方法。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述医学影像解释方法。
上述提供一种医学影像解释方法、装置、计算机设备和存储介质,获取影像分析请求,采用预先训练好的影像识别模型对目标医学影像进行识别,获取影像识别模型中最后一层卷积层输出的特征图谱,其特征图谱表示的是目标医学影像的语义信息及其位置信息,以便后续根据位置信息和语义信息对目标病灶类别进行热力映射。基于特征图谱,获取影像识别模型输出的每一原始病灶类别对应的预测概率值,将最大预测概率值的原始病灶类别确定为目标病灶类别,获取与目标病灶类别对应的图谱权值,采用激活映射公式对特征图谱和图谱权值进行分类激活映射,以获取表征病灶类别的热力映射图,将热力映射图和目标医学影像进行叠加,通过目标热力图的形式可视化,使得基于卷积神经网络的影像识别模型对目标医学影像的分类具有一定程度的解释性,便于医务人员根据目标热力图进行诊断,辅助临床决策,作为临床诊断的依据,减少误诊,提高医学影像的识别率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中医学影像解释方法的应用环境示意图;
图2是本发明一实施例中医学影像解释方法的流程图;
图3是本发明一实施例中医学影像解释方法的流程图;
图4是本发明一实施例中医学影像解释方法的流程图;
图5是本发明一实施例中医学影像解释方法的流程图;
图6是本发明一实施例中医学影像解释方法的流程图;
图7是本发明一实施例中医学影像解释方法的流程图;
图8是本发明一实施例中医学影像解释装置的原理框图;
图9是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结和本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的医学影像解释方法,可应用在如图1的应用环境中。通过预先训练好的影像识别模型对目标医学影像进行识别,并根据特征图谱和最大预测概率值的原始病灶类别的图谱权值,将目标医学影像中存在异常病灶类别的通过目标热力图进行可视化显示,通过目标热力图进行症状诊断,提高医学影像的识别率。其中,用户端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务端或者是多个服务端组成的服务端集群来实现。
在一实施例中,如图2所示,提供一种医学影像解释方法,以该方法应用在图1中的服务端为例进行说明,具体包括如下步骤:
S10:获取影像分析请求,影像分析请求包含目标医学影像。
其中,目标医学影像是指借助于某种介质(如X射线、电磁场和超声波等)与人体相互作用,将人体内部组织器官结构和密度以影像方式表现出来的影像。
具体地,当服务端获取到目标医学影像后,若直接通过医务人员根据经验,对目标医学影像进行分析,获取诊断结果确定病灶,会存在较大概率的误判,因此,可向服务端发送影像分析请求,影像分析请求中包含目标医学影像,以便后续服务端通过预先训练好的影像识别模型对目标医学影像进行识别,显示存在异常的病灶类别,提高医学影像的识别率,减少误判的情况。
S20:采用预先训练好的影像识别模型对目标医学影像进行识别,获取影像识别模型中最后一层卷积层输出的特征图谱。
其中,特征图谱是指通过影像识别模型中最后一层卷积层输出的图谱,其中,特征图谱类似于M*H*H的张量(Tensor),张量可以简单理解为多维数组,具体是一个可用来表示向量、纯量和其他张量之间的线性关系的多重线性映射。
具体地,服务端获取到目标医学影像后,采用预先训练好的影像识别模型对目标医学影像进行识别,其中,影像识别模型包含至少两层卷积层。在本实施例中,获取影像识别模型中最后一层卷积层输出的特征图谱,以通过特征图谱表征目标医学影像的特征,即通过特征图谱表征目标医学影像的语义信息和位置信息。
其中,卷积层输出的特征图谱,可以通过公式ai l=σ(zi l)=σ(ai l-1*Wl+bl)计算,其中,ai l表示第l层卷积层的第i个病灶类别标签的输出,zi l表示未采用激活函数处理前的第i个病灶类别标签的输出,ai l-1表示l-1层卷积层的第i个病灶类别标签输出(即上一层的输出),σ表示激活函数,对于卷积层采用的激活函数σ可为ReLu(Rectified Linear Unit,线性整流函数),相比其他激活函数的效果会更好,*表示卷积运算,Wl表示第l层卷积层的卷积核(权值),bl表示第l层卷积层的偏置。优选地,卷积层的卷积核为(3*3),通道数为逐层翻倍。
S30:基于特征图谱,获取影像识别模型输出的每一原始病灶类别对应的预测概率值。
其中,原始病灶类别是指可通过影像识别模型可进行识别的病灶类别,可以理解地,训练影像识别模型时,历史医学影像中所标注的病灶类别。预测概率值是指目标医学影像的特征图谱属于每一原始病灶类别的概率值,具体是通过影像识别模型中输出层进行计算,以确定目标医学影像的特征图谱属于每一原始病灶类别的预测概率值。
具体地,影像识别模型中包含至少两层池化层,池化层的窗口为(2*2),步长为2,为提高目标热力图显示精度,影像识别模型中最后一层池化层采用的是全局平均池化层(global average pooling,GAP),且该全局平均池化层不需进行下采样,而剩余池化层采用最大池化层。若第l层是最大池化层,池化层的输出可以表示为al=pool(al-1),其中,pool是指下采样计算,该下采样计算可以选择最大池化的方法,al-1表示l-1层的第i个病灶类别标签输出。当图像在经过卷积层时,通过卷积核进行卷积,并存在若干卷积层,导致卷积层输出的特征图谱相对于输入的数据(影像训练样本数据)其维数提高数倍,因此,采用下采样计算进行特征降维。若第l层是全局平均池化层,则全局平均池化层的输出表示为(M*1*1),通常,全局平均池化层前一层为M*H*H的特征图谱(feature map),为提高最后目标热力图的精准度,去掉网络中全局平均池化层的最后一次下采样,通过全局平均池化层将M*H*H的feature map转化为长度为M*1*1的特征向量,其中,该特征向量表征关于目标医学影像的高度抽象的语义信息。
影像识别模型中包含输出层,输出层输入的为特征向量,其中,输出层采用的softmax函数,softmax函数相当于多分类器,即第l层是输出层L,激活函数σ采用的是softmax函数,计算输出层L输出的公式为aL=softmax(zl)=softmax(WLaL-1+bL),aL为最终得到输出层的输出(即预测概率值),WL表示第L层对应的权值,aL-1表示L-1层对应的输出。
可以理解地,当影像识别模型获取到特征图谱后,将特征图谱输入到全局平均池化层中,通过全局平均池化层输出特征向量,将特征向量输入到输出层,通过输出层的softmax函数进行病灶类别的分类预测,输出每一原始病灶类别对应的预测概率值,由此获取到影像识别模型输出的每一原始病灶类别对应的预测概率值。
S40:将最大预测概率值的原始病灶类别确定为目标病灶类别,获取与目标病灶类别对应的图谱权值,采用激活映射公式对特征图谱和图谱权值进行分类激活映射,获取热力映射图,其中,激活映射公式为c是指目标病灶类别,Mc(x,y)是指目标病灶类别对应的热力映射图,/>是指第k个特征图谱对应的图谱权值,K是特征图谱的数量,f(x,y)是指第k个特征图谱。
其中,目标病灶类别是指最大预测概率值对应的原始病灶类别。图谱权值是指影像识别模型中输出层计算出最大预测概率值时,目标病灶类别对应的一组权值,输出层L输出的公式为aL=softmax(zl)=softmax(WLaL-1+bL),在本实施例中未加入偏置b,通过该公式获取计算出最大预测概率值对应的权值作为图谱权值,即将最大预测概率值aL对应的WL作为图谱权值。热力映射图是指根据目标病灶类别对应的图谱权值与特征图谱进行映射的能够表征病灶类别的映射图。
具体地,根据每一原始病灶类别对应的预测概率值,获取最大预测概率值对应的原始病灶类别,并将该原始病灶类别确定为目标病灶类别,根据目标病灶类别,确定影像识别模型中输出层计算出该目标病灶类别的最大预测概率值的一组权值作为图谱权值,并采用激活映射公式对特征图谱和图谱权值进行分类激活映射,获取热力映射图。其中,激活映射公式为c是指目标病灶类别,Mc(x,y)是指目标病灶类别c对应的热力映射图,k是特征图谱的数量,/>是指第k个特征图谱对应的图谱权值,f(x,y)是指第k个特征图谱。需要说明的是,特征图谱中保留有相应的语义信息及其位置信息,具体可为M*H*H的张量,通过输出层完成分类,确定目标病灶类别,将输入数据认定为目标病灶类别对应的数据,将输出层的图谱权值加权于特征图谱,并对其求和的过程称为CAM。可以理解地,卷积神经网络除了具有很强的图片处理和分类能力同时还能够针对图片中的关键部分进行定位,即可对目标医学影像中病灶类别进行定位,这个过程被称为Class ActivationMapping,简称CAM。其中,CAM是指针对目标医学影像中的关键部分进行定位的过程。
S50:将热力映射图和目标医学影像进行叠加,生成目标热力图。
其中,目标热力图是指在目标医学影像上,通过以热度形式可视化的显示病灶类别的图,可以理解地,对目标医学影像中影响比较大的位置生成的热度就比较高,反之,对目标医学影像中影响比较大的位置生成的热度较低或者不生成热度。
具体地,服务端获取到热力映射图后,将热力映射图与目标医学影像进行叠加,由于热力映射图具有位置信息,进行叠加以后,可在目标医学影像中,将包含有病灶类别的位置通过热度进行显示,以形成目标热力图。
步骤S10-S50中,服务端获取影像分析请求,采用预先训练好的影像识别模型对目标医学影像进行识别,获取影像识别模型中最后一层卷积层输出的特征图谱,其特征图谱表示的是目标医学影像的语义信息及其位置信息,以便后续根据位置信息和语义信息对目标病灶类别进行热力映射。基于特征图谱,获取影像识别模型输出的每一原始病灶类别对应的预测概率值,将最大预测概率值的原始病灶类别确定为目标病灶类别,获取与目标病灶类别对应的图谱权值,采用激活映射公式对特征图谱和图谱权值进行分类激活映射,以获取表征病灶类别的热力映射图,将热力映射图和目标医学影像进行叠加,通过目标热力图的形式可视化,使得基于卷积神经网络的影像识别模型对目标医学影像的分类具有一定程度的解释性,便于医务人员根据目标热力图进行诊断,辅助临床决策,作为临床诊断的依据,减少误诊,提高医学影像的识别率。
在一实施例中,影像分析请求还包括用户类型。其中,用户类型是指发送目标医学影像至服务端的用户的类型,用户类型可包括普通用户类型。
如图3所示,在步骤S30之后,即在获取影像识别模型输出的每一原始病灶类别对应的预测概率值之后,医学影像解释方法还包括如下步骤:
S301:若用户类型为普通用户类型,则将每一预测概率值与概率阈值进行比较,获取大于概率阈值的目标概率值和与目标概率值对应的原始病灶类别。
其中,普通用户类型是指通过目标热力图无法了解病灶类别的用户类型。概率阈值是指预先设定的用于确定病灶类别和对应的预测概率值是否显示在用户端的阈值。目标概率值是指大于概率阈值的预测概率值。
具体地,服务端获取到每一原始病灶类别对应的预测概率值后,确定用户类型是否为普通用户类型;若用户类型不为普通用户类型,则执行上述步骤S40和S50,在用户端显示界面显示目标热力图;若用户类型为普通用户类型,则将每一预测概率值与概率阈值进行比较,将大于概率阈值的预测概率值作为目标概率值,获取目标概率值和与目标概率值对应的原始病灶类别。
S302:将目标概率值和与目标概率值对应的原始病灶类别显示在用户端。
具体地,将获取到的目标概率值和与目标概率值对应的原始病灶类别一一对应,并显示在用户端,以便普通用户类型对应的用户清楚每一病灶类别及对应的目标概率值,并进行相关的复诊,使得复诊具有针对性。
进一步地,将目标热力图、目标概率值和与目标概率值对应的原始病灶类别在用户端显示界面同时显示,以便用户可确定每一目标概率值对应的原始病灶类别在目标医学影像中的位置。可以理解地,目标概率值越大,在目标热力图中可视化显示的热度越高。
步骤S301-S302中,若用户类型为普通用户类型,则服务端将每一预测概率值与概率阈值进行比较,以便用户端显示大于概率阈值的目标概率值和与目标概率值对应的原始病灶类别,实现不同人群的需求。
在一实施例中,如图4所示,在步骤S10之后,即在获取影像分析请求之后,医学影像解释方法还具体包括如下步骤:
S101:基于目标医学影像,获取灰度图像。
其中,灰度图像是指具有从黑到白256级灰度色域或等级的单色图像。
具体地,获取到目标医学影像时,先判断目标医学影像是否为灰度图像;若目标医学影像为彩色图像,则对目标医学影像进行灰度化处理,获取灰度图像。其中,灰度化处理是指将彩色图像转化成为灰度图像的过程。具体可采用分量法最大值法平均值法加权平均法等对彩色图像进行灰度化处理,获取灰度图像。
S102:采用拉普拉斯方差算法对灰度图像进行滤波处理,计算出滤波图像的均值和方差值,将方差值与预设阈值进行比较。
其中,滤波图像是指对灰度图像进行滤波处理后的图像。预设阈值是指预先设定的用于判断目标医学影像是否为模糊图像的值。
具体地,获取到灰度图像后,根据灰度图像,获取灰度值。完整的图像是由R、G和B三个通道组成,灰度值是指R=G=B的值叫灰度值,灰度范围为0-255。将灰度图像的灰度值与拉普拉斯掩模进行卷积运算,其中,拉普拉斯掩模为对卷积运算以后的矩阵求均值,并求出方差值。获取到方差值后,查询数据库,其中,数据库中预设有预设阈值,将方差值与预设阈值进行对比。通过对灰度图像,利用拉普拉斯掩模进行卷积滤波,便于后续图像模糊检测。可以理解地,拉普拉斯算法被用来测量图像的二阶导数,突出图像中强度快速变化的区域,该算法基于以下假设:若图像具有较高方差值,那么该图像存在较广的频响范围,该图像代表着正常且聚焦准确的图像。若图像具有较小方差值,则该图像存在较窄的频响范围,意味着图像中的边缘数量很少,而图像越模糊,其边缘就越少。因此,通过拉普拉斯方差算法确定目标医学影像是否为模糊图像,需要设置合适的预设阈值。预设阈值设置过低会导致目标医学影像被误断为模糊图,预设阈值过高会导致模糊的目标医学影像被误断为正常图像,预设阈值具体可根据经验进行设定。
S103:若方差值大于预设阈值,则执行采用预先训练好的影像识别模型对目标医学影像进行识别,获取影像识别模型中最后一层卷积层输出的特征图谱。
具体地,若方差值大于预设阈值,说明目标医学影像为正常且聚焦准确的图像,则执行采用预先训练好的影像识别模型对目标医学影像进行识别,获取影像识别模型中最后一层卷积层输出的特征图谱,即执行上述步骤S20。
S104:若方差值不大于预设阈值,则生成提醒信息反馈给用户端。
具体地,若方差值大于预设阈值,说明目标医学影像为模糊图像,则生成提醒信息,其提醒信息具体可为“您输入的目标医学影像为模糊图像,请重新输入”,并将该提醒信息反馈给用户端,在用户端显示页面进行显示,以便用户根据提醒信息输入清晰的目标医学图像。
步骤S101-S104中,服务端基于目标医学影像,获取灰度图像;采用拉普拉斯方差算法对灰度图像进行滤波处理,计算出滤波图像的均值和方差值,将方差值与预设阈值进行比较,以实现通过拉普拉斯算法判断目标医学影像是否为模糊图像,提高后续模型识别的精准度。
在一实施例中,如图5所示,在步骤S201之前,即在采用预先训练好的影像识别模型对目标医学影像进行识别之前,医学影像解释方法还具体包括如下步骤:
S201:获取历史医学影像,对历史医学影像进行病灶标注,历史医学影像携带有对应的病灶标签。
其中,历史医学影像是指包含病灶的图像。病灶标签指用于表示历史医学影像中病灶类别的标签。
具体地,预先获取大量的不同病灶类别对应的历史医学影像,并对每一历史医学影像的病灶位置和病灶名称进行标注,以便后续通过对历史医学影像进行训练,获取影像识别模型。
S202:对历史医学影像进行增广处理,获取增广影像。
具体地,采用图像增广技术对历史医学影像进行增广处理,获取增广影像,其中,增广处理是指通过图像增广技术(image augmentation)对历史医学影像进行一系列改变,来产生相似但又不同的增广影像,从而扩大训练数据集的规模。
S203:对增广影像进行归一化处理,获取影像训练样本。
其中,归一化处理具体是将增广影像数据经过处理后,使之限定在一定的范围内。比如通常限制在区间[0,1]或者[-1,1]。
具体地,获取增广影像对应的灰度值特征矩阵,对灰度值特征矩阵中每个灰度值进行归一化处理,获取图像的归一化灰度值特征矩阵,其中,归一化处理的公式为MaxValue为图像的灰度值特征矩阵中灰度值的最大值,MinValue为图像的灰度值特征矩阵中灰度值的最小值,x为归一化前的灰度值,y为归一化后的灰度值,根据每一增广影像对应的归一化灰度值特征矩阵,获取到影像训练样本。其中,灰度值特征矩阵是由增广影像中像素点的亮度值构成。通过对增广影像进行归一化处理,加快影像识别模型训练时梯度下降求最优解的速度,并提高精度。
S204:将影像训练样本输入到卷积神经网络中进行训练,并采用随机梯度下降的后向传播算法更新卷积神经网络的权值和偏置,获取影像识别模型。
其中,卷积神经网络是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,能够进行图像处理和分类。卷积神经网络通常包括非线性可训练的卷积层,池化层和全连接层,在本提案中,在最后一层卷积层之后,采用全局平均池化层,并替换掉全连接层,此外还包括输入层和输出层。其中,通过全局平均池化层是为了降低数据维度,减少参数。可以理解地,通过全局平均池化层,可以通过抹除最后一个卷积层输出的特征图谱中每个通道的位置信息,从而尽可能的引导全局平均池化层输出的特征向量中的每一个元素通过反向传播学到相对独立的高度抽象的语义信息,从而避免过拟合,同时全局平均池化层可以实现任意图像大小的输入。
具体地,将影像训练样本像输入到卷积神经网络中进行训练,通过卷积层进行特征提取,通过池化层进行降维。由于全连接层过多的参数会造成过拟合,则在最后一层卷积层后采用全局平均池化层对最后一层卷积层输出的每一特征图谱进行均值池化,形成一个特征点,并由特征点组成特征向量。将全局平均池化层输出的特征向量输入到输出层中,通过softmax函数可形成多分类器,即每一病灶类别对应一个分类器,且每一病灶类别的分类器在输出层中对应一套权值,由softmax函数对特征向量进行分类,获取到输出值,采用随机梯度下降的后向传播算法更新卷积神经网络的权值和偏置,直至模型收敛以获取影像识别模型。其中,采用随机梯度下降的后向传播算法能够将在卷积神经网络训练时,出错的影像训练样本产生的误差都进行反传更新,保证产生的所有误差都能对网络进行调整和更新,能够全面地训练卷积神经网络,获取到识别率高的影像识别模型。
步骤S201-S204中,服务端获取历史医学影像,对历史医学影像进行病灶标注,便于后续的模型训练。对历史医学影像进行增广处理,获取增广影像,从而扩大训练数据集的规模。通过对增广影像进行归一化处理,加快影像识别模型训练时梯度下降求最优解的速度,并提高精度。将影像训练样本输入到卷积神经网络中进行训练,并采用随机梯度下降的后向传播算法更新卷积神经网络的权值和偏置,以获取影像识别模型,提高识别精度。
在一实施例中,如图6所示,步骤S202中,即对历史医学影像进行增广处理,获取增广影像,具体包括如下步骤:
S2021:获取预设扩增条件,根据预设扩增条件对历史医学影像进行增广处理,获取待确定影像。
其中,预设扩增条件是指预设的对历史医学影像在一定范围内进行左右平移、上下平移和随机缩放等的条件。
具体地,获取到历史医学影像后,先获取预设扩增条件,根据预设扩增条件,采用图像增广技术对历史医学影像进行增广处理,获取待确定影像,以增加训练的样本,丰富训练数据。需要说明的是,对历史医学影像在一定范围内进行左右平移、上下平移和随机缩放时,需要保证历史医学影像的影像部分在有效范围内,且可多个预设扩增条件叠加进行。
S2022:对待确定影像进行加噪处理,获取增广影像。
具体地,图像噪声通常包括空间域的噪声和频域的噪声,具体可通过MATLAB工具对待确定影像进行加噪处理。例如进行椒盐加噪和高斯加噪处理等,获取增广影像。通过对待确定影像进行加噪处理,以提高影像识别模型后续识别的准确度。
步骤S2021-S2022中,服务端根据预设扩增条件对历史医学影像进行增广处理,丰富训练数据。服务端对待确定影像进行加噪处理,提高后续模型识别的准确度。
在一实施例中,如图7所示,步骤S204中,即将影像训练样本输入到卷积神经网络中进行训练,并采用随机梯度下降的后向传播算法更新卷积神经网络的权值和偏置,获取影像识别模型,具体包括如下步骤:
S2041:初始化卷积神经网络。
具体地,初始化卷积神经网络,包括:令卷积神经网络初始化的权值满足公式其中,nl表示在第l层输入的影像训练样本的样本个数,S()表示方差运算,Wl表示第l层的权值,/>表示任意,l表示卷积神经网络中的第l层。
本实施例中,服务端初始化卷积神经网络,该初始化操作为采用预设值对权值和偏置进行初始化设置,该预设值是开发人员根据经验预先设置好的值。采用预设值对卷积神经网络模型的权值和偏置进行初始化设置,可以在后续根据影像训练样本进行训练时,缩短模型的训练时间,提高模型的识别准确率。
S2042:将影像训练样本输入到卷积神经网络中进行训练,获取影像训练样本在卷积神经网络中的预测结果。
其中,预测结果为影像训练样本通过卷积神经网络模型训练获取的输出结果。
具体地,获取影像训练样本后,将每一带有病灶标签的影像训练样本输入至卷积神经网络模型中进行训练,具体是通过若干卷积层对影像训练样本进行特征提取,通过池化层进行降维处理,但在最后一层卷积层后采用局平均池化层,并去掉下采样,得到特征向量并输入至输出层,通过输出层的计算,获取卷积神经网路的输出值作为预测结果。由于卷积神经网络包含的层数较多,且各层的功能不同,因此各层的输出是不同的。
S2043:根据预测结果和病灶标签构建误差函数,误差函数的表达式为其中,n表示影像训练样本总数,xi表示第i个影像训练样本的预测结果,yi表示与xi相对应的第i个影像训练样本的病灶标签。
具体地,服务端通过来训练卷积神经网络,更新权值和偏置,使得预测结果与真实结果更加相似。通过误差函数,能够较好地反映预测结果和真实结果之间的误差。
S2044:根据误差函数,采用反向传播算法计算梯度,并采用随机梯度下降更新卷积神经网络中的权值和偏置,获取影像识别模型。
具体地,在完成一次训练后,得到若干张影像训练样本的预测结果后,基于预测结果和真实结果构建误差函数,根据误差函数计算每一影像训练样本与对应的真实结果(病灶标签标注的病灶类别)之间的误差,并基于误差更新卷积神经网络中的权值和偏置,获取影像识别模型。具体地,由于服务端在输出层只增加了权值,则在反向传播过程中,首先对更新后输出层的权值进行计算,采用误差函数分别对权值W进行求偏导的运算,能够得到公共的因子,即输出层的灵敏度δL(L表示输出层),由该灵敏度δL能够依次求出第l层的灵敏度δl,根据δl求得卷积神经网络中第l层的梯度,即获取到每一层的梯度,再利用梯度更新卷积神经网络的权值和偏置。
若当前为卷积层,则第l层的灵敏度其中,*表示卷积运算,rot180表示将矩阵翻转180度的运算,公式中其余参数的含义参见上文中参数含义进行解释的内容,在此不再赘述。
其中,卷积神经网络中卷积层更新权值的公式为其中,Wl'表示更新后的权值,Wl表示更新前的权值,α表示学习率,m表示影像训练样本的数量,i表示输入的第i个影像训练样本,δi,l表示输入的第i个影像训练样本在第l层的灵敏度,ai,l-1表示输入的第i个影像训练样本在第l-1层的输出,rot180表示将矩阵翻转180度的运算;更新偏置的公式为/>bl'表示更新后的偏置,bl表示更新前的偏置α表示学习率,m表示影像训练样本的数量,i表示输入的第i个影像训练样本,δi,l表示输入的第i个影像训练样本在第l层的灵敏度。其中,(u,v)是指进行卷积运算时获取的卷积特征图中每一个卷积特征图谱中的小块(组成卷积特征图谱的元素)位置。
步骤S2041-S2043中,服务端根据影像训练样本在卷积神经网络得到的预测结果构建误差函数,并根据该误差函数反向传播,并更新权值和偏置,能够获取影像识别模型,该模型学习了影像训练样本的深层特征,能够精确地识别病灶类别。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种医学影像解释装置,该医学影像解释装置与上述实施例中医学影像解释方法一一对应。如图8所示,该医学影像解释装置包括影像分析请求获取模块10、特征图谱获取模块20、预测概率值获取模块30、热力映射图获取模块40和目标热力图获取模块50。各功能模块详细说明如下:
影像分析请求获取模块10,用于获取影像分析请求,影像分析请求包含目标医学影像。
特征图谱获取模块20,用于采用预先训练好的影像识别模型对目标医学影像进行识别,获取影像识别模型中最后一层卷积层输出的特征图谱。
预测概率值获取模块30,用于基于特征图谱,获取影像识别模型输出的每一原始病灶类别对应的预测概率值。
热力映射图获取模块40,用于将最大预测概率值的原始病灶类别确定为目标病灶类别,获取与目标病灶类别对应的图谱权值,采用激活映射公式对特征图谱和图谱权值进行分类激活映射,获取热力映射图,其中,激活映射公式为c是指目标病灶类别,Mc(x,y)是指目标病灶类别对应的热力映射图,/>是指第k个特征图谱对应的图谱权值,K是特征图谱的数量,f(x,y)是指第k个特征图谱。
目标热力图获取模块50,用于将热力映射图和目标医学影像进行叠加,生成目标热力图。
在一实施例中,影像分析请求还包括用户类型。
在预测概率值获取模块30之后,医学影像解释装置还包括原始病灶类别获取单元和数据显示单元。
原始病灶类别获取单元301,用于若用户类型为普通用户类型,则将每一预测概率值与概率阈值进行比较,获取大于概率阈值的目标概率值和与目标概率值对应的原始病灶类别。
数据显示单元302,用于将目标概率值和与目标概率值对应的原始病灶类别显示在用户端。
在一实施例中,在影像分析请求获取模块10之后,医学影像解释装置包括:灰度图像获取单元、方差值比较单元、第一处理单元和第二处理单元。
灰度图像获取单元,用于基于目标医学影像,获取灰度图像。
方差值比较单元,用于采用拉普拉斯方差算法对灰度图像进行滤波处理,计算出滤波图像的均值和方差值,将方差值与预设阈值进行比较。
第一处理单元,用于若方差值大于预设阈值,则执行采用预先训练好的影像识别模型对目标医学影像进行识别,获取影像识别模型中最后一层卷积层输出的特征图谱。
第二处理单元,用于若方差值不大于预设阈值,则生成提醒信息反馈给用户端。
在一实施例中,在特征图谱获取模块20之前,医学影像解释装置还包括:历史医学影像获取单元、增广影像获取单元、影像训练样本获取单元和影像识别模型获取单元。
历史医学影像获取单元,用于获取历史医学影像,对历史医学影像进行病灶标注,历史医学影像携带有对应的病灶标签。
增广影像获取单元,用于对历史医学影像进行增广处理,获取增广影像。
影像训练样本获取单元,用于对增广影像进行归一化处理,获取影像训练样本。
影像识别模型获取单元,用于将影像训练样本输入到卷积神经网络中进行训练,并采用随机梯度下降的后向传播算法更新卷积神经网络的权值和偏置,获取影像识别模型。
在一实施例中,增广影像获取单元包括待确定影像获取子单元和增广影像获取子单元。
待确定影像获取子单元,用于获取预设扩增条件,根据预设扩增条件对历史医学影像进行增广处理,获取待确定影像。
增广影像获取子单元,用于对待确定影像进行加噪处理,获取增广影像。
在一实施例中,影像识别模型获取单元包括:神经网络初始化子单元、预测结果获取子单元、误差函数构建子单元和影像识别模型获取子单元。
神经网络初始化子单元,用于初始化卷积神经网络。
预测结果获取子单元,用于将影像训练样本输入到卷积神经网络中进行训练,获取影像训练样本在卷积神经网络中的预测结果,卷积神经网络最后一层池化层为全局平均池化层。
误差函数构建子单元,用于根据预测结果和病灶标签构建误差函数,误差函数的表达式为其中,n表示影像训练样本总数,xi表示第i个影像训练样本的预测结果,yi表示与xi相对应的第i个影像训练样本的病灶标签。
影像识别模型获取子单元,用于根据误差函数,采用反向传播算法计算梯度,并采用随机梯度下降更新卷积神经网络中的权值和偏置,获取影像识别模型。
关于医学影像解释装置的具体限定可以参见上文中对于医学影像解释方法的限定,在此不再赘述。上述医学影像解释装置中的各个模块可全部或部分通过软件、硬件及其组和来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务端,其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储医学影像解释方法过程中生成或获取的数据等,例如,存储影像识别模型等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种医学影像解释方法。
在一实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中医学影像解释方法的步骤,例如,图2所示的步骤S10至步骤S50,或者,图3至图7所示的步骤。或者,处理器执行计算机程序时实现上述实施例中医学影像解释装置中的各模块的功能,例如,图8所示模块10至模块50的功能。为避免重复,此处不再赘述。
在一实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例中医学影像解释方法,例如,图2所示的步骤S10至步骤S50,或者,图3至图7所示的步骤。或者,该计算机程序被处理器执行时实现上述实施例中医学影像解释装置中各模块的功能,例如,图8所示模块10至模块50的功能。为避免重复,此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(RambuS)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (6)
1.一种医学影像解释方法,其特征在于,包括:
获取影像分析请求,所述影像分析请求包含目标医学影像和用户类型;
采用预先训练好的影像识别模型对所述目标医学影像进行识别,获取所述影像识别模型中最后一层卷积层输出的特征图谱;
基于所述特征图谱,获取所述影像识别模型输出的每一原始病灶类别对应的预测概率值;其中,所述预测概率值是指所述目标医学影像的所述特征图谱属于每一所述原始病灶类别的概率值;
将最大预测概率值的原始病灶类别确定为目标病灶类别,获取与所述目标病灶类别对应的图谱权值,采用激活映射公式对所述特征图谱和所述图谱权值进行分类激活映射,获取热力映射图,其中,所述激活映射公式为c是指目标病灶类别,Mc(x,y)是指目标病灶类别对应的热力映射图,/>是指第k个特征图谱对应的图谱权值,K是特征图谱的数量,f(x,y)是指第k个特征图谱;
将所述热力映射图和所述目标医学影像进行叠加,生成目标热力图;
在所述获取所述影像识别模型输出的每一原始病灶类别对应的预测概率值之后,所述医学影像解释方法还包括:
若所述用户类型为普通用户类型,则将每一所述预测概率值与概率阈值进行比较,获取大于所述概率阈值的目标概率值和与所述目标概率值对应的原始病灶类别;
将所述目标概率值和与所述目标概率值对应的原始病灶类别显示在用户端;
在所述获取影像分析请求之后,所述医学影像解释方法包括:
基于所述目标医学影像,获取灰度图像;
采用拉普拉斯方差算法对所述灰度图像进行滤波处理,计算出滤波图像的均值和方差值,将所述方差值与预设阈值进行比较;
若所述方差值大于预设阈值,则执行所述采用预先训练好的影像识别模型对所述目标医学影像进行识别,获取所述影像识别模型中最后一层卷积层输出的特征图谱;
若所述方差值不大于预设阈值,则生成提醒信息反馈给用户端;
在所述采用预先训练好的影像识别模型对所述目标医学影像进行识别之前,所述医学影像解释方法还包括:
获取历史医学影像,对所述历史医学影像进行病灶标注,所述历史医学影像携带有对应的病灶标签;
对所述历史医学影像进行增广处理,获取增广影像;
对所述增广影像进行归一化处理,获取影像训练样本;
将所述影像训练样本输入到卷积神经网络中进行训练,并采用随机梯度下降的后向传播算法更新卷积神经网络的权值和偏置,获取影像识别模型。
2.如权利要求1所述的医学影像解释方法,其特征在于,所述对所述历史医学影像进行增广处理,获取增广影像,包括:
获取预设扩增条件,根据所述预设扩增条件对所述历史医学影像进行增广处理,获取待确定影像;
对所述待确定影像进行加噪处理,获取增广影像。
3.如权利要求1所述的医学影像解释方法,其特征在于,所述将所述影像训练样本输入到卷积神经网络中进行训练,并采用随机梯度下降的后向传播算法更新卷积神经网络的权值和偏置,获取影像识别模型,包括:
初始化卷积神经网络;
将所述影像训练样本输入到所述卷积神经网络中进行训练,获取所述影像训练样本在所述卷积神经网络中的预测结果;
根据所述预测结果和所述病灶标签构建误差函数,所述误差函数的表达式为其中,n表示影像训练样本总数,xi表示第i个影像训练样本的预测结果,yi表示与xi相对应的第i个影像训练样本的病灶标签;
根据所述误差函数,采用反向传播算法计算梯度,并采用随机梯度下降更新所述卷积神经网络中的权值和偏置,获取影像识别模型。
4.一种医学影像解释装置,其特征在于,包括:
影像分析请求获取模块,用于获取影像分析请求,所述影像分析请求包含目标医学影像和用户类型;
特征图谱获取模块,用于采用预先训练好的影像识别模型对所述目标医学影像进行识别,获取所述影像识别模型中最后一层卷积层输出的特征图谱;
预测概率值获取模块,用于基于所述特征图谱,获取所述影像识别模型输出的每一原始病灶类别对应的预测概率值;其中,所述预测概率值是指所述目标医学影像的所述特征图谱属于每一所述原始病灶类别的概率值;
热力映射图获取模块,用于将最大预测概率值的原始病灶类别确定为目标病灶类别,获取与所述目标病灶类别对应的图谱权值,采用激活映射公式对所述特征图谱和所述图谱权值进行分类激活映射,获取热力映射图,其中,所述激活映射公式为c是指目标病灶类别,Mc(x,y)是指目标病灶类别对应的热力映射图,/>是指第k个特征图谱对应的图谱权值,K是特征图谱的数量,f(x,y)是指第k个特征图谱;
目标热力图获取模块,用于将所述热力映射图和所述目标医学影像进行叠加,生成目标热力图;
原始病灶类别获取单元,用于若所述用户类型为普通用户类型,则将每一所述预测概率值与概率阈值进行比较,获取大于所述概率阈值的目标概率值和与所述目标概率值对应的原始病灶类别;
数据显示单元,用于将所述目标概率值和与所述目标概率值对应的原始病灶类别显示在用户端;
灰度图像获取单元,用于基于所述目标医学影像,获取灰度图像;
方差值比较单元,用于采用拉普拉斯方差算法对所述灰度图像进行滤波处理,计算出滤波图像的均值和方差值,将所述方差值与预设阈值进行比较;
第一处理单元,用于若所述方差值大于预设阈值,则执行所述采用预先训练好的影像识别模型对所述目标医学影像进行识别,获取所述影像识别模型中最后一层卷积层输出的特征图谱;
第二处理单元,用于若所述方差值不大于预设阈值,则生成提醒信息反馈给用户端;
历史医学影像获取单元,用于获取历史医学影像,对所述历史医学影像进行病灶标注,所述历史医学影像携带有对应的病灶标签;
增广影像获取单元,用于对所述历史医学影像进行增广处理,获取增广影像;
影像训练样本获取单元,用于对所述增广影像进行归一化处理,获取影像训练样本;
影像识别模型获取单元,用于将所述影像训练样本输入到卷积神经网络中进行训练,并采用随机梯度下降的后向传播算法更新卷积神经网络的权值和偏置,获取影像识别模型。
5.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述医学影像解释方法。
6.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述医学影像解释方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910334702.6A CN110136103B (zh) | 2019-04-24 | 2019-04-24 | 医学影像解释方法、装置、计算机设备及存储介质 |
PCT/CN2019/102544 WO2020215557A1 (zh) | 2019-04-24 | 2019-08-26 | 医学影像解释方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910334702.6A CN110136103B (zh) | 2019-04-24 | 2019-04-24 | 医学影像解释方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110136103A CN110136103A (zh) | 2019-08-16 |
CN110136103B true CN110136103B (zh) | 2024-05-28 |
Family
ID=67570987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910334702.6A Active CN110136103B (zh) | 2019-04-24 | 2019-04-24 | 医学影像解释方法、装置、计算机设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110136103B (zh) |
WO (1) | WO2020215557A1 (zh) |
Families Citing this family (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110136103B (zh) * | 2019-04-24 | 2024-05-28 | 平安科技(深圳)有限公司 | 医学影像解释方法、装置、计算机设备及存储介质 |
CN110517771B (zh) * | 2019-08-29 | 2021-02-09 | 腾讯医疗健康(深圳)有限公司 | 一种医学图像处理方法、医学图像识别方法及装置 |
CN110504029B (zh) * | 2019-08-29 | 2022-08-19 | 腾讯医疗健康(深圳)有限公司 | 一种医学图像处理方法、医学图像识别方法及装置 |
CN110689025B (zh) * | 2019-09-16 | 2023-10-27 | 腾讯医疗健康(深圳)有限公司 | 图像识别方法、装置、***及内窥镜图像识别方法、装置 |
CN110660055B (zh) * | 2019-09-25 | 2022-11-29 | 北京青燕祥云科技有限公司 | 疾病数据预测方法、装置、可读存储介质及电子设备 |
CN110930392A (zh) * | 2019-11-26 | 2020-03-27 | 北京华医共享医疗科技有限公司 | 基于GoogLeNet网络模型实现医学影像辅助诊断的方法、装置、设备及存储介质 |
CN111009309B (zh) * | 2019-12-06 | 2023-06-20 | 广州柏视医疗科技有限公司 | 一种头颈部***可视化展示方法、装置及存储介质 |
CN111080594B (zh) * | 2019-12-09 | 2024-03-26 | 上海联影智能医疗科技有限公司 | 切片标记确定方法、计算机设备和可读存储介质 |
CN111063410B (zh) * | 2019-12-20 | 2024-01-09 | 京东方科技集团股份有限公司 | 一种医学影像文本报告的生成方法及装置 |
CN111160441B (zh) * | 2019-12-24 | 2024-03-26 | 上海联影智能医疗科技有限公司 | 分类方法、计算机设备和存储介质 |
CN111242897A (zh) * | 2019-12-31 | 2020-06-05 | 北京深睿博联科技有限责任公司 | 胸部x射线影像分析方法和装置 |
CN111275121B (zh) * | 2020-01-23 | 2023-07-18 | 北京康夫子健康技术有限公司 | 一种医学影像处理方法、装置和电子设备 |
CN111462169B (zh) * | 2020-03-27 | 2022-07-15 | 杭州视在科技有限公司 | 一种基于背景建模的老鼠轨迹追踪方法 |
CN111523593B (zh) * | 2020-04-22 | 2023-07-21 | 北京康夫子健康技术有限公司 | 用于分析医学影像的方法和装置 |
CN111783682B (zh) * | 2020-07-02 | 2022-11-04 | 上海交通大学医学院附属第九人民医院 | 眼眶骨折自动识别模型构建方法、装置、设备和介质 |
CN111933274A (zh) * | 2020-07-15 | 2020-11-13 | 平安科技(深圳)有限公司 | 疾病分类诊断方法、装置、电子设备及存储介质 |
CN112001329B (zh) * | 2020-08-26 | 2021-11-30 | 深圳太力生物技术有限责任公司 | 蛋白表达量的预测方法、装置、计算机设备和存储介质 |
CN113808068A (zh) * | 2020-11-09 | 2021-12-17 | 北京京东拓先科技有限公司 | 图像检测方法及装置 |
CN112329659B (zh) * | 2020-11-10 | 2023-08-29 | 平安科技(深圳)有限公司 | 基于车辆图像的弱监督语义分割方法及其相关设备 |
CN112347970B (zh) * | 2020-11-18 | 2024-04-05 | 江苏海洋大学 | 一种基于图卷积神经网络的遥感影像地物识别方法 |
CN112488493B (zh) * | 2020-11-27 | 2023-06-23 | 西安电子科技大学 | 融合位置信息的医学影像医师病灶识别能力评估方法、***及计算机可读介质 |
CN112634224B (zh) * | 2020-12-17 | 2023-07-28 | 北京大学 | 基于目标影像的病灶检测方法和装置 |
CN112465819B (zh) * | 2020-12-18 | 2024-06-18 | 平安科技(深圳)有限公司 | 图像异常区域检测方法、装置、电子设备及存储介质 |
CN112614119B (zh) * | 2020-12-28 | 2024-04-12 | 上海市精神卫生中心(上海市心理咨询培训中心) | 医学图像感兴趣区域可视化方法、装置、存储介质和设备 |
CN112651407B (zh) * | 2020-12-31 | 2023-10-20 | 中国人民解放军战略支援部队信息工程大学 | 一种基于区分性反卷积的cnn可视化方法 |
CN112699948A (zh) * | 2020-12-31 | 2021-04-23 | 无锡祥生医疗科技股份有限公司 | 超声乳腺病灶的分类方法、装置及存储介质 |
CN112766314B (zh) * | 2020-12-31 | 2024-05-28 | 上海联影智能医疗科技有限公司 | 解剖结构的识别方法、电子设备及存储介质 |
CN112784494B (zh) * | 2021-01-27 | 2024-02-06 | 中国科学院苏州生物医学工程技术研究所 | 假阳性识别模型的训练方法、目标识别方法及装置 |
CN112906867B (zh) * | 2021-03-03 | 2023-09-15 | 安徽省科亿信息科技有限公司 | 一种基于像素梯度加权的卷积神经网络特征可视化方法及*** |
CN113034389B (zh) * | 2021-03-17 | 2023-07-25 | 武汉联影智融医疗科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN113034481A (zh) * | 2021-04-02 | 2021-06-25 | 广州绿怡信息科技有限公司 | 设备图像模糊检测方法及装置 |
CN112949770B (zh) * | 2021-04-08 | 2023-12-26 | 深圳市医诺智能科技发展有限公司 | 一种医学图像的识别与分类的方法及终端 |
CN113269721B (zh) * | 2021-04-21 | 2024-05-17 | 上海联影智能医疗科技有限公司 | 模型训练方法、装置、电子设备及存储介质 |
CN113239978B (zh) * | 2021-04-22 | 2024-06-04 | 科大讯飞股份有限公司 | 医学图像预处理模型与分析模型的相关方法和装置 |
CN113220895B (zh) * | 2021-04-23 | 2024-02-02 | 北京大数医达科技有限公司 | 基于强化学习的信息处理方法、装置、终端设备 |
CN113192622B (zh) * | 2021-05-08 | 2023-06-23 | 上海亿为科技有限公司 | 基于云边缘的ar巡检校验医疗数据的方法、装置及设备 |
CN114972834B (zh) * | 2021-05-12 | 2023-09-05 | 中移互联网有限公司 | 多层次多分类器的图像分类方法及装置 |
CN113241156B (zh) * | 2021-06-04 | 2024-04-23 | 华中科技大学 | 一种基于检测指导的骨科病灶计数网络的标注方法及*** |
CN113298913A (zh) * | 2021-06-07 | 2021-08-24 | Oppo广东移动通信有限公司 | 数据增强方法、装置、电子设备及可读存储介质 |
CN113434718A (zh) * | 2021-06-29 | 2021-09-24 | 联仁健康医疗大数据科技股份有限公司 | 确定关联图像的方法、装置、电子设备及存储介质 |
CN113782158A (zh) * | 2021-08-13 | 2021-12-10 | 广州市挖米科技有限责任公司 | 一种saas化影像数据高速传输与成像方法及装置 |
CN113674840B (zh) * | 2021-08-24 | 2023-11-03 | 深圳平安智慧医健科技有限公司 | 医学影像共享方法、装置、电子设备及存储介质 |
CN113658152B (zh) * | 2021-08-24 | 2023-06-30 | 平安科技(深圳)有限公司 | 脑卒中风险的预测设备、方法、计算机设备及存储介质 |
CN113762285A (zh) * | 2021-09-10 | 2021-12-07 | 程明霞 | 一种分析和处理医学影像的***及方法 |
CN113838028A (zh) * | 2021-09-24 | 2021-12-24 | 无锡祥生医疗科技股份有限公司 | 一种颈动脉超声自动多普勒方法、超声设备及存储介质 |
CN113781597B (zh) * | 2021-09-27 | 2024-02-09 | 山东新一代信息产业技术研究院有限公司 | 一种肺部ct图像的病灶识别方法、设备及介质 |
CN113989543A (zh) * | 2021-09-28 | 2022-01-28 | 南京邮电大学 | 一种covid-19医学影像检测分类方法及装置 |
CN114092427B (zh) * | 2021-11-12 | 2023-05-16 | 深圳大学 | 一种基于多序列mri图像的克罗病与肠结核分类方法 |
CN114049359B (zh) * | 2021-11-22 | 2024-04-16 | 北京航空航天大学 | 医学影像器官分割方法 |
CN114677537B (zh) * | 2022-03-06 | 2024-03-15 | 西北工业大学 | 一种基于多序列磁共振影像的胶质瘤分级分类方法 |
CN114628010A (zh) * | 2022-03-23 | 2022-06-14 | 康键信息技术(深圳)有限公司 | 智能医疗阅片方法、装置、设备及存储介质 |
CN114974524A (zh) * | 2022-06-07 | 2022-08-30 | 河南科技大学第一附属医院 | 医学影像数据的注释方法和装置 |
CN116246756B (zh) * | 2023-01-06 | 2023-12-22 | 浙江医准智能科技有限公司 | 模型更新方法、装置、电子设备及介质 |
CN116402812B (zh) * | 2023-06-07 | 2023-09-19 | 江西业力医疗器械有限公司 | 一种医疗用影像数据的处理方法及*** |
CN116468727B (zh) * | 2023-06-19 | 2023-12-12 | 湖南科迈森医疗科技有限公司 | 基于腔镜图像识别辅助判断子宫内膜高危增生的方法及*** |
CN116523914B (zh) * | 2023-07-03 | 2023-09-19 | 智慧眼科技股份有限公司 | 一种动脉瘤分类识别装置、方法、设备、存储介质 |
CN117152128B (zh) * | 2023-10-27 | 2024-02-27 | 首都医科大学附属北京天坛医院 | 神经影像的病灶识别方法、装置、电子设备和存储介质 |
CN117297554A (zh) * | 2023-11-16 | 2023-12-29 | 哈尔滨海鸿基业科技发展有限公司 | 一种淋巴成像装置控制***及方法 |
CN117576492B (zh) * | 2024-01-18 | 2024-03-29 | 天津医科大学第二医院 | 胃间质瘤在胃超声内镜下的病灶自动标注识别装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106203432A (zh) * | 2016-07-14 | 2016-12-07 | 杭州健培科技有限公司 | 一种基于卷积神经网显著性图谱的感兴趣区域的定位方法 |
CN106682616A (zh) * | 2016-12-28 | 2017-05-17 | 南京邮电大学 | 基于双通道特征深度学习的新生儿疼痛表情识别方法 |
CN107423820A (zh) * | 2016-05-24 | 2017-12-01 | 清华大学 | 结合实体层次类别的知识图谱表示学习方法 |
CN108257135A (zh) * | 2018-02-01 | 2018-07-06 | 浙江德尚韵兴图像科技有限公司 | 基于深度学习方法解读医学图像特征的辅助诊断*** |
CN108564119A (zh) * | 2018-04-04 | 2018-09-21 | 华中科技大学 | 一种任意姿态行人图片生成方法 |
CN108921031A (zh) * | 2018-06-04 | 2018-11-30 | 平安科技(深圳)有限公司 | 汉字模型训练方法、手写字识别方法、装置、设备及介质 |
CN109034193A (zh) * | 2018-06-20 | 2018-12-18 | 上海理工大学 | 多特征融合与尺度自适应核相关滤波跟踪方法 |
CN109063720A (zh) * | 2018-06-04 | 2018-12-21 | 平安科技(深圳)有限公司 | 手写字训练样本获取方法、装置、计算机设备及存储介质 |
CN109447966A (zh) * | 2018-10-26 | 2019-03-08 | 科大讯飞股份有限公司 | 医学图像的病灶定位识别方法、装置、设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3223181B1 (en) * | 2016-03-24 | 2019-12-18 | Sofradim Production | System and method of generating a model and simulating an effect on a surgical repair site |
CN107679513B (zh) * | 2017-10-20 | 2021-07-13 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置及服务器 |
CN109493954B (zh) * | 2018-12-20 | 2021-10-19 | 广东工业大学 | 一种基于类别判别定位的sd-oct图像视网膜病变检测*** |
CN110136103B (zh) * | 2019-04-24 | 2024-05-28 | 平安科技(深圳)有限公司 | 医学影像解释方法、装置、计算机设备及存储介质 |
-
2019
- 2019-04-24 CN CN201910334702.6A patent/CN110136103B/zh active Active
- 2019-08-26 WO PCT/CN2019/102544 patent/WO2020215557A1/zh active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107423820A (zh) * | 2016-05-24 | 2017-12-01 | 清华大学 | 结合实体层次类别的知识图谱表示学习方法 |
CN106203432A (zh) * | 2016-07-14 | 2016-12-07 | 杭州健培科技有限公司 | 一种基于卷积神经网显著性图谱的感兴趣区域的定位方法 |
CN106682616A (zh) * | 2016-12-28 | 2017-05-17 | 南京邮电大学 | 基于双通道特征深度学习的新生儿疼痛表情识别方法 |
CN108257135A (zh) * | 2018-02-01 | 2018-07-06 | 浙江德尚韵兴图像科技有限公司 | 基于深度学习方法解读医学图像特征的辅助诊断*** |
CN108564119A (zh) * | 2018-04-04 | 2018-09-21 | 华中科技大学 | 一种任意姿态行人图片生成方法 |
CN108921031A (zh) * | 2018-06-04 | 2018-11-30 | 平安科技(深圳)有限公司 | 汉字模型训练方法、手写字识别方法、装置、设备及介质 |
CN109063720A (zh) * | 2018-06-04 | 2018-12-21 | 平安科技(深圳)有限公司 | 手写字训练样本获取方法、装置、计算机设备及存储介质 |
CN109034193A (zh) * | 2018-06-20 | 2018-12-18 | 上海理工大学 | 多特征融合与尺度自适应核相关滤波跟踪方法 |
CN109447966A (zh) * | 2018-10-26 | 2019-03-08 | 科大讯飞股份有限公司 | 医学图像的病灶定位识别方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2020215557A1 (zh) | 2020-10-29 |
CN110136103A (zh) | 2019-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110136103B (zh) | 医学影像解释方法、装置、计算机设备及存储介质 | |
CN110599451B (zh) | 医学图像病灶检测定位方法、装置、设备及存储介质 | |
US10891524B2 (en) | Method and an apparatus for evaluating generative machine learning model | |
US10210418B2 (en) | Object detection system and object detection method | |
CN110334587B (zh) | 人脸关键点定位模型的训练方法、装置及关键点定位方法 | |
KR20210048523A (ko) | 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 기억 매체 | |
CN110796199B (zh) | 一种图像处理方法、装置以及电子医疗设备 | |
CN109657582B (zh) | 人脸情绪的识别方法、装置、计算机设备及存储介质 | |
Ashok Kumar et al. | Enhanced facial emotion recognition by optimal descriptor selection with neural network | |
CN113688912B (zh) | 基于人工智能的对抗样本生成方法、装置、设备及介质 | |
CN113610787A (zh) | 图像缺陷检测模型的训练方法、装置、计算机设备 | |
US20220036140A1 (en) | Classification device, classification method, program, and information recording medium | |
EP3618077A1 (en) | Generating metadata for trained model | |
CN115359066B (zh) | 用于内窥镜的病灶检测方法、装置、电子设备及存储介质 | |
CN111694954B (zh) | 图像分类方法、装置和电子设备 | |
CN113781488A (zh) | 舌象图像的分割方法、装置及介质 | |
CN116863522A (zh) | 痤疮分级方法、装置、设备及介质 | |
CN113780145A (zh) | ***形态检测方法、装置、计算机设备和存储介质 | |
CN114519401A (zh) | 一种图像分类方法及装置、电子设备、存储介质 | |
CN110276802B (zh) | 医学图像中病症组织定位方法、装置与设备 | |
Khan et al. | Localization of ocular vessels with context sensitive semantic segmentation | |
CN113724237A (zh) | 齿痕识别方法、装置、计算机设备及存储介质 | |
CN112699809B (zh) | 痘痘类别识别方法、装置、计算机设备及存储介质 | |
CN115116117A (zh) | 一种基于多模态融合网络的学习投入度数据的获取方法 | |
CN111582404B (zh) | 内容分类方法、装置及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |