CN107273925B - 基于局部感受野和半监督深度自编码的肺实质ct影像处理装置 - Google Patents
基于局部感受野和半监督深度自编码的肺实质ct影像处理装置 Download PDFInfo
- Publication number
- CN107273925B CN107273925B CN201710437480.1A CN201710437480A CN107273925B CN 107273925 B CN107273925 B CN 107273925B CN 201710437480 A CN201710437480 A CN 201710437480A CN 107273925 B CN107273925 B CN 107273925B
- Authority
- CN
- China
- Prior art keywords
- coding
- image
- network
- local
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004072 lung Anatomy 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 title claims description 9
- 238000000034 method Methods 0.000 claims abstract description 49
- 206010056342 Pulmonary mass Diseases 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 11
- 208000019693 Lung disease Diseases 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 230000000391 smoking effect Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000012512 characterization method Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 5
- 238000002474 experimental method Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 230000003902 lesion Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000003759 clinical diagnosis Methods 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 3
- 230000001575 pathological effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 101100328884 Caenorhabditis elegans sqt-3 gene Proteins 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 14
- 230000002685 pulmonary effect Effects 0.000 abstract description 6
- 239000010410 layer Substances 0.000 description 31
- 239000003814 drug Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000003556 assay Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 108090000237 interleukin-24 Proteins 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- High Energy & Nuclear Physics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Physiology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
Abstract
本发明公开了一种基于局部感受野和半监督深度自编码的肺结节诊断方法。首先,采用局部感受野对肺结节图像进行多层特征提取。然后,利用半监督稀疏自编码自主学习肺部影像中的结节特征。最后,融合多种临床信息实现对肺结节的准确检测。本发明识别准确率高,能对输入的CT图像进行特征多分类后进行自编码学习,网络的诊断更加准确,对医生起到重要的辅助诊断作用。
Description
技术领域
本发明涉及医学图像肺部结节辅助诊断,具体涉及一种基于局部感受野和半监督深度自编码的肺实质CT影像处理装置。
背景技术
CT影像作为检查肺部疾病最好的影像学方法,在医师的诊断中起着举足轻重的作用。但是医师主要根据经验诊断疾病,诊断结果具有一定主观性,常常出现误诊、漏诊的情况。深度学习作为特征学习方法,通过模拟具有丰富层次结构的人类脑神经***,建立类似的简单而非线性的深度分层模型结构,在对逐层学习的特征过滤掉不相关因素的干扰的同时,对输入数据逐层提取,将原始数据转换为更高层次的抽象表达。
最底层特征通常都是局部的,每个神经元仅连接输入单元的一部分且只响应某种特定区域的刺激。同一张图像上的不同小片段,以及不同图像上的相同小片段的特征是类似的,所以使用同一组分类器来描述不同的图像也是可以实现的。
鉴于此,对肺结节进行相关辅助诊断也就成了一项很有必要的工作。本发明将关注局部感受野预分类,以及对稀疏自编码加入临床信息进行网络的优化。
发明内容
本发明的目的在于克服现有技术中的缺陷,提供一种基于局部感受野和半监督深度自编码的肺实质CT影像处理装置。
本发明解决其技术问题所采用的技术方案为:
一种基于局部感受野和半监督深度自编码的肺实质CT影像处理装置,首先对肺实质CT影像中隐含的不同类特征使用局部感受野进行分层提取,然后,运用融合了肺部疾病医学相关临床信息的改进栈式稀疏自编码网络,对有标签的半监督特征提取深度模型进行训练,从已进行特征分类的CT特征图像中发现更高层的特征,将顶层输出层替换为逻辑回归分类器,将训练优化特征作为输出向量;具体包括以下模块:
A、基于局部感受野的多特征学习模块
对输入的CT图像进行特征多分类后进行自编码学习;先对已有图像中隐含的不同类特征使用局部感受野进行分层提取;将局部感受野的思想融入到稀疏自编码深度网络框架中,构成一个对高层特征提取更加准确的具有局部多层特征信息输入的稀疏自编码深度网络;
B、半监督稀疏自编码的构建模块
与传统无监督编码方法不同的是,在网络训练过程中,半监督的编码方法为样本设置了标签信息;当输入样本数据带标签时,输出与标签之间存在的误差用于调整网络各个分级的参数,实现对收敛效果的优化;在训练肺结节CT图像时专门设置一行或一列,用来存储图像的标签信息,将标签信息作为像素值***到图像中;将原图的第一行用来存放训练数据的标签信息,如果训练图像中无结节,则第一行的像素值设置为255;如果训练图像存在结节,则第一行的像素值设置为0;灰度的取值范围为0~255;
C、结合重要临床信息改进稀疏自编码模块
在稀疏自编码学习过程中,去除了关联度不大的影响因素,为网络添加肺部疾病治疗中重要的临床诊断信息;构建一个全面的肺部病灶的相关表征,把潜在的重要因素考虑进去,构建包含尽可能少又能全面表征结节特征的改进稀疏自编码网络结构;针对肺结节的病变特征提取出一组以形状特征为主的特征向量,以增加特征向量表征结节区域的精确程度;
所述结合重要临床信息改进稀疏自编码模块中结合重要临床信息改进稀疏自编码的过程如下:
C1对已进行局部感受野特征分类的图像进行深层自编码:
稀疏自编码的结构和训练方式与BP神经网络相似,假设训练集为{(x(1),y(1)),(x(2),y(2)),…,(x(m),y(m))},共m个训练样本;稀疏自编码损失函数定义为:
式中第一项为均方误差重构项,第二项为稀疏惩罚项;λ为延迟系数,β是稀疏惩罚项的惩罚系数,ρ是稀疏性参数,是隐含层j神经元的平均激活值;是以和ρ分别为均值的两个伯努利随机变量之间的相对熵;具体计算公式如下:
C2、对自编码网络中的最小化损失函数进行重构:
将肺部CT图像中结节边界粗糙度texp作为图像对象边界平滑程度的量化表征,并用于深度框架目标函数的重写;
边界粗糙度计算以径向距离r(n)为基础;径向距离r(n)指各像素点(x(n),y(n))到质心的距离;将其量化的过程如下:
首先,将r(n)划分成若干连续的长度相等的边界段,其中n指肺结节边界轮廓像素点的个数;每段长度为L,经过实验可得度量肺结节病理特征精确度的L值为5;然后,计算每段内相邻像素间径向距离的差值,并求出同一段内径向距离差值和R(j);最后,计算所有边界段径向距离差值和的平均值,将肺结节的边界粗糙度作为结节形状表示时的参数;具体公式如下:
同时给数据集中每个样本都赋一个年龄权值;年龄权值参数tage定义如下:
其中,Sage为4个年龄段25,50,75,100;由于年龄的分类是相互独立的,故年龄值由给定样本的参数决定;并对数据集中每个病患的所处环境参数tenv和吸烟状况tsmk分别赋值,环境参数tenv轻度为0,中度为0.5,重度为1;吸烟状况tsmk否为0,是为1;
在编码过程中加入四个softmax层来表达对存在的疑似区域是否为肺结节的预测:
同样,其他影响因素相关参数的交叉熵误差函数与公式(9)相同;最后的半监督自编码目标函数加上这四个交叉熵一起应用在整个训练集上,具体计算如下;参数λ1、λ2、λ3、λ4和λ5控制不同误差项的权重,总和为1;
E([xp,xq],texp,tage,tenv,tsmk,θ)=λ1Erec([xp,xq])+λ2EcExp(y,texp,θ)+λ3EcAge(y,tage,θ)+λ4EcEnv(y,tenv,θ)+λ5EcSmk(y,tsmk,θ) (10)。
所述的装置,所述基于局部感受野的多特征学***方根池化法构成节点,隐层节点的局部感受野均由距中心一定距离内的输入节点组成;为了输入尽可能充分,采用K个不同的输入权重,从而得到K个映射种类;首先,随机生成初始权重矩阵其中然后输入图像设置为d×d,局部感受野的尺寸为r×r,形成的特征映射图像块为(d-r+1)×(d-r+1);使用奇异值分解(SVD)进行初始权重矩阵正交化;正交化的初始权重为其中,每一列都是的正交基;当r2<K时,先转置,再正交化,然后转置回来;第K个特征图的输入权重是ak∈Rτ×τ,由逐列排成;第K个特征映射对应的节点(i,j)计算如公式(1)所示:
其中,i,j=1,...,(d-r+1)
正交化过程使网络的泛化性能得到进一步提高,所提出算法的特征映射模块通过稀疏自编码神经网络可自主学习出更接近高层语义的图像特征,显著提高结节检测的准确性。
与现有技术相比,本发明的有益效果为:
1、本发明的方法基于局部感受野和半监督的改进稀疏自编码的肺结节诊断,进而识别肺结节图像所表现的征象类别,便于医师判断肺部是否有肺结节,减少了医师对诊断经验,及主观性的过度依赖;
2、通过使用本发明的技术,能够从临床信息的层面对诊断提出帮助,最大程度保证了肺结节诊断的准确性;
3、通过本发明对肺结节进行的诊断,这些图像的病灶特征和诊断方案等可以为医师对肺部疾病的分析提供参考,起到辅助诊断的作用。
附图说明
图1是本发明肺结节检测方法流程图;
图2是利用局部感受野多特征提取框架图;
图3是肺结节监督信息标注,a列是原始肺结节图像,b列是嵌入标签信息的肺结节图像;
图4是栈式稀疏自编码结构;
图5是融合临床信息的半监督自编码结构图;
图6是不同样本块大小的局部统计特征;(a)和(b)分别为5*5和30*30大小样本块的局部特征效果图;
图7是不同样本块大小对检测率的影响;
图8是添加不同临床信息对检测率的影响。
具体实施方式
下面结合附图与具体实施方式对本发明的技术方案作进一步详细的说明。
肺结节整体检测过程图如图1所示,本发明通过对肺实质CT影像中隐含的不同类特征使用局部感受野进行分层提取,然后,运用融合了肺部疾病医学相关临床信息的改进栈式稀疏自编码网络,对有标签的半监督特征提取深度模型进行训练,从已进行特征分类的CT特征图像中发现更高层的特征,将顶层输出层替换为逻辑回归分类器,将训练优化特征作为输出向量。最后融合多种临床信息实现对肺结节的准确检测。
A、基于局部感受野的多特征学习
图像的特征一般主要集中于某一局部区域。所以,局部感受野(Local ReceptiveField,简称LRF)被提出并用于图像局部特征的提取。最底层特征通常都是局部的,每个神经元仅连接输入单元的一部分且只响应某种特定区域的刺激。在更高层特征中,将这些感受不同的局部神经元综合起来就可以得到全局的信息,大大减少了训练网络的参数,提高了训练效率,保证在提取到有效特征的基础上使网络结构变得尽可能简单。而肺部CT影像为黑白图像,有结节的区域则较高亮。因此,我们将大尺寸的图像依次进行分块处理,然后将这些图像块放进深层稀疏自编码网络中进行学习。图像中具有多特征的图像块被称为有效区域块,其他则为无效区域块。
将局部感受野的这种思想融入到稀疏自编码深度网络框架中,构成一个对高层特征提取更加准确的具有局部多层特征信息输入的稀疏自编码深度网络(LRF-SDAE)。本发明提出一种在输入层引入局部感受野的方法如图2所示。局部感受野的选取摒弃了CNN中使用固定卷积节点的方式,使用较灵活的可以在不同形式中使用的连续概率分布随机生成方法。将这种思想运用于医学图像处理任务中,用于学习图像的局部结构并在隐藏层生成更有意义的表示。为了减少局部特征提取时的运算量,提高计算准确率。采用2×K个不同的输入权重(黑白图像包含两个通道,每个通道K个权重),为此会得到K个不同的局部特征表示图。不论局部特征提取层与输入层之间是否连接,都可以使用不同类型的连续概率分布随机采样构建,网络依然具有普适近似和分类能力。
在构建多特征局部感受野时,使用阶梯概率函数进行采样分布,平方根池化法构成节点,隐层节点的局部感受野均由距中心一定距离内的输入节点组成。为了输入尽可能充分,采用K个不同的输入权重,从而得到K个映射种类。首先,随机生成初始权重矩阵其中然后输入图像设置为d×d,局部感受野的尺寸为r×r,形成的特征映射图像块为(d-r+1)×(d-r+1)。使用奇异值分解(SVD)进行初始权重矩阵正交化。正交化的初始权重为其中,每一列都是的正交基。当r2<K时,先转置,再正交化,然后转置回来。第K个特征图的输入权重是ak∈Rτ×τ,由逐列排成。第K个特征映射对应的节点(i,j)计算如公式(1)所示:
其中,i,j=1,…,(d-r+1)
正交化过程使网络的泛化性能得到进一步提高,所提出算法的特征映射模块通过稀疏自编码神经网络可自主学习出更接近高层语义的图像特征,显著提高结节检测的准确性。
B、半监督稀疏自编码的构建
与传统无监督编码方法不同的是,在网络训练过程中,半监督的编码方法为样本设置了标签信息。当输入样本数据带标签时,输出与标签之间存在的误差用于调整网络各个分级的参数,实现对收敛效果的优化。
当重构误差达到最小时,编码器所产生的特征可被定义为原始输入数据的良好表达。因此,本发明在训练肺结节CT图像时专门设置一行或一列,用于标签信息作为像素值在图像中的存储如图3所示。将原图的第一行用来存放训练数据的标签信息,如训练图像中无结节,则第一行的像素值设置为255;如训练图像存在结节,则第一行的像素值设置为0(灰度的取值范围为0~255)。
同时,稀疏自编码是一种可以学习输入数据非线性特征的自编码网络。从结构上来说,稀疏自编码是在一般神经网络中加上稀疏限制的特殊三层神经网络。为了学习到更加复杂和稳定的特征,稀疏自编码通过多层排列构成深度栈式结构,结构如图4所示。其最大特点就是输入层结点数(不包括bias结点)和输出层结点数相同,而隐含层结点数少于输入层和输出层结点数。稀疏自编码可以将输入数据中的潜在特征进行较好的低维表示。
C、结合重要临床信息改进稀疏自编码
在稀疏自编码学习过程中,去除了一些关联度不大的影响因素,为网络添加一些肺部疾病治疗中重要的临床诊断信息。构建一个全面的肺部病灶的相关表征,把潜在的重要因素考虑进去,构建包含尽可能少又能全面表征结节特征的改进稀疏自编码网络结构。针对肺结节的病变特征提取出一组以形状特征为主的特征向量,以增加特征向量表征结节区域的精确程度,进而增加后期对肺结节检测的准确率。
C1对已进行局部感受野特征分类的图像进行深层自编码:
稀疏自编码的结构和训练方式与BP神经网络相似,假设训练集为{(x(1),y(1)),(x(2),y(2)),…,(x(m),y(m))},共m个训练样本。稀疏自编码损失函数定义为:
式中第一项为均方误差重构项,第二项为稀疏惩罚项。λ为延迟系数,β是稀疏惩罚项的惩罚系数,ρ是稀疏性参数,是隐含层j神经元的平均激活值。是以和ρ分别为均值的两个伯努利随机变量之间的相对熵。具体计算公式如下:
C2、对自编码网络中的最小化损失函数进行重构:
将肺部CT图像中结节边界粗糙度texp作为图像对象边界平滑程度的量化表征,并用于深度框架目标函数的重写。
边界粗糙度计算以径向距离r(n)为基础。径向距离r(n)指各像素点(x(n),y(n))到质心的距离。将其量化的过程如下:
首先,将r(n)划分成若干连续的长度相等的边界段,其中n指肺结节边界轮廓像素点的个数。每段长度为L,经过实验可得度量肺结节病理特征精确度的L值为5。然后,计算每段内相邻像素间径向距离的差值,并求出同一段内径向距离差值和R(j)。最后,计算所有边界段径向距离差值和的平均值,将肺结节的边界粗糙度作为结节形状表示时的参数。具体公式如下:
同时给数据集中每个样本都赋一个年龄权值。年龄权值参数tage定义如下:
其中,Sage为4个年龄段(25,50,75,100)。由于年龄的分类是相互独立的,故年龄值由给定样本的参数决定。并对数据集中每个病患的所处环境参数tenv(轻度0,中度0.5,重度1)和吸烟状况tsmk(否0,是1)分别赋值。
在编码过程中加入四个softmax层来表达对存在的疑似区域是否为肺结节的预测:
同样,其他影响因素相关参数的交叉熵误差函数与公式(9)相同。最后的半监督自编码目标函数加上这四个交叉熵一起应用在整个训练集上,具体计算如下。参数λ1、λ2、λ3、λ4和λ5控制不同误差项的权重,总和为1。
E([xp,xq],texp,tage,tenv,tsmk,θ)=λ1Erec([xp,xq])+λ2EcExp(y,texp,θ)+λ3EcAge(y,tage,θ)+λ4EcEnv(y,tenv,θ)+λ5EcSmk(y,tsmk,θ) (10)
实验结果
本发明方法所使用的实验数据来自于山西某医院影像数据中心,图像中共有结节2810个(最大直径范围为:1.6~23mm,平均最大直径为5.1mm)。该医院使用设备为美国通用公司的Discovery ST16,CT采集参数为150mA、140kV,层厚3.75mm,CT图像大小为512×512。该方法的实验环境为Matlab2012b,处理器Intel(R)Core(TM)i7,主频3.40GHz,内存8GB。为了公平比较,数据集作为不同方法的输入,采用5折交叉验证方法进行训练(已与医院签署数据隐私处理相关协议)。
样本块大小对算法性能的影响
在其它参数条件设置相同的情况下,不同大小样本块对检测性能的影响。如图6所示,(a)和(b)分别为5*5和30*30大小样本块的局部特征效果图。可以明显看出,在一定范围内,当样本块较大时,提取得到的局部特征更为清晰。
图7折线图表示不同大小样本块对检测率的影响。曲线分别表示样本块大小为16*16,32*32,48*48,64*64,128*128所对应的检测率曲线。从图中可以看到,在一定范围内,提取样本块越大,其检测率也相对较高。其中64*64的样本块检测率明显优于其它样本块大小的。
与其他深度学习模型的比较
所有进行对比的模型都是由单层模型堆叠,并且网络均处于最优分类性能,实验结果见表1.实验结果表明,我们提出的LRF-SSAE自编码模型获得了88.81±1.33%准确性,87.38±2.19%敏感度和85.25±2.70%特异性,检测率可达96.64%。在训练时间和检测性能上都超过其他方法。
表1不同深度框架检测性能的比较
算法 | 准确率(%) | 敏感度(%) | 特异性(%) | 训练时间(s) | 平均检测率(%) |
SAE | 72.19±3.43 | 75.62±4.09 | 68.75±3.68 | 366.15 | 96.38 |
SSAE | 75.20±3.43 | 76.25±4.09 | 73.75±3.68 | 377.03 | 96.46 |
RBM | 78.43±2.69 | 80.00±3.12 | 76.87±2.89 | 523.71 | 96.48 |
Ours | 88.81±1.33 | 87.38±2.19 | 85.25±2.71 | 206.37 | 96.64 |
不同临床信息的添加对检测性能的影响
为了进一步阐明所提方法在结节检测方面的有效性,本发明分别对融合不同临床信息网络模型与我们方法进行比较如图8所示。实验表明,本发明所提方法在隐含层结点数900,样本大小64*64时,效果最优。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (2)
1.一种基于局部感受野和半监督深度自编码的肺实质CT影像处理装置,其特征在于,首先对肺实质CT影像中隐含的不同类特征使用局部感受野进行分层提取,然后,运用融合了肺部疾病医学相关临床信息的改进栈式稀疏自编码网络,对有标签的半监督特征提取深度模型进行训练,从已进行特征分类的CT特征图像中发现更高层的特征,将顶层输出层替换为逻辑回归分类器,将训练优化特征作为输出向量;具体包括以下模块:
A、基于局部感受野的多特征学习模块
对输入的CT图像进行特征多分类后进行自编码学习;先对已有图像中隐含的不同类特征使用局部感受野进行分层提取;将局部感受野的思想融入到稀疏自编码深度网络框架中,构成一个对高层特征提取更加准确的具有局部多层特征信息输入的稀疏自编码深度网络;
B、半监督稀疏自编码的构建模块
与传统无监督编码方法不同的是,在网络训练过程中,半监督的编码方法为样本设置了标签信息;当输入样本数据带标签时,输出与标签之间存在的误差用于调整网络各个分级的参数,实现对收敛效果的优化;在训练肺结节CT图像时专门设置一行或一列,用来存储图像的标签信息,将标签信息作为像素值***到图像中;将原图的第一行用来存放训练数据的标签信息,如果训练图像中无结节,则第一行的像素值设置为255;如果训练图像存在结节,则第一行的像素值设置为0;灰度的取值范围为0~255;
C、结合重要临床信息改进稀疏自编码模块
在稀疏自编码学习过程中,去除了关联度不大的影响因素,为网络添加肺部疾病治疗中重要的临床诊断信息;构建一个全面的肺部病灶的相关表征,把潜在的重要因素考虑进去,构建包含尽可能少又能全面表征结节特征的改进稀疏自编码网络结构;针对肺结节的病变特征提取出一组以形状特征为主的特征向量,以增加特征向量表征结节区域的精确程度;
所述结合重要临床信息改进稀疏自编码模块中结合重要临床信息改进稀疏自编码的过程如下:
C1对已进行局部感受野特征分类的图像进行深层自编码:
稀疏自编码的结构和训练方式与BP神经网络相似,假设训练集为{(x(1),y(1)),(x(2),y(2)),…,(x(m),y(m))},共m个训练样本;其中,x为单个样本特征,y为样本对应输出特征;稀疏自编码损失函数定义为:
式中第一项为均方误差重构项,第二项为稀疏惩罚项;W、b为网络结构的参数,hW,b(x)为样本对应网络的输出值,||hW,b(x)-y||2为单个样本的均方误差,i表示第i个样本,λ为延迟系数;β是稀疏惩罚项的惩罚系数,ρ是稀疏性参数,j表示隐含层第j个神经元,S'表示隐含层神经元的总数,是第j个神经元的平均激活值,是以和ρ分别为均值的两个伯努利随机变量之间的相对熵;具体计算公式如下:
C2、对自编码网络中的最小化损失函数进行重构:
为了减少局部特征提取时的运算量,提高计算准确率,采用Kw个不同的输入权重,黑白图像包含两个通道,每个通道Kw个权重,为此会得到K个不同的局部特征表示图;已知从K个不同的局部特征表示图表示的数据集中选取一组输入向量通过网络学习得到yk,这里的yk表示网络关于输入向量学习到的新编码表示;网络中通过最小化损失函数学习重构网络的输入向量;重构的损失函数计算公式如下:
将肺部CT图像中结节边界粗糙度texp作为图像对象边界平滑程度的量化表征,并用于深度框架目标函数的重写;
边界粗糙度计算以径向距离r(n)为基础;径向距离r(n)指各像素点(x(n),y(n))到质心的距离;将其量化的过程如下:
首先,将r(n)划分成若干连续的长度相等的边界段,其中n指肺结节边界轮廓像素点的个数;每段长度为L,经过实验可得度量肺结节病理特征精确度的L值为5;然后,计算每段内相邻像素间径向距离的差值,并求出每一段内径向距离差值R(s);最后,计算所有边界段径向距离差值和的平均值,将肺结节的边界粗糙度作为结节形状表示时的参数;具体公式如下:
其中,n指肺结节边界轮廓像素点的个数,n∈{1,...,N},x(n)、y(n)表示像素点的横、纵坐标,xc、yc表示质心的横、纵坐标,r(n)为像素点的径向距离;L为每边界段的长度,s表示划分得到的边界段数,N表示像素点的总数;
同时给数据集中每个样本都赋一个年龄权值;年龄权值参数tage定义如下:
其中,Sage为4个年龄段25,50,75,100;由于年龄的分类是相互独立的,故年龄值由给定样本的参数决定;并对数据集中每个病患的所处环境参数tenv和吸烟状况tsmk分别赋值,环境参数tenv轻度为0,中度为0.5,重度为1;吸烟状况tsmk否为0,是为1;
在编码过程中加入四个softmax层来表达对存在的疑似区域是否为肺结节的预测:
同样,其他影响因素相关参数的交叉熵误差函数与公式(9)相同;最后的半监督自编码目标函数加上这四个交叉熵一起应用在整个训练集上,具体计算如下:
其中,Erec、EcExp、EcAge、EcEnv和EcSmk分别为半监督自编码、边界粗糙度、年龄值、所处环境和吸烟状况的目标损失函数;θ表示该深度网络的参数;λ1、λ2、λ3、λ4和λ5控制不同误差项的权重,总和为1。
2.根据权利要求1所述的装置,其特征在于,所述基于局部感受野的多特征学***方根池化法构成节点,隐层节点的局部感受野均由距中心一定距离内的输入节点组成;为了输入尽可能充分,采用Kw个不同的输入权重,从而得到K个局部特征表示图;首先,随机生成初始权重矩阵其中然后输入图像大小设置为d×d,局部感受野的尺寸为r×r,形成的特征映射图像块为(d-r+1)×(d-r+1);使用奇异值分解SVD进行初始权重矩阵正交化;正交化的初始权重为其中,每一列都是的正交基;当r2<K时,先转置,再正交化,然后转置回来;第k个局部特征表示图的输入权重是由逐列排成;这里的τ2为初始权重矩阵正交化后的矩阵维度;每一个局部特征映射对应的节点xi',j'计算如公式(1)所示:
其中,ch表示通道数;xi'+row-1,j'+col-1,ch表示第k个局部表示图中的节点,arow,col,k,ch表示第k个局部特征表示图的权重矩阵,i',j'∈{1,...,d-r+1};
正交化过程使网络的泛化性能得到进一步提高,所提出算法的特征映射模块通过稀疏自编码神经网络可自主学习出更接近高层语义的图像特征,显著提高结节检测的准确性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710437480.1A CN107273925B (zh) | 2017-06-12 | 2017-06-12 | 基于局部感受野和半监督深度自编码的肺实质ct影像处理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710437480.1A CN107273925B (zh) | 2017-06-12 | 2017-06-12 | 基于局部感受野和半监督深度自编码的肺实质ct影像处理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107273925A CN107273925A (zh) | 2017-10-20 |
CN107273925B true CN107273925B (zh) | 2020-10-09 |
Family
ID=60067097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710437480.1A Active CN107273925B (zh) | 2017-06-12 | 2017-06-12 | 基于局部感受野和半监督深度自编码的肺实质ct影像处理装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107273925B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107247971B (zh) * | 2017-06-28 | 2020-10-09 | 中国人民解放军总医院 | 一种超声甲状腺结节风险指标的智能分析方法及*** |
CN109614840B (zh) * | 2017-11-28 | 2022-03-18 | 重庆交通大学 | 基于深度学习网络的早产检测方法 |
CN108596204B (zh) * | 2018-03-15 | 2021-11-09 | 西安电子科技大学 | 一种基于改进型scdae的半监督调制方式分类模型的方法 |
CN109002766B (zh) * | 2018-06-22 | 2021-07-09 | 北京邮电大学 | 一种表情识别方法及装置 |
CN109635140B (zh) * | 2018-12-14 | 2020-07-10 | 常熟理工学院 | 一种基于深度学习和密度峰值聚类的图像检索方法 |
CN109902736A (zh) * | 2019-02-25 | 2019-06-18 | 东北大学 | 一种基于自动编码器构建特征表示的肺结节图像分类方法 |
CN110210493B (zh) * | 2019-04-30 | 2021-03-19 | 中南民族大学 | 基于非经典感受野调制神经网络的轮廓检测方法及*** |
CN110209859B (zh) * | 2019-05-10 | 2022-12-27 | 腾讯科技(深圳)有限公司 | 地点识别及其模型训练的方法和装置以及电子设备 |
CN110717518B (zh) * | 2019-09-10 | 2023-06-30 | 北京深睿博联科技有限责任公司 | 基于3d卷积神经网络的持续性肺结节识别方法及装置 |
CN110880035B (zh) * | 2019-11-14 | 2020-12-01 | 北京推想科技有限公司 | 卷积神经网络的训练方法、装置及结节征象识别方法、装置 |
CN111366555B (zh) * | 2020-02-27 | 2021-01-26 | 浙江大学 | 一种耕地土壤中农膜残留的检测方法 |
CN112735469B (zh) * | 2020-10-28 | 2024-05-17 | 西安电子科技大学 | 低内存语音关键词检测方法、***、介质、设备及终端 |
US11620359B2 (en) * | 2020-12-03 | 2023-04-04 | Ping An Technology (Shenzhen) Co., Ltd. | Method, device, and computer program product for self-supervised learning of pixel-wise anatomical embeddings in medical images |
CN112951332A (zh) * | 2021-02-25 | 2021-06-11 | 北京博富瑞基因诊断技术有限公司 | 一种基于aGVHD biomarker的重度肠道aGVHD模型的方法 |
CN113539477A (zh) * | 2021-06-24 | 2021-10-22 | 杭州深睿博联科技有限公司 | 一种基于解耦机制的病灶良恶性预测方法及装置 |
CN114494263B (zh) * | 2022-04-19 | 2022-06-17 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 融合临床信息的医学影像病变检测方法、***及设备 |
CN114999628B (zh) * | 2022-04-26 | 2023-06-02 | 暨南大学 | 一种利用机器学习寻找退行性膝骨关节炎显著性特征方法 |
CN115620899B (zh) * | 2022-12-01 | 2023-04-07 | 首都医科大学附属北京朝阳医院 | 基于多视野的3d卷积神经网络集成模型肺结节诊断*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104700118A (zh) * | 2015-03-18 | 2015-06-10 | 中国科学院自动化研究所 | 基于卷积神经网络的肺结节良恶性预测方法 |
CN106372390A (zh) * | 2016-08-25 | 2017-02-01 | 姹ゅ钩 | 一种基于深度卷积神经网络的预防肺癌自助健康云服务*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170071671A1 (en) * | 2015-09-11 | 2017-03-16 | Siemens Healthcare Gmbh | Physiology-driven decision support for therapy planning |
-
2017
- 2017-06-12 CN CN201710437480.1A patent/CN107273925B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104700118A (zh) * | 2015-03-18 | 2015-06-10 | 中国科学院自动化研究所 | 基于卷积神经网络的肺结节良恶性预测方法 |
CN106372390A (zh) * | 2016-08-25 | 2017-02-01 | 姹ゅ钩 | 一种基于深度卷积神经网络的预防肺癌自助健康云服务*** |
Non-Patent Citations (3)
Title |
---|
Local Receptive Field Constrained Deep Networks;Diana Turcsany et al.;《Information Sciences》;20160209;第1-23页 * |
Local receptive field constrained stacked sparse autoencoder for classification of hyperspectral images;XIAOQING WAN et al.;《Journal of the Optical Society of America A》;20170526;第1011-1020页 * |
深度极限学习机的研究与应用;魏洁;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160815;第2016年卷(第8期);第I140-167页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107273925A (zh) | 2017-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107273925B (zh) | 基于局部感受野和半监督深度自编码的肺实质ct影像处理装置 | |
Kumar et al. | A de-ann inspired skin cancer detection approach using fuzzy c-means clustering | |
CN111368896B (zh) | 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法 | |
US20220148191A1 (en) | Image segmentation method and apparatus and storage medium | |
CN108898160B (zh) | 基于cnn和影像组学特征融合的乳腺癌组织病理学分级方法 | |
Fu’adah et al. | Automated classification of Alzheimer’s disease based on MRI image processing using convolutional neural network (CNN) with AlexNet architecture | |
CN113693563B (zh) | 一种基于超图注意力网络的脑功能网络分类方法 | |
Muthukannan | Optimized convolution neural network based multiple eye disease detection | |
CN106780453A (zh) | 一种基于深度信任网络实现对脑肿瘤分割的方法 | |
CN113344864A (zh) | 一种基于深度学习的超声甲状腺结节良恶性预测方法 | |
CN110477907B (zh) | 一种智能辅助识别痫性发作的建模方法 | |
CN109389171A (zh) | 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法 | |
CN109935321B (zh) | 基于功能核磁共振影像数据的抑郁症患者转为双相情感障碍的风险预测*** | |
CN112766376A (zh) | 一种基于gacnn的多标签眼底图像识别方法 | |
Ramamurthy et al. | Deep learning based genome analysis and NGS-RNA LL identification with a novel hybrid model | |
CN114822823B (zh) | 基于云计算和人工智能的融合多维度医疗数据的肿瘤精细分类*** | |
CN113421228A (zh) | 一种基于参数迁移的甲状腺结节识别模型训练方法及*** | |
CN116129426A (zh) | 一种宫颈细胞涂片18类别的细粒度分类方法 | |
Nawshad et al. | Attention based residual network for effective detection of covid-19 and viral pneumonia | |
Krishna Priya et al. | Improved particle swarm optimized deep convolutional neural network with super‐pixel clustering for multiple sclerosis lesion segmentation in brain MRI imaging | |
CN116797817A (zh) | 基于自监督图卷积模型的自闭症疾病预测技术 | |
Liu et al. | Recognition of cervical precancerous lesions based on probability distribution feature guidance | |
CN116433679A (zh) | 一种基于空间位置结构先验的内耳迷路多级标注伪标签生成与分割方法 | |
CN111798455A (zh) | 一种基于全卷积密集空洞网络的甲状腺结节实时分割方法 | |
Li et al. | Multi-scale spatio-temporal fusion with adaptive brain topology learning for fMRI based neural decoding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |