CN107301640A - 一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法 - Google Patents
一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法 Download PDFInfo
- Publication number
- CN107301640A CN107301640A CN201710464684.4A CN201710464684A CN107301640A CN 107301640 A CN107301640 A CN 107301640A CN 201710464684 A CN201710464684 A CN 201710464684A CN 107301640 A CN107301640 A CN 107301640A
- Authority
- CN
- China
- Prior art keywords
- feature
- convolutional neural
- region
- neural networks
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法,包括以下步骤:步骤A,采用边缘检测算法和二维高斯随机采样获取肺部CT图像中的待检测的疑似区域;步骤B,采用基于无监督训练单层与有监督整体微调的混合卷积神经网络(HCNN)提取表达肺部微小结节的特征;步骤C,使用基于核函数的支持向量机(SVM)分类器作为微小结节的分类方法;步骤D,根据分类结果对原始CT图像进行标注。本发明的方法基于无监督和有监督联合的卷积神经网络实现肺部微小结节检测,并使用多种方法增强特征表示的鲁棒性,是肺部微小结节检测的有效方案,对于医师判断肺部微小结节具有辅助意义,减少了医师对诊断经验的过度依赖。
Description
技术领域
本发明涉及CT图像中肺部微小结节检测,具体涉及一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法。
背景技术
肺结节检测对肺癌的早期检测具有重要意义。目前,肺结节的检出率不断提高,部分原因是计算机断层扫描的广泛应用和医学成像技术的不断发展。受过训练的临床医生目视检查不同类型的医学图像,并确定类似于恶性肿瘤的迹象的可能位置。诊断的准确性高度依赖于临床医生的经验。计算机辅助检测技术可以自动检测医学图像中的疑似病变区域,并协助医师进行诊断,能够有效的减少医师的工作量,提高诊断的客观性。
临床医学中,将直径小于10mm的肺结节称为微小结节,在CT图像中像素范围为小于202pixel。针对孤立性肺结节直径小于30mm的研究中,使用灰度阈值法、形态学特征、生理特征、主动外观建模等方法进行结节分类,但是,对小于10mm的肺部微小结节区域以上方法中结节特征无法取得,或者特征表达不合适。在计算机辅助筛查中,对于微小结节的早期检查仍然是一个困难的任务。
发明内容
本发明针对现有检测技术在肺部微小结节检测能力的不足的问题,提供一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法,能够对大量已存在的病灶数据进行深度学习,提取肺部微小结节的潜在特征,并对疑似区域进行分类标注,为医师对查询病灶的诊断提供决策支持,从客观方面起到辅助诊断的作用。
本发明采用的技术方案为:
一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法,包括以下步骤:
步骤A,采用边缘检测算法和二维高斯随机采样获取肺部CT图像中的待检测的疑似区域;为提高疑似区域特征的鲁棒性,对疑似区域进行预处理,即以原始ROI区域左上端顶点、右上端顶点、左下端顶点、右下端顶点分别为中心进行采样,同时,获取三个尺度的图像块作为原始数据的扩展,为之后提取表达肺部微小结节的特征以及分类器提供的疑似区域ROI图像;
步骤B,采用基于无监督训练单层与有监督整体微调的混合卷积神经网络(HCNN)提取表达肺部微小结节的特征;首先对于框架中的卷积层,使用无监督的方式进行参数调整,使得前向提取的特征在反向重构之后与输入尽可能相似,其次网络的整体调整方案由分类代价函数获取,并对整体网络参数进行微调;在无监督方式与有监督方式混合训练后获得表达微小结节的鲁棒性特征;
步骤C,使用基于核函数的支持向量机(SVM)分类器作为微小结节的分类方法;将多个并行的ROI区域特征联合,并使用PCA方法对联合特征进行降维,获取ROI区域的特征,并输入至支持向量机分类器对ROI区域进行二分类判别;
步骤D,根据分类结果对原始CT图像进行标注;使用判别结果及疑似区域位置对原始CT图像进行微小结节区域标注。
所述的方法,所述步骤A中疑似区域ROI获取过程如下:
A1、使用边缘检测方法获取ROI区域;
使用canny算子进行边缘检测算法对CT图像中高亮的边缘区域进行检测,并标注为疑似区域,以边缘上的多个像素点为中心获取固定大小区域的图像块作为下一步骤B深度学习模型提取特征的输入;Canny边缘检测通过计算图像每个像素值在x,y方向上的梯度幅值并获得梯度方向,使用非极大阈值方法减少假边缘,以此边缘点作为疑似区域的候选点中的一部分;
A2、使用二维高斯函数进行疑似区域获取;
为全面覆盖待检测的肺实质区域,根据肺实质区域的形态特征构建二维高斯概率函数进行随机区域选取,同时使得随机区域尽可能全部落在肺实质区域,减少随机选取的盲目性;二维高斯概率函数的数学表达式为:
其中,(x,y)为CT图像中的坐标值,μ1和μ2为期望值,σ1和σ2为方差,实验中μ1=170,μ2=270,σ1=40,σ2=80,参数选择是根据先验知识获取得到的;
A3、疑似区域图像变换与联合特征提取;
为提高模型的鲁棒性,对输入图像数据进行处理;以原始ROI区域左上端顶点、右上端顶点、左下端顶点、右下端顶点分别为中心进行采样,获得4个结节区域,同时,获取三个尺度的图像块作为原始数据的扩展,分别为14×14,10×10,8×8;将8个图像并行输入,联合提取的全连接层的特征向量;
所述的方法,所述步骤B具体过程如下:
B1、单层无监督重构卷积神经网络;
①在单个卷积层中,使用卷积神经网络前向提取输入特征,多个不同的卷积核使得网络能够提取输入数据的多种特征,并使用激活函数实现特征的输出;卷积操作的整体公式为:
其中,符号⊕表示卷积操作,函数f(·)表示激活函数,参数w(n,j)和b(n,j)分别表示第n个卷积层的第j个输出对应的权重和偏置;假设输入Xn-1的规模为Nr×Nc,w(n,j)的规模为Mr×Mc,则输出Zn的大小为(Nr-Mr+1)×(Nc-Mc+1),表示第n层提取到图像空间特征;
②使用提取的特征进行输入的反向重建,其公式为:符号为逆卷积操作,f’(·)为激活函数的反函数;反向重建的过程中将偏置项b弃用,主要原因是偏置项为常数项,在卷积操作和反卷积操作中作用不大,因此,对重构的过程作用不大;
③构建重建损失函数进行单层卷积神经网络微调,调整的主要参数是每一层的权重项和偏置项;构建的损失函数公式如下:
损失函数由两项构成,第一项为重建误差,第二项为正则项,也称为惩罚项,λ为平衡两项的一个常量,损失函数对权重项和偏置项求偏导数,则获得权重项及偏置项的调整项;
B2、有监督卷积神经网络整体微调;
①多个卷积层堆叠形成的卷积神经网络经全连接层以及一个输出层完成分类任务,使用分类结果与实际类别进行比较,构建输出层的损失函数:
其中,y为结节图像对应的实际类别,为卷积神经网络预测的分类结果;
②计算网络整体分类误差;
③根据分类误差,使用反向传播算法计算每一层的残差,并微调每一层的权重项与偏置。
所述的方法,所述B1中③使用损失函数的值进行单层卷积神经网络中权重项与偏置项的微调,详细步骤如下:
第1步,使用单层卷积神经网络重构损失函数计算损失函数的值;
第2步,损失函数对权重项w求偏导的公式为:
第3步,损失函数对偏置项b求偏导的公式为:
第4步,更新权重项及偏置项:
其中,α为学习率;至此,根据损失函数对单层卷积神经调整结束。
所述的方法,所述步骤C中使用(PCA)算法混合卷积神经网络特征进行降维处理,其具体步骤如下:
第1步,特征中心化;
第2步,计算协方差矩阵C:
第3步,根据SVD求取协方差矩阵C的特征值λi以及相应的特征向量ei;
第4步,降序排序特征值λi,在贡献率的基础上选取其k个特征值对应的特征向量,构成线性子空间T=[e1,e2,…,ek];
第5步,将特征投射到线性子空间:V=TX'。
所述的方法,所述步骤C中使用基于核函数的SVM分类器进行有监督的二分类学习,其具体步骤如下:
第1步,将经过PCA降维的特征作为SVM的输入;
第2步,设置SVM的目标函数及约束条件如下:
Constrain:yi[(wxi)+b]≥1-ξi ξi≥0
其中,ξi表示松弛变量,C表示惩罚因子,L表示样本的数量;使用核函数将低维非线性不可分特征转化高维线性可分特征,基于径向基核函数:
第3步,迭代训练SVM。
所述的方法,所述步骤D具体步骤如下:
第1步,根据步骤A获得待检测区域,并记录左上角坐标位置;
第2步,使用训练完成的HCNN及SVM进行结节和肺结节分类;
第3步,对分类结果中结节进行标注。
与现有技术相比,本发明的有益效果为:
1、本发明的方法基于深度学习卷积神经网络对CT图像中肺部微小结节病灶进行潜在特征提取,一方面解决传统特征提取方法在尺寸较小图像上的提取困难问题,另一方面,对大规模数据量的学习,提取到的特征具有普遍性和客观性;
2、通过使用本发明的技术,对CT图像中疑似区域进行准确标注,便于医师在海量数据中快速查找到肺部微小结节,减少了医师对诊断经验的过度依赖,同时减少漏诊的情况;
3、本发明中使用的深度学习方法,在训练数据量逐渐增加的情况下,其精度能够进一步提高,在数据量海量增长的情况下,并且线下训练与线上检测互不干扰。这种能力是传统检测方法所不具备的。
附图说明
图1是本发明对肺部CT图像中微小结节检测方法的框架图。
图2是本发明提取表达肺部微小结节特征的混合卷积神经网络(HCNN)。
图3是利用边缘检测算法与二维高斯函数进行待测区域提取的示意图。
图4是对输入数据进行尺度变换及中心点变换获得的8种图像示意图。
图5是卷积层输入与反向重构结果示意图。
具体实施方式
以下结合具体实施例,对本发明进行详细说明。
参照图1、2、3、4,本发明方法的实现流程如下:
一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法,其特征在于,包括以下步骤:
步骤A,采用边缘检测算法和二维高斯随机采样获取肺部CT图像中的待检测的疑似区域;为提高疑似区域特征的鲁棒性,对疑似区域进行预处理,即以原始ROI区域左上端顶点、右上端顶点、左下端顶点、右下端顶点分别为中心进行采样,同时,获取三个尺度的图像块作为原始数据的扩展,为之后提取表达肺部微小结节的特征以及分类器提供的疑似区域ROI图像;
步骤B,采用基于无监督训练单层与有监督整体微调的混合卷积神经网络框架(HCNN)提取表达肺部微小结节的特征;首先对于框架中的卷积层,使用无监督的方式进行参数调整,使得前向提取的特征在反向重构之后与输入尽可能相似,其次网络的整体调整方案由分类代价函数获取,并对整体网络参数进行微调。在无监督方式与有监督方式混合训练后获得表达微小结节的鲁棒性特征;
步骤C,使用基于核函数的支持向量机(SVM)分类器作为微小结节的分类方法;将多个并行的ROI区域特征联合,并使用PCA方法对联合特征进行降维,获取ROI区域的特征,并输入至支持向量机分类器对ROI区域进行二分类判别。
步骤D,根据分类结果对原始CT图像进行标注;使用判别结果及疑似区域位置对原始CT图像进行微小结节区域标注。
所述步骤A中疑似区域ROI获取过程如下:
A1、使用边缘检测方法获取ROI区域;
肺结节的位置在CT中是有一定规律的,如胸膜牵拉型肺结节在肺实质边缘,同时肺结节的密度高,显示为高亮区域。因此,使用canny算子进行边缘检测算法对CT图像中高亮的边缘区域进行检测,并标注为疑似区域,获取固定区域大小作为下一步骤B深度学习模型提取特征的输入。Canny边缘检测通过计算图像每个像素值在x,y方向上的梯度幅值并获得梯度方向,使用非极大阈值方法减少假边缘,以此边缘点作为疑似区域的候选点中的一部分。
A2、使用二维高斯函数进行疑似区域获取;
为全面覆盖待检测的肺实质区域,根据肺实质区域的形态特征构建二维高斯概率函数进行随机区域选取,同时使得随机区域尽可能全部落在肺实质区域,减少随机选取的盲目性。二维高斯函数的数学表达式为:
其中,(x,y)为CT图像中的坐标值,μ1和μ2为期望值,σ1和σ2为方差,实验中μ1=170,μ2=270,σ1=40,σ2=80,参数选择是根据先验知识获取得到的。
A3、疑似区域图像变换与联合特征提取;
为提高模型的鲁棒性,对输入数据上进行处理。以原始ROI区域左上端顶点、右上端顶点、左下端顶点、右下端顶点分别为中心进行采样,获得4个结节区域,同时,获取三个尺度的图像块作为原始数据的扩展,分别为14×14,10×10,8×8。将8个图像并行输入,联合提取的全连接层的特征向量。
所述步骤B具体过程如下:
B1、单层无监督重构卷积神经网络;
①在单个卷积层中,使用卷积神经网络前向提取输入特征,多个不同的卷积核使得网络能够提取输入数据的多种特征,并使用激活函数实现特征的输出。卷积操作的整体公式为:
其中,符号⊕表示卷积操作,函数f(·)表示激活函数,参数w(n,j)和b(n,j)分别表示第n个卷积层的第j个输出对映的权重和偏置。假设输入Xn-1的规模为Nr×Nc,w(n,j)的规模为Mr×Mc,则输出Zn的大小为(Nr-Mr+1)×(Nc-Mc+1),表示第n层提取到图像空间特征。
②使用提取的特征进行输入的反向重建,其公式为:符号为逆卷积操作,f’(·)为激活函数的反函数。反向重建的过程中将偏置项b弃用,主要原因是偏置项为常数项,在卷积操作和反卷积操作中作用不大,因此,对重构的过程作用不大。
③构建重建损失函数进行单层卷积神经网络微调,调整的主要参数是每一层的权重项和偏置项。构建的损失函数公式如下:
损失函数由两项构成,第一项为重建误差,第二项为正则项,也称为惩罚项,λ为平衡两项的一个常量,损失函数对权重项和偏置项求偏导数,则获得权重项及偏置项的调整项。
B2、有监督卷积神经网络整体微调;
①多个卷积层堆叠形成的卷积神经网络经全连接层以及一个输出层完成分类任务,使用分类结果与实际类别进行比较,构建输出层的损失函数:
其中,y为结节图像对应的实际类别,为卷积神经网络预测的分类结果。
②计算网络整体分类误差;
③根据分类误差,使用反向传播算法计算每一层的残差,并微调每一层的权重项与偏置。
优选的,所述方法中,使用损失函数的值进行单层卷积神经网络中权重项与偏置项的微调,详细步骤如下:
第1步,使用单层卷积神经网络重构损失函数计算损失函数的值;
第2步,损失函数对权重项w求偏导的公式为:
第3步,损失函数对偏置项b求偏导的公式为:
第4步,更新权重项及偏置项:
其中,α为学习率。至此,根据损失函数对单层卷积神经调整结束。
优选的,所述的方法,使用(PCA)算法混合卷积神经网络特征进行降维处理,其具体步骤如下:
第1步,特征中心化;
第2步,计算协方差矩阵C:
第3步,根据SVD求取协方差矩阵C的特征值λi以及相应的特征向量ei;
第4步,降序排序特征值λi,在贡献率的基础上选取其k个特征值对应的特征向量,构成线性子空间T=[e1,e2,…,ek];
第5步,将特征投射到线性子空间:V=TX'。
优选的,所述的方法,使用基于核函数的SVM分类器进行有监督的二分类学习,其具体步骤如下:
第1步,将经过PCA降维的特征作为SVM的输入;
第2步,设置SVM的目标函数及约束条件如下:
Constrain:yi[(wxi)+b]≥1-ξi ξi≥0
其中,ξi表示松弛变量,C表示惩罚因子,L表示样本的数量。使用核函数将低维非线性不可分特征转化高维线性可分特征,基于径向基核函数:
第3步,迭代训练SVM。
所述步骤D具体步骤如下:
第1步,根据步骤A获得待检测区域,并记录左上角坐标位置;
第2步,使用训练完成的HCNN及SVM进行结节和肺结节分类;
第3步,对分类结果中结节进行标注。
图3是对CT图进行边缘检测及二维高斯函数随机采样的示意图,从图中可以看出在随机采样基本覆盖肺实质区域,同时对边缘点增加采样点,重点检测具有胸膜牵拉及血管牵拉的肺部微小结节。
图4是对输入数据进行扩充,在卷积神经网络中数据的质量对实验效果的影响很重要,因此增加原始数据在水平、竖直及尺度方向上的变换,共计8种类型,联合提取特征具有在多个方向上的不变性,提高特征的鲁棒性。
图5对比了在多层之间的输入数据与重构结果。第一行分别为第二层、第三层、第四层卷积层的输入,第二行分别为第二层、第三层、第四层卷积层的重构结果。从图中可以直观的看出在低层的重构结果与实际结果具有相似性,因此通过迭代重构能够对输入数据的特征进行尽可能的提取。而在高层的特征更接近与语义层,直观上难以判断。
表1是本发明在肺部图像数据联盟LIDC-IDRI数据集中的部分实验结果。可以发现在本发明在肺部微小结节检测达到81.3±2.3%的覆盖率和78.9±4.3%的准确率。提高检出正确率的方法在于提高参与训练的数据集质量。
表1 LIDC数据集中部分实验结果
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (7)
1.一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法,其特征在于,包括以下步骤:
步骤A,采用边缘检测算法和二维高斯随机采样获取肺部CT图像中的待检测的疑似区域;为提高疑似区域特征的鲁棒性,对疑似区域进行预处理,即以原始ROI区域左上端顶点、右上端顶点、左下端顶点、右下端顶点分别为中心进行采样,同时,获取三个尺度的图像块作为原始数据的扩展,为之后提取表达肺部微小结节的特征以及分类器提供的疑似区域ROI图像;
步骤B,采用基于无监督训练单层与有监督整体微调的混合卷积神经网络(HCNN)提取表达肺部微小结节的特征;首先对于框架中的卷积层,使用无监督的方式进行参数调整,使得前向提取的特征在反向重构之后与输入尽可能相似,其次网络的整体调整方案由分类代价函数获取,并对整体网络参数进行微调;在无监督方式与有监督方式混合训练后获得表达微小结节的鲁棒性特征;
步骤C,使用基于核函数的支持向量机(SVM)分类器作为微小结节的分类方法;将多个并行的ROI区域特征联合,并使用PCA方法对联合特征进行降维,获取ROI区域的特征,并输入至支持向量机分类器对ROI区域进行二分类判别;
步骤D,根据分类结果对原始CT图像进行标注;使用判别结果及疑似区域位置对原始CT图像进行微小结节区域标注。
2.根据权利要求1所述的方法,其特征在于,所述步骤A中疑似区域ROI获取过程如下:
A1、使用边缘检测方法获取ROI区域;
使用canny算子进行边缘检测算法对CT图像中高亮的边缘区域进行检测,并标注为疑似区域,以边缘上的多个像素点为中心获取固定大小区域的图像块作为下一步骤B深度学习模型提取特征的输入;Canny边缘检测通过计算图像每个像素值在x,y方向上的梯度幅值并获得梯度方向,使用非极大阈值方法减少假边缘,以此边缘点作为疑似区域的候选点中的一部分;
A2、使用二维高斯函数进行疑似区域获取;
为全面覆盖待检测的肺实质区域,根据肺实质区域的形态特征构建二维高斯概率函数进行随机区域选取,同时使得随机区域尽可能全部落在肺实质区域,减少随机选取的盲目性;二维高斯概率函数的数学表达式为:
其中,(x,y)为CT图像中的坐标值,μ1和μ2为期望值,σ1和σ2为方差,实验中μ1=170,μ2=270,σ1=40,σ2=80,参数选择是根据先验知识获取得到的;
A3、疑似区域图像变换与联合特征提取;
为提高模型的鲁棒性,对输入图像数据进行处理;以原始ROI区域左上端顶点、右上端顶点、左下端顶点、右下端顶点分别为中心进行采样,获得4个结节区域,同时,获取三个尺度的图像块作为原始数据的扩展,分别为14×14,10×10,8×8;将8个图像并行输入,联合提取的全连接层的特征向量。
3.根据权利要求1所述的方法,其特征在于,所述步骤B具体过程如下:
B1、单层无监督重构卷积神经网络;
①在单个卷积层中,使用卷积神经网络前向提取输入特征,多个不同的卷积核使得网络能够提取输入数据的多种特征,并使用激活函数实现特征的输出;卷积操作的整体公式为:
其中,符号⊕表示卷积操作,函数f(·)表示激活函数,参数w(n,j)和b(n,j)分别表示第n个卷积层的第j个输出对应的权重和偏置;假设输入Xn-1的规模为Nr×Nc,w(n,j)的规模为Mr×Mc,则输出Zn的大小为(Nr-Mr+1)×(Nc-Mc+1),表示第n层提取到图像空间特征;
②使用提取的特征进行输入的反向重建,其公式为:符号为逆卷积操作,f’(·)为激活函数的反函数;反向重建的过程中将偏置项b弃用,主要原因是偏置项为常数项,在卷积操作和反卷积操作中作用不大,因此,对重构的过程作用不大;
③构建重建损失函数进行单层卷积神经网络微调,调整的主要参数是每一层的权重项和偏置项;构建的损失函数公式如下:
损失函数由两项构成,第一项为重建误差,第二项为正则项,也称为惩罚项,λ为平衡两项的一个常量,损失函数对权重项和偏置项求偏导数,则获得权重项及偏置项的调整项;
B2、有监督卷积神经网络整体微调;
①多个卷积层堆叠形成的卷积神经网络经全连接层以及一个输出层完成分类任务,使用分类结果与实际类别进行比较,构建输出层的损失函数:
其中,y为结节图像对应的实际类别,为卷积神经网络预测的分类结果;
②计算网络整体分类误差;
③根据分类误差,使用反向传播算法计算每一层的残差,并微调每一层的权重项与偏置。
4.根据权利要求3所述的方法,其特征在于,所述B1中③使用损失函数的值进行单层卷积神经网络中权重项与偏置项的微调,详细步骤如下:
第1步,使用单层卷积神经网络重构损失函数计算损失函数的值;
第2步,损失函数对权重项w求偏导的公式为:
第3步,损失函数对偏置项b求偏导的公式为:
第4步,更新权重项及偏置项:
其中,α为学习率;至此,根据损失函数对单层卷积神经调整结束。
5.根据权利要求1所述的方法,其特征在于,所述步骤C中使用(PCA)算法混合卷积神经网络特征进行降维处理,其具体步骤如下:
第1步,特征中心化;
第2步,计算协方差矩阵C:
第3步,根据SVD求取协方差矩阵C的特征值λi以及相应的特征向量ei;
第4步,降序排序特征值λi,在贡献率的基础上选取其k个特征值对应的特征向量,构成线性子空间T=[e1,e2,…,ek];
第5步,将特征投射到线性子空间:V=TX'。
6.根据权利要求1所述的方法,其特征在于,所述步骤C中使用基于核函数的SVM分类器进行有监督的二分类学习,其具体步骤如下:
第1步,将经过PCA降维的特征作为SVM的输入;
第2步,设置SVM的目标函数及约束条件如下:
Object:
Constrain:yi[(wxi)+b]≥1-ξi ξi≥0
其中,ξi表示松弛变量,C表示惩罚因子,L表示样本的数量;使用核函数将低维非线性不可分特征转化高维线性可分特征,基于径向基核函数:
第3步,迭代训练SVM。
7.根据权利要求1所述方法,其特征在于,所述步骤D具体步骤如下:
第1步,根据步骤A获得待检测区域,并记录左上角坐标位置;
第2步,使用训练完成的HCNN及SVM进行结节和肺结节分类;
第3步,对分类结果中结节进行标注。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710464684.4A CN107301640A (zh) | 2017-06-19 | 2017-06-19 | 一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710464684.4A CN107301640A (zh) | 2017-06-19 | 2017-06-19 | 一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107301640A true CN107301640A (zh) | 2017-10-27 |
Family
ID=60134824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710464684.4A Pending CN107301640A (zh) | 2017-06-19 | 2017-06-19 | 一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107301640A (zh) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107886514A (zh) * | 2017-11-22 | 2018-04-06 | 浙江中医药大学 | 基于深度残差网络的乳腺钼靶图像肿块语义分割方法 |
CN107945167A (zh) * | 2017-11-27 | 2018-04-20 | 北京医拍智能科技有限公司 | 基于深度神经网络的慢性阻塞性肺病的检测*** |
CN107944363A (zh) * | 2017-11-15 | 2018-04-20 | 北京达佳互联信息技术有限公司 | 人脸图像处理方法、***及服务器 |
CN108053398A (zh) * | 2017-12-19 | 2018-05-18 | 南京信息工程大学 | 一种半监督特征学习的黑色素瘤自动检测方法 |
CN108122265A (zh) * | 2017-11-13 | 2018-06-05 | 深圳先进技术研究院 | 一种ct重建图像优化方法及*** |
CN108470337A (zh) * | 2018-04-02 | 2018-08-31 | 江门市中心医院 | 一种基于图像深度特征的亚实性肺结节定量分析方法及*** |
CN108615237A (zh) * | 2018-05-08 | 2018-10-02 | 上海商汤智能科技有限公司 | 一种肺部图像处理方法及图像处理设备 |
CN108648192A (zh) * | 2018-05-17 | 2018-10-12 | 杭州依图医疗技术有限公司 | 一种检测结节的方法及装置 |
CN108734222A (zh) * | 2018-05-24 | 2018-11-02 | 西南大学 | 基于校对网络的卷积神经网络图像分类方法 |
CN108765374A (zh) * | 2018-04-27 | 2018-11-06 | 华南理工大学 | 一种宫颈涂片图像中异常核区域筛查的方法 |
CN108985316A (zh) * | 2018-05-24 | 2018-12-11 | 西南大学 | 一种改进重构网络的胶囊网络图像分类识别方法 |
CN109003278A (zh) * | 2018-03-26 | 2018-12-14 | 天津工业大学 | 一种改进的基于主动形状模型的ct图像主动脉分割方法 |
CN109359725A (zh) * | 2018-10-24 | 2019-02-19 | 北京周同科技有限公司 | 卷积神经网络模型的训练方法、装置、设备及计算机可读存储介质 |
CN109781732A (zh) * | 2019-03-08 | 2019-05-21 | 江西憶源多媒体科技有限公司 | 一种微小物检测并分类计数的方法 |
CN110519276A (zh) * | 2019-08-29 | 2019-11-29 | 中国科学院信息工程研究所 | 一种检测内网横向移动攻击的方法 |
CN110555833A (zh) * | 2019-08-30 | 2019-12-10 | 联想(北京)有限公司 | 图像处理方法、装置、电子设备以及介质 |
CN111080584A (zh) * | 2019-12-03 | 2020-04-28 | 上海联影智能医疗科技有限公司 | 医学图像的质控方法、计算机设备和可读存储介质 |
WO2020194111A1 (en) * | 2019-03-28 | 2020-10-01 | International Business Machines Corporation | Learning of detection model using loss function |
CN111798437A (zh) * | 2020-07-09 | 2020-10-20 | 兴义民族师范学院 | 一种基于ct影像的新型冠状病毒肺炎ai快速诊断方法 |
CN112136036A (zh) * | 2018-05-18 | 2020-12-25 | 艾索波特株式会社 | 基于呼气的肺癌诊断方法及*** |
CN112348800A (zh) * | 2020-11-11 | 2021-02-09 | 北方民族大学 | 融合多尺度特征的密集神经网络肺部肿瘤图像识别方法 |
CN112580714A (zh) * | 2020-12-15 | 2021-03-30 | 电子科技大学中山学院 | 一种以错因强化方式动态优化损失函数的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105046683A (zh) * | 2014-12-31 | 2015-11-11 | 北京航空航天大学 | 一种参数自适应调节的高斯混合模型目标检测方法 |
CN105404789A (zh) * | 2015-12-28 | 2016-03-16 | 上海联影医疗科技有限公司 | 剂量控制点的选取方法及选取***、放疗计划*** |
CN106504232A (zh) * | 2016-10-14 | 2017-03-15 | 北京网医智捷科技有限公司 | 一种基于3d卷积神经网络的肺部结节自动检测方法 |
CN106780460A (zh) * | 2016-12-13 | 2017-05-31 | 杭州健培科技有限公司 | 一种用于胸部ct影像的肺结节自动检测*** |
-
2017
- 2017-06-19 CN CN201710464684.4A patent/CN107301640A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105046683A (zh) * | 2014-12-31 | 2015-11-11 | 北京航空航天大学 | 一种参数自适应调节的高斯混合模型目标检测方法 |
CN105404789A (zh) * | 2015-12-28 | 2016-03-16 | 上海联影医疗科技有限公司 | 剂量控制点的选取方法及选取***、放疗计划*** |
CN106504232A (zh) * | 2016-10-14 | 2017-03-15 | 北京网医智捷科技有限公司 | 一种基于3d卷积神经网络的肺部结节自动检测方法 |
CN106780460A (zh) * | 2016-12-13 | 2017-05-31 | 杭州健培科技有限公司 | 一种用于胸部ct影像的肺结节自动检测*** |
Non-Patent Citations (3)
Title |
---|
杨聃: "三维肺部CT图像中的结节自动识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
苏欣等: "《手机应用网络流量分析与恶意行为检测研究》", 31 October 2016 * |
金奇樑: "基于CT图像的肺结节自动识别***研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108122265A (zh) * | 2017-11-13 | 2018-06-05 | 深圳先进技术研究院 | 一种ct重建图像优化方法及*** |
CN107944363A (zh) * | 2017-11-15 | 2018-04-20 | 北京达佳互联信息技术有限公司 | 人脸图像处理方法、***及服务器 |
CN107886514A (zh) * | 2017-11-22 | 2018-04-06 | 浙江中医药大学 | 基于深度残差网络的乳腺钼靶图像肿块语义分割方法 |
CN107886514B (zh) * | 2017-11-22 | 2021-04-23 | 浙江中医药大学 | 基于深度残差网络的乳腺钼靶图像肿块语义分割方法 |
CN107945167A (zh) * | 2017-11-27 | 2018-04-20 | 北京医拍智能科技有限公司 | 基于深度神经网络的慢性阻塞性肺病的检测*** |
CN108053398A (zh) * | 2017-12-19 | 2018-05-18 | 南京信息工程大学 | 一种半监督特征学习的黑色素瘤自动检测方法 |
CN109003278A (zh) * | 2018-03-26 | 2018-12-14 | 天津工业大学 | 一种改进的基于主动形状模型的ct图像主动脉分割方法 |
CN109003278B (zh) * | 2018-03-26 | 2022-03-04 | 天津工业大学 | 一种改进的基于主动形状模型的ct图像主动脉分割方法 |
CN108470337A (zh) * | 2018-04-02 | 2018-08-31 | 江门市中心医院 | 一种基于图像深度特征的亚实性肺结节定量分析方法及*** |
CN108765374B (zh) * | 2018-04-27 | 2022-03-29 | 华南理工大学 | 一种宫颈涂片图像中异常核区域筛查的方法 |
CN108765374A (zh) * | 2018-04-27 | 2018-11-06 | 华南理工大学 | 一种宫颈涂片图像中异常核区域筛查的方法 |
CN108615237B (zh) * | 2018-05-08 | 2021-09-07 | 上海商汤智能科技有限公司 | 一种肺部图像处理方法及图像处理设备 |
CN108615237A (zh) * | 2018-05-08 | 2018-10-02 | 上海商汤智能科技有限公司 | 一种肺部图像处理方法及图像处理设备 |
CN108648192A (zh) * | 2018-05-17 | 2018-10-12 | 杭州依图医疗技术有限公司 | 一种检测结节的方法及装置 |
CN112136036B (zh) * | 2018-05-18 | 2023-11-24 | 艾索波特株式会社 | 基于呼气的肺癌诊断方法及*** |
CN112136036A (zh) * | 2018-05-18 | 2020-12-25 | 艾索波特株式会社 | 基于呼气的肺癌诊断方法及*** |
CN108985316A (zh) * | 2018-05-24 | 2018-12-11 | 西南大学 | 一种改进重构网络的胶囊网络图像分类识别方法 |
CN108734222A (zh) * | 2018-05-24 | 2018-11-02 | 西南大学 | 基于校对网络的卷积神经网络图像分类方法 |
CN108985316B (zh) * | 2018-05-24 | 2022-03-01 | 西南大学 | 一种改进重构网络的胶囊网络图像分类识别方法 |
CN108734222B (zh) * | 2018-05-24 | 2021-06-15 | 西南大学 | 基于校对网络的卷积神经网络图像分类方法 |
CN109359725A (zh) * | 2018-10-24 | 2019-02-19 | 北京周同科技有限公司 | 卷积神经网络模型的训练方法、装置、设备及计算机可读存储介质 |
CN109781732A (zh) * | 2019-03-08 | 2019-05-21 | 江西憶源多媒体科技有限公司 | 一种微小物检测并分类计数的方法 |
US11074479B2 (en) | 2019-03-28 | 2021-07-27 | International Business Machines Corporation | Learning of detection model using loss function |
US11120305B2 (en) | 2019-03-28 | 2021-09-14 | International Business Machines Corporation | Learning of detection model using loss function |
GB2596751A (en) * | 2019-03-28 | 2022-01-05 | Ibm | Learning of detection model using loss function |
WO2020194111A1 (en) * | 2019-03-28 | 2020-10-01 | International Business Machines Corporation | Learning of detection model using loss function |
GB2596751B (en) * | 2019-03-28 | 2023-01-18 | Ibm | Learning of detection model using loss function |
CN110519276A (zh) * | 2019-08-29 | 2019-11-29 | 中国科学院信息工程研究所 | 一种检测内网横向移动攻击的方法 |
CN110555833A (zh) * | 2019-08-30 | 2019-12-10 | 联想(北京)有限公司 | 图像处理方法、装置、电子设备以及介质 |
CN111080584A (zh) * | 2019-12-03 | 2020-04-28 | 上海联影智能医疗科技有限公司 | 医学图像的质控方法、计算机设备和可读存储介质 |
CN111080584B (zh) * | 2019-12-03 | 2023-10-31 | 上海联影智能医疗科技有限公司 | 医学图像的质控方法、计算机设备和可读存储介质 |
CN111798437A (zh) * | 2020-07-09 | 2020-10-20 | 兴义民族师范学院 | 一种基于ct影像的新型冠状病毒肺炎ai快速诊断方法 |
CN112348800A (zh) * | 2020-11-11 | 2021-02-09 | 北方民族大学 | 融合多尺度特征的密集神经网络肺部肿瘤图像识别方法 |
CN112580714A (zh) * | 2020-12-15 | 2021-03-30 | 电子科技大学中山学院 | 一种以错因强化方式动态优化损失函数的方法 |
CN112580714B (zh) * | 2020-12-15 | 2023-05-30 | 电子科技大学中山学院 | 一种以错因强化方式动态优化损失函数的物品识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107301640A (zh) | 一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法 | |
Kallergi | Computer‐aided diagnosis of mammographic microcalcification clusters | |
CN107154043B (zh) | 一种基于3dcnn的肺结节假阳性样本抑制方法 | |
Rouhi et al. | Benign and malignant breast tumors classification based on region growing and CNN segmentation | |
Raghavendra et al. | Application of Gabor wavelet and Locality Sensitive Discriminant Analysis for automated identification of breast cancer using digitized mammogram images | |
Dahab et al. | Automated brain tumor detection and identification using image processing and probabilistic neural network techniques | |
Reboucas Filho et al. | New approach to detect and classify stroke in skull CT images via analysis of brain tissue densities | |
Wang et al. | Improved lung nodule diagnosis accuracy using lung CT images with uncertain class | |
CN108257135A (zh) | 基于深度学习方法解读医学图像特征的辅助诊断*** | |
Paul et al. | Predicting nodule malignancy using a CNN ensemble approach | |
CN108986073A (zh) | 一种基于改进的Faster R-CNN框架的CT图像肺结节检测方法 | |
Wang et al. | Adversarial multimodal fusion with attention mechanism for skin lesion classification using clinical and dermoscopic images | |
Kashyap | Evolution of histopathological breast cancer images classification using stochasticdilated residual ghost model | |
Sammouda | Segmentation and analysis of CT chest images for early lung cancer detection | |
Das et al. | A fast and automated segmentation method for detection of masses using folded kernel based fuzzy c-means clustering algorithm | |
Behar et al. | ResNet50-Based Effective Model for Breast Cancer Classification Using Histopathology Images. | |
Sarker et al. | TransSLC: Skin lesion classification in dermatoscopic images using transformers | |
Liu et al. | Deep multiscale multi-instance networks with regional scoring for mammogram classification | |
Rahouma et al. | Lung cancer diagnosis based on chan-vese active contour and polynomial neural network | |
Venugopal et al. | Ensemble deep learning model for breast histopathology image classification | |
Bushara et al. | Classification of benign and malignancy in lung cancer using capsule networks with dynamic routing algorithm on computed tomography images | |
Jerbi et al. | Automatic classification of ultrasound thyroids images using vision transformers and generative adversarial networks | |
Paul et al. | Deep radiomics: deep learning on radiomics texture images | |
Jehangir et al. | Lung Cancer Detection using Ensemble of Machine Learning Models | |
Karthiga et al. | Automated diagnosis of breast cancer from ultrasound images using diverse ML techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171027 |
|
RJ01 | Rejection of invention patent application after publication |