CN109949297A - 基于Reception和Faster R-CNN的肺结节检测方法 - Google Patents
基于Reception和Faster R-CNN的肺结节检测方法 Download PDFInfo
- Publication number
- CN109949297A CN109949297A CN201910220570.4A CN201910220570A CN109949297A CN 109949297 A CN109949297 A CN 109949297A CN 201910220570 A CN201910220570 A CN 201910220570A CN 109949297 A CN109949297 A CN 109949297A
- Authority
- CN
- China
- Prior art keywords
- network
- feature
- reception
- convolution
- convolutional layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于Reception和Faster R‑CNN的肺结节检测方法,包括:1)采集肺结节图像;2)对输入图像提取特征;3)使用区域建议网络RPN对锚框进行分类和回归;4)将目标建议送入ROI池,并且与RPN网络共享卷积得到的特征;5)生成肺结节检验框最终精确的位置。结果表明,该方法可以提高实现肺结节的检测的精确度,相比于目前的技术,本发明提高了肺结节检测的准确率,成功解决了依赖经验提取特征主观性较强的问题,保证了得到的结果更加客观准确,适合应用到医学诊断中。
Description
技术领域
本发明涉及一种基于Reception和Faster R-CNN的肺结节检测方法,在检测效率、鲁棒性以及准确性方面优于现有技术,提高了分割性能,属于医学图像处理、深度学习领域。
背景技术
在肺部CT计算机辅助诊断领域,肺结节检测一直是国内外学者研究的重点方向。目前,所有肺部疾病患者的CT图像都是由医生进行审阅,但是不同的医生由于自身的经验以及主观性,会得出不同的阅片结果,导致了漏诊与误诊情况的发生。计算机辅助诊断技术能够帮助医生减少阅片工作,并且客观性较强,提高了检测的准确性。在深度学习提取特征的网络中,最新提出并且效果最好的两种网络为残差网络ResNet和Inception结构,两种网络设计的出发点不同,但是都取得了比较优秀的结果。鉴于此,本章首先结合残差网络和Inception模块,提出一个新的Reception网络用来提取特征,将提取出的特征与Faster R-CNN网络连接,以检测肺结节并进行了实验。
发明内容
本发明提出了一种基于Reception和Faster R-CNN的肺结节检测方法,使用结合残差网络和Inception模块,提出一个新的Reception网络的方法来提取特征,将提取出的特征与Faster R-CNN网络连接,形成肺结节检测网络。
本发明的技术方案,包括下列步骤:
步骤1:采集肺结节图像;
步骤2:对输入图像提取特征;
步骤3:使用区域建议网络(RPN)对锚框进行分类和回归;
步骤4:将目标建议送入ROI池,并且与RPN网络共享卷积得到的特征;
步骤5:生成检验框最终精确的位置。
与现有技术相比,本发明的有益效果是:
本发明的肺结节检测网络是在Faster R-CNN的基础上,将特征提取部分由VGG网络变为本文提出的Reception网络,Reception网络结构能够加深网络,同时也增加了网络宽度。改进的网络明显提高了网络模型训练时的准确率。经过分析,认为原因:1、分析网络结构的复杂程度可知,改进后的网络变宽变深,因此,随着迭代次数的增加,改进后网络的Loss值相比较于原始网络变得更小。2、根据1中分析可知,网络结构越复杂,其描述特征的能力也越强,即网络的性能越好。因此,在整个训练过程中,改进后网络的Accuracy上升得最快,同时最终的结果也高于原始网络。综上所述,该算法可以在临床应用中实时运行。
附图说明
图1为本发明的基于Reception和Faster R-CNN的肺结节检测方法流程图。
图2为本发明的数据样本和检测结果。
图3为本发明的图像特征提取示意图。
图4为本发明的网络结构示意图。
图5为Reception-A结构。
图6为Reception-B结构。
图7为Reception-C结构。
具体实施方式
现结合所附较佳实施例详细说明如下,所说明的较佳实施例仅用于说明本发明的技术方案,并非限定本发明。
本发明的流程图如图1所示,首先采集肺结节图像,然后将采集到的图像制作成训练集输入到网络中对肺结节图像进行基础特征提取,并使用区域建议网络RPN对网络产生的锚框进行分类和回归;将目标建议送入ROI池,并且与RPN网络共享卷积得到的特征,最后网络输出图像中肺结节检验框最终精确的位置。下面结合附图,对本发明技术方案的具体实施过程加以说明。
1.采集肺结节图像
如图1所示,本发明使用的测试集共含有332个肺结节,其中直径大于等于20mm的肺结节8个,直径在10mm到20mm之间的肺结节有64个,直径在5mm到10mm之间的结节有173个,直径在3mm到5mm之间的肺结节有87个。数据样本及本发明提到方法的测试结果如图2所示。
2.提取图像特征信息
如图3所示,本发明网络结构中使用的网络以VGG-16作为基础网络,并且进行了调整。原始的Faster R-CNN网络使用的是VGG-16网络通过卷积的方式提取特征,新的网络由于引入了ResNet的残差结构,从而网络可以变得更深,所以,1)将原VGG-16网络中卷积层{31,32,33}替换成含有Reception-A结构的卷积层{31,32,33,34,35},Reception-A结构即最左侧两个分支为ResNet中的残差结构,使用1×1+3×3+1×1组合的卷积层,将原始Inception模块中两个3×3卷积层进行替换,如图5所示;2)将原VGG-16网络中卷积层{41,42,43}替换成含有Reception-B结构的卷积层{41,42,43,44,45},Reception-B结构相比较于模块Reception-A,模块中在左侧分支采用了1×7和7×1两个非对称卷积核代替了一个7×7卷积核,达到7×7卷积核提取特征效果的同时减少了网络参数,此外,中间的分支只保留大小为1×1的卷积核,对不同通道的特征进行交叉融合,如图6所示;3)将原VGG-16网络中卷积层{51,52,53}替换成含有Reception-C结构的卷积层{51,52,53,54,55},此模块相比较于前两个模块增加了一个分支,更加复杂。最左侧两个分支仍然是残差结构,并且将卷积核尺寸变成了1×3和3×1。中间的分支在1×1的卷积核后,将一个3×3的卷积分成1×3和3×1两个部分,目的是通过并联非对称卷积增强图像局部特征提取,能够获得更加丰富的特征,如图7所示;网络加深之后除三个全连接层外,卷积层共有19层。
3.使用区域建议网络RPN对锚框进行分类和回归
如图4所示,区域建议网络RPN在提取到的特征图基础上进行卷积操作,负责生成锚框并对锚框进行分类和回归,该层主要用于生成目标建议。通过Softmax判断锚框为前景或是背景,再利用边框回归修正锚框获得精确的建议。
4.将目标建议送入ROI池,并且与RPN网络共享卷积得到的特征
如图4所示,ROI池收集输入的特征和建议,综合这些信息进行池化操作,提取建议特征,送入后续全连接层得到ROI特征向量,进行目标类别的判定。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,应当理解,本发明并不限于这里所描述的实现方案,这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善,因此本发明只受到本发明权利要求的内容和范围的限制,其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。
Claims (4)
1.基于Reception和Faster R-CNN的肺结节检测方法,包括下列步骤:
步骤1:采集肺结节图像;
步骤2:对输入图像提取特征;
步骤3:使用区域建议网络RPN对锚框进行分类和回归;
步骤4:将目标建议送入ROI池,并且与RPN网络共享卷积得到的特征;
步骤5:生成肺结节检验框最终精确的位置。
2.如权利要求1所述的方法,其特征在于,所述步骤2进一步包括:使用VGG-16作为基础网络,并且进行了调整,原始的Faster R-CNN网络使用的是VGG-16网络通过卷积的方式提取特征,新的网络由于引入了ResNet的残差结构,从而网络可以变得更深,所以:1)将原VGG-16网络中卷积层{31,32,33}替换成含有Reception-A结构的卷积层{31,32,33,34,35},Reception-A结构即最左侧两个分支为ResNet中的残差结构,使用1×1+3×3+1×1组合的卷积层,将原始Inception模块中两个3×3卷积层进行替换;2)将原VGG-16网络中卷积层{41,42,43}替换成含有Reception-B结构的卷积层{41,42,43,44,45},Reception-B结构相比较于模块Reception-A,模块中在左侧分支采用了1×7和7×1两个非对称卷积核代替了一个7×7卷积核,达到7×7卷积核提取特征效果的同时减少了网络参数,此外,中间的分支只保留大小为1×1的卷积核,对不同通道的特征进行交叉融合;3)将原VGG-16网络中卷积层{51,52,53}替换成含有Reception-C结构的卷积层{51,52,53,54,55},此模块相比较于前两个模块增加了一个分支;最左侧两个分支仍然是残差结构,并且将卷积核尺寸变成了1×3和3×1,中间的分支在1×1的卷积核后,将一个3×3的卷积分成1×3和3×1两个部分,目的是通过并联非对称卷积增强图像局部特征提取,能够获得更加丰富的特征;网络加深之后除三个全连接层外,卷积层共有19层。
3.如权利要求1所述的方法,其特征在于,所述步骤3进一步包括:区域建议网络RPN在提取到的特征图基础上进行卷积操作,负责生成锚框并对锚框进行分类和回归,该层主要用于生成目标建议,通过Softmax判断锚框为前景或是背景,再利用边框回归修正锚框获得精确的建议。
4.如权利要求1所述的方法,其特征在于,所述步骤4进一步包括:ROI池收集输入的特征和建议,综合这些信息进行池化操作,提取建议特征,送入后续全连接层得到ROI特征向量,进行目标类别的判定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910220570.4A CN109949297B (zh) | 2019-03-20 | 2019-03-20 | 基于Reception和Faster R-CNN的肺结节检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910220570.4A CN109949297B (zh) | 2019-03-20 | 2019-03-20 | 基于Reception和Faster R-CNN的肺结节检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109949297A true CN109949297A (zh) | 2019-06-28 |
CN109949297B CN109949297B (zh) | 2023-02-21 |
Family
ID=67011359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910220570.4A Active CN109949297B (zh) | 2019-03-20 | 2019-03-20 | 基于Reception和Faster R-CNN的肺结节检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109949297B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111127400A (zh) * | 2019-11-29 | 2020-05-08 | 深圳蓝韵医学影像有限公司 | 一种乳腺病变检测方法和装置 |
CN111274980A (zh) * | 2020-01-23 | 2020-06-12 | 天津大学 | 基于yolov3和非对称卷积的小尺寸交通标志识别方法 |
CN111611925A (zh) * | 2020-05-21 | 2020-09-01 | 重庆现代建筑产业发展研究院 | 一种建筑物检测与识别方法及装置 |
CN111916206A (zh) * | 2020-08-04 | 2020-11-10 | 重庆大学 | 一种基于级联的ct影像辅助诊断*** |
CN114067153A (zh) * | 2021-11-02 | 2022-02-18 | 暨南大学 | 基于并行双注意力轻量残差网络的图像分类方法及*** |
CN115511818A (zh) * | 2022-09-21 | 2022-12-23 | 北京医准智能科技有限公司 | 一种肺结节检出模型的优化方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108460758A (zh) * | 2018-02-09 | 2018-08-28 | 河南工业大学 | 肺结节检测模型的构建方法 |
CN108509839A (zh) * | 2018-02-02 | 2018-09-07 | 东华大学 | 一种基于区域卷积神经网络高效的手势检测识别方法 |
US20180260415A1 (en) * | 2017-03-10 | 2018-09-13 | Xerox Corporation | Instance-level image retrieval with a region proposal network |
CN108550133A (zh) * | 2018-03-02 | 2018-09-18 | 浙江工业大学 | 一种基于Faster R-CNN的癌细胞检测方法 |
CN108596030A (zh) * | 2018-03-20 | 2018-09-28 | 杭州电子科技大学 | 基于Faster R-CNN的声呐目标检测方法 |
CN108875750A (zh) * | 2017-08-25 | 2018-11-23 | 北京旷视科技有限公司 | 物体检测方法、装置和***及存储介质 |
-
2019
- 2019-03-20 CN CN201910220570.4A patent/CN109949297B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180260415A1 (en) * | 2017-03-10 | 2018-09-13 | Xerox Corporation | Instance-level image retrieval with a region proposal network |
CN108875750A (zh) * | 2017-08-25 | 2018-11-23 | 北京旷视科技有限公司 | 物体检测方法、装置和***及存储介质 |
CN108509839A (zh) * | 2018-02-02 | 2018-09-07 | 东华大学 | 一种基于区域卷积神经网络高效的手势检测识别方法 |
CN108460758A (zh) * | 2018-02-09 | 2018-08-28 | 河南工业大学 | 肺结节检测模型的构建方法 |
CN108550133A (zh) * | 2018-03-02 | 2018-09-18 | 浙江工业大学 | 一种基于Faster R-CNN的癌细胞检测方法 |
CN108596030A (zh) * | 2018-03-20 | 2018-09-28 | 杭州电子科技大学 | 基于Faster R-CNN的声呐目标检测方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111127400A (zh) * | 2019-11-29 | 2020-05-08 | 深圳蓝韵医学影像有限公司 | 一种乳腺病变检测方法和装置 |
CN111274980A (zh) * | 2020-01-23 | 2020-06-12 | 天津大学 | 基于yolov3和非对称卷积的小尺寸交通标志识别方法 |
CN111274980B (zh) * | 2020-01-23 | 2022-04-15 | 天津大学 | 基于yolov3和非对称卷积的小尺寸交通标志识别方法 |
CN111611925A (zh) * | 2020-05-21 | 2020-09-01 | 重庆现代建筑产业发展研究院 | 一种建筑物检测与识别方法及装置 |
CN111916206A (zh) * | 2020-08-04 | 2020-11-10 | 重庆大学 | 一种基于级联的ct影像辅助诊断*** |
CN111916206B (zh) * | 2020-08-04 | 2023-12-08 | 重庆大学 | 一种基于级联的ct影像辅助诊断*** |
CN114067153A (zh) * | 2021-11-02 | 2022-02-18 | 暨南大学 | 基于并行双注意力轻量残差网络的图像分类方法及*** |
CN115511818A (zh) * | 2022-09-21 | 2022-12-23 | 北京医准智能科技有限公司 | 一种肺结节检出模型的优化方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109949297B (zh) | 2023-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109949297A (zh) | 基于Reception和Faster R-CNN的肺结节检测方法 | |
CN109584252B (zh) | 基于深度学习的ct影像的肺叶段分割方法、装置 | |
Zhou et al. | High-resolution encoder–decoder networks for low-contrast medical image segmentation | |
US20200303062A1 (en) | Medical image aided diagnosis method and system combining image recognition and report editing | |
CN107886514B (zh) | 基于深度残差网络的乳腺钼靶图像肿块语义分割方法 | |
CN108010021A (zh) | 一种医学图像处理***和方法 | |
CN111428709B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
Pi et al. | Automated diagnosis of bone metastasis based on multi-view bone scans using attention-augmented deep neural networks | |
CN109166105A (zh) | 人工智能医学影像的肿瘤恶性风险分层辅助诊断*** | |
CN110807764A (zh) | 一种基于神经网络的肺癌筛查方法 | |
Ren et al. | An unsupervised semi-automated pulmonary nodule segmentation method based on enhanced region growing | |
Li et al. | Renal cortex segmentation using optimal surface search with novel graph construction | |
CN115471512A (zh) | 一种基于自监督对比学习的医学影像分割方法 | |
CN112489788A (zh) | 一种用于癌症诊断的多模态影像分析方法及*** | |
Li et al. | Preliminary study on artificial intelligence diagnosis of pulmonary embolism based on computer in-depth study | |
Wang et al. | Tumor detection for whole slide image of liver based on patch-based convolutional neural network | |
Hou et al. | Mass segmentation for whole mammograms via attentive multi-task learning framework | |
Liu et al. | Automated classification of cervical Lymph-Node-Level from ultrasound using depthwise separable convolutional swin transformer | |
Fan et al. | Research on abnormal target detection method in chest radiograph based on YOLO v5 algorithm | |
CN117218127B (zh) | 超声内镜辅助监测***及方法 | |
Zhu et al. | A multi-task two-path deep learning system for predicting the invasiveness of craniopharyngioma | |
Xu et al. | Lung segmentation in chest X‐ray image using multi‐interaction feature fusion network | |
JP2012096085A (ja) | 医用画像診断支援装置および方法、並びにプログラム | |
CN113838020A (zh) | 一种基于钼靶影像的病变区域量化方法 | |
Wang et al. | Accurate airway tree segmentation in ct scans via anatomy-aware multi-class segmentation and topology-guided iterative learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |