CN114549413A - 基于ct图像的多尺度融合全卷积网络***转移检测方法 - Google Patents
基于ct图像的多尺度融合全卷积网络***转移检测方法 Download PDFInfo
- Publication number
- CN114549413A CN114549413A CN202210057922.0A CN202210057922A CN114549413A CN 114549413 A CN114549413 A CN 114549413A CN 202210057922 A CN202210057922 A CN 202210057922A CN 114549413 A CN114549413 A CN 114549413A
- Authority
- CN
- China
- Prior art keywords
- image
- lymph node
- feature
- network
- scales
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于CT图像的多尺度融合全卷积网络***转移检测方法,其特点是该方法具体包括:对CT图像裁剪得到***感兴趣区域,将每张CT图像的ROI重采样到大、中、小三个尺度;将三种尺度的图像输入构建的MSFNet,得到三种尺度下的图像特征;利用自注意力机制模块融合三种特征,最后从多个维度进行二分类预测;训练过程中使用基于Class Activation Map(CAM)的特征一致性损失函数加速网络收敛并提高准确率等步骤。本发明与现有技术相比能自动且快速地检测出***转移情况,为医生提供参考,提高病变检出率。
Description
技术领域
本发明涉及计算机视觉技术和深度学习技术领域,尤其涉及一种基于CT图像的多尺度融合全卷积网络***转移检测方法。
背景技术
癌症是人类健康的头号杀手,据统计,癌症是人类70岁前死亡的主要原因。大量的研究证明,准确的肿瘤TNM分期能指导医生制定个体化的精准治疗方案,从而降低各种癌症的死亡率。TNM分期中的N分期,即区域***转移状态,需要统计是否有***转移,有多少***转移。因此,有必要准确诊断出***转移的状态,这会大大帮助医生制定具体治疗方案,改善预后。
目前,***清扫术是检测转移灶最准确的方法,但侵入性检查可能会给患者带来额外的疼痛和并发症。基于CT图像检测***转移是临床实践中最重要的方法之一,它需要医生逐层查看每一张图片,识别***的形状和位置,根据RECIST,短轴大于10mm的***被认为是恶性的。但这种方法需要消耗大量时间,且存在主观性,这会导致准确率和效率降低。
发明内容
本发明的目的是针对现有技术的不足而提出的一种基于CT图像的多尺度融合全卷积网络***转移检测方法,该方法对CT图像进行剪裁得到ROI,通过随机旋转和翻转,对数据集图像做数据增强,再将数据集中的每张图片重采样到大中小三个尺度作为网络输入,使用设计的MSFNet全卷积网络对输入的图像进行挖掘,并使用自注意力机制模块对得到的三种特征图进行融合,得到2*3*3的特征图,最终从多维度进行二分类预测。在网络的优化训练中,使用基于CAM的特征一致性损失函数,约束三个独立的特征提取器能挖掘出分布相似的特征图,能自动且快速地检测出***转移情况,为医生提供参考,提高病变检出率。
实现本发明目的的具体技术方案是:一种基于CT图像的多尺度融合全卷积网络***转移检测方法,其特点包括以下步骤:
(一)、数据预处理
处理CT图像数据,裁剪得到***感兴趣区域,组合使用随机旋转和翻转,对数据集进行数据增强,并对每张图像进行重采样,得到大中小三种固定尺度大小的图像。
(二)、网络模型的设计
设计多尺度融合的全卷积网络MSFNet,从三种尺度的输入中提取图像特征,并使用自注意力模块融合图像特征用于预测***转移。
(三)、网络的训练
使用基于CAM方法设计的特征一致性损失函数来优化网络。
所述数据预处理具体包括:处理CT图像,找到***所在区域,裁剪取得ROI。将随机旋转和翻转的图像处理方式组合起来,对数据集进行80倍的数据增强,然后将每张图片重采样到三种尺度,尺度大小以2倍递增。
所述网络模型的设计具体包括:设计的MSFNet有三个特征提取器,对应输入的三种尺度。三种特征提取器均以DenseNet为基础,调整DenseBlock的数量使得输出的三个特征图有相同的尺度;另外使用自注意力模块来融合三个特征图,最后得到2*3*3的特征图用于从九个维度上做二分类预测,预测为阳性的维度个数超过所设阈值则网络整体预测为阳性。
所述网络训练模块具体包括:采用基于CAM的特征一致性损失函数,约束三个特征提取器能输出具有相似特征分布的特征图,以提高网络的特征挖掘能力。
本发明与现有技术相比具有以下的有益效果和显著的技术进步:
1)基于CT图像的***转移检测上,效果好过其他方法,有效性强。
2)将CT图像上的***ROI输入网络,能快速、准确地检测出***转移情况,且整个过程是自动的,相比于医生对CT图像逐层检查的方法,更加快速。
附图说明
图1为本发明流程图;
图2为全卷积神经网络架构图;
图3为自注意力机制模块结构图。
图4为CAM示意图。
具体实施方式
参阅图1,本发明具体包括以下步骤:
步骤一:对CT图像进行剪裁,获得***感兴趣区域(ROI);
步骤二:将***感兴趣区域(ROI)通过随机旋转和翻转对CT图像数据集进行数据增强,并对每张图像进行重采样,得到大、中、小三种尺度的图像作为网络输入;
步骤三:将三种尺度的图像输入构建的MSFNet全卷积网络,得到三种尺度下的图像特征,所述MSFNet全卷积网络使用特征一致性损失函数进行训练,优化网络以提高特征图的挖掘能力;
步骤四:使用自注意力模块将提取的三种尺度下的图像特征进行融合,得到2*3*3的特征图;
步骤五:将上述2*3*3的特征图从多维度进行二分类,其分类结果用于***转移的预测。
以下结合具体实施例和附图,对本发明作进一步的详细说明,实施本发明的过程、条件、实验方法等,除以下专门提及的内容之外,均为本领域的普遍知识和公知常识,本发明没有特别限制内容。
实施例1
参阅图1~图2,利用CT图像,裁剪得到***感兴趣区域,通过随机旋转和翻转的组合使用,对数据集进行数据增强处理。然后将每张图像重采样到大中小三种尺度,再将三个尺度的图像输入到MSFNet中,提取出大小相同的三个特征图,最后使用自注意力模块融合这些特征图,并从多个维度预测二分类结果,通过设置阈值来得到网络的整体预测结果。此外,在训练过程中,使用基于CAM的特征一致性损失来训练网络,它能约束MSFNet中的三个特征提取器挖掘出分布相似的特征图,从而提升整体的特征提取能力,具体操作按以下步骤进行:
(一)数据预处理
对于CT图像,需要进行裁剪,只保留***感兴趣区域。然后随机选取10个旋转角度(互相之间的差值不等于90度的倍数),结合8种基本变化(即翻转和旋转90°、180°、270°的组合),对原始数据集做80倍的数据增强。最后将每张图像重采样到大中小三个尺度作为输入,具体来说,三个尺度分别为128*128,64*64,32*32像素。
(二)网络模型的设计
整个网络是全卷积结构,在特征提取部分使用了三个特征提取器,它们都是以DenseNet为基础,通过调整DenseBlock的数量来使得不同尺度的输入得到相同大小的输出,三个特征提取器的分别有4、3、2个DenseBlock结构。
参阅图3,三个尺度的输入被分别提取出特征后,会被送到自注意力机制模块,它们将自动学习到最适宜的权重,并融合到2*3*3的矩阵中。最后,基于2*3*3的矩阵,从9个维度做二分类问题,超过所设阈值即预测为阳性,这大大增强了鲁棒性。
(三)网络的训练
使用基于CAM方法的特征一致性损失函数来训练网络。
参阅图4,使用CAM方法得到热度图,它反应了输入图像中各个区域对最终预测贡献的权重,即体现了特征分布在输入图像的哪些区域。使用CAM分别得到三个尺度下的热度图,计算得到特征一致性损失,具体方式为下述1~4式:
其中:m是热度图,i、j是它的下标;Z是热度图中的元素个数;mnorm是归一化后的热度图;mmean是三个尺度下归一化热度图的平均值;Lfc是特征一致性损失函数;是比例系数;Lentry是常规的交叉熵损失函数;L是整体的损失函数。
首先计算归一化的热度图,消除不同尺度、不同特征提取器的差异,得到同一维度下的热度图。然后计算三种尺度下热度图的平均值,最后再计算特征一致性损失。整个损失函数还需要加上交叉熵损失的部分。这种损失函数能加强挖掘出特征的一致性,提高整体性能。
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下,本领域技术人员能够想到的变化和优点都被包括在本发明中,并且以所附的权利要求书为保护范围。
Claims (5)
1.一种基于CT图像的多尺度融合全卷积网络***转移检测方法,其特征在于***转移检测方法具体包括以下步骤:
步骤一:对CT图像进行剪裁,获得***感兴趣区域(ROI);
步骤二:将***感兴趣区域(ROI)通过随机旋转和翻转对CT图像数据集进行数据增强,并对每张图像进行重采样,得到大、中、小三种尺度的图像作为网络输入;
步骤三:将三种尺度的图像输入构建的MSFNet全卷积网络,得到三种尺度下的图像特征,所述MSFNet全卷积网络使用特征一致性损失函数进行训练,优化网络以提高特征图的挖掘能力;
步骤四:使用自注意力模块将提取的三种尺度下的图像特征进行融合,得到2*3*3的特征图;
步骤五:将上述2*3*3的特征图从多维度进行二分类,其分类结果用于***转移的预测。
2.根据权利要求1所述基于CT图像的多尺度融合全卷积网络***转移检测方法,其特征在于所述对CT图像进行剪裁是将找到的***所在区域进行裁剪,取得***感兴趣区域(ROI)。
3.根据权利要求1所述基于CT图像的多尺度融合全卷积网络***转移检测方法,其特征在于所述数据增强采用旋转与翻转组合的图像处理方式对数据集进行80倍的增强,重采样得到得三种尺度以2倍递增。
4.根据权利要求1所述基于CT图像的多尺度融合全卷积网络***转移检测方法,其特征在于所述MSFNet全卷积网络的设计模块具体包括:对应输入三种尺度图像的三个特征提取器和自注意力模块,所述特征提取器以DenseNet为基础,调整DenseBlock的数量,使得输出的三个特征图有相同的尺度;所述自注意力模块融合三个具有相同尺度的特征图,得到2*3*3的特征图,将其从九个维度上进行二分类预测,若预测为阳性的维度个数超过所设阈值,则网络整体预测为阳性。
5.根据权利要求1所述基于CT图像的多尺度融合全卷积网络***转移检测方法,其特征在于所述网络训练采用基于CAM的特征一致性损失函数,约束三个特征提取器能输出具有相似特征分布的特征图,以提高网络的特征挖掘能力。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210057922.0A CN114549413B (zh) | 2022-01-19 | 2022-01-19 | 基于ct图像的多尺度融合全卷积网络***转移检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210057922.0A CN114549413B (zh) | 2022-01-19 | 2022-01-19 | 基于ct图像的多尺度融合全卷积网络***转移检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114549413A true CN114549413A (zh) | 2022-05-27 |
CN114549413B CN114549413B (zh) | 2023-02-03 |
Family
ID=81672060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210057922.0A Active CN114549413B (zh) | 2022-01-19 | 2022-01-19 | 基于ct图像的多尺度融合全卷积网络***转移检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114549413B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110084292A (zh) * | 2019-04-18 | 2019-08-02 | 江南大学 | 基于DenseNet和多尺度特征融合的目标检测方法 |
CN111401201A (zh) * | 2020-03-10 | 2020-07-10 | 南京信息工程大学 | 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法 |
CN111476793A (zh) * | 2020-03-10 | 2020-07-31 | 西北大学 | 动态增强磁共振成像处理方法、***、存储介质、终端 |
CN111709902A (zh) * | 2020-05-21 | 2020-09-25 | 江南大学 | 基于自注意力机制的红外和可见光图像融合方法 |
CN112053320A (zh) * | 2020-07-30 | 2020-12-08 | 上海电机学院 | 一种用于直肠癌***转移的智能诊断模型构建方法 |
CN112258488A (zh) * | 2020-10-29 | 2021-01-22 | 山西三友和智慧信息技术股份有限公司 | 一种医疗影像病灶分割方法 |
CN112488963A (zh) * | 2020-12-18 | 2021-03-12 | 中国科学院合肥物质科学研究院 | 一种用于农作物病害数据的增强方法 |
CN112950651A (zh) * | 2021-02-02 | 2021-06-11 | 广州柏视医疗科技有限公司 | 基于深度学习网络的纵隔淋巴引流区的自动勾画方法 |
CN112966684A (zh) * | 2021-03-15 | 2021-06-15 | 北湾科技(武汉)有限公司 | 一种注意力机制下的协同学习文字识别方法 |
WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
CN113221867A (zh) * | 2021-05-11 | 2021-08-06 | 北京邮电大学 | 一种基于深度学习的pcb图像字符检测方法 |
CN113537357A (zh) * | 2021-07-19 | 2021-10-22 | 烟台毓璜顶医院 | 一种基于深度残差网络的甲状腺癌ct影像分类*** |
CN113850825A (zh) * | 2021-09-27 | 2021-12-28 | 太原理工大学 | 基于上下文信息和多尺度特征融合的遥感图像道路分割方法 |
CN113888443A (zh) * | 2021-10-21 | 2022-01-04 | 福州大学 | 一种基于自适应层实例归一化gan的演唱会拍摄方法 |
-
2022
- 2022-01-19 CN CN202210057922.0A patent/CN114549413B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110084292A (zh) * | 2019-04-18 | 2019-08-02 | 江南大学 | 基于DenseNet和多尺度特征融合的目标检测方法 |
WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
CN111401201A (zh) * | 2020-03-10 | 2020-07-10 | 南京信息工程大学 | 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法 |
CN111476793A (zh) * | 2020-03-10 | 2020-07-31 | 西北大学 | 动态增强磁共振成像处理方法、***、存储介质、终端 |
CN111709902A (zh) * | 2020-05-21 | 2020-09-25 | 江南大学 | 基于自注意力机制的红外和可见光图像融合方法 |
CN112053320A (zh) * | 2020-07-30 | 2020-12-08 | 上海电机学院 | 一种用于直肠癌***转移的智能诊断模型构建方法 |
CN112258488A (zh) * | 2020-10-29 | 2021-01-22 | 山西三友和智慧信息技术股份有限公司 | 一种医疗影像病灶分割方法 |
CN112488963A (zh) * | 2020-12-18 | 2021-03-12 | 中国科学院合肥物质科学研究院 | 一种用于农作物病害数据的增强方法 |
CN112950651A (zh) * | 2021-02-02 | 2021-06-11 | 广州柏视医疗科技有限公司 | 基于深度学习网络的纵隔淋巴引流区的自动勾画方法 |
CN112966684A (zh) * | 2021-03-15 | 2021-06-15 | 北湾科技(武汉)有限公司 | 一种注意力机制下的协同学习文字识别方法 |
CN113221867A (zh) * | 2021-05-11 | 2021-08-06 | 北京邮电大学 | 一种基于深度学习的pcb图像字符检测方法 |
CN113537357A (zh) * | 2021-07-19 | 2021-10-22 | 烟台毓璜顶医院 | 一种基于深度残差网络的甲状腺癌ct影像分类*** |
CN113850825A (zh) * | 2021-09-27 | 2021-12-28 | 太原理工大学 | 基于上下文信息和多尺度特征融合的遥感图像道路分割方法 |
CN113888443A (zh) * | 2021-10-21 | 2022-01-04 | 福州大学 | 一种基于自适应层实例归一化gan的演唱会拍摄方法 |
Non-Patent Citations (6)
Title |
---|
AI之路: "DenseNet算法详解", 《HTTPS://BLOG.CSDN.NET/U014380165/ARTICLE/DETAILS/75142664》 * |
AMUSI: "一文看尽4篇实时语义分割最新论文(MSFNet/LiteSeg/FDDWNet/RGPNet)", 《一文看尽4篇实时语义分割最新论文(MSFNET/LITESEG/FDDWNET/RGPNET) - 腾讯云开发者社区-腾讯云 (TENCENT.COM)》 * |
SI H, ZHANG Z, LV F等: "Real-time semantic segmentation via multiply spatial fusion network", 《ARXIV PREPRINT ARXIV》 * |
中国光学: "医学图像检索:融合多尺度特征及注意力机制", 《HTTPS://WWW.THEPAPER.CN/NEWSDETAIL_FORWARD_13958531》 * |
侯卫东: "面向移动应用的人体图像多属性分类算法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
周林鹏等: "融合多尺度特征及注意力机制的医学图像检索", 《液晶与显示》 * |
Also Published As
Publication number | Publication date |
---|---|
CN114549413B (zh) | 2023-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Afshar et al. | Brain tumor type classification via capsule networks | |
Qiu et al. | A new approach to develop computer-aided diagnosis scheme of breast mass classification using deep learning technology | |
Tan et al. | A novel computer‐aided lung nodule detection system for CT images | |
Tan et al. | Expert knowledge-infused deep learning for automatic lung nodule detection | |
US11308611B2 (en) | Reducing false positive detections of malignant lesions using multi-parametric magnetic resonance imaging | |
Zhao et al. | D2a u-net: Automatic segmentation of covid-19 lesions from ct slices with dilated convolution and dual attention mechanism | |
Sengan et al. | A fuzzy based high-resolution multi-view deep CNN for breast cancer diagnosis through SVM classifier on visual analysis | |
Lakshmi et al. | Convolutional neural network in the detection of lung carcinoma using transfer learning approach | |
Mkindu et al. | Lung nodule detection in chest CT images based on vision transformer network with Bayesian optimization | |
Zuo et al. | Automatic classification of lung nodule candidates based on a novel 3D convolution network and knowledge transferred from a 2D network | |
Dong et al. | Learning from dermoscopic images in association with clinical metadata for skin lesion segmentation and classification | |
CN113012164A (zh) | 基于聚合层间信息的U-Net肾脏肿瘤图像分割方法、设备及存储介质 | |
Soulami et al. | Breast cancer: Classification of suspicious regions in digital mammograms based on capsule network | |
CN117710760B (zh) | 残差的注意神经网络用于胸部x线病灶检测的方法 | |
Wen et al. | Pulmonary nodule detection based on convolutional block attention module | |
Sun et al. | Two‐view attention‐guided convolutional neural network for mammographic image classification | |
Zhao et al. | 3D multi-scale, multi-task, and multi-label deep learning for prediction of lymph node metastasis in T1 lung adenocarcinoma patients' CT images | |
CN114998615A (zh) | 一种基于深度学习的协同显著性检测方法 | |
Liu et al. | Improving CT-image universal lesion detection with comprehensive data and feature enhancements | |
CN113838026A (zh) | 非小细胞肺癌检测方法、装置、计算机设备和存储介质 | |
Naik et al. | A deep feature concatenation approach for lung nodule classification | |
Gu et al. | The effect of pulmonary vessel suppression on computerized detection of nodules in chest CT scans | |
Agarwal et al. | Analysis of lung cancer prediction at an early stage: A systematic review | |
Naga Raju et al. | Lung and colon cancer classification using hybrid principle component analysis network‐extreme learning machine | |
CN114549413B (zh) | 基于ct图像的多尺度融合全卷积网络***转移检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |