CN113744844A - 基于深度卷积神经网络的甲状腺超声影像处理方法 - Google Patents
基于深度卷积神经网络的甲状腺超声影像处理方法 Download PDFInfo
- Publication number
- CN113744844A CN113744844A CN202111091382.XA CN202111091382A CN113744844A CN 113744844 A CN113744844 A CN 113744844A CN 202111091382 A CN202111091382 A CN 202111091382A CN 113744844 A CN113744844 A CN 113744844A
- Authority
- CN
- China
- Prior art keywords
- thyroid
- neural network
- convolutional neural
- deep convolutional
- ultrasonic image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001685 thyroid gland Anatomy 0.000 title claims abstract description 65
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 32
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 21
- 208000009453 Thyroid Nodule Diseases 0.000 claims abstract description 11
- 238000012800 visualization Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 8
- 230000003211 malignant effect Effects 0.000 claims abstract description 7
- 238000002372 labelling Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000002604 ultrasonography Methods 0.000 claims description 38
- 238000012546 transfer Methods 0.000 claims description 10
- 208000024770 Thyroid neoplasm Diseases 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 230000001788 irregular Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000013136 deep learning model Methods 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 206010054107 Nodule Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007794 visualization technique Methods 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 208000032274 Encephalopathy Diseases 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010038923 Retinopathy Diseases 0.000 description 1
- 208000024799 Thyroid disease Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 208000017520 skin disease Diseases 0.000 description 1
- 208000021510 thyroid gland disease Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Primary Health Care (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度卷积神经网络的甲状腺超声影像处理方法,其技术特点是:采集甲状腺超声影像并进行甲状腺结节标注,构建甲状腺超声影像数据集;计算甲状腺超声影像的注意力矩阵M,并将注意力矩阵M***深度卷积神经网络的深层特征层中,得到基于注意力模块的深度卷积神经网络模型;使用甲状腺超声影像数据集对基于注意力模块的深度卷积神经网络模型进行训练,并通过基于注意力模块的深度卷积神经网络模型对甲状腺超声影像进行可视化处理。本发明设计合理,将注意力矩阵M***到深度卷积神经网络的深层特征层中,在保持良性和恶性分类准确性的同时,能够对图像中的特征进行可视化处理,提高了深度学习模型的可靠性以及可视化效果。
Description
技术领域
本发明属于图像识别技术领域,尤其是一种基于深度卷积神经网络的甲状腺超声影像处理方法。
背景技术
近年来,深度学习和人工智能技术在图像识别任务领域取得了许多突破,而人工智能辅助诊断也有一系列成功案例。目前基于人工智能辅助诊断技术主要用于处理肺部CT图像、皮肤病以及脑病等。
由于甲状腺疾病的高发率,也引起了研究人员的关注。甲状腺超声图像是判断甲状腺相关疾病的辅助手段。医生每天需要观察和分析大量甲状腺超声图像,但是,超声图像具有分辨率低和病理组织与正常组织难以区分的特点,所有这些都会给医生带来巨大压力,并影响诊断的准确性。
可视化技术是解释AI辅助医学模型的有效方法。借助可视化技术,可以显示图像中对模型分类结果影响最大的区域。如果这些区域与医生的领域知识一致,则该模型将具有较高的有效性和可靠性。目前,有两种用于可视化AI辅助医学模型的方法,分别是遮挡图像区域的方法和逆向推理方法。Kermany等提出了一种可视化视网膜病变图像时使用随机遮挡方法。K.Kumar Singh等在训练图像中随机隐藏补丁,迫使网络在隐藏最有区别的部分时寻找其他相关部分。Rajpurkar等使用基于类激活映射(CAM)技术的逆向推理方法建立了肺炎诊断模型。李冠彬等提出将分类网络中的粗略显着对象激活图与无监督方法生成的显着图结合起来用作像素级注释。
但是,上述可视化处理的图像通常不够精确,主要是在两个方面:面积过大和定位不准确,从而无法满足医学图像处理的实际需求。
发明内容
本发明的目的在于克服现有技术的不足,提供一种设计合理、准确可靠且易于实现的基于深度卷积神经网络的甲状腺超声影像处理方法。
本发明解决现有的技术问题是采取以下技术方案实现的:
一种基于深度卷积神经网络的甲状腺超声影像处理方法,包括以下步骤:
步骤1、采集甲状腺超声影像并进行甲状腺结节标注,构建甲状腺超声影像数据集;
步骤2、计算甲状腺超声影像的注意力矩阵M,并将注意力矩阵M***深度卷积神经网络的深层特征层中,得到基于注意力模块的深度卷积神经网络模型;
步骤3、使用甲状腺超声影像数据集对基于注意力模块的深度卷积神经网络模型进行训练,并通过基于注意力模块的深度卷积神经网络模型对甲状腺超声影像进行可视化处理。
进一步,所述步骤1的具体实现方法为:首先,收集一段时间内不同患者的实际甲状腺超声影像,并保持良性超声影像和恶性超声影像比例均衡;然后对甲状腺超声影像的甲状腺结节位置进行标注,得到标注结节后的甲状腺超声影像数据集。
进一步,所述对甲状腺超声影像的甲状腺结节位置进行标注是采用LabelImg工具完成的,并且以VOC2007数据集的格式对甲状腺超声图像与标注进行整理。
进一步,所述计算甲状腺超声影像的注意力矩阵M的方法为:
在平均池化处理后,利用权重传递特性矩阵WTFM和最后一层特征图LFM计算甲状腺超声影像的注意力矩阵M,该注意力矩阵M表示如下:
其中c代表通道,inputsize代表输入图像的长宽、R表示类激活映射CAM的放大因子。
进一步,所述步骤3中对甲状腺超声影像进行可视化处理的方法为:将注意力矩阵M与原始图像I进行线性组合:
可视化图=α×M+(1-α)×I
其中,α代表线性组合的权重,可以根据具体情况灵活调整。
进一步,所述步骤3可视化的甲状腺超声影像的有效区域逐渐缩小到结节内部,并专注于结节的细节,其定位出现在结节边界的不规则区域。
本发明的优点和积极效果是:
本发明设计合理,其充分考虑到特征图的最后一层大小对分类精度和可视化精细度的影响,将注意力矩阵M***到深度卷积神经网络的深层特征层中,采用基于注意力模块的深度卷积神经网络作为甲状腺结节的辅助诊断模型,在保持良性和恶性分类准确性的同时,能够对图像中的特征进行可视化处理,提高了深度学习模型的可靠性以及可视化效果。
附图说明
图1为本发明的整体结构图;
图2为带有标记的甲状腺超声影像的热力图;
图3为标记对于目标检测训练过程的影响对比图;
图4为标记对分类网络训练过程的影响对比图。
具体实施方式
以下结合附图对本发明实施例做进一步详述。
一种基于深度卷积神经网络的甲状腺超声影像处理方法,如图1所示,包括以下步骤:
步骤1、采集甲状腺超声影像并进行甲状腺结节标注,构建甲状腺超声影像数据集。本步骤的具体实现方法为:
首先,在专业医院对甲状腺超声影像进行收集,收集不同患者的实际甲状腺超声影像,采集每年的甲状腺超声影像,并保持良性超声影像和恶性超声影像比例均衡,从而确保目标检测模型对良性结节特征和恶性结节特征都可以学习到。
然后,将采集到的甲状腺超声影像进行整理,配合专业医师利用LabelImg工具对这些图像的甲状腺结节位置进行标注,生成XML文件,图2给出了标记超声影像的热力图,图中的参数η和κ分别代表最后一层特征图(LFM)和权重传递特性矩阵(WTFM)的大小,并且以VOC2007数据集的格式对甲状腺超声图像与标注进行整理,得到标注结节后的甲状腺超声影像数据集。
步骤2、计算甲状腺超声影像的注意力矩阵M,并将注意力矩阵M,***到深度卷积神经网络模型的深层特征层中,得到基于注意力模块的深度卷积神经网络模型。本步骤的具体方法为:
首先,为了抽取甲状腺超声图像的特征,获取最后一层特征图LFM。
然后,将全连接层中的权重传递特性矩阵WTFM与最后一层特征图LFM进行注意力矩阵的计算,并***到深度卷积神经网络模型的深层特征层中。甲状腺超声影像的注意力矩阵M表示如下:
其中c代表通道,inputsize代表输入图像的长宽、R表示类激活映射CAM的放大因子。
最终得到基于注意力模块的深度卷积神经网络模型。
与现有方法相比,本发明的网络架构是相似的。但本发明的创新之处在于注意力图的回溯作用:由于神经网络的训练是根据数据逐步迭代、前向传播的,即当前数据流的输出结果不能作用与当前迭代中前向传播的计算。本发明通过将注意力图回传到模型的深层特征,实现了数据流的回溯。
步骤3、使用步骤1构建的甲状腺超声影像数据集对深度卷积神经网络模型进行训练,通过深度卷积神经网络模型对甲状腺超声影像进行可视化。其具体实现方法为:
首先,使用甲状腺超声影像数据集对深度卷积神经网络模型进行训练,得到训练好的深度卷积神经网络模型。
然后,根据注意力模块对相应的甲状腺超声影像进行可视化,从而将甲状腺结节相关区域更清晰地显示出来。具体计算方法为:将注意力矩阵M与原始图像I进行线性组合:
可视化图=α×M+(1-α)×I
其中,α代表线性组合的权重,可以根据具体情况灵活调整。
如图3及图4可以看出,随着η值的增加,越来越多的图像细节被可视化。另外,有效区域会逐渐缩小到结节内部,并专注于结节的细节。精确的定位很可能出现在结节边界的不规则区域,这是恶性结节的重要特征,本发明能够很好地可视化结节的病变区域,从而可以定位重要的特征,如结节边缘和钙化。
需要强调的是,本发明所述的实施例是说明性的,而不是限定性的,因此本发明包括并不限于具体实施方式中所述的实施例,凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式,同样属于本发明保护的范围。
Claims (6)
1.一种基于深度卷积神经网络的甲状腺超声影像处理方法,其特征在于,包括以下步骤:
步骤1、采集甲状腺超声影像并进行甲状腺结节标注,构建甲状腺超声影像数据集;
步骤2、计算甲状腺超声影像的注意力矩阵M,并将注意力矩阵M***深度卷积神经网络的深层特征层中,得到基于注意力模块的深度卷积神经网络模型;
步骤3、使用甲状腺超声影像数据集对基于注意力模块的深度卷积神经网络模型进行训练,并通过基于注意力模块的深度卷积神经网络模型对甲状腺超声影像进行可视化处理。
2.根据权利要求1所述的基于深度卷积神经网络的甲状腺超声影像处理方法,其特征在于:所述步骤1的具体实现方法为:首先,收集一段时间内不同患者的实际甲状腺超声影像,并保持良性超声影像和恶性超声影像比例均衡;然后对甲状腺超声影像的甲状腺结节位置进行标注,得到标注结节后的甲状腺超声影像数据集。
3.根据权利要求2所述的基于深度卷积神经网络的甲状腺超声影像处理方法,其特征在于:所述对甲状腺超声影像的甲状腺结节位置进行标注是采用LabelImg工具完成的,并且以VOC2007数据集的格式对甲状腺超声图像与标注进行整理。
5.根据权利要求1所述的基于深度卷积神经网络的甲状腺超声影像处理方法,其特征在于:所述步骤3中对甲状腺超声影像进行可视化处理的方法为:将注意力矩阵M与原始图像I进行线性组合:
可视化图=α×M+(1-α)×I
其中,α代表线性组合的权重,可以根据具体情况灵活调整。
6.根据权利要求1所述的基于深度卷积神经网络的甲状腺超声影像处理方法,其特征在于:所述步骤3可视化的甲状腺超声影像的有效区域逐渐缩小到结节内部,并专注于结节的细节,其定位出现在结节边界的不规则区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111091382.XA CN113744844B (zh) | 2021-09-17 | 2021-09-17 | 基于深度卷积神经网络的甲状腺超声影像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111091382.XA CN113744844B (zh) | 2021-09-17 | 2021-09-17 | 基于深度卷积神经网络的甲状腺超声影像处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113744844A true CN113744844A (zh) | 2021-12-03 |
CN113744844B CN113744844B (zh) | 2024-01-26 |
Family
ID=78739597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111091382.XA Active CN113744844B (zh) | 2021-09-17 | 2021-09-17 | 基于深度卷积神经网络的甲状腺超声影像处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113744844B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019153908A1 (zh) * | 2018-02-11 | 2019-08-15 | 北京达佳互联信息技术有限公司 | 基于注意力模型的图像识别方法和*** |
CN111353539A (zh) * | 2020-02-29 | 2020-06-30 | 武汉大学 | 一种基于双路注意力卷积神经网络的宫颈oct图像分类方法及*** |
-
2021
- 2021-09-17 CN CN202111091382.XA patent/CN113744844B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019153908A1 (zh) * | 2018-02-11 | 2019-08-15 | 北京达佳互联信息技术有限公司 | 基于注意力模型的图像识别方法和*** |
CN111353539A (zh) * | 2020-02-29 | 2020-06-30 | 武汉大学 | 一种基于双路注意力卷积神经网络的宫颈oct图像分类方法及*** |
Non-Patent Citations (1)
Title |
---|
赵科甫 等: "基于卷积神经网络的甲状腺结节超声图像分割", 现代计算机, pages 54 - 60 * |
Also Published As
Publication number | Publication date |
---|---|
CN113744844B (zh) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Deep learning framework based on integration of S-Mask R-CNN and Inception-v3 for ultrasound image-aided diagnosis of prostate cancer | |
CN106056595B (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断*** | |
WO2021017372A1 (zh) | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 | |
CN112529894B (zh) | 一种基于深度学习网络的甲状腺结节的诊断方法 | |
CN107730489A (zh) | 无线胶囊内窥镜小肠病变计算机辅助检测***及检测方法 | |
CN113112609A (zh) | 一种面向肺部活检支气管镜的导航方法和*** | |
CN111709950B (zh) | 一种乳腺钼靶ai辅助筛查方法 | |
Zheng et al. | Multi-part modeling and segmentation of left atrium in C-arm CT for image-guided ablation of atrial fibrillation | |
CN112258514B (zh) | 一种ct影像肺血管的分割方法 | |
CN104504737A (zh) | 一种从肺部ct图像获得三维气管树的方法 | |
CN110910404B (zh) | 一种抗噪声数据的乳腺超声结节分割方法 | |
CN116188479B (zh) | 基于深度学习的髋关节图像分割方法及*** | |
CN113420826A (zh) | 一种肝脏病灶图像处理***及图像处理方法 | |
Ye et al. | Medical image diagnosis of prostate tumor based on PSP-Net+ VGG16 deep learning network | |
CN110634132A (zh) | 基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法 | |
Anshad et al. | Recent methods for the detection of tumor using computer aided diagnosis—A review | |
CN113744844B (zh) | 基于深度卷积神经网络的甲状腺超声影像处理方法 | |
Xue et al. | Region-of-interest aware 3D ResNet for classification of COVID-19 chest computerised tomography scans | |
CN115471512A (zh) | 一种基于自监督对比学习的医学影像分割方法 | |
Li et al. | A weakly supervised learning-based segmentation network for dental diseases | |
CN113205153B (zh) | 一种儿科肺炎辅助诊断模型的训练方法及训练所得的模型 | |
CN114159083B (zh) | 一种基于深度树模型的冠状动脉自动解剖标注方法及*** | |
CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
CN111768845B (zh) | 一种基于最优多尺度感知的肺结节辅助检测方法 | |
Hu et al. | Synthetic data as validation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |