CN113744844B - 基于深度卷积神经网络的甲状腺超声影像处理方法 - Google Patents

基于深度卷积神经网络的甲状腺超声影像处理方法 Download PDF

Info

Publication number
CN113744844B
CN113744844B CN202111091382.XA CN202111091382A CN113744844B CN 113744844 B CN113744844 B CN 113744844B CN 202111091382 A CN202111091382 A CN 202111091382A CN 113744844 B CN113744844 B CN 113744844B
Authority
CN
China
Prior art keywords
thyroid
neural network
convolutional neural
image
deep convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111091382.XA
Other languages
English (en)
Other versions
CN113744844A (zh
Inventor
魏玺
张晟
李雪威
高明
朱佳琳
王晓庆
张昊知
常璐晨
高宏岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Medical University Cancer Institute and Hospital
Original Assignee
Tianjin Medical University Cancer Institute and Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Medical University Cancer Institute and Hospital filed Critical Tianjin Medical University Cancer Institute and Hospital
Priority to CN202111091382.XA priority Critical patent/CN113744844B/zh
Publication of CN113744844A publication Critical patent/CN113744844A/zh
Application granted granted Critical
Publication of CN113744844B publication Critical patent/CN113744844B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度卷积神经网络的甲状腺超声影像处理方法,其技术特点是:采集甲状腺超声影像并进行甲状腺结节标注,构建甲状腺超声影像数据集;计算甲状腺超声影像的注意力矩阵M,并将注意力矩阵M***深度卷积神经网络的深层特征层中,得到基于注意力模块的深度卷积神经网络模型;使用甲状腺超声影像数据集对基于注意力模块的深度卷积神经网络模型进行训练,并通过基于注意力模块的深度卷积神经网络模型对甲状腺超声影像进行可视化处理。本发明设计合理,将注意力矩阵M***到深度卷积神经网络的深层特征层中,在保持良性和恶性分类准确性的同时,能够对图像中的特征进行可视化处理,提高了深度学习模型的可靠性以及可视化效果。

Description

基于深度卷积神经网络的甲状腺超声影像处理方法
技术领域
本发明属于图像识别技术领域,尤其是一种基于深度卷积神经网络的甲状腺超声影像处理方法。
背景技术
近年来,深度学习和人工智能技术在图像识别任务领域取得了许多突破,而人工智能辅助诊断也有一系列成功案例。目前基于人工智能辅助诊断技术主要用于处理肺部CT图像、皮肤病以及脑病等。
由于甲状腺疾病的高发率,也引起了研究人员的关注。甲状腺超声图像是判断甲状腺相关疾病的辅助手段。医生每天需要观察和分析大量甲状腺超声图像,但是,超声图像具有分辨率低和病理组织与正常组织难以区分的特点,所有这些都会给医生带来巨大压力,并影响诊断的准确性。
可视化技术是解释AI辅助医学模型的有效方法。借助可视化技术,可以显示图像中对模型分类结果影响最大的区域。如果这些区域与医生的领域知识一致,则该模型将具有较高的有效性和可靠性。目前,有两种用于可视化AI辅助医学模型的方法,分别是遮挡图像区域的方法和逆向推理方法。Kermany等提出了一种可视化视网膜病变图像时使用随机遮挡方法。K.Kumar Singh等在训练图像中随机隐藏补丁,迫使网络在隐藏最有区别的部分时寻找其他相关部分。Rajpurkar等使用基于类激活映射(CAM)技术的逆向推理方法建立了肺炎诊断模型。李冠彬等提出将分类网络中的粗略显着对象激活图与无监督方法生成的显着图结合起来用作像素级注释。
但是,上述可视化处理的图像通常不够精确,主要是在两个方面:面积过大和定位不准确,从而无法满足医学图像处理的实际需求。
发明内容
本发明的目的在于克服现有技术的不足,提供一种设计合理、准确可靠且易于实现的基于深度卷积神经网络的甲状腺超声影像处理方法。
本发明解决现有的技术问题是采取以下技术方案实现的:
一种基于深度卷积神经网络的甲状腺超声影像处理方法,包括以下步骤:
步骤1、采集甲状腺超声影像并进行甲状腺结节标注,构建甲状腺超声影像数据集;
步骤2、计算甲状腺超声影像的注意力矩阵M,并将注意力矩阵M***深度卷积神经网络的深层特征层中,得到基于注意力模块的深度卷积神经网络模型;
步骤3、使用甲状腺超声影像数据集对基于注意力模块的深度卷积神经网络模型进行训练,并通过基于注意力模块的深度卷积神经网络模型对甲状腺超声影像进行可视化处理。
进一步,所述步骤1的具体实现方法为:首先,收集一段时间内不同患者的实际甲状腺超声影像,并保持良性超声影像和恶性超声影像比例均衡;然后对甲状腺超声影像的甲状腺结节位置进行标注,得到标注结节后的甲状腺超声影像数据集。
进一步,所述对甲状腺超声影像的甲状腺结节位置进行标注是采用LabelImg工具完成的,并且以VOC2007数据集的格式对甲状腺超声图像与标注进行整理。
进一步,所述计算甲状腺超声影像的注意力矩阵M的方法为:
在平均池化处理后,利用权重传递特性矩阵WTFM和最后一层特征图LFM计算甲状腺超声影像的注意力矩阵M,该注意力矩阵M表示如下:
其中,权重传递特性矩阵WTFM是作用于类激活映射CAM中注意力模块的权重矩阵,η和κ分别代表最后一层特征图LFM和权重传递特性矩阵WTFM的大小,i和j代表着当前待计算像素点的横纵坐标,并且:
η=inputsize/R,
其中c代表通道,inputsize代表输入图像的长宽、R表示类激活映射CAM的放大因子。
进一步,所述步骤3中对甲状腺超声影像进行可视化处理的方法为:将注意力矩阵M与原始图像I进行线性组合:
可视化图=α×M+(1-α)×I
其中,α代表线性组合的权重,可以根据具体情况灵活调整。
进一步,所述步骤3可视化的甲状腺超声影像的有效区域逐渐缩小到结节内部,并专注于结节的细节,其定位出现在结节边界的不规则区域。
本发明的优点和积极效果是:
本发明设计合理,其充分考虑到特征图的最后一层大小对分类精度和可视化精细度的影响,将注意力矩阵M***到深度卷积神经网络的深层特征层中,采用基于注意力模块的深度卷积神经网络作为甲状腺结节的辅助诊断模型,在保持良性和恶性分类准确性的同时,能够对图像中的特征进行可视化处理,提高了深度学习模型的可靠性以及可视化效果。
附图说明
图1为本发明的整体结构图;
图2为带有标记的甲状腺超声影像的热力图;
图3为标记对于目标检测训练过程的影响对比图;
图4为标记对分类网络训练过程的影响对比图。
具体实施方式
以下结合附图对本发明实施例做进一步详述。
一种基于深度卷积神经网络的甲状腺超声影像处理方法,如图1所示,包括以下步骤:
步骤1、采集甲状腺超声影像并进行甲状腺结节标注,构建甲状腺超声影像数据集。本步骤的具体实现方法为:
首先,在专业医院对甲状腺超声影像进行收集,收集不同患者的实际甲状腺超声影像,采集每年的甲状腺超声影像,并保持良性超声影像和恶性超声影像比例均衡,从而确保目标检测模型对良性结节特征和恶性结节特征都可以学习到。
然后,将采集到的甲状腺超声影像进行整理,配合专业医师利用LabelImg工具对这些图像的甲状腺结节位置进行标注,生成XML文件,图2给出了标记超声影像的热力图,图中的参数η和κ分别代表最后一层特征图(LFM)和权重传递特性矩阵(WTFM)的大小,并且以VOC2007数据集的格式对甲状腺超声图像与标注进行整理,得到标注结节后的甲状腺超声影像数据集。
步骤2、计算甲状腺超声影像的注意力矩阵M,并将注意力矩阵M,***到深度卷积神经网络模型的深层特征层中,得到基于注意力模块的深度卷积神经网络模型。本步骤的具体方法为:
首先,为了抽取甲状腺超声图像的特征,获取最后一层特征图LFM。
然后,将全连接层中的权重传递特性矩阵WTFM与最后一层特征图LFM进行注意力矩阵的计算,并***到深度卷积神经网络模型的深层特征层中。甲状腺超声影像的注意力矩阵M表示如下:
其中,权重传递特性矩阵WTFM是作用于类激活映射CAM中注意力模块的权重矩阵,η和κ分别代表最后一层特征图LFM和权重传递特性矩阵WTFM的大小,i和j代表着当前待计算像素点的横纵坐标,并且:
η=inputsize/R,
其中c代表通道,inputsize代表输入图像的长宽、R表示类激活映射CAM的放大因子。
最终得到基于注意力模块的深度卷积神经网络模型。
与现有方法相比,本发明的网络架构是相似的。但本发明的创新之处在于注意力图的回溯作用:由于神经网络的训练是根据数据逐步迭代、前向传播的,即当前数据流的输出结果不能作用与当前迭代中前向传播的计算。本发明通过将注意力图回传到模型的深层特征,实现了数据流的回溯。
步骤3、使用步骤1构建的甲状腺超声影像数据集对深度卷积神经网络模型进行训练,通过深度卷积神经网络模型对甲状腺超声影像进行可视化。其具体实现方法为:
首先,使用甲状腺超声影像数据集对深度卷积神经网络模型进行训练,得到训练好的深度卷积神经网络模型。
然后,根据注意力模块对相应的甲状腺超声影像进行可视化,从而将甲状腺结节相关区域更清晰地显示出来。具体计算方法为:将注意力矩阵M与原始图像I进行线性组合:
可视化图=α×M+(1-α)×I
其中,α代表线性组合的权重,可以根据具体情况灵活调整。
如图3及图4可以看出,随着η值的增加,越来越多的图像细节被可视化。另外,有效区域会逐渐缩小到结节内部,并专注于结节的细节。精确的定位很可能出现在结节边界的不规则区域,这是恶性结节的重要特征,本发明能够很好地可视化结节的病变区域,从而可以定位重要的特征,如结节边缘和钙化。
需要强调的是,本发明所述的实施例是说明性的,而不是限定性的,因此本发明包括并不限于具体实施方式中所述的实施例,凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式,同样属于本发明保护的范围。

Claims (5)

1.一种基于深度卷积神经网络的甲状腺超声影像处理方法,其特征在于,包括以下步骤:
步骤1、采集甲状腺超声影像并进行甲状腺结节标注,构建甲状腺超声影像数据集;
步骤2、计算甲状腺超声影像的注意力矩阵M,并将注意力矩阵M***深度卷积神经网络的深层特征层中,得到基于注意力模块的深度卷积神经网络模型;
步骤3、使用甲状腺超声影像数据集对基于注意力模块的深度卷积神经网络模型进行训练,并通过基于注意力模块的深度卷积神经网络模型对甲状腺超声影像进行可视化处理;
所述计算甲状腺超声影像的注意力矩阵M的方法为:
在平均池化处理后,利用权重传递特性矩阵WTFM和最后一层特征图LFM计算甲状腺超声影像的注意力矩阵M,该注意力矩阵M表示如下:
其中,权重传递特性矩阵WTFM是作用于类激活映射CAM中注意力模块的权重矩阵,η和κ分别代表最后一层特征图LFM和权重传递特性矩阵WTFM的大小,i和j代表着当前待计算像素点的横纵坐标,并且:
η=inputsize/R,
其中c代表通道,inputsize代表输入图像的长宽、R表示类激活映射CAM的放大因子。
2.根据权利要求1所述的基于深度卷积神经网络的甲状腺超声影像处理方法,其特征在于:所述步骤1的具体实现方法为:首先,收集一段时间内不同患者的实际甲状腺超声影像,并保持良性超声影像和恶性超声影像比例均衡;然后对甲状腺超声影像的甲状腺结节位置进行标注,得到标注结节后的甲状腺超声影像数据集。
3.根据权利要求2所述的基于深度卷积神经网络的甲状腺超声影像处理方法,其特征在于:所述对甲状腺超声影像的甲状腺结节位置进行标注是采用LabelImg工具完成的,并且以VOC2007数据集的格式对甲状腺超声图像与标注进行整理。
4.根据权利要求1所述的基于深度卷积神经网络的甲状腺超声影像处理方法,其特征在于:所述步骤3中对甲状腺超声影像进行可视化处理的方法为:将注意力矩阵M与原始图像I进行线性组合:
可视化图=α×M+(1-α)×I
其中,α代表线性组合的权重,可以根据具体情况灵活调整。
5.根据权利要求1所述的基于深度卷积神经网络的甲状腺超声影像处理方法,其特征在于:所述步骤3可视化的甲状腺超声影像的有效区域逐渐缩小到结节内部,并专注于结节的细节,其定位出现在结节边界的不规则区域。
CN202111091382.XA 2021-09-17 2021-09-17 基于深度卷积神经网络的甲状腺超声影像处理方法 Active CN113744844B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111091382.XA CN113744844B (zh) 2021-09-17 2021-09-17 基于深度卷积神经网络的甲状腺超声影像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111091382.XA CN113744844B (zh) 2021-09-17 2021-09-17 基于深度卷积神经网络的甲状腺超声影像处理方法

Publications (2)

Publication Number Publication Date
CN113744844A CN113744844A (zh) 2021-12-03
CN113744844B true CN113744844B (zh) 2024-01-26

Family

ID=78739597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111091382.XA Active CN113744844B (zh) 2021-09-17 2021-09-17 基于深度卷积神经网络的甲状腺超声影像处理方法

Country Status (1)

Country Link
CN (1) CN113744844B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153908A1 (zh) * 2018-02-11 2019-08-15 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和***
CN111353539A (zh) * 2020-02-29 2020-06-30 武汉大学 一种基于双路注意力卷积神经网络的宫颈oct图像分类方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153908A1 (zh) * 2018-02-11 2019-08-15 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和***
CN111353539A (zh) * 2020-02-29 2020-06-30 武汉大学 一种基于双路注意力卷积神经网络的宫颈oct图像分类方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的甲状腺结节超声图像分割;赵科甫 等;现代计算机;54-60 *

Also Published As

Publication number Publication date
CN113744844A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
Liu et al. Deep learning framework based on integration of S-Mask R-CNN and Inception-v3 for ultrasound image-aided diagnosis of prostate cancer
WO2021017372A1 (zh) 一种基于生成对抗网络的医学图像分割方法、***及电子设备
CN106056595B (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断***
CN112529894B (zh) 一种基于深度学习网络的甲状腺结节的诊断方法
CN107730489A (zh) 无线胶囊内窥镜小肠病变计算机辅助检测***及检测方法
CN112258514B (zh) 一种ct影像肺血管的分割方法
CN113420826B (zh) 一种肝脏病灶图像处理***及图像处理方法
CN106991694A (zh) 基于显著区域面积匹配的心脏ct与超声图像配准方法
CN110706225B (zh) 基于人工智能的肿瘤识别***
CN104504737A (zh) 一种从肺部ct图像获得三维气管树的方法
Ye et al. Medical image diagnosis of prostate tumor based on PSP-Net+ VGG16 deep learning network
CN111784639A (zh) 基于深度学习的口腔全景片龋齿深度识别方法
CN111738997A (zh) 一种基于深度学习的计算新冠肺炎病变区域占比的方法
CN110634132A (zh) 基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法
CN111145226A (zh) 基于ct影像的三维肺部特征提取方法
CN110782441A (zh) 一种基于深度学习的dr影像肺结核智能分割与检测方法
WO2021184949A1 (zh) 肺炎征象的分割方法、装置、介质及电子设备
Xu et al. Application of artificial intelligence technology in medical imaging
Chen et al. Detection of various dental conditions on dental panoramic radiography using Faster R-CNN
CN113744844B (zh) 基于深度卷积神经网络的甲状腺超声影像处理方法
Ni et al. Automatic cystocele severity grading in transperineal ultrasound by random forest regression
Xue et al. Region-of-interest aware 3D ResNet for classification of COVID-19 chest computerised tomography scans
CN111768845B (zh) 一种基于最优多尺度感知的肺结节辅助检测方法
CN113205153B (zh) 一种儿科肺炎辅助诊断模型的训练方法及训练所得的模型
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant