CN116485812A - 基于改进U-Net网络的甲状腺腺体和结节分割方法 - Google Patents

基于改进U-Net网络的甲状腺腺体和结节分割方法 Download PDF

Info

Publication number
CN116485812A
CN116485812A CN202310390164.9A CN202310390164A CN116485812A CN 116485812 A CN116485812 A CN 116485812A CN 202310390164 A CN202310390164 A CN 202310390164A CN 116485812 A CN116485812 A CN 116485812A
Authority
CN
China
Prior art keywords
segmentation
thyroid
net network
nodule
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310390164.9A
Other languages
English (en)
Inventor
郑天雷
杨娜
朱昌盛
关凤军
金戴鹏
赵卫国
耿诗
赵蕾
程德强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202310390164.9A priority Critical patent/CN116485812A/zh
Publication of CN116485812A publication Critical patent/CN116485812A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及一种基于改进U‑Net网络的甲状腺腺体和结节分割方法。超声是甲状腺结节检查的首选方式，但是超声图像噪声大，甲状腺结节又形态各异，给医生的诊断带来了极大的挑战。目前开发的甲状腺结节自动分割方法对边缘不规则和微小结节的分割效果差。为克服高分辨率数据特征提取不足导致的甲状腺边缘和微小结节分割不准确，对大型和不规则目标的分割效果不理想以及手工分割繁琐和耗时的缺点，提出了一种基于改进U‑Net网络的甲状腺腺体和结节分割方法。通过在U‑Net网络的编码器和解码器中引入ResNeSt模块、空洞空间池化金字塔（Atrous Spatial Pyramid Pooling，ASPP）和可变形卷积（Deformable Convolution，DC）v3，进行特征提取，建立一个变形金字塔分割注意残差网络（Deformable‑Pyramid Split Attention Residual U‑Net，DSRU‑Net）。实验和方法分析表明：采用DSRU‑Net网络，可明显提高甲状腺腺体和结节分割的准确度。

Description

基于改进U-Net网络的甲状腺腺体和结节分割方法
技术领域
本发明属于图像处理和人工智能辅助诊断疾病领域，具体为一种基于改进U-Net网络的甲状腺腺体和结节分割方法。
背景技术
众所周知，早诊早治恶性的甲状腺结节，甲状腺癌的发病情况可得到显著改善或有效避免。超声由于其无辐射、非侵入性、实时性好等优点成为甲状腺检查的首选方法。然而，超声图像存在斑点和噪声，且不同人群甲状腺结节的大小、位置、形状差异较大，给医生诊断带来巨大的挑战。
勾画甲状腺腺体和结节的边界对做出准确的临床评估至关重要。目前临床上都是医生手工进行分割。这个过程非常耗时费力，且受医生诊断水平的影响。随着人工智能技术的飞速发展，各种基于深度学习的甲状腺腺体和结节方法被相继提出。虽然解决了一些问题，但是对于背景复杂、相似度高、形状大小各异的结节分割效果仍然不够理想。
发明内容
为克服高分辨率数据特征提取不足导致的甲状腺边缘和微小结节分割不准确，对大型和不规则目标的分割效果不理想以及手工分割繁琐和耗时的缺点，提出了一种基于改进U-Net网络的甲状腺腺体和结节分割方法。具体实施步骤描述如下：
步骤1、数据集搭建：由专业医生选取某医院a例患者的共计b幅甲状腺超声图像，对图像进行专业处理及筛选后，得到一个由d（d≤b）幅甲状腺超声图像构成的数据集S；S中的r（r<d）幅作为训练数据集S 1，S中剩下的d-r幅作为测试数据集S 2；S中包含良性样本和恶性样本，良性样本包括炎症性结节、囊性结节和肿瘤结节等，恶性样本包括***状癌和滤泡癌等；
步骤2、模型搭建：对U-Net网络进行改进，具体是在U-Net网络的编码器和解码器中引入ResNeSt模块、空洞空间池化金字塔（Atrous Spatial Pyramid Pooling，ASPP）和可变形卷积（Deformable Convolution，DC）v3，进行特征提取，建立一个变形金字塔分割注意残差网络（Deformable-Pyramid Split Attention Residual U-Net，DSRU-Net）；
步骤3、模型训练：利用S 1中r幅甲状腺超声图像，采用损失函数和优化器对DSRU-Net网络模型进行训练；在训练过程中，采用数据增强策略实时增强样本，数据增强策略包括增减亮度、增减收缩、水平镜像、随机角度旋转、随机裁剪和随机拉伸等；为评估模型输出和参数，结合加权交叉熵损失函数L wce 和骰子损失函数L dice 定义一个新的损失函数L total ，并结合优化器更新模型参数，得到训练后的DSRU-Net网络；L wce 定义为：
（1）
其中，n为任意批次下的任一样本，N为批次尺寸，c为任一类别，C为类别数，nc为样本n的类别，ntc为样本n的正确类别，w ntc 为样本n的正确类别权重，x nc 为样本n的类别对应的预测值，x ntc 为样本n的正确类别对应的预测值，t为单次非冗余类别，T为非冗余类别总数，w t 为批处理中非冗余类别权重，exp(·)为指数函数；L dice 定义为：
（2）
其中，e为一个较小常量，通常取1，y nc 表示样本n的类别真实值；L total 定义为：
L total =L wce +L dice （3）；
步骤4、甲状腺腺体和结节分割：利用训练后的DSRU-Net网络，对S 2中d-r幅甲状腺超声图像中的甲状腺腺体和结节进行分割，得到分割结果R；
步骤5、分割效果评价：利用特异性（Specificity，SP）、敏感性（Sensitivity ，SE）、精密度（Precision，PR）、准确性（Accuracy，ACC）、交并比（Intersection over Union，IoU）和骰子相似系数（Dice Similarity Coefficient，DSC）等评价指标，对R进行评价分析；它们分别定义为：
（4）
（5）
（6）
（7）
（8）
（9）
其中，TP是真阳性的数量，TN是真阴性的数量，FP是假阳性的数量，FN是假阴性的数量。
进一步的，所述步骤2中，DSRU-Net网络定义为：首先，为增强特征提取能力，在编码器和解码器中引入了具有良好特征提取倾向的ResNeSt模块，ResNeSt模块包括了从GoogleNet 和 ResNeXt 继承的拆分变换合并结构，以及从 SENet 和 SKNet中得到灵感的通道注意力结构；其次，为提高不同尺度目标的分割能力，在编码器和解码器之间引入ASPP，提取多尺度特征；最后，为提高模型对特殊形状目标的适应性，在ASPP中引入了DCv3。
本发明的有益效果为：（1）U-Net网络在甲状腺分割方面存在不足：一是由高分辨率数据特征提取不足导致的边缘分割错误和微小结节的漏检误检；二是对大型和不规则目标的分割略有不足。因此，在U-Net网络的编码器和解码器中引入ResNeSt模块、ASPP和DCv3，建立了一个DSRU-Net网络；（2）为克服高分辨率数据特征提取不足导致的甲状腺边缘和微小结节分割不准确，对大型和不规则目标的分割效果不理想以及手工分割繁琐和耗时的缺点，提出了一种基于改进U-Net网络的甲状腺腺体和结节分割方法。
附图说明：
图1：DSRU-Net网络总体架构；
图2：ResNeSt模块结构；
图3：SRU-Net总体架构；
图4：ASPP和DASPP的结构；
图5：甲状腺超声图像恶性样本；
图6：甲状腺超声图像恶性样本实验分割结果；
图7：甲状腺超声图像恶性样本正确分割结果；
图8：甲状腺超声图像良性样本；
图9：甲状腺超声图像良性样本实验分割结果；
图10：甲状腺超声图像良性样本正确分割结果；
具体实施方式：
下面将结合附图说明及具体实施方式对本发明作进一步的说明，但本发明的保护范围并不仅限于此。
步骤1、数据集搭建：由专业医生对2012-2018年徐州医科大学附属医院和南京第一医院5021例患者的76496幅超声图像进行专业处理及筛选后，得到一个由5822幅甲状腺超声图像构成的数据集S；S中的4658幅作为训练数据集S 1，S中剩下的1164幅作为测试数据集S 2；S中包含良性样本和恶性样本，良性样本包括炎症性结节、囊性结节和肿瘤结节等，恶性样本包括***状癌和滤泡癌等；
步骤2、模型搭建：对U-Net网络进行改进，具体是在U-Net网络的编码器和解码器中引入ResNeSt模块、ASPP和DC v3，进行特征提取，建立一个DSRU-Net网络。该网络的总体架构，如图1所示。为增强特征提取能力，在编码器和解码器中引入了具有良好特征提取倾向的ResNeSt模块。ResNeSt模块结构，如图2所示；在该模型中引入了拆分注意机制，在一定程度上提高了模型的效果和可解释性；ResNeSt模块中的分割注意残差网络（Split-Attention Residual U-Net，SRU-Net），如图3所示；U-Net 的编码器和解码器都使用ResNeSt 模块而不是卷积模块来处理特征图。同时，如灰色阴影区域所示，在编码器的顶部添加了一个额外的层，以提高模型对边缘和小目标的提取性能。这种方法在保留 U-Net 的许多好处的同时提高了模型的有效性，使反向传播和参数更新更加简单，并增强了模型的稳定性。为提高不同尺度目标的分割能力，在编码器和解码器之间引入ASPP，提取多尺度特征。然而，ASPP的简单扩张卷积在扩大感受野的同时容易丢失重要的特征。为提高模型对特殊形状目标的适应性，在ASPP中引入了DC v3，设计了一个可变形空洞空间池化金字塔（Deformable Atrous Spatial Pyramid Pooling，DASPP）结构，如图4 所示。其中，d为膨胀率。
步骤3、模型训练：利用S 1中4658幅甲状腺超声图像，采用损失函数和优化器对DSRU-Net网络模型进行训练。在训练过程中，采用数据增强策略实时增强样本，数据增强策略包括增减亮度、增减收缩、水平镜像、随机角度旋转、随机裁剪和随机拉伸等。为评估模型输出和参数，定义了一个新的损失函数L total ，并结合优化器更新模型参数，得到训练后的DSRU-Net网络；
步骤4、甲状腺腺体和结节分割：利用训练后的DSRU-Net网络，对S 2中1164幅甲状腺超声图像中的甲状腺腺体和结节进行分割，得到分割结果。其中，一幅甲状腺超声图像恶性样本、对应实验分割结果和正确分割结果，分别如图5、6和7所示。一幅甲状腺超声图像良性样本、对应实验分割结果和正确分割结果，分别如图8、9和10所示。图6、7、9和10中的外轮廓为甲状腺轮廓，内轮廓为结节轮廓。
步骤5、分割效果评价：利用SP、SE、PR、ACC、IoU和DSC等评价指标，对分割结果进行评价分析。分析结果为：SP=97.9%，SE=93.8%，PR=90.8%，ACC=97.2%，IoU=85.8%和DSC=92.5%。

Claims (2)

1.基于改进U-Net网络的甲状腺腺体和结节分割方法，其特征在于，包括如下步骤：
步骤1、数据集搭建：由专业医生选取某医院a例患者的共计b幅甲状腺超声图像，对图像进行专业处理及筛选后，得到一个由d（d≤b）幅甲状腺超声图像构成的数据集S；S中的r（r<d）幅作为训练数据集S 1，S中剩下的d-r幅作为测试数据集S 2；S中包含良性样本和恶性样本，良性样本包括炎症性结节、囊性结节和肿瘤结节等，恶性样本包括***状癌和滤泡癌等；
步骤2、模型搭建：对U-Net网络进行改进，具体是在U-Net网络的编码器和解码器中引入ResNeSt模块、空洞空间池化金字塔（Atrous Spatial Pyramid Pooling，ASPP）和可变形卷积（Deformable Convolution，DC）v3，进行特征提取，建立一个变形金字塔分割注意残差网络（Deformable-Pyramid Split Attention Residual U-Net，DSRU-Net）；
步骤3、模型训练：利用S 1中r幅甲状腺超声图像，采用损失函数和优化器对DSRU-Net网络模型进行训练；在训练过程中，采用数据增强策略实时增强样本，数据增强策略包括增减亮度、增减收缩、水平镜像、随机角度旋转、随机裁剪和随机拉伸等；为评估模型输出和参数，结合加权交叉熵损失函数L wce 和骰子损失函数L dice 定义一个新的损失函数L total ，并结合优化器更新模型参数，得到训练后的DSRU-Net网络；L wce 定义为：
（1）
其中，n为任意批次下的任一样本，N为批次尺寸，c为任一类别，C为类别数，nc为样本n的类别，ntc为样本n的正确类别，w ntc 为样本n的正确类别权重，x nc 为样本n的类别对应的预测值，x ntc 为样本n的正确类别对应的预测值，t为单次非冗余类别，T为非冗余类别总数，w t 为批处理中非冗余类别权重，exp(·)为指数函数；L dice 定义为：
（2）
其中，e为一个较小常量，通常取1，y nc 表示样本n的类别真实值；L total 定义为：
L total =L wce +L dice （3）；
步骤4、甲状腺腺体和结节分割：利用训练后的DSRU-Net网络，对S 2中d-r幅甲状腺超声图像中的甲状腺腺体和结节进行分割，得到分割结果R；
步骤5、分割效果评价：利用特异性（Specificity，SP）、敏感性（Sensitivity ，SE）、精密度（Precision，PR）、准确性（Accuracy，ACC）、交并比（Intersection over Union，IoU）和骰子相似系数（Dice Similarity Coefficient，DSC）等评价指标，对R进行评价分析；它们分别定义为：
（4）
（5）
（6）
（7）
（8）
（9）
其中，TP是真阳性的数量，TN是真阴性的数量，FP是假阳性的数量，FN是假阴性的数量。
2.根据权利要求1所述的方法，其特征在于：所述步骤2中，DSRU-Net网络定义为：首先，为增强特征提取能力，在编码器和解码器中引入了具有良好特征提取倾向的ResNeSt模块，ResNeSt模块包括了从 GoogleNet 和 ResNeXt 继承的拆分变换合并结构，以及从 SENet和 SKNet中得到灵感的通道注意力结构；其次，为提高不同尺度目标的分割能力，在编码器和解码器之间引入ASPP，提取多尺度特征；最后，为提高模型对特殊形状目标的适应性，在ASPP中引入了DC v3。
CN202310390164.9A 2023-04-13 2023-04-13 基于改进U-Net网络的甲状腺腺体和结节分割方法 Pending CN116485812A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310390164.9A CN116485812A (zh) 2023-04-13 2023-04-13 基于改进U-Net网络的甲状腺腺体和结节分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310390164.9A CN116485812A (zh) 2023-04-13 2023-04-13 基于改进U-Net网络的甲状腺腺体和结节分割方法

Publications (1)

Publication Number Publication Date
CN116485812A true CN116485812A (zh) 2023-07-25

Family

ID=87222506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310390164.9A Pending CN116485812A (zh) 2023-04-13 2023-04-13 基于改进U-Net网络的甲状腺腺体和结节分割方法

Country Status (1)

Country Link
CN (1) CN116485812A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934738A (zh) * 2023-08-14 2023-10-24 威朋（苏州）医疗器械有限公司 基于超声图像的器官与结节联合分割方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934738A (zh) * 2023-08-14 2023-10-24 威朋（苏州）医疗器械有限公司 基于超声图像的器官与结节联合分割方法及***
CN116934738B (zh) * 2023-08-14 2024-03-22 威朋（苏州）医疗器械有限公司 基于超声图像的器官与结节联合分割方法及***

Similar Documents

Publication Publication Date Title
CN111539930B (zh) 基于深度学习的动态超声乳腺结节实时分割与识别的方法
US11101033B2 (en) Medical image aided diagnosis method and system combining image recognition and report editing
Hu et al. Parallel deep learning algorithms with hybrid attention mechanism for image segmentation of lung tumors
CN113674253B (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
CN113420826B (zh) 一种肝脏病灶图像处理***及图像处理方法
CN110728239B (zh) 一种利用深度学习的胃癌增强ct图像自动识别***
CN112767407B (zh) 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断***
Wang et al. A method of ultrasonic image recognition for thyroid papillary carcinoma based on deep convolution neural network
CN113679426A (zh) 超声图处理***
CN116579982A (zh) 一种肺炎ct图像分割方法、装置及设备
CN116485812A (zh) 基于改进U-Net网络的甲状腺腺体和结节分割方法
CN112348794A (zh) 基于注意力增强u型网络的超声乳腺肿瘤自动分割方法
CN113633315A (zh) 采用超声图处理***的超声图处理方法
Feng et al. Multi-scale information with attention integration for classification of liver fibrosis in B-mode US image
Hu et al. A combination model of radiomics features and clinical biomarkers as a nomogram to differentiate nonadvanced from advanced liver fibrosis: a retrospective study
Xiaojie et al. Segmentation of the aortic dissection from CT images based on spatial continuity prior model
Lv et al. An improved residual U-Net with morphological-based loss function for automatic liver segmentation in computed tomography
US20050002548A1 (en) Automatic detection of growing nodules
Zhang et al. Boundary delineation in transrectal ultrasound image for prostate cancer
CN116230237B (zh) 一种基于roi病灶特征的肺癌影响评价方法和***
Wulaning Ayu et al. Pixel Classification Based on Local Gray Level Rectangle Window Sampling for Amniotic Fluid Segmentation.
CN112508943A (zh) 基于超声影像的乳腺肿瘤识别方法
Saad et al. Segmentation and classification analysis techniques for stroke based on diffusion weighted images
CN115132275B (zh) 基于端到端三维卷积神经网络预测egfr基因突变状态方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination