CN117934824A - 一种超声影像的目标区域分割方法、***及电子设备 - Google Patents

一种超声影像的目标区域分割方法、***及电子设备 Download PDF

Info

Publication number
CN117934824A
CN117934824A CN202311691938.8A CN202311691938A CN117934824A CN 117934824 A CN117934824 A CN 117934824A CN 202311691938 A CN202311691938 A CN 202311691938A CN 117934824 A CN117934824 A CN 117934824A
Authority
CN
China
Prior art keywords
ultrasonic image
layer
scale
channel
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311691938.8A
Other languages
English (en)
Inventor
王旭
李海燕
马玉军
白崇斌
明文俊
曾文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN202311691938.8A priority Critical patent/CN117934824A/zh
Publication of CN117934824A publication Critical patent/CN117934824A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种超声影像的目标区域分割方法、***及电子设备，涉及图像处理技术领域。方法包括：获取待测超声影像；将待测超声影像输入到全尺度卷积神经网络模型中，得到目标区域分割结果；全尺度卷积神经网络模型是根据增强处理后的历史目标超声影像集，利用联合损失函数对初始全尺度卷积神经网络模型进行训练后得到的。本发明通过构建并训练初始全尺度卷积神经网络模型，能够提高超声影像目标区域分割的精度。

Description

一种超声影像的目标区域分割方法、***及电子设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种超声影像的目标区域分割方法、***及电子设备。
背景技术
超声影像的目标区域分割技术被广泛使用于不同领域。然而，传统的目标区域分割技术在很大程度上依赖于手动标注，这是一种耗时且劳动密集的过程，受多种因素的影响，导致分割结果的准确性和可靠性较低。传统的分割方法通常基于最优阈值、区域增长、主动轮廓法、监督法和边缘检测算法。然而，传统的分割方法通常需要人工干预或大量的超参数进行微调，导致在复杂场景下使用性能较差。相比之下，深度学习算法可以自动提取特征，有效克服了传统目标区域分割算法的缺点，还可以借助迁移学习快速扩展到不同的任务场景。深度卷积神经网络(CNN)的出现极大地推动了图像分割领域的发展，U-Net网络被广泛用于图像分割领域，受U-Net网络结构的启发，U-Net的改进网络已被广泛应用于目标区域分割，包括包括基于门控注意力的U-Net(AttU-Net)，基于Transformer编码器增强的U-Net(TransUNet)、基于Transformer跳跃连接增强的U-Net(UCTransNet)、基于卷积和MLP的U-Net(UNext)和基于ConvMixer的U-Net(CMU-Net)。1)AttU-Net：基于U-Net网络引入注意力机制，重构了U-Net网络的跳跃式连接，增强网络对空间信息特征的提取能力，抑制噪声及不相关信息的学习。2)TransUNet：将Transformer融入U-Net的编码器结构中，将CNN的归纳偏差和Vit的全局上下文信息提取能力相结合，捕获不同目标之间的相关性，以提高图像分割的性能。3)UCTransNet：基于Transformer架构的多尺度通道交叉融合方法来取代U-Net跳转连接，进一步补充重要的空间结构信息，从而提高图像分割性能。4)UNext：将多层感知器(MLP)集成到U型网络架构中，以改进全局上下文信息的提取，实现更精确的目标区域定位。5)CMU-Net：将具有大核卷积的ConvMixer和多尺度注意力门控集成到U-Net框架中的新方法，以捕获远程依赖关系和详细的多尺度空间特征使特征更加多样化。
以上超声图像分割算法主要有以下几个缺点：(1)网络特征提取能力存在局限性，特征易丢失和准确率低，目标分割效果不佳。(2)超声图像存在明显的斑点噪声和伪影，以及目标区域形状差异大、边界模糊，在目标分割结果方面存在局限性。(3)可用的数据样本匮乏，神经网络的性能和目标分割效果不佳。导致以上缺点的原因在于：(1)对全局上下文信息提取能力不足，对细节空间信息的密集预测不足，忽略大核卷积提取高级语义特征全局上下文信息，导致无法准确定位边缘模糊的目标。(2)忽略高级语义特征不同尺度的信息，导致不能够准确地预测形状差异大的目标区域。(3)忽略编码阶段不同通道的特征，从充满噪声的目标超声图像中提取更有价值的特征不足，导致的目标边界不准确问题。(4)忽略自动数据增强以提高数据样本量，使得数据样本量和类别不够丰富，影响神经网络模型的分割效果。
发明内容
本发明的目的是提供一种超声影像的目标区域分割方法、***及电子设备，能够提高超声影像目标区域分割的精度。
为实现上述目的，本发明提供了如下方案：
一种超声影像的目标区域分割方法，包括：
获取待测超声影像；
将所述待测超声影像输入到全尺度卷积神经网络模型中，得到目标区域分割结果；所述全尺度卷积神经网络模型是根据增强处理后的历史目标超声影像集，利用联合损失函数对初始全尺度卷积神经网络模型进行训练后得到的；所述初始全尺度卷积神经网络模型包括依次连接的编码器、全局局部特征混合模块网络和解码器；所述编码器和所述解码器通过多个通道多尺度注意力门控模块连接。
可选的，所述编码器包括：依次连接的多个编码层；
所述编码层的数量N与所述通道多尺度注意力门控模块的数量之差为1；
第1个编码层的输入为待测超声影像或历史目标超声影像集；
第i个编码层的输出端与第i个通道多尺度注意力门控模块的输入端连接；i＝1，2，...，N-1；
第N个编码层的输出端与所述全局局部特征混合模块网络的输入端连接；
任一编码层包括：依次连接的第一卷积块、第二卷积块和最大池化降采样块；
所述第一卷积块和第所述二卷积块的结构相同；
所述第一卷积块包括：依次连接的第一卷积层、第一批归一化层和第一ReLU激活函数。
可选的，所述解码器包括：依次连接的多个解码层；
所述解码层的数量与所述解码层的数量之差为1；
第1个解码层的输入端与所述全局局部特征混合模块网络的输出端连接；
第i个解码层的输入端与第N-i个通道多尺度注意力门控模块的输出端连接；i＝1，2，...，N-1；
第N-1个解码层的输出为目标区域分割结果；
任一解码层包括：依次连接的特征解码块和连接卷积块；
所述特征解码块包括：依次连接的双线性上采样层、第二卷积层、第二批标准化层和第二ReLu激活函数；
所述连接卷积块包括：依次连接的第三卷积层、第三批标准化层、第三ReLu激活函数、第四卷积层、第四批标准化层和第四ReLu激活函数。
可选的，所述全局局部特征混合模块网络包括：依次连接的多个全局局部特征混合模块；
任一全局局部特征混合模块包括：整体细节感知层和通道特征融合单元；
所述整体细节感知层的输入端与所述通道特征融合单元的第一输入端连接；
所述整体细节感知层的输出端与所述通道特征融合单元的第二输入端连接；
所述整体细节感知层包括：依次连接的通道分组单元、多通道深度可分离卷积单元和通道拼接单元；
所述多通道深度可分离卷积单元包括多个并联的单通道深度可分离卷积子单元；
任一单通道深度可分离卷积子单元包括：依次连接的第五卷积层和大核深度可分离卷积层；
所述通道特征融合单元包括：依次连接的多层感知机层和第六卷积层；所述第六卷积层的输入端作为通道特征融合单元的第一输入端与通道分组单元的输入端连接。
可选的，所述通道多尺度注意力门控模块包括：依次连接的多尺度特征提取单元、通道维度拼接单元、第七卷积层、第八卷积层、Sigmiod激活函数和乘拼接单元；
所述多尺度特征提取单元的输入端与所述乘拼接单元的输入端连接；
所述多尺度特征提取单元包括：多个并联的单尺度特征提取子单元；
任一单尺度特征提取子单元包括：依次连接的第九卷积层、第五批标准化层和第五ReLu激活函数。
可选的，在获取待测超声影像之前，还包括：
构建初始全尺度卷积神经网络模型；
获取历史目标超声影像集；所述历史目标超声影像集包括多张历史目标超声影像；
对所述历史目标超声影像集进行增强处理，得到增强处理后的历史目标超声影像集；
根据增强处理后的历史目标超声影像集，利用联合损失函数对初始全尺度卷积神经网络模型进行训练，得到全尺度卷积神经网络模型。
可选的，对所述历史目标超声影像集进行增强处理，得到增强处理后的历史目标超声影像集，包括：
从像素级串行增强处理集中任选一个或多个像素级增强算法，对所述历史目标超声影像集进行像素级串行增强处理，得到第一增强历史目标超声影像集；像素级串行增强处理集包括亮度调整、锐度调整、高斯噪声、高斯模糊和对比度调整；
从空间级串行增强处理集中任选一个或多个像素级增强算法，对所述历史目标超声影像集进行空间级串行增强处理，得到第二增强历史目标超声影像集；空间级串行增强处理集包括：旋转、缩放、水平翻转、垂直平移、水平平移、垂直错切和水平错切；
从空间级串行增强处理集中任选一个或多个像素级增强算法，对所述第一增强历史目标超声影像集进行空间级串行增强处理，得到第三增强历史目标超声影像集；
确定所述第二增强历史目标超声影像集与所述第三增强历史目标超声影像集的并集为增强处理后的历史目标超声影像集。
一种超声影像的目标区域分割***，包括：
待测超声影像获取模块，用于获取待测超声影像；
目标区域分割模块，用于将所述待测超声影像输入到全尺度卷积神经网络模型中，得到目标区域分割结果；所述全尺度卷积神经网络模型是根据增强处理后的历史目标超声影像集，利用联合损失函数对初始全尺度卷积神经网络模型进行训练后得到的；所述初始全尺度卷积神经网络模型包括依次连接的编码器、全局局部特征混合模块网络和解码器；所述编码器和所述解码器通过多个通道多尺度注意力门控模块连接。
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行所述的一种超声影像的目标区域分割方法。
可选的，所述存储器为可读存储介质。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的一种超声影像的目标区域分割方法、***及电子设备，基于目标超声图像自动增强策略和全尺度卷积神经网络完成目标超声图像分割。在第一阶段，目标超声图像自动增强是通过像素空间联合数据增强方法扩充训练数据，将目标超声图像自动增强应用于网络训练，从而获得多样性和泛化能力更强的目标超声图像，能够提高数据增强效率，解决数据稀缺问题，并显著改善模型的性能和泛化能力。在第二阶段，基于全尺度卷积神经网络对目标超声图像进行分割。在U-Net的基础上，使用全局局部特征混合模块，在神经网络中融合全局和局部特征，建立了像素之间的长期依赖性，提取有效的局部特性和全局上下文信息；采用通道多尺度注意力门控模块，充分融合编码器阶段不同层次的多尺度特征，从而强化重要通道特征。通道多尺度注意力门控模块在每个通道上提取不同尺度的空间信息，使得网络能够更加全面地理解和利用输入数据的特征，从而提升模型对于复杂任务的表现能力；采用一种基于边界突出和区域一致的联合损失函数，有效地引导网络从概率和像素级层面学习，准确地预测了清晰边界的目标区域，提高了目标区域分割的准确性和可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中超声影像的目标区域分割方法流程图；
图2为本发明实施例1中图像增强处理流程图；
图3为本发明实施例1中全尺度卷积神经网络模型结构示意图；
图4为本发明实施例1中全局局部特征混合模块结构示意图；
图5为本发明实施例1中通道多尺度注意力门控模块结构示意图；
图6为本发明实施例1中不同网络的目标分割效果图；
图7为本发明实施例1中超声影像的目标区域分割***结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种超声影像的目标区域分割方法、***及电子设备，能够提高超声影像目标区域分割的精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
如图1所示，本实施例提供了一种超声影像的目标区域分割方法，包括：
步骤101：获取待测超声影像。
步骤102：将待测超声影像输入到全尺度卷积神经网络模型中，得到目标区域分割结果。全尺度卷积神经网络模型是根据增强处理后的历史目标超声影像集，利用联合损失函数对初始全尺度卷积神经网络模型进行训练后得到的。初始全尺度卷积神经网络模型包括依次连接的编码器、全局局部特征混合模块网络和解码器。编码器和解码器通过多个通道多尺度注意力门控模块连接。
编码器包括：依次连接的多个编码层。编码层的数量N与通道多尺度注意力门控模块的数量之差为1。第1个编码层的输入为待测超声影像或历史目标超声影像集。第i个编码层的输出端与第i个通道多尺度注意力门控模块的输入端连接；i＝1,2，...，N-1。第N个编码层的输出端与全局局部特征混合模块网络的输入端连接。任一编码层包括：依次连接的第一卷积块、第二卷积块和最大池化降采样块。第一卷积块和第二卷积块的结构相同。第一卷积块包括：依次连接的第一卷积层、第一批归一化层和第一ReLU激活函数。
解码器包括：依次连接的多个解码层。解码层的数量与解码层的数量之差为1。第1个解码层的输入端与全局局部特征混合模块网络的输出端连接。第i个解码层的输入端与第N-i个通道多尺度注意力门控模块的输出端连接。i＝1，2，...，N-1；第N-1个解码层的输出为目标区域分割结果。任一解码层包括：依次连接的特征解码块和连接卷积块。特征解码块包括：依次连接的双线性上采样层、第二卷积层、第二批标准化层和第二ReLu激活函数。连接卷积块包括：依次连接的第三卷积层、第三批标准化层、第三ReLu激活函数、第四卷积层、第四批标准化层和第四ReLu激活函数。
全局局部特征混合模块网络包括：依次连接的多个全局局部特征混合模块。任一全局局部特征混合模块包括：整体细节感知层和通道特征融合单元。整体细节感知层的输入端与通道特征融合单元的第一输入端连接。整体细节感知层的输出端与通道特征融合单元的第二输入端连接。整体细节感知层包括：依次连接的通道分组单元、多通道深度可分离卷积单元和通道拼接单元。多通道深度可分离卷积单元包括多个并联的单通道深度可分离卷积子单元。任一单通道深度可分离卷积子单元包括：依次连接的第五卷积层和大核深度可分离卷积层。通道特征融合单元包括：依次连接的多层感知机层和第六卷积层。第六卷积层的输入端作为通道特征融合单元的第一输入端与通道分组单元的输入端连接。
通道多尺度注意力门控模块包括：依次连接的多尺度特征提取单元、通道维度拼接单元、第七卷积层、第八卷积层、Sigmiod激活函数和乘拼接单元。多尺度特征提取单元的输入端与乘拼接单元的输入端连接。多尺度特征提取单元包括：多个并联的单尺度特征提取子单元。任一单尺度特征提取子单元包括：依次连接的第九卷积层、第五批标准化层和第五ReLu激活函数。
在步骤101之前，还包括：
步骤103：构建初始全尺度卷积神经网络模型。
步骤104：获取历史目标超声影像集。历史目标超声影像集包括多张历史目标超声影像。
步骤105：对历史目标超声影像集进行增强处理，得到增强处理后的历史目标超声影像集。
步骤106：根据增强处理后的历史目标超声影像集，利用联合损失函数对初始全尺度卷积神经网络模型进行训练，得到全尺度卷积神经网络模型。
步骤105，包括：
步骤105-1：从像素级串行增强处理集中任选一个或多个像素级增强算法，对历史目标超声影像集进行像素级串行增强处理，得到第一增强历史目标超声影像集。
步骤105-2：从空间级串行增强处理集中任选一个或多个像素级增强算法，对历史目标超声影像集进行空间级串行增强处理，得到第二增强历史目标超声影像集。像素级串行增强处理集包括亮度调整、锐度调整、高斯噪声、高斯模糊和对比度调整。
步骤105-3：从空间级串行增强处理集中任选一个或多个像素级增强算法，对第一增强历史目标超声影像集进行空间级串行增强处理，得到第三增强历史目标超声影像集。空间级串行增强处理集包括：旋转、缩放、水平翻转、垂直平移、水平平移、垂直错切和水平错切。
步骤105-4：确定第二增强历史目标超声影像集与第三增强历史目标超声影像集的并集为增强处理后的历史目标超声影像集。
具体的，目标超声图像分割模型为基于目标超声图像自动增强数据训练过的全尺度卷积神经网络。全尺度卷积神经网络为基于U-Net的神经网络，全尺度卷积神经网络中采用卷积操作和最大池化作为U-Net中的编码器。全尺度卷积神经网络中采用全局局部特征混合模块作为U-Net中的瓶颈层，全局局部特征混合模块输入为编码器的最后一层特征，输出为全局局部混合特征。全尺度卷积神经网络中采用通道多尺度注意力门控模块作为U-Net中编码器与解码器之间的跳跃连接。在解码器中，每个解码层由特征解码块的输出与的通道多尺度注意力门控模块的输出进行合并，并采用卷积进行的解码操作。全尺度卷积神经网络的最后一个解码层的输出为目标超声图像分割结果。
全尺度卷积神经网络的训练过程包括：
1.获取目标超声图像的数据集。
其中，数据集包括皮肤病变图像UDIAT数据集和BUSI数据集。UDIAT数据集包含163张目标超声图像。BUSI数据集中提供780张目标超声图像，其中210张第一目标，437张第二目标，其余为不含目标的超声影像。
将数据集中每个目标超声图像尺寸调整为256×256。
2.目标超声图像自动增强。
对尺寸调整的目标超声图像，采用一种像素空间联合增强方法生成特征丰富的目标超声图像，增加训练过程中图像数据样本的多样性。
如图2所示目标超声图像增强方法，包括：
先对输入原始的目标超声图像先进行p次随机的像素级串行增强操作，再将像素增强后的目标超声图像进行s次随机的空间级串行增强操作，最终获得像素空间联合增强后的目标超声图像。为了避免破坏原始的数据特征，不采用颜色反转、曝光等增强操作，因此的像素增强集合仅包括5种增强方法：亮度调整、锐度调整、高斯噪声、高斯模糊和对比度调整；空间增强集合包含7种方法：旋转、缩放、水平翻转、垂直平移、水平平移、垂直错切和水平错切。此外，为了避免过度增强导致超声图像失真，像设置素级增强操作p≤1，总的增强操作2≤p+s≤3，具体操作如下：
Op＝SSample2-p[PSamplep(I)]∪SSample3-p[PSamplep(I)]
其中，I表示尺寸调整的目标超声图像；PSamplep表示从像素增强集合中随机采取其中p个增强方法进行串行增强；SSamples表示从空间增强集合中随机采取其中s个增强方法进行串行增强；∪表示并行增强，将最终产生的2个增强的目标超声图像合并到一个数据集合中；Op表示在进行p次像素串行增强的前提下，产生的目标超声图像增强数据集合；其中p值取0和1，一个输入的目标超声图片I，最终可获得4种增强后的图像。
生成的目标超声图像批量添加到目标超声图像原始数据集中，通过均值和标准差进行标准化，用于训练全尺度卷积神经网络，将训练好的全尺度卷积神经网络作为目标超声图像分割模型。
3.训练全尺度注意卷积神经网络。
基于PyTorch平台，在一块显存为8G的NVIDIA GeForce RTX 3060Ti GPU上完成全尺度注意卷积神经网络的训练。网络使用Adam优化器进行优化，初始学习率为0.0001，动量(momentum)设为为0.9。批量大小(batch size)设置为8，并进行300次的迭代(epoch)训练。使用Dice系数(Dice)，交并比(IoU)，灵敏度(SE)，特异性(SP)和准确性(ACC)六个指标来评估不同方法的性能。
其中，TP、FP、TN和FN分别为真阳性、假阳性、真阴性和假阴性。
本实施例全尺度卷积神经网络的训练过程中，采用基于区域一致和边界突出的联合损失函数，有效地突出了目标区域所在位置，准确预测了清晰的边界和目标区域的形状结构。联合损失函数Ltotal＝λLBCE+LDice，分别从概率和像素级对网络进行监督训练，以获得准确的边界形状信息和高置信度的分割结果。其中，LBCE和LDice分别为二进制交叉熵损失(Binary Cross Entropy Loss)和Dice损失(Dice Loss)。λ是损失函数之间的权重系数，设置为0.5。
Dice损失常用于评估图像分割任务中预测结果与真实标签之间的相似度。二进制交叉熵损失通过计算真实标签和模型预测之间的交叉熵，衡量模型预测的概率分布与真实概率分布之间的差异，这有助于提高相似目标之间的区分度，并改善边界的准确性。二进制交叉熵损失和Dice损失的具体计算如下：
其中，yi表示真实标签，pi表示模型预测；LDice表示Dice损失(Dice loss)，A表示本发明网络分割的特征图，B表示地面真相(掩码)。
全尺度卷积神经网络(FSC-Net)对输入目标超声图像进行特征提取、捕获全局上下文特征和局部纹理细节特征、全局局部特征混合、通道多尺度注意特征以及对编码阶段不同层次特征进行融合；训练全尺度网络时采用基于像素空间联合增强方法增加训练过程中图像数据样本的多样性，提供更丰富的病变信息。其中，全尺度卷积神经网络基于U-Net设计，采用卷积操作和最大池化作为编码器，提取丰富的特征信息。用全局局部特征混合模块(LGFM)作为U-Net中的瓶颈层，通过大核卷积操作来捕获像素之间的远程依赖关系，同时提取局部的细节特征，通过使用整体与细节信息融合，更好的获取定位和识别不同形状和大小的目标。用通道多尺度注意门控模块(MSAG)作为网络骨干的对称编码器-解码器结构重构跳跃连接，通过采用多尺度操作，对含有噪声和冗余信息的不同尺度的编码器特征进行特征提取，并通过动态调整注意力权重对特征进行自适应的选择，有助于更好地保留有用的信息。用联合损失算法，从概率和像素级方面进行网络监督训练，以获得准确的边界形状信息和高置信度的分割结果。
本发明的联合注意卷积神经网络的技术效果在于：(1)采用超声目标数据增强方法增加样本的多样性，缓解数据稀缺，改善网络的性能；(2)使用全局局部特征混合模块LGFM作为瓶颈层，捕捉所有像素之间关系的同时保留细节特征，有效捕获不同尺度的目标和边界，提高分割精度；(3)使用通道多尺度注意力模块MSAG重构跳跃链接，从充满噪声的目标超声图像中捕获更多的有用特征，减少噪声冗余，避免像素的错误分类。
如图3所示，全尺度卷积神经网络中编码器包括依次连接的第1编码层至第N编码层，还包括依次连接的第1解码层至第N-1解码层，N为正整数；每一编码层包含两个普通的卷积块和一个降采样操作。每个普通的卷积块由一个带有3×3卷积核、步长为1、填充为1的卷积层、一个批归一化层和一个ReLU激活函数组成。每个编码层最后使用2×2窗口大小的最大池化进行降采样操作。
如图4，全局局部特征混合模块包括第1全局局部特征混合模块至第L全局局部特征混合模块，共L个全局局部特征混合模块。第1全局局部特征混合模块的输入端为第N编码层的输出特征，第j全局局部特征混合模块的输入端为第j-1全局局部特征混合模块的输出特征，第L全局局部特征混合模块的输出端连接第1解码层；j的取值范围为2至L。
如图5，通道多尺度注意力门控模块包括第1通道多尺度注意力门控模块至第N-1通道多尺度注意力门控模块，共N-1个通道多尺度注意力门控模块，第i个通道多尺度注意力门控模块的输入端为第i编码层的输出特征，第i个通道多尺度注意力门控模块的输出端连接第N-i解码层；i的取值范围为1至N-1。
如图4所示，全局局部特征混合模块包括整体细节感知块和通道特征融合单元构成。整体细节感知块，将输入特征图X的通道分为四组，利用卷积核为7×1和1×7的大核深度可分离卷积提取全局特征，利用卷积核为3×3的卷积保留部分局部特征，将四组卷积结果在通道维度上拼接，得到第一全局局部特征图X′，其通道数为C。通道特征融合单元，采用多层感知机(MLP)将第一全局局部特征图通道数由C升维到4×C，得到更抽象和高级的特征表示；将更抽象和高级的特征使用MLP降维将通道数由4×C降维到C，加权和整合特征，以提取出更具有代表性的第二全局局部特征图；再将第二全局局部特征图用内核大小为1，输入通道和输出通道均为C的卷积进行特征融合，实现全局和局部特征融合，最终得到融合特征Y。
如图5所示，通道多尺度注意力门控模块给定输入特征F，将第i编码器的输出特征的通道分为四组，通道多尺度注意力门控模块利用不同大小的卷积核对的四组通道进行卷积得到多尺度特征F1′,F2′,F3′,F4′。通道多尺度特征利用公式获得：
其中，Norm表示批标准化，Relu是一种激活函数用于非线性变化。
多尺度通道特征沿通道维度拼接，通过使用两个使用1×1卷积将特征通道从C变为C/2再还原为C，然后经过Sigmiod的激活函数得到多尺度特征输出概率化的注意力权重，最后将注意力权重与输入特征F进行相乘控制特征的流动和筛选，最终获得通道多尺度注意力特征图。该过程可由公式获得通道多尺度注意力特征图。
其中，F表示第i编码器的输出特征，Concat表示通道连接，F'表示通道多尺度特征，表示1×1卷积，输入通道为C，中间层通道为C/2，输出通道为C；δ表示Sigmoid非线性变化操作。a表示注意力权重，Fout表示通道多尺度注意力特征图。
解码层包括特征解码块和连接卷积块；连接卷积块的输入端为通道多尺度注意力特征图与第一解码特征进行通道维度的特征拼接。
第一解码特征由特征解码块利用一个双线性上采样操作(BilinearInterpolation Upsampling)和一个卷积核为3×3的卷积操作，然后通过批标准化和ReLu激活函数后输出所得；连接卷积块包括卷积核为3×3的卷积、批标准化和ReLu激活函数操作重复两次，最后输出该解码层的第二解码特征。第1个解码层的输入为第L层全局局部特征混合模块的输出Y，其余解码层的输入为上一个解码层的第二解码特征。
连接卷积块的输入端为第一解码特征与通道多尺度注意力特征图进行通道维度拼接。对最后一个解码层的输出特征进行1×1的卷积操作，输出通道数为1，尺寸为256×256的特征图，最终获得的目标超声图像分割结果。解码器逐步将编码器中的全局上下文信息和局部细节特征进行解析，再嵌入高效的通道多尺度注意力门控模块CMAG，增强了模型对多尺度特征的处理能力，在含有大量噪声的特征中更好地保留细节信息并增强语义信息，帮助解码器更好地还原细节信息，提高分割结果的准确性。
通过实验，表1和表2中分别展示了不同的模型在“萨瓦德尔Parc Tauli公司的UDIAT诊断中心的乳腺癌超声图像数据集(UDIAT数据集)”和“埃及Baheya医院的乳腺癌超声图像数据集(BUSI数据集)”上的性能。如表1和2所示，本发明的模型通过分割指标评定可以看出比其他对比方法所得结果明显更优；本发明的模型FSC-Net的Dice相对U型网络(U-Net)、基于门控注意力的U-Net(AttU-Net)、基于Transformer编码器增强的U-Net(TransUNet)、基于Transformer跳跃连接增强的U-Net(UCTransNet)、、基于卷积和MLP的U-Net(UNext)和基于ConvMixer的U-Net(CMU-Net)模型，分别提高了4.04％、5.64％、7.01％、5.05％、6.29％和8.09％。
表1不同方法在UDIAT数据集上的性能对比表
模型 IOU Dice SE Precision ACC
U-Net 73.45±0.30 84.42±0.37 86.84±0.40 82.34±0.34 98.52±0.48
AttUNet 75.25±0.29 85.46±0.36 85.49±0.36 85.55±0.36 98.66±0.48
TransUNet 76.49±0.33 86.47±0.39 85.98±0.39 87.01±0.40 98.82±0.48
UCTransNet 74.53±0.25 85.05±0.31 84.23±0.28 87.03±0.36 98.62±0.41
UNext 75.90±0.33 86.14±0.39 84.42±0.37 88.19±0.42 98.79±0.48
CMU-Net 78.31±0.32 87.55±0.39 88.02±0.40 87.16±0.37 98.79±0.48
FSC-Net 81.54±0.42 89.78±0.46 89.87±0.44 90.19±0.47 99.04±0.49
表2不同方法在BUSI数据集上的性能对比表
图6展示了不同的网络在UDIAT数据集和BUSI数据集的分割效果图，前两行表示不同网络在UDIAT数据集上的分割效果图，后三行表示不同网络在BUSI数据集上的分割效果图，与不同网络方法相比，本发明基于全尺度卷积神经网络的目标超声图像分割网络分割方法比其他对比方法更有效、更准确，特别是在含有噪声伪影干扰、模糊边界、尺寸变化大和形状不规则的情况下，达到了最好的分割结果。
本发明提供的FSC-Net模型分割效果更好，特别是对于前景和背景的对比不明显、阴影噪声干扰、边界模糊、尺寸变化大和形状不规则的病变分割效果更好。采用目标超声图像自动增强数据对网络进行训练，缓解数据稀缺问题，提高网络训练效果和性能表现；高效的全局局部特征混和模块解决了解决目标超声图像分割任务中跨尺度信息的融合问题，同时关注全局上下文信息与局部细节信息，使得网络更好地理解超声影像，捕捉细微的边缘特征并准确定位目标；提取通道的多尺度特征，解决卷积核的大小固定导致特征的多样性丢失；有助于网络获取更丰富和多样化的特征表示，使得模型对目标的尺度变化更加鲁棒；全尺度卷积神经网络将应用于计算机辅助诊断***对皮肤图像进行分析，对后续的临床手术有重要指导作用，同时该网络也可以用于其他医学图像分割领域。
实施例2
如图7，为了执行上述实施例1对应的方法，以实现相应的功能和技术效果，下面提供了一种超声影像的目标区域分割***，包括：
待测超声影像获取模201，用于获取待测超声影像。
目标区域分割模块202，用于将待测超声影像输入到全尺度卷积神经网络模型中，得到目标区域分割结果。全尺度卷积神经网络模型是根据增强处理后的历史目标超声影像集，利用联合损失函数对初始全尺度卷积神经网络模型进行训练后得到的。初始全尺度卷积神经网络模型包括依次连接的编码器、全局局部特征混合模块网络和解码器。编码器和解码器通过多个通道多尺度注意力门控模块连接。
实施例3
本实施例提供了一种电子设备，包括存储器及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行实施例1的一种超声影像的目标区域分割方法。其中，存储器为可读存储介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种超声影像的目标区域分割方法，其特征在于，包括：
获取待测超声影像；
将所述待测超声影像输入到全尺度卷积神经网络模型中，得到目标区域分割结果；所述全尺度卷积神经网络模型是根据增强处理后的历史目标超声影像集，利用联合损失函数对初始全尺度卷积神经网络模型进行训练后得到的；所述初始全尺度卷积神经网络模型包括依次连接的编码器、全局局部特征混合模块网络和解码器；所述编码器和所述解码器通过多个通道多尺度注意力门控模块连接。
2.根据权利要求1所述的一种超声影像的目标区域分割方法，其特征在于，所述编码器包括：依次连接的多个编码层；
所述编码层的数量N与所述通道多尺度注意力门控模块的数量之差为1；
第1个编码层的输入为待测超声影像或历史目标超声影像集；
第i个编码层的输出端与第i个通道多尺度注意力门控模块的输入端连接；i＝1,2，...，N-1；
第N个编码层的输出端与所述全局局部特征混合模块网络的输入端连接；
任一编码层包括：依次连接的第一卷积块、第二卷积块和最大池化降采样块；
所述第一卷积块和第所述二卷积块的结构相同；
所述第一卷积块包括：依次连接的第一卷积层、第一批归一化层和第一ReLU激活函数。
3.根据权利要求2所述的一种超声影像的目标区域分割方法，其特征在于，所述解码器包括：依次连接的多个解码层；
所述解码层的数量与所述解码层的数量之差为1；
第1个解码层的输入端与所述全局局部特征混合模块网络的输出端连接；
第i个解码层的输入端与第N-i个通道多尺度注意力门控模块的输出端连接；i＝1,2，...，N-1；
第N-1个解码层的输出为目标区域分割结果；
任一解码层包括：依次连接的特征解码块和连接卷积块；
所述特征解码块包括：依次连接的双线性上采样层、第二卷积层、第二批标准化层和第二ReLu激活函数；
所述连接卷积块包括：依次连接的第三卷积层、第三批标准化层、第三ReLu激活函数、第四卷积层、第四批标准化层和第四ReLu激活函数。
4.根据权利要求3所述的一种超声影像的目标区域分割方法，其特征在于，所述全局局部特征混合模块网络包括：依次连接的多个全局局部特征混合模块；
任一全局局部特征混合模块包括：整体细节感知层和通道特征融合单元；
所述整体细节感知层的输入端与所述通道特征融合单元的第一输入端连接；
所述整体细节感知层的输出端与所述通道特征融合单元的第二输入端连接；
所述整体细节感知层包括：依次连接的通道分组单元、多通道深度可分离卷积单元和通道拼接单元；
所述多通道深度可分离卷积单元包括多个并联的单通道深度可分离卷积子单元；
任一单通道深度可分离卷积子单元包括：依次连接的第五卷积层和大核深度可分离卷积层；
所述通道特征融合单元包括：依次连接的多层感知机层和第六卷积层；所述第六卷积层的输入端作为通道特征融合单元的第一输入端与通道分组单元的输入端连接。
5.根据权利要求4所述的一种超声影像的目标区域分割方法，其特征在于，所述通道多尺度注意力门控模块包括：依次连接的多尺度特征提取单元、通道维度拼接单元、第七卷积层、第八卷积层、Sigmiod激活函数和乘拼接单元；
所述多尺度特征提取单元的输入端与所述乘拼接单元的输入端连接；
所述多尺度特征提取单元包括：多个并联的单尺度特征提取子单元；
任一单尺度特征提取子单元包括：依次连接的第九卷积层、第五批标准化层和第五ReLu激活函数。
6.根据权利要求1所述的一种超声影像的目标区域分割方法，其特征在于，在获取待测超声影像之前，还包括：
构建初始全尺度卷积神经网络模型；
获取历史目标超声影像集；所述历史目标超声影像集包括多张历史目标超声影像；
对所述历史目标超声影像集进行增强处理，得到增强处理后的历史目标超声影像集；
根据增强处理后的历史目标超声影像集，利用联合损失函数对初始全尺度卷积神经网络模型进行训练，得到全尺度卷积神经网络模型。
7.根据权利要求6所述的一种超声影像的目标区域分割方法，其特征在于，对所述历史目标超声影像集进行增强处理，得到增强处理后的历史目标超声影像集，包括：
从像素级串行增强处理集中任选一个或多个像素级增强算法，对所述历史目标超声影像集进行像素级串行增强处理，得到第一增强历史目标超声影像集；像素级串行增强处理集包括亮度调整、锐度调整、高斯噪声、高斯模糊和对比度调整；
从空间级串行增强处理集中任选一个或多个像素级增强算法，对所述历史目标超声影像集进行空间级串行增强处理，得到第二增强历史目标超声影像集；空间级串行增强处理集包括：旋转、缩放、水平翻转、垂直平移、水平平移、垂直错切和水平错切；
从空间级串行增强处理集中任选一个或多个像素级增强算法，对所述第一增强历史目标超声影像集进行空间级串行增强处理，得到第三增强历史目标超声影像集；
确定所述第二增强历史目标超声影像集与所述第三增强历史目标超声影像集的并集为增强处理后的历史目标超声影像集。
8.一种超声影像的目标区域分割***，其特征在于，包括：
待测超声影像获取模块，用于获取待测超声影像；
目标区域分割模块，用于将所述待测超声影像输入到全尺度卷积神经网络模型中，得到目标区域分割结果；所述全尺度卷积神经网络模型是根据增强处理后的历史目标超声影像集，利用联合损失函数对初始全尺度卷积神经网络模型进行训练后得到的；所述初始全尺度卷积神经网络模型包括依次连接的编码器、全局局部特征混合模块网络和解码器；所述编码器和所述解码器通过多个通道多尺度注意力门控模块连接。
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至7中任一项所述的一种超声影像的目标区域分割方法。
10.根据权利要求9所述的一种电子设备，其特征在于，所述存储器为可读存储介质。
CN202311691938.8A 2023-12-11 2023-12-11 一种超声影像的目标区域分割方法、***及电子设备 Pending CN117934824A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311691938.8A CN117934824A (zh) 2023-12-11 2023-12-11 一种超声影像的目标区域分割方法、***及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311691938.8A CN117934824A (zh) 2023-12-11 2023-12-11 一种超声影像的目标区域分割方法、***及电子设备

Publications (1)

Publication Number Publication Date
CN117934824A true CN117934824A (zh) 2024-04-26

Family

ID=90763796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311691938.8A Pending CN117934824A (zh) 2023-12-11 2023-12-11 一种超声影像的目标区域分割方法、***及电子设备

Country Status (1)

Country Link
CN (1) CN117934824A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118096584A (zh) * 2024-04-29 2024-05-28 齐鲁工业大学(山东省科学院) 基于上下文感知和多尺度扩散网络的超声图像增强方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118096584A (zh) * 2024-04-29 2024-05-28 齐鲁工业大学(山东省科学院) 基于上下文感知和多尺度扩散网络的超声图像增强方法

Similar Documents

Publication Publication Date Title
CN112132959B (zh) 数字岩心图像处理方法、装置、计算机设备及存储介质
CN113674253B (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
CN112819910B (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN111627019A (zh) 一种基于卷积神经网络的肝脏肿瘤分割方法及***
Chen et al. PCAT-UNet: UNet-like network fused convolution and transformer for retinal vessel segmentation
CN112446891B (zh) 基于U-Net网络脑胶质瘤的医学图像分割方法
CN112862830B (zh) 一种多模态图像分割方法、***、终端及可读存储介质
CN112712528B (zh) 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN114419020B (zh) 医学图像分割方法、装置、计算机设备及存储介质
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及***
CN111612756B (zh) 冠状动脉特异性钙化检测方法及装置
CN113838067B (zh) 肺结节的分割方法和装置、计算设备、可存储介质
CN117934824A (zh) 一种超声影像的目标区域分割方法、***及电子设备
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN112329871A (zh) 一种基于自校正卷积与通道注意力机制的肺结节检测方法
CN117152433A (zh) 一种基于多尺度跨层注意力融合网络的医学图像分割方法
CN114943721A (zh) 一种建立基于改进U-Net网络的颈部超声图像分割方法
CN117058392A (zh) 一种基于卷积局部增强的多尺度Transformer图像语义分割方法
Fan et al. EGFNet: Efficient guided feature fusion network for skin cancer lesion segmentation
CN116433654A (zh) 一种改进的U-Net网络实现脊柱整体分割方法
CN115018780A (zh) 一种融合全局推理和mlp架构的甲状腺结节分割方法
CN114937044A (zh) 一种轻量化图像分割方法、装置及存储介质
CN117392137B (zh) 一种颅内动脉瘤图像检测方法、***、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication