CN116883669A - 一种基于动态注意力联邦框架的多目标分割技术 - Google Patents
一种基于动态注意力联邦框架的多目标分割技术 Download PDFInfo
- Publication number
- CN116883669A CN116883669A CN202310967811.8A CN202310967811A CN116883669A CN 116883669 A CN116883669 A CN 116883669A CN 202310967811 A CN202310967811 A CN 202310967811A CN 116883669 A CN116883669 A CN 116883669A
- Authority
- CN
- China
- Prior art keywords
- model
- training
- data
- dynamic attention
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 55
- 238000005516 engineering process Methods 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000012360 testing method Methods 0.000 claims abstract description 33
- 238000013461 design Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 238000010191 image analysis Methods 0.000 abstract description 3
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 239000013598 vector Substances 0.000 description 6
- 230000002861 ventricular Effects 0.000 description 6
- 239000008280 blood Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000747 cardiac effect Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000004165 myocardium Anatomy 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000005240 left ventricle Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 210000005241 right ventricle Anatomy 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于动态注意力联邦框架的多目标分割技术,涉及图像分析技术领域。本发明首先构建数据集,通过在不同医院收集数据集以后进行数据划分,根据病人分为训练集和测试集,然后搭建模型,将每家医院搭建相同的模型。该模型将收集的图像作为输入,并设计损失函数,采用但不限于Dice损失和Focal损失,随之训练模型,首先对数据进行预处理,包括但不限于随机翻转和随机对比度增强,最后测试模型。在训练完成后,将训练好的模型和模型权重用于内部测试集和外部测试集进行测试。本发明可在小数据集上达到优秀的多目标分割能力并且具有较强的泛化能力。与此同时,该技术无需数据共享,以达到保护数据隐私以及解决数据孤岛问题。
Description
技术领域
本发明涉及图像分析技术领域,特别是涉及一种基于动态注意力联邦框架的多目标分割技术。
背景技术
多目标分割是医学图像分析中一项重要而具有挑战性的任务,包括对心脏分割的处理,其中涉及到左心室血腔(LV)、左心室心肌(Myo)、右心室血腔(RV)等多个目标的分割,尽管多目标分割结果可以为多个下游任务提供有价值的解剖信息,例如计算机辅助诊断、手术计划和其他临床应用,但其成功取决于大量高质量标记训练数据集的可用性。然而,在许多情况下,这些数据集的收集和标注成本是难以承受的;这是因为:首先,对于一个医院来说,收集足够高质量的CT信息和注释是一项长期的任务;其次,医院数据集中的数据分布不足,从而限制了模型的泛化能力;第三,为了保护患者隐私,集中存储来自多家医院的患者数据集是不切实际的。因此,如何减轻医学数据的收集和注释负担,降低所需的训练信息量,并训练分布式多目标分割模型以避免信息集中存储,是一个长期且必要的课题;
为了有效地分割医学图像中的多个目标,已经提出了许多基于深度学习的方法,其中,UNet作为一种常见的医学图像分割网络,已广泛应用于许多任务。近年来,许多基于UNet的transformer模型被提出用于心脏分割,以建立左右心室之间的远距离依赖关系,Swin-Unet作为一个使用使用纯transformer的分割网络,在Swintransformer的基础对心脏进行分割,包括左心室血腔、左心室心肌和右心室血腔,UTNet在私有数据集上验证其对心脏分割的有效性,随后,为了改进UTNet,UTNetV2网络被提出用于提高分割性能;另外,D-Former、TransFusion、nnFormer等网络相继被提出用于分割心脏中多个目标。然而,transformer模型中的参数数量很大,这需要大量的数据来进行网络训练,由于多目标的注释负担较大,仅在一个医院内准备用于多目标分割的整个训练数据集将导致巨大的压力;因此,如何促进多家医院协同准备数据集是一个值得探索的方向,从而减轻个体医院的负担,保护患者隐私,此外,多目标分割还面临着类别失衡等诸多困难;为此,本方案提出一种基于动态注意力联邦框架的多目标分割技术。
发明内容
本发明的目的在于提供一种基于动态注意力联邦框架的多目标分割技术,该技术可利用不同医院的数据集,在数据不共享的情况下,利用本发明的动态注意力联邦框架对多目标进行分割,同时缓解多目标分割任务中不平衡等问题。
本发明是通过以下技术方案实现的:
本发明为一种基于动态注意力联邦框架的多目标分割技术,包括构建数据集、搭建模型、设计损失函数、训练模型和测试模型;所述构建数据集,通过在不同医院收集数据集以后进行数据划分,根据病人分为训练集和测试集,所述搭建模型,将每家医院搭建相同的模型,该模型将图像作为输入,所述设计损失函数,采用但不限于Dice损失和Focal损失,所述训练模型,首先对数据进行预处理,包括但不限于随机翻转和随机对比度增强,所述测试模型,在训练完成后,将训练好的模型和模型权重用于内部测试集和外部测试集进行测试,以评估该框架的分割性能以及鲁棒性。
所述构建数据集,训练集用于联邦学习,让分割模型学习到数据特征,以进行图像分割,采用训练集完成训练以后,在中央服务器中保存模型参数,内部测试集和外部测试集用于测试训练好的模型性能以及泛化能力。
所述搭建模型,搭建的相同模型将图像作为输入,其通道数包括3通道或1通道,并且图像尺寸与数据集构建时的尺寸大小相同。
所述训练模型,将每家医院的数据集中的训练集输入到构建好的网络模型中进行训练,训练多轮以后将模型权重上传到服务器,每家医院包括在不同时间进行训练,或同时训练,得到多家医院的权重后进行加权平均,然后中央服务器将新的权重下发给医院,多次通信以后,完成训练。
优选地,本发明包括基于UNet技术,所述模型整体结构作为一个U型结构,包括编码器、解码器和跳跃连接,解码器中包括动态注意力模块。
所述模型整体结构,在编码器阶段,使用连续多个3×3卷积对通道进行扩增,以捕获丰富的语义信息,此外,最大池化层用于减小特征图的大小,在解码器阶段,特征图被上采样并与从编码器中获取的语义特征图进行通道拼接,然后使用动态注意力模块进行卷积操作,通过动态注意力模块对卷积核进行自适应选择,最后生成分割掩膜图。
所述动态注意力模块,首先,特征图x∈RB×2C×W×H经过3×3卷积降低通道数以后,再分别通过一个3×3组卷积和5×5组卷积对特征图x1∈RB×C×W×H进行卷积,然后在高维空间中从第一维度上将这两个特征图拼接起来,得到新的特征图x2∈RB×2×C×W×H,其中,B表示batch大小,C表示通道数,H和W表示特征图的高和宽;上述过程的数学表达式如下:
x1=Conv3(x)
x2=Concat((unsq(GConv3(x1),dim=1),unsq(GConv5(x1),dim=1)))
其中Conv3表示3×3卷积,GConv3表示3×3组卷积,GConv5表示5×5组卷积,unsq(x,dim=1)代表在第一维度上增加一个维度,Concat(,)代表在第一维度上拼接两组特征图,特征图x2在第一维度上按照元素被相加,随后将空间信息嵌入到通道中仪生成一维向量x3∈RC。之后,再通过全连接层得到两个一维向量。将这两个一维向量串联后,使用softmax,获得概率值,然后将其乘以x2以动态赋予权重。最后,在1×1卷积层之后,输出最终的特征图。x2到x3的数学表达式如下:
x3=Mean(Sum(x2,dim=1),dim=3,4)
其中,Sum(x,dim=1)表示在第一个维度上按照元素相加,Mean(x,dim=3,4)代表按照高度和宽度维度上的平均值来压缩特征图。
综上,本发明应用的技术包括设计了一个动态注意力联邦分割框架;该框架包括联邦学习框架和U型动态注意力分割网络;该网络设计了一个动态注意力模块。
本发明具有以下有益效果:
本发明一种基于动态注意力联邦框架的多目标分割技术,可在小数据集上达到优秀的多目标分割能力并且具有较强的泛化能力,与此同时,该技术无需数据共享,以达到保护数据隐私以及解决数据孤岛问题;此外针对多目标分割中类别不平衡的问题,在本发明技术下得到了缓解。
当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于动态注意力联邦框架的多目标分割技术的操作方法流程图;
图2为本发明提供的动态注意力联邦框架图;
图3为本发明提供的U型动态注意力模型图;
图4为本发明提供的动态注意力模块图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例1
请参照图1-图4所示,本发明为一种基于动态注意力联邦框架的多目标分割技术,其动态注意力联邦分割框架包括训练阶段和测试阶段,不同医院表示各个客户端;首先,多家医院使用自己的训练数据集分别在本地训练分割模型,然后将权重上传到中央服务器。在中央服务器中,通过聚合将不同医院的权重聚合起来以获得加权平均值,并将新的权重重新分配给医院以进行下一轮训练。这一轮训练过程被称为一次通信,多次通信以后,训练完成。加权的计算方式如下:
其中W表示在中央服务器聚合以后的权重,i=1,2,3...n,CN表示客户端的数量。wi为第i家客户端的权重。Ni是第i家医院的数据量。训练完成以后,不同医院得到新的权重可用于测试本医院的内部测试集。同时,该权重也可用于外部测试集。
本发明在UNet的基础上,设计了该模型,其结构如下:
1、模型整体结构
作为一个U型结构,该模型包括编码器、解码器和跳跃连接,在编码器阶段,使用连续多个3×3卷积对通道进行扩增,以捕获丰富的语义信息。此外,最大池化层用于减小特征图的大小。在解码器阶段,特征图被上采样并与从编码器中获取的语义特征图进行通道拼接,然后使用动态注意力模块进行卷积操作,通过动态注意力模块对卷积核进行自适应选择。最后生成分割掩膜图。
2、动态注意力模块
首先,特征图x∈RB×2C×W×H经过3×3卷积降低通道数以后,再分别通过一个3×3组卷积和5×5组卷积对特征图x1∈RB×C×W×H进行卷积,然后在高维空间中从第一维度上将这两个特征图拼接起来,得到新的特征图x2∈RB×2×C×W×H,其中,B表示batch大小,C表示通道数,H和W表示特征图的高和宽;上述过程的数学表达式如下:
x1=Conv3(x)
x2=Comcat((unsq(GConv3(x1),dim=1),unsq(GConv5(x1),dim=1)))
其中Conv3表示3×3卷积,GConv3表示3×3组卷积,GConv5表示5×5组卷积,unsq(x,dim=1)代表在第一维度上增加一个维度,Concat(,)代表在第一维度上拼接两组特征图,特征图x2在第一维度上按照元素被相加,随后将空间信息嵌入到通道中仪生成一维向量x3∈RC。之后,再通过全连接层得到两个一维向量。将这两个一维向量串联后,使用softmax,获得概率值,然后将其乘以x2以动态赋予权重。最后,在1×1卷积层之后,输出最终的特征图。x2到x3的数学表达式如下:
x3=Mean(Sum(x2,dim=1),dim=3,4)
其中,Sum(x,dim=1)表示在第一个维度上按照元素相加,Mean(x,dim=3,4)代表按照高度和宽度维度上的平均值来压缩特征图。
实施例2
请参照图1-图4所示,本发明为一种基于动态注意力联邦框架的多目标分割技术,包括以下6个流程:
1、构建数据集
不同医院收集数据集以后,将图像进行统一调整大小,可调整为224×224或者其他规格进行模型训练,然后进行数据划分,根据病人分为训练集和测试集,以防止数据泄露,其中,训练集用于联邦学习,让分割模型学习到数据特征,以进行图像分割,采用训练集完成训练以后,在中央服务器中保存模型参数,内部测试集和外部测试集用于测试训练好的模型性能以及泛化能力;
2、搭建模型
基于上述提及的分割网络,每家医院搭建相同的模型,该模型将图像作为输入,其通道数可以是3通道或1通道,并且图像尺寸应与数据集构建时的尺寸大小相同,编码器中特征维度在以下范围内进行扩增,但不仅限于此,每一层的特征图维度分别升为[32,64,128,256,512],然后利用解码器进行自适应为不同卷积核赋予权重,以生成分割掩膜图;
3、设计损失函数
为上述模型设计一个损失函数,该发明采用但不限于Dice损失和Focal损失,具体数学表达式如下:
Loss=LossDice+Lossfocal
其中LossDice表示多目标Dice损失函数。多目标Dice损失是一种基于区域的损失函数,它将单目标骰子损失函数扩展到多个标签的情况,Focal损失函数是基于交叉熵损失函数的改进,可以通过为难以分类的错误分类样本分配更高的权重来平衡前景和背景之间的关系,Focal损失函数使模型对类不平衡问题更具鲁棒性,这在许多计算机视觉任务中很常见,多目标Dice损失计算如下:
其中y表示真实标签,是模型预测的标签。本发明旨在分割多目标。因此,我们需要计算每个通道的Dice损失/>然后将其除以通道数C。在这项工作中,i=0,1,2...C。每个通道的Dice损失计算如下:
其中表示第i个通道上y和/>之间的交集。在这项工作中,∈=1e-5。Focal损失函数的公式如下:
Lossfocal(pt)=-αt(1-pt)γlog(pt)
其中pt是模型预测正样本的概率。αt和γ是常数。
4、训练模型
在模型训练开始前对数据进行预处理,包括但不限于随机翻转、随机对比度增强,在本发明中,使用上述设计得损失函数来训练模型,以便能够监控模型训练程度并及时调整模型参数,将每家医院的数据集中的训练集输入到构建好的网络模型中进行训练,训练多轮以后将模型权重上传到服务器,每家医院可以在不同时间进行训练,也可以同时训练,得到多家医院的权重后进行加权平均,然后中央服务器将新的权重下发给医院,多次通信以后,完成训练;
5、测试模型
在训练完成后,将训练好的模型和模型权重用于内部测试集和外部测试集进行测试以评估该框架的分割性能以及鲁棒性。
综上,本发明的技术要点包括联邦框架和动态注意力分割模型;使用U型动态注意力分割模型,基础模型不限于UNet等;同时,本发明提供了一种新的分割模型和一种新的多目标分割框架;本发明技术可在小数据集上进行多目标分割,以达到优秀的分割效果;同时本发明技术无需将数据共享以达到保护数据隐私和解决数据孤岛问题,即无需将不同医院的数据集混合在一起;该技术可调节多目标分割中类别不平衡问题;同时可调节不同医院不同设备之间造成的数据分布问题;因此,该技术具有更强的泛化能力。
在本说明书的描述中,参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (8)
1.一种基于动态注意力联邦框架的多目标分割技术,其特征在于,包括构建数据集、搭建模型、设计损失函数、训练模型和测试模型;
所述构建数据集,通过在不同医院收集数据集以后进行数据划分,根据病人分为训练集和测试集。所述搭建模型,将每家医院搭建相同的模型,该模型将图像作为输入。所述设计损失函数,采用但不限于Dice损失和Focal损失。所述训练模型,首先对数据进行预处理,包括但不限于随机翻转和随机对比度增强。所述测试模型,在训练完成后,将训练好的模型和模型权重用于内部测试集和外部测试集进行测试,以评估该框架的分割性能以及鲁棒性。
2.根据权利要求1所述的一种基于动态注意力联邦框架的多目标分割技术,其特征在于,所述构建数据集,训练集用于联邦学习,让分割模型学习到数据特征,以进行图像分割,采用训练集完成训练以后,在中央服务器中保存模型参数,内部测试集和外部测试集用于测试训练好的模型性能以及泛化能力。
3.根据权利要求1所述的一种基于动态注意力联邦框架的多目标分割技术,其特征在于,所述搭建模型,搭建的相同模型将图像作为输入,其通道数包括3通道或1通道,并且图像尺寸与数据集构建时的尺寸大小相同。
4.根据权利要求1所述的一种基于动态注意力联邦框架的多目标分割技术,其特征在于,所述训练模型,将每家医院的数据集中的训练集输入到构建好的网络模型中进行训练,训练多轮以后将模型权重上传到服务器,每家医院包括在不同时间进行训练,或同时训练,得到多家医院的权重后进行加权平均,然后中央服务器将新的权重下发给医院,多次通信以后,完成训练。
5.根据权利要求1所述的一种基于动态注意力联邦框架的多目标分割技术,其特征在于,包括基于UNet技术,所述模型整体结构作为一个U型结构,包括编码器、解码器和跳跃连接,解码器中包括动态注意力模块。
6.根据权利要求5所述的一种基于动态注意力联邦框架的多目标分割技术,其特征在于,所述模型整体结构,在编码器阶段,使用连续多个3×3卷积对通道进行扩增,以捕获丰富的语义信息,此外,最大池化层用于减小特征图的大小,在解码器阶段,特征图被上采样并与从编码器中获取的语义特征图进行通道拼接,然后使用动态注意力模块进行卷积操作,通过动态注意力模块对卷积核进行自适应赋予权重,最后生成分割掩膜图。
7.根据权利要求6所述的一种基于动态注意力联邦框架的多目标分割技术,其特征在于,所述解码器阶段,特征图被上采样并与从编码器中获取的语义特征图进行通道拼接,然后使用动态注意力模块进行卷积操作,通过动态注意力模块对卷积核进行自适应选择,最后生成分割掩膜图。
8.根据权利要求7所述的一种基于动态注意力联邦框架的多目标分割技术,其特征在于,所述动态注意力模块,首先将特征图经过3×3卷积降低通道数,再分别通过一个3×3组卷积和5×5组卷积对特征图进行卷积,最后在高维空间中从第一维度上将这两个特征图拼接起来,得到新的特征图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310967811.8A CN116883669A (zh) | 2023-08-03 | 2023-08-03 | 一种基于动态注意力联邦框架的多目标分割技术 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310967811.8A CN116883669A (zh) | 2023-08-03 | 2023-08-03 | 一种基于动态注意力联邦框架的多目标分割技术 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116883669A true CN116883669A (zh) | 2023-10-13 |
Family
ID=88262128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310967811.8A Pending CN116883669A (zh) | 2023-08-03 | 2023-08-03 | 一种基于动态注意力联邦框架的多目标分割技术 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116883669A (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108062754A (zh) * | 2018-01-19 | 2018-05-22 | 深圳大学 | 基于密集网络图像的分割、识别方法和装置 |
CN111681176A (zh) * | 2020-05-14 | 2020-09-18 | 华南农业大学 | 自适应卷积的残差修正单幅图像去雨方法 |
CN111882554A (zh) * | 2020-08-06 | 2020-11-03 | 桂林电子科技大学 | 一种基于SK-YOLOv3的电力线故障智能检测方法 |
CN113012172A (zh) * | 2021-04-09 | 2021-06-22 | 杭州师范大学 | 一种基于AS-UNet的医学图像分割方法及*** |
CN114998265A (zh) * | 2022-06-06 | 2022-09-02 | 长春工业大学 | 一种基于改进U-Net的肝脏肿瘤分割方法 |
CN115187783A (zh) * | 2022-09-09 | 2022-10-14 | 之江实验室 | 基于联邦学习的多任务混合监督医疗图像分割方法及*** |
CN115330663A (zh) * | 2021-12-07 | 2022-11-11 | 温州医科大学 | 眼前节oct图像中巩膜镜和泪液镜边界分割方法 |
CN115359036A (zh) * | 2022-09-05 | 2022-11-18 | 桂林电子科技大学 | 基于同态加密的联邦学习肺结节检测方法 |
CN115661144A (zh) * | 2022-12-15 | 2023-01-31 | 湖南工商大学 | 基于可变形U-Net的自适应医学图像分割方法 |
CN115775010A (zh) * | 2022-11-23 | 2023-03-10 | 国网江苏省电力有限公司信息通信分公司 | 基于横向联邦学习的电力数据共享方法 |
CN115861650A (zh) * | 2022-12-14 | 2023-03-28 | 安徽大学 | 基于注意力机制和联邦学习的阴影检测方法、装置 |
CN116245886A (zh) * | 2023-02-15 | 2023-06-09 | 大连理工大学 | 一种基于联邦学习与注意力机制的医学图像分割方法 |
-
2023
- 2023-08-03 CN CN202310967811.8A patent/CN116883669A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108062754A (zh) * | 2018-01-19 | 2018-05-22 | 深圳大学 | 基于密集网络图像的分割、识别方法和装置 |
CN111681176A (zh) * | 2020-05-14 | 2020-09-18 | 华南农业大学 | 自适应卷积的残差修正单幅图像去雨方法 |
CN111882554A (zh) * | 2020-08-06 | 2020-11-03 | 桂林电子科技大学 | 一种基于SK-YOLOv3的电力线故障智能检测方法 |
CN113012172A (zh) * | 2021-04-09 | 2021-06-22 | 杭州师范大学 | 一种基于AS-UNet的医学图像分割方法及*** |
CN115330663A (zh) * | 2021-12-07 | 2022-11-11 | 温州医科大学 | 眼前节oct图像中巩膜镜和泪液镜边界分割方法 |
CN114998265A (zh) * | 2022-06-06 | 2022-09-02 | 长春工业大学 | 一种基于改进U-Net的肝脏肿瘤分割方法 |
CN115359036A (zh) * | 2022-09-05 | 2022-11-18 | 桂林电子科技大学 | 基于同态加密的联邦学习肺结节检测方法 |
CN115187783A (zh) * | 2022-09-09 | 2022-10-14 | 之江实验室 | 基于联邦学习的多任务混合监督医疗图像分割方法及*** |
CN115775010A (zh) * | 2022-11-23 | 2023-03-10 | 国网江苏省电力有限公司信息通信分公司 | 基于横向联邦学习的电力数据共享方法 |
CN115861650A (zh) * | 2022-12-14 | 2023-03-28 | 安徽大学 | 基于注意力机制和联邦学习的阴影检测方法、装置 |
CN115661144A (zh) * | 2022-12-15 | 2023-01-31 | 湖南工商大学 | 基于可变形U-Net的自适应医学图像分割方法 |
CN116245886A (zh) * | 2023-02-15 | 2023-06-09 | 大连理工大学 | 一种基于联邦学习与注意力机制的医学图像分割方法 |
Non-Patent Citations (1)
Title |
---|
张跃 等,: "基于视觉信息的目标检测与跟踪", vol. 2022, 31 August 2022, 《北京邮电大学出版社》, pages: 93 - 94 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11887311B2 (en) | Method and apparatus for segmenting a medical image, and storage medium | |
WO2021159742A1 (zh) | 图像分割方法、装置和存储介质 | |
CN111932550B (zh) | 一种基于深度学习的3d心室核磁共振视频分割*** | |
Deng et al. | Transbridge: A lightweight transformer for left ventricle segmentation in echocardiography | |
CN109191476A (zh) | 基于U-net网络结构的生物医学图像自动分割新方法 | |
CN111932529B (zh) | 一种图像分类分割方法、装置及*** | |
CN111429460A (zh) | 图像分割方法、图像分割模型训练方法、装置和存储介质 | |
CN110838125A (zh) | 医学图像的目标检测方法、装置、设备、存储介质 | |
CN109508787A (zh) | 用于超声位移估计的神经网络模型训练方法及*** | |
WO2022252929A1 (zh) | 医学图像中组织结构的层级分割方法、装置、设备及介质 | |
CN112750137B (zh) | 基于深度学习的肝脏肿瘤分割方法及*** | |
WO2022178997A1 (zh) | 医学影像配准方法、装置、计算机设备及存储介质 | |
CN113191390A (zh) | 一种图像分类模型的构建方法、图像分类方法及存储介质 | |
KR20190048279A (ko) | 합성곱 신경망 기반의 영상 처리 방법 및 장치 | |
CN114565816A (zh) | 一种基于全局信息融合的多模态医学图像融合方法 | |
CN112381846A (zh) | 一种基于非对称网络的超声甲状腺结节分割方法 | |
CN113538334A (zh) | 一种胶囊内窥镜图像病变识别装置及训练方法 | |
CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
CN116091412A (zh) | 一种从pet/ct图像中分割肿瘤的方法 | |
Li et al. | S 3 egANet: 3D spinal structures segmentation via adversarial nets | |
CN112164447B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN116883669A (zh) | 一种基于动态注意力联邦框架的多目标分割技术 | |
CN116309507A (zh) | 注意力机制下对ctp进行特征融合的ais病灶预测方法 | |
CN116030043A (zh) | 一种多模态医学图像分割方法 | |
CN112862089B (zh) | 一种具有可解释性的医学图像深度学习方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |