CN113688862B - 一种基于半监督联邦学习的脑影像分类方法及终端设备 - Google Patents

一种基于半监督联邦学习的脑影像分类方法及终端设备 Download PDF

Info

Publication number
CN113688862B
CN113688862B CN202110780755.8A CN202110780755A CN113688862B CN 113688862 B CN113688862 B CN 113688862B CN 202110780755 A CN202110780755 A CN 202110780755A CN 113688862 B CN113688862 B CN 113688862B
Authority
CN
China
Prior art keywords
brain
model
training
brain image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110780755.8A
Other languages
English (en)
Other versions
CN113688862A (zh
Inventor
雷柏英
梁恩民
刘勇
汪天富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110780755.8A priority Critical patent/CN113688862B/zh
Publication of CN113688862A publication Critical patent/CN113688862A/zh
Application granted granted Critical
Publication of CN113688862B publication Critical patent/CN113688862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于半监督联邦学习的脑影像分类方法及终端设备，方法包括步骤：服务端将经过初始化处理的全局模型发送给每个中心的客户端；每个中心的客户端采用各自的脑灰质图像对接收到的全局模型进行训练，在经过预定次数的迭代之后得到训练模型，并将所述训练模型回传给服务端；服务端对各客户端回传的训练模型进行整合得到新全局模型，并将所述新全局模型发送给每个客户端再次进行训练，重复所述训练、整合步骤，直至整合得到的终全局模型收敛；将待测sMRI脑影像数据输入到所述终全局模型中，输出脑影像分类结果。本发明提供的方法在防止数据泄露和保护患者隐私的同时，还提升了sMRI脑影像分类准确率。

Description

一种基于半监督联邦学习的脑影像分类方法及终端设备
技术领域
本发明涉及深度学习算法应用领域，特别涉及一种基于半监督联邦学习的脑影像分类方法及终端设备。
背景技术
阿尔茨海默病(Alzheimer’s Disease，AD)是一种神经退行性疾病，是危害老年人身体健康最常见的疾病之一，其主要的症状是引起记忆力和认知功能衰退，使得患者不能够生活自理。在临床上，AD的诊断需要医生结合病人的病史和临床表现以及各种检测结果做出判断，其依赖于临床经验，费时费力，因此亟需快速有效的辅助诊断方法。随着人工智能的发展，使用计算机辅助诊断AD的研究也大量出现。
几年来，学者对AD的研究主要集中在对脑影像的研究上面。深度学习作为一种新兴的技术，已经在各种医学影像研究中取得了不错的成绩，因此也被应用于脑影像的研究中作为一种计算机辅助诊断技术。
然而，当前的AD脑影像研究存在着如下几个问题：首先就是研究人员为了使用更多脑影像数据训练深度神经给网络模型，会从不同中心收集数据进行集中化训练，然而人们的脑影像是一种隐私敏感的数据，这种做法会造成数据滥用和隐私泄露；其次，有标签的脑影像需要有临床经验的专家来标注，因此脑影像中存在这少量有标签数据和大量的无标签数据，目前研究忽视了大量的无标签数据的作用；再者，目前研究当中的深度神经网络模型性能依然有限，需要进一步提升。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的不足，提供一种基于半监督联邦学习的脑影像分类方法及终端设备，旨在解决现有深度学习方法在对脑影像进行分类时存在数据滥用以及分类准确率较差的问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
一种基于半监督联邦学习的脑影像分类方法，其中，包括步骤：
对每个中心存储的sMRI脑影像数据分别进行预处理，得到脑灰质图像，所述脑灰质图像包括已标签脑灰质图像和无标签脑灰质图像；
服务端将经过初始化处理的全局模型发送给每个中心的客户端，所述全局模型为ResNet模型，所述ResNet模型包括两个分支，其中，第一分支用于预测无标签脑灰质图像的ROI特征，第二分支用于对脑灰质图像进行分类预测；
每个中心的客户端采用各自的脑灰质图像对接收到的全局模型进行训练，在经过预定次数的迭代之后得到训练模型，并将所述训练模型回传给服务端；
服务端对各客户端回传的训练模型进行整合得到新全局模型，并将所述新全局模型发送给每个客户端再次进行训练，重复所述训练、整合步骤，直至整合得到的终全局模型收敛；
将待测sMRI脑影像数据输入到所述终全局模型中，输出脑影像分类结果。
所述基于半监督联邦学习的脑影像分类方法，其中，所述ResNet模型还包括位于所述两个分支前的3D注意力模块，以及位于所述3D注意力模块和第二分支之间的注意力门控模块。
所述基于半监督联邦学习的脑影像分类方法，其中，所述3D注意力模块由一个核大小为1的卷积核和ReLU激活函数组成；所述3D注意力模块用于将ResNet模型提取到的多通道特征图与3D注意力模块生成的注意图相乘，得到新的特征图。
所述基于半监督联邦学习的脑影像分类方法，其中，所述注意力门控模块包括分别对多通道特征图和门控信号进行卷积的第一卷积核，分别对经过卷积的多通道特征图和门控信号进行重采样的第一采样单元，对经过重采样的多通道特征图和门控信号进行相加的加法单元，位于所述加法单元后方且依次连接的ReLU激活函数、第二卷积核、Sigmoid激活函数、第二采样模块以及乘法单元。
所述基于半监督联邦学习的脑影像分类方法，其中，对每个中心存储的sMRI脑影像数据分别进行预处理的步骤包括：
对sMRI脑影像的偏置进行矫正，去除所述sMRI脑影像中的头骨部分，把灰质部分从sMRI脑影像中分割出来，得到初始脑灰质图像；
对所述初始脑灰质图像进行空间归一化处理，得到脑灰质图像。
所述基于半监督联邦学习的脑影像分类方法，其中，每个中心的客户端采用各自的脑灰质图像对接收到的全局模型进行训练的步骤包括：
采用公式
Figure BDA0003156791620000021
对全局模型中的模型参数进行优化，其中，n是训练样本的容量，F(w)为目标函数，f(w；si)表示模型参数在训练样本si上的损失函数，所述训练样本选自于脑灰质图像。
所述基于半监督联邦学习的脑影像分类方法，其中，在经过预定次数的迭代之后得到训练模型的步骤中，每次迭代的公式为：
Figure BDA0003156791620000022
Figure BDA0003156791620000023
其中，η是学习率，b是由参与训练的样本组成的batch，/>
Figure BDA0003156791620000024
是模型参数计算的梯度。
所述基于半监督联邦学习的脑影像分类方法，其特征在于，服务端对各客户端回传的训练模型进行整合得到新全局模型的步骤中，整合公式为：
Figure BDA0003156791620000031
一种存储介质，其中，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本发明任意一项基于半监督联邦学习的脑影像分类方法中的步骤。
一种终端设备，其中，包括处理器，适于实现各指令；以及存储介质，适于存储多条指令，所述指令适于由处理器加载并执行本发明任意一项基于半监督联邦学习的脑影像分类方法中的步骤。
有益效果：与现有技术相比，本发明提供的基于半监督联邦学习的脑影像分类方法具有以下优点：本发明方法应用联邦学习可以在不集中数据的情况下，利用多中心的sMRI脑影像数据对全局模型进行训练，防止数据泄露的同时保护了患者的隐私；本发明提出了一个新型的多分支深度神经网络模型结构，此模型用于半监督联邦学习，充分利用了大量无标签数据来提高模型的性能和泛化能力；本发明还提出使用注意力机制来关注与疾病检测最相关的脑影像区域，从而提高训练出来的模型的分类性能。本发明在一个含有四个中心的AD脑影像数据库中进行了评估，实验表明，在加入无标签数据训练时下可以使得模型的分类准确率比仅使用有标签数据训练时上升5％，达到91.2％，优于现在最先进的方法。
附图说明
图1为本发明一种基于半监督联邦学习的脑影像分类方法较佳实施例的流程图。
图2为本发明全局模型的结构组成图。
图3为本发明全局模型中3D注意力模块与注意力门控模块的结构组成图。
图4为本发明一种终端设备的原理框图。
具体实施方式
本发明提供一种基于半监督联邦学习的脑影像分类方法及终端设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
阿尔茨海默病(Alzheimer’s disease,AD)是危害老年人健康的常见疾病之一。为了识别AD和分析该疾病，许多研究者使用了深度学习的方法，但是在其训练过程中存在着数据泄露和隐私保护的问题。并且，在医疗领域中仅存在有限数量的有标签数据和大量的无标签数据，传统的联邦学习框架并没有考虑到使用大量的无标签数据。
基于此，本发明提供了一种基于半监督联邦学习的脑影像分类方法，如图1所示，其包括步骤：
S10、对每个中心存储的sMRI脑影像数据分别进行预处理，得到脑灰质图像，所述脑灰质图像包括已标签脑灰质图像和无标签脑灰质图像；
S20、服务端将经过初始化处理的全局模型发送给每个中心的客户端，所述全局模型为ResNet模型，所述ResNet模型包括两个分支，其中，第一分支用于预测无标签脑灰质图像的ROI特征，第二分支用于对脑灰质图像进行分类预测；
S30、每个中心的客户端采用各自的脑灰质图像对接收到的全局模型进行训练，在经过预定次数的迭代之后得到训练模型，并将所述训练模型回传给服务端；
S40、服务端对各客户端回传的训练模型进行整合得到新全局模型，并将所述新全局模型发送给每个客户端再次进行训练，重复所述训练、整合步骤，直至整合得到的终全局模型收敛；
S50、将待测sMRI脑影像数据输入到所述终全局模型中，输出脑影像分类结果。
本实施例应用联邦学习可以在不集中数据的情况下，利用多中心的sMRI脑影像数据对全局模型进行训练，防止数据泄露的同时保护了患者的隐私；本实施例还提出了一个新型的多分支深度神经网络模型结构，此模型用于半监督联邦学习，充分利用了大量无标签数据来提高模型的性能和泛化能力；本实施例还提出使用注意力机制来关注与疾病检测最相关的脑影像区域，从而提高训练出来的模型的分类性能。
在一些具体的实施方式中，从全国的四个市级医院收集了共252名AD患者和215名正常对照的sMRI脑影像，并按照所属医院不同划分为四个中心，每个中心分别对所述sMRI脑影像数据分别进行预处理，得到脑灰质图像，所述脑灰质图像包括已标签脑灰质图像和无标签脑灰质图像。本实施例把每个中心当成一个客户端进行多中心的半监督联邦学习训练模型，其具体包括以下步骤：1)、首先服务端初始化全局模型，并将所述全局模型传输给每一个客户端；2)、客户端利用本地的脑灰质图像训练收到的全局模型，其中，无标签脑灰质图像用于完成预测ROI特征的辅助任务，已标签脑灰质图像用于完成分类任务和预测ROI特征的辅助任务；3)、在一定次数的迭代之后，客户端把经过训练的训练模型回传给服务端；4)、服务端对回传的模型进行整合得到新全局模型，并将所述新全局模型再次传输给客户端；重复上述2、3、4步骤，直至最后整合后的新全局模型收敛，得到终全局模型；5)、最后用所述终全局模型来对待测sMRI脑影像数据进行分类输出。
在一些实施方式中，对每个中心存储的sMRI脑影像数据分别进行预处理的步骤包括：对sMRI脑影像的偏置进行矫正，去除所述sMRI脑影像中的头骨部分，把灰质部分从sMRI脑影像中分割出来，得到初始脑灰质图像；对所述初始脑灰质图像进行空间归一化处理，为了补偿在空间归一化时的变形结构，对初始脑灰质图像进一步调制得到脑灰质图像。根据国际上通用的自动解剖标记(AAL)模板，把脑灰质图像划分成了90个不同的脑区，每张图像得到对应向量
Figure BDA0003156791620000051
这个向量将作为每张图像自动获得的辅助标签。
在一些实施方式中，半监督学习即在训练过程中加入了无标签数据，其目的在于让模型看见更多的数据从而提高性能。在医学脑影像数据中，存在大量的无标签数据，因此我们提出了一个半监督联邦学习***框架，使得模型能够观察到更多的无标签样本。本实施例进行了多次实验，为了模拟无标签数据参与的情况，在实验中我们会手动去除一些中心数据的标签，在应用的场景里，可以加入真正的无标签数据。为了适应半监督学习，本实施例设计了一个多分支深度神经网络模型(全局模型)，如图2所示，其基础模型是深度学习常用的ResNet模型，ResNet模型有4个先后顺序排布的层，在第二层之后我们把ResNet模型分为两个具有相同结构的分支，第一分支用于预测无标签脑灰质图像的ROI特征，这是通过自动提取得到的自带标签，不需要额外的人工标注。本实施例用均方误差(MSE)来描述预测值和实际值的差距，因此目标函数为：
Figure BDA0003156791620000052
其中，θ(xi)是全局模型对输入值的预测值，N是参与训练的样本的个数。本实施例中，第二分支用于分类任务，也是主要任务，分类的目标是AD患者的脑灰质图像和正常对照的脑灰质图像。本实施例使用分类中常用的交叉熵损失：
Figure BDA0003156791620000053
因此，有监督学习和无监督学习的目标函数就分别可以表示为：
Lsupervised＝Lclassification+βLregression，和Lunsupervised＝βLregression。其中，β是控制分类损失和回归损失相对大小的乘数因子。对于含有标签数据的中心，我们把公式Lsupervised＝Lclassification+βLregression作为目标函数；对于含无标签数据的中心，我们把公式Lunsupervised＝βLregression作为目标函数。本实施例提出的多分支深度神经网络模型用于半监督联邦学习，充分利用了大量无标签数据，可有效提高模型的分类性能和泛化能力。
在一些实施方式中，深度神经网络模型的训练需要大量数据的支撑，所以需要用到多个中心的数据。然而传统的训练方式是把每个中心的数据集中到一起进行训练，这种做法会有数据滥用和数据泄露的风险，因此我们采用联邦学习的方法来对模型进行训练，联邦学习可以保证数据不出本地的情况下完成对模型的训练。具体来讲，本实施例用到FedAvg算法作为基础算法，其优化目标与传统的机器学习一样，都是经验风险最小化。也就是说，本实施例采用采用公式
Figure BDA0003156791620000061
对全局模型中的模型参数进行优化，这个式子代表了优化目标是损失函数在所有样本中的全局最小值，其中，n是训练样本的容量，F(w)为目标函数，f(w；si)表示模型参数在训练样本si上的损失函数，所述训练样本选自于脑灰质图像。
在本实施例中，假设有K个中心，则目标偶函数将被重新写为：
Figure BDA0003156791620000062
Figure BDA0003156791620000063
其中，nk代表第k个中心的样本容量，Fk(w)是每个中心的目标函数，其等于：/>
Figure BDA0003156791620000064
这里的Ρk作为第k个中心的样本集合。由上面两个式子可以看出，全局目标函数即是每个中心目标函数的加权平均。
本实施中，FedAvg在训练开始之前，服务端把每个中心的全局模型进行相同的初始化。其把训练过程分成多轮，在每一轮训练中，各中心用本地数据对本地模型进行一定次数的迭代，每次迭代公式如下：
Figure BDA0003156791620000065
其中，η是学习率，b是由参与训练的样本组成的batch，/>
Figure BDA0003156791620000066
是模型参数计算的梯度。一轮迭代完成之后，每个中心把各自的本地模型上传至服务端，服务端则按照以下公式更新全局模型：
Figure BDA0003156791620000067
最后在全局模型收敛之时，训练完成。
本实施例提供的联邦学习框架可以在不集中数据的情况下，利用多中心的脑影像数据对深度学习模型进行训练，防止数据泄露的同时保护了AD患者的隐私。
在一些实施方式中，虽然现有的模型在自然图像领域取得了良好的效果，但是在脑影像的检测中依然有提升性能的空间。由于空间注意力机制能够在捕捉到对任务敏感的图像空间局部特征，因此本实施例提出在全局模型中加入两种新颖的空间注意力模块，以帮助我们的模型关注疾病相关的重要脑区域。
具体来讲，如图2和图3所示，所述ResNet模型包括位于所述两个分支前的3D注意力模块，以及位于所述3D注意力模块和第二分支之间的注意力门控模块。所述3D注意力模块由一个核大小为1的卷积核和ReLU激活函数组成；所述3D注意力模块用于将ResNet模型提取到的多通道特征图
Figure BDA0003156791620000071
与3D注意力模块生成的注意图相乘，得到新的特征图，其公式可以表示为：/>
Figure BDA0003156791620000072
本实施例还在ResNet模型的第二分支上加入了注意力门控模块，如图2和图3所示，所述注意力门控模块包括分别对多通道特征图和门控信号进行卷积的第一卷积核，分别对经过卷积的多通道特征图和门控信号进行重采样的第一采样单元，对经过重采样的多通道特征图和门控信号进行相加的加法单元，位于所述加法单元后方且依次连接的ReLU激活函数、第二卷积核、Sigmoid激活函数、第二采样模块以及乘法单元。
具体来讲，如图3所示，与上面的3D注意力模块不同，注意力门控模块除了要输入上层的多通道特征图，还要输入一个门控信号，这个门控信号为第一个分支所提取到的全局特征，也就是在第一个分支的全局平均池化层(GAP)所提取到的特征向量
Figure BDA0003156791620000073
此特征拥有最大的感受野以及丰富的全局信息，因此我们用此特征来指导生成具有全局与局部相关性的注意力图，同时增加两个分支之间的关联度。注意力门控模块具体的结构为：用核大小为1的卷积核对其卷积特征图/>
Figure BDA0003156791620000074
与门控信号/>
Figure BDA0003156791620000075
的通道数，再重采样到相同尺寸然后相加。然后依次通过：1.ReLU激活函数取正值；2.核大小为1的卷积核变为单通道；3.Sigmoid激活函数控制数值范围；4.重采样回原特征图大小。最后将得到的注意力图与原特征图相乘得到新的特征图，其公式可以表示为：/>
Figure BDA0003156791620000076
本实施例通过在ResNet模型中加入了一个3D注意力模块和一个注意力门控模块来关注与疾病检测最相关的脑影像区域，从而提高训练出来的模型的分类性能。
在一些实施方式中，还提供一种存储介质，其中，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本发明任意一项基于半监督联邦学习的脑影像分类方法中的步骤。
在一些实施方式中，还提供一种终端设备，如图4所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(CommunicationsInterface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
包括处理器，适于实现各指令；以及存储介质，适于存储多条指令，所述指令适于由处理器加载并执行本发明所述基于半监督联邦学习的脑影像分类方法中的步骤。
其中，包括处理器，适于实现各指令；以及存储介质，适于存储多条指令，所述指令适于由处理器加载并执行本发明所述基于半监督联邦学习的脑影像分类方法中的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于半监督联邦学习的脑影像分类方法，其特征在于，包括步骤：
对每个中心存储的sMRI脑影像数据分别进行预处理，得到脑灰质图像，所述脑灰质图像包括已标签脑灰质图像和无标签脑灰质图像；
服务端将经过初始化处理的全局模型发送给每个中心的客户端，所述全局模型为ResNet模型，所述ResNet模型包括两个分支，其中，第一分支用于预测无标签脑灰质图像的ROI特征，第二分支用于对脑灰质图像进行分类预测；
每个中心的客户端采用各自的脑灰质图像对接收到的全局模型进行训练，在经过预定次数的迭代之后得到训练模型，并将所述训练模型回传给服务端；
服务端对各客户端回传的训练模型进行整合得到新全局模型，并将所述新全局模型发送给每个客户端再次进行训练，重复所述训练、整合步骤，直至整合得到的终全局模型收敛；
将待测sMRI脑影像数据输入到所述终全局模型中，输出脑影像分类结果；
其中，所述ResNet模型还包括位于所述两个分支前的3D注意力模块，以及位于所述3D注意力模块和第二分支之间的注意力门控模块；所述3D注意力模块由一个核大小为1的卷积核和ReLU激活函数组成；所述3D注意力模块用于将ResNet模型提取到的多通道特征图与3D注意力模块生成的注意图相乘，得到新的特征图；
每个中心的客户端采用各自的脑灰质图像对接收到的全局模型进行训练的步骤包括：
采用公式
Figure FDA0004256972240000021
对全局模型中的模型参数进行优化，其中，n是训练样本的容量，F(w)为目标函数，f(w；si)表示模型参数在训练样本Si上的损失函数，所述训练样本选自于脑灰质图像；
在经过预定次数的迭代之后得到训练模型的步骤中，每次迭代的公式为：
Figure FDA0004256972240000022
其中，η是学习率，b是由参与训练的样本组成的batch，
Figure FDA0004256972240000023
是模型参数计算的梯度；
服务端对各客户端回传的训练模型进行整合得到新全局模型的步骤中，整合公式为：
Figure FDA0004256972240000024
2.根据权利要求1所述基于半监督联邦学习的脑影像分类方法，其特征在于，所述注意力门控模块包括分别对多通道特征图和门控信号进行卷积的第一卷积核，分别对经过卷积的多通道特征图和门控信号进行重采样的第一采样单元，对经过重采样的多通道特征图和门控信号进行相加的加法单元，位于所述加法单元后方且依次连接的ReLU激活函数、第二卷积核、Sigmoid激活函数、第二采样模块以及乘法单元。
3.根据权利要求1所述基于半监督联邦学习的脑影像分类方法，其特征在于，对每个中心存储的sMRI脑影像数据分别进行预处理的步骤包括：
对sMRI脑影像的偏置进行矫正，去除所述sMRI脑影像中的头骨部分，把灰质部分从sMRI脑影像中分割出来，得到初始脑灰质图像；
对所述初始脑灰质图像进行空间归一化处理，得到脑灰质图像。
4.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-3任意一项基于半监督联邦学习的脑影像分类方法中的步骤。
5.一种终端设备，其特征在于，包括处理器，适于实现各指令；以及存储介质，适于存储多条指令，所述指令适于由处理器加载并执行权利要求1-3任意一项基于半监督联邦学习的脑影像分类方法中的步骤。
CN202110780755.8A 2021-07-09 2021-07-09 一种基于半监督联邦学习的脑影像分类方法及终端设备 Active CN113688862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110780755.8A CN113688862B (zh) 2021-07-09 2021-07-09 一种基于半监督联邦学习的脑影像分类方法及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110780755.8A CN113688862B (zh) 2021-07-09 2021-07-09 一种基于半监督联邦学习的脑影像分类方法及终端设备

Publications (2)

Publication Number Publication Date
CN113688862A CN113688862A (zh) 2021-11-23
CN113688862B true CN113688862B (zh) 2023-07-04

Family

ID=78576922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110780755.8A Active CN113688862B (zh) 2021-07-09 2021-07-09 一种基于半监督联邦学习的脑影像分类方法及终端设备

Country Status (1)

Country Link
CN (1) CN113688862B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612408B (zh) * 2022-03-04 2023-06-06 拓微摹心数据科技(南京)有限公司 一种基于联邦深度学习的心脏图像处理方法
CN114782738B (zh) * 2022-03-25 2024-06-25 苏州浪潮智能科技有限公司 联邦学习安全检测方法、装置、电子设备及可读存储介质
CN115731424B (zh) * 2022-12-03 2023-10-31 北京邮电大学 基于强化联邦域泛化的图像分类模型训练方法及***
CN116681892B (zh) * 2023-06-02 2024-01-26 山东省人工智能研究院 基于多中心PolarMask模型改进的图像精准分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291897A (zh) * 2020-02-10 2020-06-16 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质
CN111310938A (zh) * 2020-02-10 2020-06-19 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质
CN112560991A (zh) * 2020-12-25 2021-03-26 中山大学 基于混合专家模型的个性化联邦学习方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291897A (zh) * 2020-02-10 2020-06-16 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质
CN111310938A (zh) * 2020-02-10 2020-06-19 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质
CN112560991A (zh) * 2020-12-25 2021-03-26 中山大学 基于混合专家模型的个性化联邦学习方法

Also Published As

Publication number Publication date
CN113688862A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN113688862B (zh) 一种基于半监督联邦学习的脑影像分类方法及终端设备
CN109166130B (zh) 一种图像处理方法及图像处理装置
WO2020151536A1 (zh) 一种脑部图像分割方法、装置、网络设备和存储介质
JP6998959B2 (ja) 神経生理学的信号を使用する反復分類のためのシステムと方法
Solovyev et al. 3D convolutional neural networks for stalled brain capillary detection
CN109544518B (zh) 一种应用于骨骼成熟度评估的方法及其***
US20230301542A1 (en) Brain atlas individualization method and system based on magnetic resonance and twin graph neural network
CN111488914A (zh) 一种基于多任务学习的阿尔茨海默症分类及预测***
CN109344889B (zh) 脑疾病分类装置、用户终端和计算机可读存储介质
JP2023044669A (ja) グラフモデルに基づく脳機能レジストレーション方法
CN104361318A (zh) 一种基于弥散张量成像技术的疾病诊断辅助***及方法
CN107967686B (zh) 一种联合动态脑网络和长短时记忆网络的癫痫识别装置
CN111540467B (zh) 精神***症分类识别方法、运行控制装置及医疗设备
CN111090764A (zh) 基于多任务学习和图卷积神经网络的影像分类方法及装置
Shu et al. Medical image segmentation based on active fusion-transduction of multi-stream features
CN115272295A (zh) 基于时域-空域联合状态的动态脑功能网络分析方法及***
CN115359074A (zh) 基于超体素聚类及原型优化的图像分割、训练方法及装置
CN113781461A (zh) 一种病人智能监控排序方法
CN112330645A (zh) 基于注意力机制的胶质瘤分级方法以及装置
CN115496953A (zh) 基于时空图卷积的脑网络分类方法
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
CN115909016B (zh) 基于GCN分析fMRI图像的***、方法、电子设备及介质
CN115937129B (zh) 基于多模态磁共振影像的左右半脑关系的处理方法及装置
Huang et al. DBFU-Net: Double branch fusion U-Net with hard example weighting train strategy to segment retinal vessel
CN112561935B (zh) 一种大脑影像智能分类方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant