CN115239675A - 分类模型的训练方法、图像分类方法和装置、设备及介质 - Google Patents

分类模型的训练方法、图像分类方法和装置、设备及介质 Download PDF

Info

Publication number
CN115239675A
CN115239675A CN202210908820.5A CN202210908820A CN115239675A CN 115239675 A CN115239675 A CN 115239675A CN 202210908820 A CN202210908820 A CN 202210908820A CN 115239675 A CN115239675 A CN 115239675A
Authority
CN
China
Prior art keywords
image
model
local
classification
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210908820.5A
Other languages
English (en)
Inventor
李泽远
王健宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202210908820.5A priority Critical patent/CN115239675A/zh
Publication of CN115239675A publication Critical patent/CN115239675A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请提供了一种分类模型的训练方法、图像分类方法和装置、设备及介质，属于人工智能技术领域。该方法应用于客户端，包括：获取样本医学图像；通过本地分类模型的卷积层对样本医学图像进行特征提取，得到样本图像特征；通过本地分类模型的交叉注意力机制和自注意力机制对样本图像特征进行注意力计算，得到目标融合图像特征；通过本地分类模型的预测层对目标融合图像特征进行损失计算，得到模型损失值，并根据模型损失值将本地分类模型接收到的原始模型参数更新为本地模型参数；将本地模型参数发送给服务器端；从服务器端下载目标模型参数；根据已下载的目标模型参数更新本地模型参数，以训练本地分类模型。本申请能够提高模型的训练效果。

Description

分类模型的训练方法、图像分类方法和装置、设备及介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种分类模型的训练方法、图像分类方法和装置、设备及介质。
背景技术
目前的图像分类方法大多数依赖于神经网络模型来实现，神经网络模型的训练往往需要较好的样本数据，而获取大量的高质量样本数据较为困难，影响模型的训练效果，因此，如何提高模型的训练效果，成为了亟待解决的技术问题。
发明内容
本申请实施例的主要目的在于提出一种分类模型的训练方法、图像分类方法和装置、设备及介质，旨在提高模型的训练效果。
为实现上述目的，本申请实施例的第一方面提出了一种分类模型的训练方法，应用于客户端，所述客户端存储有预先训练的本地分类模型，所述方法包括：
获取样本医学图像；
通过所述本地分类模型的卷积层对所述样本医学图像进行特征提取，得到样本图像特征；
通过所述本地分类模型的交叉注意力机制对所述样本图像特征进行特征融合，得到初始融合图像特征；
通过所述本地分类模型的自注意力机制对所述初始融合图像特征进行自注意力计算，得到目标融合图像特征；
通过所述本地分类模型的预测层对所述目标融合图像特征进行损失计算，得到模型损失值，并根据所述模型损失值将所述本地分类模型接收到的原始模型参数更新为本地模型参数；
将所述本地模型参数发送给所述服务器端；
从所述服务器端下载目标模型参数；
根据已下载的所述目标模型参数更新所述本地模型参数，以训练所述本地分类模型。
在一些实施例，所述获取样本医学图像的步骤，包括：
获取原始医学图像；
对所述原始医学图像进行变维处理，得到所述样本医学图像。
在一些实施例，所述样本图像特征包括第一图像特征和第二图像特征，所述通过所述本地分类模型的交叉注意力机制对所述样本图像特征进行特征融合，得到初始融合图像特征的步骤，包括：
对所述第一图像特征进行位置编码，得到第一编码特征向量；
根据预设的图像交叉关系，获取与所述第一图像特征对应的第二图像特征；
通过所述交叉注意力机制对所述第一编码特征向量进行嵌入处理，得到第一嵌入向量，并通过所述交叉注意力机制对所述第二图像特征进行嵌入处理，得到第二嵌入向量；
通过所述交叉注意力机制对所述第一嵌入向量和所述第二嵌入向量进行相似度计算，得到特征相似值；
根据所述特征相似值对所述第一嵌入向量和所述第二嵌入向量进行融合处理，得到所述初始融合图像特征。
在一些实施例，所述通过所述本地分类模型的预测层对所述目标融合图像特征进行损失计算，得到模型损失值，并根据所述模型损失值将所述本地分类模型接收到的原始模型参数更新为本地模型参数的步骤，包括：
对所述目标融合图像特征进行拼接处理，得到目标分类图像特征；
通过所述预测层的预测函数和参考分类标签对所述目标分类图像特征进行分类概率计算，得到预测分类值；
根据所述预测分类值对所述参考分类标签进行筛选处理，得到预测标签；
对所述预测标签和所述样本医学图像的原始标签进行损失计算，得到模型损失值；
根据所述模型损失值将所述本地分类模型接收到的原始模型参数更新为本地模型参数。
为实现上述目的，本申请实施例的第二方面提出了一种分类模型的训练方法，应用于服务器端，所述方法包括：
将预设的原始模型参数发送给客户端；
获取多个所述客户端发送的本地模型参数；其中，所述本地模型参数根据第一方面所述的训练方法获取到；
根据所述本地模型参数对所述服务器端的全局分类模型进行训练，得到目标模型参数；其中，所述目标模型参数用于供所述客户端下载，以使所述客户端根据已下载的所述目标模型参数更新所述本地模型参数。
为实现上述目的，本申请实施例的第三方面提出了一种图像分类方法，应用于客户端，所述图像分类方法包括：
获取待分类的目标医学图像；
对所述目标医学图像进行图像预处理，得到初始医学图像；
将所述初始医学图像输入至本地分类模型中进行预测处理，得到所述目标医学图像的目标类别，其中，所述本地分类模型根据如第一方面所述的训练方法训练得到。
为实现上述目的，本申请实施例的第四方面提出了一种分类模型的训练装置，应用于客户端，所述客户端存储有预先训练的本地分类模型，所述装置包括：
样本图像获取模块，用于获取样本医学图像；
特征提取模块，用于通过所述本地分类模型的卷积层对所述样本医学图像进行特征提取，得到样本图像特征；
特征融合模块，用于通过所述本地分类模型的交叉注意力机制对所述样本图像特征进行特征融合，得到初始融合图像特征；
自注意力计算模块，用于通过所述本地分类模型的自注意力机制对所述初始融合图像特征进行自注意力计算，得到目标融合图像特征；
损失计算模块，用于通过所述本地分类模型的预测层对所述目标融合图像特征进行损失计算，得到模型损失值，并根据所述模型损失值将所述本地分类模型接收到的原始模型参数更新为本地模型参数；
参数发送模块，用于将所述本地模型参数发送给所述服务器端；
参数下载模块，用于从所述服务器端下载目标模型参数；
参数更新模块，用于根据已下载的所述目标模型参数更新所述本地模型参数，以训练所述本地分类模型。
为实现上述目的，本申请实施例的第五方面提出了一种图像分类装置，应用于客户端，所述图像分类装置包括：
目标图像获取模块，用于获取待分类的目标医学图像；
图像预处理模块，用于对所述目标医学图像进行图像预处理，得到初始医学图像；
分类模块，用于将所述初始医学图像输入至本地分类模型中进行预测处理，得到所述目标医学图像的目标类别，其中，所述本地分类模型根据第四方面所述的训练装置训练得到。
为实现上述目的，本申请实施例的第六方面提出了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现上述第一方面所述的方法，或者第二方面所述的方法，或者第三方面所述的方法。
为实现上述目的，本申请实施例的第七方面提出了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面所述的方法，或者第二方面所述的方法，或者第三方面所述的方法。
本申请提出的分类模型的训练方法、图像分类方法和装置、设备及介质，其通过获取样本医学图像，并通过本地分类模型的卷积层对样本医学图像进行特征提取，得到样本图像特征，能够通过深度学习模型对较为复杂的图像信息进行提取，以便在模型训练过程中融入不同模态的图像数据。进一步地，通过本地分类模型的交叉注意力机制对样本图像特征进行特征融合，得到初始融合图像特征；并通过本地分类模型的自注意力机制对初始融合图像特征进行自注意力计算，得到目标融合图像特征，能够较好地将不同的图像特征进行多模态融合，提高模型的训练效果。进一步地，通过本地分类模型的预测层对目标融合图像特征进行损失计算，得到模型损失值，并根据模型损失值将本地分类模型接收到的原始模型参数更新为本地模型参数，通过在本地分类模型引入注意力机制，能够有效地优化本地分类模型的注意参数，提高获取到的本地模型参数的准确性。最后，将本地模型参数发送给服务器端，从服务器端下载目标模型参数，并根据已下载的目标模型参数更新本地模型参数，来训练本地分类模型，通过联邦建模的方式能够有效地避免客户端的本地分类模型出现过拟合问题，同时，将多模态融合、注意力机制与联邦学习相结合，能够提高模型的训练效果。
附图说明
图1是本申请实施例提供的分类模型的训练方法的流程图；
图2是图1中的步骤S101的流程图；
图3是图1中的步骤S103的流程图；
图4是图1中的步骤S105的流程图；
图5是本申请实施例提供的分类模型的训练方法的另一流程图；
图6是本申请实施例提供的图像分类方法的流程图；
图7是本申请实施例提供的分类模型的训练装置的结构示意图；
图8是本申请实施例提供的图像分类装置的结构示意图；
图9是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
首先，对本申请中涉及的若干名词进行解析：
人工智能(artificial intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家***等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
自然语言处理(natural language processing，NLP)：NLP用计算机来处理、理解以及运用人类语言(如中文、英文等)，NLP属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息意图识别、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域，它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
信息抽取(Information Extraction)：从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术。信息抽取是从文本数据中抽取特定信息的一种技术。文本数据是由一些具体的单位构成的，例如句子、段落、篇章，文本信息正是由一些小的具体的单位构成的，例如字、词、词组、句子、段落或是这些具体的单位的组合。抽取文本数据中的名词短语、人名、地名等都是文本信息抽取，当然，文本信息抽取技术所抽取的信息可以是各种类型的信息。
联邦学习(Federated Learning)：又名联合学习，联盟学习。联邦学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现AI协作。联邦学习有三大构成要素：数据源、联邦学习***、用户。在联邦学习***下，各个数据源方进行数据预处理，共同建立及其学习模型，并将输出结果反馈给用户。
注意力机制(Attention Mechanism)：注意力机制可以使得神经网络具备专注于其输入(或特征)子集的能力，选择特定的输入，可以应用于任何类型的输入而不管其形状如何。在计算能力有限情况下，注意力机制是解决信息超载问题的主要手段的一种资源分配方案，将计算资源分配给更重要的任务。
多模态融合：是指整合或融合两种及两种以上生物识别技术，利用其多重生物识别技术的独特优势，并结合数据融合技术，使得认证和识别过程更加精准、安全。与传统的单一生物识别方式的主要区别在于，多模态生物识别技术可通过独立的或多种采集方式合而为一的采集器，采集不同的生物特征(如指纹、指静脉、人脸、虹膜图像等)，并通过分析、判断多种生物识别方式的特征值进行识别和认证。
目前的图像分类方法大多数依赖于神经网络模型来实现，神经网络模型的训练往往需要较好的样本数据，而获取大量的高质量样本数据较为困难，影响模型的训练效果，因此，如何提高模型的训练效果，成为了亟待解决的技术问题。
基于此，本申请实施例提供了一种分类模型的训练方法、图像分类方法和装置、设备及介质，旨在提高模型的训练效果。
本申请实施例提供的分类模型的训练方法、图像分类方法和装置、设备及介质，具体通过如下实施例进行说明，首先描述本申请实施例中的推荐方法。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的分类模型的训练方法、图像分类方法和装置、设备及介质，涉及人工智能技术领域。本申请实施例提供的分类模型的训练方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式***，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现推荐方法的应用等，但并不局限于以上形式。
本申请可用于众多通用或专用的计算机***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请实施例的分类模型和图像分类方法适用于联邦***，整个联邦***框架由两个组件构成：一个服务器和多个客户端(例如笔记本电脑、智能手机、平板电脑等)，每个客户端都设置有一个本地分类模型，本地分类模型用于对该客户端接收到的多模态医学图像进行分类。
图1是本申请实施例提供的分类模型的训练方法的一个可选的流程图，应用于客户端，图1中的方法可以包括但不限于包括步骤S101至步骤S108。
步骤S101，获取样本医学图像；
步骤S102，通过本地分类模型的卷积层对样本医学图像进行特征提取，得到样本图像特征；
步骤S103，通过本地分类模型的交叉注意力机制对样本图像特征进行特征融合，得到初始融合图像特征；
步骤S104，通过本地分类模型的自注意力机制对初始融合图像特征进行自注意力计算，得到目标融合图像特征；
步骤S105，通过本地分类模型的预测层对目标融合图像特征进行损失计算，得到模型损失值，并根据模型损失值将本地分类模型接收到的原始模型参数更新为本地模型参数；
步骤S106，将本地模型参数发送给服务器端；
步骤S107，从服务器端下载目标模型参数；
步骤S108，根据已下载的目标模型参数更新本地模型参数，以训练本地分类模型。
本申请实施例所示意的步骤S101至步骤S108，通过获取样本医学图像，并通过本地分类模型的卷积层对样本医学图像进行特征提取，得到样本图像特征，能够通过深度学习模型对较为复杂的图像信息进行提取，以便在模型训练过程中融入不同模态的图像数据。进一步地，通过本地分类模型的交叉注意力机制对样本图像特征进行特征融合，得到初始融合图像特征；并通过本地分类模型的自注意力机制对初始融合图像特征进行自注意力计算，得到目标融合图像特征，能够较好地将不同的图像特征进行多模态融合，提高模型的训练效果。进一步地，通过本地分类模型的预测层对目标融合图像特征进行损失计算，得到模型损失值，并根据模型损失值将本地分类模型接收到的原始模型参数更新为本地模型参数，通过在本地分类模型引入注意力机制，能够有效地优化本地分类模型的注意参数，提高获取到的本地模型参数的准确性。最后，将本地模型参数发送给服务器端，从服务器端下载目标模型参数，并根据已下载的目标模型参数更新本地模型参数，来训练本地分类模型，通过联邦建模的方式能够有效地避免客户端的本地分类模型出现过拟合问题，同时，将多模态融合、注意力机制与联邦学习相结合，能够提高模型的训练效果。
请参阅图2，在一些实施例中，步骤S101可以包括但不限于包括步骤S201至步骤S202：
步骤S201，获取原始医学图像；
步骤S202，对原始医学图像进行变维处理，得到样本医学图像。
在一些实施例的步骤S201中，在获取原始医学图像时可以是从已有的医疗数据库中获取，也可以是通过摄像机拍摄或者其他方式得到，不做限制。
在一些医学应用场景下，原始医学图像为医学影像，原始医学图像包含的对象所属类型为病灶，即机体上发生病变的部分。需要说明的是，医学影像是指为了医疗或医学研究，以非侵入方式取得的内部组织，例如，胃部、腹部、心脏、膝盖、脑部的影像，比如，电子计算机断层扫描(Computed Tomography，CT)、磁共振成像(Magnetic Resonance Imaging，MRI)、超声(ultrasonic，US)、X光图像、脑电图以及光学摄影灯由医学仪器生成的图像。
在一些实施例的步骤S202中，由于原始医学图像包括灰度图像、三维图像等等，原始医学图像往往呈现为多模态，因此，需要对原始医学图像进行变维处理，使得不同模态的原始医学图像处于相同维度，得到样本医学图像。具体地，在对原始医学图像进行变维处理时，可以采用调整图像灰度值范围、对原始医学图像进行重采样或者过采样、或者对原始医学图像进行数据增强等多种处理方式，使得不同模态的原始医学图像处于相同维度。
进一步地，为了提高图像处理效率，可以采用上述一种或者多种处理方式相结合的形式来进行图像处理，不做限制。例如，在某一具体的图像处理过程中，先对原始医学图像进行过采样处理，再对过采样处理之后的原始医学图像进行灰度值调整，从而得到样本医学图像。
在一些实施例的步骤S102中，每一客户端都预设一个本地分类模型，本地分类模型包括卷积层、多个注意力模块以及预测层。首先，通过本地分类模型的卷积层对样本医学图像进行特征提取，捕捉每一个样本医学图像的图像纹理信息，包括浅层的边缘结构信息到深层的纹理语义结构信息的提取，从而得到样本图像特征，其中，该卷积层可以是浅层卷积层。在一些图像分类场景下，具体的卷积操作过程可以包括高斯模糊、双边滤波等等，不做限制。
请参阅图3，在一些实施例中，样本图像特征包括第一图像特征和第二图像特征，步骤S103可以包括但不限于包括步骤S301至步骤S305：
步骤S301，对第一图像特征进行位置编码，得到第一编码特征向量；
步骤S302，根据预设的图像交叉关系，获取与第一图像特征对应的第二图像特征；
步骤S303，通过交叉注意力机制对第一编码特征向量进行嵌入处理，得到第一嵌入向量，并通过交叉注意力机制对第二图像特征进行嵌入处理，得到第二嵌入向量；
步骤S304，通过交叉注意力机制对第一嵌入向量和第二嵌入向量进行相似度计算，得到特征相似值；
步骤S305，根据特征相似值对第一嵌入向量和第二嵌入向量进行融合处理，得到初始融合图像特征。
在一些实施例的步骤S301中，本地分类模型包括多个注意力模块，每一注意力模块包括一个交叉注意力层和一个自注意力层，每一注意力模块用于对一个第一图像特征进行注意力计算。具体地，针对某一个第一图像特征，首先通过注意力模块对第一图像特征进行位置编码，使得第一图像特征被映射到预设的向量空间，得到第一编码特征向量。
在一些实施例的步骤S302中，为了更好地捕捉不同样本医学图像的图像信息，使得能够利用不同样本医学图像的图像信息之间的相似性进行模型训练，提高模型的训练效果，需要获取预设的图像交叉关系，该图像交叉关系可以是预先设定的图像映射关系，该图像映射关系通过计算机程度或者人工预设的方式确定。例如，对样本医学图像随机进行两两配对处理，得到图像对，根据图像对构建图像交叉关系，被定义为图像对的两个样本医学图像之间存在交叉关系。在对某一样本医学图像对应的样本医学特征进行注意力计算时，需要提取并融入与这一样本医学图像对应的另一样本医学图像的样本图像特征。因此，可以根据预设的图像交叉关系来获取到与第一图像特征对应的第二图像特征。
在一些实施例的步骤S303中，通过交叉注意力机制对第一编码特征向量进行嵌入处理，将第一编码特征向量从高维向量空间映射到低维向量空间，得到第一嵌入向量。同样地，通过交叉注意力机制对第二编码特征向量进行嵌入处理，将第二编码特征向量从高维向量空间映射到低维向量空间，得到第二嵌入向量。
在一些实施例的步骤S304中，通过交叉注意力机制对第一嵌入向量和第二嵌入向量进行相似度计算时，对第一嵌入向量对应的第一特征图进行向量抽取，抽取第一特征图上每一通道位置的特征向量，同样地，第二嵌入向量对应的第二特征图进行向量抽取，抽取第二特征图上每一通道位置的特征向量，对第一特征图上的特征向量和第二特征图上的特征向量进行交叉操作，得到第一嵌入向量和第二嵌入向量的第一相关度以及交叉路径上的特征向量的第二相关度，将第一相关度和第二相关度进行加权计算，得到特征相似值。
在一些实施例的步骤S305中，根据特征相似值的大小，将特征相似值大于预设阈值的第一嵌入向量和第二嵌入向量进行向量拼接，以融合第一嵌入向量和第二嵌入向量的图像信息，使得得到的初始融合图像特征含有丰富的上下文信息，通过在初始融合图像特征中添加上下文信息，能够较好地增强图像局部特征表示和图像像素级表示，使得不同的图像特征之间能够进行多模态融合，提高模型的训练效果。
在一个具体应用场景中，样本图像特征包括第一图像特征M和第二图像特征N，第一图像特征M和第二图像特征N存在图像交叉关系，第一图像特征M为某一样本医学图像经过卷积层进行特征提取得到，第二图像特征N为另一样本医学图像经过卷积层进行特征提取得到。注意力模块包括注意力模块P和注意力模块Q，其中，注意力模块P用于对第一图像特征M进行注意力计算，注意力模块Q用于对第二图像特征N进行注意力计算。根据上述步骤S301至步骤S305，由注意力模块P对第一图像特征M进行位置编码，得到第一编码特征向量m，由注意力模块Q对第二图像特征N进行位置编码，得到第二编码特征向量n，则通过注意力模块P的交叉注意力层对第一编码特征向量m和第二图像特征N进行交叉注意力计算，得到第一融合图像特征，通过注意力模块Q的交叉注意力层对第二编码特征向量n和第一图像特征M进行交叉注意力计算，得到第二融合图像特征。
上述步骤S301至步骤S305,通过本地分类模型的交叉注意力机制对样本图像特征进行特征融合，能够较好地将不同的图像特征进行多模态融合，使得本申请实施例能够联合多个客户端的多个图像特征共同建模，提高了模型的训练效果。
在一些实施例的步骤S104中，通过本地分类模型的自注意力层的自注意力机制对初始融合图像特征进行自注意力计算，有针对性地捕捉初始融合图像特征的局部图像特征，并对局部图像特征进行重要性排序，对重要性更高的局部图像信息进行重点关注，得到目标融合图像特征。其中，局部图像特征的重要性可以是基于图像灰度值、图像像素值等参数来确定，也可以是通过其他方式确定，不做限制。
请参阅图4，在一些实施例中，步骤S105可以包括但不限于包括步骤S401至步骤S405：
步骤S401，对目标融合图像特征进行拼接处理，得到目标分类图像特征；
步骤S402，通过预测层的预测函数和参考分类标签对目标分类图像特征进行分类概率计算，得到预测分类值；
步骤S403，根据预测分类值对参考分类标签进行筛选处理，得到预测标签；
步骤S404，对预测标签和样本医学图像的原始标签进行损失计算，得到模型损失值；
步骤S405，根据模型损失值将本地分类模型接收到的原始模型参数更新为本地模型参数。
在一些实施例的步骤S401中，在对根据不同的样本医学图像生成的目标融合图像特征进行拼接时，可以采用向量相加或者向量拼接等方式，例如，对多个目标融合图像特征进行向量相加，得到目标分类图像特征，该目标分类图像特征融合了来自不同的样本医学图像的多种图像特征，能够较好地满足多模态融合的需求。
在一些实施例的步骤S402中，预测函数可以是softmax函数等等，参考分类标签可以是来自于医学领域常用的医学标签，也可以是其他，不做限制。具体地，通过softmax函数在每一预设的参考分类标签上创建一个概率分布，根据概率分布情况，得到预测分类值，该预测分类值可以反映目标分类图像特征属于每一参考分类标签的可能性。
在一些实施例的步骤S403中，由于预测分类值可以反映目标分类图像特征属于每一参考分类标签的可能性，当某一参考分类标签的预测分类值较高，则表明目标分类图像特征属于该参考分类标签的可能性越大，因此，在根据预测分类值对参考分类标签进行筛选处理时，选取预测分类值最大的参考分类标签作为预测标签。
在一些实施例的步骤S404中，根据预设的损失函数对对预测标签和样本医学图像的原始标签进行损失计算，得到模型损失值。具体地，损失函数可以是交叉熵损失函数等。计算过程可以表示为
Figure BDA0003773399360000111
其中，L为模型损失值，N为样本医学图像的数量，yic为符号函数，若样本医学图像的原始标签与预测标签一致，则c取1，若样本医学图像的原始标签与预测标签不一致，则c取0，Pic为样本医学图像属于预测标签的预测分类值。
在一些实施例的步骤S405中，对模型损失值进行后向传播，根据模型损失值调整本地分类模型的模型参数，使得模型损失值满足预设的迭代条件，例如，调整模型参数，使得模型损失值小于预设的损失阈值，提取当前的模型参数，将当前的模型参数作为本地模型参数，并将本地分类模型接收到的原始模型参数更新为本地模型参数。
在一些实施例的步骤S106中，通过联邦***将本地模型参数发送给服务器端，使得服务器端能够聚合所有客户端的本地模型参数，并根据预设的权重参数对所有的本地模型参数进行加权计算，得到综合模型参数，并根据客户端的总数对综合模型参数进行求平均值，得到当前模型参数。服务器端利用的当前模型参数进行全局分类模型的训练，并生成模型性能数据。将当前的模型性能数据与前一次的模型性能数据(例如，利用原始模型参数进行全局分类模型的训练所得到的模型性能数据)进行比对，若当前的模型性能数据更优，则将上一次的模型参数(如原始模型参数)更新为当前模型参数，得到目标模型参数，若当前的模型性能数据不及上一次的模型性能数据，则将上一次的模型参数作为目标模型参数。
在一些实施例的步骤S107中，通过联邦***从服务器端下载目标模型参数；其中，目标模型参数是服务器端根据多个客户端发送的本地模型参数对预设的原始模型参数进行更新得到的。
需要说明的是，根据应用场景和实际数据的情况，全局分类模型和本地推荐模型均可以训练为基于注意力机制的深度神经网络(Deep Neural Network,DNN)、卷积神经网络(Convolutional Neural Network,CNN)、循环神经网络(Recurrent Neural Network,RNN)等多种深度学习的分类模型，不做限制。
在一些实施例的步骤S108中，根据已下载的目标模型参数更新本地模型参数，从而训练本地分类模型。具体地，在根据下载的目标模型参数更新本地模型参数时，同样可以引入注意力机制来对本地分类模型进行训练，优化本地分类模型的每一个注意参数，使得本地分类模型的模型参数最优。
具体地，在根据已下载的目标模型参数更新本地模型参数，训练本地分类模型时，再次获取原始医学图像，根据获取到的原始医学图像进行模型训练，该训练过程与上述步骤S102至步骤S105的处理过程基本一致，在此不再赘述。
本申请实施例的分类模型的训练方法，其通过获取样本医学图像，并通过本地分类模型的卷积层对样本医学图像进行特征提取，得到样本图像特征，能够通过深度学习模型对较为复杂的图像信息进行提取，以便在模型训练过程中融入不同模态的图像数据。进一步地，通过本地分类模型的交叉注意力机制对样本图像特征进行特征融合，得到初始融合图像特征；并通过本地分类模型的自注意力机制对初始融合图像特征进行自注意力计算，得到目标融合图像特征，能够较好地将不同的图像特征进行多模态融合，并且通过联邦学习的方式联合多个客户端的图像特征共同建模，提高了模型的训练效果。进一步地，通过本地分类模型的预测层对目标融合图像特征进行损失计算，得到模型损失值，并根据模型损失值将本地分类模型接收到的原始模型参数更新为本地模型参数，通过在本地分类模型引入注意力机制，能够有效地优化本地分类模型的注意参数，提高获取到的本地模型参数的准确性。最后，将本地模型参数发送给服务器端，从服务器端下载目标模型参数，并根据已下载的目标模型参数更新本地模型参数，来训练本地分类模型，通过联邦建模的方式能够有效地避免客户端的本地分类模型出现过拟合问题，同时，将多模态融合、注意力机制与联邦学习相结合，能够提高模型的训练效果。
图5是本申请实施例提供的分类模型的训练方法的另一个可选的流程图，应用于服务器端，图5中的方法可以包括但不限于包括步骤S501至步骤S503。
步骤S501，将预设的原始模型参数发送给客户端；
步骤S502，获取多个客户端发送的本地模型参数；其中，本地模型参数根据如第一方面实施例的训练方法获取到；
步骤S503，根据本地模型参数对服务器端的全局分类模型进行训练，得到目标模型参数；其中，目标模型参数用于供客户端下载，以使客户端根据已下载的目标模型参数更新本地模型参数。
在一些实施例的步骤S501中，服务器端通过网络通信的方式将预设的原始模型参数发送给客户端，从而使得客户端能够通过原始模型参数对本地分类模型进行初始化操作。
在一些实施例的步骤S502中，在本地分类模型对获取到的原始医学图像进行处理，生成本地模型参数之后，服务器端通过网络通信的方式获取多个客户端发送的本地模型参数，其中，客户端的本地模型参数则需要以通信的方式从客户端获取，通过这一方式进行数据获取，能够降低通信成本。
在一些实施例的步骤S503中，服务器端能够聚合所有客户端的本地模型参数，并根据预设的权重参数对所有的本地模型参数进行加权计算，得到综合模型参数，并根据客户端的总数对综合模型参数进行求平均值，得到当前模型参数。服务器端利用的当前模型参数进行全局分类模型的训练，并生成模型性能数据，将当前的模型性能数据与前一次的模型性能数据(例如，利用原始模型参数进行全局分类模型的训练所得到的模型性能数据)进行比对，若当前的模型性能数据更优，则将上一次的模型参数(如原始模型参数)更新为当前模型参数，得到目标模型参数，若当前的模型性能数据不及上一次的模型性能数据，则将上一次的模型参数作为目标模型参数。该目标模型参数用于供客户端下载，以使客户端根据已下载的目标模型参数更新本地模型参数。
本申请实施例的分类模型的训练方法，其通过获取客户端输出的本地模型参数，能够有效地解决了本地分类模型由于样本数据过少，训练过程容易出现过拟合的问题，通过服务器端能够较为方便地对所有客户端的本地模型参数进行处理分析，并引入注意机制对目标模型参数进行注意力调节，以确定最优的目标模型参数，将注意力机制与联邦学习相结合，能够提高模型的训练效果。
图6是本申请实施例提供的图像分类方法的另一个可选的流程图，应用于客户端，图6中的方法可以包括但不限于包括步骤S601至步骤S603。
步骤S601，获取待分类的目标医学图像；
步骤S602，对目标医学图像进行图像预处理，得到初始医学图像；
步骤S603，将初始医学图像输入至本地分类模型中进行预测处理，得到目标医学图像的目标类别，其中，本地分类模型根据第一方面实施例的训练方法训练得到。
在一些实施例的步骤S601中，可以通过摄像机拍摄或者核磁共振成像等多种方式获取待分类的目标医学图像，该目标医学图像可以是三维图像，也可以是二维图像，不做限制。
在一些实施例的步骤S602中，由于目标医学图像包括灰度图像、三维图像等等，目标医学图像往往呈现为多模态，因此，需要对目标医学图像进行图像预处理，使得不同模态的目标医学图像处于能够满足分类预测要求的同一维度，得到初始医学图像。具体地，该图像预处理过程包括调整目标医学图像的灰度值范围、对目标医学图像进行重采样或者过采样、对目标医学图像进行数据增强其中的一种或者多种，不做限制。
在一些实施例的步骤S603中，将初始医学图像输入至本地分类模型中，通过本地分类模型的卷积层对初始医学图像进行特征提取，得到初始图像特征，再通过本地分类模型的注意力模块对初始医学图像进行注意力计算，包括对初始医学图像进行交叉注意力计算，以融合不同初始医学图像的图像特征，得到第一融合图像特征，再通过对第一融合图像特征进行自注意力计算，从而对第一融合图像特征的局部信息进行提取，得到局部图像特征。最后，通过预测层的预测函数(如softmax函数等)和参考分类标签对局部图像特征进行标签概率计算，得到目标概率值，并选取目标概率值最高的参考分类标签作为目标分类标签，该目标分类标签的标签信息包括目标医学图像的目标类别。
本申请实施例的图像分类方法，其通过获取待分类的目标医学图像，并对目标医学图像进行变维处理，得到初始医学图像，这一方式使得目标医学图像所处的图像维度能够满足输入本地分类模型的要求。进一步，将初始医学图像输入至本地分类模型，通过本地分类模型对初始医学图像进行多模态特征融合以及注意力计算，能够更好地获取初始医学图像的图像信息，从而更为准确地预测出目标医学图像的图像类别，提高图像分类的准确性。
请参阅图7，在一些实施例中，本申请实施例还提供一种分类模型的训练装置，应用于客户端，客户端存储有预先训练的本地分类模型，可以实现上述分类模型的训练方法，该装置包括：
样本图像获取模块701，用于获取样本医学图像；
特征提取模块702，用于通过本地分类模型的卷积层对样本医学图像进行特征提取，得到样本图像特征；
特征融合模块703，用于通过本地分类模型的交叉注意力机制对样本图像特征进行特征融合，得到初始融合图像特征；
自注意力计算模块704，用于通过本地分类模型的自注意力机制对初始融合图像特征进行自注意力计算，得到目标融合图像特征；
损失计算模块705，用于通过本地分类模型的预测层对目标融合图像特征进行损失计算，得到模型损失值，并根据模型损失值将本地分类模型接收到的原始模型参数更新为本地模型参数；
参数发送模块706，用于将本地模型参数发送给服务器端；
参数下载模块707，用于从服务器端下载目标模型参数；
参数更新模块708，用于根据已下载的目标模型参数更新本地模型参数，以训练本地分类模型。
在一些实施例中，样本图像获取模块701包括：
图像获取单元，用于获取原始医学图像；
变维单元，用于对原始医学图像进行变维处理，得到样本医学图像。
在一些实施例中，样本图像特征包括第一图像特征和第二图像特征，特征融合模块703包括：
编码单元，用于对第一图像特征进行位置编码，得到第一编码特征向量；
特征获取单元，用于根据预设的图像交叉关系，获取与第一图像特征对应的第二图像特征；
嵌入单元，用于通过交叉注意力机制对第一编码特征向量进行嵌入处理，得到第一嵌入向量，并通过交叉注意力机制对第二图像特征进行嵌入处理，得到第二嵌入向量；
相似度计算单元，用于通过交叉注意力机制对第一嵌入向量和第二嵌入向量进行相似度计算，得到特征相似值；
融合单元，用于根据特征相似值对第一嵌入向量和第二嵌入向量进行融合处理，得到初始融合图像特征。
在一些实施例中，损失计算模块705包括：
拼接单元，用于对目标融合图像特征进行拼接处理，得到目标分类图像特征；
概率计算单元，用于通过预测层的预测函数和参考分类标签对目标分类图像特征进行分类概率计算，得到预测分类值；
筛选单元，用于根据预测分类值对参考分类标签进行筛选处理，得到预测标签；
损失计算单元，用于对预测标签和样本医学图像的原始标签进行损失计算，得到模型损失值；
更新单元，用于根据模型损失值将本地分类模型接收到的原始模型参数更新为本地模型参数。
该分类模型的训练装置的具体实施方式与上述分类模型的训练方法的具体实施例基本相同，在此不再赘述。
请参阅图8，本申请实施例还提供一种图像分类装置，应用于客户端，可以实现上述图像分类方法，该装置包括：
目标图像获取模块801，用于获取待分类的目标医学图像；
图像预处理模块802，用于对目标医学图像进行图像预处理，得到初始医学图像；
分类模块803，用于将初始医学图像输入至本地分类模型中进行预测处理，得到目标医学图像的目标类别，其中，本地分类模型根据上述实施例的训练装置训练得到。
该图像分类装置的具体实施方式与上述图像分类方法的具体实施例基本相同，在此不再赘述。
本申请实施例还提供了一种电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述分类模型的训练方法或者图像分类方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器901，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器902，可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器902可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本申请实施例的分类模型的训练方法或者图像分类方法；
输入/输出接口903，用于实现信息输入及输出；
通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；
总线905，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息；
其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种存储介质，存储介质为计算机可读存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述分类模型的训练方法或者图像分类方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例提供的分类模型的训练方法、图像分类方法和装置、设备及介质，其通过获取样本医学图像，并通过本地分类模型的卷积层对样本医学图像进行特征提取，得到样本图像特征，能够通过深度学习模型对较为复杂的图像信息进行提取，以便在模型训练过程中融入不同模态的图像数据。进一步地，通过本地分类模型的交叉注意力机制对样本图像特征进行特征融合，得到初始融合图像特征；并通过本地分类模型的自注意力机制对初始融合图像特征进行自注意力计算，得到目标融合图像特征，能够较好地将不同的图像特征进行多模态融合，并且通过联邦学习的方式联合多个客户端的图像特征共同建模，提高了模型的训练效果。进一步地，通过本地分类模型的预测层对目标融合图像特征进行损失计算，得到模型损失值，并根据模型损失值将本地分类模型接收到的原始模型参数更新为本地模型参数，通过在本地分类模型引入注意力机制，能够有效地优化本地分类模型的注意参数，提高获取到的本地模型参数的准确性。最后，将本地模型参数发送给服务器端，从服务器端下载目标模型参数，并根据已下载的目标模型参数更新本地模型参数，来训练本地分类模型，通过联邦建模的方式能够有效地避免客户端的本地分类模型出现过拟合问题，同时，将多模态融合、注意力机制与联邦学习相结合，能够提高模型的训练效果。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图1-6中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (10)

1.一种分类模型的训练方法，其特征在于，应用于客户端，所述客户端存储有预先训练的本地分类模型，所述方法包括：
获取样本医学图像；
通过所述本地分类模型的卷积层对所述样本医学图像进行特征提取，得到样本图像特征；
通过所述本地分类模型的交叉注意力机制对所述样本图像特征进行特征融合，得到初始融合图像特征；
通过所述本地分类模型的自注意力机制对所述初始融合图像特征进行自注意力计算，得到目标融合图像特征；
通过所述本地分类模型的预测层对所述目标融合图像特征进行损失计算，得到模型损失值，并根据所述模型损失值将所述本地分类模型接收到的原始模型参数更新为本地模型参数；
将所述本地模型参数发送给所述服务器端；
从所述服务器端下载目标模型参数；
根据已下载的所述目标模型参数更新所述本地模型参数，以训练所述本地分类模型。
2.根据权利要求1所述的训练方法，其特征在于，所述获取样本医学图像的步骤，包括：
获取原始医学图像；
对所述原始医学图像进行变维处理，得到所述样本医学图像。
3.根据权利要求1所述的训练方法，其特征在于，所述样本图像特征包括第一图像特征和第二图像特征，所述通过所述本地分类模型的交叉注意力机制对所述样本图像特征进行特征融合，得到初始融合图像特征的步骤，包括：
对所述第一图像特征进行位置编码，得到第一编码特征向量；
根据预设的图像交叉关系，获取与所述第一图像特征对应的第二图像特征；
通过所述交叉注意力机制对所述第一编码特征向量进行嵌入处理，得到第一嵌入向量，并通过所述交叉注意力机制对所述第二图像特征进行嵌入处理，得到第二嵌入向量；
通过所述交叉注意力机制对所述第一嵌入向量和所述第二嵌入向量进行相似度计算，得到特征相似值；
根据所述特征相似值对所述第一嵌入向量和所述第二嵌入向量进行融合处理，得到所述初始融合图像特征。
4.根据权利要求1至3任一项所述的训练方法，其特征在于，所述通过所述本地分类模型的预测层对所述目标融合图像特征进行损失计算，得到模型损失值，并根据所述模型损失值将所述本地分类模型接收到的原始模型参数更新为本地模型参数的步骤，包括：
对所述目标融合图像特征进行拼接处理，得到目标分类图像特征；
通过所述预测层的预测函数和参考分类标签对所述目标分类图像特征进行分类概率计算，得到预测分类值；
根据所述预测分类值对所述参考分类标签进行筛选处理，得到预测标签；
对所述预测标签和所述样本医学图像的原始标签进行损失计算，得到模型损失值；
根据所述模型损失值将所述本地分类模型接收到的原始模型参数更新为本地模型参数。
5.一种分类模型的训练方法，其特征在于，应用于服务器端，所述方法包括：
将预设的原始模型参数发送给客户端；
获取多个所述客户端发送的本地模型参数；其中，所述本地模型参数根据如权利要求1至4任一项所述的训练方法获取到；
根据所述本地模型参数对所述服务器端的全局分类模型进行训练，得到目标模型参数；其中，所述目标模型参数用于供所述客户端下载，以使所述客户端根据已下载的所述目标模型参数更新所述本地模型参数。
6.一种图像分类方法，其特征在于，应用于客户端，所述图像分类方法包括：
获取待分类的目标医学图像；
对所述目标医学图像进行图像预处理，得到初始医学图像；
将所述初始医学图像输入至本地分类模型中进行预测处理，得到所述目标医学图像的目标类别，其中，所述本地分类模型根据如权利要求1至4任一项所述的训练方法训练得到。
7.一种分类模型的训练装置，应用于客户端，所述客户端存储有预先训练的本地分类模型，其特征在于，所述装置包括：
样本图像获取模块，用于获取样本医学图像；
特征提取模块，用于通过所述本地分类模型的卷积层对所述样本医学图像进行特征提取，得到样本图像特征；
特征融合模块，用于通过所述本地分类模型的交叉注意力机制对所述样本图像特征进行特征融合，得到初始融合图像特征；
自注意力计算模块，用于通过所述本地分类模型的自注意力机制对所述初始融合图像特征进行自注意力计算，得到目标融合图像特征；
损失计算模块，用于通过所述本地分类模型的预测层对所述目标融合图像特征进行损失计算，得到模型损失值，并根据所述模型损失值将所述本地分类模型接收到的原始模型参数更新为本地模型参数；
参数发送模块，用于将所述本地模型参数发送给所述服务器端；
参数下载模块，用于从所述服务器端下载目标模型参数；
参数更新模块，用于根据已下载的所述目标模型参数更新所述本地模型参数，以训练所述本地分类模型。
8.一种图像分类装置，应用于客户端，其特征在于，所述图像分类装置包括：
目标图像获取模块，用于获取待分类的目标医学图像；
图像预处理模块，用于对所述目标医学图像进行图像预处理，得到初始医学图像；
分类模块，用于将所述初始医学图像输入至本地分类模型中进行预测处理，得到所述目标医学图像的目标类别，其中，所述本地分类模型根据如权利要求7所述的训练装置训练得到。
9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至4任一项所述的训练方法，或者如权利要求5所述的训练方法，或者如权利要求6所述的图像分类方法的步骤。
10.一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至4任一项所述的训练方法，或者如权利要求5所述的训练方法，或者如权利要求6所述的图像分类方法的步骤。
CN202210908820.5A 2022-07-29 2022-07-29 分类模型的训练方法、图像分类方法和装置、设备及介质 Pending CN115239675A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210908820.5A CN115239675A (zh) 2022-07-29 2022-07-29 分类模型的训练方法、图像分类方法和装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210908820.5A CN115239675A (zh) 2022-07-29 2022-07-29 分类模型的训练方法、图像分类方法和装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115239675A true CN115239675A (zh) 2022-10-25

Family

ID=83677579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210908820.5A Pending CN115239675A (zh) 2022-07-29 2022-07-29 分类模型的训练方法、图像分类方法和装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115239675A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116679639A (zh) * 2023-05-26 2023-09-01 广州市博煌节能科技有限公司 金属制品生产控制***的优化方法及***
CN116977272A (zh) * 2023-05-05 2023-10-31 深圳市第二人民医院(深圳市转化医学研究院) 一种基于联邦图注意力学习的结构磁共振图像处理方法
CN117036788A (zh) * 2023-07-21 2023-11-10 阿里巴巴达摩院(杭州)科技有限公司 图像分类方法、训练图像分类模型的方法及装置
CN117077817A (zh) * 2023-10-13 2023-11-17 之江实验室 一种基于标签分布的个性化联邦学习模型训练方法及装置
CN117934931A (zh) * 2024-01-16 2024-04-26 广州杰鑫科技股份有限公司 一种模型更新方法、装置、光缆智能运维***和存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977272A (zh) * 2023-05-05 2023-10-31 深圳市第二人民医院(深圳市转化医学研究院) 一种基于联邦图注意力学习的结构磁共振图像处理方法
CN116977272B (zh) * 2023-05-05 2024-07-09 深圳市第二人民医院(深圳市转化医学研究院) 一种基于联邦图注意力学习的结构磁共振图像处理方法
CN116679639A (zh) * 2023-05-26 2023-09-01 广州市博煌节能科技有限公司 金属制品生产控制***的优化方法及***
CN116679639B (zh) * 2023-05-26 2024-01-05 广州市博煌节能科技有限公司 金属制品生产控制***的优化方法及***
CN117036788A (zh) * 2023-07-21 2023-11-10 阿里巴巴达摩院(杭州)科技有限公司 图像分类方法、训练图像分类模型的方法及装置
CN117036788B (zh) * 2023-07-21 2024-04-02 阿里巴巴达摩院(杭州)科技有限公司 图像分类方法、训练图像分类模型的方法及装置
CN117077817A (zh) * 2023-10-13 2023-11-17 之江实验室 一种基于标签分布的个性化联邦学习模型训练方法及装置
CN117077817B (zh) * 2023-10-13 2024-01-30 之江实验室 一种基于标签分布的个性化联邦学习模型训练方法及装置
CN117934931A (zh) * 2024-01-16 2024-04-26 广州杰鑫科技股份有限公司 一种模型更新方法、装置、光缆智能运维***和存储介质

Similar Documents

Publication Publication Date Title
CN115239675A (zh) 分类模型的训练方法、图像分类方法和装置、设备及介质
CN108197592B (zh) 信息获取方法和装置
CN111553419B (zh) 一种图像识别方法、装置、设备以及可读存储介质
CN114723996A (zh) 模型的训练方法、图像描述生成方法和装置、设备、介质
CN114519395B (zh) 模型的训练方法和装置、文本摘要生成方法和装置、设备
CN114399454A (zh) 图像处理方法、装置、电子设备及存储介质
CN114638960A (zh) 模型的训练方法、图像描述生成方法和装置、设备、介质
CN115223251A (zh) 签名检测模型的训练方法和装置、电子设备及存储介质
CN115910319A (zh) 耳科问诊辅助方法、装置、电子设备及存储介质
CN115424056A (zh) 模型训练方法和装置、图像分类方法、设备和介质
CN114549859A (zh) 骨龄预测方法、装置、电子设备及存储介质
CN116977463A (zh) 图像处理方法、装置、计算机设备、存储介质及产品
CN114998583A (zh) 图像处理方法、图像处理装置、设备及存储介质
CN114529785A (zh) 模型的训练方法、视频生成方法和装置、设备、介质
CN116758355A (zh) 图像分类方法和装置、电子设备及存储介质
CN116741396A (zh) 文章归类方法和装置、电子设备和存储介质
CN114781393B (zh) 图像描述生成方法和装置、电子设备及存储介质
CN116543798A (zh) 基于多分类器的情感识别方法和装置、电子设备、介质
CN115205648A (zh) 图像分类方法、图像分类装置、电子设备及存储介质
CN115205546A (zh) 模型训练方法和装置、电子设备、存储介质
CN115116581A (zh) 推荐方法、推荐装置、电子设备及存储介质
CN114973285A (zh) 图像处理方法和装置、设备、介质
CN115204300A (zh) 文本和表格语义交互的数据处理方法、装置及存储介质
CN114817734A (zh) 推荐模型的训练方法、推荐方法和装置、电子设备及介质
CN114913104B (zh) 图像处理方法、图像处理装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination