CN116935160A - 一种训练方法、样本分类方法、电子设备及介质 - Google Patents
一种训练方法、样本分类方法、电子设备及介质 Download PDFInfo
- Publication number
- CN116935160A CN116935160A CN202310892144.1A CN202310892144A CN116935160A CN 116935160 A CN116935160 A CN 116935160A CN 202310892144 A CN202310892144 A CN 202310892144A CN 116935160 A CN116935160 A CN 116935160A
- Authority
- CN
- China
- Prior art keywords
- data samples
- channel
- obtaining
- query set
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 90
- 239000013598 vector Substances 0.000 claims abstract description 95
- 238000013136 deep learning model Methods 0.000 claims abstract description 50
- 230000006870 function Effects 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 27
- 239000000523 sample Substances 0.000 claims description 82
- 239000013074 reference sample Substances 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种训练方法、样本分类方法、电子设备及介质，包括：获取训练数据，利用深度学习模型获取支持集和查询集中的数据样本的特征；利用支持集的数据样本的特征进行处理，获取支持集各类别数据样本的原型向量和原型向量的各通道之间的差值；利用查询集的数据样本的特征进行处理，获取查询集的数据样本的特征的各通道之间的差值；利用各类别原型向量的各通道之间的差值和查询集的数据样本的特征的各通道之间的差值，获取查询集的数据样本的特征和各类别原型向量之间的可微肯德尔相关系数；根据可微肯德尔相关系数计算损失函数；根据训练数据，利用损失函数对深度学习模型进行训练。此种训练方法能够获取更精良的深度学习模型。
Description
技术领域
本申请属于机器学习技术领域，涉及一种训练方法，特别是涉及一种训练方法、样本分类方法、电子设备及介质。
背景技术
深度学习作为人工智能领域中的一种重要技术，通过模拟人脑神经网络来实现对数据的学习和处理。深度学习模型在许多领域中都取得了成功，然而当面对一个新的任务时，需要采集大量的数据来训练模型才能取得较好的性能。深度学习模型训练是深度学习中的一个关键步骤，它通过对大量数据进行训练来提高模型的准确性和性能，训练中主要采用基于梯度下降的优化算法。
现如今深度学***衡会导致模型过拟合或欠拟合；超参数选择困难会影响模型性能；训练时间长、计算资源消耗大等问题也制约了深度学习模型训练的发展。因此，目前仍缺少一种获取更精良的深度学习模型的训练方法。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种训练方法、样本分类方法、电子设备及介质，用于解决现有技术中缺少一种获取更精良的深度学习模型的训练方法的问题。
第一方面，本申请提供一种训练方法。所述训练方法包括：获取训练数据，所述训练数据包括支持集和查询集，所述支持集包括多个图像，所述查询集包括多个图像；利用深度学习模型获取所述支持集和所述查询集中的数据样本的特征；利用支持集的数据样本的特征进行处理，获取所述支持集各类别数据样本的原型向量和所述原型向量的各通道之间的差值；利用查询集的数据样本的特征进行处理，获取所述查询集的数据样本的特征的各通道之间的差值；利用各类别所述原型向量的各通道之间的差值和所述查询集的数据样本的特征的各通道之间的差值，获取所述查询集的数据样本的特征和各类别所述原型向量之间的可微肯德尔相关系数；根据所述可微肯德尔相关系数计算损失函数；根据所述训练数据，利用所述损失函数对所述深度学习模型进行训练。
本申请中，根据原型向量各通道之间的差值和查询集的数据样本的特征的各通道之间的差值，获取可微肯德尔相关系数，进而利用数据样本对深度学习模型进行训练，训练过程中利用以可微肯德尔相关系数为参数的损失函数进行调整。此种训练方法能够建立原型向量的通道和查询集样本特征的通道之间的关联，获取可微肯德尔相关系数，进一步地获取更精良的深度学习模型。
在第一方面的一种实现方式中，利用支持集的数据样本的特征进行处理，获取所述支持集各类别数据样本的原型向量和所述原型向量的各通道之间的差值包括：根据所述支持集的数据样本的特征，获取所述支持集各类别数据样本的原型向量；利用所述原型向量获取所述原型向量的各通道值；根据所述原型向量的各通道值，获取所述原型向量的各通道之间的差值。
在第一方面的一种实现方式中，利用查询集的数据样本的特征进行处理，获取所述查询集的数据样本的特征的各通道之间的差值包括：根据所述查询集中的数据样本的特征获取所述查询集的数据样本的特征的各通道值；利用所述查询集的数据样本的特征的各通道值获取所述查询集的数据样本的特征的各通道之间的差值。
在第一方面的一种实现方式中，获取所述支持集的各类别的原型向量包括：根据所述支持集各类别数据样本的特征的平均值，获取所述支持集各类别数据样本的原型向量。
在第一方面的一种实现方式中，所述损失函数的计算方法包括：根据所述查询集数据样本的特征和各类别原型向量之间的可微肯德尔相关系数获取查询集的数据样本属于各类别的概率；利用所述查询集的数据样本属于各类别的概率和查询集的数据样本数量获取所述损失函数。
在第一方面的一种实现方式中，所述损失函数为：其中，L为损失函数，|Q|为查询集的样本数量，x为输入的查询集数据样本，其所属类别为y，cy、cj为支持集第y个类别、第j个类别的原型向量，t为常数，N为支持集中的类别总数，/>为两个输入向量之间的可微肯德尔相关系数，fθ为深度学习模型，θ为深度学习模型的参数。
在第一方面的一种实现方式中，利用所述损失函数对所述深度学习模型进行训练包括：利用所述损失函数对所述深度学习模型进行训练时，调整至少一个所述深度学习模型的参数值。
在第一方面的一种实现方式中，所述深度学习模型为卷积神经网络ResNet或基于Transformer的神经网络ViT。
第二方面，本申请提供一种样本分类方法。所述样本分类方法包括：获取各个类别至少一个参照样本和待分类的目标样本；利用深度学习模型获取所述参照样本和目标样本的特征，所述深度学习模型利用如第一方面中任一项所述的训练方法训练得到；根据所述参照样本的特征进行处理，获取各类别的原型向量；根据所述目标样本的特征和所述各类别的原型向量进行处理，获取所述目标样本的特征的通道重要性排序结果和所述各类别的原型向量的通道重要性排序结果；利用所述目标样本的所述特征的通道重要性排序结果和所述各类别的原型向量的通道重要性排序结果，获取所述目标样本的特征和各类别的原型向量之间的肯德尔相关系数；利用所述肯德尔相关系数，获取所述目标样本的分类结果。
在第二方面的一种实现方式中，获取肯德尔相关系数包括：获取所述目标样本的特征和所述原型向量的通道重要性排序结果；利用所述目标样本的特征和所述原型向量之间所有对应通道对的重要性排序结果进行匹配，匹配结果包括重要性排序结果一致的通道对和重要性排序结果不一致的通道对；根据重要性排序结果一致的通道对的数量、重要性排序结果不一致的通道对的数量和总通道对的数量获取所述肯德尔相关系数。
第三方面，本申请提供一种电子设备。所述电子设备包括：存储器，用于存储计算机程序；处理器，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行第一方面中任一项所述的训练方法和/或第二方面所述的样本分类方法。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述的训练方法和/或第二方面所述的样本分类方法。
附图说明
图1A显示为本申请实施例所述的训练方法的一种应用场景示意图。
图1B显示为本申请实施例所述的训练方法的另一种应用场景示意图。
图2显示为本申请实施例所述的训练方法的流程示意图。
图3显示为本申请实施例所述的训练方法的流程示意图。
图4显示为本申请实施例所述的训练方法的流程示意图。
图5显示为本申请实施例所述损失函数的计算方法的流程示意图。
图6显示为本申请实施例所述的样本分类方法的流程示意图。
图7显示为本申请实施例所述的样本分类方法的流程示意图。
图8显示为本申请实施例所述的电子设备的结构示意图。
元件标号说明
1 医学图像分类***
11 图像采集设备
12 本地处理器
13 显示终端
2 端-云交互***
20 终端
21 云端服务器
800 电子设备
810 存储器
820 处理器
830 显示器
S11～S17 步骤
S131～S133 步骤
S141～S142 步骤
S21～S22 步骤
S31～S36 步骤
S351～S353 步骤
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
由于在小样本学***缓，特征当中绝大部分通道上的取值都较小并且彼此之间十分接近。现有方法中所采用的负欧式距离和余弦相似度都是通过直接计算特征之间的几何相似度来进行分类，这会导致分类结果实际上由极少数的几个取值较大的通道所主导，而对于在特征当中占据绝大部分的取值较小的通道则难以区分它们在分类中的重要性。而在这些通道当中，一些通道可能代表了某个类别具有区分性的关键特征，如果不能很好地区分它们的重要性将会得到错误的分类结果。
至少针对上述问题，本申请实施例提供一种训练方法。所述训练方法包括：获取训练数据，所述训练数据包括支持集和查询集，所述支持集包括多个图像，所述查询集包括多个图像；利用深度学习模型获取所述支持集和所述查询集中的数据样本的特征；利用支持集的数据样本的特征进行处理，获取所述支持集各类别数据样本的原型向量和所述原型向量的各通道之间的差值；利用查询集的数据样本的特征进行处理，获取所述查询集的数据样本的特征的各通道之间的差值；利用各所述原型向量的各通道之间的差值和所述查询集的数据样本的特征的各通道之间的差值，获取所述查询集的数据样本的特征和各所述原型向量之间的可微肯德尔相关系数；根据所述可微肯德尔相关系数计算损失函数；根据所述训练数据，利用所述损失函数对所述深度学习模型进行训练。
本申请实施例中，根据原型向量各通道之间的差值和查询集的数据样本的特征的各通道之间的差值，获取可微肯德尔相关系数，进而利用数据样本对深度学习模型进行训练，训练过程中利用以可微肯德尔相关系数为参数的损失函数进行调整。此种训练方法能够建立原型向量的通道和查询集样本特征的通道之间的关联，获取可微肯德尔相关系数，进一步地获取更精良的深度学习模型。
图1A显示为本申请实施例所述的训练方法的一种应用场景示意图。医学图像分类***1可用于实现本申请实施例提供的训练方法，但本申请实施例提供的训练方法的应用场景并不限于图1A所示的医学图像分类***1。如图1A所示，医学图像分类***1包括图像采集设备11、本地处理器12和显示终端13。本申请实施例提供的训练方法可以应用于本地处理器12。
其中，所述图像采集设备11用于采集医学影像数据样本。可选地，所述图像采集设备可以为CT扫描仪、X射线机、磁共振成像设备等，本申请并不以此为限。
所述本地处理器12用于处理和分析采集到的医学影像数据样本，提取所述医学影像数据样本的特征分类结果。所述本地处理器12可以是一台处理器或多台处理器组成的处理器集群，具体此处均不限定。
所述显示终端13可以是具有显示功能的设备，用于显示处理后的分类结果，供医生进行分析。可选地，所述显示终端13可以为医学显示器。
需要说明的是，虽然图1A中仅示出了一个图像采集设备11、一个本地处理器12和一个显示终端13，但应当理解，图1A中的示例仅用于理解本方案，具体显示终端和服务器的数量均应当结合实际情况灵活确定。
在另一些可能的实现方式中，本申请描述的训练方法可应用于端-云交互场景。图1B显示为本申请实施例所述的训练方法的另一种应用场景示意图。如图1B所示，端-云交互***2包括终端20和云端服务器21，终端20与云端服务器21之间可进行通信，通信方式不限于有线或无线的方式，本申请所述的训练方法可以应用于云端服务器21中。
其中，所述终端20可以为移动的或固定的，例如，该终端20可以是无线终端也可以是有线终端，无线终端可以是指一种具有无线收发功能的设备，可以部署于数据处理中心和医学实验室。所述终端可以是医学处理器、手机(Mobile phone)、平板电脑(Pad)、笔记本电脑等等，在此不作限定。
所述云端服务器21可以包括一个或多个服务器，或者包括一个或多个处理节点，或者包括运行于服务器的一个或多个虚拟机，云端服务器21还可以被称为服务器集群、管理平台、数据处理中心等等，本申请实施例不做限定。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行详细描述。
本申请以下实施例提供了一种训练方法，该方法例如可通过图1A所示的本地处理器12或图1B所示的云端服务器21来实现。图2显示为本申请实施例所述的训练方法的流程示意图。如图2所示，所述训练方法包括步骤S11至S17。
步骤S11，获取训练数据，所述训练数据包括支持集和查询集，所述支持集包括多个图像，所述查询集包括多个图像。所述支持集的构建形式为N-way，K-shot，即支持集中的图像共有N个类别，其中每个类别包含K张图像。
步骤S12，利用深度学习模型获取所述支持集和所述查询集中的数据样本的特征。
步骤S13，利用支持集的数据样本的特征进行处理，获取所述支持集各类别数据样本的原型向量和所述原型向量的各通道之间的差值。
步骤S14，利用查询集的数据样本的特征进行处理，获取所述查询集的数据样本的特征的各通道之间的差值。
步骤S15，利用各所述原型向量的各通道之间的差值和所述查询集的数据样本的特征的各通道之间的差值，获取所述查询集的数据样本的特征和各所述原型向量之间的可微肯德尔相关系数。其中，所述可微肯德尔相关系数用来度量两个有序变量之间单调关系强弱的相关程度，相关系数的绝对值越大，表示相关度越强，相关系数越小，表示相关度越弱。
在一些可能的实现方式中，所述可微肯德尔相关系数的计算公式为：
其中，u＝(u1,u2,...un)查询集的数据样本的特征，v＝(v1,v2,...vn)为原型向量，n为通道总数，ui为向量u在第i个通道上的取值，vi为向量v在第i个通道上的取值，α为参数。
步骤S16，根据所述可微肯德尔相关系数计算损失函数。
步骤S17，根据所述训练数据，利用所述损失函数对所述深度学习模型进行训练。
本申请实施例中，根据原型向量各通道之间的差值和查询集的数据样本的特征的各通道之间的差值，获取可微肯德尔相关系数，进而利用数据样本对深度学习模型进行训练，训练过程中利用以可微肯德尔相关系数为参数的损失函数进行调整。此种训练方法能够建立原型向量的通道和查询集样本特征的通道之间的关联，获取可微肯德尔相关系数，进一步地获取更精良的深度学习模型。
图3显示为本申请实施例所述的训练方法的流程示意图。如图3所示，利用支持集的数据样本的特征进行处理，获取所述支持集各类别数据样本的原型向量和所述原型向量的各通道之间的差值包括步骤S131至S133。
步骤S131，根据所述支持集的数据样本的特征，获取所述支持集各类别数据样本的原型向量。
步骤S132，利用所述原型向量获取所述原型向量的各通道值。
步骤S133，根据所述原型向量的各通道值，获取所述原型向量的各通道之间的差值。
在一些可能的实现方式中，ui为向量u在第i个通道上的取值，uj为向量u在第j个通道上的取值，则原型向量u的第i个和第j个通道之间的差值计算公式为：δ＝ui-uj。
图4显示为本申请实施例所述的训练方法的流程示意图。如图4所示，利用查询集的数据样本的特征进行处理，获取所述查询集的数据样本的特征的各通道之间的差值包括步骤S141至步骤S142。
步骤S141，根据所述查询集中的数据样本的特征获取所述查询集的数据样本的特征的各通道值。
步骤S142，利用所述查询集的数据样本的特征的各通道值获取所述查询集的数据样本的特征的各通道之间的差值。
于本申请的一实施例中，获取所述支持集的各类别的原型向量包括步骤S134：根据所述支持集各类别数据样本的特征的平均值，获取所述支持集各类别数据样本的原型向量。
图5显示为本申请实施例所述损失函数的计算方法的流程示意图。如图5所示，所述损失函数的计算方法包括步骤S21至S22。
步骤S21，根据所述查询集数据样本的特征和各类别原型向量之间的可微肯德尔相关系数获取查询集的数据样本属于各类别的概率。
步骤S22，利用所述查询集的数据样本属于各类别的概率和查询集的数据样本数量获取所述损失函数。
在一些可能的实现方式中，所述支持集的构建形式为5-way，5-shot。根据所述查询集数据样本的特征和各类别原型向量之间的可微肯德尔相关系数获取查询集的数据样本属于各类别的概率。对于其中支持集中的样本，对各类别中所有5个样本取平均作为各个类别的原型向量。根据所述查询集数据样本的特征和各类别原型向量之间的可微肯德尔相关系数获取查询集的数据样本属于各类别的概率的计算公式为：
其中，ck为第k个类别的类原型向量，cj为第j个类别的类原型向量，sim为相似度度量，N为类别总数，t为常数，x为输入的查询集数据样本，y为样本所属类别，fθ为深度学习模型，θ为深度学习模型的参数。
于本申请的一实施例中，所述损失函数的计算公式为：
其中，L为损失函数，|Q|为查询集的样本数量，x为输入的查询集数据样本，其所属类别为y，cy、cj为支持集第y个类别、第j个类别的原型向量，t为常数，N为支持集中的类别总数，为两个输入向量之间的可微肯德尔相关系数，fθ为深度学习模型，θ为深度学习模型的参数。
于本申请一实施例中，利用所述损失函数对所述深度学习模型进行训练包括：利用所述损失函数对所述深度学习模型进行训练时，调整至少一个所述深度学习模型的参数值。
于本申请一实施例中，所述深度学习模型为卷积神经网络ResNet(Residualneural network，残差神经网络)或基于Transformer的神经网络ViT(Visiontransformer)。
图6显示为本申请实施例所述的样本分类方法的流程示意图。如图6所示，所述样本分类方法包括步骤S31至S36。
步骤S31，获取各个类别至少一个参照样本和待分类的目标样本。可选地，所述参照样本为已有分类结果的样本。
步骤S32，利用深度学习模型获取所述参照样本和目标样本的特征，所述深度学习模型利用如本申请任一实施例所述的训练方法训练得到。可选地，利用训练好的所述深度学习模型作为特征提取器，分别提取目标样本的查询集样本的特征和支持集样本的特征。
步骤S33，根据所述参照样本的特征进行处理，获取各类别的原型向量。
步骤S34，根据所述目标样本的特征和所述各类别的原型向量进行处理，获取所述目标样本的特征的通道重要性排序结果和所述各类别的原型向量的通道重要性排序结果。可选地，根据特征中各个通道取值大小进行排序，各个通道的重要程度利用排序结果表示。
在一些可能的实现方式中，一个通道数为5的特征，其各个通道的取值分别为(0.1,0.11,0.13,0.12,0.14)，将其进行排序后得到的特征的重要性排序结果为(1,2,4,3,5)。
步骤S35，利用所述目标样本的所述特征的通道重要性排序结果和所述各类别的原型向量的通道重要性排序结果，获取所述目标样本的特征和各类别的原型向量之间的肯德尔相关系数。
步骤S36，利用所述肯德尔相关系数，获取所述目标样本的分类结果。其中，所述分类结果为与所述目标样本的特征具有最大肯德尔相关系数的原型向量对应的类别。
图7显示为本申请实施例所述的样本分类方法的流程示意图。如图7所示，获取肯德尔相关系数包括步骤S351至S353。
步骤S351，获取所述目标样本的特征和所述原型向量的通道重要性排序结果。
步骤S352，利用所述目标样本的特征和所述原型向量之间所有对应通道对的重要性排序结果进行匹配，匹配结果包括重要性排序结果一致的通道对和重要性排序结果不一致的通道对。可选地，任意一个通道对为各通道中任意两个通道的集合。任意一个通道对的重要性排序结果为任意两个通道的重要性排序结果。可选地，若匹配失败，则获取的匹配结果为重要性排序结果不一致的通道对，若匹配成功，则获取的匹配结果为重要性排序结果一致的通道对。
步骤S353，根据重要性排序结果一致的通道对的数量、重要性排序结果不一致的通道对的数量和总通道对的数量获取所述肯德尔相关系数。
在一些可能的实现方式中，所述肯德尔相关系数的计算公式为：
其中，Ncon为重要性排序一致的通道对的数量，Ndis为重要性排序不一致的通道对的数量，Ntotal为总通道对的数量。
接下来将通过一个具体实例对上述肯德尔相关系数的计算方式进行介绍。其中，对于任意两个特征x和y，特征x和特征y的通道重要性排序结果分别为x＝(1,2,3)，y＝(1,3,2)。其中特征x的通道1和通道2为(1,2)，特征y的通道1和通道2为(1,3)，通道对(包含通道1和2)的重要性排序结果一致。特征x的通道1和通道3为(1,3)，特征y的通道1和通道3为(1,2)，通道对(包含通道1和3)的重要性排序结果一致。特征x的通道2和通道3为(2,3)，特征y的通道2和通道3为(3,2)，通道对(包含通道2和3)的重要性排序结果不一致。重要性排序结果一致的通道对的数量Ncon＝2，重要性排序结果不一致的通道对的数量Ndis＝1，总通道对的数量Ntotal＝3。根据重要性排序结果一致的通道对的数量、重要性排序结果不一致的通道对的数量和总通道对的数量获取所述肯德尔相关系数的为1/3。
需要说明的是，以上仅为本申请实施例可能的实现方式，本申请并不以此为限。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置或方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，模块/单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或单元可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块/单元可以是或者也可以不是物理上分开的，作为模块/单元显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块/单元来实现本申请实施例的目的。例如，在本申请各个实施例中的各功能模块/单元可以集成在一个处理模块中，也可以是各个模块/单元单独物理存在，也可以两个或两个以上模块/单元集成在一个模块/单元中。
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例还提供了一种电子设备。图8显示为本申请实施例所述的电子设备800的结构示意图。如图8所示，本实施例中电子设备800包括存储器810和处理器820。
存储器810用于存储计算机程序；可选地，存储器810包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
具体地，存储器810可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)和/或高速缓存存储器。电子设备800可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。存储器810可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
处理器820与存储器810相连，用于执行存储器810存储的计算机程序，以使电子设备800执行本申请任一实施例所述的训练方法和/或本申请实施例所述的样本分类方法。
可选地，处理器820可以是通用处理器，包括中央处理器(Central processingunit，简称CPU)、网络处理器(Network processor，简称NP)等；还可以是数字信号处理器(Digital signal processor，简称DSP)、专用集成电路(Application specificintegrated circuit，简称ASIC)、现场可编程门阵列(Field programmable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选地，本实施例中电子设备800还可以包括显示器830。显示器830与存储器810和处理器820通信相连，用于显示本申请任一实施例所述的训练方法和/或本申请实施例所述的样本分类方法的相关图形用户界面(Graphics user interface，简称GUI)交互界面。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序。该程序被处理器执行时实现本申请任一实施例所述的训练方法和/或本申请实施例所述的样本分类方法。
上述各个附图对应的流程或结构的描述各有侧重，某个流程或结构中没有详述的部分，可以参见其他流程或结构的相关描述。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
Claims (12)
1.一种训练方法，其特征在于，包括：
获取训练数据，所述训练数据包括支持集和查询集，所述支持集包括多个图像，所述查询集包括多个图像；
利用深度学习模型获取所述支持集和所述查询集中的数据样本的特征；
利用支持集的数据样本的特征进行处理，获取所述支持集各类别数据样本的原型向量和所述原型向量的各通道之间的差值；
利用查询集的数据样本的特征进行处理，获取所述查询集的数据样本的特征的各通道之间的差值；
利用各类别所述原型向量的各通道之间的差值和所述查询集的数据样本的特征的各通道之间的差值，获取所述查询集的数据样本的特征和各类别所述原型向量之间的可微肯德尔相关系数；
根据所述可微肯德尔相关系数计算损失函数；
根据所述训练数据，利用所述损失函数对所述深度学习模型进行训练。
2.根据权利要求1所述的训练方法，其特征在于，利用支持集的数据样本的特征进行处理，获取所述支持集各类别数据样本的原型向量和所述原型向量的各通道之间的差值包括：
根据所述支持集的数据样本的特征，获取所述支持集各类别数据样本的原型向量；
利用所述原型向量获取所述原型向量的各通道值；
根据所述原型向量的各通道值，获取所述原型向量的各通道之间的差值。
3.根据权利要求1所述的训练方法，其特征在于，利用查询集的数据样本的特征进行处理，获取所述查询集的数据样本的特征的各通道之间的差值包括：
根据所述查询集中的数据样本的特征获取所述查询集的数据样本的特征的各通道值；
利用所述查询集的数据样本的特征的各通道值获取所述查询集的数据样本的特征的各通道之间的差值。
4.根据权利要求1所述的训练方法，其特征在于，获取所述支持集的各类别的原型向量包括：
根据所述支持集各类别数据样本的特征的平均值，获取所述支持集各类别数据样本的原型向量。
5.根据权利要求1所述的训练方法，其特征在于，所述损失函数的计算方法包括：
根据所述查询集数据样本的特征和各类别原型向量之间的可微肯德尔相关系数获取查询集的数据样本属于各类别的概率；
利用所述查询集的数据样本属于各类别的概率和查询集的数据样本数量获取所述损失函数。
6.根据权利要求5所述的训练方法，其特征在于，所述损失函数为：
其中，L为损失函数，|Q|为查询集的样本数量，x为输入的查询集数据样本，其所属类别为y，cy、cj为支持集第y个类别、第j个类别的原型向量，t为常数，N为支持集中的类别总数，为两个输入向量之间的可微肯德尔相关系数，fθ为深度学习模型，θ为深度学习模型的参数。
7.根据权利要求1所述的训练方法，其特征在于，利用所述损失函数对所述深度学习模型进行训练包括：
利用所述损失函数对所述深度学习模型进行训练时，调整至少一个所述深度学习模型的参数值。
8.根据权利要求1所述的训练方法，其特征在于，所述深度学习模型为卷积神经网络ResNet或基于Transformer的神经网络ViT。
9.一种样本分类方法，其特征在于，包括：
获取各个类别至少一个参照样本和待分类的目标样本；
利用深度学习模型获取所述参照样本和目标样本的特征，所述深度学习模型利用如权利要求1至8中任一项所述的训练方法训练得到；
根据所述参照样本的特征进行处理，获取各类别的原型向量；
根据所述目标样本的特征和所述各类别的原型向量进行处理，获取所述目标样本的特征的通道重要性排序结果和所述各类别的原型向量的通道重要性排序结果；
利用所述目标样本的所述特征的通道重要性排序结果和所述各类别的原型向量的通道重要性排序结果，获取所述目标样本的特征和各类别的原型向量之间的肯德尔相关系数；
利用所述肯德尔相关系数，获取所述目标样本的分类结果。
10.根据权利要求9所述的样本分类方法，其特征在于，获取肯德尔相关系数包括：
获取所述目标样本的特征和所述原型向量的通道重要性排序结果；
利用所述目标样本的特征和所述原型向量之间所有对应通道对的重要性排序结果进行匹配，匹配结果包括重要性排序结果一致的通道对和重要性排序结果不一致的通道对；
根据重要性排序结果一致的通道对的数量、重要性排序结果不一致的通道对的数量和总通道对的数量获取所述肯德尔相关系数。
11.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储计算机程序；
处理器，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行权利要求1至8中任一项所述的训练方法和/或权利要求9至10中任一项所述的样本分类方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至8中任一项所述的训练方法和/或权利要求9至10中任一项所述的样本分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310892144.1A CN116935160B (zh) | 2023-07-19 | 2023-07-19 | 一种训练方法、样本分类方法、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310892144.1A CN116935160B (zh) | 2023-07-19 | 2023-07-19 | 一种训练方法、样本分类方法、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116935160A true CN116935160A (zh) | 2023-10-24 |
| CN116935160B CN116935160B (zh) | 2024-05-10 |
Family
ID=88378587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310892144.1A Active CN116935160B (zh) | 2023-07-19 | 2023-07-19 | 一种训练方法、样本分类方法、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116935160B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112287954A (zh) * | 2019-07-24 | 2021-01-29 | 华为技术有限公司 | 图像分类方法、图像分类模型的训练方法及其装置 |
| CN112949740A (zh) * | 2021-03-17 | 2021-06-11 | 重庆邮电大学 | 一种基于多级度量的小样本图像分类方法 |
| CN114298290A (zh) * | 2021-12-08 | 2022-04-08 | 重庆邮电大学 | 一种基于自监督学习的神经网络编码方法及编码器 |
| WO2022243337A2 (en) * | 2021-05-17 | 2022-11-24 | Deep Safety Gmbh | System for detection and management of uncertainty in perception systems, for new object detection and for situation anticipation |
| CN115512202A (zh) * | 2022-09-27 | 2022-12-23 | 湖南朗国视觉识别研究院有限公司 | 基于度量学习的小样本目标检测方法、***和存储介质 |
| CN115795355A (zh) * | 2023-02-10 | 2023-03-14 | 中国科学院自动化研究所 | 一种分类模型训练方法、装置及设备 |
-
2023
- 2023-07-19 CN CN202310892144.1A patent/CN116935160B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112287954A (zh) * | 2019-07-24 | 2021-01-29 | 华为技术有限公司 | 图像分类方法、图像分类模型的训练方法及其装置 |
| CN112949740A (zh) * | 2021-03-17 | 2021-06-11 | 重庆邮电大学 | 一种基于多级度量的小样本图像分类方法 |
| WO2022243337A2 (en) * | 2021-05-17 | 2022-11-24 | Deep Safety Gmbh | System for detection and management of uncertainty in perception systems, for new object detection and for situation anticipation |
| CN114298290A (zh) * | 2021-12-08 | 2022-04-08 | 重庆邮电大学 | 一种基于自监督学习的神经网络编码方法及编码器 |
| CN115512202A (zh) * | 2022-09-27 | 2022-12-23 | 湖南朗国视觉识别研究院有限公司 | 基于度量学习的小样本目标检测方法、***和存储介质 |
| CN115795355A (zh) * | 2023-02-10 | 2023-03-14 | 中国科学院自动化研究所 | 一种分类模型训练方法、装置及设备 |
Non-Patent Citations (4)
| Title |
|---|
| XU LUO .ETAL: "Channel Importance Matters in Few-Shot Image Classification", ARXIV * |
| 刘宁 等: "生成式对抗网络在抑郁症分类中的应用", 计算机应用与软件, no. 06 * |
| 王扬 等: "多查询相关的排序支持向量机融合算法", 计算机研究与发展, no. 04 * |
| 胡春健: "小样本下Kendall τ相关系数的显著性检验", 控制工程, vol. 20, no. 06 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116935160B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110807495B (zh) | 多标签分类方法、装置、电子设备及存储介质 | |
| CN108280477B (zh) | 用于聚类图像的方法和装置 | |
| Brancati et al. | Multi-classification of breast cancer histology images by using a fine-tuning strategy | |
| Tan et al. | A transfer learning approach to breast cancer classification in a federated learning framework | |
| CN108629772A (zh) | 图像处理方法及装置、计算机设备和计算机存储介质 | |
| CN110738235A (zh) | 肺结核判定方法、装置、计算机设备及存储介质 | |
| CN111090764A (zh) | 基于多任务学习和图卷积神经网络的影像分类方法及装置 | |
| CN108875931A (zh) | 神经网络训练及图像处理方法、装置、*** | |
| CN114241478A (zh) | 宫颈细胞图像中异常细胞图像识别方法、装置 | |
| Zeiser et al. | Breast cancer intelligent analysis of histopathological data: A systematic review | |
| WO2023020214A1 (zh) | 检索模型的训练和检索方法、装置、设备及介质 | |
| CN111506755A (zh) | 图片集的分类方法和装置 | |
| CN112233102A (zh) | 图像样本集中噪声的识别方法、装置、设备及存储介质 | |
| CN111784665A (zh) | 基于傅里叶变换的oct图像质量评估方法、***及装置 | |
| Gururaj et al. | Fundus image features extraction for exudate mining in coordination with content based image retrieval: A study | |
| CN113762262A (zh) | 图像数据筛选、图像分割模型训练方法、装置和存储介质 | |
| CN111191065B (zh) | 一种同源图像确定方法及装置 | |
| CN110427870B (zh) | 眼部图片识别方法、目标识别模型训练方法及装置 | |
| CN116935160B (zh) | 一种训练方法、样本分类方法、电子设备及介质 | |
| CN110472537B (zh) | 一种自适应识别方法、装置、设备及介质 | |
| Sun et al. | Randomized nonlinear two-dimensional principal component analysis network for object recognition | |
| CN113128278A (zh) | 一种图像识别方法及装置 | |
| CN113627522A (zh) | 基于关系网络的图像分类方法、装置、设备及存储介质 | |
| CN112086174A (zh) | 一种三维知识诊断模型构建方法和*** | |
| Estrela et al. | Some issues regarding content-based image retrieval (CBIR) for remote healthcare theradiagnosis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |