CN113159062A - 分类模型的训练及图像分类方法、电子设备及存储介质 - Google Patents

分类模型的训练及图像分类方法、电子设备及存储介质 Download PDF

Info

Publication number
CN113159062A
CN113159062A CN202110310042.5A CN202110310042A CN113159062A CN 113159062 A CN113159062 A CN 113159062A CN 202110310042 A CN202110310042 A CN 202110310042A CN 113159062 A CN113159062 A CN 113159062A
Authority
CN
China
Prior art keywords
classification
feature
learning system
classification result
width learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110310042.5A
Other languages
English (en)
Other versions
CN113159062B (zh
Inventor
胡颖
赵保亮
姚亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202110310042.5A priority Critical patent/CN113159062B/zh
Publication of CN113159062A publication Critical patent/CN113159062A/zh
Priority to PCT/CN2021/138024 priority patent/WO2022199148A1/zh
Application granted granted Critical
Publication of CN113159062B publication Critical patent/CN113159062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种分类模型的训练方法、基于分类模型的图像分类方法、电子设备及存储介质。分类模型包括多个分类器和宽度学习***，该方法包括：获取训练图像集，训练图像集中包括多张训练图像；分别利用多个分类器对每张训练图像分类，得到训练图像集对应的多个第一分类结果，其中每个分类器的结构不同，多个分类器是利用训练图像集训练得到的；将多个分类结果合并，得到第二分类结果；利用宽度学习***对第二分类结果进行处理，得到第三分类结果，第三分类结果和第一分类结果的维度相同；若第三分类结果表明宽度学习***的处理精度不符合预设要求，则调整宽度学习***的参数。通过上述方式，能够提高训练得到的分类模型的分类效果。

Description

分类模型的训练及图像分类方法、电子设备及存储介质
技术领域
本申请涉及图像处理领域，特别是涉及一种分类模型的训练方法、基于分类模型的图像分类方法、电子设备及计算机可读存储介质。
背景技术
图像分类在医疗、监控等领域起着至关重要的作用。所谓图像分类，即利用分类模型/分类器提取图像的特征，并基于图像的特征对预测图像属于各预设类别的概率，作为分类结果，分类结果可以表明图像所属类别。
在将分类器应用于分类之前，需要利用训练图像对其进行训练。但是，如果训练图像(例如乳腺超声图像)数量较少，会影响分类器的训练效果，进而导致其应用于分类时得到的分类结果准确度不高。
发明内容
本申请提供一种分类模型的训练方法、基于分类模型的图像分类方法、电子设备及计算机可读存储介质，能够解决训练得到的分类模型的分类效果不好的问题。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种分类模型的训练方法。分类模型包括多个分类器和宽度学习***，该方法包括：获取训练图像集，训练图像集中包括多张训练图像；分别利用多个分类器对每张训练图像分类，得到训练图像集对应的多个第一分类结果，其中每个分类器的结构不同，多个分类器是利用训练图像集训练得到的；将多个分类结果合并，得到第二分类结果；利用宽度学习***对第二分类结果进行处理，得到第三分类结果，第三分类结果和第一分类结果的维度相同；若第三分类结果表明宽度学习***的处理精度不符合预设要求，则调整宽度学习***的参数。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种基于分类模型的图像分类方法，分类模型包括多个分类器和宽度学习***，该方法包括：获取目标图像；分别利用多个分类器获取目标图像对应的多个初始分类结果，每个分类器的结构不同；将目标图像对应的多个初分类结果合并，得到合并分类结果；利用宽度学习***对合并分类结果进行处理，得到目标图像的最终分类结果，最终分类结果和初始分类结果的维度相同。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。
为解决上述技术问题，本申请采用的再一个技术方案是：提供一种计算机可读存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。
通过上述方式，本申请分类模型包括多个分类器和宽度学习***。在对分类模型训练的过程中，利用预先训练好的多个分类器获取训练图像集对应的多个第一分类结果，其中，由于不同的分类器结构不同，因此分类方式可能具有差异，相应地，得到的第一分类结果可能具有差异，故能够利用宽度学习***对不同第一分类结果合并得到的第二分类结果进行处理。并且，由于第三分类结果与第一分类结果的维度相同，意味着宽度学习***对第二分类结果的处理相当于对第一分类结果的调整/纠正。
相较于分类模型仅包括单个分类器，利用单个分类器得到训练图像的分类结果，并基于此对单个分类器进行训练的方式，由于本申请会利用宽度学习***对训练好的分类器得到的分类结果进行调整，并且根据调整的效果逐步优化宽度学习***的参数，因此即使在训练图像较少的情况下，也能够使训练得到的分类模型具有较好的分类效果。
附图说明
图1是本申请五个分类器的结构示意图；
图2是本申请分类模型的训练方法实施例一的流程示意图；
图3是本申请利用训练图像集对五个分类器训练的结构示意图；
图4是本申请分类模型的训练方法实施例二的流程示意图；
图5是本申请分类模型的训练方法实施例三的流程示意图；
图6是本申请分类模型的训练方法实施例四的流程示意图；
图7是本申请分类模型的训练方法实施例五的流程示意图；
图8是图7中S52的具体流程示意图；
图9是本申请注意力模块的结构示意图；
图10是本申请基于分类模型的图像分类方法一实施例的流程示意图；
图11是本申请分类模型对目标图像分类的结构示意图；
图12是本申请电子设备一实施例的结构示意图；
图13是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
在详细介绍本申请提供的分类模型的训练方法之前，先对该分类模型的结构进行如下说明：
分类模型包括多个分类器和宽度学习***(BLS)。多个分类器至少包括两个分类器，不同分类器的结构不同。本申请后面实施例的描述是以分类模型包括五个分类器进行的。
下面结合图1，对分类模块包括的五个分类器进行说明。
如图1所示，五个分类器中包括一个第一分类器C0和四个不同的第二分类器(C1、C2、C3和C4)。
C0包括第一特征提取模块和第一分类模块。第一特征提取模块包括卷积层(例如7*7卷积)、池化层(例如3*3最大池化)、残差模块1、残差模块2、残差模块3和残差模块4。
C1包括第二特征提取模块、第一注意力模块和第二分类模块。第二特征提取模块包括卷积层、池化层和残差模块1，即C1和C0共享卷积层、池化层和残差模块1。
C2包括第三特征提取模块、第二注意力模块和第三分类模块。第三特征提取模块包括卷积层、池化层、残差模块1和残差模块2，即C2和C0共享卷积层、池化层、残差模块1和残差模块2。
C3包括第四特征提取模块、第三注意力模块和第四分类模块。第四特征提取模块包括卷积层、池化层、残差模块1、残差模块2和残差模块3。即C3和C0共享卷积层、池化层、残差模块1、残差模块2和残差模块3。
C4包括第五特征提取模块、第四注意力模块和第五分类模块。第五特征提取模块包括卷积层、池化层、残差模块1、残差模块2、残差模块3和残差模块4。即C4和C0共享卷积层、池化层、残差模块1、残差模块2和残差模块3。
其中，上述提及到的特征提取模块用于提取图像特征，注意力模块用于为图像特征分配对应的权重，分类模块用于基于图像特征对图像分类，得到分类结果。本申请涉及的分类结果为图像属于各预设类别的概率。
可以理解的是，由于不同分类器中被送入至对应分类模块的特征尺度不同，而得到的分类结果维度相同，因此不同分类模块的构造不同。不同注意力模块的参数不同。
此外，在其他实施例中，本申请分类模型的多个分类器可以仅包括一个第一分类器和一个第二分类器，或者，也可以仅包括三个不同的第二分类器等等。
本申请关于分类模型的多个分类器和宽度学习***的训练可以一起进行。也可以将分类模型的训练分为两个部分，即先对多个分类器进行训练，再对宽度学习***进行训练。
本申请提供的分类模型的训练方法是将分类模型的训练分为两部分进行的。即在利用训练图像集对宽度学习***训练之前，先利用训练图像集对多个分类器进行训练。具体如下：
图2是本申请分类模型的训练方法实施例一的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。如图2所示，本实施例可以包括：
S11：获取训练图像集。
训练图像集中包括多张训练图像。每张训练图像带有真实类别标签。
S12：分别利用多个分类器对每张训练图像分类，得到训练图像集对应的多个第一分类结果。
其中，每个分类器的结构不同。多个分类器是利用训练图像集训练得到的。
可以理解的是，多个分类器至少包括两个分类器。不同的分类器的结构不同，意味着不同分类器对训练图像的分类方式存在差异，从而对应得到的分类结果可能不同。若多个分类器包括五个分类器(C0～C4))，则可以得到训练图像对应的5个第一分类结果(O0～O4)。
在本步骤进行之前，利用训练图像集对多个分类器进行训练的过程可以如下：
若训练图像集中训练图像数量充足，可以直接利用训练图像集对多个分类器进行训练。具体而言，对于每张训练图像，分别利用多个分类器获取训练图像对应的多个第四分类结果，以组成训练图像集对应的多个第四分类结果，基于训练图像集对应的多个第四分类结果调整多个分类器的参数。在此情况下，S12中利用多个分类器得到的训练图像的第一分类结果为多个分类器训练过程最后一次迭代输出的分类结果。
若训练图像集中训练图像数据较少，可以将对多个分类器的训练进一步分为两个阶段。第一个阶段是对分类器包括的特征提取模块的训练，第二个阶段是对分类器中特征提取模块之外的其他模块的训练。具体而言，在第一个阶段，先利用ImageNet数据集对特征提取模块进行训练，以调整特征提取模块的参数。在第二个阶段，在对特征提取模块完成训练的基础上，保持特征提取模块的参数不变，利用训练图像集对多个分类器进行训练，以调整分类器的其他模块的参数。
其中，对多个分类器的训练方式包括但不限于k折交叉验证。对多个分类器的训练方式类似，因此为简化描述，本申请仅以在第二个阶段，利用5折交叉验证方式对C0进行训练，以调整其他模块的参数为例进行说明。
结合参阅图3，将训练图像集分割为五折(第1～5折)，其中四折作为训练子集，剩余一折作为验证子集。
对C0的训练可以分为五个子阶段。在第一个子阶段，第1～4折作为训练子集，第5折作为验证子集。在第二子阶段，第1～3、5折作为训练子集，第4折作为验证子集。在第三子阶段，第1～2、4～5作为训练子集，第3折作为验证子集。在第四子阶段，第1、3～5作为训练子集，第2折作为验证子集。在第五子阶段，第2～5作为训练子集，第1折作为验证子集。
在每个子阶段是利用训练子集对C0进行训练，每个子阶段对C0的训练是独立的。在每个子阶段分别利用C0获取对应训练子集中训练图像的第四分类结果，基于第四分类结果调整分类器的参数。
在其中一个子阶段利用训练子集对C0训练的过程中，所依据的损失函数可以如下：
Figure BDA0002989329130000071
其中，N表示训练子集中训练图像的数量，M表示预设类别数量，yic表示第i张训练图像的第c个类别对应的真实类别标签(真则为1，假则为0)，pic表示第i张训练图像属于第c个类别的概率。
由此，能够得到经第一个子阶段训练得到的C0、经第二个子阶段训练得到的C0、经第三个子阶段训练得到的C0、经第四个子阶段训练得到的C0、经第五个子阶段训练得到的C0。
在利用k折交叉验证方式对多个分类器训练的情况下，S12中利用多个分类器得到的训练图像对应的多个第一分类结果，即利用对应的验证子集对经训练的C0进行验证得到的分类结果。具体而言，利用第5折中的训练图像对经第一个子阶段训练得到的C0进行验证，得到第5折中的训练图像对应的第一分类结果O01；利用第4折中的训练图像对经第二个子阶段训练得到的C0进行验证，得到第4折中的训练图像对应的第一分类结果O02；…；利用第1折中的训练图像对经第五个子阶段训练得到的C0进行验证，得到第4折中的训练图像对应的第一分类结果O05。进而，将O01～O05拼接可得到C0对训练图像集的第一分类结果O0。
此外，在经过上述方式对C0进行训练、验证之后，还可以利用测试图像集(包括多张测试图像)对C0进行测试，以得到C0对每张测试图像的分类结果，从而根据C0对每张测试图像的分类结果评估对C0的训练效果。
以利用C0得到测试图像集中的一张测试图像的分类结果为例进行说明。利用经第一个子阶段训练的C0得到该测试图像的分类结果1，利用经第二个子阶段训练的C0得到该测试图像的分类结果2，…，利用经第五个子阶段训练的C0得到该测试图像的分类结果5，对测试图像的分类结果1～5求平均，得到C0对测试图像的初始分类结果，具体所依据的公式如下：
Figure BDA0002989329130000081
其中，
Figure BDA0002989329130000082
表示C0对第i张测试图像的最终分类结果，
Figure BDA0002989329130000083
表示经第j个子阶段训练的C0对第m张测试图像的分类结果j。
每张测试图像的初始分类结果合并可以得到C0对测试图像集的初始分类结果。
S13：将多个第一分类结果合并，得到第二分类结果。
将C1得到的第一分类结果O0、C2得到的第二分类结果O1、C3得到的第一分类结果O3和C4得到的第一分类结果O4合并，可以得到第二分类结果O。
S14：利用宽度学习***对第二分类结果进行处理，得到第三分类结果。
第三分类结果和第一分类结果的维度相同。因此，宽度学习***对第二分类结果的处理可以变相理解为对多个分类器得到的第一分类结果的调整。
S15：判断第三分类结果表明宽度学习***的处理精度是否符合预设要求。
若不符合，则执行S16。
S16：调整宽度学习***的参数。
通过本实施例的实施，本申请分类模型包括多个分类器和宽度学习***。在对分类模型训练的过程中，利用预先训练好的多个分类器获取训练图像集对应的多个第一分类结果，其中，由于不同的分类器结构不同，因此分类方式可能具有差异，相应地，得到的第一分类结果可能具有差异，故能够利用宽度学习***对不同第一分类结果合并得到的第二分类结果进行处理。并且，由于第三分类结果与第一分类结果的维度相同，意味着宽度学习***对第二分类结果的处理相当于对第一分类结果的调整/纠正。
相较于分类模型仅包括单个分类器，利用单个分类器得到训练图像的分类结果，并基于此对单个分类器进行训练的方式，由于本申请会利用宽度学习***对训练好的分类器得到的分类结果进行调整，并且根据调整的效果逐步优化宽度学习***的参数，因此即使在训练图像较少的情况下，也能够使训练得到的分类模型具有较好的分类效果。
图4是本申请分类模型的训练方法实施例二的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图4所示的流程顺序为限。本实施例是对S14的进一步扩展，如图4所示，本实施例可以包括：
S21：利用宽度学习***对第二分类结果进行线性变换，得到多组特征节点。
例如，利用宽度学习***对O进行第i(i∈1～n)次线性变换，得到第i组特征节点Zi＝φi(OWei+βei)，从而得到n组特征节点构成的特征节点集合Zn≡[Z1，...，Zn]。其中，Wei和βei表示随机权重系数，n表示特征节点的组数，φ(·)表示线性变换。
S22：利用宽度学习***对多组特征节点进行非线性变换，得到多组增强节点。
例如，利用宽度学习***对Zn进行第j(j∈1～m)次非线性变换，得到第j组增强节点
Figure BDA0002989329130000091
从而得到m组增强节点构成的增强节点集合Hm＝[H1，...，Hm]。其中，
Figure BDA0002989329130000092
和
Figure BDA0002989329130000093
表示随机权重系数，m表示增强节点的组数，ξ(·)表示非线性变换。
S23：利用宽度学习***基于所有的特征节点和增强节点得到第三分类结果。
宽度学习***可以基于下式得到第三分类结果：
Figure BDA0002989329130000094
Figure BDA0002989329130000095
其中，Yd表示真实类别标签；
Figure BDA0002989329130000101
是将Zn和Hm组合得到的，N表示训练图像的数量，nk+mq是所有的特征节点和增强节点数。
Figure BDA0002989329130000102
表示宽度学习***的权重参数。
此外，还可以进一步基于Yd和
Figure BDA0002989329130000103
到宽度学习***的权重参数
Figure BDA0002989329130000104
Figure BDA0002989329130000105
Figure BDA0002989329130000106
其中，
Figure BDA0002989329130000107
表示Moore-Penrose逆。后文涉及的基于新的分类结果调整宽度学习的参数，也即将宽度学习***的当前参数替换为基于新的分类结果得到的宽度学习***的参数。其中，调整宽度学习***的参数包括调整宽度学习***基于第二分类结果得到的特征节点和增强节点的数量以及对应的权重参数。
可以通过如下方法实现对宽度学习***参数的增量式更新，以找到后续应用过程适用的参数(特征节点数量，增强节点数量以及对应的权重参数)。
图5是本申请分类模型的训练方法实施例三的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图5所示的流程顺序为限。本实施例是在上述实施例二的基础上对S16的进一步扩展，如图5所示，本实施例可以包括：
S31：利用宽度学习***增加特征节点和/或增强节点。
利用宽度学习***增加特征节点，也即利用宽度学习***在第n次线性变换的基础上，再对第二分类结果进行至少一次线性变换，得到至少一组新的特征节点，相应地，增强节点随着特征节点的增加而更新。例如，对第二分类结果进行第n+1次线性变换，得到第n+1组特征节点
Figure BDA0002989329130000108
增强节点相应更新为
Figure BDA0002989329130000109
利用宽度学习***增加增强节点，也即利用宽度学习***在第m次非线性变换的基础上，再对Zn进行至少一次非线性变换，得到至少一组新的增强节点。例如，对Zn进行第m+1次非线性变换得到第m+1组特征节点
Figure BDA0002989329130000111
S32：利用宽度学习***基于增加后所有的特征节点和增强节点，更新第三分类结果。
若利用宽度学习***增加特征节点，则增加后所有的特征节点和增强节点包括增加后所有的特征节点和更新后的增强节点。若利用宽度学习***增加增强节点，则增加后所有的特征节点和增强节点包括所有的特征节点和增加后所有的增强节点。
S33：基于第三分类结果调整宽度学习***的参数。
若第四分类结果表明宽度学习***的处理精度提升，则基于第四分类结果调整宽度学习***的参数；否则不调整宽度学习***的参数。
此外，本申请还可以利用测试图像集来对经训练的宽度学习***进行测试，即利用经训练的宽度学习***基于多个分类器得到的测试图像的初始分类结果(参考前面的说明，在此不赘述)得到测试图像的最终分类结果。根据测试图像的最终分类结果与第四分类结果共同评估经训练的宽度学习***的处理精度，即第四分类结果评估宽度学习***的训练精度ACCtrain，测试图像的最终分类结果评估宽度学习***的测试精度ACCtest。为简化描述，本申请后文仅以基于第四分类结果来评估宽度学习***的处理精度为例进行说明。
上述S31-S33通过增加特征节点和/或增强节点来调整宽度学习***的参数的过程，可以被称为增量式更新。下面以三个例子的形式对上述S31-S33进行说明。
例子1：(仅增加特征节点)
1)利用宽度学习***增加特征节点
Figure BDA0002989329130000112
并相应将增强节点更新为
Figure BDA0002989329130000113
2)利用宽度学习***基于增加后所有的特征节点和增强节点，更新第三分类结果。
3)若第三分类结果表明宽度学习***的ACCtrain提升，则基于增加后所有的特征节点和增强节点，调整宽度学习***的参数，并保留增加的特征节点和更新的增强节点。
加入Zn+1之后，
Figure BDA0002989329130000121
调整为
Figure BDA0002989329130000122
Figure BDA0002989329130000123
进一步地，
Figure BDA0002989329130000124
调整为
Figure BDA0002989329130000125
Figure BDA0002989329130000126
Figure BDA0002989329130000127
进一步地，
Figure BDA0002989329130000128
调整为
Figure BDA0002989329130000129
Figure BDA00029893291300001210
且特征节点的数量调整为n+1。
4)跳转至1)以重复执行上述步骤，直至第三分类结果表明宽度学习***的ACCtrain下降。
例子2：(仅增加增强节点)
1)利用宽度学习***增加增强节点
Figure BDA00029893291300001211
2)利用宽度学习***基于增加后所有的特征节点和增强节点，更新第三分类结果。
3)若第三分类结果表明宽度学习***的ACCtrain提升，则基于增加后所有的特征节点和增强节点，调整宽度学习***的参数，并保留增加的增强节点。
加入Hm+1之后，
Figure BDA00029893291300001212
调整为
Figure BDA00029893291300001213
Figure BDA00029893291300001214
进一步地，
Figure BDA00029893291300001215
整为
Figure BDA00029893291300001216
Figure BDA0002989329130000131
Figure BDA0002989329130000132
进一步地，
Figure BDA0002989329130000133
调整为
Figure BDA0002989329130000134
Figure BDA0002989329130000135
且增强节点的数据调整为m+1。
4)跳转至1)以重复执行上述步骤，直至第三分类结果表明宽度学习***的ACCtrain下降。
例子3：(先增加增强节点、再增加特征节点)
在上述例子2的基础上，若第三分类结果表明宽度学习***的ACCtrain下降，则继续执行以下步骤。
1)利用宽度学习***增加特征节点
Figure BDA0002989329130000136
并相应对增强节点更新。
2)利用宽度学习***基于增加后所有的特征节点和增强节点，更新第三分类结果。
3)若第三分类结果表明宽度学习***的ACCtrain提升，则基于第增加后所有的特征节点和增强节点，调整宽度学习***的参数，并保留增加的特征节点和更新的增强节点。
4)并跳转至1)以重复执行上述步骤，直至第三分类结果表明宽度学习***的ACCtrain下降。
例子3的详细描述请参考前面的例子1和2，在此不赘述。
通过本实施例的实施，本申请能够实现通过增加特征节点和/或增强节点的方式对宽度学习***的参数进行增量式更新。
下面详细描述S12中多个分类器(包括第一分类器C0和第二分类器C1)获取第一分类结果的过程。具体如下：
图6是本申请分类模型的训练方法实施例四的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图6所示的流程顺序为限。本实施例是在分类器为第一分类器C0的情况下，对S12的进一步扩展。如图6所示，本实施例可以包括：
S41：利用第一特征提取模块获取每张训练图像的第一特征。
S42：利用第一分类模块基于第一特征，得到第一分类器对每张训练图像的第一分类结果。
图7是本申请分类模型的训练方法实施例五的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图7所示的流程顺序为限。本实施例是在分类器为第二分类器C1的情况下，对S12的进一步扩展。如图7所示，本实施例可以包括：
S51：利用第二特征提取模块获取每张训练图像的第二特征。
S52：利用注意力模块为第二特征分配权重，得到每张训练图像的第三特征。
S52中的注意力模块为前面提及的第一注意力模块。第一注意力模块可以包括通道注意力模块和/或空间注意力模块。
其中，在仅包括通道注意力模块的情况下，通道注意力模块用于对第二特征的不同通道分配对应的注意力/第一权重。在仅包括空间注意力模块的情况下，空间注意力模块用于对第二特征的不同空间位置分配对应的注意力/第二权重。
在包括通道注意力模块和空间注意力模块的情况下，对通道注意力模块和空间注意力模块对第二特征处理的顺序不作限制。在一具体实施方式中，先利用通道注意力模块对第二特征进行处理，得到处理结果；再利用空间注意力模块对处理结果进一步处理，得到最终的处理结果(第三特征)。
结合参阅图8，在此情况下，S52可以包括以下子步骤：
S521：利用通道注意力模块为第二特征的每个通道分配对应的第一权重。
S522：基于对应的第一权重对第二特征进行处理，得到第四特征。
本步骤依据的计算公式如下：
F2＝F1*(1+R1)，
其中，F2表示第四特征，F1表示第二特征，R1表示对应的第一权重与第二特征的乘积，“*”代表Hadamard积。
S523：利用空间注意力模块为第四特征的每个空间位置分配对应的第二权重。
S524：基于对应的第二权重对第四特征进行处理，得到第三特征。
本步骤依据的计算公式如下：
F3＝F2*(1+R2)，
F3表示第三特征，R2表示对应的第二权重与第四特征的乘积。
通过通道注意力模块和空间注意力模块对第二特征的处理，能够使得最终得到的第三特征中保留更多的语义信息，有助于后续第二分类模块的分类。
结合图9，以一个例子的形式对S521-S524的实现过程进行说明。
训练图像的第二特征F1＝[a1，a2，...，ac]，大小为C×W×H。其中C表示通道数，H表示第二特征的高度，W表示第二特征的宽度。
首先，利用通道注意力模块对第二特征进行如下处理，以得到第三特征。具体如下：
对第二特征进行平均池化和最大池化，以压缩第二特征的空间位置信息(W*H)，将第一特征的大小转换为C×1×1，得到池化结果b：
b＝[b1，b2，...，bc]，
Figure BDA0002989329130000151
其中，(l，m)ε(H，W)表示第二特征中的一个空间位置。
进一步地，利用两个全连接层(FC)对池化结果b处理，得到s：
s＝W2(δ(W1b))＝(s1,s2,...,s1),
其中，W1表示第一个全连接层的处理，用于减小尺寸(大小)；W2表示第二个全连接层的处理，用于增加尺寸。从而增加池化结果的非线性。
进一步地，利用激活函数σ对s处理，以得到
Figure BDA0002989329130000161
的大小为C×1×1：
Figure BDA0002989329130000162
其中，σ(sk)表示为第k个通道分配的第一权重。
进一步地，调整
Figure BDA0002989329130000163
的大小以得到R1，R1的大小等于F1的大小C×W×H。
进一步地，利用R1对第二特征F1处理，得到F2：
F2＝F1*(1+R1)，
F2＝[c1，c2，...，cc]。
其次，利用空间注意力模块对F2进行如下处理，以得到F3。具体如下：
利用卷积内核K(K∈R1×1×C×1)对F2处理，以将F2压缩为d，d的大小为1×W×H：
d＝(d1，1，d1，2，…，dH，W)，
进一步地，利用激活函数σ对d处理，以得到
Figure BDA0002989329130000164
的大小为1×H×W：
Figure BDA0002989329130000165
其中，σ(dl，m)表示为空间位置(l，m)分配的第二权重。
进一步地，调整
Figure BDA0002989329130000166
的大小以得到R2，R2的大小等于F2的大小(C×W×H)。
进一步地，利用R2对第二特征F2处理，得到：
F3＝F2*(1+R2)。
S53：利用第二分类模块基于对应的第三特征，得到第二分类器对每张训练图像的第一分类结果。
图10是本申请基于分类模型的图像分类方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图10所示的流程顺序为限。分类模型包括多个分类器和宽度学习***。分类模型可以但不限于为利用前述方法训练得到的。如图10所示，本实施例可以包括：
S61：获取目标图像。
S62：分别利用多个分类器获取目标图像对应的多个初始分类结果。
每个分类器的结构不同。
S63：将目标图像对应的多个初分类结果合并，得到合并分类结果。
S64：利用宽度学习***对合并分类结果进行处理，得到目标图像的最终分类结果。
最终分类结果和初始分类结果的维度相同。
下面结合图11，仍然以多个分类器包括五个分类器为例，对S61-S64的实现过程进行说明：
将乳腺超声图像x分别送入C0-C4，对应得到目标图像的五个初始分类结果M0～M4；将M0～M4合并为M；将M送入宽度学习***，宽度学习***对M处理得到目标图像的最终分类结果N。
通过本实施例的实施，本申请分类模型包括多个分类器和宽度学习***。其中，由于不同的分类器结构不同，因此分类方式可能具有差异，相应地，得到的初始分类结果可能具有差异，因此宽度学习***对多个初始分类结果合并得到的合并分类结果的处理。并且，最终分类结果与初始分类结果的维度相同，意味着宽度学习***对合并分类结果的处理相当于对初始分类结果的调整/纠正，最终分类结果则为初始分类结果经调整的结果。相较于直接利用单个分类器得到图像分类结果的方式，本申请提供的方法能够使得最终得到的分类结果更准确。
图12是本申请电子设备一实施例的结构示意图。如图12所示，该电子设备可以包括处理器71、与处理器71耦接的存储器72。
其中，存储器72存储有用于实现上述任一实施例的方法的程序指令；处理器71用于执行存储器72存储的程序指令以实现上述方法实施例的步骤。其中，处理器71还可以称为CPU(Central PrCcessing Unit，中央处理单元)。处理器71可能是一种集成电路芯片，具有信号的处理能力。处理器71还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器71也可以是任何常规的处理器等。
图13是本申请计算机可读存储介质一实施例的结构示意图。如图13所示，本申请实施例的计算机可读存储介质80存储有程序指令81，该程序指令81被执行时实现本申请上述实施例提供的方法。其中，该程序指令81可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质80中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(prCcessCr)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质80包括：U盘、移动硬盘、只读存储器(RCM，Read-CnlyMemCry)、随机存取存储器(RAM，RandCm Access MemCry)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (14)

1.一种分类模型的训练方法，其特征在于，所述分类模型包括多个分类器和宽度学习***，包括：
获取训练图像集，所述训练图像集中包括多张训练图像；
分别利用多个所述分类器对每张所述训练图像分类，得到所述训练图像集对应的多个第一分类结果，其中每个所述分类器的结构不同，多个所述分类器是利用所述训练图像集训练得到的；
将多个所述分类结果合并，得到第二分类结果；
利用所述宽度学习***对所述第二分类结果进行处理，得到第三分类结果，所述第三分类结果和所述第一分类结果的维度相同；
若所述第三分类结果表明所述宽度学习***的处理精度不符合预设要求，则调整所述宽度学习***的参数。
2.根据权利要求1所述的方法，其特征在于，所述利用所述宽度学习***对所述第二分类结果进行处理，得到第三分类结果，包括：
利用所述宽度学习***对所述第二分类结果进行线性变换，得到多组特征节点；
利用所述宽度学习***对多组所述特征节点进行非线性变换，得到多组增强节点；
利用所述宽度学习***基于所有的所述特征节点和所述增强节点得到所述第三分类结果。
3.根据权利要求2所述的方法，其特征在于，所述调整所述宽度学习***的参数，包括：
利用所述宽度学习***增加所述特征节点，和/或，利用所述宽度学习***增加所述增强节点；
利用所述宽度学习***基于增加后所有的所述特征节点和所述增强节点，更新所述第三分类结果；
基于所述第三分类结果调整所述宽度学习***的参数。
4.根据权利要求3所述的方法，其特征在于，所述方法进一步包括：
利用所述宽度学习***增加所述增强节点；
利用所述宽度学习***基于增加后所有的所述增强节点和所述特征节点，更新所述第三分类结果；
若所述第三分类结果表明所述宽度学习***的处理精度提升，则基于增加后所有的所述增强节点和所述特征节点，调整所述宽度学习***的参数，并保留增加的所述增强节点；
重复执行上述步骤，直至所述第三分类结果表明所述宽度学习***的处理精度下降。
5.根据权利要求4所述的方法，其特征在于，若所述第三分类结果表明所述宽度学习***的处理精度下降，所述方法进一步包括：
利用所述宽度学习***增加所述特征节点；
利用所述宽度学习***基于增加后所有的所述特征节点和所述增强节点，更新所述第三分类结果；
若所述第三分类结果表明所述宽度学习***的处理精度提升，则基于增加后所有的所述特征节点和所述增强节点，调整所述宽度学习***的参数，并保留增加的所述特征节点；
重复执行上述步骤，直至所述第三分类结果表明所述宽度学习***的处理精度下降。
6.根据权利要求1所述的方法，其特征在于，所述多个分类器包括第一分类器和第二分类器，所述第一分类器包括第一特征提取模块和第一分类模块，所述第二分类器包括第二特征提取模块、注意力模块和第二分类模块。
7.根据权利要求6所述的方法，其特征在于，所述分类器为所述第一分类器，所述分别利用多个所述分类器对每张所述训练图像分类，得到所述训练图像集对应的多个第一分类结果，包括：
利用所述第一特征提取模块获取每张所述训练图像的第一特征；
利用所述第一分类模块基于所述第一特征，得到所述第一分类器对每张所述训练图像的第一分类结果；
和/或，所述分类器为所述第二分类器，所述方法进一步包括：
利用所述第二特征提取模块获取每张所述训练图像的第二特征；
利用所述注意力模块为所述第二特征分配权重，得到每张所述训练图像的第三特征；
利用所述第二分类模块基于对应的所述第三特征，得到所述第二分类器对每张所述训练图像的第一分类结果。
8.根据权利要求7所述的方法，其特征在于，所述注意力模块包括通道注意力模块和空间注意力模块，所述权重包括第一权重和第二权重，所述利用所述注意力模块为所述第二特征分配权重，得到第三特征，包括：
利用所述通道注意力模块为所述第二特征的每个通道分配对应的所述第一权重；
基于对应的所述第一权重对所述第二特征进行处理，得到第四特征；
利用所述空间注意力模块为所述第四特征的每个空间位置分配对应的所述第二权重；
基于对应的所述第二权重对所述第四特征进行处理，得到所述第三特征。
9.根据权利要求8所述的方法，其特征在于，所述基于对应的所述第一权重对所述第二特征进行处理，得到第四特征的计算公式如下：
F2＝F1*(1+R1)，
所述基于对应的所述第二权重对所述第四特征进行处理，得到所述第三特征的计算公式如下：
F3＝F2*(1+R2)，
其中，F2表示所述第四特征，F1表示所述第二特征，F3代表所述第三特征，“*”表示Hadamard积，R1表示对应的所述第一权重与所述第二特征的乘积，R2表示对应的所述第二权重与所述第四特征的乘积。
10.根据权利要求1所述的方法，其特征在于，在所述分别利用多个所述分类器对多张所述训练图像分类，得到所述训练图像集对应的多个第一分类结果之前，包括如下对多个所述分类器训练的步骤：
分别利用多个所述分类器获取所述训练图像集对应的多个第四分类结果；
基于对应的多个所述第四分类结果调整所述分类器的参数。
11.一种基于分类模型的图像分类方法，其特征在于，所述分类模型包括多个分类器和宽度学习***，包括：
获取目标图像；
分别利用多个所述分类器获取所述目标图像对应的多个初始分类结果，每个所述分类器的结构不同；
将所述目标图像对应的多个初分类结果合并，得到合并分类结果；
利用所述宽度学习***对所述合并分类结果进行处理，得到所述目标图像的最终分类结果，所述最终分类结果和所述初始分类结果的维度相同。
12.根据权利要求11所述的方法，其特征在于，所述分类模型是利用权利要求1-10中任一项所述的方法训练得到的。
13.一种电子设备，其特征在于，包括处理器和存储器，其中，所述处理器与存储器连接；
所述存储器存储有程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-10中任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述存储介质存储程序指令，所述程序指令被执行时实现如权利要求1-10中任一项所述的方法。
CN202110310042.5A 2021-03-23 2021-03-23 分类模型的训练及图像分类方法、电子设备及存储介质 Active CN113159062B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110310042.5A CN113159062B (zh) 2021-03-23 2021-03-23 分类模型的训练及图像分类方法、电子设备及存储介质
PCT/CN2021/138024 WO2022199148A1 (zh) 2021-03-23 2021-12-14 分类模型的训练及图像分类方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110310042.5A CN113159062B (zh) 2021-03-23 2021-03-23 分类模型的训练及图像分类方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113159062A true CN113159062A (zh) 2021-07-23
CN113159062B CN113159062B (zh) 2023-10-03

Family

ID=76888341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110310042.5A Active CN113159062B (zh) 2021-03-23 2021-03-23 分类模型的训练及图像分类方法、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN113159062B (zh)
WO (1) WO2022199148A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022199148A1 (zh) * 2021-03-23 2022-09-29 中国科学院深圳先进技术研究院 分类模型的训练及图像分类方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200097757A1 (en) * 2018-09-25 2020-03-26 Nec Laboratories America, Inc. Network reparameterization for new class categorization
CN111160392A (zh) * 2019-12-03 2020-05-15 广东工业大学 一种基于小波宽度学习***的高光谱分类方法
CN111401443A (zh) * 2020-03-16 2020-07-10 重庆大学 基于多特征提取的宽度学习***
CN112465071A (zh) * 2020-12-18 2021-03-09 深圳赛安特技术服务有限公司 图像多标签分类方法、装置、电子设备及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729947A (zh) * 2017-10-30 2018-02-23 杭州登虹科技有限公司 一种人脸检测模型训练方法、装置和介质
CN111444657B (zh) * 2020-03-10 2023-05-02 五邑大学 一种疲劳驾驶预测模型的构建方法、装置及存储介质
CN113159062B (zh) * 2021-03-23 2023-10-03 中国科学院深圳先进技术研究院 分类模型的训练及图像分类方法、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200097757A1 (en) * 2018-09-25 2020-03-26 Nec Laboratories America, Inc. Network reparameterization for new class categorization
CN111160392A (zh) * 2019-12-03 2020-05-15 广东工业大学 一种基于小波宽度学习***的高光谱分类方法
CN111401443A (zh) * 2020-03-16 2020-07-10 重庆大学 基于多特征提取的宽度学习***
CN112465071A (zh) * 2020-12-18 2021-03-09 深圳赛安特技术服务有限公司 图像多标签分类方法、装置、电子设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孔毅: "基于宽度学习的高光谱图像分析", 《国博士学位论文全文数据库》, no. 09, pages 2 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022199148A1 (zh) * 2021-03-23 2022-09-29 中国科学院深圳先进技术研究院 分类模型的训练及图像分类方法、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022199148A1 (zh) 2022-09-29
CN113159062B (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
Shanthamallu et al. A brief survey of machine learning methods and their sensor and IoT applications
US8660372B2 (en) Determining quality of an image or video using a distortion classifier
US10504009B2 (en) Image hash codes generated by a neural network
CN109471945B (zh) 基于深度学习的医疗文本分类方法、装置及存储介质
US20180157743A1 (en) Method and System for Multi-Label Classification
Zhang et al. Sparse codes auto-extractor for classification: A joint embedding and dictionary learning framework for representation
CN112818861B (zh) 一种基于多模态上下文语义特征的情感分类方法及***
CN111133453B (zh) 人工神经网络
WO2020248841A1 (zh) 图像的au检测方法、装置、电子设备及存储介质
CN109817222B (zh) 一种年龄识别方法、装置及终端设备
WO2019102984A1 (ja) 学習装置及び学習方法、識別装置及び識別方法、プログラム並びに記録媒体
CN112233698A (zh) 人物情绪识别方法、装置、终端设备及存储介质
CN112037800A (zh) 声纹核身模型训练方法、装置、介质及电子设备
CN113159062A (zh) 分类模型的训练及图像分类方法、电子设备及存储介质
CN114419378B (zh) 图像分类的方法、装置、电子设备及介质
WO2023134067A1 (zh) 语音分类模型的训练方法、装置、设备及存储介质
WO2020135324A1 (en) Audio signal processing
US20180165578A1 (en) Deep neural network compression apparatus and method
US20140163891A1 (en) Apparatus and method for real-time emotion recognition using heart rate variability
CN112308227B (zh) 神经网络架构搜索方法、装置、终端设备以及存储介质
Lin et al. Domestic activities clustering from audio recordings using convolutional capsule autoencoder network
CN112259086A (zh) 一种基于语谱图合成的语音转换方法
CN114399028B (zh) 信息处理方法、图卷积神经网络训练方法及电子设备
CN116258873A (zh) 一种位置信息确定方法、对象识别模型的训练方法及装置
US20230196810A1 (en) Neural ode-based conditional tabular generative adversarial network apparatus and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant