CN114463559B - 图像识别模型的训练方法、装置、网络和图像识别方法 - Google Patents

图像识别模型的训练方法、装置、网络和图像识别方法 Download PDF

Info

Publication number
CN114463559B
CN114463559B CN202210110008.8A CN202210110008A CN114463559B CN 114463559 B CN114463559 B CN 114463559B CN 202210110008 A CN202210110008 A CN 202210110008A CN 114463559 B CN114463559 B CN 114463559B
Authority
CN
China
Prior art keywords
preset
vit
convolutional neural
neural network
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210110008.8A
Other languages
English (en)
Other versions
CN114463559A (zh
Inventor
申啸尘
周有喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Core Computing Integrated Shenzhen Technology Co ltd
Original Assignee
Core Computing Integrated Shenzhen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Core Computing Integrated Shenzhen Technology Co ltd filed Critical Core Computing Integrated Shenzhen Technology Co ltd
Priority to CN202210110008.8A priority Critical patent/CN114463559B/zh
Publication of CN114463559A publication Critical patent/CN114463559A/zh
Application granted granted Critical
Publication of CN114463559B publication Critical patent/CN114463559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像识别模型的训练方法、装置、网络和图像识别方法，该训练方法包括通过得到卷积神经网络对应的预测标签值，将卷积神经网络中多个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取，以得到各个预设ViT网络对应的预测标签值和第一预设损失函数值，然后分别对各个预设ViT网络进行权重和偏置更新，根据卷积神经网络对应的预测标签值和各个预设ViT网络对应的预测标签值计算得到整合后的预测标签值，根据整合后的预测标签值、卷积神经网络对应的第二预设损失函数和真实标签值计算得到卷积神经网络对应的第二预设损失函数值生成图像识别模型，能够将传统的卷积神经网络结构和ViT网络进行融合。

Description

图像识别模型的训练方法、装置、网络和图像识别方法
技术领域
本申请涉及图像识别领域，具体涉及一种图像识别模型的训练方法、装置、网络、图像识别方法和设备终端。
背景技术
目前，将ViT网络模型(Vision Transformer，视觉转换器)应用在计算机视觉上以替代CNN(Convolutional Neural Networks，卷积神经网络)是计算机视觉研究的热点，ViT网络模型本质上是利用视觉自注意力网络机制关注图片中各部分的重要信息，从而输出对应的预测结果。
由于上述方法较为新颖，使用到很多在卷积神经网络中不常用或出现频率较低的特殊算子，而此类特殊算子往往不能被移动端设备很好的支持，进而导致现有计算机视觉领域的有效方法往往无法直接与这种采用ViT网络模型的新型视觉方法进行结合。
发明内容
鉴于此，本申请提供一种图像识别模型的训练方法、装置、网络和设备终端，能够在利用传统的卷积神经网络结构的基础上，进一步结合ViT网络的优点，将传统的卷积神经网络结构和ViT网络进行融合，以克服现有计算机视觉领域的有效方法往往无法直接与这种采用ViT网络的新型视觉方法进行结合的缺点。
一种图像识别模型的训练方法，包括：
通过卷积神经网络对输入的训练图像数据集进行特征提取，以得到卷积神经网络对应的预测标签值；
获取卷积神经网络中多个中间层输出的特征图；
将各个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取，以得到各个预设ViT网络对应的预测标签值和第一预设损失函数值；
根据各自对应的第一预设损失函数值，分别对各个预设ViT网络进行权重和偏置更新；
根据卷积神经网络对应的预测标签值和各个预设ViT网络对应的预测标签值计算得到整合后的预测标签值；
根据整合后的预测标签值、卷积神经网络对应的第二预设损失函数和真实标签值计算得到卷积神经网络对应的第二预设损失函数值；
根据第二预设损失函数值对卷积神经网络进行权重和偏置更新；
循环执行上述步骤，直至第二预设损失函数收敛以生成对应的图像识别模型。
在一个实施例中，中间层为池化层，将各个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取，以得到各个预设ViT网络对应的预测标签值和第一预设损失函数值的步骤包括：
将多个池化层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取，以获取各个预设ViT网络对应的预测标签值；
根据第一预设损失函数、各个预设ViT网络对应的预测标签值和真实标签值，计算得到各个预设ViT网络各自对应的第一预设损失函数值。
在一个实施例中，第二预设损失函数采用交叉熵损失函数，通过卷积神经网络对输入的训练图像数据集进行特征提取，以生成对应的预测标签值的步骤之前还包括：
基于交叉熵损失函数，将训练图像数据集输入到初始卷积神经网络进行训练，直至交叉熵损失函数收敛，得到训练收敛后的卷积神经网络。
在一个实施例中，将各个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取，以得到各个预设ViT网络对应的预测标签值和第一预设损失函数值的步骤之前还包括：
基于第一预设损失函数，将训练图像数据集输入到分别输入到各个初始ViT网络进行训练，直至各自对应的第一预设损失函数收敛，得到训练收敛后的各个预设ViT网络。
在一个实施例中，根据卷积神经网络对应的预测标签值和各个预设ViT网络对应的预测标签值计算得到整合后的预测标签值的步骤包括：
将卷积神经网络对应的预测标签值和各个预设ViT网络对应的预测标签值进行加权处理，以计算得到整合后的预测标签值。
此外，还提供一种图像识别模型的训练网络，包括：
卷积神经网络处理单元，用于通过卷积神经网络对输入的训练图像数据集进行特征提取，以得到卷积神经网络对应的预测标签值；
ViT网络处理单元，与卷积神经网络处理单元中的多个中间层的输出端相连接，用于将各个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取，以得到各个预设ViT网络对应的预测标签值和第一预设损失函数值；
ViT网络处理单元还用于根据各自对应的第一预设损失函数值，分别对各个预设ViT网络进行权重和偏置更新；
卷积神经网络处理单元还用于根据卷积神经网络对应的预测标签值和各个预设ViT网络对应的预测标签值计算得到整合后的预测标签值，根据整合后的预测标签值、卷积神经网络对应的第二预设损失函数和真实标签值计算得到卷积神经网络对应的第二预设损失函数值，根据第二预设损失函数值对卷积神经网络进行权重和偏置更新，直至第二预设损失函数收敛以生成对应的图像识别模型。
此外，还提供一种图像识别模型的训练装置，包括：
标签值生成单元，用于通过卷积神经网络对输入的训练图像数据集进行特征提取，以得到卷积神经网络对应的预测标签值；
特征图获取单元，用于获取卷积神经网络中多个中间层输出的特征图；
ViT网络特征提取单元，用于将各个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取，以得到各个预设ViT网络对应的预测标签值和第一预设损失函数值；
第一更新单元，用于根据各自对应的第一预设损失函数值，分别对各个预设ViT网络进行权重和偏置更新；
标签值整合单元，用于根据卷积神经网络对应的预测标签值和各个预设ViT网络对应的预测标签值计算得到整合后的预测标签值；
损失函数值生成单元，用于根据整合后的预测标签值、卷积神经网络对应的第二预设损失函数和真实标签值计算得到卷积神经网络对应的第二预设损失函数值；
第二更新单元，用于根据第二预设损失函数值对卷积神经网络进行权重和偏置更新；
模型生成单元，用于当第二预设损失函数收敛时生成对应的图像识别模型。
此外，还提供一种图像识别方法，采用上述训练方法所训练得到的图像识别模型进行图像识别。
此外，还提供一种设备终端，设备终端包括处理器和存储器，存储器用于存储计算机程序，处理器运行计算机程序以使设备终端执行上述训练方法。
此外，还提供一种可读存储介质，可读存储介质存储有计算机程序，计算机程序在被处理器执行时实施上述训练方法。
上述图像识别模型的训练方法，通过将卷积神经网络输出的特征图输入到各个预设ViT网络，从而在特征图的层面直接对各个预设ViT网络的权重进行优化，同时，根据卷积神经网络对应的预测标签值和各个预设ViT网络对应的预测标签值计算得到整合后的预测标签值，根据整合后的预测标签值、卷积神经网络对应的第二预设损失函数和真实标签值计算得到卷积神经网络对应的第二预设损失函数值，根据第二预设损失函数值对卷积神经网络进行权重和偏置更新，循环执行上述步骤，最终当第二预设损失函数收敛时生成对应的图像识别模型，从而让图像识别模型既可利用各个预设ViT网络进行充分训练，又可不依赖各个预设ViT网络而产生识别预测结果，进而使得上述图像识别模型能够更好的适配各个推理平台，并仍然可利用现有计算机视觉领域中各种优秀卷积神经网络结构以及对应的训练方法，实现了传统的卷积神经网络结构和ViT网络模型的有效融合，克服现有计算机视觉领域的有效方法往往无法直接与这种采用ViT网络模型的新型视觉方法进行结合的缺点。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像识别模型的训练方法的流程示意图；
图2是本申请实施例提供的一种得到各个预设ViT网络对应的第一损失函数值的方法流程示意图；
图3是本申请实施例提供的另一种图像识别模型的训练方法的流程示意图；
图4是本申请实施例提供的又一种图像识别模型的训练方法的流程示意图；
图5是本申请实施例提供的一种图像识别模型的训练网络的结构框图；
图6是本申请实施例提供的一种图像识别模型的训练装置的结构框图。
具体实施方式
下面结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，下述各个实施例及其技术特征可以相互组合。
ViT网络模型(Vision Transformer，视觉转换器)的本质是将输入的图像分块，分成多个patch(小块)并标定每块位置信息(即顺序)，经过线性投影后，进一步经过线性变换送入transformer encoder，transformer encoder的本质是多头自注意力机制，找到每一小块图片与其它块图片的相关性，将注意力集中(即权重分配)到与全图联系最紧密的patch中，然后综合这些信息得到全局的特征并输出预测标签。
如图1所示，提供一种图像识别模型的训练方法，该训练方法包括：
一种图像识别模型的训练方法，包括：
步骤S110，通过卷积神经网络对输入的训练图像数据集进行特征提取，以得到卷积神经网络对应的预测标签值。
其中，卷积神经网络在对训练图像数据集进行处理时，通常需要不断的对训练图像数据集进行卷积处理，从而进行特征提取，从而得到卷积神经网络对应的预测标签值。
步骤S120，获取卷积神经网络中多个中间层输出的特征图。
其中，卷积神经网络在对训练图像数据集进行处理时，通常需要不断的对训练图像数据集进行卷积处理，因而在卷积处理过程中可输出得到多个特征图，因而可获取卷积神经网络中多个中间层输出的特征图。
步骤S130，将各个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取，以得到各个预设ViT网络对应的预测标签值和第一预设损失函数值。
其中，各个预设ViT网络的输入端分别与卷积神经网络中多个中间层一一对应相连接，从而对多个中间层输出的特征图分别进行特征提取，可得到各个预设ViT网络各自对应的第二损失函数值。
步骤S140，根据各自对应的第一预设损失函数值，分别对各个预设ViT网络进行权重和偏置更新。
其中，在上述训练过程中，在通过将卷积神经网络中多个中间层输出的特征图输入到各个预设ViT网络进行特征提取时，需要同步对各个预设ViT网络自身进行权重和偏置更新，即训练过程中需要对各个预设ViT网络自身进行独立优化，从而在下一次对输入的卷积神经网络中多个中间层输出的特征图进行特征提取时，能够不断的降低第一预设损失函数值以进行优化。
步骤S150，根据卷积神经网络对应的预测标签值和各个预设ViT网络对应的预测标签值计算得到整合后的预测标签值。
其中，为进一步将各个预设ViT网络模型与卷积神经网络相结合，使得卷积神经网络能够在训练过程中根据各个预设ViT网络模型的预测结果调整卷积核参数，以让各卷积层提取到预测结果最相关的特征图，从而增强输出标签的准确性。此时需要将各个预设ViT网络对应的预测标签值与卷积神经网络对应的预测标签值进行整合，然后计算得到整合后的预测标签值。
步骤S160，根据整合后的预测标签值、卷积神经网络对应的第二预设损失函数和真实标签值计算得到卷积神经网络对应的第二预设损失函数值。
其中，在计算得到整合后的预测标签值之后，需要综合整合后的预测标签值、卷积神经网络对应的第二预设损失函数和真实标签值计算得到卷积神经网络对应的第二预设损失函数值。
其中，在计算得到第二预设损失函数值时，通过根据整合后的预测标签值进一步计算卷积神经网络对应的第二预设损失函数值，能够使得卷积神经网络能够借鉴各个预设ViT网络模型的预测优点，为后续卷积神经网络能够利用各个预设ViT网络模型的预测优点进行优化而奠定基础。
步骤S170，根据第二预设损失函数值对卷积神经网络进行权重和偏置更新。
其中，在计算得到上述第二预设损失函数值之后，可进一步通过反向传播求取梯度对所述卷积神经网络进行权重和偏置更新。步骤S180，循环执行上述步骤，直至第二预设损失函数收敛以生成对应的图像识别模型。
其中，循环执行上述步骤S110至步骤S150，以使卷积神经网络对自身进行权重和偏置更新，直至卷积神经网络对应的第二预设损失函数收敛，从而生成对应的图像识别模型。
本实施例中，可将训练图像数据集划分为多个数据子集，然后预先设置一个学习率，以对其中一个数据子集的卷积神经网络进行训练，然后更新卷积神经网络的权重和偏置参数，此时卷积神经网络的参数已经更新，即卷积神经网络的各个中间层输出的特征图已经发生变化，然后使用更新后的卷积神经网络对该数据子集再次进行推理，执行步骤S120至步骤S180，以更新各个预设ViT网络的权重和偏置，以及卷积神经网络的权重和偏置，然后重复上述过程以训练多个数据子集，直至卷积神经网络的第二预设损失函数收敛，最终生成对应的图像识别模型。
其中，生成的图像识别模型中需不包括上述各个预设ViT网络。
上述图像识别模型的训练方法，通过将卷积神经网络输出的特征图输入到各个预设ViT网络，从而在特征图的层面直接对各个预设ViT网络的权重进行优化，同时，根据卷积神经网络对应的预测标签值和各个预设ViT网络对应的预测标签值计算得到整合后的预测标签值，根据整合后的预测标签值、卷积神经网络对应的第二预设损失函数和真实标签值计算得到卷积神经网络对应的第二预设损失函数值，根据第二预设损失函数值对卷积神经网络进行权重和偏置更新，最终当第二预设损失函数收敛时生成对应的图像识别模型，从而让图像识别模型既可利用各个预设ViT网络进行充分训练，又可不依赖各个预设ViT网络而产生识别预测结果，进而使得上述图像识别模型能够更好的适配各个推理平台，并仍然可利用现有计算机视觉领域中各种优秀卷积神经网络结构以及对应的训练方法，实现了传统的卷积神经网络结构和ViT网络模型的有效融合，克服现有计算机视觉领域的有效方法往往无法直接与这种采用ViT网络模型的新型视觉方法进行结合的缺点。
在一个实施例中，中间层为池化层，如图2所示，步骤S130包括：
步骤S132，将多个池化层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取，以获取各个预设ViT网络对应的预测标签值。
步骤S134，根据第一预设损失函数、各个预设ViT网络对应的预测标签值和真实标签值，计算得到各个预设ViT网络各自对应的第一预设损失函数值。
其中，池化层在卷积神经网络中是起到压缩特征图的作用，包含了各个尺度的特征图，中间层选择为池化层，目的在于充分利用多个尺度的特征图对各个预设ViT网络进行训练，在中间层选择为池化层的基础上，通过将多个池化层输出的特征图输入各个预设ViT网络进行特征提取，以获取各自对应的预测标签值，进而根据第一预设损失函数、各个预测标签值和对应的真实标签值，得到各个预设ViT网络对应的第一损失函数值，从而为后续的训练过程奠定基础。
在一个实施例中，上述池化层采用最大池化层，上述卷积神经网络采用VGG16主干网络。
在一个实施例中，第二预设损失函数采用交叉熵损失函数，如图3所示，步骤S110之前还包括：
步骤S190，基于交叉熵损失函数，将训练图像数据集输入到初始卷积神经网络进行训练，直至交叉熵损失函数收敛，得到训练收敛后的卷积神经网络。
其中，在执行步骤S110之前，通常卷积神经网络本身已经单独训练收敛。
在一个实施例中，如图4所示，步骤S130之前还包括：
步骤S200，基于第一预设损失函数，将训练图像数据集输入到分别输入到各个初始ViT网络进行训练，直至各自对应的第一预设损失函数收敛，得到训练收敛后的各个预设ViT网络。
在一个实施例中，步骤S150包括：将卷积神经网络对应的预测标签值和各个预设ViT网络对应的预测标签值进行加权处理，以计算得到整合后的预测标签值。
其中，通过计算整合后的预测标签值，能够将ViT网络各自对应的预测标签值作为损失的一部分在卷积神经网络的反向传播时造成影响，从而实现了传统的卷积神经网络结构和ViT网络模型的有效融合。
此外，如图5所示，还提供一种图像识别模型的训练网络210，包括：
卷积神经网络处理单元220，用于通过卷积神经网络对输入的训练图像数据集进行特征提取，以得到卷积神经网络对应的预测标签值；
ViT网络处理单元230，与卷积神经网络处理单元中的多个中间层的输出端相连接，用于将各个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取，以得到各个预设ViT网络对应的预测标签值和第一预设损失函数值；
ViT网络处理单元230还用于根据各自对应的第一预设损失函数值，分别对各个预设ViT网络进行权重和偏置更新；
卷积神经网络处理单元220还用于根据卷积神经网络对应的预测标签值和各个预设ViT网络对应的预测标签值计算得到整合后的预测标签值，根据整合后的预测标签值、卷积神经网络对应的第二预设损失函数和真实标签值计算得到卷积神经网络对应的第二预设损失函数值，根据第二预设损失函数值对卷积神经网络进行权重和偏置更新，直至第二预设损失函数收敛以生成对应的图像识别模型。
此外，如图6所示，还提供一种图像识别模型的训练装置300，包括：
标签值生成单元310，用于通过卷积神经网络对输入的训练图像数据集进行特征提取，以得到卷积神经网络对应的预测标签值；
特征图获取单元320，用于获取卷积神经网络中多个中间层输出的特征图；
ViT网络特征提取单元330，用于将各个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取，以得到各个预设ViT网络对应的预测标签值和第一预设损失函数值；
第一更新单元340，用于根据各自对应的第一预设损失函数值，分别对各个预设ViT网络进行权重和偏置更新；
标签值整合单元350，用于根据卷积神经网络对应的预测标签值和各个预设ViT网络对应的预测标签值计算得到整合后的预测标签值；
损失函数值生成单元360，用于根据整合后的预测标签值、卷积神经网络对应的第二预设损失函数和真实标签值计算得到卷积神经网络对应的第二预设损失函数值；
第二更新单元370，用于根据第二预设损失函数值对卷积神经网络进行权重和偏置更新；
模型生成单元380，用于当第二预设损失函数收敛时生成对应的图像识别模型。
此外，还提供一种图像识别方法，采用上述训练方法所训练得到的图像识别模型进行图像识别。
此外，还提供一种设备终端，设备终端包括处理器和存储器，存储器用于存储计算机程序，处理器运行计算机程序以使设备终端执行上述训练方法。
此外，还提供一种可读存储介质，可读存储介质存储有计算机程序，计算机程序在被处理器执行时实施上述训练方法。
上述训练装置中各个单元的划分仅用于举例说明，在其他实施例中，可将上述训练装置按照需要划分为不同的单元，以完成上述训练装置的全部或部分功能。关于的上述训练装置的具体限定可以参见上文中对于方法的限定，在此不再赘述。
即，以上仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，例如各实施例之间技术特征的相互结合，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
另外，对于特性相同或相似的结构元件，本申请可采用相同或者不相同的标号进行标识。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“例如”一词是用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何一个实施例不一定被解释为比其它实施例更加优选或更加具优势。为了使本领域任何技术人员能够实现和使用本申请，本申请给出了以上描述。在以上描述中，为了解释的目的而列出了各个细节。
应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实施例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

Claims (10)

1.一种图像识别模型的训练方法，其特征在于，包括：
通过卷积神经网络对输入的训练图像数据集进行特征提取，以得到所述卷积神经网络对应的预测标签值；
获取所述卷积神经网络中多个中间层输出的特征图；
将各个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取，以得到各个预设ViT网络对应的预测标签值和第一预设损失函数值；
根据各自对应的第一预设损失函数值，分别对各个预设ViT网络进行权重和偏置更新；
根据所述卷积神经网络对应的预测标签值和各个预设ViT网络对应的预测标签值计算得到整合后的预测标签值；
根据所述整合后的预测标签值、所述卷积神经网络对应的第二预设损失函数和真实标签值计算得到所述卷积神经网络对应的第二预设损失函数值；
根据所述第二预设损失函数值对所述卷积神经网络进行权重和偏置更新；
循环执行上述步骤，直至所述第二预设损失函数收敛以生成对应的图像识别模型。
2.根据权利要求1所述的训练方法，其特征在于，所述中间层为池化层，所述将各个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取，以得到各个预设ViT网络对应的预测标签值和第一预设损失函数值的步骤包括：
将所述多个池化层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取，以获取各个预设ViT网络对应的预测标签值；
根据第一预设损失函数、各个预设ViT网络对应的预测标签值和真实标签值，计算得到各个预设ViT网络各自对应的第一预设损失函数值。
3.根据权利要求1所述的训练方法，其特征在于，所述第二预设损失函数采用交叉熵损失函数，所述通过卷积神经网络对输入的训练图像数据集进行特征提取，以生成对应的预测标签值的步骤之前还包括：
基于所述交叉熵损失函数，将所述训练图像数据集输入到初始卷积神经网络进行训练，直至所述交叉熵损失函数收敛，得到训练收敛后的卷积神经网络。
4.根据权利要求1所述的训练方法，其特征在于，所述将各个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取，以得到各个预设ViT网络对应的预测标签值和第一预设损失函数值的步骤之前还包括：
基于第一预设损失函数，将所述训练图像数据集输入到分别输入到各个初始ViT网络进行训练，直至各自对应的第一预设损失函数收敛，得到训练收敛后的各个预设ViT网络。
5.根据权利要求1所述的训练方法，其特征在于，所述根据所述卷积神经网络对应的预测标签值和各个预设ViT网络对应的预测标签值计算得到整合后的预测标签值的步骤包括：
将所述卷积神经网络对应的预测标签值和各个预设ViT网络对应的预测标签值进行加权处理，以计算得到整合后的预测标签值。
6.一种图像识别模型的训练网络，其特征在于，包括：
卷积神经网络处理单元，用于通过卷积神经网络对输入的训练图像数据集进行特征提取，以得到所述卷积神经网络对应的预测标签值；
ViT网络处理单元，与所述卷积神经网络处理单元中的多个中间层的输出端相连接，用于将各个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取，以得到各个预设ViT网络对应的预测标签值和第一预设损失函数值；
所述ViT网络处理单元还用于根据各自对应的第一预设损失函数值，分别对各个预设ViT网络进行权重和偏置更新；
所述卷积神经网络处理单元还用于根据所述卷积神经网络对应的预测标签值和各个预设ViT网络对应的预测标签值计算得到整合后的预测标签值，根据所述整合后的预测标签值、所述卷积神经网络对应的第二预设损失函数和真实标签值计算得到所述卷积神经网络对应的第二预设损失函数值，根据所述第二预设损失函数值对所述卷积神经网络进行权重和偏置更新，直至所述第二预设损失函数收敛以生成对应的图像识别模型。
7.一种图像识别模型的训练装置，其特征在于，包括：
标签值生成单元，用于通过卷积神经网络对输入的训练图像数据集进行特征提取，以得到所述卷积神经网络对应的预测标签值；
特征图获取单元，用于获取所述卷积神经网络中多个中间层输出的特征图；
ViT网络特征提取单元，用于将各个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取，以得到各个预设ViT网络对应的预测标签值和第一预设损失函数值；
第一更新单元，用于根据各自对应的第一预设损失函数值，分别对各个预设ViT网络进行权重和偏置更新；
标签值整合单元，用于根据所述卷积神经网络对应的预测标签值和各个预设ViT网络对应的预测标签值计算得到整合后的预测标签值；
损失函数值生成单元，用于根据所述整合后的预测标签值、所述卷积神经网络对应的第二预设损失函数和真实标签值计算得到所述卷积神经网络对应的第二预设损失函数值；
第二更新单元，用于根据所述第二预设损失函数值对所述卷积神经网络进行权重和偏置更新；
模型生成单元，用于当所述第二预设损失函数收敛时生成对应的图像识别模型。
8.一种图像识别方法，其特征在于，采用权利要求1至5中任一项所述的训练方法所训练得到的图像识别模型进行图像识别。
9.一种设备终端，其特征在于，所述设备终端包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述设备终端执行权利要求1至5中任一项所述的训练方法。
10.一种可读存储介质，其特征在于，所述可读存储介质存储有计算机程序，所述计算机程序在被处理器执行时实施权利要求1至5中任一项所述的训练方法。
CN202210110008.8A 2022-01-29 2022-01-29 图像识别模型的训练方法、装置、网络和图像识别方法 Active CN114463559B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210110008.8A CN114463559B (zh) 2022-01-29 2022-01-29 图像识别模型的训练方法、装置、网络和图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210110008.8A CN114463559B (zh) 2022-01-29 2022-01-29 图像识别模型的训练方法、装置、网络和图像识别方法

Publications (2)

Publication Number Publication Date
CN114463559A CN114463559A (zh) 2022-05-10
CN114463559B true CN114463559B (zh) 2024-05-10

Family

ID=81410757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210110008.8A Active CN114463559B (zh) 2022-01-29 2022-01-29 图像识别模型的训练方法、装置、网络和图像识别方法

Country Status (1)

Country Link
CN (1) CN114463559B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796161A (zh) * 2019-09-18 2020-02-14 平安科技（深圳）有限公司 识别模型训练、眼底特征的识别方法、装置、设备及介质
CN110889428A (zh) * 2019-10-21 2020-03-17 浙江大搜车软件技术有限公司 图像识别方法、装置、计算机设备与存储介质
WO2021012526A1 (zh) * 2019-07-22 2021-01-28 平安科技（深圳）有限公司 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质
WO2021102655A1 (zh) * 2019-11-25 2021-06-03 深圳市欢太科技有限公司 网络模型训练方法、图像属性识别方法、装置及电子设备
CN113239981A (zh) * 2021-04-23 2021-08-10 中国科学院大学 局部特征耦合全局表征的图像分类方法
CN113887610A (zh) * 2021-09-29 2022-01-04 内蒙古工业大学 基于交叉注意力蒸馏Transformer的花粉图像分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021012526A1 (zh) * 2019-07-22 2021-01-28 平安科技（深圳）有限公司 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质
CN110796161A (zh) * 2019-09-18 2020-02-14 平安科技（深圳）有限公司 识别模型训练、眼底特征的识别方法、装置、设备及介质
CN110889428A (zh) * 2019-10-21 2020-03-17 浙江大搜车软件技术有限公司 图像识别方法、装置、计算机设备与存储介质
WO2021102655A1 (zh) * 2019-11-25 2021-06-03 深圳市欢太科技有限公司 网络模型训练方法、图像属性识别方法、装置及电子设备
CN113239981A (zh) * 2021-04-23 2021-08-10 中国科学院大学 局部特征耦合全局表征的图像分类方法
CN113887610A (zh) * 2021-09-29 2022-01-04 内蒙古工业大学 基于交叉注意力蒸馏Transformer的花粉图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积网络特征迁移的小样本物体图像识别;白洁;张金松;刘倩宇;;计算机仿真;20200515(第05期);全文 *

Also Published As

Publication number Publication date
CN114463559A (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN109840322B (zh) 一种基于强化学习的完形填空型阅读理解分析模型及方法
CN113343705B (zh) 一种基于文本语义的细节保持图像生成方法及***
CN110134774A (zh) 一种基于注意力决策的图像视觉问答模型、方法和***
CN109902192B (zh) 基于无监督深度回归的遥感图像检索方法、***、设备及介质
CN112991502A (zh) 一种模型训练方法、装置、设备及存储介质
CN114445641A (zh) 图像识别模型的训练方法、训练装置和训练网络
CN113822790B (zh) 一种图像处理方法、装置、设备及计算机可读存储介质
CN115017178A (zh) 数据到文本生成模型的训练方法和装置
CN114463559B (zh) 图像识别模型的训练方法、装置、网络和图像识别方法
CN106407932A (zh) 基于分数阶微积分与广义逆神经网络的手写数字识别方法
CN116740069B (zh) 基于多尺度显著信息和双向特征融合的表面缺陷检测方法
CN110866866B (zh) 图像仿色处理方法、装置、电子设备及存储介质
CN117094963A (zh) 一种眼底图像病灶分割方法、***、设备及存储介质
CN115965736B (zh) 图像处理方法、装置、设备及存储介质
CN116797681A (zh) 渐进式多粒度语义信息融合的文本到图像生成方法及***
CN116823782A (zh) 一种基于图卷积和多尺度特征的无参考图像质量评价方法
CN116844008A (zh) 一种注意力机制引导的内容感知无参考图像质量评价方法
CN114792349B (zh) 基于半监督生成对抗网络的遥感影像转换地图迁移方法
CN115457269A (zh) 一种基于改进DenseNAS的语义分割方法
CN113836266B (zh) 基于bert的自然语言处理方法及相关设备
WO2022127603A1 (zh) 一种模型处理方法及相关装置
CN114861917A (zh) 贝叶斯小样本学习的知识图谱推理模型、***及推理方法
CN114494284A (zh) 一种基于显式监督区域关系的场景解析模型及方法
JP7338858B2 (ja) 行動学習装置、行動学習方法、行動決定装置及び行動決定方法
CN115455306B (zh) 推送模型训练、信息推送方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240410

Address after: Building 9, Building 203B, Phase II, Nanshan Yungu Entrepreneurship Park, No. 2 Pingshan 1st Road, Pingshan Community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong Province, 518033

Applicant after: Core Computing Integrated (Shenzhen) Technology Co.,Ltd.

Country or region after: China

Address before: 830000 room 801, 8 / F, building E2, Xinjiang Software Park, 455 Kanas Hubei Road, economic and Technological Development Zone (Toutunhe District), Urumqi, Xinjiang Uygur Autonomous Region

Applicant before: XINJIANG AIHUA YINGTONG INFORMATION TECHNOLOGY Co.,Ltd.

Country or region before: China

GR01 Patent grant
GR01 Patent grant