CN111242217A - 图像识别模型的训练方法、装置、电子设备及存储介质 - Google Patents

图像识别模型的训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111242217A
CN111242217A CN202010031241.8A CN202010031241A CN111242217A CN 111242217 A CN111242217 A CN 111242217A CN 202010031241 A CN202010031241 A CN 202010031241A CN 111242217 A CN111242217 A CN 111242217A
Authority
CN
China
Prior art keywords
image
feature extraction
sample
data set
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010031241.8A
Other languages
English (en)
Inventor
郭明宇
徐崴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Labs Singapore Pte Ltd
Original Assignee
Alipay Labs Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Labs Singapore Pte Ltd filed Critical Alipay Labs Singapore Pte Ltd
Priority to CN202010031241.8A priority Critical patent/CN111242217A/zh
Publication of CN111242217A publication Critical patent/CN111242217A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像识别模型的训练方法、装置、电子设备及存储介质,所述方法包括:对预设的神经网络的特征提取层参数进行初始化;基于初始化后的所述特征提取层参数对目标样本数据集中的样本图像进行特征提取,得到不同类别的样本图像特征,其中,所述目标样本数据集包括不同类别的样本图像;基于所述不同类别的样本图像特征构建图像特征矩阵;基于所述图像特征矩阵初始化所述神经网络的全连接层参数;基于所述目标样本数据集对初始化后的所述神经网络进行微调训练,以得到图像识别模型。本申请可以提升图像识别模型的收敛速度和性能,最终提升整个图像识别模型的训练过程的效率、减小对执行模型训练任务的电子设备计算资源的消耗。

Description

图像识别模型的训练方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像识别模型的训练方法、装置、电子设备及存储介质。
背景技术
基于大量的样本图像数据进行模型训练,以得到准确度高的、用于执行图像识别任务的图像识别模型是图像识别领域的热点。
目前在对图像识别模型进行训练时,通常以已有的基于其他图像数据集训练得到的图像识别模型作为基模型在自己的图像数据集上进行微调Finetune训练,即,使用已有模型的参数对预先创建的待训练模型对应的参数进行初始化,再基于自己的图像数据集对初始化后的待训练模型进行训练,以得到能够用于识别自己的图像数据的图像识别模型。然而,由于训练已有模型使用的图像数据和自己的图像数据不同,基于使用已有模型的参数进行初始化后的待训练模型进行Finetune训练,导致模型训练收敛速度慢、模型性能差,进而致使模型训练过程耗时长且还会消耗大量的计算资源。
发明内容
本申请实施例的目的是提供一种图像识别模型的训练方法、装置、电子设备及存储介质,以至少解决相关技术中的图像识别模型训练存在收敛速度慢、模型性能差的问题。
为了解决上述技术问题,本申请实施例采用下述技术方案:
第一方面,提供了一种图像识别模型的训练方法,包括:
对预设的神经网络的特征提取层参数进行初始化;
基于初始化后的所述特征提取层参数对目标样本数据集中的样本图像进行特征提取,得到不同类别的样本图像特征,其中,所述目标样本数据集包括不同类别的样本图像;
基于所述不同类别的样本图像特征构建图像特征矩阵;
基于所述图像特征矩阵初始化所述神经网络的全连接层参数;
基于所述目标样本数据集对初始化后的所述神经网络进行微调训练,以得到图像识别模型。
可选地,所述对预设的神经网络的特征提取层参数进行初始化,包括:
获取预设的原始模型的特征提取层参数,其中,所述原始模型基于与所述目标样本数据集不同的源样本数据集训练得到;
将所述神经网络的特征提取层参数初始化为所述原始模型的特征提取层参数。
可选地,所述基于所述图像特征矩阵初始化所述神经网络的全连接层参数,包括:
将所述神经网络的全连接层的权重矩阵初始化为所述图像特征矩阵;
将所述全连接层的偏置矩阵初始化为预设矩阵。
可选地,所述基于初始化后的所述特征提取层参数对目标样本数据集中的样本图像进行特征提取,得到不同类别的样本图像特征,包括:
对于所述目标样本数据集中的每一类别,从所述类别的所有样本图像中随机筛选出一张样本图像,作为所述类别的类别表示图像;
基于初始化后的所述特征提取层参数对所述类别的类别表示图像进行特征提取,得到所述类别的类别表示图像的图像特征;
将所述类别表示图像的图像特征作为所述类别的样本图像特征。
可选地,所述基于初始化后的所述特征提取层参数对目标样本数据集中的样本图像进行特征提取,得到不同类别的样本图像特征,包括:
对于所述目标样本数据集中的每一类别,基于初始化后的所述特征提取层参数对所述类别的各样本图像进行特征提取,得到所述类别的各样本图像的图像特征;
基于所述类别的各样本图像的图像特征确定所述类别的中心并确定所述类别的各样本图像与所述类别的中心之间的距离;
从所述类别的所有样本图像中筛选出所述距离最小的样本图像并将所述距离最小的样本图像的图像特征作为所述类别的样本图像特征。
可选地,对于所述目标样本数据集中的每一类别,所述基于所述类别的各样本图像的图像特征确定所述类别的中心,包括:
确定所述类别的各样本图像的图像特征的平均值;
将所述平均值确定为所述类别的中心。
可选地,所述特征提取层包括卷积层、池化层和全连接层。
第二方面,提供了一种图像识别模型的训练装置,包括:
初始化单元,用于对预设的神经网络的特征提取层参数进行初始化;
特征提取单元,用于基于初始化后的所述特征提取层参数对目标样本数据集中的样本图像进行特征提取,得到不同类别的样本图像特征,其中,所述目标样本数据集包括不同类别的样本图像;
构建单元,用于基于所述不同类别的样本图像特征构建图像特征矩阵;
第二初始化单元,用于基于所述图像特征矩阵初始化所述神经网络的全连接层参数;
微调单元,用于基于所述目标样本数据集对初始化后的所述神经网络进行微调训练,以得到图像识别模型。
可选地,所述第一初始化单元具体用于:
获取预设的原始模型的特征提取层参数,其中,所述原始模型基于与所述目标样本数据集不同的源样本数据集训练得到;
将所述神经网络的特征提取层参数初始化为所述原始模型的特征提取层参数。
可选地,所述第二初始化单元具体用于:
将所述神经网络的全连接层的权重矩阵初始化为所述图像特征矩阵;
将所述全连接层的偏置矩阵初始化为预设矩阵。
可选地,所述特征提取单元具体用于:
对于所述目标样本数据集中的每一类别,从所述类别的所有样本图像中随机筛选出一张样本图像,作为所述类别的类别表示图像;
基于初始化后的所述特征提取层参数对所述类别的类别表示图像进行特征提取,得到所述类别的类别表示图像的图像特征;
将所述类别表示图像的图像特征作为所述类别的样本图像特征。
可选地,所述特征提取单元具体用于:
对于所述目标样本数据集中的每一类别,基于初始化后的所述特征提取层参数对所述类别的各样本图像进行特征提取,得到所述类别的各样本图像的图像特征;
基于所述类别的各样本图像的图像特征确定所述类别的中心并确定所述类别的各样本图像与所述类别的中心之间的距离;
从所述类别的所有样本图像中筛选出所述距离最小的样本图像并将所述距离最小的样本图像的图像特征作为所述类别的样本图像特征。
可选地,所述特征提取单元还具体用于:
确定所述类别的各样本图像的图像特征的平均值;
将所述平均值确定为所述类别的中心。
可选地,所述特征提取层包括卷积层、池化层和全连接层。
第三方面,提供了一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:
对预设的神经网络的特征提取层参数进行初始化;
基于初始化后的所述特征提取层参数对目标样本数据集中的样本图像进行特征提取,得到不同类别的样本图像特征,其中,所述目标样本数据集包括不同类别的样本图像;
基于所述不同类别的样本图像特征构建图像特征矩阵;
基于所述图像特征矩阵初始化所述神经网络的全连接层参数;
基于所述目标样本数据集对初始化后的所述神经网络进行微调训练,以得到图像识别模型。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:
对预设的神经网络的特征提取层参数进行初始化;
基于初始化后的所述特征提取层参数对目标样本数据集中的样本图像进行特征提取,得到不同类别的样本图像特征,其中,所述目标样本数据集包括不同类别的样本图像;
基于所述不同类别的样本图像特征构建图像特征矩阵;
基于所述图像特征矩阵初始化所述神经网络的全连接层参数;
基于所述目标样本数据集对初始化后的所述神经网络进行微调训练,以得到图像识别模型。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
通过本申请实施例提供的图像识别模型的训练方法,首先对预设的神经网络的特征提取层参数进行初始化,使得神经网络的特征具备了提取图像特征的能力;接着,基于初始化后的特征提取层参数对目标样本数据集中的样本图像进行特征提取,并基于提取出的不同类别的样本图像特征构建图像特征矩阵,进一步基于构建的图像特征矩阵初始化所述神经网络的全连接层参数,由此构建的全连接层参数能够适应于所述目标样本数据集。最后,基于所述目标样本数据集对初始化后的神经网络进行微调Finetune训练,可以减小训练初期模型的损失量loss,进而可以提升图像识别模型的收敛速度和性能,最终提升整个图像识别模型的训练过程的效率、减小对执行模型训练任务的电子设备计算资源的消耗。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为相关技术中的一种图像识别模型的训练方法的流程图;
图2为本申请实施例提供的一种图像识别模型的训练方法的流程图;
图3为本申请实施例提供的另一种图像识别模型的训练方法的流程图;
图4为本申请实施例提供的又一种图像识别模型的训练方法的流程图;
图5为本申请实施例提供的一种图像识别模型的训练装置的结构框图;
图6为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如前所述,目前在进行图像识别模型的训练时,通常先以已有模型对待训练模型的参数进行初始化,再对初始化后的待训练模型进行Finetune训练。例如,如图1所示,首先,将待训练模型的部分处理层参数(如用于提取图像特征的池化层、卷积层等处理层的参数)初始化为已有模型(为了便于与Finetune训练后得到的图像识别模型区分,后续均称为“原始模型”)对应的处理层参数;接着,将自己的样本图像数据作为训练数据,启动对初始化后的待训练模型的Finetune训练,以得到能够用于识别自己的图像数据的图像识别模型。然而,采用这种训练图像识别模型的方法将导致模型训练收敛速度慢、模型性能差,进而致使模型训练过程耗时长且还会消耗大量的计算资源。
有鉴于此,本申请旨在提供一种能够使模型训练快速收敛的训练图像识别模型的技术方案,以加速模型训练过程,减小对计算资源的占用。
以下结合附图,详细说明本申请各实施例提供的技术方案。
请参见图2,图2是本申请实施例提供的一种图像识别模型的训练方法的流程图,该方法的执行主体可以为服务器;当然在实现时该方法的执行主体也可以是其他各种具有计算和处理功能的电子设备,如计算机。如图2所示,该方法包括以下步骤:
步骤S10,对预设的神经网络的特征提取层参数进行初始化。
在本申请实施例中,所述预设的神经网络可以是卷积神经网络(ConvolutionalNeural Network,CNN),或者,也可以是其他多层神经网络,本申请实施例对此不做限定。
其中,所述特征提取层是指用于对图像进行特征提取的处理层。例如,对于卷积神经网络,所述特征提取层可以包括但不限于卷积层(Convolutional Layer)、池化层(MaxPooling Layer),当然,还可以包括全连接层(Fully Connected Layer)中除用于输出图像识别结果的最后一层(称为输出层,如Softmax层)以外的其他层。相应地,特征提取层参数可以例如包括但不限于卷积层中卷积核的数量、大小及通道数,池化层的池化方式、池化区域核的大小以及全连接层的权重矩阵W和偏置矩阵B,等等。
步骤S20,基于初始化后的特征提取层参数对目标样本数据集中的样本图像进行特征提取,得到不同类别的样本图像特征。
其中,目标样本数据集包括不同类别的样本图像。如前所述,根据所述图像识别模型用于执行的图像识别任务的不同,则用于训练所述图像识别模型的目标样本数据集不同。例如,若所述图像识别模型用于执行人脸识别任务,则所述目标样本数据集可以包括不同用户的人脸图像;若所述图像识别模型用于执行手势识别任务,则所述目标样本数据集可以包括不同类别的手势图像;若所述图像识别模型用于执行场景识别任务,则所述目标样本数据集可以包括不同场景的场景图像,等等。
在对预设的神经网络的特征提取层参数进行初始化后,可将所述目标样本数据集输入所述神经网络的特征提取层,以得到不同类别的样本图像特征。
步骤S30,基于不同类别的样本图像特征构建图像特征矩阵。
具体实施时,可将每一类别的样本图像特征作为一行向量,由此,基于不同类别的样本图像特征可以构建出图像特征矩阵。
例如,所述目标样本数据集中包含N个类别的样本图像,通过上述步骤S20对不同类别的样本图像进行特征提取得到每个类别的样本图像特征的长度为F,由此可得到大小为N×F的图像特征矩阵M,其中,所述图像特征矩阵的行向量对应一个类别的样本图像特征。
步骤S40,基于构建出的图像特征矩阵初始化神经网络的全连接层参数。
其中,所述神经网络的全连接层参数可以包括权重矩阵W和偏置矩阵B。
步骤S50,基于所述目标样本数据集对初始化后的神经网络进行微调训练,以得到图像识别模型。
在基于上述步骤S10至步骤S40完成对所述神经网络的参数初始化后,可将所述目标样本数据集作为输入、以所述目标样本数据集中不同类别的样本图像的分类标签作为输出,对初始化后的神经网络进行训练,以得到最终的图像识别模型。其中,所述分类标签可以是通过人工基于各样本图像所属的类别进行标记得到。
需要说明的是,在本申请实施例中,上述训练方法可应用于不同的实际应用场景,以训练不同的图像识别模型。例如,上述训练方法可用于训练用于对国际人脸图像进行识别的图像识别模型,在此应用场景下,用于训练所述图像识别模型的目标样本数据集可以包括不同用户的人脸图像集(如不同人种的人脸图像集),其中,各用户的人脸图像集合中可以包括各用户在不同光线、场景、姿态以及不同清晰度的多张人脸图像。
通过本申请实施例提供的图像识别模型的训练方法,首先对预设的神经网络的特征提取层参数进行初始化,使得神经网络的特征具备了提取图像特征的能力;接着,基于初始化后的特征提取层参数对目标样本数据集中的样本图像进行特征提取,并基于提取出的不同类别的样本图像特征构建图像特征矩阵,进一步基于构建的图像特征矩阵初始化所述神经网络的全连接层参数,由此构建的全连接层参数能够适应于所述目标样本数据集。最后,基于所述目标样本数据集对初始化后的神经网络进行微调Finetune训练,可以减小训练初期模型的损失量loss,进而可以提升图像识别模型的收敛速度和性能,最终提升整个图像识别模型的训练过程的效率、减小对执行模型训练任务的电子设备计算资源的消耗。
下面对本申请的技术方案进行详细说明。
首先,对于上述步骤S10,在一种可选的实施方式中,如图3所示,上述步骤S10可以包括:
步骤S11,获取预设的原始模型的特征提取层参数。
步骤S12,将所述神经网络的特征提取层参数初始化为所述原始模型的特征提取层参数。
其中,用于训练所述原始模型的源样本数据集与用于训练所述图像识别模型的目标样本数据集不同,即所述原始模型基于与所述目标样本数据集不同的源样本数据集训练得到。此外,述神经网络与所述原始模型具有相似结构的模型。
具体实施时,所述图像识别模型所执行的图像识别任务的不同,用于对所述神经网络的特征提取层参数进行初始化所使用的原始模型也不相同。
例如,所述图像识别模型为用于对国际人脸图像数据进行识别的国际人脸识别模型,则所述原始模型可以为已有的用于对国内人脸数据进行识别的国内人脸识别模型。相应地,用于训练所述图像识别模型的目标样本数据集可以包括不同国际人种的人脸图像,用于训练所述原始模型的源样本数据集可以包括不同国内用户的人脸图像。
当然,本申请实施例所述的图像识别模型并不限于上述国际人脸识别模型,例如还可以是用于对各类生物体或非生物体进行识别的图像识别模型等,本申请实施例对此不做限定。
应理解,通过该实施方式,可以实现对预设的神经网络的特征提取层参数的快速、准确的初始化,由于预设的神经网络与原始模型具有相似的结构,通过原始模型的特征提取层参数初始化所述神经网络的特征提取层参数,使得初始化得到的神经网络的特征提取层能够用于对图像特征进行快速提取。
当然,在其他一些可选的实施方式中,也可以根据先验经验对所述神经网络的特征提取层参数进行初始化,或者,为所述神经网络的特征提取层赋予随机生成的初始参数,本申请实施例对此不做限定。
其次,对于上述步骤S20,由于光线、图像清晰度等因素都会影响图像识别结果的准确度,因而所述目标样本数据集包括不同类别的多张样本图像。在此情况下,对于每一类别,在获取该类别的样本图像特征时,可基于初始化后的特征提取层参数分别对各类别的每张样本图像分别进行特征提取,基于每张样本图像的图像特征确定该类别的样本图像特征,例如将各张样本图像的图像特征的平均值确定为该类别的样本图像特征。或者,为了减小特征提取工作量,以进一步减小对执行模型训练任务的电子设备的计算资源的消耗,如图4所示,可从各类别的所有样本图像中挑选出一张样本图像作为对应类别的类别表示图像,进而将各类别的类别表示图像的图像特征确定为对应类别的样本图像特征。进一步地,基于各类别的样本图像特征构建图像特征矩阵并基于该图像特征矩阵初始化所述神经网络的全连接层参数,最后启动对所述神经网络的Finetune训练,以得到图像识别模型。
对于第二种实施方式,可选地,如图3所示,上述步骤S20可以包括:
步骤S21,对于所述目标样本数据集中的每一类别,从所述类别的所有样本图像中随机筛选出一张样本图像,作为所述类别的类别表示图像。
步骤S22,基于初始化后的所述特征提取层参数对所述类别的类别表示图像进行特征提取,得到所述类别的类别表示图像的图像特征。
步骤S23,将所述类别表示图像的图像特征作为所述类别的样本图像特征。
可以理解,该实施方式中,从各类别的样本图像中随机筛选出一张样本图像作为对应类别的类别表示图像,并且基于初始化得到的特征提取层参数仅对各类别的类别表示图像进行特征提取,实现简单、效率高,且相比于对所有样本图像进行特征提取,可以进一步减小对上述电子设备的计算资源的消耗。
可选地,如图3所示,上述步骤S20可以包括:
步骤S24,对于所述目标样本数据集中的每一类别,基于初始化后的所述特征提取层参数对所述类别的各样本图像进行特征提取,得到所述类别的各样本图像的图像特征。
步骤S25,基于所述类别的各样本图像的图像特征确定所述类别的中心并确定所述类别的各样本图像与所述类别的中心之间的距离。
其中,所述类别的各样本图像与所述类别的中心之间的距离可以例如是欧式距离、马氏距离等任一种距离,本申请实施例对此不做限定。
对于各类别的中心的确定,具体实施时,可确定所述类别的各样本图像的图像特征的平均值并将所述平均值确定为所述类别的中心。
当然,也可以采用如聚类算法等方法基于所述类别的各样本图像的图像特征确定所述类别的中心,本申请实施例对此不做限定。
步骤S26,从所述类别的所有样本图像中筛选出所述距离最小的样本图像并将所述距离最小的样本图像的图像特征作为所述类别的样本图像特征。
可以理解,各类别的不同样本图像的光线亮度、清晰度以及图像中的物体的位姿不同,随机筛选出的样本图像可能出现管线较暗、图像模糊等而导致对该样本图像进行特征提取得到的图像特征不准确,进而基于该图像构建图像特征矩阵以及进行Finetune训练得到的图像识别模型的准确度不高,而该实施方式中,对于每一类别,综合该类别的各样本图像的图像特征筛选该类别的样本图像,使得筛选出的样本图像效果更好、更具有代表性,进而基于该样本图像的图像特征构建的图像特征矩阵来初始化全连接层参数,使得全连接层的初始参数更优,进而后续启动Finetune训练得到的图像识别模型的准确度高。
接着,对于上述步骤S30,在一种可选的实施方式中,如图3所示,上述步骤S30可以包括:将所述神经网络的全连接层的权重矩阵W初始化为所述图像特征矩阵并将所述全连接层的偏置矩阵B初始化为预设矩阵。
其中,所述初始矩阵可以根据实际业务需要自定义设置。例如,所述预设矩阵可以为零矩阵。
可以理解,在该实施方式中,由于所述图像特征矩阵是基于所述样本数据集中不同类别的样本图像特征构建的,通过将所述神经网络的全连接层的权重矩阵初始化为所述图像特征矩阵并将所述全连接层的偏置矩阵初始化为预设矩阵,使得后续基于所述目标样本数据集对初始化后的神经网络进行finetune训练时,所述目标样本数据集经所述神经网络的特征提取层进行特征提取后输入至所述全连接层的样本图像特征的维度刚好等于所述权重矩阵的维度,进而使得模型训练可以减小训练初期模型的损失量loss,加快模型训练的收敛。
需要说明的是,实施例1所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤21和步骤22的执行主体可以为设备1,步骤23的执行主体可以为设备2;又比如,步骤21的执行主体可以为设备1,步骤22和步骤23的执行主体可以为设备2;等等。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
与上述方法实施例相对应,本申请还提供了一种图像识别模型的训练装置。
请参见图5,图5是本申请实施例提供的一种图像识别模型的训练方装置的结构示意图,该装置500可应用于服务器;当然该装置500也可以应用于其他各种具有计算和处理功能的电子设备,如计算机。如图5所示,该装置500可以包括:
初始化单元501,对预设的神经网络的特征提取层参数进行初始化;
特征提取单元502,基于初始化后的所述特征提取层参数对目标样本数据集中的样本图像进行特征提取,得到不同类别的样本图像特征,其中,所述目标样本数据集包括不同类别的样本图像;
构建单元503,基于所述不同类别的样本图像特征构建图像特征矩阵;
第二初始化单元504,基于所述图像特征矩阵初始化所述神经网络的全连接层参数;
微调单元505,基于所述目标样本数据集对初始化后的所述神经网络进行微调训练,以得到图像识别模型。
可选地,所述第一初始化单元501,获取预设的原始模型的特征提取层参数,其中,所述原始模型基于与所述目标样本数据集不同的源样本数据集训练得到;将所述神经网络的特征提取层参数初始化为所述原始模型的特征提取层参数。
可选地,所述第二初始化单元504,将所述神经网络的全连接层的权重矩阵初始化为所述图像特征矩阵;将所述全连接层的偏置矩阵初始化为预设矩阵。
可选地,所述特征提取单元502,对于所述目标样本数据集中的每一类别,从所述类别的所有样本图像中随机筛选出一张样本图像,作为所述类别的类别表示图像;基于初始化后的所述特征提取层参数对所述类别的类别表示图像进行特征提取,得到所述类别的类别表示图像的图像特征;将所述类别表示图像的图像特征作为所述类别的样本图像特征。
可选地,所述特征提取单元502,对于所述目标样本数据集中的每一类别,基于初始化后的所述特征提取层参数对所述类别的各样本图像进行特征提取,得到所述类别的各样本图像的图像特征;基于所述类别的各样本图像的图像特征确定所述类别的中心并确定所述类别的各样本图像与所述类别的中心之间的距离;从所述类别的所有样本图像中筛选出所述距离最小的样本图像并将所述距离最小的样本图像的图像特征作为所述类别的样本图像特征。
可选地,所述特征提取单元502,确定所述类别的各样本图像的图像特征的平均值;将所述平均值确定为所述类别的中心。
可选地,所述特征提取层包括卷积层、池化层和全连接层。
关于上述实施例中的装置,其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图6是本申请的一个实施例电子设备的结构示意图。请参见图6,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成图像识别模型的训练装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
对预设的神经网络的特征提取层参数进行初始化;
基于初始化后的所述特征提取层参数对目标样本数据集中的样本图像进行特征提取,得到不同类别的样本图像特征,其中,所述目标样本数据集包括不同类别的样本图像;
基于所述不同类别的样本图像特征构建图像特征矩阵;
基于所述图像特征矩阵初始化所述神经网络的全连接层参数;
基于所述目标样本数据集对初始化后的所述神经网络进行微调Fine-tune训练,以得到图像识别模型。
上述如本申请图1所示实施例揭示的图像识别模型的训练装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central ProcessingUnit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
该电子设备还可执行图1的方法,并实现图像识别模型的训练装置在图1、图2所示实施例的功能,本申请实施例在此不再赘述。
当然,除了软件实现方式之外,本申请的电子设备并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的便携式电子设备执行时,能够使该便携式电子设备执行图1所示实施例的方法,并具体用于执行以下操作:
对预设的神经网络的特征提取层参数进行初始化;
基于初始化后的所述特征提取层参数对目标样本数据集中的样本图像进行特征提取,得到不同类别的样本图像特征,其中,所述目标样本数据集包括不同类别的样本图像;
基于所述不同类别的样本图像特征构建图像特征矩阵;
基于所述图像特征矩阵初始化所述神经网络的全连接层参数;
基于所述目标样本数据集对初始化后的所述神经网络进行微调Fine-tune训练,以得到图像识别模型。
总之,以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种图像识别模型的训练方法,包括:
对预设的神经网络的特征提取层参数进行初始化;
基于初始化后的所述特征提取层参数对目标样本数据集中的样本图像进行特征提取,得到不同类别的样本图像特征,其中,所述目标样本数据集包括不同类别的样本图像;
基于所述不同类别的样本图像特征构建图像特征矩阵;
基于所述图像特征矩阵初始化所述神经网络的全连接层参数;
基于所述目标样本数据集对初始化后的所述神经网络进行微调训练,以得到图像识别模型。
2.根据权利要求1所述的方法,所述对预设的神经网络的特征提取层参数进行初始化,包括:
获取预设的原始模型的特征提取层参数,其中,所述原始模型基于与所述目标样本数据集不同的源样本数据集训练得到;
将所述神经网络的特征提取层参数初始化为所述原始模型的特征提取层参数。
3.根据权利要求1所述的方法,所述基于所述图像特征矩阵初始化所述神经网络的全连接层参数,包括:
将所述神经网络的全连接层的权重矩阵初始化为所述图像特征矩阵;
将所述全连接层的偏置矩阵初始化为预设矩阵。
4.根据权利要求1所述的方法,所述基于初始化后的所述特征提取层参数对目标样本数据集中的样本图像进行特征提取,得到不同类别的样本图像特征,包括:
对于所述目标样本数据集中的每一类别,从所述类别的所有样本图像中随机筛选出一张样本图像,作为所述类别的类别表示图像;
基于初始化后的所述特征提取层参数对所述类别的类别表示图像进行特征提取,得到所述类别的类别表示图像的图像特征;
将所述类别表示图像的图像特征作为所述类别的样本图像特征。
5.根据权利要求1所述的方法,所述基于初始化后的所述特征提取层参数对目标样本数据集中的样本图像进行特征提取,得到不同类别的样本图像特征,包括:
对于所述目标样本数据集中的每一类别,基于初始化后的所述特征提取层参数对所述类别的各样本图像进行特征提取,得到所述类别的各样本图像的图像特征;
基于所述类别的各样本图像的图像特征确定所述类别的中心并确定所述类别的各样本图像与所述类别的中心之间的距离;
从所述类别的所有样本图像中筛选出所述距离最小的样本图像并将所述距离最小的样本图像的图像特征作为所述类别的样本图像特征。
6.根据权利要求5所述的方法,对于所述目标样本数据集中的每一类别,所述基于所述类别的各样本图像的图像特征确定所述类别的中心,包括:
确定所述类别的各样本图像的图像特征的平均值;
将所述平均值确定为所述类别的中心。
7.根据权利要求1至6中任一项所述的方法,所述特征提取层包括卷积层、池化层和全连接层。
8.一种图像识别模型的训练装置,包括:
第一初始化单元,对预设的神经网络的特征提取层参数进行初始化;
特征提取单元,基于初始化后的所述特征提取层参数对目标样本数据集中的样本图像进行特征提取,得到不同类别的样本图像特征,其中,所述目标样本数据集包括不同类别的样本图像;
构建单元,基于所述不同类别的样本图像特征构建图像特征矩阵;
第二初始化单元,基于所述图像特征矩阵初始化所述神经网络的全连接层参数;
微调单元,基于所述目标样本数据集对初始化后的所述神经网络进行微调训练,以得到图像识别模型。
9.一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:
对预设的神经网络的特征提取层参数进行初始化;
基于初始化后的所述特征提取层参数对目标样本数据集中的样本图像进行特征提取,得到不同类别的样本图像特征,其中,所述目标样本数据集包括不同类别的样本图像;
基于所述不同类别的样本图像特征构建图像特征矩阵;
基于所述图像特征矩阵初始化所述神经网络的全连接层参数;
基于所述目标样本数据集对初始化后的所述神经网络进行微调训练,以得到图像识别模型。
10.一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:
对预设的神经网络的特征提取层参数进行初始化;
基于初始化后的所述特征提取层参数对目标样本数据集中的样本图像进行特征提取,得到不同类别的样本图像特征,其中,所述目标样本数据集包括不同类别的样本图像;
基于所述不同类别的样本图像特征构建图像特征矩阵;
基于所述图像特征矩阵初始化所述神经网络的全连接层参数;
基于所述目标样本数据集对初始化后的所述神经网络进行微调训练,以得到图像识别模型。
CN202010031241.8A 2020-01-13 2020-01-13 图像识别模型的训练方法、装置、电子设备及存储介质 Pending CN111242217A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010031241.8A CN111242217A (zh) 2020-01-13 2020-01-13 图像识别模型的训练方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010031241.8A CN111242217A (zh) 2020-01-13 2020-01-13 图像识别模型的训练方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111242217A true CN111242217A (zh) 2020-06-05

Family

ID=70866205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010031241.8A Pending CN111242217A (zh) 2020-01-13 2020-01-13 图像识别模型的训练方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111242217A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898676A (zh) * 2020-07-30 2020-11-06 深圳市商汤科技有限公司 目标检测方法及装置、电子设备和存储介质
CN113326851A (zh) * 2021-05-21 2021-08-31 中国科学院深圳先进技术研究院 图像特征提取方法、装置、电子设备及存储介质
CN113657202A (zh) * 2021-07-28 2021-11-16 万翼科技有限公司 构件识别方法、构建训练集方法、装置、设备及存储介质
CN113673601A (zh) * 2021-08-23 2021-11-19 北京三快在线科技有限公司 一种行为识别方法、装置、存储介质及电子设备
CN113674244A (zh) * 2021-08-20 2021-11-19 中汽创智科技有限公司 一种图像检测方法、装置、存储介质和电子设备
CN113869376A (zh) * 2021-09-09 2021-12-31 深延科技(北京)有限公司 图像处理模型的训练方法、装置、电子设备及存储介质
CN114202654A (zh) * 2022-02-17 2022-03-18 广东皓行科技有限公司 一种实体目标的模型构建方法、存储介质和计算机设备
CN115424053A (zh) * 2022-07-25 2022-12-02 北京邮电大学 小样本图像识别方法、装置、设备及存储介质
WO2023273668A1 (zh) * 2021-06-29 2023-01-05 腾讯科技(深圳)有限公司 图像分类方法、装置、设备、存储介质及程序产品
WO2024066618A1 (en) * 2022-09-30 2024-04-04 Huawei Technologies Co., Ltd. Method and system for training large-scale language models

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646354A (zh) * 2013-11-28 2014-03-19 国家电网公司 基于有效指标fcm和rbf神经网络的变电站负荷特性分类方法
CN106339984A (zh) * 2016-08-27 2017-01-18 中国石油大学(华东) 基于k均值驱动卷积神经网络的分布式图像超分辨方法
CN108108662A (zh) * 2017-11-24 2018-06-01 深圳市华尊科技股份有限公司 深度神经网络识别模型及识别方法
CN109447146A (zh) * 2018-10-24 2019-03-08 厦门美图之家科技有限公司 分类优化方法及装置
CN109753978A (zh) * 2017-11-01 2019-05-14 腾讯科技(深圳)有限公司 图像分类方法、装置以及计算机可读存储介质
CN110163227A (zh) * 2018-02-26 2019-08-23 黄佳敏 一种基于模式识别的机场跑道道面适航性判别方法
CN110472091A (zh) * 2019-08-22 2019-11-19 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110543815A (zh) * 2019-07-22 2019-12-06 平安科技(深圳)有限公司 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646354A (zh) * 2013-11-28 2014-03-19 国家电网公司 基于有效指标fcm和rbf神经网络的变电站负荷特性分类方法
CN106339984A (zh) * 2016-08-27 2017-01-18 中国石油大学(华东) 基于k均值驱动卷积神经网络的分布式图像超分辨方法
CN109753978A (zh) * 2017-11-01 2019-05-14 腾讯科技(深圳)有限公司 图像分类方法、装置以及计算机可读存储介质
CN108108662A (zh) * 2017-11-24 2018-06-01 深圳市华尊科技股份有限公司 深度神经网络识别模型及识别方法
CN110163227A (zh) * 2018-02-26 2019-08-23 黄佳敏 一种基于模式识别的机场跑道道面适航性判别方法
CN109447146A (zh) * 2018-10-24 2019-03-08 厦门美图之家科技有限公司 分类优化方法及装置
CN110543815A (zh) * 2019-07-22 2019-12-06 平安科技(深圳)有限公司 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质
CN110472091A (zh) * 2019-08-22 2019-11-19 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MAYANK SINGH ET AL.: "Neural networks in adversarial setting and I11-conditioned weight space" *
张玉鹏: "基于卷积神经网络的车辆检测与测距" *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898676A (zh) * 2020-07-30 2020-11-06 深圳市商汤科技有限公司 目标检测方法及装置、电子设备和存储介质
CN113326851A (zh) * 2021-05-21 2021-08-31 中国科学院深圳先进技术研究院 图像特征提取方法、装置、电子设备及存储介质
CN113326851B (zh) * 2021-05-21 2023-10-27 中国科学院深圳先进技术研究院 图像特征提取方法、装置、电子设备及存储介质
WO2023273668A1 (zh) * 2021-06-29 2023-01-05 腾讯科技(深圳)有限公司 图像分类方法、装置、设备、存储介质及程序产品
CN113657202A (zh) * 2021-07-28 2021-11-16 万翼科技有限公司 构件识别方法、构建训练集方法、装置、设备及存储介质
CN113674244A (zh) * 2021-08-20 2021-11-19 中汽创智科技有限公司 一种图像检测方法、装置、存储介质和电子设备
CN113674244B (zh) * 2021-08-20 2024-05-28 中汽创智科技有限公司 一种图像检测方法、装置、存储介质和电子设备
CN113673601A (zh) * 2021-08-23 2021-11-19 北京三快在线科技有限公司 一种行为识别方法、装置、存储介质及电子设备
CN113869376A (zh) * 2021-09-09 2021-12-31 深延科技(北京)有限公司 图像处理模型的训练方法、装置、电子设备及存储介质
CN114202654B (zh) * 2022-02-17 2022-04-19 广东皓行科技有限公司 一种实体目标的模型构建方法、存储介质和计算机设备
CN114202654A (zh) * 2022-02-17 2022-03-18 广东皓行科技有限公司 一种实体目标的模型构建方法、存储介质和计算机设备
CN115424053A (zh) * 2022-07-25 2022-12-02 北京邮电大学 小样本图像识别方法、装置、设备及存储介质
CN115424053B (zh) * 2022-07-25 2023-05-02 北京邮电大学 小样本图像识别方法、装置、设备及存储介质
WO2024066618A1 (en) * 2022-09-30 2024-04-04 Huawei Technologies Co., Ltd. Method and system for training large-scale language models

Similar Documents

Publication Publication Date Title
CN111242217A (zh) 图像识别模型的训练方法、装置、电子设备及存储介质
CN107274442B (zh) 一种图像识别方法和装置
CN111209970B (zh) 视频分类方法、装置、存储介质及服务器
CN107729848B (zh) 对象检测方法及装置
CN112016475B (zh) 一种人体检测识别方法和装置
CN112232510A (zh) 多目标推荐模型的训练及信息推荐方法以及装置
CN109978044B (zh) 训练数据生成方法和装置、以及模型的训练方法和装置
CN113496208B (zh) 视频的场景分类方法及装置、存储介质、终端
CN112417970A (zh) 目标对象识别方法、装置和电子***
CN113919418A (zh) 基于小样本的分类模型训练方法、装置及电子设备
CN114694005A (zh) 目标检测模型训练方法和装置、目标检测方法和装置
CN110490058B (zh) 行人检测模型的训练方法、装置、***和计算机可读介质
CN108228869B (zh) 一种文本分类模型的建立方法及装置
CN109063967B (zh) 一种风控场景特征张量的处理方法、装置及电子设备
CN110598028A (zh) 图像分类方法、装置及存储介质、电子设备
CN114840762A (zh) 推荐内容确定方法、装置和电子设备
CN113283978B (zh) 基于生物基础与行为特征及业务特征的金融风险评估方法
CN110443746B (zh) 基于生成对抗网络的图片处理方法、装置及电子设备
WO2022141094A1 (zh) 模型生成方法、图像处理方法、装置及可读存储介质
CN114926437A (zh) 一种图像质量评价方法及装置
CN114330675A (zh) 一种芯片、加速卡、电子设备和数据处理方法
CN113284027A (zh) 团伙识别模型的训练方法、异常团伙识别方法及装置
CN112949526A (zh) 人脸检测方法和装置
CN112560530A (zh) 一种二维码处理方法、设备、介质及电子设备
CN111062468A (zh) 生成网络的训练方法和***、以及图像生成方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination