CN112149741B - 图像识别模型的训练方法、装置、电子设备及存储介质 - Google Patents
图像识别模型的训练方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112149741B CN112149741B CN202011023804.5A CN202011023804A CN112149741B CN 112149741 B CN112149741 B CN 112149741B CN 202011023804 A CN202011023804 A CN 202011023804A CN 112149741 B CN112149741 B CN 112149741B
- Authority
- CN
- China
- Prior art keywords
- training
- image recognition
- image
- recognition model
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 313
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000015654 memory Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 14
- 238000002372 labelling Methods 0.000 claims description 13
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000013140 knowledge distillation Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004821 distillation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像识别模型的训练方法、装置、电子设备及存储介质,涉及人工智能技术领域,具体为计算机视觉和深度学习技术领域。具体实现方案为:将数条训练数据的原始训练图像的分辨率调整为第一分辨率得到数张第一训练图像;基于数张第一训练图像和数条训练数据,训练第一图像识别模型;将数条训练数据的原始训练图像的分辨率调整为第二分辨率得到数张第二训练图像;第二分辨率小于第一分辨率;基于数张第二训练图像、数张第一训练图像及第一图像识别模型,训练第二图像识别模型,使得第二图像识别模型学习第一图像识别模型的图像识别能力。本申请能够有效地提升第二图像识别模型的识别精度,也能够有效地提升第二图像识别模型的识别速度。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及人工智能技术领域,具体为计算机视觉和深度学习技术领域,具体涉及一种图像识别模型的训练方法、装置、电子设备及存储介质。
背景技术
图像识别技术可以广泛地应用于各类视觉任务中,如可以应用在植物分类、菜品识别、地标识别等领域中。
现有的图像识别技术主要是通过机器学习的手段提取图像的特征,并通过提取的特征来区分不同图像的技术。例如,整个过程可以通过基于机器学习的方式训练的图像识别模型,来实现对图像的识别。
但是,在现有的图像识别领域中,如何提高已有的图像识别模型的精度,一直是学术界和工业界最值得探索点之一。因此,亟需提供一种高精度的图像识别模型。
发明内容
本申请提供了一种图像识别模型的训练方法、装置、电子设备及存储介质。
根据本申请的一方面,提供了一种图像识别模型的训练方法,其中,所述方法包括:
将数条训练数据的原始训练图像的分辨率调整为第一分辨率,得到数张第一训练图像;
基于所述数张第一训练图像和所述数条训练数据,训练第一图像识别模型;
将所述数条训练数据的原始训练图像的分辨率调整为第二分辨率,得到数张第二训练图像;所述第二分辨率小于所述第一分辨率;
基于所述数张第二训练图像、所述数张第一训练图像以及训练好的所述第一图像识别模型,训练第二图像识别模型,使得所述第二图像识别模型学习所述第一图像识别模型的图像识别能力。
根据本申请的另一方面,提供了一种图像识别模型的训练装置,其中,所述装置包括:
调整模块,用于将数条训练数据的原始训练图像的分辨率调整为第一分辨率,得到数张第一训练图像;
第一训练模块,用于基于所述数张第一训练图像和所述数条训练数据,训练第一图像识别模型;
所述调整模块,还用于将所述数条训练数据的原始训练图像的分辨率调整为第二分辨率,得到数张第二训练图像;所述第二分辨率小于所述第一分辨率;
第二训练模块,用于基于所述数张第二训练图像、所述数张第一训练图像以及训练好的所述第一图像识别模型,训练第二图像识别模型,使得所述第二图像识别模型学习所述第一图像识别模型的图像识别能力。
根据本申请的再一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的方法。
根据本申请的又一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行如上所述的方法。
根据本申请的再另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如上所述的方法。
根据本申请的技术,通过知识蒸馏的技术实现对第二图像识别模型进行训练,其中第一图像识别模型基于分辨率较大的图像进行训练得到,可以获取到更多的图像特征,又可以通过知识蒸馏技术很好的转移到第二图像识别模型中,使得第二图像识别模型仅采用分辨率较小的图像,便可以学习到第一图像识别模型的识别能力,能够有效地提升第二图像识别模型的识别精度;同时也能够有效地提升第二图像识别模型的识别速度。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请第一实施例的示意图;
图2是根据本申请第二实施例的示意图;
图3是本申请提供的图像识别模型的训练方法的架构图;
图4是根据本申请第三实施例的示意图;
图5是根据本申请第四实施例的示意图;
图6是用来实现本申请实施例的图像识别模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请第一实施例的示意图;如图1所示,本实施例提供一种图像识别模型的训练方法,具体可以包括如下步骤:
S101、将数条训练数据的原始训练图像的分辨率调整为第一分辨率,得到数张第一训练图像;
S102、基于数张第一训练图像和数条训练数据,训练第一图像识别模型;
S103、将数条训练数据的原始训练图像的分辨率调整为第二分辨率,得到数张第二训练图像;其中,第二分辨率小于第一分辨率;
S104、基于数张第二训练图像、数张第一训练图像以及训练好的第一图像识别模型,训练第二图像识别模型,使得第二图像识别模型学习第一图像识别模型的图像识别能力。
本实施例的图像识别模型的训练方法的执行主体可以为图像识别模型的训练装置,该图像识别模型的训练装置可以为一电子实体,如大型的计算机设备,或者也可以为软件基础的应用,使用时,对图像识别模型进行训练。
本实施例的包括数条训练数据的训练数据集,用于对图像识别模型进行训练,各条训练数据中包括原始训练图像,各原始训练图像存在自身的分辨率。
在训练第一图像识别模型的时候,本实施例中,需要将数条训练数据的各原始训练图像的分辨率调整为第一分辨率,即对应得到数张第一训练图像,再结合各第一训练图像对应的原始训练图像在训练数据中对应的其他数据,一起来训练第一图像识别模型。
在训练第二图像识别模型的时候,首先将数条训练数据的原始训练图像的分辨率调整为第二分辨率,得到数张第二训练图像;而且,本实施例中,第二分辨率小于第一分辨率。然后基于数张第二训练图像、数张第一训练图像以及训练好的第一图像识别模型,训练第二图像识别模型,使得第二图像识别模型学习第一图像识别模型的图像识别能力。即训练第二图像识别模型采用的训练图像为数张第二训练图像,与训练第一图像识别模型采用的训练图像为数张第一训练图像,分别对应同一原始训练图像,但是分辨率更小。即训练第一图像识别模型所采用的数张第一训练图像分辨率更大,在进行图像识别时,识别到的图像中的内容更丰富。虽然训练第二图像识别模型采用的数张第二训练图像的分辨率更小,即识别到的图像中的内容相对不丰富,但是,本实施例中,还可以结合数张第一训练图像以及训练好的第一图像识别模型,训练第二图像识别模型,使得第二图像识别模型学习第一图像识别模型的图像识别能力。经过此方式训练得到的第二图像识别模型,即使基于分辨率较小的图像,也可以具备识别更大分辨率的图像的第一图像识别模型的识别能力,进而可以有效地提高图像的识别准确性和识别精度。
本实施例的第一图像识别模型类似于教师(teacher)模型,第二图像识别模型类似于学生(student)模型。本实施例的上述图像识别模型的训练过程,类似于知识蒸馏的过程。即首先基于数张第一分辨率的第一训练图像和对应的训练数据中的其他数据,训练第一图像识别模型,即teacher模型。然后,基于数张第二分辨率的第二训练图像、以及训练好的第一图像识别模型基于数张第一训练图像学习到信息,一起训练第二图像识别模型,即student模型,实现将teacher模型学习到的特征转移(transfer)到第二图像识别模型,即student模型上,使得student模型学习到teacher模型的图像识别能力,该transfer的过程即为知识蒸馏的过程。
现有的整个训练或者知识蒸馏的过程中,teacher模型和student模型采用的图像的分辨率始终保持一致。即teacher模型在一个特定的分辨率上训练得到一个模型,在transfer的过程中,student模型也使用该分辨率,这样导致的问题是teacher模型的上限无法被有效挖掘。而本实施例的知识蒸馏过程中,student模型可以使用分辨率较小的图像,更多的图像特征由teacher模型通过分辨率较大的图像学习得到,这些特征又可以通过知识蒸馏技术很好的transfer到student模型中,在实际应用中,student模型的网络是最终训练得到的模型,这样可以有效的在提升模型精度的同时提升模型的识别速度。
其次,现有的蒸馏技术选用的teacher模型参数量一般大于student模型,这样会导致整个蒸馏速度会相应较慢。而本实施例中提供的这种方案的teacher模型和student模型可以是同一种模型,即teacher也可以是速度较快的相对较小的模型,只是将其输入图像的分辨率变大,以获得更多的图像特征。所以使用本本实施例的技术方案,也可以加速整个知识蒸馏的速度,提升训练得到的student模型的速度。当然,可选地,本实施例中,也同样适用于teacher模型的参数量大于student模型的参数量。
本实施例的图像识别模型的训练方法,通过采用上述技术方案,通过知识蒸馏的技术实现对第二图像识别模型进行训练,其中第一图像识别模型基于分辨率较大的图像进行训练得到,可以获取到更多的图像特征,又可以通过知识蒸馏技术很好的转移到第二图像识别模型中,使得第二图像识别模型仅采用分辨率较小的图像,便可以学习到第一图像识别模型的识别能力,能够有效地提升第二图像识别模型的识别精度;同时也能够有效地提升第二图像识别模型的识别速度。
图2是根据本申请第二实施例的示意图;本实施例的图像识别模型的训练方法,在上述图1所示实施例的技术方案的基础上,进一步更加详细地介绍本申请的技术方案。如图2所示,本实施例的图像识别模型的训练方法,具体可以包括如下步骤:
S201、采集数条训练数据,各条训练数据中包括原始训练图像和对应的标注类别;
本实施例中,采集的数条训练数据,用于训练第一图像识别模型,其训练过程为有监督的训练。所以,在采集每一条训练数据的时候,还需要标注每一条训练数据对应的标注类别,用于标识该训练数据中的原始训练图像被进行图像识别时应该所属的类别。
进一步可选地,该步骤之后还可以包括对数条训练数据中的原始训练图像进行图像预处理,如可以包括随机crop、随机翻转等方式的预处理,能够增强数据,丰富训练数据的数据量。需要说明的是,图像预处理后,对应的标注类别可以不变。
S202、将数条训练数据的原始训练图像的分辨率调整为第一分辨率,得到数张第一训练图像;
该步骤即用于将步骤S201采集的数条训练数据中的每一条训练数据中的原始训练图像的分辨率调整(resize)为第一分辨率,得到数张第一训练图像。可选地,该第一分辨率可以为一个较大的分辨率,方便第一图像识别模型在训练时,能够提取更多的图像的特征。
S203、基于数张第一训练图像以及数条训练数据中各第一训练图像对应的标注类别,训练第一图像识别模型;
具体地,训练时,可以将各第一训练图像输入至该第一图像识别模型中,该第一图像识别模型输出预测的图像类别特征。该图像类别特征为第一图像识别模型识别的该第一训练图像在各已知的图像类别上的概率拼接的一维向量。例如,假如已知的图像类别有100个,其中第一个类别的概率为0.05,第二个类别的概率为0.1,第三个类别的概率为0.4,……,对应地该图像类别特征对应的一维向量可以表示为(0.05,0.1,0.4,……)。接下来,从该图像类别特征中取概率最大的类别作为对应的第一训练图像的预测类别,然后比对预测类别与标注类别对比,两者是否一致,若不一致,调整第一图像识别模型的参数,使得预测类别与标注类别一致。按照上述方式,采用数张第一训练图像以及数条训练数据中各第一训练图像对应的标注类别,不断地对第一图像识别模型进行训练,使得对各第一训练图像的预测类别与标注类别始终一致,此时确定第一图像识别模型的参数,进而确定第一图像识别模型,第一图像识别模型的训练结束。采用该方式训练的第一图像识别模型,可以有效地保证第一图像识别模型的识别准确性。
S204、将数条训练数据的原始训练图像的分辨率调整为第二分辨率,得到数张第二训练图像;其中,第二分辨率小于第一分辨率;
S205、基于各第一训练图像,获取训练好的第一图像识别模型对应识别的目标图像类别特征;
即采用上述方式对第一图像识别模型训练好之后,将各第一训练图像输入至第一图像识别模型中之后,该第一图像识别模型输出目标类别特征。该目标类别特征中概率最大的类别必然等于训练数据中该第一训练图像对应的原始训练图像所属的标注类别。
S206、基于各第二训练图像以及各第二训练图像对应的第一训练图像对应的目标图像类别特征,训练第二图像识别模型,使得第二图像识别模型学习第一图像识别模型的图像识别能力。
其中,第二训练图像对应的第一训练图像对应的目标图像类别特征,即为与第二训练图像具有相同的原始训练图像的第一训练图像,输入至训练好的第一图像识别模型中,所得到的目标类别特征。
本实施例中,对第二图像识别模型训练时,采用图像的分辨率要小于对第一图像识别模型训练时采用的图像的分辨率。但是,本实施例的训练的目的,又必须使得第二图像识别模型的识别精度不能降低,即要学习到第一图像识别模型的图像能力。例如,本实施例中,可以让第二图像识别模型学习到第一图像识别模型识别到图像的特征,进而可以得到与第一图像识别模型识别到的相同的结果。反过来,也可以说,在第二图像识别模型学习到第一图像识别模型识别到的目标类别特征时,便可以认为第二图像识别模型已经学习到第一图像识别模型识别图像的特征,与第一图像识别模型具有相同的图像识别能力。经过此方式训练的第二图像识别模型,由于具备第一图像识别模型具有相同的图像识别能力,基于分辨率较小的图像也能够准确识图像的类别,所以训练得到的第二图像识别模型具有较高的图像识别精度。
例如,该步骤S206,具体可以包括如下步骤:
(a)对于各第二训练图像,将第二训练图像输入至第二图像识别模型中,获取第二图像识别模型输出的预测图像类别特征;
(b)基于预测图像类别特征、以及与第二训练图像具有相同的原始训练图像的第一训练图像对应的目标图像类别特征,构建损失函数;
(c)判断损失函数是否收敛;若未收敛,执行步骤(d);若收敛,执行步骤(e);
(d)调整第二图像识别模型的参数,使得预测图像类别特征趋向于目标图像类别特征一致;返回步骤(a)采用下一张第二训练图像继续进行训练;
该步骤中,调整第二图像识别模型的参数的过程,也可以认为是基于反向传播的调整方式,调整的目标是朝向损失函数收敛的方向调整,即使得预测图像类别特征趋向于目标图像类别特征一致。
(e)判断在连续预设轮数的训练中,损失函数是否始终收敛,若是,确定第二图像识别模型得参数,进而确定第二图像识别模型,训练结束;否则返回步骤(a)采用下一张第二训练图像继续进行训练。
上述步骤(a)-(d)为训练过程中调整参数的情况。步骤(e)为训练截止条件。
同理,参考上述图1所示实施例的相关记载,本实施例的其第一图像识别模型可以为teacher模型,而第二图像识别模型可以为student模型,整个的训练过程也可以认为是知识蒸馏的过程。由于分辨率较大的图像包含了更多的图像基本特征,所以teacher模型可以学习更多的图像基本特征,该基本特征在尺寸较小的图片中可能无法有效的提取,所以当teacher模型学习到该特征后,便可以更好的将特征transfer到student模型中,最终经过训练,使得student模型也可以获得更高的识别精度。
图3是本申请提供的图像识别模型的训练方法的架构图。具体可以采用上述图2所示的图像识别模型的训练方法,在图3所示的架构中,实现图像识别模型的训练。其中teacher模型对应上述第一图像识别模型,student模型对应上述第二图像识别模型。
如图3所示,第一行中,对应于步骤S201-S203,为了描述方便,图3中仅示出训练数据中的训练图像部分,即在第一图像识别模型即teacher模型的训练之前,先采集数条训练数据,各条训练数据中包括原始训练图像和对应的标注类别,然后将训练数据中的原始训练图像的分辨率都resize到第一分辨率,得到第一训练图像。然后基于第一训练图像对teacher模型进行训练,详细参考上述步骤S203的具体实现过程。
如图3所示,第二行到第三行中,实现将teacher模型学习到的特征transtfer到student模型中。第二行采用的teacher模型即为第一行训练好的teacher模型。同理,可以采用步骤S204得到第三行的第二训练图像。采用步骤S205,可以基于各第一训练图像,获取训练好的teacher模型应识别的目标图像类别特征。然后具体可以采用步骤(a)-(d)方式不断地对student模型进行训练,直至达到步骤(f)的训练截止条件,训练结束,得到训练后的student模型。
本实施例的图像识别模型的训练方法,通过采用上述技术方案,将第一图像识别模型基于分辨率较大的图像进行训练得到,可以获取到更多的图像特征,又可以通过知识蒸馏技术很好的转移到第二图像识别模型中,使得第二图像识别模型仅采用分辨率较小的图像,便可以学习到第一图像识别模型的识别能力,能够有效地提升第二图像识别模型的识别精度;同时也能够有效地提升第二图像识别模型的识别速度。
图4是根据本申请第三实施例的示意图;如图4所示,本实施例提供一种图像识别模型的训练装置400,包括:
调整模块401,用于将数条训练数据的原始训练图像的分辨率调整为第一分辨率,得到数张第一训练图像;
第一训练模块402,用于基于数张第一训练图像和数条训练数据,训练第一图像识别模型;
调整模块403,还用于将数条训练数据的原始训练图像的分辨率调整为第二分辨率,得到数张第二训练图像;第二分辨率小于第一分辨率;
第二训练模块404,用于基于数张第二训练图像、数张第一训练图像以及训练好的第一图像识别模型,训练第二图像识别模型,使得第二图像识别模型学习第一图像识别模型的图像识别能力。
本实施例的图像识别模型的训练装置400,通过采用上述模块实现图像识别模型的训练的实现原理以及技术效果,与上述相关方法实施例的实现相同,详细可以参考上述相关方法实施例的记载,在此不再赘述。
图5是根据本申请第四实施例的示意图;如图5所示,本实施例的图像识别模型的训练装置400,在上述图4所示实施例的技术方案的基础上,进一步更加详细地描述本申请的技术方案。
本实施例的图像识别模型的训练装置400中,第一训练模块402,具体用于:
基于数张第一训练图像以及数条训练数据中各第一训练图像对应的标注类别,训练第一图像识别模型。
进一步可选地,如图5所示,本实施例的图像识别模型的训练装置400中,第二训练模块404,包括:
获取单元4041,用于基于各第一训练图像,获取训练好的第一图像识别模型对应识别的目标图像类别特征;
训练单元4042,用于基于各第二训练图像以及各第二训练图像对应的第一训练图像对应的目标图像类别特征,训练第二图像识别模型,使得第二图像识别模型学习第一图像识别模型的图像识别能力。
进一步可选地,训练单元4042,用于:
对于各第二训练图像,将第二训练图像输入至第二图像识别模型中,获取第二图像识别模型输出的预测图像类别特征;
基于预测图像类别特征、以及与第二训练图像具有相同的原始训练图像的第一训练图像对应的目标图像类别特征,构建损失函数;
判断损失函数是否收敛;
若未收敛,调整第二图像识别模型的参数,使得预测图像类别特征趋向于目标图像类别特征一致。
本实施例的图像识别模型的训练装置400,通过采用上述模块实现图像识别模型的训练的实现原理以及技术效果,与上述相关方法实施例的实现相同,详细可以参考上述相关方法实施例的记载,在此不再赘述。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图6所示,是本申请实施例的实现图像识别模型的训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示,该电子设备包括:一个或多个处理器601、存储器602,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器***)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的图像识别模型的训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的图像识别模型的训练方法。
存储器602作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的图像识别模型的训练方法对应的程序指令/模块(例如,附图4和附图5所示的相关模块)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的图像识别模型的训练方法。
存储器602可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据实现图像识别模型的训练方法的电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器602可选包括相对于处理器601远程设置的存储器,这些远程存储器可以通过网络连接至实现图像识别模型的训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现图像识别模型的训练方法的电子设备还可以包括:输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接,图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息,以及产生与实现图像识别模型的训练方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,通过采用上述技术方案,通过知识蒸馏的技术实现对第二图像识别模型进行训练,其中第一图像识别模型基于分辨率较大的图像进行训练得到,可以获取到更多的图像特征,又可以通过知识蒸馏技术很好的转移到第二图像识别模型中,使得第二图像识别模型仅采用分辨率较小的图像,便可以学习到第一图像识别模型的识别能力,能够有效地提升第二图像识别模型的识别精度;同时也能够有效地提升第二图像识别模型的识别速度。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (8)
1.一种图像识别模型的训练方法,其中,所述方法包括:
将数条训练数据的原始训练图像的分辨率调整为第一分辨率,得到数张第一训练图像;
基于所述数张第一训练图像和所述数条训练数据,训练第一图像识别模型;
将所述数条训练数据的原始训练图像的分辨率调整为第二分辨率,得到数张第二训练图像;所述第二分辨率小于所述第一分辨率;
基于所述数张第二训练图像、所述数张第一训练图像以及训练好的所述第一图像识别模型,训练第二图像识别模型,使得所述第二图像识别模型学习所述第一图像识别模型的图像识别能力;所述第二图像识别模型与所述第一图像识别模型为同一种模型;
基于所述数张第二训练图像、所述数张第一训练图像以及训练好的所述第一图像识别模型,训练第二图像识别模型,使得所述第二图像识别模型学习所述第一图像识别模型的图像识别能力,包括:
基于各所述第一训练图像,获取训练好的所述第一图像识别模型对应识别的目标图像类别特征;
基于各所述第二训练图像以及各所述第二训练图像对应的所述第一训练图像对应的所述目标图像类别特征,训练所述第二图像识别模型,使得所述第二图像识别模型学习所述第一图像识别模型的图像识别能力。
2.根据权利要求1所述的方法,其中,基于所述数张第一训练图像和所述数条训练数据,训练第一图像识别模型,包括:
基于所述数张第一训练图像以及所述数条训练数据中各所述第一训练图像对应的标注类别,训练第一图像识别模型。
3.根据权利要求1所述的方法,其中,基于各所述第二训练图像以及各所述第二训练图像对应的所述第一训练图像对应的所述目标图像类别特征,训练所述第二图像识别模型,使得所述第二图像识别模型学习所述第一图像识别模型的图像识别能力,包括:
对于各所述第二训练图像,将所述第二训练图像输入至所述第二图像识别模型中,获取所述第二图像识别模型输出的预测图像类别特征;
基于所述预测图像类别特征、以及与所述第二训练图像具有相同的所述原始训练图像的所述第一训练图像对应的所述目标图像类别特征,构建损失函数;
判断所述损失函数是否收敛;
若未收敛,调整所述第二图像识别模型的参数,使得所述预测图像类别特征趋向于所述目标图像类别特征一致。
4.一种图像识别模型的训练装置,其中,所述装置包括:
调整模块,用于将数条训练数据的原始训练图像的分辨率调整为第一分辨率,得到数张第一训练图像;
第一训练模块,用于基于所述数张第一训练图像和所述数条训练数据,训练第一图像识别模型;
所述调整模块,还用于将所述数条训练数据的原始训练图像的分辨率调整为第二分辨率,得到数张第二训练图像;所述第二分辨率小于所述第一分辨率;
第二训练模块,用于基于所述数张第二训练图像、所述数张第一训练图像以及训练好的所述第一图像识别模型,训练第二图像识别模型,使得所述第二图像识别模型学习所述第一图像识别模型的图像识别能力;所述第二图像识别模型与所述第一图像识别模型为同一种模型;
所述第二训练模块,包括:
获取单元,用于基于各所述第一训练图像,获取训练好的所述第一图像识别模型对应识别的目标图像类别特征;
训练单元,用于基于各所述第二训练图像以及各所述第二训练图像对应的所述第一训练图像对应的所述目标图像类别特征,训练所述第二图像识别模型,使得所述第二图像识别模型学习所述第一图像识别模型的图像识别能力。
5.根据权利要求4所述的装置,其中,所述第一训练模块,用于:
基于所述数张第一训练图像以及所述数条训练数据中各所述第一训练图像对应的标注类别,训练第一图像识别模型。
6.根据权利要求4所述的装置,其中,所述训练单元,用于:
对于各所述第二训练图像,将所述第二训练图像输入至所述第二图像识别模型中,获取所述第二图像识别模型输出的预测图像类别特征;
基于所述预测图像类别特征、以及与所述第二训练图像具有相同的所述原始训练图像的所述第一训练图像对应的所述目标图像类别特征,构建损失函数;
判断所述损失函数是否收敛;
若未收敛,调整所述第二图像识别模型的参数,使得所述预测图像类别特征趋向于所述目标图像类别特征一致。
7.一种电子设备,其中,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。
8.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011023804.5A CN112149741B (zh) | 2020-09-25 | 2020-09-25 | 图像识别模型的训练方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011023804.5A CN112149741B (zh) | 2020-09-25 | 2020-09-25 | 图像识别模型的训练方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112149741A CN112149741A (zh) | 2020-12-29 |
CN112149741B true CN112149741B (zh) | 2024-04-16 |
Family
ID=73897304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011023804.5A Active CN112149741B (zh) | 2020-09-25 | 2020-09-25 | 图像识别模型的训练方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112149741B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113327195A (zh) * | 2021-04-09 | 2021-08-31 | 中科创达软件股份有限公司 | 图像处理、图像处理模型训练、图像模式识别方法和装置 |
CN113554078B (zh) * | 2021-07-13 | 2023-10-17 | 浙江大学 | 一种基于对比类别集中提升连续学习下图分类精度的方法 |
CN114330576A (zh) * | 2021-12-30 | 2022-04-12 | 北京百度网讯科技有限公司 | 模型处理方法、装置、图像识别方法及装置 |
CN116502079A (zh) * | 2022-01-20 | 2023-07-28 | 北京邮电大学 | 模型训练方法、装置、电子设备及存储介质 |
CN116912604B (zh) * | 2023-09-12 | 2024-01-16 | 浙江大华技术股份有限公司 | 模型训练方法、图像识别方法、装置以及计算机存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110781905A (zh) * | 2019-10-25 | 2020-02-11 | 北京达佳互联信息技术有限公司 | 一种图像检测方法及装置 |
WO2020155939A1 (zh) * | 2019-01-31 | 2020-08-06 | 广州视源电子科技股份有限公司 | 图像识别方法、装置、存储介质和处理器 |
CN111553333A (zh) * | 2020-07-10 | 2020-08-18 | 支付宝(杭州)信息技术有限公司 | 人脸图像识别模型训练方法、识别方法、装置和电子设备 |
CN111639710A (zh) * | 2020-05-29 | 2020-09-08 | 北京百度网讯科技有限公司 | 图像识别模型训练方法、装置、设备以及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10540574B2 (en) * | 2017-12-07 | 2020-01-21 | Shanghai Cambricon Information Technology Co., Ltd | Image compression method and related device |
-
2020
- 2020-09-25 CN CN202011023804.5A patent/CN112149741B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020155939A1 (zh) * | 2019-01-31 | 2020-08-06 | 广州视源电子科技股份有限公司 | 图像识别方法、装置、存储介质和处理器 |
CN110781905A (zh) * | 2019-10-25 | 2020-02-11 | 北京达佳互联信息技术有限公司 | 一种图像检测方法及装置 |
CN111639710A (zh) * | 2020-05-29 | 2020-09-08 | 北京百度网讯科技有限公司 | 图像识别模型训练方法、装置、设备以及存储介质 |
CN111553333A (zh) * | 2020-07-10 | 2020-08-18 | 支付宝(杭州)信息技术有限公司 | 人脸图像识别模型训练方法、识别方法、装置和电子设备 |
Non-Patent Citations (2)
Title |
---|
樊国华 ; .基于卷积神经网络的小样本图像分辨率改进方法.电子技术与软件工程.2020,(14),全文. * |
谢小红 ; 李文韬 ; .基于迁移学习的图像分类训练方法研究.信息与电脑(理论版).2020,(07),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN112149741A (zh) | 2020-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111639710B (zh) | 图像识别模型训练方法、装置、设备以及存储介质 | |
CN112149741B (zh) | 图像识别模型的训练方法、装置、电子设备及存储介质 | |
CN111523596B (zh) | 目标识别模型训练方法、装置、设备以及存储介质 | |
CN111783870B (zh) | 人体属性的识别方法、装置、设备及存储介质 | |
US11694461B2 (en) | Optical character recognition method and apparatus, electronic device and storage medium | |
CN111931591B (zh) | 用于构建关键点学习模型的方法、装置、电子设备及可读存储介质 | |
CN112001169B (zh) | 文本纠错的方法、装置、电子设备和可读存储介质 | |
CN112001180A (zh) | 多模态预训练模型获取方法、装置、电子设备及存储介质 | |
CN111488925B (zh) | 一种数据标注方法、装置、电子设备及存储介质 | |
EP3816858A2 (en) | Character recognition method and apparatus, electronic device and computer readable storage medium | |
EP3876163A2 (en) | Model training, image processing method, device, storage medium, and program product | |
CN111695519B (zh) | 关键点定位方法、装置、设备以及存储介质 | |
CN111241838B (zh) | 文本实体的语义关系处理方法、装置及设备 | |
CN111640103B (zh) | 图像检测方法、装置、设备以及存储介质 | |
US20220101642A1 (en) | Method for character recognition, electronic device, and storage medium | |
CN111967591B (zh) | 神经网络自动剪枝方法、装置及电子设备 | |
CN111666771B (zh) | 文书的语义标签抽取、装置、电子设备及可读存储介质 | |
CN111709428A (zh) | 图像中关键点位置的识别方法、装置、电子设备及介质 | |
CN112508964B (zh) | 图像分割方法、装置、电子设备和存储介质 | |
CN112016523B (zh) | 跨模态人脸识别的方法、装置、设备和存储介质 | |
CN111767946B (zh) | 医学影像分级模型训练及预测方法、装置、设备及介质 | |
CN111738325B (zh) | 图像识别方法、装置、设备以及存储介质 | |
CN111275110B (zh) | 图像描述的方法、装置、电子设备及存储介质 | |
CN112560854A (zh) | 用于处理图像的方法、装置、设备以及存储介质 | |
CN111507267B (zh) | 文档朝向检测方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |