CN112733932A - 基于训练数据相似度聚合的模型加速训练方法及装置 - Google Patents

基于训练数据相似度聚合的模型加速训练方法及装置 Download PDF

Info

Publication number
CN112733932A
CN112733932A CN202110021199.6A CN202110021199A CN112733932A CN 112733932 A CN112733932 A CN 112733932A CN 202110021199 A CN202110021199 A CN 202110021199A CN 112733932 A CN112733932 A CN 112733932A
Authority
CN
China
Prior art keywords
training
training data
model
images
round
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110021199.6A
Other languages
English (en)
Inventor
张乐平
侯磊
张博
***
王光曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Deepctrl Co ltd
Original Assignee
Beijing Deepctrl Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Deepctrl Co ltd filed Critical Beijing Deepctrl Co ltd
Priority to CN202110021199.6A priority Critical patent/CN112733932A/zh
Publication of CN112733932A publication Critical patent/CN112733932A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

基于训练数据相似度聚合的模型加速训练方法及装置，以一份最小化的训练数据作为起始，在每个轮次中应用随机采样和随机增量的方式从当前模型的预测结果中提取预测不佳的数据，并且用聚类提取方式采样额外的训练数据，从而获取最具有代表性的训练信息，提高每个轮次的训练效率。本发明减少每个轮次模型训练的数据集规模，训练时间大幅减少，聚类不需要精确结果，可减少迭代次数或使用更快速简单的聚类方法，总体上每个轮次总训练时间仍比原有全训练集训练减少很多；每个轮次选择的训练数据均有针对性，选用推理错误的图像训练，能够最大程度的获取反向传播梯度，降低训练时陷入局部最优解的概率，便于在训练过程中动态调整，以达到最佳训练结果。

Description

基于训练数据相似度聚合的模型加速训练方法及装置
技术领域
本发明涉及图像检测技术领域，具体涉及一种基于训练数据相似度聚合的模型加速训练方法及装置。
背景技术
基于深度学习的图像分类和图像检测技术，是人工智能领域广泛应用的技术，其不同于传统方法，需要对图像进行基于规则的特征提取，进而针对特征向量进行训练。基于深度学习的图像检测技术，能够通过多层卷积神经网络自动提取图像特征，模型接收图像的原始像素矩阵输入，得到端到端的图像识别结果。深度神经网络模型由海量图片训练得到，具有更好的泛化能力，对于图像分类的准确率和抗干扰能力远强于传统方法。
目前，基于深度学习的图像检测技术实现，大致分为如下几个步骤：
(1)准备训练数据(包括训练集和验证集)和数据增量方式；
(2)确定网络模型结构；
(3)训练模型；
(4)评估模型；
(5)部署模型执行计算。
其中训练模型时，需要将训练集数据按批次输入模型，将模型前向计算得到的结果与数据标注进行差异计算得到损失值，并通过反向传播算法得到本次计算损失相对于网络参数的梯度，通过小批量随机梯度下降方法更新参数值，更新后的模型在验证集上对模型预测正确率进行评估。按上述步骤将所有训练数据全部计算完毕为一个轮次，一般需要训练多个轮次，直到验证集正确率达到预设阈值或不再增加。
但是，上述过程为了使模型得到足够的泛化能力，往往需要非常大规模的训练数据(千万级或以上)，每一个轮次要对所有的训练数据进行一次前向计算和反向传播，导致训练时间很长，减慢了开发速度和迭代升级的速度。
另外，为了扩大训练数据规模，一般在准备阶段会使用数据增广技术，对训练图像随机施加变换操作(如高斯滤波、镜像翻转、颜色转换等)，从而从一张原始图像得到多张相似的增广图像，用于提高模型训练后的泛化能力。然而这样的增广操作会使训练数据中增加很多冗余重复的信息，拖慢了模型训练的效率。
综上亟需一种实现深度神经网络模型加速训练技术方案。
发明内容
为此，本发明实施例提供一种基于训练数据相似度聚合的模型加速训练方法及装置，以避免进行全数据集训练为技术思路，尽量在每个轮次中使用当前模型预测不佳的数据作为训练数据，从而获取更大的反向传播梯度，提高每个轮次的训练效率。
为了实现上述目的，本发明的实施方式提供如下技术方案：基于训练数据相似度聚合的模型加速训练方法，包括以下步骤：
步骤一、随机提取全部训练数据中第一预设比例的图像作为本轮训练数据；
步骤二、对所述本轮训练数据采用模型训练算法完成本轮次的训练和验证，更新图像分类模型的参数；
步骤三、采用参数更新后的所述图像分类模型对剩余训练数据中的图像进行前向推理，并提取推理结果中与标注不符的训练数据，当提取的推理结果中与标注不符的训练数据达到预设数量时停止前向推理；
步骤四、将步骤三中所述提取的推理结果中与标注不符的训练数据进行相似度聚合；对相似度聚合后的每个类别提取第二预设比例的训练数据图像作为下一个轮次的训练数据；
步骤五、将步骤四提取的第二预设比例的训练数据图像与上一训练轮次的图像组合，打乱次序后作为更新后的训练数据集。
作为基于训练数据相似度聚合的模型加速训练方法的优选方案，将更新后的所述训练数据集作为下一训练轮次的训练数据；重复步骤二至步骤五，使每一轮次的训练数据逐次递增，直到训练完预设轮次得到最终图像分类模型。
作为基于训练数据相似度聚合的模型加速训练方法的优选方案，当执行第二轮次的数据训练时，将步骤四提取的第二预设比例的训练数据图像与步骤一中的第一预设比例的图像组合形成第二轮次的训练数据集。
作为基于训练数据相似度聚合的模型加速训练方法的优选方案，所述步骤一中，随机提取全部训练数据1/10的图像作为第一轮次的训练数据。
作为基于训练数据相似度聚合的模型加速训练方法的优选方案，步骤二中的模型训练算法采用梯度下降法、牛顿算法、共轭梯度法、准牛顿法或Levenberg-Marquardt算法中的一种或多种。
作为基于训练数据相似度聚合的模型加速训练方法的优选方案，步骤三中，采用参数更新后的所述图像分类模型对剩余训练数据中的图像进行前向推理，且剩余训练数据中的图像全部完成时停止前向推理。
作为基于训练数据相似度聚合的模型加速训练方法的优选方案，步骤四中，相似度聚合采用K-均值聚类算法。
本发明还提供一种基于训练数据相似度聚合的模型加速训练装置，采用上述的基于训练数据相似度聚合的模型加速训练方法，包括：
训练数据提取模块，用于随机提取全部训练数据中第一预设比例的图像作为本轮训练数据；
模型训练模块，用于对所述本轮训练数据采用模型训练算法完成本轮次的训练和验证，更新图像分类模型的参数；
前向推理模块，用于采用参数更新后的所述图像分类模型对剩余训练数据中的图像进行前向推理，并提取推理结果中与标注不符的训练数据，当提取的推理结果中与标注不符的训练数据达到预设数量时停止前向推理；
相似度聚合模块，用于将前向推理模块中所述提取的推理结果中与标注不符的训练数据进行相似度聚合；
训练数据再提取模块，用于对相似度聚合后的每个类别提取第二预设比例的训练数据图像作为下一个轮次的训练数据；
训练数据组合模块，用于将训练数据再提取模块中提取的第二预设比例的训练数据图像与上一训练轮次的图像组合，打乱次序后作为更新后的训练数据集。
作为基于训练数据相似度聚合的模型加速训练装置的优选方案，训练数据提取模块随机提取全部训练数据1/10的图像作为第一轮次的训练数据；
模型训练模块中的模型训练算法采用梯度下降法、牛顿算法、共轭梯度法、准牛顿法或Levenberg-Marquardt算法中的一种或多种。
作为基于训练数据相似度聚合的模型加速训练装置的优选方案，前向推理模块中，采用参数更新后的所述图像分类模型对剩余训练数据中的图像进行前向推理，且剩余训练数据中的图像全部完成时停止前向推理；
相似度聚合模块中，相似度聚合采用K-均值聚类算法。
本发明基于训练数据相似度聚合和网络差异采样进行模型加速训练，避免采用全数据集训练，而是尽量在每个轮次中使用当前模型预测不佳的数据作为训练数据，从而获取更大的反向传播梯度，提高每个轮次的训练效率；
本发明减少了每个轮次模型训练的数据集规模，训练时间大幅减少，虽然额外增加的引入的模型前向计算和聚类时间，但模型的前向计算比反向传播训练的速度要快得多，而聚类不需要精确结果，可减少迭代次数或使用更快速简单的聚类方法，如基于直方图分布相似性的聚类，总体上每个轮次的总训练时间仍比原有的全训练集训练减少很多；
本发明每个轮次选择的训练数据选取均有针对性，选用推理错误的图像进行训练，能够最大程度的获取反向传播梯度，降低了训练时陷入局部最优解的概率，而且减少了对冗余数据的重复训练，且数据选取的规则参数均可配置，便于在训练过程中动态调整，以达到最佳的训练结果。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例中提供的基于训练数据相似度聚合的模型加速训练方法示意图；
图2为本发明实施例中提供的基于训练数据相似度聚合的模型加速训练方法技术路线示意图；
图3为本发明实施例中提供的基于训练数据相似度聚合的模型加速训练装置示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参见图1和图2，提供一种基于训练数据相似度聚合的模型加速训练方法，包括以下步骤：
S1：随机提取全部训练数据中第一预设比例的图像作为本轮训练数据；
S2：对所述本轮训练数据采用模型训练算法完成本轮次的训练和验证，更新图像分类模型的参数；
S3：采用参数更新后的所述图像分类模型对剩余训练数据中的图像进行前向推理，并提取推理结果中与标注不符的训练数据，当提取的推理结果中与标注不符的训练数据达到预设数量时停止前向推理；
S4：将步骤S3中所述提取的推理结果中与标注不符的训练数据进行相似度聚合；对相似度聚合后的每个类别提取第二预设比例的训练数据图像作为下一个轮次的训练数据；
S5：将步骤S4提取的第二预设比例的训练数据图像与上一训练轮次的图像组合，打乱次序后作为更新后的训练数据集。
具体的，将更新后的所述训练数据集作为下一训练轮次的训练数据；重复步骤S2至步骤S5，使每一轮次的训练数据逐次递增，直到训练完预设轮次得到最终图像分类模型。当执行第二轮次的数据训练时，将步骤S4提取的第二预设比例的训练数据图像与步骤S1中的第一预设比例的图像组合形成第二轮次的训练数据集。
由于步骤S4中是对提取的推理结果中与标注不符的训练数据进行相似度聚合，故相似度聚合后的每个类别提取第二预设比例的训练数据图像也就是步骤S3推理错误的图像，将这些推理错误的图像和上一轮次训练数据组合进行下一轮次训练，进而能够最大程度的获取反向传播梯度，降低了训练时陷入局部最优解的概率，而且减少了对冗余数据的重复训练。这也体现了本技术方案避免全数据集训练，尽量在每个轮次中使用当前模型预测不佳的数据作为训练数据的技术思路。
基于训练数据相似度聚合的模型加速训练方法的一个实施例中，步骤S1中，随机提取全部训练数据1/10的图像作为第一轮次的训练数据。初次启动模型的训练数据提取比例可配置，可以较少比例的训练数据启动训练，每个轮次使用逐次递增的训练数据，减少冗余训练时间，提高训练速度。
基于训练数据相似度聚合的模型加速训练方法的一个实施例中，步骤S2中的模型训练算法采用梯度下降法、牛顿算法、共轭梯度法、准牛顿法或Levenberg-Marquardt算法中的一种或多种。本技术方案中不涉及对模型训练算法本身的改进，步骤S2中的模型训练算法仍为深度学习技术领域的标准训练方法。
基于训练数据相似度聚合的模型加速训练方法的一个实施例中，步骤S3中，采用参数更新后的所述图像分类模型对剩余训练数据中的图像进行前向推理，且剩余训练数据中的图像全部完成时停止前向推理。在采用参数更新后的图像分类模型对剩余训练数据中的图像进行前向推理时，并不一定要提取的推理结果中与标注不符的训练数据达到预设数量，当这些标注不符的训练数据推理完毕后，尽管未达到预设的数量，也可停止前向推理。
基于训练数据相似度聚合的模型加速训练方法的一个实施例中，步骤S4中，相似度聚合采用K-均值聚类算法。K-均值聚类算法(k-means clustering algorithm)是一种迭代求解的聚类分析算法，通过预将数据分为K组，则随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。
由于聚类不需要精确结果，可减少迭代次数或使用更快速简单的聚类方法，比如基于直方图分布相似性的聚类，总体上每个轮次的总训练时间仍比原有的全训练集训练减少很多。
本技术方案采用训练数据裁剪和递增式的模型训练方法，以较少比例的训练数据启动训练，每个轮次使用逐次递增的训练数据，减少冗余训练时间，提高训练速度。训练数据差异采样，使用当前模型参数对训练数据进行前向计算，采样其中推理结果与标注不符的数据用于下一轮次训练，提升训练数据质量，最大化提升训练效果。选取最有代表性的数据，进一步压缩训练数据规模和提高数据质量。
本领域技术人员基于本发明实施例的技术方案，可以想到的是，为了提高训练数据质量，可在标注阶段进行更严格的筛选。
本领域技术人员基于本发明实施例的技术方案，还可以想到的是，为提高训练速度，可增大每个批量输入模型的训练数据数量，但一般会受制于显卡的资源上限；也可使用公开的预训练模型，在此基础上使用自己的训练数据，可一定程度上减少训练轮次。
本发明通过随机提取全部训练数据中第一预设比例的图像作为本轮训练数据；对本轮训练数据采用模型训练算法完成本轮次的训练和验证，更新图像分类模型的参数；采用参数更新后的图像分类模型对剩余训练数据中的图像进行前向推理，并提取推理结果中与标注不符的训练数据，当提取的推理结果中与标注不符的训练数据达到预设数量时停止前向推理；将提取的推理结果中与标注不符的训练数据进行相似度聚合；对相似度聚合后的每个类别提取第二预设比例的训练数据图像作为下一个轮次的训练数据；将提取的第二预设比例的训练数据图像与上一训练轮次的图像组合，打乱次序后作为更新后的训练数据集。本发明基于训练数据相似度聚合和网络差异采样进行模型加速训练，避免采用全数据集训练，而是尽量在每个轮次中使用当前模型预测不佳的数据作为训练数据，从而获取更大的反向传播梯度，提高每个轮次的训练效率；本发明减少了每个轮次模型训练的数据集规模，训练时间大幅减少，虽然额外增加的引入的模型前向计算和聚类时间，但模型的前向计算比反向传播训练的速度要快得多，而聚类不需要精确结果，可减少迭代次数或使用更快速简单的聚类方法，如基于直方图分布相似性的聚类，总体上每个轮次的总训练时间仍比原有的全训练集训练减少很多；本发明每个轮次选择的训练数据选取均有针对性，选用推理错误的图像进行训练，能够最大程度的获取反向传播梯度，降低了训练时陷入局部最优解的概率，而且减少了对冗余数据的重复训练，且数据选取的规则参数均可配置，便于在训练过程中动态调整，以达到最佳的训练结果。
实施例2
参见图3，本发明还提供一种基于训练数据相似度聚合的模型加速训练装置，采用上述的基于训练数据相似度聚合的模型加速训练方法，包括：
训练数据提取模块1，用于随机提取全部训练数据中第一预设比例的图像作为本轮训练数据；
模型训练模块2，用于对所述本轮训练数据采用模型训练算法完成本轮次的训练和验证，更新图像分类模型的参数；
前向推理模块3，用于采用参数更新后的所述图像分类模型对剩余训练数据中的图像进行前向推理，并提取推理结果中与标注不符的训练数据，当提取的推理结果中与标注不符的训练数据达到预设数量时停止前向推理；
相似度聚合模块4，用于将前向推理模块中所述提取的推理结果中与标注不符的训练数据进行相似度聚合；
训练数据再提取模块5，用于对相似度聚合后的每个类别提取第二预设比例的训练数据图像作为下一个轮次的训练数据；
训练数据组合模块6，用于将训练数据再提取模块中提取的第二预设比例的训练数据图像与上一训练轮次的图像组合，打乱次序后作为更新后的训练数据集。
具体的，训练数据提取模块1随机提取全部训练数据1/10的图像作为第一轮次的训练数据；模型训练模块2中的模型训练算法采用梯度下降法、牛顿算法、共轭梯度法、准牛顿法或Levenberg-Marquardt算法中的一种或多种。前向推理模块3中，采用参数更新后的所述图像分类模型对剩余训练数据中的图像进行前向推理，且剩余训练数据中的图像全部完成时停止前向推理；相似度聚合模块4中，相似度聚合采用K-均值聚类算法。
具体的，将更新后的所述训练数据集作为下一训练轮次的训练数据；重复执行模型训练模块2、前向推理模块3、相似度聚合模块4和训练数据再提取模块5，使每一轮次的训练数据逐次递增，直到训练完预设轮次得到最终图像分类模型。当执行第二轮次的数据训练时，将训练数据再提取模块5提取的第二预设比例的训练数据图像与训练数据提取模块1中的第一预设比例的图像组合形成第二轮次的训练数据集。
由于训练数据再提取模块5是对提取的推理结果中与标注不符的训练数据进行相似度聚合，故相似度聚合后的每个类别提取第二预设比例的训练数据图像也就是前向推理模块3推理错误的图像，将这些推理错误的图像和上一轮次训练数据组合进行下一轮次训练，进而能够最大程度的获取反向传播梯度，降低了训练时陷入局部最优解的概率，而且减少了对冗余数据的重复训练。这也体现了本技术方案避免全数据集训练，尽量在每个轮次中使用当前模型预测不佳的数据作为训练数据的技术思路。
具体的，训练数据提取模块1中，随机提取全部训练数据1/10的图像作为第一轮次的训练数据。初次启动模型的训练数据提取比例可配置，可以较少比例的训练数据启动训练，每个轮次使用逐次递增的训练数据，减少冗余训练时间，提高训练速度。
具体的，模型训练模块2中的模型训练算法采用梯度下降法、牛顿算法、共轭梯度法、准牛顿法或Levenberg-Marquardt算法中的一种或多种。本技术方案中不涉及对模型训练算法本身的改进，模型训练模块2中的模型训练算法仍为深度学习技术领域的标准训练方法。
具体的，前向推理模块3中，采用参数更新后的所述图像分类模型对剩余训练数据中的图像进行前向推理，且剩余训练数据中的图像全部完成时停止前向推理。在采用参数更新后的图像分类模型对剩余训练数据中的图像进行前向推理时，并不一定要提取的推理结果中与标注不符的训练数据达到预设数量，当这些标注不符的训练数据推理完毕后，尽管未达到预设的数量，也可停止前向推理。
具体的，相似度聚合模块4中，相似度聚合采用K-均值聚类算法。K-均值聚类算法(k-means clustering algorithm)是一种迭代求解的聚类分析算法，通过预将数据分为K组，则随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。
由于聚类不需要精确结果，可减少迭代次数或使用更快速简单的聚类方法，比如基于直方图分布相似性的聚类，总体上每个轮次的总训练时间仍比原有的全训练集训练减少很多。
本技术方案采用训练数据裁剪和递增式的模型训练方法，以较少比例的训练数据启动训练，每个轮次使用逐次递增的训练数据，减少冗余训练时间，提高训练速度。训练数据差异采样，使用当前模型参数对训练数据进行前向计算，采样其中推理结果与标注不符的数据用于下一轮次训练，提升训练数据质量，最大化提升训练效果。选取最有代表性的数据，进一步压缩训练数据规模和提高数据质量。
本领域技术人员基于本发明实施例的技术方案，可以想到的是，为了提高训练数据质量，可在标注阶段进行更严格的筛选。
本领域技术人员基于本发明实施例的技术方案，还可以想到的是，为提高训练速度，可增大每个批量输入模型的训练数据数量，但一般会受制于显卡的资源上限；也可使用公开的预训练模型，在此基础上使用自己的训练数据，可一定程度上减少训练轮次。
实施例3
本发明提供一种计算机可读存储介质，所述计算机可读存储介质中存储用于基于训练数据相似度聚合的模型加速训练的程序代码，所述程序代码包括用于执行实施例1或其任意可能的实现方式中的基于训练数据相似度聚合的模型加速训练方法的指令。
计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(SolidStateDisk、SSD))等。
实施例4
本发明提供了一种电子设备，所述电子设备包括处理器，所述处理器与存储介质耦合，当所述处理器执行存储介质中的指令时，使得所述电子设备执行实施例1或其任意可能的实现方式中的基于训练数据相似度聚合的模型加速训练。
具体的，处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于所述处理器之外，独立存在。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。
具体的，中央处理单元(CPU)根据只读存储器(ROM)中存储的程序或从存储部分加载到随机存取存储器(RAM)的程序执行各种处理。在RAM中，还根据需要存储当CPU执行各种处理等等时所需的数据。CPU、ROM和RAM经由总线彼此连接。输入/输出接口也连接到总线。
下述部件连接到输入/输出接口：输入部分(包括键盘、鼠标等等)、输出部分(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分(包括硬盘等)、通信部分(包括网络接口卡比如LAN卡、调制解调器等)。通信部分经由网络比如因特网执行通信处理。根据需要，驱动器也可连接到输入/输出接口。可拆卸介质比如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器上，使得从中读出的计算机程序根据需要被安装到存储部分中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于存储有程序的、与设备相分离地分发以向用户提供程序的可拆卸介质。可拆卸介质的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM、存储部分中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.基于训练数据相似度聚合的模型加速训练方法，其特征在于，包括以下步骤：
步骤一、随机提取全部训练数据中第一预设比例的图像作为本轮训练数据；
步骤二、对所述本轮训练数据采用模型训练算法完成本轮次的训练和验证，更新图像分类模型的参数；
步骤三、采用参数更新后的所述图像分类模型对剩余训练数据中的图像进行前向推理，并提取推理结果中与标注不符的训练数据，当提取的推理结果中与标注不符的训练数据达到预设数量时停止前向推理；
步骤四、将步骤三中所述提取的推理结果中与标注不符的训练数据进行相似度聚合；对相似度聚合后的每个类别提取第二预设比例的训练数据图像作为下一个轮次的训练数据；
步骤五、将步骤四提取的第二预设比例的训练数据图像与上一训练轮次的图像组合，打乱次序后作为更新后的训练数据集。
2.根据权利要求1所述的基于训练数据相似度聚合的模型加速训练方法，其特征在于，将更新后的所述训练数据集作为下一训练轮次的训练数据；重复步骤二至步骤五，使每一轮次的训练数据逐次递增，直到训练完预设轮次得到最终图像分类模型。
3.根据权利要求2所述的基于训练数据相似度聚合的模型加速训练方法，其特征在于，当执行第二轮次的数据训练时，将步骤四提取的第二预设比例的训练数据图像与步骤一中的第一预设比例的图像组合形成第二轮次的训练数据集。
4.根据权利要求1所述的基于训练数据相似度聚合的模型加速训练方法，其特征在于，所述步骤一中，随机提取全部训练数据1/10的图像作为第一轮次的训练数据。
5.根据权利要求1所述的基于训练数据相似度聚合的模型加速训练方法，其特征在于，步骤二中的模型训练算法采用梯度下降法、牛顿算法、共轭梯度法、准牛顿法或Levenberg-Marquardt算法中的一种或多种。
6.根据权利要求1所述的基于训练数据相似度聚合的模型加速训练方法，其特征在于，步骤三中，采用参数更新后的所述图像分类模型对剩余训练数据中的图像进行前向推理，且剩余训练数据中的图像全部完成时停止前向推理。
7.根据权利要求1所述的基于训练数据相似度聚合的模型加速训练方法，其特征在于，步骤四中，相似度聚合采用K-均值聚类算法。
8.基于训练数据相似度聚合的模型加速训练装置，采用如权利要求1至7任一项的基于训练数据相似度聚合的模型加速训练方法，其特征在于，包括：
训练数据提取模块，用于随机提取全部训练数据中第一预设比例的图像作为本轮训练数据；
模型训练模块，用于对所述本轮训练数据采用模型训练算法完成本轮次的训练和验证，更新图像分类模型的参数；
前向推理模块，用于采用参数更新后的所述图像分类模型对剩余训练数据中的图像进行前向推理，并提取推理结果中与标注不符的训练数据，当提取的推理结果中与标注不符的训练数据达到预设数量时停止前向推理；
相似度聚合模块，用于将前向推理模块中所述提取的推理结果中与标注不符的训练数据进行相似度聚合；
训练数据再提取模块，用于对相似度聚合后的每个类别提取第二预设比例的训练数据图像作为下一个轮次的训练数据；
训练数据组合模块，用于将训练数据再提取模块中提取的第二预设比例的训练数据图像与上一训练轮次的图像组合，打乱次序后作为更新后的训练数据集。
9.根据权利要求8所述的基于训练数据相似度聚合的模型加速训练装置，其特征在于，训练数据提取模块随机提取全部训练数据1/10的图像作为第一轮次的训练数据；
模型训练模块中的模型训练算法采用梯度下降法、牛顿算法、共轭梯度法、准牛顿法或Levenberg-Marquardt算法中的一种或多种。
10.根据权利要求8所述的基于训练数据相似度聚合的模型加速训练装置，其特征在于，前向推理模块中，采用参数更新后的所述图像分类模型对剩余训练数据中的图像进行前向推理，且剩余训练数据中的图像全部完成时停止前向推理；
相似度聚合模块中，相似度聚合采用K-均值聚类算法。
CN202110021199.6A 2021-01-08 2021-01-08 基于训练数据相似度聚合的模型加速训练方法及装置 Pending CN112733932A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110021199.6A CN112733932A (zh) 2021-01-08 2021-01-08 基于训练数据相似度聚合的模型加速训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110021199.6A CN112733932A (zh) 2021-01-08 2021-01-08 基于训练数据相似度聚合的模型加速训练方法及装置

Publications (1)

Publication Number Publication Date
CN112733932A true CN112733932A (zh) 2021-04-30

Family

ID=75589741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110021199.6A Pending CN112733932A (zh) 2021-01-08 2021-01-08 基于训练数据相似度聚合的模型加速训练方法及装置

Country Status (1)

Country Link
CN (1) CN112733932A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115086437A (zh) * 2022-06-15 2022-09-20 中国科学技术大学苏州高等研究院 基于分簇和xdp技术的梯度聚合加速方法和装置
GB2625069A (en) * 2022-12-02 2024-06-12 Envisionit Deep Ai Ltd Method and system for training a machine learning system for image processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331716A (zh) * 2014-11-20 2015-02-04 武汉图歌信息技术有限责任公司 面向大规模训练数据的svm主动学习分类算法
CN111095234A (zh) * 2017-09-15 2020-05-01 国际商业机器公司 训练数据更新

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331716A (zh) * 2014-11-20 2015-02-04 武汉图歌信息技术有限责任公司 面向大规模训练数据的svm主动学习分类算法
CN111095234A (zh) * 2017-09-15 2020-05-01 国际商业机器公司 训练数据更新

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周玉等: "训练样本数据选择方法研究综述", 《计算机科学》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115086437A (zh) * 2022-06-15 2022-09-20 中国科学技术大学苏州高等研究院 基于分簇和xdp技术的梯度聚合加速方法和装置
CN115086437B (zh) * 2022-06-15 2023-08-22 中国科学技术大学苏州高等研究院 基于分簇和xdp技术的梯度聚合加速方法和装置
GB2625069A (en) * 2022-12-02 2024-06-12 Envisionit Deep Ai Ltd Method and system for training a machine learning system for image processing

Similar Documents

Publication Publication Date Title
CN109086654B (zh) 手写模型训练方法、文本识别方法、装置、设备及介质
CN109711426B (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN113313022B (zh) 文字识别模型的训练方法和识别图像中文字的方法
CN113326764A (zh) 训练图像识别模型和图像识别的方法和装置
CN108197652B (zh) 用于生成信息的方法和装置
CN109948149B (zh) 一种文本分类方法及装置
CN113379627B (zh) 图像增强模型的训练方法和对图像进行增强的方法
EP3933708A2 (en) Model training method, identification method, device, storage medium and program product
CN112668579A (zh) 基于自适应亲和力和类别分配的弱监督语义分割方法
CN112329476B (zh) 一种文本纠错方法及装置、设备、存储介质
CN108985442B (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
CN114020950B (zh) 图像检索模型的训练方法、装置、设备以及存储介质
WO2021042857A1 (zh) 图像分割模型的处理方法和处理装置
CN112733932A (zh) 基于训练数据相似度聚合的模型加速训练方法及装置
CN110968725B (zh) 图像内容描述信息生成方法、电子设备及存储介质
CN117114063A (zh) 用于训练生成式大语言模型和用于处理图像任务的方法
CN113657248A (zh) 人脸识别模型的训练方法、装置及计算机程序产品
CN117971487A (zh) 一种高性能算子生成方法、装置、设备及存储介质
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN116432125B (zh) 基于哈希算法的代码分类方法
CN112364198A (zh) 一种跨模态哈希检索方法、终端设备及存储介质
CN115170919B (zh) 图像处理模型训练及图像处理方法、装置、设备和存储介质
CN116503608A (zh) 基于人工智能的数据蒸馏方法及相关设备
CN116128044A (zh) 一种模型剪枝方法、图像处理方法及相关装置
CN114758130B (zh) 图像处理及模型训练方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210430

RJ01 Rejection of invention patent application after publication