CN112765354A - 模型训练方法、模型训练装置、计算机设备和存储介质 - Google Patents

模型训练方法、模型训练装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112765354A
CN112765354A CN202110105101.5A CN202110105101A CN112765354A CN 112765354 A CN112765354 A CN 112765354A CN 202110105101 A CN202110105101 A CN 202110105101A CN 112765354 A CN112765354 A CN 112765354A
Authority
CN
China
Prior art keywords
data
training
model
training data
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110105101.5A
Other languages
English (en)
Other versions
CN112765354B (zh
Inventor
杨华
胡毅奇
刘云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuiyi Technology Co Ltd
Original Assignee
Shenzhen Zhuiyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhuiyi Technology Co Ltd filed Critical Shenzhen Zhuiyi Technology Co Ltd
Priority to CN202110105101.5A priority Critical patent/CN112765354B/zh
Publication of CN112765354A publication Critical patent/CN112765354A/zh
Application granted granted Critical
Publication of CN112765354B publication Critical patent/CN112765354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了模型训练方法、模型训练装置、计算机设备和存储介质，用于提高模型训练中无标签样本的利用价值。本申请实施例的方法包括：获取第一训练数据，所述第一训练数据为无标签的训练数据；对所述第一训练数据进行数据增广操作，得到第一增广数据；将所述第一训练数据与所述第一增广数据输入待训练模型进行无监督训练，计算所述第一训练数据与所述第一增广数据的分布差异；基于所述分布差异计算第一损失函数，所述第一损失函数的大小与所述分布差异的大小呈正相关。

Description

模型训练方法、模型训练装置、计算机设备和存储介质
技术领域
本申请实施例涉及机器学习领域，具体涉及模型训练方法、模型训练装置、计算机设备和存储介质。
背景技术
在机器学习领域中，训练一个模型，就需要工程师收集与待训练模型相匹配的训练数据。例如对于人脸识别模型，需要收集人脸数据，对于语义识别模型，则需要收集语义数据。因此，工程师在训练模型之前，需要先付出成本，获取大量与待训练模型匹配的训练数据。
通常渠道下获取的训练数据都是未添加标签的训练数据，需要专门为未添加标签的训练数据添加标签。然而，添加为训练数据添加标签的成本是比较高的，实际操作中，往往仅从大量的无标签训练数据中，筛选一些学习价值比较高的训练数据进行标签添加，剩余的无标签训练数据弃置不用，这就导致了剩余无标签训练数据的浪费。
发明内容
本申请实施例提供了一种模型训练方法，用于在模型训练的过程中，充分利用无标签的训练数据。
本申请第一方面提供一种模型训练方法，所述方法包括：
获取第一训练数据，所述第一训练数据为无标签的训练数据；
对所述第一训练数据进行数据增广操作，得到第一增广数据；
将所述第一训练数据与所述第一增广数据输入待训练模型进行无监督训练，计算所述第一训练数据与所述第一增广数据的分布差异；
基于所述分布差异计算第一损失函数，所述第一损失函数的大小与所述分布差异的大小呈正相关。
可选地，所述方法还包括：
获取第二训练数据，所述第二训练数据为有标签的训练数据；
将所述第二训练数据输入所述待训练模型进行有监督训练，以计算第二损失函数。
可选地，所述方法还包括：
获取有标签的第二训练数据；
对所述第二训练数据进行数据增广操作，得到第二增广数据，所述第二增广数据与所述第二训练数据的训练标签相同；
将所述第二训练数据与所述第二增广数据输入所述待训练模型进行有监督训练，以计算第二损失函数。
可选地，所述方法还包括：
根据所述第一损失函数和第二损失函数对所述待训练模型进行修正，得到目标训练模型。
可选地，所述方法还包括：
获取主动学习模型，所述主动学习模型用于将输入的训练数据分类为第一类数据和第二类数据；
获取无标签的训练数据；
将所述无标签的训练数据输入所述主动学习模型进行分类；
若所述无标签的训练数据为所述第一类数据，则将所述无标签的训练数据归类为第一训练数据。
可选地，若所述无标签的训练数据为所述第二类数据，则为所述无标签的训练数据增加标签，并将增加了标签的所述无标签的训练数据归类为第二训练数据。
可选地，所述待训练模型与所述主动学习模型的参数相同。
可选地，所述待训练模型为语义识别模型；
所述对所述第一训练数据进行数据增广操作，得到第一增广数据，包括：
对所述第一训练数据进行数据替换操作、数据交换操作、数据***操作、数据删除操作、数据回译操作中的任意一种或多种数据增广操作，得到第一增广数据。
可选地，所述待训练模型为语义识别模型；
所述对所述第一训练数据进行数据增广操作，得到第一增广数据，包括：
对所述第一训练数据进行数据替换操作、数据交换操作、数据***操作、数据删除操作、数据回译操作中的任意一种或多种数据增广操作，得到中间增广数据；
对所述中间增广数据进行长度检查操作、特殊字符替换操作、噪声数据过滤操作中的任意一种或多种过滤操作，得到第一增广数据。
可选地，所述第一损失函数为KL散度损失函数、JS散度损失函数、Wasserstein距离损失函数或均方误差损失函数。
对应于第一方面的模型训练方法，本申请第二方面提供一种模型训练装置，包括：
获取单元，用于获取第一训练数据，所述第一训练数据为无标签的训练数据；
数据增广单元，用于对所述第一训练数据进行数据增广操作，得到第一增广数据；
计算单元，用于将所述第一训练数据与所述第一增广数据输入待训练模型进行无监督训练，计算所述第一训练数据与所述第一增广数据的分布差异；
所述计算单元还用于基于所述分布差异计算第一损失函数，所述第一损失函数的大小与所述分布差异的大小呈正相关。
可选地，所述获取单元还用于获取第二训练数据，所述第二训练数据为有标签的训练数据；
所述计算单元还用于将所述第二训练数据输入所述待训练模型进行有监督训练，以计算第二损失函数。
可选地，所述获取单元还用于获取有标签的第二训练数据；
所述数据增广单元还用于对所述第二训练数据进行数据增广操作，得到第二增广数据，所述第二增广数据与所述第二训练数据的训练标签相同；
所述计算单元还用于将所述第二训练数据与所述第二增广数据输入所述待训练模型进行有监督训练，以计算第二损失函数。
可选地，所述装置还包括：
修正单元，用于根据所述第一损失函数和第二损失函数对所述待训练模型进行修正，得到目标训练模型。
可选地，所述获取单元还用于：获取主动学习模型，所述主动学习模型用于将输入的训练数据分类为第一类数据和第二类数据；获取无标签的训练数据；
所述装置还包括：
分类单元，用于将所述无标签的训练数据输入所述主动学习模型进行分类；
归类单元，用于在所述无标签的训练数据为所述第一类数据时，将所述无标签的训练数据归类为第一训练数据。
可选地，所述归类单元还用于：在所述无标签的训练数据为所述第二类数据时，为所述无标签的训练数据增加标签，并将增加了标签的所述无标签的训练数据归类为第二训练数据。
可选地，所述待训练模型与所述主动学习模型的参数相同。
可选地，所述待训练模型为语义识别模型；
所述数据增广单元具体用于：
对所述第一训练数据进行数据替换操作、数据交换操作、数据***操作、数据删除操作、数据回译操作中的任意一种或多种数据增广操作，得到第一增广数据。
可选地，所述待训练模型为语义识别模型；
所述数据增广单元具体用于：
对所述第一训练数据进行数据替换操作、数据交换操作、数据***操作、数据删除操作、数据回译操作中的任意一种或多种数据增广操作，得到中间增广数据；
对所述中间增广数据进行长度检查操作、特殊字符替换操作、噪声数据过滤操作中的任意一种或多种过滤操作，得到第一增广数据。
可选地，所述第一损失函数为KL散度损失函数、JS散度损失函数、Wasserstein距离损失函数或均方误差损失函数。
本申请第三方面提供一种计算机设备，包括：
存储器；一个或多个处理器，与所述存储器耦接；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如第一方面中任一项所述的方法。
本申请第四方面提供一种计算机存储介质，所述计算机存储介质中存储有指令，所述指令在计算机上执行时，使得所述计算机执行如第一方面中任一项所述的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：本申请的模型训练方法将无标签的训练数据进行了数据增广，并根据数据增广前后的训练数据分布计算了损失函数，以根据该损失函数对待训练网络进行优化，使得无标签的训练数据也能对待训练网络的优化作出贡献。
附图说明
图1是本申请提供的模型训练方法的一个实施例示意图；
图2是本申请提供的模型训练方法的一个实施例示意图；
图3是本申请提供的模型训练方法的一个实施例示意图；
图4是本申请提供的模型训练方法的一个实施例示意图；
图5是本申请提供的模型训练方法的一个实施例示意图；
图6是本申请提供的模型训练装置的一个实施例示意图；
图7是本申请提供的计算机设备的一个实施例示意图。
具体实施方式
本申请实施例提供了模型训练方法、模型训练装置、计算机设备和存储介质，用于在模型训练过程中，充分利用其中的无标签的训练数据。
101、获取第一训练数据，所述第一训练数据为无标签的训练数据；
为了进行模型训练，首先按照训练目的准备相应的训练数据。本实施例中，需要准备的是一些无标签训练数据，无标签的训练数据是指没有经过数据标记分类、尚未打上学习标签的训练数据，这种训练数据获取途径较多，获取难度也较低。例如要训练一个物体识别模型时，第一训练数据就可以是包含任意物体的图像帧；训练一个语义识别模式时，第一训练数据则是包含语义的单词或句子。可以理解的是，根据训练模型的目的不同，第一训练数据可以不局限于文字、图像，还可以是音频、视频或其他任意形式的数据样本，具体此处不作限定。
102、对所述第一训练数据进行数据增广操作，得到第一增广数据；
数据增广，又名数据增强或数据扩充。数据增广是一种深度学习时对训练数据进行的一种微调、变换、或变形操作，基于原本的训练数据进行一些固定或随机的变化。例如，对于图像形式的训练数据，数据增广的方式可以是图像的翻转、随机噪点***、尺度变换等。对于文本形式的训练数据，数据增广的方式可以是文本回译、非核心词的替换\删除、随机交换位置等操作。此外，在数据增广后，还可以有选择性地进行一些数据过滤，过滤掉一些质量较差的第一增广数据，例如对于语义训练材料来说，可以进行长度检查过滤、特殊字符替换、噪声数据过滤的操作，提高第一增广数据的质量。需要说明的是，上述对第一训练数据进行的数据增广方式并不构成对数据增广操作的限定，本领域技术人员可以根据实际需要自行选择任意一种或多种数据增广方式进行操作。需要注意的是，数据增广方式并非越多越好，数据增广前后的训练数据实际含义应当相同或尽量相似。
103、将所述第一训练数据与所述第一增广数据输入待训练模型进行无监督训练，计算所述第一训练数据与所述第一增广数据的分布差异；
将第一训练数据以及基于第一训练数据得到的第一增广数据输入待训练模型，以进行无监督训练的识别过程。具体过程是，使用待训练模型对第一训练数据和第一增广数据进行特征提取，对第一训练数据和第一增广的一项或多项特征进行评估，得到两者的评分或分类。基于两者的评分或分类，计算第一训练数据与第一增广数据在评分或分类中的差异大小，就是他们的分布差异。例如，待训练神经网络对第一训练数据A0的评分是85，对第一训练数据A增广得到的第一增广数据A1、A2、A3评分分别为81,80,90，那么就可以按照分数计算这些第一增广数据与第一训练数据之间的分布差异，或者计算A0至A3所有训练数据之间的分布差异，此处不必限定具体的分布差异计算方法，本领域技术人员可以自行选择。
在本实施例中，对第一训练数据和第一增广数据的评分和分类方式可以由技术人员自行选择，且待训练模型的识别结果可以与第一增广数据的应当对应的学习标签不完全对应。例如，待训练模型是一个用于分辨疑问句与陈述句的语义识别模型，而第一训练数据包括了反问句，也是可行的。或者待训练模型是一个用于分辨疑问句、陈述句、反问句的语义识别模型，第一训练数据仅包括疑问句与陈述句，也是可行的。
104、基于所述分布差异计算第一损失函数，所述第一损失函数的大小与所述分布差异的大小呈正相关。
直接将步骤103计算得出的分布差异作为第一损失函数，或者基于该分布差异的大小，加入其它算子进行计算，但原则上第一损失函数应当与该分布差异呈正相关。本方法的核心思想在于，第一训练数据和第一增广数据虽然是无标签的训练数据，但是经过数据增广的第一训练数据和第一增广数据还是基本相同的，因此一个良好的深度学习神经网络面对这些基本相同的数据，给出的打分或分类也应当十分接近。如果步骤103得出的分布差异较大，说明待训练模型的没有准确地为基本相同的训练数据给出基本相同的评价，那么第一损失函数也会较大，需要根据第一损失函数对待训练模型进行较大幅度的修正；同理，如果步骤103得出的分布差异接近于零，说明待训练模型的准确地为基本相同的训练数据给出了基本相同的评价，分类准确度较高。
可以看出，本实施例中，利用了无标签的第一训练数据、以及第一训练进行数据增广得到的第一增广数据作为训练数据，就能对待训练模型进行参数优化，充分发挥了无标签训练数据的价值。
基于图1所示的实施例，在本申请的另一实施例，还提供了无标签的训练数据与有标签的训练数据结合的模型训练方法。具体请参阅图2，该实施例包括：
201、获取第一训练数据，所述第一训练数据为无标签的训练数据；
202、对所述第一训练数据进行数据增广操作，得到第一增广数据；
203、将所述第一训练数据与所述第一增广数据输入待训练模型进行无监督训练，计算所述第一训练数据与所述第一增广数据的分布差异；
204、基于所述分布差异计算第一损失函数，所述第一损失函数的大小与所述分布差异的大小呈正相关。
205、获取第二训练数据，所述第二训练数据为有标签的训练数据；
获取带有学习标签的第二训练数据，这些第二训练数据与第一训练数据的格式、类型相同。第二训练数据是有标签的训练数据，与第一训练数据相比，第二训练数据的获取难度更高，数量也较少。
206、将所述第二训练数据输入所述待训练模型进行有监督训练，以计算第二损失函数。
将第二训练数据输入到待训练模型中，由于第二训练数据包含了自身的学习标签，因此进行的是有监督训练。按照常规的有监督训练方法，计算出该过程中待训练模型的第二损失函数，以便使用第二损失函数对待训练模型进行修正。
可选地，在执行步骤206之后，还可以根据所述第一损失函数和第二损失函数对所述待训练模型进行修正，得到目标训练模型。其中，由于第二损失函数是有监督训练过程的损失函数，因此第二损失函数的权重应当比第一损失函数的权重更大，以达到更好的训练效果。
作为上述实施例的另一种改进，可以对第二训练数据也进行数据增广，而后作为新的有标签数据进行监督训练。具体请参阅图3，该实施例包括：
301、获取第一训练数据，所述第一训练数据为无标签的训练数据；
302、对所述第一训练数据进行数据增广操作，得到第一增广数据；
303、将所述第一训练数据与所述第一增广数据输入待训练模型进行无监督训练，计算所述第一训练数据与所述第一增广数据的分布差异；
304、基于所述分布差异计算第一损失函数，所述第一损失函数的大小与所述分布差异的大小呈正相关；
305、获取有标签的第二训练数据；
306、对所述第二训练数据进行数据增广操作，得到第二增广数据，所述第二增广数据与所述第二训练数据的训练标签相同；
对第二训练数据进行如步骤302中相似的数据增广操作，以获取第二增广数据。需要说明的是，本实施例中，对第二训练数据的数据增广操作与步骤302中的数据增广操作不可以不完全相同。例如，当第一训练数据和第二训练数据都是图像数据时，生成第一增广数据的方式是图像翻转和随机噪点***，而生成第二增广数据的方式是尺度变换和色彩抖动。但是大多数情况下，第一增广数据和第二增广数据的增广方式仍然是相同的。第二增广数据会继承第二训练数据的标签，也就是说，第二增广数据同样是有标签的训练数据。
307、将所述第二训练数据与所述第二增广数据输入所述待训练模型进行有监督训练，以计算第二损失函数。
将第二训练数据输入到待训练模型中，由于第二训练数据包含了对应的学习标签，因此进行的是有监督训练。按照常规的有监督训练方法，计算出该过程中待训练模型的第二损失函数，以便使用第二损失函数对待训练模型进行修正。
可选地，在执行步骤307之后，还可以根据所述第一损失函数和第二损失函数对所述待训练模型进行修正，得到目标训练模型。其中，由于第二损失函数是有监督训练过程的损失函数，因此第二损失函数的权重应当比第一损失函数的权重更大，以达到更好的训练效果。
与图2所示实施例相比，图3所示实施例将有标签的第二训练数据也进行了数据增广，以充分利用有标签的第二训练数据。但是，本领域技术人员应当意识到，数据增广操作生成的增广数据必然是和原训练数据是有差别的，如果数据增广方式不当，那么得到的增广数据可能无法对模型训练起到应有的作用，甚至起到反效果。例如，在人脸图像识别领域，基本上是不会出现倒立的人脸图像的，如果数据增广时对人脸图像进行了上下翻转，得到的倒立的人脸图像不仅无法对模型的参数修正做出贡献，甚至可能起到反效果。因此，数据增广的方式选择会显著影响本发明的效果，本领域技术人员实施本发明时，需要根据待训练模型的应用场景，自行选择合适的数据增广方式。
作为图1至图3所示的模型训练方法的改进，本发明还增加了主动学习模型对训练数据进行分类的过程。主动学习模型的主要任务是，从大量无标签的训练数据中，筛选出一部分高价值的训练数据进行标注。下面以图2所示实施例为基础对本实施例进行说明,请参阅图4，本实施例包括以下步骤：
401、获取主动学习模型，所述主动学习模型用于将输入的训练数据分类为第一类数据和第二类数据；
准备一个主动学习模型，该主动学习模型会按照模型内置的参数，对输入该模型的训练数据进行评估，按照一定标准分为训练价值一般的第一类数据和训练价值较高的第二类数据。该主动学习模型具体区分第一类数据和第二类数据的方法可以由技术人员根据需要自行设置，具体可以参照已有的任意一种主动学习模型。
402、获取无标签的训练数据；
获取大量无标签的训练数据，这些训练数据与待训练模型的应用目的应当具有一定的对应关系。例如待训练模型是一个泛用的人脸识别模型，而技术人员意图得到一个能够准确识别戴口罩的人脸图像的人脸识别模型，那么训练数据中就可以包含大量戴口罩的人脸图像和不戴口罩的人脸图像。
403、将所述无标签的训练数据输入所述主动学习模型进行分类，得到第一类数据和第二类数据；
将步骤402获取的训练数据输入主动学习模型进行分类，该主动学习模型会按照模型内置的参数，对输入该模型的训练数据进行评估分类，具体的分类标准可以由本领域技术人员参照已有的主动学习模型使用方法来对无标签的训练数据进行分类。例如，主动学习模型可以计算每一个训练数据的熵得分，根据熵得分的大小对训练数据进行分类。本领域技术人员还可以采用其他的标准对这些无标签的训练数据进行分类，具体此处不作限定。
404、将所述无标签的训练数据中的第一类数据归类为第一训练数据；
将一些无标签的训练数据进行区别，得到第一训练数据，这些第一训练数据不包含标签，属于无标签的被动训练数据。
405、为所述无标签的训练数据中的第二类数据增加标签，并将增加了标签的所述无标签的训练数据归类为第二训练数据。
将一些无标签的训练数据进行区别，得到第二训练数据。这些第二训练数据在模型训练中价值较高，因此需要进行数据标注，为其增加标签，以便后续训练中能够用这些第二训练数据进行有监督训练。
406、获取第一训练数据，所述第一训练数据为无标签的训练数据；
407、对所述第一训练数据进行数据增广操作，得到第一增广数据；
408、将所述第一训练数据与所述第一增广数据输入待训练模型进行无监督训练，计算所述第一训练数据与所述第一增广数据的分布差异；
409、基于所述分布差异计算第一损失函数，所述第一损失函数的大小与所述分布差异的大小呈正相关；
410、获取有标签的第二训练数据；
411、对所述第二训练数据进行数据增广操作，得到第二增广数据，所述第二增广数据与所述第二训练数据的训练标签相同；
412、将所述第二训练数据与所述第二增广数据输入所述待训练模型进行有监督训练，以计算第二损失函数。
图4所示实施例的步骤406至412与图2所示实施例的步骤301至307类似，具体此处不再赘述。图4所示实施例的优点在于，加入主动训练模型后，主动训练模型可以高效筛选样本，并将其应用在待训练模型的训练过程中，进一步降低待训练模型的样本获取难度。
与图4所示实施例类似，图5还出示了主动训练模型与待训练模型训练过程结合的另一实施例。与图4所示实施例有所区别的是，图5所示实施例中，不仅对第一训练数据进行了数据增广，对第二训练数据同样进行了数据增广。该实施例具体包括：
501、获取主动学习模型，所述主动学习模型用于将输入的训练数据分类为第一类数据和第二类数据；
502、获取无标签的训练数据；
503、将所述无标签的训练数据输入所述主动学习模型进行分类，得到第一类数据和第二类数据；
504、将所述无标签的训练数据中的第一类数据归类为第一训练数据；
505、为所述无标签的训练数据中的第二类数据增加标签，并将增加了标签的所述无标签的训练数据归类为第二训练数据；
本实施例步骤501至505与图4所示实施例的步骤401至405类似，都是主动学习模型对无标签数据的分类过程，具体此处不再赘述。
506、获取第一训练数据，所述第一训练数据为无标签的训练数据；
507、对所述第一训练数据进行数据增广操作，得到第一增广数据；
508、将所述第一训练数据与所述第一增广数据输入待训练模型进行无监督训练，计算所述第一训练数据与所述第一增广数据的分布差异；
509、基于所述分布差异计算第一损失函数，所述第一损失函数的大小与所述分布差异的大小呈正相关；
510、获取有标签的第二训练数据；
511、对所述第二训练数据进行数据增广操作，得到第二增广数据，所述第二增广数据与所述第二训练数据的训练标签相同；
512、将所述第二训练数据与所述第二增广数据输入所述待训练模型进行有监督训练，以计算第二损失函数。
本实施例步骤506至512与图3所示实施例的步骤301至307类似，具体此处不再赘述。
图4和图5实施例中，都用到了主动学习模型来对输入的训练数据进行筛选和分类，以便以最高的性价比利用这些训练数据。为了使主动学习模型的分类结果与待训练模型的样本需求完全匹配，最好的办法是，直接以优化前的待训练模型的参数设置主动学习模型，使得主动学习模型的参数与待训练模型的参数相同，主动学习模型在对训练数据进行分类的过程中更加准确。
图1至图5所示的模型训练方法中，第一损失函数是无监督训练的损失函数，具体可以采用的损失函数形式可以是相对熵散度损失函数、JS散度损失函数、Wasserstein距离损失函数以及均方误差损失函数；第二损失函数是有监督训练的损失函数，具体可以采用的损失函数形式可以是交叉熵损失函数、Focal Loss函数、AM-SOFTMAX损失函数。由于损失函数的定义影响训练效果，因此在训练前应当采取少量样本预先训练与验证，选取效果最优的第一损失函数和第二损失函数来优化待训练模型。
为实现上述方法，本申请还提供了对应的模型训练装置。请参阅图6，该模型训练装置可以包括：
获取单元601，用于获取第一训练数据，所述第一训练数据为无标签的训练数据；
数据增广单元602，用于对所述第一训练数据进行数据增广操作，得到第一增广数据；
计算单元603，用于将所述第一训练数据与所述第一增广数据输入待训练模型进行无监督训练，计算所述第一训练数据与所述第一增广数据的分布差异；
所述计算单元603还用于基于所述分布差异计算第一损失函数，所述第一损失函数的大小与所述分布差异的大小呈正相关。
可选地，所述获取单元601还用于获取第二训练数据，所述第二训练数据为有标签的训练数据；
所述计算单元602还用于将所述第二训练数据输入所述待训练模型进行有监督训练，以计算第二损失函数。
可选地，所述获取单元601还用于获取有标签的第二训练数据；
所述数据增广单元602还用于对所述第二训练数据进行数据增广操作，得到第二增广数据，所述第二增广数据与所述第二训练数据的训练标签相同；
可选地，所述计算单元602还用于将所述第二训练数据与所述第二增广数据输入所述待训练模型进行有监督训练，以计算第二损失函数。
可选地，所述装置还包括：修正单元604，用于根据所述第一损失函数和第二损失函数对所述待训练模型进行修正，得到目标训练模型。
可选地，所述获取单元601还用于：获取主动学习模型，所述主动学习模型用于将输入的训练数据分类为第一类数据和第二类数据；获取无标签的训练数据；
所述装置还包括：分类单元605，用于将所述无标签的训练数据输入所述主动学习模型进行分类；
归类单元606，用于在所述无标签的训练数据为所述第一类数据时，将所述无标签的训练数据归类为第一训练数据。
可选地，所述归类单元606还用于：在所述无标签的训练数据为所述第二类数据时，为所述无标签的训练数据增加标签，并将增加了标签的所述无标签的训练数据归类为第二训练数据。
可选地，所述待训练模型为语义识别模型；所述数据增广单元602具体用于：
对所述第一训练数据进行数据替换操作、数据交换操作、数据***操作、数据删除操作、数据回译操作中的任意一种或多种数据增广操作，得到第一增广数据。
可选地，所述数据增广单元602具体用于：
对所述第一训练数据进行数据替换操作、数据交换操作、数据***操作、数据删除操作、数据回译操作中的任意一种或多种数据增广操作，得到中间增广数据；
对所述中间增广数据进行长度检查操作、特殊字符替换操作、噪声数据过滤操作中的任意一种或多种过滤操作，得到第一增广数据。
图7是本申请实施例提供的一种计算机设备结构示意图，该计算机设备700可以包括一个或一个以***处理器(central processing units，CPU)701和存储器705，该存储器705中存储有一个或一个以上的应用程序或数据。其中，存储器705可以是易失性存储或持久存储。存储在存储器705的程序可以包括一个或一个以上模块，每个模块可以包括对计算机设备中的一系列指令操作。更进一步地，中央处理器701可以设置为与存储器705通信，在计算机设备700上执行存储器705中的一系列指令操作。计算机设备700还可以包括一个或一个以上电源702，一个或一个以上有线或无线网络接口703，一个或一个以上输入输出接口704，和/或，一个或一个以上操作***，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。该中央处理器701可以执行前述图1至图5任一所示实施例中的模型训练方法，具体此处不再赘述。
本申请还提供一种计算机存储介质，所述计算机存储介质中存储有指令，所述指令在计算机上执行时，使得所述计算机执行图1至图5所示实施例中任一项模型训练方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (22)

1.一种模型训练方法，其特征在于,包括：
获取第一训练数据，所述第一训练数据为无标签的训练数据；
对所述第一训练数据进行数据增广操作，得到第一增广数据；
将所述第一训练数据与所述第一增广数据输入待训练模型进行无监督训练，计算所述第一训练数据与所述第一增广数据的分布差异；
基于所述分布差异计算第一损失函数，所述第一损失函数的大小与所述分布差异的大小呈正相关。
2.根据权利要求1所述的模型训练方法，其特征在于，所述方法还包括：
获取第二训练数据，所述第二训练数据为有标签的训练数据；
将所述第二训练数据输入所述待训练模型进行有监督训练，以计算第二损失函数。
3.根据权利要求1所述的模型训练方法，其特征在于，所述方法还包括：
获取有标签的第二训练数据；
对所述第二训练数据进行数据增广操作，得到第二增广数据，所述第二增广数据与所述第二训练数据的训练标签相同；
将所述第二训练数据与所述第二增广数据输入所述待训练模型进行有监督训练，以计算第二损失函数。
4.根据权利要求2或3所述的模型训练方法，其特征在于，所述方法还包括：
根据所述第一损失函数和第二损失函数对所述待训练模型进行修正，得到目标训练模型。
5.根据权利要求4所述的模型训练方法，其特征在于，所述方法还包括：
获取主动学习模型，所述主动学习模型用于将输入的训练数据分类为第一类数据和第二类数据；
获取无标签的训练数据；
将所述无标签的训练数据输入所述主动学习模型进行分类；
若所述无标签的训练数据为所述第一类数据，则将所述无标签的训练数据归类为第一训练数据。
6.根据权利要求5所述的模型训练方法，其特征在于，若所述无标签的训练数据为所述第二类数据，则为所述无标签的训练数据增加标签，并将增加了标签的所述无标签的训练数据归类为第二训练数据。
7.根据权利要求6所述的模型训练方法，其特征在于，所述待训练模型与所述主动学习模型的参数相同。
8.根据权利要求4所述的模型训练方法，其特征在于，所述待训练模型为语义识别模型；
所述对所述第一训练数据进行数据增广操作，得到第一增广数据，包括：
对所述第一训练数据进行数据替换操作、数据交换操作、数据***操作、数据删除操作、数据回译操作中的任意一种或多种数据增广操作，得到第一增广数据。
9.根据权利要求4所述的模型训练方法，其特征在于，所述待训练模型为语义识别模型；
所述对所述第一训练数据进行数据增广操作，得到第一增广数据，包括：
对所述第一训练数据进行数据替换操作、数据交换操作、数据***操作、数据删除操作、数据回译操作中的任意一种或多种数据增广操作，得到中间增广数据；
对所述中间增广数据进行长度检查操作、特殊字符替换操作、噪声数据过滤操作中的任意一种或多种过滤操作，得到第一增广数据。
10.根据权利要求4所述的模型训练方法，其特征在于，所述第一损失函数为KL散度损失函数、JS散度损失函数、Wasserstein距离损失函数或均方误差损失函数。
11.一种模型训练装置，其特征在于,包括：
获取单元，用于获取第一训练数据，所述第一训练数据为无标签的训练数据；
数据增广单元，用于对所述第一训练数据进行数据增广操作，得到第一增广数据；
计算单元，用于将所述第一训练数据与所述第一增广数据输入待训练模型进行无监督训练，计算所述第一训练数据与所述第一增广数据的分布差异；
所述计算单元还用于基于所述分布差异计算第一损失函数，所述第一损失函数的大小与所述分布差异的大小呈正相关。
12.根据权利要求11所述的模型训练装置，其特征在于,
所述获取单元还用于获取第二训练数据，所述第二训练数据为有标签的训练数据；
所述计算单元还用于将所述第二训练数据输入所述待训练模型进行有监督训练，以计算第二损失函数。
13.根据权利要求12所述的模型训练装置，其特征在于,
所述获取单元还用于获取有标签的第二训练数据；
所述数据增广单元还用于对所述第二训练数据进行数据增广操作，得到第二增广数据，所述第二增广数据与所述第二训练数据的训练标签相同；
所述计算单元还用于将所述第二训练数据与所述第二增广数据输入所述待训练模型进行有监督训练，以计算第二损失函数。
14.根据权利要求12或13所述的模型训练装置，其特征在于，所述装置还包括：
修正单元，用于根据所述第一损失函数和第二损失函数对所述待训练模型进行修正，得到目标训练模型。
15.根据权利要求14所述的模型训练装置，其特征在于，
所述获取单元还用于：获取主动学习模型，所述主动学习模型用于将输入的训练数据分类为第一类数据和第二类数据；获取无标签的训练数据；
所述装置还包括：
分类单元，用于将所述无标签的训练数据输入所述主动学习模型进行分类；
归类单元，用于在所述无标签的训练数据为所述第一类数据时，将所述无标签的训练数据归类为第一训练数据。
16.根据权利要求15所述的模型训练装置，其特征在于，
所述归类单元还用于：在所述无标签的训练数据为所述第二类数据时，为所述无标签的训练数据增加标签，并将增加了标签的所述无标签的训练数据归类为第二训练数据。
17.根据权利要求16所述的模型训练装置，其特征在于，所述待训练模型与所述主动学习模型的参数相同。
18.根据权利要求14所述的模型训练装置，其特征在于，所述待训练模型为语义识别模型；
所述数据增广单元具体用于：
对所述第一训练数据进行数据替换操作、数据交换操作、数据***操作、数据删除操作、数据回译操作中的任意一种或多种数据增广操作，得到第一增广数据。
19.根据权利要求14所述的模型训练装置，其特征在于，所述待训练模型为语义识别模型；
所述数据增广单元具体用于：
对所述第一训练数据进行数据替换操作、数据交换操作、数据***操作、数据删除操作、数据回译操作中的任意一种或多种数据增广操作，得到中间增广数据；
对所述中间增广数据进行长度检查操作、特殊字符替换操作、噪声数据过滤操作中的任意一种或多种过滤操作，得到第一增广数据。
20.根据权利要求14所述的模型训练装置，其特征在于，所述第一损失函数为KL散度损失函数、JS散度损失函数、Wasserstein距离损失函数或均方误差损失函数。
21.一种计算机设备，其特征在于，包括：
存储器；一个或多个处理器，与所述存储器耦接；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如权利要求1-10任一项所述的方法。
22.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有指令，所述指令在计算机上执行时，使得所述计算机执行如权利要求1-10任一项所述的方法。
CN202110105101.5A 2021-01-26 2021-01-26 模型训练方法、模型训练装置、计算机设备和存储介质 Active CN112765354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110105101.5A CN112765354B (zh) 2021-01-26 2021-01-26 模型训练方法、模型训练装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110105101.5A CN112765354B (zh) 2021-01-26 2021-01-26 模型训练方法、模型训练装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112765354A true CN112765354A (zh) 2021-05-07
CN112765354B CN112765354B (zh) 2023-04-07

Family

ID=75705807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110105101.5A Active CN112765354B (zh) 2021-01-26 2021-01-26 模型训练方法、模型训练装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112765354B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177784A (zh) * 2021-05-31 2021-07-27 清华大学 地址类型识别方法及装置
CN113807455A (zh) * 2021-09-26 2021-12-17 北京有竹居网络技术有限公司 构建聚类模型的方法、设备、介质和程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097131A (zh) * 2019-05-08 2019-08-06 南京大学 一种基于对抗协同训练的半监督医疗图像分割方法
CN110517759A (zh) * 2019-08-29 2019-11-29 腾讯科技（深圳）有限公司 一种待标注图像确定的方法、模型训练的方法及装置
CN111275207A (zh) * 2020-02-10 2020-06-12 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质
CN111368903A (zh) * 2020-02-28 2020-07-03 深圳前海微众银行股份有限公司 模型性能优化方法、装置、设备及存储介质
US20200364603A1 (en) * 2019-05-15 2020-11-19 Google Llc Compression of Machine-Learned Models via Entropy Penalized Weight Reparameterization
CN112200245A (zh) * 2020-10-10 2021-01-08 深圳市华付信息技术有限公司 一种基于半监督的图像分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097131A (zh) * 2019-05-08 2019-08-06 南京大学 一种基于对抗协同训练的半监督医疗图像分割方法
US20200364603A1 (en) * 2019-05-15 2020-11-19 Google Llc Compression of Machine-Learned Models via Entropy Penalized Weight Reparameterization
CN110517759A (zh) * 2019-08-29 2019-11-29 腾讯科技（深圳）有限公司 一种待标注图像确定的方法、模型训练的方法及装置
CN111275207A (zh) * 2020-02-10 2020-06-12 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质
CN111368903A (zh) * 2020-02-28 2020-07-03 深圳前海微众银行股份有限公司 模型性能优化方法、装置、设备及存储介质
CN112200245A (zh) * 2020-10-10 2021-01-08 深圳市华付信息技术有限公司 一种基于半监督的图像分类方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177784A (zh) * 2021-05-31 2021-07-27 清华大学 地址类型识别方法及装置
CN113177784B (zh) * 2021-05-31 2022-05-03 清华大学 地址类型识别方法及装置
CN113807455A (zh) * 2021-09-26 2021-12-17 北京有竹居网络技术有限公司 构建聚类模型的方法、设备、介质和程序产品

Also Published As

Publication number Publication date
CN112765354B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN108898137B (zh) 一种基于深度神经网络的自然图像字符识别方法及***
US20190147336A1 (en) Method and apparatus of open set recognition and a computer readable storage medium
WO2021051598A1 (zh) 文本情感分析模型训练方法、装置、设备及可读存储介质
CN111582008B (zh) 训练分类模型的装置和方法及利用分类模型分类的装置
CN112765354B (zh) 模型训练方法、模型训练装置、计算机设备和存储介质
CN111950610B (zh) 基于精确尺度匹配的弱小人体目标检测方法
CN108734159B (zh) 一种图像中敏感信息的检测方法及***
Wu et al. Learning scene gist with convolutional neural networks to improve object recognition
CN110688471B (zh) 训练样本获取方法、装置及设备
CN110570348A (zh) 一种脸部图像替换方法及设备
CN108805181B (zh) 一种基于多分类模型的图像分类装置及分类方法
CN113743389A (zh) 一种面部表情识别的方法、装置和电子设备
CN113705468A (zh) 基于人工智能的数字图像识别方法及相关设备
CN111612021B (zh) 一种错误样本识别方法、装置及终端
Tannert et al. FlowchartQA: the first large-scale benchmark for reasoning over flowcharts
Elnabawy et al. Image based hieroglyphic character recognition
CN110232328A (zh) 一种征信报告解析方法、装置及计算机可读存储介质
CN114495224A (zh) 一种信贷风险确定方法及装置
CN111340329B (zh) 演员评估方法、装置及电子设备
Salau et al. Image-based number sign recognition for ethiopian sign language using support vector machine
CN108021918B (zh) 文字识别方法及装置
CN112632229A (zh) 文本聚类方法及装置
CN111414475A (zh) 文本情感信息的识别方法和装置
CN114358144B (zh) 一种图像分割质量评估方法
JP2005339186A (ja) パターン認識学習装置と識別装置、パターン認識学習処理方法と識別処理方法及びパターン認識プログラム並びにそのプログラムを記録した記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant