CN111881948A - 神经网络模型的训练方法及装置、数据的分类方法及装置 - Google Patents
神经网络模型的训练方法及装置、数据的分类方法及装置 Download PDFInfo
- Publication number
- CN111881948A CN111881948A CN202010661797.5A CN202010661797A CN111881948A CN 111881948 A CN111881948 A CN 111881948A CN 202010661797 A CN202010661797 A CN 202010661797A CN 111881948 A CN111881948 A CN 111881948A
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- network model
- training
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 156
- 238000012549 training Methods 0.000 title claims abstract description 151
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012360 testing method Methods 0.000 claims abstract description 95
- 238000013528 artificial neural network Methods 0.000 claims 1
- 238000005070 sampling Methods 0.000 description 14
- 230000007547 defect Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- KDYFGRWQOYBRFD-UHFFFAOYSA-N succinic acid Chemical compound OC(=O)CCC(O)=O KDYFGRWQOYBRFD-UHFFFAOYSA-N 0.000 description 2
- 238000013145 classification model Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种神经网络模型的训练方法及装置、数据的分类方法及装置,其中,该方法包括:从样本数据中的第一类数据中确定第一目标数据;样本数据还包括第二类数据;将第一目标数据和第二类数据作为第一训练样本输入初始神经网络模型进行训练,得到第一神经网络模型;将第一类数据中剔除第一目标数据后的第一剩余数据作为第一测试样本对第一神经网络模型进行测试,得到测试结果;基于第一神经网络模型及根据第二类数据和测试样本确定的训练样本,进行N次模型训练,得到第一目标神经网络模型;训练样本包括第二类数据和目标数据,本技术方案提高了利用不平衡数据进行训练后的模型对数据进行分类的准确率。
Description
技术领域
本发明涉及计算机领域,具体涉及一种神经网络模型的训练方法及装置、数据的分类方法及装置。
背景技术
图像分类是计算机视觉中的基础任务,其中,对于平衡数据的分类,通过深度学***;但是对于不平衡的图像数据,在深度学***衡图像的方法包括:1)过采样,即把不平衡图像数据中较少一类数据的直接重复复制,在达到和其他类样本数据差不多的时候停止复制,以实现的图像数据平衡;这种方法简单易操作,但是很多时候存在数据过拟合的情况;2)欠采样,即对不平衡图像数据中较多一类的数类按照某种规则进行样本抽取,直到该样本数据量和较少一类接近的时候停止,但是这种方法存在信息减少的问题。可见,现有技术中由于深度学***衡数据进行训练后的模型对数据进行分类的准确率低的问题。
发明内容
本申请实施例的目的是提供一种神经网络模型的训练方法及装置、数据的分类方法及装置,能够解决现有技术中利用不平衡数据进行训练后的模型对数据进行分类的准确率低的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种数据的分类方法,包括:
从样本数据中的第一类数据中确定第一目标数据,其中,所述样本数据还包括第二类数据,所述第一类数据的数量大于所述第二类数据的数量,所述第一目标数据的数量与所述第二类数据的数量差的绝对值小于预设阈值;
将所述第一目标数据和所述第二类数据作为第一训练样本输入初始神经网络模型进行训练,得到第一神经网络模型;
将所述第一类数据中剔除所述第一目标数据后的第一剩余数据作为第一测试样本对所述第一神经网络模型进行测试,得到测试结果,其中,所述测试结果包括第一预测正确的结果和第一预测错误的结果;
基于所述第一神经网络模型及根据所述第二类数据和测试样本确定的训练样本,进行N次模型训练,得到第一目标神经网络模型,所述N为大于等于1的整数;
其中,当前次模型训练得到的神经网络模型作为后一次模型训练的对象,所述当前次的训练样本包括所述第二类数据和目标数据,在上一次模型测试的测试样本中,根据预设比例采集所述上一次模型测试的预测正确的结果对应的数据和预测错误的结果对应的数据,得到当前次的所述目标数据,当前次模型训练的测试样本为从所述第一类数据中剔除每一次模型训练确定的目标数据得到的。
第二方面,本申请实施例提供了一种神经网络模型的训练装置,包括:
确定模块,用于从样本数据中的第一类数据中确定第一目标数据,其中,所述样本数据中还包括第二类数据,所述第一类数据的数量大于所述第二类数据的数量,所述第一目标数据的数量与所述第二类数据的数量差的绝对值小于预设阈值;
第一训练模块,用于将所述第一目标数据和所述第二类数据作为第一训练样本输入初始神经网络模型进行训练,得到第一神经网络模型;
测试模块,用于将所述第一类数据中剔除所述第一目标数据后的第一剩余数据作为第一测试样本对所述第一神经网络模型进行测试,得到测试结果,所述测试结果包括第一预测正确的结果和第一预测错误的结果;
第二训练模块,用于基于所述第一神经网络模型及根据所述第二类数据和测试样本确定的训练样本,进行N次模型训练,得到第一目标神经网络模型,所述N为大于等于1的整数;
其中,当前次模型训练得到的神经网络模型作为后一次模型训练的对象,所述当前次的训练样本包括所述第二类数据和目标数据,在上一次模型测试的测试样本中,根据预设比例采集所述上一次模型测试的预测正确的结果对应的数据和预测错误的结果对应的数据,得到当前次的所述目标数据,当前次模型训练的测试样本为从所述第一类数据中剔除每一次模型训练确定的目标数据得到的。
第三方面,本申请实施例提供了一种数据的分类方法,包括:获取待分类的不平衡的数据;将所述待分类的数据输入分类神经网络模型进行分类,得到分类结果;其中,所述分类神经网络模型为如第一方面所述的神经网络模型的训练方法训练得到的。
第四方面,本申请实施例提供了一种数据的分类装置,包括:获取模块,用于获取待分类的数据;分类模块,用于将所述待分类的数据输入分类神经网络模型进行分类,得到分类结果;其中,所述分类神经网络模型为如第一方面所述的神经网络模型的训练方法训练得到的。
第五方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面或第三方面所述的方法的步骤。
第六方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面或第三方面所述的方法的步骤。
在本申请中,对待分类的不平衡数据进行分类的分类神经网络模型是利用不平衡的样本数据进行N次动态训练后得到的,其中,训练样本包括第二类数据和目标数据,目标数据包括在上一次测试模型的测试样本中,根据预设比例采集的上一次模型测试的预测正确的结果对应的数据和预测错误的结果对应的数据;可见,每次训练的数据中包括了上一次模型测试的测试样本中预测正确的结果对应的数据和预测错误的结果对应的数据,保证了训练数据的完整性,且能有针对性地对预测错误的结果对应的数据进行训练,让模型不断收敛,对其识别错误的数据加强学***衡数据进行训练后的模型对数据进行分类的准确率低的问题。
附图说明
图1是本申请实施例的神经网络模型的训练方法的流程图;
图2是本申请实施例的数据的分类方法的流程图;
图3是本申请实施例的神经网络模型的训练装置的结构示意图;
图4是本申请实施例的数据的分类装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
请参见图1,图1是本申请实施例的神经网络模型的训练方法流程图,如图1所示,该方法的步骤包括:
步骤S102,从样本数据中的第一类数据中确定第一目标数据,其中,样本数据中还包括第二类数据,且第一类数据的数量大于第二类数据的数量;第一目标数据的数量与第二类数据的数量差的绝对值小于预设阈值;
需要说明的是,本申请实施例中的样本数据为不平衡数据,本申请实施例中的样本数据中包括相互不平衡的第一类数据和第二类数据,可以是相互不平衡的图像数据,还可以是互相不平衡语音数据或其他数据,如:不平衡的结构化的数字数据、不平衡的语音数据、不平衡的文本数据等。当然,对某一种数据进行分类,如图像数据,则相应的进行训练的样本数据也应该是图像数据。
因此,以图像数据为例,本申请实施例中的样本数据包括80张第一类数据,和20张第二类数据;则该第一目标数据的数量可选为与第二类数据相等,即也为20张。但也可以是在一个浮动范围,例如该预设阈值为3时,该第一目标数据的数量可以是18,19,21或22等。需要说明的是该预设阈值的取值可以根据实际情况进行调整,即也可以是其他取值,如2或4等。
步骤S104,将第一目标数据和第二类数据作为第一训练样本输入初始神经网络模型进行训练,得到第一神经网络模型;
步骤S106,将第一类数据中剔除第一目标数据后的第一剩余数据作为第一测试样本对第一神经网络模型进行测试,得到测试结果,其中,测试结果包括第一预测正确的结果和第一预测错误的结果;
其中,对于步骤S106如果以上述样本数据为图像数据,进一步样本数据包括80张第一类数据,和20张第二类数据,且该第一目标数据的数量为20为例,则该第一剩余数据的数量为60,因此是将数量为60的第一剩余数据作为测试样本对第一神经网络模型进行测试。
步骤S108,基于第一神经网络模型及根据第二类数据和测试样本确定的训练样本,进行N次模型训练,得到第一目标神经网络模型;
其中,当前次模型训练得到的神经网络模型作为后一次模型训练的对象,所述当前次的训练样本包括所述第二类数据和目标数据,在上一次模型测试的测试样本中,根据预设比例采集所述上一次模型测试的预测正确的结果对应的数据和预测错误的结果对应的数据,得到当前次的所述目标数据,当前次模型训练的测试样本为从所述第一类数据中剔除每一次模型训练确定的目标数据得到的。
需要说明的是,该预设比例是指预测正确的结果对应的数据量与预测错误的结果对应的数据量之比,例如5:5或4:6等。
通过上述步骤S102至步骤S108可知,本申请中用于对待分类的数据进行分类的第一目标神经网络模型是利用不平衡的样本数据进行N次动态训练后得到的,其中,训练样本包括第二类数据和目标数据,目标数据包括在上一次测试模型的测试样本中根据预设比例采集的所述上一次模型测试的预测正确的结果对应的数据和预测错误的结果对应的数据;可见,每次训练的数据中包括了上一次模型测试的测试样本中预测正确的结果对应的数据和预测错误的结果对应的数据,保证了训练数据的完整性,能有针对性地对预测错误的结果对应的数据进行训练,让模型不断收敛,对其识别错误的数据加强学***衡数据进行训练后的模型对数据进行分类的准确率低的问题。
可选地,本申请实施例中的N的取值是整数,下面以N=1和2进行举例说明;当然在本申请实施例的其他可选实施方式中,N的取值也可以是3或其他正整数,其流程与N=1和2是相似的。
在N的取值为1的情况下,本申请实施例中涉及到的利用第一神经网络模型,进行1次模型训练得到第一目标神经网络模型的方式,可以是包括:
步骤S11,在第一测试样本中进行欠采样,得到第二目标数据,其中,第二目标数据包括按照第一预设比例采样的所述预测正确的结果对应的数据和所述预测错误的结果对应的数据,且第二目标数据的数量与第二类数据的数量差的绝对值小于预设阈值;
其中,如果以上述样本数据为图像数据,且样本数据包括80张第一类数据,和20张第二类数据为例,该预设阈值如果为0,则该第二目标数据的数量为20,如果该预设阈值为2,则该第二目标数据的数量可以为18,19,21或22。假设该第二目标数据的数量为20,且该第一预设比例为5:5,则需要从第一预测正确数据和第一预测错误数据中分别获取数量为10的数据,以得到第二目标数据。
当然,上述样本数据的数量,第一预设比例均是举例说明,在本申请实施例中的其他应用场景中可以根据实际情况进行相应的取值。
步骤S12,将第二目标数据和第二类数据作为第二训练样本输入第一神经网络模型进行训练,得到第二神经网络模型,其中,第二神经网络模型为第一目标神经网络模型;
其中,如果以上述步骤S11中第二目标数据和第二类数据为例,则将数量为20的第二目标数据,以及数量为20的第二类数据输入作为样本数据输入到第一神经网络模型中进行训练,得到第二神经网络模型。
通过上述步骤S11至步骤S12,可以得到利用第一神经网络模型进行1次训练之后得到的第二神经网络模型,该第二神经网络模型是基于不平衡的样本数据进行训练的,避免了现有技术中过采样导致过拟合缺陷和欠采样导致信息的不完整缺陷,但是为了能够使得第二神经网络模型中的参数更加优化,可以继续对上述该第二神经网络模型进行训练,即N=2的情况下,本申请实施例中涉及到的对第一神经网络模型进行2次训练得到第一目标神经网络模型的方式,进一步可以是:
步骤S21,将第一类数据剔除第一目标数据和第二目标数据后的第二剩余数据作为第二测试样本对第二神经网络模型进行测试,得到测试结果,其中,测试结果包括第二预测正确的结果和第二预测错误的结果;
也就是说,每次训练之前需要对被训练的神经网络模型进行测试,测试样本是需要从第一类数据中剔除之前每一次的目标数据。在此次对第一神经网络模型进行第2次训练过程中,则需要从第一类数据剔除第一目标数据和第二目标数据;如果第一目标数据为20,且第二目标数据也为20,则需要从数量为80的第一数据中剔除数量为20的第一目标数据和数量为20的第二目标数据得到第二测试样本。
步骤S22,在第二测试样本中进行欠采样,得到第三目标数据,其中,第三目标数据包括按照第二预设比例采样的第二预测正确的结果对应的数据和所述第二预测错误的结果对应的数据,且第三目标数据的数量与第二类数据的数量差的绝对值小于预设阈值;
其中,第二预设比例可以是5:5或3:7等。上述仅仅是举例说明,在本申请实施例中可以在训练过程进行相应的调整。
步骤S23,将第三目标数据和第二类数据作为第三训练样本输入第二神经网络模型进行训练,得到第三神经网络模型,其中,第三神经网络模型为第一目标神经网络模型;
需要说明的是,经过基于第一神经网络模型经过两次训练之后所得到的第三神经网络模型已经是比较优选的神经网络模型,即经过两次训练后得到的第三神经网络模型能够对对应的数据进行较为准确的分类,当然也可以根据需要进行更多次的训练。
需要说明的是,本申请实施例中的第一预设比例和第二预设比例的比例值是指预测正确数据的数量与预测错误数据的数量的比值,且比例值小于等于1。
进一步地,在本申请实施例的另一个可选实施方式中,为了使得最终的第一目标神经网络模型对数据分类的效果更好,在基于第一神经网络模型进行N次训练得到第一目标神经网络模型之后,本申请实施例的方法还包括:
步骤S31,将第一类数据和第二类数据作为目标训练样本对第一目标神经网络模型进行训练得到第二目标神经网络模型。
可见,由于将根据训练结果对训练数据进行动态调整,对结果较好的类别(预测正确的数据)进行随机删除样本操作,对结果较差的类别(预测错误的数据)增加样本数量,进而在通过上述步骤S31之后,采用了全部的样本数据对第一目标神经网络模型进行训练,得到了第一目标神经网络模型,即保证分类模型每次学习都能学到相关的信息,也避免了过采样中的过拟合缺陷和欠采样中的信息不完整缺陷。该第一目标神经网络模型优选为第三神经网络模型的前提下,还可以通过第一类数据和第二类数据对该第一目标神经网络模型进行训练,得到第二目标神经网络模型,该第二目标神经网络模型对数据进行分类的效果是最佳的,相比较第一目标神经网络模型。
下面结合本申请实施例中的具体实施方式,对神经网络模型进行训练的过程进行举例说明;其中,在本具体实施方式中以不平衡的图像数据作为训练样本为例进行说明。
本具体实施方式中提供的对不平衡的图像数据进行训练的方法步骤包括:
步骤S61,获取不平衡的图像数据,其中,该不平衡的图像数据包括样本数据A(对应于上述第二类数据)和样本数据B(对应于上述第一类数据)两类图像数据。
步骤S62,对图像数据进行标注,得到样本数据A和样本数据B;其中,样本数据A的数量远远小于样本数据B的数量。
步骤S63,对样本数据B随机打乱并进行欠采样,得到样本数据B’(对应于上述第一目标数据);其中,样本数据B’的数量约等于样本数据A的数量,也就是说,样本数据B’的数量与样本数据A的数量的差的绝对值小于预设阈值。
步骤S64,对步骤S63获得的样本数据B’和样本数据A训练初始神经网络模型并且收敛,得到model1(对应于上述第一神经网络模型)。
步骤S65,用model1去预测不包含样本数据B’的样本数据B。
步骤S66,获得预测正确的样本数据B_succ(对应于上述第一预测正确的结果对应的数据)和预测错误的样本数据_B_fail(对应于上述第一预测错误的结果对应的数据)。
步骤S67,对步骤S66中获得的数据样本随机打乱进行欠采样,按照预测正确的样本数据:预测错误的样本数据=5:5的比例(对应于上述的第一预设比例)得到样本数据B”,并且样本数据B”的数量约等于样本数据A的数量。
步骤S68,使用model1作为预训练模型,从步骤S67中获得训练样本(样本数据B”和样本数据A),训练模型并且收敛,得到model2(对应于上述第二神经网络模型)。
步骤S69,用model2去预测样本数据B中不包含样本数据B’和样本数据B”的样本。
步骤S70,获得预测正确的样本数据B1_succ(对应于上述所述的第二预测正确的结果对应的数据)和预测错误的样本数据B1_fail(对应于上述所述的第二预测错误的结果对应的数据);
步骤S71,对步骤S70获得样本随机打乱并进行欠采样,按照预测正确的样本数据:预测错误的样本数据=3:7的比例(对应于上述第二预设比例)得到样本数据B”’,并且样本数据B”’的数量约等于样本数据A的数量;
步骤S72,从步骤S71中获得训练样本数据B”’和样本数据A,对model2进行训练并且收敛,得到model3(对应于第三神经网络模型)。
步骤S73,通过样本数据A和样本数据B对model3进行训练,得到最终model(第二目标神经网络模型)。
通过上述步骤S61至步骤S73可知,在本申请具体实施方式中,采用动态采样的方法,将根据训练结果对训练数据进行动态调整,即对结果较好的类别进行随机删除样本操作,对结果较差的类别增加样本数量(具体增加和删减过程是通过上述两个比例关系来进行的),并且逐步使用了全部样本对神经网络模型进行训练,以保证分类神经网络模型每次学习都能学到相关的信息,避免了现有技术中过采样中的过拟合缺陷和欠采样中的信息不完整的缺陷。
在本申请实施例的另一个实施方式中,本申请实施例还提供了一种数据的分类方法,图2是根据本申请实施例的数据的分类方法流程图,如图2所示,该方法的步骤包括:
步骤S202,获取待分类的数据;
步骤S204,将待分类的数据输入分类神经网络模型进行分类,得到分类结果;
其中,分类神经网络模型为如上述基于图1中的方法步骤训练得到的神经网络模型。
通过上述基于图1中的方法步骤训练得到的神经网络模型对数据进行分类,由于对分类神经网络模型的过程中,针对不平衡的数据样本,根据训练结果对训练数据进行动态调整,避免了过采样中的过拟合缺陷和欠采样中的信息不完整的缺陷,因此,通过该第一目标神经网络模型对数据进行分类的准确率较高。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例的方法。
在本申请实施例中还提供了一种神经网络模型的训练装置和数据的分类装置,该装置分别用于实现上述实施例中图1和图2中的实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
请参见图3,图3是本申请实施例的神经网络模型的训练装置的结构示意图,如图3所示,该装置包括:
确定模块32,用于从样本数据中的第一类数据中确定第一目标数据,其中,样本数据中还包括第二类数据,第一类数据的数量大于第二类数据的数量,第一目标数据的数量与第二类数据的数量差的绝对值小于预设阈值;
第一训练模块34,用于将第一目标数据和第二类数据作为第一训练样本输入初始神经网络模型进行训练,得到第一神经网络模型;
测试模块36,用于将第一类数据中剔除第一目标数据后的第一剩余数据作为第一测试样本对第一神经网络模型进行测试,得到测试结果,测试结果包括第一预测正确的结果和第一预测错误的结果;
第二训练模块38,用于基于第一神经网络模型及根据第二类数据和测试样本确定的训练样本,进行N次模型训练,得到第一目标神经网络模型;
其中,当前次模型训练得到的神经网络模型作为后一次模型训练的对象,所述当前次的训练样本包括所述第二类数据和目标数据,在上一次模型测试的测试样本中,根据预设比例采集所述上一次模型测试的预测正确的结果对应的数据和预测错误的结果对应的数据,得到当前次的所述目标数据,当前次模型训练的测试样本为从所述第一类数据中剔除每一次模型训练确定的目标数据得到的。
可选地,在N的取值为1的情况下,本申请实施例中的第二训练模块38进一步可以包括:第一欠采样单元,用于在第一测试样本中进行欠采样,得到第二目标数据,其中,第二目标数据包括按照第一预设比例采样的第一预测正确的结果对应的数据和第一预测错误的结果对应的数据,且第二目标数据的数量与第二类数据的数量差的绝对值小于预设阈值;第一训练单元,用于将第二目标数据和第二类数据作为第二训练样本输入第一神经网络模型进行训练,得到第二神经网络模型,其中,第二神经网络模型为第一目标神经网络模型。
基于此,在N的取值为2的情况下,本申请实施例中的第二训练模块38进一步还可以包括:测试单元,用于将第一类数据剔除第一目标数据和第二目标数据后的第二剩余数据作为第二测试样本对第二神经网络模型进行测试,得到测试结果,其中,测试结果包括第二预测正确的结果和第二预测错误的结果;第二欠采样单元,用于在第二测试样本中进行欠采样,得到第三目标数据,其中,第三目标数据包括按照第二预设比例采样的第二预测正确的结果对应的数据和所述第二预测错误的结果对应的数据,且第三目标数据的数量与第二类数据的数量差的绝对值小于预设阈值;第二训练单元,用于将第三目标数据和第二类数据作为第三训练样本输入第二神经网络模型进行训练,得到第三神经网络模型,其中,第三神经网络模型为第一目标神经网络模型。
可选地,本申请实施例中的装置还可以包括:第三训练模块,用于将第一类数据和第二类数据作为目标训练样本对第一目标神经网络模型进行训练得到第二目标神经网络模型。
可选地,本申请实施例中的第一预设比例和第二预设比例的比例值是指预测正确的结果对应的数据的数量和所述第二预测错误的结果对应的数据的数量的比值,比例值小于等于1。
请参见图4,图4是本申请实施例的数据的分类装置的结构示意图,如图4所示,该装置包括:
获取模块42,用于获取待分类的数据;
分类模块44,用于将待分类的数据输入分类神经网络模型进行分类,得到分类结果;
其中,该分类神经网络模型为基于图1中的神经网络模型的训练方法训练得到的。
由于在对神经网络模型的训练方法进行训练的过程中,针对不平衡的数据样本,每次训练的数据中包括了上一次模型测试的测试样本中预测正确的结果对应的数据和预测错误的结果对应的数据,保证了训练数据的完整性,能有针对性地对预测错误的结果对应的数据进行训练,让模型不断收敛,对其识别错误的数据加强学***衡数据进行训练后的模型对数据进行分类的准确率低的问题。
可选的,本申请实施例还提供一种电子设备,包括处理器,存储器,存储在存储器上并可在所述处理器上运行的程序或指令,该程序或指令被处理器执行时实现上述数据的分类方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述数据的分类方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
显然,本领域的技术人员应该明白,上述的本申请的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种神经网络模型的训练方法,其特征在于,包括:
从样本数据中的第一类数据中确定第一目标数据,其中,所述样本数据还包括第二类数据,所述第一类数据的数量大于所述第二类数据的数量,所述第一目标数据的数量与所述第二类数据的数量差的绝对值小于预设阈值;
将所述第一目标数据和所述第二类数据作为第一训练样本输入初始神经网络模型进行训练,得到第一神经网络模型;
将所述第一类数据中剔除所述第一目标数据后的第一剩余数据作为第一测试样本对所述第一神经网络模型进行测试,得到测试结果,其中,所述测试结果包括第一预测正确的结果和第一预测错误的结果;
基于所述第一神经网络模型及根据所述第二类数据和测试样本确定的训练样本,进行N次模型训练,得到第一目标神经网络模型,所述N为大于等于1的整数;
其中,当前次模型训练得到的神经网络模型作为后一次模型训练的对象,所述当前次的训练样本包括所述第二类数据和目标数据,在上一次模型测试的测试样本中,根据预设比例采集所述上一次模型测试的预测正确的结果对应的数据和预测错误的结果对应的数据,得到当前次的所述目标数据,当前次模型训练的测试样本为从所述第一类数据中剔除每一次模型训练确定的目标数据得到的。
2.根据权利要求1所述的方法,其特征在于,在N的取值为1的情况下,利用所述第一神经网络模型,进行1次模型训练,得到第一目标神经网络模型,包括:
在所述第一测试样本中进行欠采样,得到第二目标数据,其中,所述第二目标数据包括按照第一预设比例采样的所述第一预测正确的结果对应的数据和所述第一预测错误的结果对应的数据,且所述第二目标数据的数量与所述第二类数据的数量差的绝对值小于预设阈值;
将所述第二目标数据和所述第二类数据作为第二训练样本输入所述第一神经网络模型进行训练,得到第二神经网络模型,其中,所述第二神经网络模型为所述第一目标神经网络模型。
3.根据权利要求2所述的方法,其特征在于,在N的取值为2的情况下,对所述第一神经网络模型进行2次训练得到第一目标神经网络模型,包括:
将所述第一类数据剔除所述第一目标数据和所述第二目标数据后的第二剩余数据作为第二测试样本对所述第二神经网络模型进行测试,得到测试结果,其中,所述测试结果包括第二预测正确的结果和第二预测错误的结果;
在所述第二测试样本中进行欠采样,得到第三目标数据,其中,所述第三目标数据包括按照第二预设比例采样的所述第二预测正确的结果对应的数据和所述第二预测错误的结果对应的数据,且所述第三目标数据的数量与所述第二类数据的数量差的绝对值小于预设阈值;
将所述第三目标数据和所述第二类数据作为第三训练样本输入所述第二神经网络模型进行训练,得到第三神经网络模型,其中,所述第三神经网络模型为所述第一目标神经网络模型。
4.根据权利要求2或3中所述的方法,其特征在于,所述方法还包括:
将所述第一类数据和所述第二类数据作为目标训练样本对所述第一目标神经网络模型进行训练得到第二目标神经网络模型。
5.根据权利要求3所述的方法,其特征在于,所述第一预设比例和所述第二预设比例的比例值是指所述预测正确的结果对应的数据的数量和所述第二预测错误的结果对应的数据的数量的比值,所述比例值小于等于1。
6.一种数据的分类方法,其特征在于,包括:
获取待分类的数据;
将所述待分类的数据输入分类神经网络模型进行分类,得到分类结果;
其中,所述分类神经网络模型为如权利要求1至5任一项所述的神经网络模型的训练方法训练得到的。
7.一种神经网络模型的训练装置,其特征在于,包括:
确定模块,用于从样本数据中的第一类数据中确定第一目标数据,其中,所述样本数据中还包括第二类数据,所述第一类数据的数量大于所述第二类数据的数量,所述第一目标数据的数量与所述第二类数据的数量差的绝对值小于预设阈值;
第一训练模块,用于将所述第一目标数据和所述第二类数据作为第一训练样本输入初始神经网络模型进行训练,得到第一神经网络模型;
测试模块,用于将所述第一类数据中剔除所述第一目标数据后的第一剩余数据作为第一测试样本对所述第一神经网络模型进行测试,得到测试结果,所述测试结果包括第一预测正确的结果和第一预测错误的结果;
第二训练模块,用于基于所述第一神经网络模型及根据所述第二类数据和测试样本确定的训练样本,进行N次模型训练,得到第一目标神经网络模型,所述N为大于等于1的整数;
其中,当前次模型训练得到的神经网络模型作为后一次模型训练的对象,所述当前次的训练样本包括所述第二类数据和目标数据,在上一次模型测试的测试样本中,根据预设比例采集所述上一次模型测试的预测正确的结果对应的数据和预测错误的结果对应的数据,得到当前次的所述目标数据,当前次模型训练的测试样本为从所述第一类数据中剔除每一次模型训练确定的目标数据得到的。
8.一种数据的分类装置,其特征在于,包括:
获取模块,用于获取待分类的数据;
分类模块,用于将所述待分类的数据输入分类神经网络模型进行分类,得到分类结果;
其中,所述分类神经网络模型为如权利要求1至5任一项所述的神经网络模型的训练方法训练得到的。
9.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现包括如权利要求1-5中任一项所述的神经网络模型的训练方法的步骤,或,如权利要求6中任一项所述的数据的分类方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现包括如权利要求1-5中任一项所述的神经网络模型的训练方法的步骤,或如权利要求6中任一项所述的数据的分类方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010661797.5A CN111881948A (zh) | 2020-07-10 | 2020-07-10 | 神经网络模型的训练方法及装置、数据的分类方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010661797.5A CN111881948A (zh) | 2020-07-10 | 2020-07-10 | 神经网络模型的训练方法及装置、数据的分类方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111881948A true CN111881948A (zh) | 2020-11-03 |
Family
ID=73150110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010661797.5A Pending CN111881948A (zh) | 2020-07-10 | 2020-07-10 | 神经网络模型的训练方法及装置、数据的分类方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111881948A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112138394A (zh) * | 2020-10-16 | 2020-12-29 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN112465043A (zh) * | 2020-12-02 | 2021-03-09 | 平安科技(深圳)有限公司 | 模型训练方法、装置和设备 |
CN112633370A (zh) * | 2020-12-22 | 2021-04-09 | 中国医学科学院北京协和医院 | 一种针对丝状真菌形态的检测方法、装置、设备及介质 |
CN113988165A (zh) * | 2021-10-22 | 2022-01-28 | 北京京东振世信息技术有限公司 | 数据采集方法、装置、电子设备和存储介质 |
CN115238837A (zh) * | 2022-09-23 | 2022-10-25 | 荣耀终端有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-07-10 CN CN202010661797.5A patent/CN111881948A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112138394A (zh) * | 2020-10-16 | 2020-12-29 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN112465043A (zh) * | 2020-12-02 | 2021-03-09 | 平安科技(深圳)有限公司 | 模型训练方法、装置和设备 |
CN112465043B (zh) * | 2020-12-02 | 2024-05-14 | 平安科技(深圳)有限公司 | 模型训练方法、装置和设备 |
CN112633370A (zh) * | 2020-12-22 | 2021-04-09 | 中国医学科学院北京协和医院 | 一种针对丝状真菌形态的检测方法、装置、设备及介质 |
CN113988165A (zh) * | 2021-10-22 | 2022-01-28 | 北京京东振世信息技术有限公司 | 数据采集方法、装置、电子设备和存储介质 |
CN115238837A (zh) * | 2022-09-23 | 2022-10-25 | 荣耀终端有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111881948A (zh) | 神经网络模型的训练方法及装置、数据的分类方法及装置 | |
EP3678058A1 (en) | Data sample label processing method and apparatus | |
CN109816032B (zh) | 基于生成式对抗网络的无偏映射零样本分类方法和装置 | |
US11942074B2 (en) | Learning data acquisition apparatus, model learning apparatus, methods and programs for the same | |
CN106599317A (zh) | 问答***的测试数据处理方法、装置及终端 | |
CN110634471B (zh) | 一种语音质检方法、装置、电子设备和存储介质 | |
CN110502976A (zh) | 文本识别模型的训练方法及相关产品 | |
CN108717519B (zh) | 一种文本分类方法及装置 | |
CN110263328B (zh) | 一种学科能力类型标注方法、装置、存储介质及终端设备 | |
CN111538668A (zh) | 基于强化学习的移动端应用测试方法、装置、设备及介质 | |
CN110968689A (zh) | 罪名及法条预测模型的训练方法以及罪名及法条预测方法 | |
CN112995690B (zh) | 直播内容品类识别方法、装置、电子设备和可读存储介质 | |
CN109800309A (zh) | 课堂话语类型分类方法及装置 | |
CN113535399A (zh) | 一种nfv资源调度方法、装置以及*** | |
CN107704869B (zh) | 一种语料数据抽样方法及模型训练方法 | |
CN110490056A (zh) | 对包含算式的图像进行处理的方法和装置 | |
CN112100509B (zh) | 信息推荐方法、装置、服务器和存储介质 | |
CN113609390A (zh) | 信息分析方法及装置、电子设备和计算机可读存储介质 | |
CN111488950B (zh) | 分类模型信息输出方法及装置 | |
JP2019159835A (ja) | 学習プログラム、学習方法および学習装置 | |
CN111813593A (zh) | 一种数据处理方法、设备、服务器及存储介质 | |
CN109829051B (zh) | 一种数据库相似语句筛选的方法和装置 | |
CN111950852A (zh) | 一种用户行为分析与指导方法、装置、电子设备和可读存储装置 | |
CN113434630B (zh) | 客服服务评估方法、装置、终端设备及介质 | |
CN110400560A (zh) | 数据处理方法及装置、存储介质、电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |