CN112052915B - 一种数据训练方法、装置、设备及存储介质 - Google Patents
一种数据训练方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112052915B CN112052915B CN202011055438.1A CN202011055438A CN112052915B CN 112052915 B CN112052915 B CN 112052915B CN 202011055438 A CN202011055438 A CN 202011055438A CN 112052915 B CN112052915 B CN 112052915B
- Authority
- CN
- China
- Prior art keywords
- sample data
- data
- negative sample
- positive sample
- positive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005215 recombination Methods 0.000 abstract 1
- 230000006798 recombination Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本申请提供的一种数据训练方法、装置、设备及存储介质，获取原始训练数据集中的样本数据；并预处理得到正、负样本数据；分别针对正、负样本数据，遍历其所包含的所有列特征；分别针对正、负样本数据所包含的所有列特征，随机打乱每一列特征，并重新组合，得到新的正、负样本数据；并添加至原始训练数据集中，得到新的训练数据集；并用其进行模型训练。在本申请中，通过每样本数据中的特征进行随机打乱和重新组合，使N个特征相互独立，且每个特征都服从正态分布，基于此处理后，使非图像和非语音类数据可以进行数据增强，从而有效的扩充此类数据的数据集，在利用该类数据进行数据训练时，能够有效改善模型过拟合的现象，提升模型预测的准确率。
Description
技术领域
本发明涉及数据处理技术领域，具体地说，涉及一种数据训练方法、装置、设备及存储介质。
背景技术
目前，使用训练样本数据进行模型训练的过程中，如果采用的训练样本数据规模较小，容易出现过拟合现象，即在进行模型训练的过程中过分依赖训练样本数据，从而对模型预测的结果准确性带来不利影响。
对于图像类数据及语音类数据，通常采用诸如翻转、旋转和高斯噪声等数据增强手段对训练样本数据规模进行扩增，以改善进行模型训练的过程中出现的过拟合现象，提高模型预测的结果准确性；然而，对于非图像类数据和非语音类数据，无法通过上述数据增强手段对样本数据规模进行扩增，进而导致在利用非图像类数据和非语音类数据进行模型训练的过程中，容易出现的过拟合现象，以及预测结果不准确的问题。
发明内容
有鉴于此，本发明实施例提供一种数据训练方法、装置、设备及存储介质，以实现使用非图像类数据和非语音类数据进行模型训练的过程中，能通过数据增强手段进行样本数据规模的扩增，进而改善模型过拟合的现象，提升模型预测的准确率的目的。
为实现上述目的，本发明实施例提供如下技术方案：
一方面，本发明实施例提供一种数据训练方法，所述方法包括：
获取原始训练数据集中的样本数据；
对所述样本数据进行预处理，得到正样本数据和负样本数据；
分别针对所述正样本数据和所述负样本数据，遍历所述正样本数据和所述负样本数据所包含的所有列特征；
分别针对所述正样本数据和所述负样本数据所包含的所有列特征，随机打乱所述所有列特征中的每一列特征，并重新组合，得到新的正样本数据和新的负样本数据；
将所述新的正样本数据和所述新的负样本数据添加至所述原始训练数据集中，得到新的训练数据集；
利用所述新的训练数据集进行模型训练。
可选的，所述分别针对所述正样本数据和所述负样本数据，遍历所述正样本数据和所述负样本数据所包含的所有列特征，包括：
分别针对第一预设比例的所述正样本数据和第二预设比例的所述负样本数据，遍历所述第一预设比例的正样本数据和所述第二预设比例的负样本数据所包含的所有列特征；
其中，所述第一预设比例指示用于遍历的正样本数据个数占所有的正样本数据个数的比例，所述第二预设比例指示用于遍历的负样本数据个数占所有的负样本数据个数的比例。
可选的，所述分别针对所述正样本数据和所述负样本数据，遍历所述正样本数据和所述负样本数据所包含的所有列特征，包括：
分别针对满足第三预设比例关系的所述正样本数据和所述负样本数据，遍历所述满足第三预设比例关系的正样本数据和负样本数据所包含的所有列特征；
其中，所述第三预设比例指示用于遍历的正样本数据个数与用于遍历的负样本数据个数之间的比例。
所述分别针对所述正样本数据和所述负样本数据，遍历所述正样本数据和所述负样本数据所包含的所有列特征，包括：
分别针对所有的所述正样本数据和所有的所述负样本数据，遍历所述所有的正样本数据和所述所有的负样本数据所包含的所有列特征。
另一方面，本发明实施例提供一种数据训练装置，所述装置包括：
获取模块，用于获取原始训练数据集中的样本数据；
预处理模块，用于对所述样本数据进行预处理，得到正样本数据和负样本数据；
遍历特征模块，用于分别针对所述正样本数据和所述负样本数据，遍历所述正样本数据和所述负样本数据所包含的所有列特征；
处理模块，用于分别针对所述正样本数据和所述负样本数据所包含的所有列特征，随机打乱所述所有列特征中的每一列特征，并重新组合，得到新的正样本数据和新的负样本数据；
添加模块，用于将所述新的正样本数据和所述新的负样本数据添加至所述原始训练数据集中，得到新的训练数据集；
训练模块，用于利用所述新的训练数据集进行模型训练。
可选的，所述遍历特征模块，具体用于分别针对第一预设比例的所述正样本数据和第二预设比例的所述负样本数据，遍历所述第一预设比例的正样本数据和所述第二预设比例的负样本数据所包含的所有列特征；
其中，所述第一预设比例指示用于遍历的正样本数据个数占所有的正样本数据个数的比例，所述第二预设比例指示用于遍历的负样本数据个数占所有的负样本数据个数的比例。
可选的，所述遍历特征模块，具体用于分别针对满足第三预设比例关系的所述正样本数据和所述负样本数据，遍历所述满足第三预设比例关系的正样本数据和负样本数据所包含的所有列特征；
其中，所述第三预设比例指示用于遍历的正样本数据个数与用于遍历的负样本数据个数之间的比例。
可选的，所述遍历特征模块，具体用于分别针对所有的所述正样本数据和所有的所述负样本数据，遍历所述所有的正样本数据和所述所有的负样本数据所包含的所有列特征。
另一方面，本发明实施例提供一种数据训练设备，包括处理器和存储器；
所述存储器，用于存储计算机程序；
所述处理器，用于调用并执行所述存储器中存储的计算机程序时，实现所述方法。
另一方面，本发明实施例提供一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现所述方法。
基于上述本发明实施例提供的数据训练方法、装置、设备及存储介质，获取原始训练数据集中的样本数据；对样本数据进行预处理，得到正样本数据和负样本数据；分别针对正样本数据和负样本数据，遍历正样本数据和负样本数据所包含的所有列特征；分别针对正样本数据和负样本数据所包含的所有列特征，随机打乱所有列特征中的每一列特征，并重新组合，得到新的正样本数据和新的负样本数据；将新的正样本数据和新的负样本数据添加至原始训练数据集中，得到新的训练数据集；利用新的训练数据集进行模型训练。在本发明实施例提供的方案中，通过每样本数据中的特征进行随机打乱和重新组合，使得N个特征相互独立，且每个特征都服从正态分布，基于此处理后，使非图像和非语音类数据可以进行数据增强，从而有效的扩充此类数据的数据集，在利用该类数据进行数据训练时，能够有效改善模型过拟合的现象，提升模型预测的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种数据训练方法的流程示意图；
图2为本发明实施例提供的一种数据训练装置的结构框图；
图3为本发明实施例提供的一种数据训练设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
根据背景技术可知，非图像类数据和非语音类数据进行模型训练的过程中，不能通过数据增强手段对样本数据规模进行扩增，进而导致在利用非图像类数据和非语音类数据进行模型训练的过程中，容易出现的过拟合现象，以及预测结果不准确的问题。
为此，本发明实施例提供一种数据训练方法、装置、设备及存储介质，以实现使用非图像类数据和非语音类数据进行模型训练的过程中，能通过数据增强手段进行样本数据规模的扩增，进而改善模型过拟合的现象，提升模型预测的准确率的目的。
请参见图1，示出了本发明实施例提供的一种数据训练方法的流程示意图。该方法包括以下步骤：
S101：获取原始训练数据集中的样本数据。
在具体实现S101的过程中，可以获取原始训练数据集中的全部样本数据，也可以获取原始训练数据集中的一部分样本数据。
S102：对样本数据进行预处理，得到正样本数据和负样本数据。
在具体实现S102的过程中，可以基于执行S101得到的样本数据进行如下预处理：
首先，对执行S101得到的样本数据进行筛选处理，剔除该样本数据中的异常数据。
其次，再对样本数据进行标准化处理，将样本数据的属性缩放到某个指定的范围，将样本数据转化为均值为零，方差为一的数据，让样本数据中的每个特征服从高斯正态分布。
最后，对样本数据进行特征编码处理，将样本数据中数值型的属性转换为布尔值的属性，并设定一个阈值作为划分属性值为0和1的分隔点。可选的，在具体实现过程中，可将属性值为1的样本数据称为正样本数据，将属性值为0的样本数据称为负样本数据。
S103：分别针对正样本数据和负样本数据，遍历正样本数据和负样本数据所包含的所有列特征。
在具体实现S103的过程中，可以有多种实现方案。
可选的，第一种方案为：分别针对第一预设比例的正样本数据和第二预设比例的负样本数据，遍历第一预设比例的正样本数据和第二预设比例的负样本数据所包含的所有列特征。
其中，所述第一预设比例指示用于遍历的正样本数据个数占所有的正样本数据个数的比例，所述第二预设比例指示用于遍历的负样本数据个数占所有的负样本数据个数的比例。
需要说明的是，所述第一预设比例和所述第二预设比例可以取相同的数值，也可以取不同的数值。当然，第一预设比例可以取大于第二预设比例的数值，也可以取小于第二预设比例的数值，在此不做限制。
第二种方案为：分别针对满足第三预设比例关系的正样本数据和负样本数据，遍历满足第三预设比例关系的正样本数据和负样本数据所包含的所有列特征。
其中，所述第三预设比例指示用于遍历的正样本数据个数与用于遍历的负样本数据个数之间的比例。
需要说明的是，所述第三预设比例可以为用于遍历的正样本数据个数除以用于遍历的负样本数据个数得到的比例值，也可以为用于遍历的负样本数据个数除以用于遍历的正样本数据个数得到的比例值。
第三种方案为：分别针对所有的正样本数据和所有的负样本数据，遍历所有的正样本数据和所有的负样本数据所包含的所有列特征。
还需要说明的是，在上述三种方案中，可根据实际场景应用需求选择具体的方案进行实施，在实施中，预设比例也可以根据实际场景应用需求进行设置，比如，总的正样本数据相对于总的负样本数据而言较少时，可以将用于遍历的正样本数据个数除以用于遍历的负样本数据个数得到的第三预设比例设置为较大的数值，当然，这里仅仅是一种举例介绍。
S104：分别针对正样本数据和负样本数据所包含的所有列特征，随机打乱所有列特征中的每一列特征，并重新组合，得到新的正样本数据和新的负样本数据。
在具体实现S104的过程中，对正样本数据所包含的所有列特征的每一列特征进行随机打乱，并重新组合，得到新的正样本数据，和对负样本数据所包含的所有列特征的每一列特征进行随机打乱，并重新组合，得到新的负样本数据。
在具体实现中，可以使用python的shuffle函数进行随机打乱，当然也可以使用其他方式。
需要说明的是，在随机打乱的过程中，对将被打乱的当前列特征进行随机打乱，随机打乱后的特征仍处于该当前列。
为便于理解上述关于随机打乱列特征的内容，下面举例说明，当然下述仅用于举例说明。
比如，正样本数据共包含3列特征，将第一列特征、第二列特征和第三列特征同时或不同时(例如按第一列、第二列、第三列的顺序依次进行)进行随机打乱，被随机打乱后的原处于第一列的特征仍处于第一列，被随机打乱后的原处于第二列的特征仍处于第二列，被随机打乱后的原处于第三列的特征仍处于第三列。
还需要说明的是，将样本数据中所包含的所有列特征的每一列特征进行随机打乱，以使得随机打乱后的样本数据中所包含的特征之间均相互独立，便于后续通过数据增强手段实现对样本数据规模的扩增。
S105：将新的正样本数据和新的负样本数据添加至原始训练数据集中，得到新的训练数据集。
在具体实现S102的过程中，可以单独将新的正样本数据和新的负样本数据添加至原始训练数据集中，也可以将新的正样本数据和新的负样本数据混合后再添加至原始训练数据集中。
S106：利用新的训练数据集进行模型训练。
在本发明实施例提供的方案中，通过每样本数据中的特征进行随机打乱和重新组合，使得N个特征相互独立，且每个特征都服从正态分布，基于此处理后，使非图像和非语音类数据可以进行数据增强，从而有效的扩充此类数据的数据集，在利用该类数据进行数据训练时，能够有效改善模型过拟合的现象，提升模型预测的准确率。
基于上述本发明实施例公开的数据训练方法，相应的，本发明实施例还公开一种数据训练装置。请参见图2，示出了本发明实施例提供的一种数据训练装置的结构框图。
该数据训练装置包括：获取模块201、预处理模块202、遍历特征模块203、处理模块204、添加模块205和训练模块206。
获取模块201用于：获取原始训练数据集中的样本数据。
预处理模块202用于：对样本数据进行预处理，得到正样本数据和负样本数据。
遍历特征模块203用于：分别针对正样本数据和负样本数据，遍历正样本数据和负样本数据所包含的所有列特征。
处理模块204用于：分别针对正样本数据和负样本数据所包含的所有列特征，随机打乱所有列特征中的每一列特征，并重新组合，得到新的正样本数据和新的负样本数据。
添加模块205用于：将新的正样本数据和新的负样本数据添加至原始训练数据集中，得到新的训练数据集。
训练模块206用于：利用新的训练数据集进行模型训练。
可选的，遍历特征模块203具体用于：分别针对第一预设比例的正样本数据和第二预设比例的负样本数据，遍历第一预设比例的正样本数据和第二预设比例的负样本数据所包含的所有列特征。
其中，所述第一预设比例指示用于遍历的正样本数据个数占所有的正样本数据个数的比例，所述第二预设比例指示用于遍历的负样本数据个数占所有的负样本数据个数的比例。
或者，遍历特征模块203具体用于：分别针对满足第三预设比例关系的正样本数据和负样本数据，遍历满足第三预设比例关系的正样本数据和负样本数据所包含的所有列特征。
其中，所述第三预设比例指示用于遍历的正样本数据个数与用于遍历的负样本数据个数之间的比例。
或者，遍历特征模块203具体用于：分别针对所有的正样本数据和所有的负样本数据，遍历所有的正样本数据和所有的负样本数据所包含的所有列特征。
上述本发明实施例公开的数据训练装置中的各个模块的具体实现原理可参见上述本发明实施例公开的数据训练方法中相应的内容，这里不再赘述。
基于上述本发明实施例提供的数据训练装置，获取模块获取原始训练数据集中的样本数据；预处理模块对样本数据进行预处理，得到正样本数据和负样本数据；遍历特征模块分别针对正样本数据和负样本数据，遍历正样本数据和负样本数据所包含的所有列特征；处理模块分别针对正样本数据和负样本数据所包含的所有列特征，随机打乱所有列特征中的每一列特征，并重新组合，得到新的正样本数据和新的负样本数据；添加模块将新的正样本数据和新的负样本数据添加至原始训练数据集中，得到新的训练数据集；训练模块利用新的训练数据集进行模型训练。在本发明实施例提供的方案中，通过每样本数据中的特征进行随机打乱和重新组合，使得N个特征相互独立，且每个特征都服从正态分布，基于此处理后，使非图像和非语音类数据可以进行数据增强，从而有效的扩充此类数据的数据集，在利用该类数据进行数据训练时，能够有效改善模型过拟合的现象，提升模型预测的准确率。
基于上述本发明实施例公开的数据训练方法以及数据训练装置，本发明实施例还公开了一种数据训练设备。请参见图3，示出了本发明实施例提供的一种数据训练设备的结构框图。
该数据训练设备包括：处理器301和存储器302。
存储器302，用于存储计算机程序。
处理器301，用于调用并执行存储器302中存储的计算机程序时，实现本发明实施例上述公开的任意一种数据训练方法。
基于上述本发明实施例公开的数据训练方法、数据训练装置以及数据训练设备，本发明实施例还公开了一种存储介质。
该存储介质中存储有计算机可执行指令。该计算机可执行指令被处理器加载并执行时，实现本发明实施例上述公开的任意一种数据训练方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***或***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的***及***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据训练方法，其特征在于，所述方法包括：
获取原始训练数据集中的样本数据；
对所述样本数据进行预处理，得到正样本数据和负样本数据；
分别针对所述正样本数据和所述负样本数据，遍历所述正样本数据和所述负样本数据所包含的所有列特征；
分别针对所述正样本数据和所述负样本数据所包含的所有列特征，随机打乱所述所有列特征中的每一列特征，以使得随机打乱后的样本数据中所包含的特征之间均相互独立，并重新组合，得到新的正样本数据和新的负样本数据；其中，在所述随机打乱所述所有列特征中的每一列特征的过程中，对将被打乱的当前列特征进行随机打乱，随机打乱后的特征仍处于该当前列；
将所述新的正样本数据和所述新的负样本数据添加至所述原始训练数据集中，得到新的训练数据集；
利用所述新的训练数据集进行模型训练。
2.根据权利要求1所述的方法，其特征在于，所述分别针对所述正样本数据和所述负样本数据，遍历所述正样本数据和所述负样本数据所包含的所有列特征，包括：
分别针对第一预设比例的所述正样本数据和第二预设比例的所述负样本数据，遍历所述第一预设比例的正样本数据和所述第二预设比例的负样本数据所包含的所有列特征；
其中，所述第一预设比例指示用于遍历的正样本数据个数占所有的正样本数据个数的比例，所述第二预设比例指示用于遍历的负样本数据个数占所有的负样本数据个数的比例。
3.根据权利要求1所述的方法，其特征在于，所述分别针对所述正样本数据和所述负样本数据，遍历所述正样本数据和所述负样本数据所包含的所有列特征，包括：
分别针对满足第三预设比例关系的所述正样本数据和所述负样本数据，遍历所述满足第三预设比例关系的正样本数据和负样本数据所包含的所有列特征；
其中，所述第三预设比例指示用于遍历的正样本数据个数与用于遍历的负样本数据个数之间的比例。
4.根据权利要求1所述的方法，其特征在于，所述分别针对所述正样本数据和所述负样本数据，遍历所述正样本数据和所述负样本数据所包含的所有列特征，包括：
分别针对所有的所述正样本数据和所有的所述负样本数据，遍历所述所有的正样本数据和所述所有的负样本数据所包含的所有列特征。
5.一种数据训练装置，其特征在于，所述装置包括：
获取模块，用于获取原始训练数据集中的样本数据；
预处理模块，用于对所述样本数据进行预处理，得到正样本数据和负样本数据；
遍历特征模块，用于分别针对所述正样本数据和所述负样本数据，遍历所述正样本数据和所述负样本数据所包含的所有列特征；
处理模块，用于分别针对所述正样本数据和所述负样本数据所包含的所有列特征，随机打乱所述所有列特征中的每一列特征，以使得随机打乱后的样本数据中所包含的特征之间均相互独立，并重新组合，得到新的正样本数据和新的负样本数据；其中，在所述随机打乱所述所有列特征中的每一列特征的过程中，对将被打乱的当前列特征进行随机打乱，随机打乱后的特征仍处于该当前列；
添加模块，用于将所述新的正样本数据和所述新的负样本数据添加至所述原始训练数据集中，得到新的训练数据集；
训练模块，用于利用所述新的训练数据集进行模型训练。
6.根据权利要求5所述的装置，其特征在于，
所述遍历特征模块，具体用于分别针对第一预设比例的所述正样本数据和第二预设比例的所述负样本数据，遍历所述第一预设比例的正样本数据和所述第二预设比例的负样本数据所包含的所有列特征；
其中，所述第一预设比例指示用于遍历的正样本数据个数占所有的正样本数据个数的比例，所述第二预设比例指示用于遍历的负样本数据个数占所有的负样本数据个数的比例。
7.根据权利要求5所述的装置，其特征在于，
所述遍历特征模块，具体用于分别针对满足第三预设比例关系的所述正样本数据和所述负样本数据，遍历所述满足第三预设比例关系的正样本数据和负样本数据所包含的所有列特征；
其中，所述第三预设比例指示用于遍历的正样本数据个数与用于遍历的负样本数据个数之间的比例。
8.根据权利要求5所述的装置，其特征在于，
所述遍历特征模块，具体用于分别针对所有的所述正样本数据和所有的所述负样本数据，遍历所述所有的正样本数据和所述所有的负样本数据所包含的所有列特征。
9.一种数据训练设备，其特征在于，包括处理器和存储器；
所述存储器，用于存储计算机程序；
所述处理器，用于调用并执行所述存储器中存储的计算机程序时，实现如权利要求1至4中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011055438.1A CN112052915B (zh) | 2020-09-29 | 2020-09-29 | 一种数据训练方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011055438.1A CN112052915B (zh) | 2020-09-29 | 2020-09-29 | 一种数据训练方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112052915A CN112052915A (zh) | 2020-12-08 |
| CN112052915B true CN112052915B (zh) | 2024-02-13 |
Family
ID=73605073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011055438.1A Active CN112052915B (zh) | 2020-09-29 | 2020-09-29 | 一种数据训练方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112052915B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022252079A1 (zh) * | 2021-05-31 | 2022-12-08 | 京东方科技集团股份有限公司 | 数据处理方法及装置 |
| CN113762423A (zh) * | 2021-11-09 | 2021-12-07 | 北京世纪好未来教育科技有限公司 | 数据处理和模型训练方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109887541A (zh) * | 2019-02-15 | 2019-06-14 | 张海平 | 一种靶点蛋白质与小分子结合预测方法及*** |
| CN111275491A (zh) * | 2020-01-21 | 2020-06-12 | 深圳前海微众银行股份有限公司 | 一种数据处理方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107798390B (zh) * | 2017-11-22 | 2023-03-21 | 创新先进技术有限公司 | 一种机器学习模型的训练方法、装置以及电子设备 |
-
2020
- 2020-09-29 CN CN202011055438.1A patent/CN112052915B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109887541A (zh) * | 2019-02-15 | 2019-06-14 | 张海平 | 一种靶点蛋白质与小分子结合预测方法及*** |
| CN111275491A (zh) * | 2020-01-21 | 2020-06-12 | 深圳前海微众银行股份有限公司 | 一种数据处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112052915A (zh) | 2020-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11544618B2 (en) | Automatic multi-threshold feature filtering method and apparatus | |
| CN112052915B (zh) | 一种数据训练方法、装置、设备及存储介质 | |
| CN103347009B (zh) | 一种信息过滤方法及装置 | |
| CN109902617B (zh) | 一种图片识别方法、装置、计算机设备和介质 | |
| CN115222630A (zh) | 图像生成方法、图像去噪模型的训练方法和设备 | |
| CN115018954B (zh) | 图像生成方法、装置、电子设备和介质 | |
| CN111899759B (zh) | 音频数据的预训练、模型训练方法、装置、设备及介质 | |
| CN111160110A (zh) | 基于人脸特征和声纹特征识别主播的方法及装置 | |
| CN109241739B (zh) | 基于api的安卓恶意程序检测方法、装置及存储介质 | |
| CN112381147B (zh) | 动态图片相似度模型建立、相似度计算方法和装置 | |
| CN111539206B (zh) | 一种确定敏感信息的方法、装置、设备及存储介质 | |
| CN110825947B (zh) | Url去重方法、装置、设备与计算机可读存储介质 | |
| CN115934484B (zh) | 基于扩散模型数据增强的异常检测方法、存储介质及设备 | |
| CN111861931A (zh) | 模型训练、图像增强方法和装置、电子设备及存储介质 | |
| CN111353526A (zh) | 一种图像匹配方法、装置以及相关设备 | |
| CN112669204B (zh) | 图像处理方法、图像处理模型的训练方法和装置 | |
| US20160142456A1 (en) | Method and Device for Acquiring Media File | |
| CN110866043A (zh) | 数据预处理方法及装置、存储介质、终端 | |
| CN115982965A (zh) | 去噪扩散样本增量学习的碳纤维材料损伤检测方法及装置 | |
| CN111444756B (zh) | 危险行驶场景辨识平台、方法及存储介质 | |
| CN113132306A (zh) | 威胁事件处理方法及装置 | |
| CN111046337A (zh) | 数据区间值处理方法与装置和设备及存储介质 | |
| CN111667021B (zh) | 一种基于人工智能的前端性能问题检测方法 | |
| CN111159998B (zh) | 字体轮廓的层次结构分析方法及*** | |
| CN113705778A (zh) | 一种空中多智能体训练方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |