CN107368892A - 基于机器学习的模型训练方法和装置 - Google Patents
基于机器学习的模型训练方法和装置 Download PDFInfo
- Publication number
- CN107368892A CN107368892A CN201710423040.0A CN201710423040A CN107368892A CN 107368892 A CN107368892 A CN 107368892A CN 201710423040 A CN201710423040 A CN 201710423040A CN 107368892 A CN107368892 A CN 107368892A
- Authority
- CN
- China
- Prior art keywords
- sample
- training
- machine learning
- sampling probability
- accuracy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种基于机器学习的模型训练方法和装置,其中,方法包括:根据样本集合中各样本的抽样概率,从所述样本集合中抽取样本,以生成本次训练的训练集;采用所述本次训练的训练集,对机器学习模型进行训练;对训练后的机器学习模型进行评估,以得到所述本次训练的训练集中各样本的分类准确度;对所述本次训练的训练集中各样本,根据所述分类准确度,调整所述抽样概率;其中,调整后的抽样概率用于生成下一次训练的训练集。通过该方法,能够自适应调整各样本的抽样概率,提高重要样本的分类准确度,解决现有技术中神经网络对样本分类不够准确的问题。
Description
技术领域
本发明涉及机器学习技术领域,尤其涉及一种基于机器学习的模型训练方法和装置。
背景技术
随着人工智能技术的发展,家电智能化逐渐成为一种发展趋势,用户对家电设备(比如洗衣机)的智能化需求越来越高,从而,通过图像、语音样本自动总结规律的深度学习技术开始应用于智能家电设备的研究中。
相关深度学习技术中,在利用样本数据进行神经网络训练时,将各样本出现的概率看作是相同的,容易导致获得的神经网络对样本分类不够准确,出现部分分类准确性较高,而部分准确性较低的情况。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种基于机器学习的模型训练方法,以自适应调整各样本的抽样概率,进而提高重要样本的分类准确度,解决现有技术中神经网络对样本分类不够准确的问题。
本发明的第二个目的在于提出一种基于机器学习的模型训练装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
本发明的第五个目的在于提出一种计算机程序产品。
为达上述目的,本发明第一方面实施例提出了一种基于机器学习的模型训练方法,包括:
根据样本集合中各样本的抽样概率,从所述样本集合中抽取样本,以生成本次训练的训练集;
采用所述本次训练的训练集,对机器学习模型进行训练;
对训练后的机器学习模型进行评估,以得到所述本次训练的训练集中各样本的分类准确度;
对所述本次训练的训练集中各样本,根据所述分类准确度,调整所述抽样概率;其中,调整后的抽样概率用于生成下一次训练的训练集。
本发明实施例的基于机器学习的模型训练方法,通过根据样本集合中各样本的抽样概率从样本集合中抽取样本,以生成本次训练的训练集,采用本次训练的训练集对机器学习模型进行训练,并对训练后的机器学习模型进行评估,以得到本次训练的训练集中各样本的分类准确度,根据分类准确度调整抽样概率。由此,能够自适应调整各样本的抽样概率,提高样本的分类准确度,提升分类效果和可靠性。
为达上述目的,本发明第二方面实施例提出了一种基于机器学习的模型训练装置,包括:
生成模块,用于根据样本集合中各样本的抽样概率,从所述样本集合中抽取样本,以生成本次训练的训练集;
训练模块,用于采用所述本次训练的训练集,对机器学习模型进行训练;
评估模块,用于对训练后的机器学习模型进行评估,以得到所述本次训练的训练集中各样本的分类准确度;
调整模块,用于对所述本次训练的训练集中各样本,根据所述分类准确度,调整所述抽样概率;其中,调整后的抽样概率用于生成下一次训练的训练集。
本发明实施例的基于机器学习的模型训练装置,通过根据样本集合中各样本的抽样概率从样本集合中抽取样本,以生成本次训练的训练集,采用本次训练的训练集对机器学习模型进行训练,并对训练后的机器学习模型进行评估,以得到本次训练的训练集中各样本的分类准确度,根据分类准确度调整抽样概率。由此,能够自适应调整各样本的抽样概率,提高样本的分类准确度,提升分类效果和可靠性。
为达上述目的,本发明第三方面实施例提出了一种计算机设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现第一方面实施例所述的基于机器学习的模型训练方法。
为了实现上述目的,本发明第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面实施例所述的基于机器学习的模型训练方法。
为了实现上述目的,本发明第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,执行第一方面实施例所述的基于机器学习的模型训练方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明一实施例提出的基于机器学习的模型训练方法的流程示意图;
图2为本发明另一实施例提出的基于机器学习的模型训练方法的流程示意图;
图3为本发明又一实施例提出的基于机器学习的模型训练方法的流程示意图;
图4为本发明一实施例提出的基于机器学习的模型训练装置的结构示意图;
图5为本发明另一实施例提出的基于机器学习的模型训练装置的结构示意图;以及
图6为本发明一实施例提出的计算机设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于机器学习的模型训练方法和装置。
图1为本发明一实施例提出的基于机器学习的模型训练方法的流程示意图。
如图1所示,该基于机器学习的模型训练方法包括以下步骤:
S11,根据样本集合中各样本的抽样概率,从样本集合中抽取样本,以生成本次训练的训练集。
其中,抽样概率可以根据经验设置。
在训练生成模型时,可以预先对用于训练的样本集合中各个样本分配抽样概率,进而根据抽样概率从样本集合中抽取样本,生成本次训练的训练集。
S12,采用本次训练的训练集,对机器学习模型进行训练。
其中,机器学习模型可以是神经网络模型,但不限于此。
本实施例中,根据各样本的抽样概率抽取样本生成本次训练的训练集之后,即可根据训练集对机器学习模型进行训练。
比如,对于包含了洗衣机功能和故障的语句样本集合,可以先对样本集合中每个样本所属的类别以功能或故障为标签进行标注,进而可以将训练集中的样本作为机器学习模型的输入,将该样本所属的标签作为机器学习模型的输出,对机器学习模型进行训练,得到训练后的机器学习模型。
S13,对训练后的机器学习模型进行评估,以得到本次训练的训练集中各样本的分类准确度。
本实施例中,训练生成机器学习模型之后,可以进一步采用相关方法对训练后的机器学习模型进行评估,以得到本次训练的训练集中各样本的分类准确度。
S14,对本次训练的训练集中各样本,根据分类准确度,调整抽样概率。
其中,调整后的抽样概率用于生成下一次训练的训练集。
本实施例中,基于训练后的机器学习模型评估获得训练集中各样本的分类准确度之后,可以根据获得的分类准确度对训练集中各样本的抽样概率进行调整,并根据调整后的抽样概率从样本集合中抽取样本,以生成新的训练集用于下一次机器学习模型的训练中。
本实施例的基于机器学习的模型训练方法,通过根据样本集合中各样本的抽样概率从样本集合中抽取样本,以生成本次训练的训练集,采用本次训练的训练集对机器学习模型进行训练,并对训练后的机器学习模型进行评估,以得到本次训练的训练集中各样本的分类准确度,根据分类准确度调整抽样概率。由此,能够自适应调整各样本的抽样概率,提高样本的分类准确度,提升分类效果和可靠性。
为了更加清楚地说明获取训练集中各样本的分类准确度的实现过程,本发明实施例提出了另一种基于机器学习的模型训练方法,图2为本发明另一实施例提出的基于机器学习的模型训练方法的流程示意图。
如图2所示,在如图1所示实施例的基础上,步骤S13可以包括以下步骤:
S21,针对本次训练的训练集中每一个样本,查询训练后的机器学习模型所生成的分类结果。
本实施例中,对于本次训练中使用的训练集中的每一个样本,可以将其输入至训练后的机器学习模型中,由训练后的机器学习模型针对每个样本输出对应的分类结果,进而查询训练后的机器学习模型生成的分类结果。
S22,将机器学习模型所生成的分类结果,与样本集合中样本的标签进行匹配。
由于样本集合中的每个样本都被预先进行了标签标注,因而可以将训练后的机器学习模型生成的每个样本的分类结果同样本集合中标注的样本的标签进行匹配,用于判断机器学习模型生成的分类结果的准确度。
S23,根据匹配程度,确定样本的分类准确度。
本实施例中,可以根据机器学习模型所生成的分类结果与样本集合中所标注的样本的标签的匹配程度,确定本次训练的训练集中每个样本的分类准确度。
应当理解的是,匹配程度越高,样本的分类准确度越高。
本实施例的基于机器学习的模型训练方法,通过查询训练后的机器学习模型针对训练集中每一个样本生成的分类结果,将分类结果与样本集合中样本的标签进行匹配,进而根据匹配程度确定样本的分类准确度,能够提高分类准确度的判别精度,为后续调整抽样概率提供依据。
图3为本发明又一实施例提出的基于机器学习的模型训练方法的流程示意图。
如图3所示,该基于机器学习的模型训练方法可以包括以下步骤:
S31,统计样本集合中,与每一样本重复和/或相似的样本数量。
由于样本集合中可能包含相同或相近的样本,比如用户控制智能家电设备开启同一功能时发出的语音控制指令可以有多种,当搜集大量的语音控制指令作为样本时,样本集合中存在相同或相似的样本,因而,本实施例中,可以统计样本集合中与每一个样本重复和/或相似的样本数量。
S32,根据统计得到的样本数量,确定样本的抽样概率。
本实施例中,统计得到样本集合中与每一样本重复和/或相似的样本数量之后,可以进一步根据样本数量确定样本的抽样概率。
具体地,根据统计得到的样本数量确定样本的抽样概率可以包括:若统计得到的与样本重复和/或相似的样本数量高于第三阈值,在默认数值基础上调高,以确定样本的抽样概率;若统计得到的与样本重复和/或相似的样本数量低于第四阈值,在默认数值基础上调低,以确定样本的抽样概率。其中,第三阈值和第四阈值可以根据需求和经验自行设定,本发明对此不作限定。
能够理解的是,样本集合中与样本重复和/或相似的样本数量越高,表明对应的样本使用的越频繁,样本的重要性越高。
从而,本实施例中,可以通过判断样本集合中与样本重复和/或相似的样本数量是否达到预设阈值来对预先设置的抽样概率进行调整。当样本数量高于第三阈值时,表明样本重要性较高,此时在默认(预设)的抽样概率的基础上调高,得到调整后的抽样概率;当样本数量低于第四阈值时,表明样本的重要性较低,此时在默认的抽样概率的基础上调低,得到调整后的抽样概率;当样本数量处于第三阈值和第四阈值之间时,保持默认的抽样概率不变。
S33,根据样本集合中各样本的抽样概率,从样本集合中抽取样本,以生成本次训练的训练集。
本实施例中,根据样本数量对抽样概率进行调整之后,可以根据调整后的各样本的抽样概率从样本集合中抽取样本,生成本次训练的训练集。
S34,采用本次训练的训练集,对机器学习模型进行训练。
S35,对训练后的机器学习模型进行评估,以得到本次训练的训练集中各样本的分类准确度。
需要说明的是,本实施例中对步骤S34-S35的描述可以参照前述实施例中对步骤S12-S13的描述,其实现原理类似,此处不再赘述。
S36,对本次训练的训练集中各样本,根据分类准确度,调整抽样概率。
其中,调整后的抽样概率用于生成下一次训练的训练集。
具体地,根据分类准确度调整抽样概率可以包括:若分类准确度高于第一阈值,调低抽样概率;若分类准确度低于第二阈值,调高抽样概率。其中,第一阈值和第二阈值可以根据需求和经验自行设定,本发明对此不作限定。
由于抽样概率过高或过低都可能影响对应样本的分类准确度,分类准确度过高,可能是由于训练时采用的训练集中对应样本的抽样概率过高引起的,而样本的抽样概率过低可能导致分类准确度较低。
因此,本实施例中,可以根据分类准确度对抽样概率进行调整。当分类准确度高于第一阈值时,将样本的抽样概率调低;当分类准确度低于第二阈值时,将样本的抽样概率调高;当分类准确度处于第一阈值和第二阈值之间时,表明该样本分类准确,该样本不再参与训练。
本实施例的基于机器学习的模型训练方法,通过统计样本集合中与每一样本重复和/或相似的样本数量,根据统计得到的样本数量确定样本的抽样概率,根据样本集合中各样本的抽样概率,从样本集合中抽取样本,以生成本次训练的训练集,采用本次训练的训练集对机器学习模型进行训练,对训练后的机器学习模型进行评估,以得到本次训练的训练集中各样本的分类准确度,对本次训练的训练集中各样本,根据分类准确度调整抽样概率,能够实现自适应调整各样本的抽样概率,对重要样本进行多次训练,提高样本的分类准确度,提升分类效果和可靠性。
为了实现上述实施例,本发明还提出了一种基于机器学习的模型训练装置。
图4为本发明一实施例提出的基于机器学习的模型训练装置的结构示意图。
如图4所示,该基于机器学习的模型训练装置40包括:生成模块410、训练模块420、评估模块430,以及调整模块440。其中,
生成模块410,用于根据样本集合中各样本的抽样概率,从样本集合中抽取样本,以生成本次训练的训练集。
训练模块420,用于采用本次训练的训练集,对机器学习模型进行训练。
评估模块430,用于对训练后的机器学习模型进行评估,以得到本次训练的训练集中各样本的分类准确度。
进一步地,在本发明实施例一种可能的实现方式中,如图5所示,在如图4所示实施例的基础上,评估模块430可以包括:
查询单元431,用于针对本次训练的训练集中每一个样本,查询训练后的机器学习模型所生成的分类结果。
匹配单元432,用于将机器学习模型所生成的分类结果,与样本集合中样本的标签进行匹配。
确定单元433,用于根据匹配程度,确定样本的分类准确度。
调整模块440,用于对本次训练的训练集中各样本,根据分类准确度,调整抽样概率。
其中,调整后的抽样概率用于生成下一次训练的训练集。
具体地,调整模块440在对训练集中的各样本根据分类准确度调整抽样概率时,可以根据如下规则进行调整:若分类准确度高于第一阈值,调低抽样概率;若分类准确度低于第二阈值,调高抽样概率。
可选地,在本发明实施例一种可能的实现方式中,如图5所示,在如图4所示实施例的基础上,该基于机器学习的模型训练装置40还包括:
确定模块400,用于统计样本集合中,与每一样本重复和/或相似的样本数量;根据统计得到的样本数量,确定样本的抽样概率。
具体地,确定模块400用于若统计得到的与样本重复和/或相似的样本数量高于第三阈值,在默认数值基础上调高,以确定样本的抽样概率;若统计得到的与样本重复和/或相似的样本数量低于第四阈值,在默认数值基础上调低,以确定样本的抽样概率。
需要说明的是,前述对基于机器学习的模型训练方法实施例的解释说明也适用于本实施例的基于机器学习的模型训练装置,其实现原理类似,此处不再赘述。
本实施例的基于机器学习的模型训练装置,通过根据样本集合中各样本的抽样概率从样本集合中抽取样本,以生成本次训练的训练集,采用本次训练的训练集对机器学习模型进行训练,并对训练后的机器学习模型进行评估,以得到本次训练的训练集中各样本的分类准确度,根据分类准确度调整抽样概率。由此,能够自适应调整各样本的抽样概率,提高样本的分类准确度,提升分类效果和可靠性。
为了实现上述实施例,本发明还提出了一种计算机设备。
图6为本发明一实施例提出的计算机设备的结构示意图。
如图6所示,该计算机设备60包括:存储器610、处理器620及存储在存储器610上并可在处理器620上运行的计算机程序630,当处理器620执行该计算机程序630时,实现前述实施例所述的基于机器学习的模型训练方法。
为了实现上述实施例,本发明还提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时,实现前述实施例所述的基于机器学习的模型训练方法。
为了实现上述实施例,本发明还提出了一种计算机程序产品,当该计算机程序产品中的指令由处理器执行时,执行前述实施例所述的基于机器学习的模型训练方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (13)
1.一种基于机器学习的模型训练方法,其特征在于,包括以下步骤:
根据样本集合中各样本的抽样概率,从所述样本集合中抽取样本,以生成本次训练的训练集;
采用所述本次训练的训练集,对机器学习模型进行训练;
对训练后的机器学习模型进行评估,以得到所述本次训练的训练集中各样本的分类准确度;
对所述本次训练的训练集中各样本,根据所述分类准确度,调整所述抽样概率;其中,调整后的抽样概率用于生成下一次训练的训练集。
2.根据权利要求1所述的基于机器学习的模型训练方法,其特征在于,所述根据所述分类准确度,调整所述抽样概率,包括:
若所述分类准确度高于第一阈值,调低所述抽样概率;
若所述分类准确度低于第二阈值,调高所述抽样概率。
3.根据权利要求1所述的基于机器学习的模型训练方法,其特征在于,所述对训练后的机器学习模型进行评估,以得到所述本次训练的训练集中各样本的分类准确度,包括:
针对所述本次训练的训练集中每一个样本,查询训练后的机器学习模型所生成的分类结果;
将所述机器学习模型所生成的分类结果,与所述样本集合中所述样本的标签进行匹配;
根据匹配程度,确定所述样本的分类准确度。
4.根据权利要求1-3任一项所述的基于机器学习的模型训练方法,其特征在于,所述根据样本集合中各样本的抽样概率,从所述样本集合中抽取样本之前,还包括:
统计所述样本集合中,与每一样本重复和/或相似的样本数量;
根据统计得到的样本数量,确定所述样本的抽样概率。
5.根据权利要求4所述的基于机器学习的模型训练方法,其特征在于,所述根据统计得到的样本数量,确定所述样本的抽样概率,包括:
若统计得到的与所述样本重复和/或相似的样本数量高于第三阈值,在默认数值基础上调高,以确定所述样本的抽样概率;
若统计得到的与所述样本重复和/或相似的样本数量低于第四阈值,在默认数值基础上调低,以确定所述样本的抽样概率。
6.一种基于机器学习的模型训练装置,其特征在于,包括:
生成模块,用于根据样本集合中各样本的抽样概率,从所述样本集合中抽取样本,以生成本次训练的训练集;
训练模块,用于采用所述本次训练的训练集,对机器学习模型进行训练;
评估模块,用于对训练后的机器学习模型进行评估,以得到所述本次训练的训练集中各样本的分类准确度;
调整模块,用于对所述本次训练的训练集中各样本,根据所述分类准确度,调整所述抽样概率;其中,调整后的抽样概率用于生成下一次训练的训练集。
7.根据权利要求6所述的基于机器学习的模型训练装置,其特征在于,所述根据所述分类准确度,调整所述抽样概率,包括:
若所述分类准确度高于第一阈值,调低所述抽样概率;
若所述分类准确度低于第二阈值,调高所述抽样概率。
8.根据权利要求6所述的基于机器学习的模型训练装置,其特征在于,所述评估模块,包括:
查询单元,用于针对所述本次训练的训练集中每一个样本,查询训练后的机器学习模型所生成的分类结果;
匹配单元,用于将所述机器学习模型所生成的分类结果,与所述样本集合中所述样本的标签进行匹配;
确定单元,用于根据匹配程度,确定所述样本的分类准确度。
9.根据权利要求6-8任一项所述的基于机器学习的模型训练装置,其特征在于,所述装置,还包括:
确定模块,用于统计所述样本集合中,与每一样本重复和/或相似的样本数量;根据统计得到的样本数量,确定所述样本的抽样概率。
10.根据权利要求9所述的基于机器学习的模型训练装置,其特征在于,所述确定模块,具体用于:
若统计得到的与所述样本重复和/或相似的样本数量高于第三阈值,在默认数值基础上调高,以确定所述样本的抽样概率;
若统计得到的与所述样本重复和/或相似的样本数量低于第四阈值,在默认数值基础上调低,以确定所述样本的抽样概率。
11.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时,实现如权利要求1-5中任一项所述的基于机器学习的模型训练方法。
12.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一项所述的基于机器学习的模型训练方法。
13.一种计算机程序产品,其特征在于,当所述计算机程序产品中的指令由处理器执行时,执行权利要求1-5中任一项所述的基于机器学习的模型训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710423040.0A CN107368892B (zh) | 2017-06-07 | 2017-06-07 | 基于机器学习的模型训练方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710423040.0A CN107368892B (zh) | 2017-06-07 | 2017-06-07 | 基于机器学习的模型训练方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107368892A true CN107368892A (zh) | 2017-11-21 |
CN107368892B CN107368892B (zh) | 2020-06-16 |
Family
ID=60305511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710423040.0A Active CN107368892B (zh) | 2017-06-07 | 2017-06-07 | 基于机器学习的模型训练方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107368892B (zh) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108334935A (zh) * | 2017-12-13 | 2018-07-27 | 华南师范大学 | 精简输入的深度学习神经网络方法、装置和机器人*** |
CN108416363A (zh) * | 2018-01-30 | 2018-08-17 | 平安科技(深圳)有限公司 | 机器学习模型的生成方法、装置、计算机设备及存储介质 |
CN108656109A (zh) * | 2018-05-07 | 2018-10-16 | 中国科学院力学研究所 | 一种远程操作的训练方法及*** |
CN108897829A (zh) * | 2018-06-22 | 2018-11-27 | 广州多益网络股份有限公司 | 数据标签的修正方法、装置和存储介质 |
CN108960269A (zh) * | 2018-04-02 | 2018-12-07 | 阿里巴巴集团控股有限公司 | 数据集的特征获取方法、装置及计算设备 |
CN109325525A (zh) * | 2018-08-31 | 2019-02-12 | 阿里巴巴集团控股有限公司 | 样本属性评估模型训练方法、装置及服务器 |
CN109325258A (zh) * | 2018-08-20 | 2019-02-12 | 天津职业技术师范大学 | 基于抽样法比较样本数量对切削力机器模型性能影响方法 |
CN109447240A (zh) * | 2018-09-28 | 2019-03-08 | 深兰科技(上海)有限公司 | 一种模型训练方法、计算机可读存储介质及计算设备 |
CN109471935A (zh) * | 2018-10-10 | 2019-03-15 | 深圳市海云天教育测评有限公司 | 一种问卷调查对象确定方法、装置、电子设备和存储介质 |
CN109583594A (zh) * | 2018-11-16 | 2019-04-05 | 东软集团股份有限公司 | 深度学习训练方法、装置、设备及可读存储介质 |
CN109583590A (zh) * | 2018-11-29 | 2019-04-05 | 深圳和而泰数据资源与云技术有限公司 | 数据处理方法及数据处理装置 |
CN109597892A (zh) * | 2018-12-25 | 2019-04-09 | 杭州数梦工场科技有限公司 | 一种数据库中数据的分类方法、装置、设备及存储介质 |
CN109697461A (zh) * | 2018-12-11 | 2019-04-30 | 中科恒运股份有限公司 | 基于有限数据的分类模型训练方法和终端设备 |
CN109726742A (zh) * | 2018-12-11 | 2019-05-07 | 中科恒运股份有限公司 | 分类模型快速训练方法和终端设备 |
CN109815991A (zh) * | 2018-12-29 | 2019-05-28 | 北京城市网邻信息技术有限公司 | 机器学习模型的训练方法、装置、电子设备及存储介质 |
CN109993300A (zh) * | 2017-12-29 | 2019-07-09 | 华为技术有限公司 | 一种神经网络模型的训练方法及装置 |
CN110084374A (zh) * | 2019-04-24 | 2019-08-02 | 第四范式(北京)技术有限公司 | 构建基于pu学习的模型的方法、装置及预测方法、装置 |
WO2019233117A1 (zh) * | 2018-06-06 | 2019-12-12 | 众安信息技术服务有限公司 | 一种联机分析处理引擎的路由方法、装置及设备 |
CN110717515A (zh) * | 2019-09-06 | 2020-01-21 | 北京三快在线科技有限公司 | 模型训练方法、装置及电子设备 |
CN110751179A (zh) * | 2019-09-18 | 2020-02-04 | 无锡祥生医疗科技股份有限公司 | 病灶信息获取方法、病灶预测模型的训练方法及超声设备 |
CN112634946A (zh) * | 2020-12-25 | 2021-04-09 | 深圳市博瑞得科技有限公司 | 一种语音质量分类预测方法、计算机设备及存储介质 |
TWI746095B (zh) * | 2020-05-28 | 2021-11-11 | 旺宏電子股份有限公司 | 使用相異訓練源訓練分類模型及應用其之推論引擎 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103631753A (zh) * | 2013-12-09 | 2014-03-12 | 天津工业大学 | 递减子空间集成学习算法 |
CN103716204A (zh) * | 2013-12-20 | 2014-04-09 | 中国科学院信息工程研究所 | 一种基于维纳过程的异常入侵检测集成学习方法及装置 |
CN104850531A (zh) * | 2014-02-19 | 2015-08-19 | 日本电气株式会社 | 一种建立数学模型的方法和装置 |
CN105718490A (zh) * | 2014-12-04 | 2016-06-29 | 阿里巴巴集团控股有限公司 | 一种用于更新分类模型的方法及装置 |
CN106548196A (zh) * | 2016-10-20 | 2017-03-29 | 中国科学院深圳先进技术研究院 | 一种针对非平衡数据的随机森林抽样方法及装置 |
-
2017
- 2017-06-07 CN CN201710423040.0A patent/CN107368892B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103631753A (zh) * | 2013-12-09 | 2014-03-12 | 天津工业大学 | 递减子空间集成学习算法 |
CN103716204A (zh) * | 2013-12-20 | 2014-04-09 | 中国科学院信息工程研究所 | 一种基于维纳过程的异常入侵检测集成学习方法及装置 |
CN104850531A (zh) * | 2014-02-19 | 2015-08-19 | 日本电气株式会社 | 一种建立数学模型的方法和装置 |
CN105718490A (zh) * | 2014-12-04 | 2016-06-29 | 阿里巴巴集团控股有限公司 | 一种用于更新分类模型的方法及装置 |
CN106548196A (zh) * | 2016-10-20 | 2017-03-29 | 中国科学院深圳先进技术研究院 | 一种针对非平衡数据的随机森林抽样方法及装置 |
Cited By (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108334935A (zh) * | 2017-12-13 | 2018-07-27 | 华南师范大学 | 精简输入的深度学习神经网络方法、装置和机器人*** |
US11521012B2 (en) | 2017-12-29 | 2022-12-06 | Huawei Technologies Co., Ltd. | Method for training neural network model and apparatus |
CN109993300B (zh) * | 2017-12-29 | 2021-01-29 | 华为技术有限公司 | 一种神经网络模型的训练方法及装置 |
CN109993300A (zh) * | 2017-12-29 | 2019-07-09 | 华为技术有限公司 | 一种神经网络模型的训练方法及装置 |
US11966844B2 (en) | 2017-12-29 | 2024-04-23 | Huawei Technologies Co., Ltd. | Method for training neural network model and apparatus |
CN108416363A (zh) * | 2018-01-30 | 2018-08-17 | 平安科技(深圳)有限公司 | 机器学习模型的生成方法、装置、计算机设备及存储介质 |
CN108960269A (zh) * | 2018-04-02 | 2018-12-07 | 阿里巴巴集团控股有限公司 | 数据集的特征获取方法、装置及计算设备 |
CN108960269B (zh) * | 2018-04-02 | 2022-05-27 | 创新先进技术有限公司 | 数据集的特征获取方法、装置及计算设备 |
CN108656109A (zh) * | 2018-05-07 | 2018-10-16 | 中国科学院力学研究所 | 一种远程操作的训练方法及*** |
WO2019233117A1 (zh) * | 2018-06-06 | 2019-12-12 | 众安信息技术服务有限公司 | 一种联机分析处理引擎的路由方法、装置及设备 |
CN108897829A (zh) * | 2018-06-22 | 2018-11-27 | 广州多益网络股份有限公司 | 数据标签的修正方法、装置和存储介质 |
CN108897829B (zh) * | 2018-06-22 | 2020-08-04 | 广州多益网络股份有限公司 | 数据标签的修正方法、装置和存储介质 |
CN109325258A (zh) * | 2018-08-20 | 2019-02-12 | 天津职业技术师范大学 | 基于抽样法比较样本数量对切削力机器模型性能影响方法 |
CN109325525A (zh) * | 2018-08-31 | 2019-02-12 | 阿里巴巴集团控股有限公司 | 样本属性评估模型训练方法、装置及服务器 |
CN109447240B (zh) * | 2018-09-28 | 2021-07-02 | 深兰科技(上海)有限公司 | 图形图像复制模型的训练方法、存储介质及计算设备 |
CN109447240A (zh) * | 2018-09-28 | 2019-03-08 | 深兰科技(上海)有限公司 | 一种模型训练方法、计算机可读存储介质及计算设备 |
CN109471935A (zh) * | 2018-10-10 | 2019-03-15 | 深圳市海云天教育测评有限公司 | 一种问卷调查对象确定方法、装置、电子设备和存储介质 |
CN109583594B (zh) * | 2018-11-16 | 2021-03-30 | 东软集团股份有限公司 | 深度学习训练方法、装置、设备及可读存储介质 |
CN109583594A (zh) * | 2018-11-16 | 2019-04-05 | 东软集团股份有限公司 | 深度学习训练方法、装置、设备及可读存储介质 |
CN109583590A (zh) * | 2018-11-29 | 2019-04-05 | 深圳和而泰数据资源与云技术有限公司 | 数据处理方法及数据处理装置 |
CN109583590B (zh) * | 2018-11-29 | 2020-11-13 | 深圳和而泰数据资源与云技术有限公司 | 数据处理方法及数据处理装置 |
CN109726742A (zh) * | 2018-12-11 | 2019-05-07 | 中科恒运股份有限公司 | 分类模型快速训练方法和终端设备 |
CN109697461A (zh) * | 2018-12-11 | 2019-04-30 | 中科恒运股份有限公司 | 基于有限数据的分类模型训练方法和终端设备 |
CN109597892A (zh) * | 2018-12-25 | 2019-04-09 | 杭州数梦工场科技有限公司 | 一种数据库中数据的分类方法、装置、设备及存储介质 |
CN109815991B (zh) * | 2018-12-29 | 2021-02-19 | 北京城市网邻信息技术有限公司 | 机器学习模型的训练方法、装置、电子设备及存储介质 |
CN109815991A (zh) * | 2018-12-29 | 2019-05-28 | 北京城市网邻信息技术有限公司 | 机器学习模型的训练方法、装置、电子设备及存储介质 |
CN110084374A (zh) * | 2019-04-24 | 2019-08-02 | 第四范式(北京)技术有限公司 | 构建基于pu学习的模型的方法、装置及预测方法、装置 |
CN110717515A (zh) * | 2019-09-06 | 2020-01-21 | 北京三快在线科技有限公司 | 模型训练方法、装置及电子设备 |
CN110751179B (zh) * | 2019-09-18 | 2022-04-12 | 无锡祥生医疗科技股份有限公司 | 超声设备 |
CN110751179A (zh) * | 2019-09-18 | 2020-02-04 | 无锡祥生医疗科技股份有限公司 | 病灶信息获取方法、病灶预测模型的训练方法及超声设备 |
TWI746095B (zh) * | 2020-05-28 | 2021-11-11 | 旺宏電子股份有限公司 | 使用相異訓練源訓練分類模型及應用其之推論引擎 |
US11775822B2 (en) | 2020-05-28 | 2023-10-03 | Macronix International Co., Ltd. | Classification model training using diverse training source and inference engine using same |
CN112634946A (zh) * | 2020-12-25 | 2021-04-09 | 深圳市博瑞得科技有限公司 | 一种语音质量分类预测方法、计算机设备及存储介质 |
CN112634946B (zh) * | 2020-12-25 | 2022-04-12 | 博瑞得科技有限公司 | 一种语音质量分类预测方法、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107368892B (zh) | 2020-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107368892A (zh) | 基于机器学习的模型训练方法和装置 | |
KR102641116B1 (ko) | 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치 | |
CN107291822A (zh) | 基于深度学习的问题分类模型训练方法、分类方法及装置 | |
CN107977415A (zh) | 自动问答方法及装置 | |
CN110083700A (zh) | 一种基于卷积神经网络的企业舆情情感分类方法及*** | |
CN107844417A (zh) | 测试用例生成方法和装置 | |
CN106941000A (zh) | 基于人工智能的语音交互方法和装置 | |
CN106383895B (zh) | 信息推荐方法、装置以及终端设备 | |
CN107357775A (zh) | 基于人工智能的循环神经网络的文本纠错方法及装置 | |
CN106503236A (zh) | 基于人工智能的问题分类方法以及装置 | |
CN107329967A (zh) | 基于深度学习的问答***以及方法 | |
CN106372622A (zh) | 一种人脸表情分类方法及装置 | |
CN107680589A (zh) | 语音信息交互方法、装置及其设备 | |
EP3349152A1 (en) | Classifying data | |
CN107731228A (zh) | 英文语音信息的文本转换方法和装置 | |
CN105320945A (zh) | 图像分类的方法及装置 | |
CN106919702A (zh) | 基于文档的关键词推送方法及装置 | |
CN110135231A (zh) | 动物面部识别方法、装置、计算机设备和存储介质 | |
CN107315772A (zh) | 基于深度学习的问题匹配方法以及装置 | |
CN106503723A (zh) | 一种视频分类方法及装置 | |
CN107766577B (zh) | 一种舆情监测方法、装置、设备及存储介质 | |
CN110458600A (zh) | 画像模型训练方法、装置、计算机设备及存储介质 | |
CN106021403A (zh) | 客服方法及装置 | |
CN112712068B (zh) | 一种关键点检测方法、装置、电子设备及存储介质 | |
CN107122492A (zh) | 基于图片内容的歌词生成方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20190806 Address after: 214028 No. 18 Changjiang South Road, Wuxi National High-tech Development Zone, Jiangsu Province Applicant after: Wuxi Swan Electrical Appliances Co., Ltd. Address before: 214028 Wuxi Changjiang Road, New District, Jiangsu, No. 18 Applicant before: Wuxi Xiaotianer Co., Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |