CN112149737A - 选择模型训练方法、模型选择方法、装置及电子设备 - Google Patents
选择模型训练方法、模型选择方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112149737A CN112149737A CN202011015454.8A CN202011015454A CN112149737A CN 112149737 A CN112149737 A CN 112149737A CN 202011015454 A CN202011015454 A CN 202011015454A CN 112149737 A CN112149737 A CN 112149737A
- Authority
- CN
- China
- Prior art keywords
- model
- training
- training data
- historical
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 324
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000010187 selection method Methods 0.000 title abstract description 16
- 238000013145 classification model Methods 0.000 claims abstract description 67
- 230000000694 effects Effects 0.000 claims description 19
- 238000002790 cross-validation Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000007637 random forest analysis Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000002922 simulated annealing Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 101150082208 DIABLO gene Proteins 0.000 description 1
- 102100033189 Diablo IAP-binding mitochondrial protein Human genes 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种选择模型训练方法、模型选择方法、装置及电子设备，其中，该方法包括：获取历史训练数据集中的各项历史训练数据对应的训练模型集；根据历史训练数据集和训练模型集构建元训练数据集；使用元训练数据集对初始多分类模型进行训练，得到目标多分类模型，目标多分类模型用于根据训练数据集进行训练模型的选择。
Description
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种选择模型训练方法、模型选择方法、装置及电子设备。
背景技术
随着机器学习技术不断进步以及人工智能的需求不断增加，更多的领域都应用了人工智能的相关技术。要实现一些人工智能的处理功能，则需要先对机器学习模型进行训练，以得到可以实现所需处理功能的模型。
在对机器学习模型进行训练之前，需要对机器学习模型进行选择。目前对机器学习模型的选择方式一般是相关技术人员按照经验选择合适的模型。这种实现方式的效率相对较低。
发明内容
本申请的目的在于提供一种选择模型训练方法、模型选择方法、装置及电子设备，能够解决模型训练之前的模型选择问题。
第一方面，本发明实施例提供一种选择模型训练方法，包括：
获取历史训练数据集中的各项历史训练数据对应的训练模型集；
根据所述历史训练数据集和所述训练模型集构建元训练数据集；
使用所述元训练数据集对初始多分类模型进行训练，得到目标多分类模型，所述目标多分类模型用于根据训练数据实现训练模型的选择。
在可选的实施方式中，所述元训练数据集中的每一条元训练数据包括：数据元特征及最优模型；所述使用所述元训练数据集对初始多分类模型进行训练，得到目标多分类模型，包括：
将所述元训练数据中的数据元特征作为训练特征，将所述最优模型作为训练目标，对初始多分类模型进行训练，得到目标多分类模型。
在本申请实施例中，通过上述有标记的训练，从而可以使目标多分类模型有目的的选择训练模型，从而也可以提高训练目标多分类模型。
在可选的实施方式中，所述数据元特征包括：
所述历史训练数据的实例数、所述历史训练数据中的各个实例类别的占比、所述历史训练数据中的特征数量、所述历史训练数据中的类别特征数量以及所述历史训练数据中的连续性特征数中的至少一种。
在本申请实施例中，通过上述数据元特征所包含的内容，从而可以更好地通过数据元特征表达历史训练数据的特征，从而可以使训练过程目标性更明确，从而提高训练得到的目标多分类模型的分类准确性。
在可选的实施方式中，所述获取历史训练数据集中的各项历史训练数据对应的训练模型集，包括：
针对历史数据集中的一目标历史训练数据，从第一模型候选集中选出目标模型在所述目标历史训练数据上进行交叉验证，以得到所述目标模型效果评分，其中，所述目标历史训练数据为所述历史数据集中的任意一项数据，所述目标模型为所述第一模型候选集中的任意一个模型；
当所述效果评分大于预设值时，则将所述目标模型作为所述目标历史训练数据的最优模型，所述最优模型为所述训练模型集中的一个训练模型。
在可选的实施方式中，所述获取历史训练数据集中的各项历史训练数据对应的训练模型集，包括：
针对历史数据集中的一目标历史训练数据，对第一模型候选集中每一个模型在所述目标历史训练数据上进行交叉验证，以得到每一个模型的效果评分，其中，所述目标历史训练数据为所述历史数据集中的任意一项数据；
选出效果评分最高的模型作为所述目标历史训练数据的最优模型，所述最优模型为所述训练模型集中的一个训练模型。
在本申请实施例中，通过训练的方式得到各项历史训练数据对应的最优模型，从而使构建的训练模型集能够更符合训练需求，从而使确定出的目标多分类模型的筛选效果也更好。
第二方面，本发明实施例提供一种模型选择方法，包括：
根据待训练数据构建训练数据元特征；
将所述数据元特征输入前述实施方式任意一项所述的选择模型训练方法得到的目标多分类模型中进行计算，以得到目标模型。
第三方面，本发明实施例提供一种选择模型训练装置，包括：
获取模块，用于获取历史训练数据集及所述历史训练数据集中的各项历史训练数据对应的训练模型集；
第一构建模块，用于根据所述历史训练数据集和所述训练模型集构建元训练数据集，其中，每一条元训练数据包括：数据元特征及最优模型；
训练模块，用于使用所述元训练数据集对初始多分类模型进行训练，得到目标多分类模型，所述目标多分类模型用于根据训练数据实现训练模型的选择。
第四方面，本发明实施例提供一种模型选择装置，包括：
第二构建模块，用于根据待训练数据构建训练数据元特征；
计算模块，用于将所述数据元特征输入前述实施方式任意一项所述的选择模型训练方法得到的目标多分类模型中进行计算，以得到目标模型。
第五方面，本发明实施例提供一种电子设备，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行如前述实施方式任一所述的方法的步骤。
第六方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如前述实施方式任一所述的方法的步骤。
本申请实施例的有益效果是：通过训练得到一个目标多分类模型，可以在需要对训练模型的选择时，可以通过目标多分类模型进行训练模型的选择，从而可以提高模型选择的效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的方框示意图。
图2为本申请实施例提供的选择模型训练方法的流程图。
图3为本申请实施例提供的选择模型训练装置的功能模块示意图。
图4为本申请实施例提供的模型选择方法的流程图。
图5为本申请实施例提供的模型选择装置的功能模块示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
手动选择模型，然后再基于筛选的训练数据对选择的模型进行训练的方式效率相对较低。基于此，提出了一种自动化机器学习(Automachine learning，AutoML)。自动化机器学习可以缩短机器学习建模的全流程时间。由传统的全人工介入的机器学习方式逐步转变为自动化机器学习，大大缩短了算法人员的建模时间，并且使得非机器学习人员也可以很方便的使用机器学习技术。
目前的自动化机器学习技术有两个重点方向：1)自动进行模型超参数选择；2)自动进行数据特征工程。
模型超参数选择是很繁琐的过程，且实际中往往依赖于算法人员的主观经验，自动模型超参数的选择可以省去这一繁琐的过程，自动进行模型超参数搜索。目前已有一些成熟的调参算法，如贝叶斯优化、基于随机森林的贝叶斯优化(Sequential Model-BasedOptimization forGeneral Algorithm Configuration，SMAC)、树状结构Parzen估计方法(Tree-structured Parzen Estimator Approach，TPE)、模拟退火(Simulated annealingalgorithm，SAA)等。自动特征工程则是从算法角度挖掘有效特征，并自动进行特征选择、特征交叉等。以上两种自动化过程是自动化机器学习中最常见也是应用最多的。
但是，在机器学习建模的全流程中，还有一个必不可少的环节，那就是模型的选择，自动化机器学习中目前少有涉及模型的选择过程。在实际的机器学习建模的工作中，算法人员可以凭专业知识及先验经验，在面对新训练数据时确定出适合的训练模型。
基于上述研究，本申请的发明人为了提高自动化机器学习的自动化，提供了一种选择模型训练方法和模型选择方法，从而可以使模型的选择也实现自动化。下面通过几个实施例对选择模型训练方法、模型选择方法和装置等进行描述。
实施例一
为便于对本实施例进行理解，首先对执行本申请实施例所公开的选择模型训练方法或模型选择方法的电子设备进行详细介绍。
如图1所示，是电子设备的方框示意图。电子设备100可以包括存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115、显示单元116。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对电子设备100的结构造成限定。例如，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
上述的存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115及显示单元116各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器113用于执行存储器中存储的可执行模块。
其中，存储器111可以是，但不限于，随机存取存储器(Random Access Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，简称EEPROM)等。其中，存储器111用于存储程序，所述处理器113在接收到执行指令后，执行所述程序，本申请实施例任一实施例揭示的过程定义的电子设备100所执行的方法可以应用于处理器113中，或者由处理器113实现。
示例性地，该存储器111中可以存储有待选的模型候选集。其中，该模型候选集中的候选模型可以包括随机森林、决策树等。可以知道的是，根据需求不同模型候选集中的候选模型的类型也可以不同，如果是用于图像分类的模型候选集，则该模型候选集中的候选模型可以是二分类模型、多分类模型等。
上述的处理器113可能是一种集成电路芯片，具有信号的处理能力。上述的处理器113可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路
(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述的外设接口114将各种输入/输出装置耦合至处理器113以及存储器111。在一些实施例中，外设接口114，处理器113以及存储控制器112可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。
上述的输入输出单元115用于提供给用户输入数据。所述输入输出单元115可以是，但不限于，鼠标和键盘等。
上述的显示单元116在电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器进行计算和处理。
本实施例中的电子设备100可以用于执行本申请实施例提供的各个方法中的各个步骤。下面通过几个实施例描述选择模型训练方法和模型选择方法的实现过程。
实施例二
请参阅图2，是本申请实施例提供的选择模型训练方法的流程图。下面将对图2所示的具体流程进行详细阐述。
步骤201，获取历史训练数据集中的各项历史训练数据对应的训练模型集。
示例性地，历史训练数据集中的每一项历史训练数据可以在训练模型集中对应一个训练模型。
可选地，历史训练数据集中的历史训练数据与训练模型集中的训练模型可以是一对一的关系。例如，每一项历史训练数据可以在训练模型集中对应一个训练模型，每一个训练模型在历史训练数据集对应一项历史训练数据。
可选地，示例性地，历史训练数据集中的历史训练数据与训练模型集中的训练模型可以是一对多的关系。例如，每一项历史训练数据可以在训练模型集中对应两个或两个以上的训练模型。
可选地，上述的历史训练数据集中的历史训练数据可以是数据网站公开的用作训练的数据，也可以是真实场景中产生的数据。
可选地，上述的训练模型集中的训练模型是与历史训练数据关联的训练模型。示例性地，训练模型集中的训练模型可以作为历史训练数据的原始模型，用来训练出能够实现一些识别目的的模型。例如，训练模型集中的训练模型可以作为历史训练数据的原始模型，用来训练出能够实现图像分类的模型。再例如，训练模型集中的训练模型可以作为历史训练数据的原始模型，用来训练出能够实现目标检测的模型。
可选地，上述的训练模型集中的训练模型也可以是通过交叉验证方式验证得的训练模型。下面通过几个实施方式描述训练模型集中的训练模型的得到方式。
在一种实施方式中，可以从第一模型候选集中选出一个对目标历史训练数据表现满足预期的模型，作为最优模型。步骤201可以包括：从第一模型候选集中选出目标模型在所述目标历史训练数据上进行交叉验证，以得到所述目标模型效果评分。
本实施例中，该目标历史训练数据为所述历史数据集中的任意一项数据，该目标模型为所述第一模型候选集中的任意一个模型。
本实施例中，当所述效果评分大于预设值时，则将该目标模型作为所述目标历史训练数据的最优模型。
该最优模型为所述训练模型集中的一个训练模型。
其中，任意一个最优模型表示在某项历史训练数据上训练出的效果最好的模型。例如，最优模型可以是随机森林模型等。
可选地，上述的交叉验证可以是简单交叉验证、2-折交叉验证、K-折交叉验证等验证方式。
本实施例中，第一模型候选集可以是分类模型集合。示例性地，该分类模型集中的分类模型可以是二分类模型、三分类模型、多分类模型等模型。示例性地，二分类模型可以是随机森林、决策树等。
在一种实施方式中，还可以从第一模型候选集中选出一个对目标历史训练数据表现最好的模型，作为最优模型。步骤201可以包括：对第一模型候选集中每一个模型在所述目标历史训练数据上进行交叉验证，以得到每一个模型的效果评分；选出效果评分最高的模型作为所述目标历史训练数据的最优模型，所述最优模型为所述训练模型集中的一个训练模型。
可选地，上述的效果评分可以采用的指标可以是ROC曲线下方的面积大小(AreaUnder Curve，AUC)指标得出的评分。其中，ROC曲线表示接受者操作特性曲线(receiveroperating characteristic curve)。
其中，目标历史训练数据为所述历史数据集中的任意一项数据。
本实施例中，每一项历史训练数据中可以包括多个实例。每一个实例可以作为一个样本。
步骤202，根据所述历史训练数据集和所述训练模型集构建元训练数据集。
可选地，上述的元训练数据集中的每项元训练数据可以包括数据元特征和最优模型。示例性地，一条元训练数据可以表示为<数据元特征，最优模型>。
其中，数据元特征用于描述历史训练数据的属性及特征。
可选地，数据元特征可以根据实际需求适应性选择合适的内容。
示例性地，历史训练数据的数据元特征可以包括：历史训练数据的实例数、历史训练数据中的各个实例类别的占比、历史训练数据中的特征数量、历史训练数据中的类别特征数量以及历史训练数据中的连续性特征数中的至少一种。
可选地，数据元特征还可以包括更多或更少的信息。每一项历史训练数据中可以包括两类或多类实例。在一个实例中，一项历史训练数据中包括两类实例，下面以历史训练数据中包括两类实例为例描述历史训练数据对应的数据元特征可以包括如下表1所示的内容。
表1
可选地，每个数据元特征中有K个特征，即该数据元特征K项属性。其中，K为一正整数。例如，每个数据元特征可以包括表1中的前K项属性。
步骤203，使用所述元训练数据集对初始多分类模型进行训练，得到目标多分类模型。
本实施例中，该目标多分类模型用于根据训练数据实现训练模型的选择。
示例性地，该初始多分类模型可以是多分类模型，通过训练好的目标多分类模型可以在模型候选集中选择一个模型。
可选地，该多分类模型可以是深度神经网络模型。
可选地，该多分类模型还可以是Xgboost模型。
在一种实施方式中，上述元训练数据集中的每一条元训练数据包括：数据元特征及最优模型；步骤203可以包括：将所述元训练数据中的数据元特征作为训练特征，将所述最优模型作为训练目标，对初始多分类模型进行训练，得到目标多分类模型。
在一个实例中，假设通过步骤202构建了M条元训练数据，也就是M项数据元特征和M个最优模型，则共有M条元训练数据对<数据元特征，最优模型>组成的元数据训练集。其中，M为一正整数。
本实施例中，把M项数据元特征当做训练特征，最优模型当做训练目标。则训练目标多分类模型则变为N分类问题。其中，N为第一模型候选集中的候选模型的数量。其中，N为一正整数。
可选地，该第二模型候选集与第一模型候选集中的模型可以是相同的模型。
在本申请实施例的选择模型训练方法中，通过训练得到一个目标多分类模型，可以在需要对训练模型的选择时，可以通过目标多分类模型进行训练模型的选择，从而可以提高模型选择的效率。
进一步地，还通过数据的解析，将历史训练数据解析成数据元特征，数据元特征可以更好地描述历史训练数据的特性。进一步地，使用数据元特征作为训练样本，从而可以更好地实现对历史训练数据的分析，可以提高训练得到的目标多分类模型能够实现更准确的训练模型的选择。
实施例三
基于同一申请构思，本申请实施例中还提供了与选择模型训练方法对应的选择模型训练装置，由于本申请实施例中的装置解决问题的原理与前述的选择模型训练方法实施例相似，因此本实施例中的装置的实施可以参见上述选择模型训练方法的实施例中的描述，重复之处不再赘述。
请参阅图3，是本申请实施例提供的选择模型训练装置的功能模块示意图。本实施例中的选择模型训练装置中的各个模块用于执行上述方法实施例中的各个步骤。选择模型训练装置包括：获取模块301、第一构建模块302、训练模块303；其中，
获取模块301，用于获取历史训练数据集及所述历史训练数据集中的各项历史训练数据对应的训练模型集；
第一构建模块302，用于根据所述历史训练数据集和所述训练模型集构建元训练数据集，其中，每一条元训练数据包括：数据元特征及最优模型；
训练模块303，用于使用所述元训练数据集对初始多分类模型进行训练，得到目标多分类模型，所述目标多分类模型用于根据训练数据实现训练模型的选择。
一种可能的实施方式中，所述元训练数据集中的每一条元训练数据包括：数据元特征及最优模型；训练模块303，用于：
将所述元训练数据中的数据元特征作为训练特征，将所述最优模型作为训练目标，对初始多分类模型进行训练，得到目标多分类模型。
一种可能的实施方式中，所述数据元特征包括：所述历史训练数据的实例数、所述历史训练数据中的各个实例类别的占比、所述历史训练数据中的特征数量、所述历史训练数据中的类别特征数量以及所述历史训练数据中的连续性特征数中的至少一种。
一种可能的实施方式中，获取模块301，用于针对历史数据集中的一目标历史训练数据，从第一模型候选集中选出目标模型在所述目标历史训练数据上进行交叉验证，以得到所述目标模型效果评分，其中，所述目标历史训练数据为所述历史数据集中的任意一项数据，所述目标模型为所述第一模型候选集中的任意一个模型；
当所述效果评分大于预设值时，则将所述目标模型作为所述目标历史训练数据的最优模型，所述最优模型为所述训练模型集中的一个训练模型。
一种可能的实施方式中，获取模块301，用于：
针对历史数据集中的一目标历史训练数据，对第一模型候选集中每一个模型在所述目标历史训练数据上进行交叉验证，以得到每一个模型的效果评分，其中，所述目标历史训练数据为所述历史数据集中的任意一项数据；
选出效果评分最高的模型作为所述目标历史训练数据的最优模型，所述最优模型为所述训练模型集中的一个训练模型。
实施例四
请参阅图4，是本申请实施例提供的模型选择方法的流程图。下面将对图4所示的具体流程进行详细阐述。
步骤401，根据待训练数据构建训练数据元特征。
可选地，通过对该待训练数据进行分析可以得到该待训练数据中的属性。
示例性地，根据元训练数据中的数据元特征的标准，从该待训练数据中的属性确定出数据元特征。
示例性地，若实施例二中使用到的元训练数据中的数据元特征中的属性数量为K，则步骤401确定出的训练数据元特征也可以包括K项属性。
步骤402，将所述训练数据元特征输入多分类模型中进行计算，以得到目标模型。
本实施例中，通过将训练数据元特征输入多分类模型中，从而可以得出该训练数据元特征在第二模型候选集中的各个模型对应的概率值。可以将概率值最大的模型作为目标模型。
可选地，该第二模型候选集中的模型数量与模型类型可以与第一模型候选集中的模型数量和模型类型相同。
可选地，该第二模型候选集中的模型也可以是与元训练数据集中的最优模型的数量与模型类型相同。
示例性地，该第二模型候选集中可以包括多个候选模型。
本实施例中，将训练数据元特征输入多分类模型中进行计算，可以得到训练数据元特征与该多个候选模型中的各个候选模型的匹配概率。
示例性地，若候选模型对应的匹配概率越高，表示该待训练数据在该候选模型上的表现更好，则针对待训练数据的模型的构建，可以选择该候选模型。
在一个实例中，若第二模型候选集中包括五个候选模型，且将训练数据元特征输入多分类模型中计算得到的概率值为[0.4,0.1,0.1,0.2,0.2]，其中第一个候选模型对应的概率值最高，则表示该待训练数据可以在第一个候选模型上构建对应的数据处理模型。
可选地，本实施例中的多分类模型可以是使用实施例二提供的选择模型训练方法得到的目标多分类模型，关于本实施例中的多分类模型的获得方式可以参阅实施例二中的描述，在此不再赘述。
实施例五
基于同一申请构思，本申请实施例中还提供了与模型选择方法对应的模型选择装置，由于本申请实施例中的装置解决问题的原理与前述的模型选择方法实施例相似，因此本实施例中的装置的实施可以参见上述模型选择方法的实施例中的描述，重复之处不再赘述。
请参阅图5，是本申请实施例提供的模型选择装置的功能模块示意图。本实施例中的模型选择装置中的各个模块用于执行上述方法实施例中的各个步骤。模型选择装置包括第二构建模块501和计算模块502；其中，
第二构建模块501，用于根据待训练数据构建训练数据元特征；
计算模块502，用于将所述训练数据元特征输入多分类模型中进行计算，以得到目标模型。
可选地，本实施例中的多分类模型可以是使用实施例二提供的选择模型训练方法得到的目标多分类模型，关于本实施例中的多分类模型的获得方式可以参阅实施例二中的描述，在此不再赘述。
此外，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的选择模型训练方法或模型选择方法的步骤。
本申请实施例所提供的选择模型训练方法和模型选择方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的选择模型训练方法或模型选择方法的步骤，具体可参见上述方法实施例，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种选择模型训练方法，其特征在于，包括：
获取历史训练数据集中的各项历史训练数据对应的训练模型集；
根据所述历史训练数据集和所述训练模型集构建元训练数据集；
使用所述元训练数据集对初始多分类模型进行训练，得到目标多分类模型，所述目标多分类模型用于根据训练数据实现训练模型的选择。
2.根据权利要求1所述的方法，其特征在于，所述元训练数据集中的每一条元训练数据包括：数据元特征及最优模型；所述使用所述元训练数据集对初始多分类模型进行训练，得到目标多分类模型，包括：
将所述元训练数据中的数据元特征作为训练特征，将所述最优模型作为训练目标，对初始多分类模型进行训练，得到目标多分类模型。
3.根据权利要求2所述的方法，其特征在于，所述数据元特征包括：
所述历史训练数据的实例数、所述历史训练数据中的各个实例类别的占比、所述历史训练数据中的特征数量、所述历史训练数据中的类别特征数量以及所述历史训练数据中的连续性特征数中的至少一种。
4.根据权利要求1所述的方法，其特征在于，所述获取历史训练数据集中的各项历史训练数据对应的训练模型集，包括：
针对历史数据集中的一目标历史训练数据，从第一模型候选集中选出目标模型在所述目标历史训练数据上进行交叉验证，以得到所述目标模型效果评分，其中，所述目标历史训练数据为所述历史数据集中的任意一项数据，所述目标模型为所述第一模型候选集中的任意一个模型；
当所述效果评分大于预设值时，则将所述目标模型作为所述目标历史训练数据的最优模型，所述最优模型为所述训练模型集中的一个训练模型。
5.根据权利要求1所述的方法，其特征在于，所述获取历史训练数据集中的各项历史训练数据对应的训练模型集，包括：
针对历史数据集中的一目标历史训练数据，对第一模型候选集中每一个模型在所述目标历史训练数据上进行交叉验证，以得到每一个模型的效果评分，其中，所述目标历史训练数据为所述历史数据集中的任意一项数据；
选出效果评分最高的模型作为所述目标历史训练数据的最优模型，所述最优模型为所述训练模型集中的一个训练模型。
6.一种模型选择方法，其特征在于，包括：
根据待训练数据构建训练数据元特征；
将所述数据元特征输入使用权利要求1-5任意一项所述的选择模型训练方法得到的目标多分类模型中进行计算，以得到目标模型。
7.一种选择模型训练装置，其特征在于，包括：
获取模块，用于获取历史训练数据集及所述历史训练数据集中的各项历史训练数据对应的训练模型集；
第一构建模块，用于根据所述历史训练数据集和所述训练模型集构建元训练数据集，其中，每一条元训练数据包括：数据元特征及最优模型；
训练模块，用于使用所述元训练数据集对初始多分类模型进行训练，得到目标多分类模型，所述目标多分类模型用于根据训练数据实现训练模型的选择。
8.一种模型选择装置，其特征在于，包括：
第二构建模块，用于根据待训练数据构建训练数据元特征；
计算模块，用于将所述数据元特征输入使用权利要求1-5任意一项所述的选择模型训练方法得到的目标多分类模型中进行计算，以得到目标模型。
9.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任一所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011015454.8A CN112149737A (zh) | 2020-09-23 | 2020-09-23 | 选择模型训练方法、模型选择方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011015454.8A CN112149737A (zh) | 2020-09-23 | 2020-09-23 | 选择模型训练方法、模型选择方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112149737A true CN112149737A (zh) | 2020-12-29 |
Family
ID=73896627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011015454.8A Pending CN112149737A (zh) | 2020-09-23 | 2020-09-23 | 选择模型训练方法、模型选择方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112149737A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766288A (zh) * | 2021-03-03 | 2021-05-07 | 重庆赛迪奇智人工智能科技有限公司 | 图像处理模型构建方法、装置、电子设备和可读存储介质 |
| CN113407680A (zh) * | 2021-06-30 | 2021-09-17 | 竹间智能科技（上海）有限公司 | 异质集成模型筛选方法和电子设备 |
| CN113628697A (zh) * | 2021-07-28 | 2021-11-09 | 上海基绪康生物科技有限公司 | 一种针对分类不平衡数据优化的随机森林模型训练方法 |
| CN117239731A (zh) * | 2023-09-21 | 2023-12-15 | 山东工商学院 | 基于混合模型的节假日短期电力负荷预测方法 |
| CN117608257A (zh) * | 2024-01-23 | 2024-02-27 | 江苏中天互联科技有限公司 | 线缆排产方案的生成方法及电子设备 |
-
2020
- 2020-09-23 CN CN202011015454.8A patent/CN112149737A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766288A (zh) * | 2021-03-03 | 2021-05-07 | 重庆赛迪奇智人工智能科技有限公司 | 图像处理模型构建方法、装置、电子设备和可读存储介质 |
| CN112766288B (zh) * | 2021-03-03 | 2024-01-23 | 重庆赛迪奇智人工智能科技有限公司 | 图像处理模型构建方法、装置、电子设备和可读存储介质 |
| CN113407680A (zh) * | 2021-06-30 | 2021-09-17 | 竹间智能科技（上海）有限公司 | 异质集成模型筛选方法和电子设备 |
| CN113628697A (zh) * | 2021-07-28 | 2021-11-09 | 上海基绪康生物科技有限公司 | 一种针对分类不平衡数据优化的随机森林模型训练方法 |
| CN117239731A (zh) * | 2023-09-21 | 2023-12-15 | 山东工商学院 | 基于混合模型的节假日短期电力负荷预测方法 |
| CN117239731B (zh) * | 2023-09-21 | 2024-02-27 | 山东工商学院 | 基于混合模型的节假日短期电力负荷预测方法 |
| CN117608257A (zh) * | 2024-01-23 | 2024-02-27 | 江苏中天互联科技有限公司 | 线缆排产方案的生成方法及电子设备 |
| CN117608257B (zh) * | 2024-01-23 | 2024-05-28 | 江苏中天互联科技有限公司 | 线缆排产方案的生成方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112149737A (zh) | 选择模型训练方法、模型选择方法、装置及电子设备 | |
| Ciaburro | MATLAB for machine learning | |
| Sawatsky et al. | Partial least squares regression in the social sciences | |
| US10013636B2 (en) | Image object category recognition method and device | |
| US9886669B2 (en) | Interactive visualization of machine-learning performance | |
| CN111222556B (zh) | 一种基于决策树算法识别用电类别的方法及*** | |
| CN108090032B (zh) | 逻辑回归模型的可视化解释方法及装置 | |
| CN104616029B (zh) | 数据分类方法及装置 | |
| CN112395487B (zh) | 信息推荐方法、装置、计算机可读存储介质及电子设备 | |
| CN111680165B (zh) | 信息匹配方法、装置、可读存储介质和电子设备 | |
| CN111737473B (zh) | 文本分类方法、装置及设备 | |
| CN110737805B (zh) | 图模型数据的处理方法、装置和终端设备 | |
| CN110647995A (zh) | 规则训练方法、装置、设备及存储介质 | |
| CN111178537A (zh) | 一种特征提取模型训练方法及设备 | |
| CN111651340A (zh) | 告警数据规则挖掘方法、装置及电子设备 | |
| CN112487021B (zh) | 业务数据的关联分析方法、装置及设备 | |
| CN104572930B (zh) | 数据分类方法及装置 | |
| Nurhachita et al. | A comparison between naïve bayes and the k-means clustering algorithm for the application of data mining on the admission of new students | |
| US20170161358A1 (en) | Categorizing columns in a data table | |
| US20200142910A1 (en) | Data clustering apparatus and method based on range query using cf tree | |
| Pereira et al. | Assessing active learning strategies to improve the quality control of the soybean seed vigor | |
| JP2020154512A (ja) | 文分類装置、文分類方法及び文分類プログラム | |
| CN110175191B (zh) | 数据分析中的数据过滤规则建模方法 | |
| CN112861689A (zh) | 一种基于nas技术的坐标识别模型的搜索方法及装置 | |
| CN113901770A (zh) | 一种基于随机森林模型的报表生成方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201229 |