CN110263938A - 用于生成信息的方法和装置 - Google Patents

用于生成信息的方法和装置 Download PDF

Info

Publication number
CN110263938A
CN110263938A CN201910531479.4A CN201910531479A CN110263938A CN 110263938 A CN110263938 A CN 110263938A CN 201910531479 A CN201910531479 A CN 201910531479A CN 110263938 A CN110263938 A CN 110263938A
Authority
CN
China
Prior art keywords
pipeline
model
study
destination number
initial machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910531479.4A
Other languages
English (en)
Other versions
CN110263938B (zh
Inventor
韩光耀
陈兴波
谢国斌
刘彦江
曲福
薛礼强
张瑾
秦文静
罗小兰
杜泓江
姜泽青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910531479.4A priority Critical patent/CN110263938B/zh
Publication of CN110263938A publication Critical patent/CN110263938A/zh
Priority to KR1020190166707A priority patent/KR102308002B1/ko
Priority to JP2019230486A priority patent/JP6868677B2/ja
Priority to US16/722,649 priority patent/US11436540B2/en
Application granted granted Critical
Publication of CN110263938B publication Critical patent/CN110263938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3867—Concurrent instruction execution, e.g. pipeline or look ahead using instruction pipelines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开实施例公开了用于生成信息的方法和装置。该方法的一具体实施方式包括：接收建模请求；根据训练用数据的类型和模型类别，确定目标数量个初始机器学习管道；使用目标数量个初始机器学习管道执行以下模型生成步骤：基于目标数量个初始机器学习管道，生成目标数量个新机器学习管道；基于训练用数据、目标数量个初始机器学习管道以及目标数量个新机器学习管道进行模型训练，生成训练后模型；根据评估指标，分别对得到的训练后模型进行评估；确定是否达到预设的训练终止条件；响应于确定达到预设的训练终止条件，根据评估结果，从得到的训练后模型中确定目标训练后模型。该实施方式实现了模型的自动化生成。

Description

用于生成信息的方法和装置
技术领域
本公开实施例涉及计算机技术领域，具体涉及用于生成信息的方法和装置。
背景技术
在机器学习领域，由于使用机器学习算法进行建模的门槛较高，且人工调整模型参数的时间成本较高，因此自动化建模逐渐成为了热点。自动化建模使用简单，一方面可以使得一些对机器学习方面基础比较薄弱的人员快速入手使用。另一方面可以大幅度节省人工调整模型流程和参数的时间。目标自动化建模仍处于发展阶段，大量的研究都处于摸索阶段。
发明内容
本公开实施例提出了用于生成信息的方法和装置。
第一方面，本公开实施例提供了一种用于生成信息的方法，该方法包括：接收建模请求，其中，上述建模请求包括训练用数据、模型类别、目标数量和评估指标；根据上述训练用数据的类型和上述模型类别，确定上述目标数量个初始机器学习管道，其中，初始机器学习管道用于进行模型训练；使用上述目标数量个初始机器学习管道执行以下模型生成步骤：基于上述目标数量个初始机器学习管道，生成上述目标数量个新机器学习管道；基于上述训练用数据、上述目标数量个初始机器学习管道以及上述目标数量个新机器学习管道进行模型训练，生成训练后模型；根据上述评估指标，分别对得到的训练后模型进行评估；确定是否达到预设的训练终止条件；响应于确定达到预设的训练终止条件，根据评估结果，从得到的训练后模型中确定目标训练后模型。
在一些实施例中，上述方法还包括：响应于确定未达到预设的训练终止条件，根据评估结果，从上述目标数量个初始机器学习管道和上述目标数量个新机器学习管道中选取上述目标数量个机器学习管道作为初始机器学习管道，继续执行上述模型生成步骤。
在一些实施例中，上述方法还包括：生成针对上述目标训练后模型的模型文件，以及对上述目标训练后模型进行评估；将上述模型文件以及上述目标训练后模型的评估结果进行推送。
在一些实施例中，上述建模请求还包括最大迭代次数，以及上述训练终止条件包括：执行上述模型生成步骤的次数达到上述最大迭代次数；响应于确定执行上述模型生成步骤的次数未达到上述最大迭代次数，以及连续执行上述模型生成步骤预设次数得到的最优训练后模型的评估结果不变。
在一些实施例中，上述基于上述目标数量个初始机器学习管道，生成上述目标数量个新机器学习管道，包括：根据预设的交换比例，从上述目标数量个初始机器学习管道选取初始机器学习管道组成初始机器学习管道子集，基于上述初始机器学习管道子集中的两两初始机器学习管道，执行以下数据交换步骤：确定所选取的两个初始机器学习管道对应的两个模型是否相同；响应于确定相同，交换两个模型的模型参数，得到两个新机器学习管道；响应于确定不相同，交换所选取的两个初始机器学习管道对应的模型，得到两个新机器学习管道；对于上述目标数量个初始机器学习管道中的、除上述初始机器学习管道子集所包括的初始机器学习管道之外的初始机器学习管道，基于该初始机器学习管道生成新机器学习管道。
在一些实施例中，上述基于上述目标数量个初始机器学习管道，生成上述目标数量个新机器学习管道，包括：从上述目标数量个初始机器学习管道选取两个初始机器学习管道，执行以下数据交换步骤：确定所选取的两个初始机器学习管道对应的两个模型是否相同；响应于相同，交换两个模型的模型参数，得到两个新机器学习管道；响应于确定不相同，交换所选取的两个初始机器学习管道对应的模型，得到两个新机器学习管道；从上述目标数量个初始机器学习管道中选取出未执行过上述数据交换步骤的两个初始机器学习管道，继续执行上述数据交换步骤。
在一些实施例中，初始机器学习管道包括至少一个数据处理阶段和一个模型训练阶段；以及上述基于上述目标数量个初始机器学习管道，生成上述目标数量个新机器学习管道，包括：对于上述目标数量个初始机器学习管道中的机器学习管道，选取该初始机器学习管道的至少一个数据处理阶段和/或模型训练阶段对应的模型中的预设数量个部分进行变化，生成新机器学习管道。
第二方面，本公开实施例提供了一种用于生成信息的装置，上述装置包括：接收单元，被配置成接收建模请求，其中，上述建模请求包括训练用数据、模型类别、目标数量和评估指标；确定单元，被配置成根据上述训练用数据的类型和上述模型类别，确定上述目标数量个初始机器学习管道，其中，初始机器学习管道用于进行模型训练；生成单元，被配置成使用上述目标数量个初始机器学习管道执行模型生成步骤，其中，上述生成单元包括：第一生成模块，被配置成基于上述目标数量个初始机器学习管道，生成上述目标数量个新机器学习管道；第二生成模块，被配置成基于上述训练用数据、上述目标数量个初始机器学习管道以及上述目标数量个新机器学习管道进行模型训练，生成训练后模型；评估模块，被配置成根据上述评估指标，分别对得到的训练后模型进行评估；条件确定模块，被配置成确定是否达到预设的训练终止条件；模型确定模块，被配置成响应于确定达到预设的训练终止条件，根据评估结果，从得到的训练后模型中确定目标训练后模型。
在一些实施例中，上述装置还包括：选取单元，被配置成响应于确定未达到预设的训练终止条件，根据评估结果，从上述目标数量个初始机器学习管道和上述目标数量个新机器学习管道中选取上述目标数量个机器学习管道作为初始机器学习管道，继续执行上述模型生成步骤。
在一些实施例中，上述装置还包括：文件生成单元，被配置成生成针对上述目标训练后模型的模型文件，以及对上述目标训练后模型进行评估；推送单元，被配置成将上述模型文件以及上述目标训练后模型的评估结果进行推送。
在一些实施例中，上述建模请求还包括最大迭代次数，以及上述训练终止条件包括：执行上述模型生成步骤的次数达到上述最大迭代次数；响应于确定执行上述模型生成步骤的次数未达到上述最大迭代次数，以及连续执行上述模型生成步骤预设次数得到的最优训练后模型的评估结果不变。
在一些实施例中，上述第一生成模块进一步被配置成：根据预设的交换比例，从上述目标数量个初始机器学习管道选取初始机器学习管道组成初始机器学习管道子集，基于上述初始机器学习管道子集中的两两初始机器学习管道，执行以下数据交换步骤：确定所选取的两个初始机器学习管道对应的两个模型是否相同；响应于确定相同，交换两个模型的模型参数，得到两个新机器学习管道；响应于确定不相同，交换所选取的两个初始机器学习管道对应的模型，得到两个新机器学习管道；对于上述目标数量个初始机器学习管道中的、除上述初始机器学习管道子集所包括的初始机器学习管道之外的初始机器学习管道，基于该初始机器学习管道生成新机器学习管道。
在一些实施例中，上述第一生成模块进一步被配置成：从上述目标数量个初始机器学习管道选取两个初始机器学习管道，执行以下数据交换步骤：确定所选取的两个初始机器学习管道对应的两个模型是否相同；响应于相同，交换两个模型的模型参数，得到两个新机器学习管道；响应于确定不相同，交换所选取的两个初始机器学习管道对应的模型，得到两个新机器学习管道；从上述目标数量个初始机器学习管道中选取出未执行过上述数据交换步骤的两个初始机器学习管道，继续执行上述数据交换步骤。
在一些实施例中，初始机器学习管道包括至少一个数据处理阶段和一个模型训练阶段；以及上述第一生成模块进一步被配置成：对于上述目标数量个初始机器学习管道中的机器学习管道，选取该初始机器学习管道的至少一个数据处理阶段和/或模型训练阶段对应的模型中的预设数量个部分进行变化，生成新机器学习管道。
第三方面，本公开实施例提供了一种设备，该设备包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本公开实施例提供的用于生成信息的方法和装置，接收建模请求，并根据建模请求中训练用数据的类型和模型类别确定目标数量个初始机器学习管道，使用目标数量个初始机器学习管道执行以下模型生成步骤：首先，基于目标数量个初始机器学习管道生成目标数量个新机器学习管道；而后，基于训练用数据、目标数量个初始机器学习管道以及目标数量个新机器学习管道进行模型训练，生成训练后模型；然后，根据评估指标分别对得到的训练后模型进行评估；最后，确定是否达到预设的训练终止条件，如果达到预设的训练终止条件，则根据评估结果从得到的训练后模型中确定目标训练后模型，从而实现了模型的自动化生成。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
图1是本公开的一个实施例可以应用于其中的示例性***架构图；
图2是根据本公开的用于生成信息的方法的一个实施例的流程图；
图3是根据本公开的用于生成信息的方法的一个应用场景的示意图；
图4是根据本公开的用于生成信息的方法的又一个实施例的流程图；
图5是根据本公开的用于生成信息的装置的一个实施例的结构示意图；
图6是适于用来实现本公开实施例的设备的计算机***的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开实施例的用于生成信息的方法或用于生成信息的装置的示例性***架构100。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如自动化建模软件、网页浏览器应用、社交平台软件等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且支持信息输入的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如根据终端设备101、102、103发送的建模请求生成目标训练后模型的后台服务器。后台服务器可以对接收到的建模请求进行分析等处理，并将处理结果(例如生成的模型)反馈给终端设备101、102、103。需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
需要说明的是，本公开实施例所提供的用于生成信息的方法可以由终端设备101、102、103执行，也可以由服务器105执行。相应地，用于生成信息的装置可以设置于终端设备101、102、103中，也可以设置于服务器105中。
继续参考图2，示出了根据本公开的用于生成信息的方法的一个实施例的流程200。该用于生成信息的方法，包括以下步骤：
步骤201，接收建模请求。
在本实施例中，用于生成信息的方法的执行主体(例如图1所示的终端设备101、102、103或者服务器105)可以接收建模请求。作为示例，当执行主体为终端设备时，执行主体可以直接接收用户输入的建模请求；当执行主体为服务器时，执行主体可以通过有线连接方式或者无线连接方式从用户利用其进行信息输入的终端接收建模请求。这里，建模请求包括训练用数据、模型类别、目标数量和评估指标等等。这里，训练用数据可以是指用于训练机器学习模型的数据。模型类别可以是指用户所要得到的模型的种类，作为示例，模型种类可以包括二分类模型、多分类模型、聚类模型、回归模型等等。目标数量可以用于指示根据训练用数据的类型生成初始机器学习管道的数量。这里，训练用数据的类型可以包括字符串类型和数值类型。评估指标可以在模型训练过程中对训练得到的模型进行评估。
实践中，针对每一种模型种类，执行主体可以预先设置多种不同的评估指标，以供用户在输入建模请求时选择其中的一种。作为示例，针对二分类模型设置的评估指标可以包括但不限于：AUC(Area Under Curve，ROC曲线下与坐标轴围成的面积)、accuracy(准确率)、pr曲线、logloss(对数损失)、precision(精准率)、recall(召回率)、f1值、ks值等等。针对多分类模型预先设置的评估指标可以包括但不限于：accuracy、precision、recall、f1值等等。针对聚类模型设置的评估指标可以包括但不限于：轮廓系数。针对回归模型设置的评估指标可以包括但不限于：RMSE(Root Mean Squard Error，均方根误差)、MSE(MeanSquared Error，均方误差)、MAE(Mean Absolute Error，平均绝对误差)、MAPE(MeanAbsolute Percentage Error，平均绝对百分比误差)、SSREG(sum of squares forregression，回归平方和)、R2等等。
步骤202，根据训练用数据的类型和模型类别，确定目标数量个初始机器学习管道。
在本实施例中，执行主体可以根据建模请求中的训练用数据的类型和模型类别，确定目标数量个初始机器学习管道。作为示例，训练用数据的类型可以包括字符串类型和数值类型。这里，初始机器学习管道可以用于进行模型训练。初始机器学习管道可以包括至少一个数据处理阶段和一个模型训练阶段，其中，模型训练阶段用于对机器学习模型进行训练，模型训练阶段所训练的模型的种类与上述模型类别相同
通常，一个机器学习模型的生成过程从数据收集开始，要经历源数据的抽取、转化、预处理、特征工程、特征选择、模型训练等等多个阶段才能得到训练后的机器学习模型。整个过程类似于流水线工作。每个阶段可以作为流水线工作中的一个工作流阶段。而这种流水线工作也可以作为机器学习管道。机器学习管道可以将至少一个数据处理阶段和模型训练阶段有序的组合在一起，形成机器学习模型训练的工作流。
实践中，针对每一种训练用数据的类型，执行主体内部可以预先设定多种阶段组合，每一种阶段组合包括多个阶段，每一种阶段组合可以构建一个机器学习管道。这样，执行主体可以根据接收到的训练用数据的类型和模型类别，从针对该类型设定的多种阶段组合中选取(例如，随机选取)阶段组合构建机器学习管道。作为示例，针对数值类型，执行主体可以预先设定以下多种阶段组合：1)特征向量化+模型训练；2)数据分箱+特征向量化+模型训练；3)特征向量化+特征工程+模型训练；4)特征向量化+特征选择+模型训练。5)数据分箱+特征向量化+特征工程+模型训练；6)数据分箱+特征向量化+特征选择+模型训练；7)特征向量化+特征选择+特征工程+模型训练；8)数据分箱+特征向量化+特征选择+特征工程+模型训练。作为示例，针对字符串类型，执行主体可以预先设定以下多种阶段组合：1)数值化+独热编码+特征向量化+模型训练；2)数值化+独热编码+数据分箱+特征向量化+模型训练；3)数值化+独热编码+特征向量化+特征工程+模型训练；4)数值化+独热编码+特征向量化+特征选择+模型训练。5)数值化+独热编码+数据分箱+特征向量化+特征工程+模型训练；6)数值化+独热编码+数据分箱+特征向量化+特征选择+模型训练；7)数值化+独热编码+特征向量化+特征选择+特征工程+模型训练；8)数值化+独热编码+数据分箱+特征向量化+特征选择+特征工程+模型训练。实践中，所确定的目标数量个初始机器学习管道中的每一个初始机器学习管道的模型训练阶段所对应的模型的种类与建模请求中的模型类别相同。
这里，阶段组合中的某些阶段还可以包括多种方式供执行主体选取(例如随机选取)。作为示例，特征工程可以包括但不限于：数值化、独热编码、归一化、标准化、正则化、IDF(Inverse Document Frequency，逆文本频率指数)计算等等。数据分箱可以包括但不限于：等距分箱、等频分箱。特征选择可以包括但不限于：PCA(PrincipalComponentsAnalysis，主成分分析)降维、卡方特征选择、多项式特征非线性转换等等。模型训练阶段所训练的模型可以包括二分类模型、多分类模型、回归模型、聚类模型等等。其中，分类模型可以包括逻辑回归、随机森林、决策树、朴素贝叶斯算法、xgboost(eXtreme GradientBoosting，极端梯度提升)算法等等。回归模型可以包括线性回归、随机森林回归、决策树回归、xgboost回归等等。聚类模型可以包括k均值聚类、高斯混合聚类等等。
步骤203，使用目标数量个初始机器学习管道执行以下模型生成步骤2031～2035。
在本实施例中，执行主体可以使用步骤202中生成的目标数量个初始机器学习管道执行以下模型生成步骤2031～2034。
步骤2031，基于目标数量个初始机器学习管道，生成目标数量个新机器学习管道。
在本实施例中，执行主体可以基于目标数量个初始机器学习管道生成目标数量个新机器学习管道。例如，假设目标数量为10，则执行主体可以根据10个初始机器学习管道生成10个新机器学习管道。
在本实施例的一些可选的实现方式中，上述步骤2031可以具体如下进行：
步骤S1，根据预设的交换比例，从目标数量个初始机器学习管道选取初始机器学习管道组成初始机器学习管道子集，基于初始机器学习管道子集中的两两初始机器学习管道，执行以下数据交换步骤S11～S13。
在本实现方式中，执行主体内可以预先设定有交换比例。这样，执行主体可以根据交换比例从目标数量个初始机器学习管道选取偶数个初始机器学习管道组成初始机器学习管道子集。作为示例，执行主体可以计算交换比例与目标数量的乘积，如果得到的乘积为偶数，则从目标数量个初始机器学习管道中随机选取乘积个初始机器学习管道组成初始机器学习管道子集；如果得到的乘积为奇数，则从目标数量个初始机器学习管道中随机选取乘积加一(或减一)个初始机器学习管道组成初始机器学习管道子集。之后，执行主体可以对初始机器学习管道子集中的偶数个初始机器学习管道两两进行随机配对，每对初始机器学习管道执行以下数据交换步骤S11～S13。
步骤S11，确定所选取的两个初始机器学习管道对应的两个模型是否相同。
在本实现方式中，执行主体可以确定每对初始机器学习管道中所选取的两个初始机器学习管道对应的两个模型是否相同。这里，一个初始机器学习管道对应的模型，可以是指该初始机器学习管道的模型训练阶段所要训练的机器学习模型。作为示例，执行主体可以通过模型结构判断两个模型是否相同，如果模型结构相同，则可以确定这两个模型相同；如果模型结构不同，则可以确定这两个模型不同。
步骤S12，响应于确定相同，交换两个模型的模型参数，得到两个新机器学习管道。
在本实现方式中，如果两个初始机器学习管道对应的两个模型相同，执行主体可以交换两个模型的模型参数。作为示例，可以交换两个模型的全部模型参数，也可以随机交换部分模型参数。这样，可以得到两个新机器学习管道。举例来说，假设初始机器学习管道1包括：数据分箱+特征向量化+决策树模型训练，初始机器学习管道2包括：特征向量化+特征选择+特征工程+决策树模型训练。初始机器学习管道1和初始机器学习管道2对应的模型都是决策树模型，则可以交换决策树模型的模型参数，从而得到模型参数发生变化的两个新机器学习管道。
步骤S13，响应于确定不相同，交换所选取的两个初始机器学习管道对应的模型，得到两个新机器学习管道。
在本实现方式中，如果两个初始机器学习管道对应的两个模型不相同，则执行主体可以交换所选取的两个初始机器学习管道对应的模型，从而得到两个新机器学习管道。
步骤S2，对于目标数量个初始机器学习管道中的、除初始机器学习管道子集所包括的初始机器学习管道之外的初始机器学习管道，基于该初始机器学习管道生成新机器学习管道。
在本实现方式中，对于上述目标数量个初始机器学习管道中的、除初始机器学习管道子集所包括的初始机器学习管道之外的每一个初始机器学习管道，执行主体可以基于该初始机器学习管道生成一个的新机器学习管道。作为示例，执行主体可以随机选择该初始机器学习管道中的一个或多个数据处理阶段进行改变，例如，随机变化方式、随机变化参数等等。
本实现方式中生成新机器学习管道的方式可以类似于遗传算法(GeneticAlgorithm，GA)的交叉和变异。遗传算法中交叉的理念是优秀个体与优秀个体结合有大概率生成更优秀的个体，可使个体趋于最优值。遗传算法中变异的理念是个体突变可能会产生更优的个体，也可能会产生更差的个体，差的个体会在以后的迭代中丢掉，好的个体会保留，用来产生更好的个体。变异可以使优化路径跳出局部最优值，趋于全局最优值。通过遗传算法中交叉和变异的理念修改机器学习管道对应的模型和参数，从而使自动化建模过程中不断生成新的机器学习管道，以便后续选择和使用。之后，通过模型生成步骤的循环执行，可以生成更优的模型。
在本实施例的一些可选的实现方式中，上述步骤2031可以还具体包括以下步骤：
步骤一，从目标数量个初始机器学习管道选取两个初始机器学习管道，执行以下数据交换步骤1)～3)。
在本实现方式中，上述目标数量为偶数。执行主体可以从目标数量个初始机器学习管道中随机选取两个初始机器学习管道，执行数据交换步骤1)～3)。
步骤1)，确定所选取的两个初始机器学习管道对应的两个模型是否相同。
在本实现方式中，执行主体可以判断所选取的两个初始机器学习管道对应的两个模型是否相同。
步骤2)，响应于相同，交换两个模型的模型参数，得到两个新机器学习管道。
在本实现方式中，如果判断所选取的两个初始机器学习管道对应的两个模型相同，则执行主体可以交换这两个模型的模型参数，从而得到两个新机器学习管道。
步骤3)，响应于确定不相同，交换所选取的两个初始机器学习管道对应的模型，得到两个新机器学习管道。
在本实现方式中，如果判断所选取的两个初始机器学习管道对应的两个模型不相同，则执行主体可以交换所选取的两个初始机器学习管道对应的模型，从而得到两个新机器学习管道。
步骤二，从目标数量个初始机器学习管道中选取出未执行过数据交换步骤的两个初始机器学习管道，继续执行数据交换步骤。
在本实现方式中，执行主体还可以从目标数量个初始机器学习管道中重新选取出两个未执行过上述数据交换步骤的初始机器学习管道，继续执行上述数据交换步骤，直至目标数量个初始机器学习管道全部执行上述数据交换步骤。
在本实施例的一些可选的实现方式中，上述步骤2031可以还具体包括以下步骤：对于目标数量个初始机器学习管道中的机器学习管道，选取该初始机器学习管道的至少一个数据处理阶段和/或模型训练阶段对应的模型中的预设数量个部分进行变化，生成新机器学习管道。
在本实现方式中，对于上述目标数量个初始机器学习管道中的每一个机器学习管道，执行主体可以随机选取该初始机器学习管道的至少一个数据处理阶段和/或模型训练阶段对应的模型中的预设数量个部分进行变化，例如，随机变化方式、随机变化参数等等，从而生成一个新机器学习管道。
步骤2032，基于训练用数据、目标数量个初始机器学习管道以及目标数量个新机器学习管道进行模型训练，生成训练后模型。
在本实施例中，执行主体可以基于训练用数据、目标数量个初始机器学习管道以及目标数量个新机器学习管道进行模型训练，从而生成训练后模型。具体而言，对于目标数量个初始机器学习管道以及目标数量个新机器学习管道中的每一个机器学习管道，执行主体可以将训练用数据作为输入数据输入该机器学习管道，输入数据以流的方式按顺序被该机器学习管道中的各个数据处理阶段处理，即一个数据处理阶段处理完数据后，将处理结果传给下一个数据处理阶段进行进一步的处理。从而完成模型训练，得到训练后模型。这里，通过一个机器学习管道可以得到一个训练后模型。实践中，为了提高模型训练的效率，可以基于分布式对目标数量个初始机器学习管道以及目标数量个新机器学习管道进行模型训练。作为示例，本实施例可以基于Spark框架进行设计。Spark是专为大规模数据处理而设计的快速通用的计算引擎。这样可以极大的提高模型的训练效率。
步骤2033，根据评估指标，分别对得到的训练后模型进行评估。
在本实施例中，执行主体可以根据建模请求中的评估指标，分别对得到的每一个训练后模型进行评估，得到评估结果。
步骤2034，确定是否达到预设的训练终止条件。
在本实施例中，执行主体中可以存储有预设的训练终止条件，并判断当前条件是否达到训练终止条件。这里，上述训练终止条件可以根据实际需要进行设定。
在本实施例的一些可选的实现方式中，步骤201中接收到的建模请求还可以包括最大迭代次数。这里，最大迭代次数可以是指用户设定的、允许上述模型生成步骤所执行次数的最大值。以及
步骤2034中的训练终止条件可以包括：1)执行模型生成步骤的次数达到最大迭代次数；2)响应于确定执行模型生成步骤的次数未达到最大迭代次数，以及连续执行模型生成步骤预设次数得到的最优训练后模型的评估结果不变。
在本实现方式中，每次执行模型生成步骤，执行主体都可以判断执行模型生成步骤的总次数是否达到最大迭代次数。如果达到最大迭代次数，执行主体就可以确定当前时刻达到了预设的训练终止条件1)；如果没有达到最大迭代次数，执行主体可以根据步骤2033的评估结果进一步判断，连续执行模型生成步骤预设次数后每次得到的最优训练后模型的评估结果是否发生变化，如果不变，则执行主体可以确定当前时刻达到了预设的训练终止条件2)。这里，最优训练后模型可以是指每次执行模型生成步骤之后，根据建模请求中的评估指标所确定的最优的训练后模型。
步骤2035，响应于确定达到预设的训练终止条件，根据评估结果，从得到的训练后模型中确定目标训练后模型。
在本实施例中，如果确定当前条件达到预设的训练终止条件，执行主体可以根据评估结果从得到的训练后模型中确定目标训练后模型。举例来说，执行主体可以根据评估结果将步骤2032中得到所有训练后模型按由优到差的顺序进行排序，并选取排在第一位的训练后模型作为目标训练后模型。
在本实施例的一些可选的实现方式中，上述用于生成信息的方法还可以包括以下步骤：
首先，生成针对目标训练后模型的模型文件，以及对目标训练后模型进行评估；
在本实施例中，确定目标训练后模型后，执行主体还可以生成针对该目标训练后模型的模型文件。作为示例，模型文件可以是pmml(Predictive Model Markup Language，预言模型标记语言)文件。同时，执行主体还可以使用多种预设的评估指标对目标训练后模型进行评估。这里，评估目标训练后模型所使用的评估指标可以与建模请求中的评估指标相同，也可以与建模请求中的评估指标不同。
然后，将模型文件以及目标训练后模型的评估结果进行推送。
在本实施例中，执行主体可以将生成的模型文件，以及目标训练后模型的评估结果进行推送。作为示例，执行主体可以将目标训练后模型的模型文件和评估结果推送给发送建模请求的用户。这里，执行主体还可以将目标训练后模型对应的机器学习管道的各个数据处理阶段的信息推送给用户。其中，目标训练后模型对应的机器学习管道是指生成目标训练后模型的机器学习管道。
继续参见图3，图3是根据本实施例的用于生成信息的方法的应用场景的一个示意图。在图3的应用场景中，服务器301接收用户通过终端设备302发送的建模请求，其中，建模请求包括训练用数据、模型类别、目标数量15和评估指标。之后，服务器301根据训练用数据的类型和模型类别，确定15个初始机器学习管道。服务器301使用15个初始机器学习管道执行以下模型生成步骤：首先，基于15个初始机器学习管道，生成15个新机器学习管道；其次，基于训练用数据、15个初始机器学习管道以及15个新机器学习管道进行模型训练，生成30个训练后模型；然后，根据评估指标，分别对得到的30个训练后模型进行评估。最后，确定是否达到预设的训练终止条件，如果达到预设的训练终止条件，则根据评估结果，从得到的30个训练后模型中确定一个最优的训练后模型作为目标训练后模型，并将目标训练后模型对应的模型文件发送给终端设备302。
本公开的上述实施例提供的方法根据用户发送的建模请求自动生成目标训练后模型，实现了模型的自动化生成。
进一步参考图4，其示出了用于生成信息的方法的又一个实施例的流程400。该用于生成信息的方法的流程400，包括以下步骤：
步骤401，接收建模请求。
在本实施例中，步骤401与图2所示实施例的步骤201类似，此处不再赘述。
步骤402，根据训练用数据的类型和模型类别，确定目标数量个初始机器学习管道。
在本实施例中，步骤402与图2所示实施例的步骤202类似，此处不再赘述。
步骤403，使用目标数量个初始机器学习管道执行以下模型生成步骤4031～4035。
在本实施例中，执行主体可以使用目标数量个初始机器学习管道执行以下模型生成步骤4031～4035。
步骤4031，基于目标数量个初始机器学习管道，生成目标数量个新机器学习管道。
在本实施例中，步骤4031与图2所示实施例的步骤2031类似，此处不再赘述。
步骤4032，基于训练用数据、目标数量个初始机器学习管道以及目标数量个新机器学习管道进行模型训练，生成训练后模型。
在本实施例中，步骤4032与图2所示实施例的步骤2032类似，此处不再赘述。
步骤4033，根据评估指标，分别对得到的训练后模型进行评估。
在本实施例中，步骤4033与图2所示实施例的步骤2033类似，此处不再赘述。
步骤4034，确定是否达到预设的训练终止条件。
在本实施例中，步骤4034与图2所示实施例的步骤2034类似，此处不再赘述。
步骤4035，响应于确定达到预设的训练终止条件，根据评估结果，从得到的训练后模型中确定目标训练后模型。
在本实施例中，步骤4035与图2所示实施例的步骤2035类似，此处不再赘述。
步骤404，响应于确定未达到预设的训练终止条件，根据评估结果，从目标数量个初始机器学习管道和目标数量个新机器学习管道中选取目标数量个机器学习管道作为初始机器学习管道，继续执行模型生成步骤。
在本实施例中，如果确定未达到预设的训练终止条件，则执行主体可以根据步骤4033得到的评估结果，从目标数量个初始机器学习管道和目标数量个新机器学习管道中选取目标数量个机器学习管道作为新的初始机器学习管道，继续执行上述模型生成步骤。作为示例，执行主体可以根据所生成的训练后模型的评估结果由优到差的顺序将目标数量个初始机器学习管道和目标数量个新机器学习管道进行排序，将排在前目标数量位的机器学习管道作为新的初始机器学习管道。举例来说，假设目标数量为10，初始机器学习管道包括机器学习管道0-9，新机器学习管道包括机器学习管道10-19。则可以根据所生成的训练后模型的评估结果由优到差的顺序对机器学习管道0-9和机器学习管道10-19进行排序，并选取排在前10位的10个机器学习管道作为新的初始机器学习管道。
从图4中可以看出，与图2对应的实施例相比，本实施例中的用于生成信息的方法的流程400突出了在未达到训练终止条件时，从目标数量个初始机器学习管道和目标数量个新机器学习管道中选取目标数量个机器学习管道作为初始机器学习管道，继续执行模型生成步骤的步骤。由此，本实施例描述的方案可以迭代执行模型生成步骤，从而提高了自动生成的模型的效果。
进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种用于生成信息的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于生成信息的装置500包括：接收单元501、确定单元502、生成单元503。其中，接收单元501被配置成接收建模请求，其中，上述建模请求包括训练用数据、模型类别、目标数量和评估指标；确定单元502被配置成根据上述训练用数据的类型和模型类别，确定上述目标数量个初始机器学习管道，其中，初始机器学习管道用于进行模型训练；生成单元503被配置成使用上述目标数量个初始机器学习管道执行模型生成步骤，其中，上述生成单元503包括：第一生成模块5031，被配置成基于上述目标数量个初始机器学习管道，生成上述目标数量个新机器学习管道；第二生成模块5032，被配置成基于上述训练用数据、上述目标数量个初始机器学习管道以及上述目标数量个新机器学习管道进行模型训练，生成训练后模型；评估模块5033，被配置成根据上述评估指标，分别对得到的训练后模型进行评估；条件确定模块5034，被配置成确定是否达到预设的训练终止条件；模型确定模块5035，被配置成响应于确定达到预设的训练终止条件，根据评估结果，从得到的训练后模型中确定目标训练后模型。
在本实施例中，用于生成信息的装置500的接收单元501、确定单元502、生成单元503的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201、步骤202和步骤203的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，上述装置500还包括：选取单元(图中未示出)，被配置成响应于确定未达到预设的训练终止条件，根据评估结果，从上述目标数量个初始机器学习管道和上述目标数量个新机器学习管道中选取上述目标数量个机器学习管道作为初始机器学习管道，继续执行上述模型生成步骤。
在本实施例的一些可选的实现方式中，上述装置500还包括：文件生成单元(图中未示出)，被配置成生成针对上述目标训练后模型的模型文件，以及对上述目标训练后模型进行评估；推送单元(图中未示出)，被配置成将上述模型文件以及上述目标训练后模型的评估结果进行推送。
在本实施例的一些可选的实现方式中，上述建模请求还包括最大迭代次数，以及上述训练终止条件包括：执行上述模型生成步骤的次数达到上述最大迭代次数；响应于确定执行上述模型生成步骤的次数未达到上述最大迭代次数，以及连续执行上述模型生成步骤预设次数得到的最优训练后模型的评估结果不变。
在本实施例的一些可选的实现方式中，上述第一生成模块5031进一步被配置成：根据预设的交换比例，从上述目标数量个初始机器学习管道选取初始机器学习管道组成初始机器学习管道子集，基于上述初始机器学习管道子集中的两两初始机器学习管道，执行以下数据交换步骤：确定所选取的两个初始机器学习管道对应的两个模型是否相同；响应于确定相同，交换两个模型的模型参数，得到两个新机器学习管道；响应于确定不相同，交换所选取的两个初始机器学习管道对应的模型，得到两个新机器学习管道；对于上述目标数量个初始机器学习管道中的、除上述初始机器学习管道子集所包括的初始机器学习管道之外的初始机器学习管道，基于该初始机器学习管道生成新机器学习管道。
在本实施例的一些可选的实现方式中，上述第一生成模块5031进一步被配置成：从上述目标数量个初始机器学习管道选取两个初始机器学习管道，执行以下数据交换步骤：确定所选取的两个初始机器学习管道对应的两个模型是否相同；响应于相同，交换两个模型的模型参数，得到两个新机器学习管道；响应于确定不相同，交换所选取的两个初始机器学习管道对应的模型，得到两个新机器学习管道；从上述目标数量个初始机器学习管道中选取出未执行过上述数据交换步骤的两个初始机器学习管道，继续执行上述数据交换步骤。
在本实施例的一些可选的实现方式中，初始机器学习管道包括至少一个数据处理阶段和一个模型训练阶段；以及上述第一生成模块5031进一步被配置成：对于上述目标数量个初始机器学习管道中的机器学习管道，选取该初始机器学习管道的至少一个数据处理阶段和/或模型训练阶段对应的模型中的预设数量个部分进行变化，生成新机器学习管道。
下面参考图6，其示出了适于用来实现本公开的实施例的电子设备(例如图1中的服务器或终端设备)600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开的实施例的方法中限定的上述功能。
需要说明的是，本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收建模请求，其中，上述建模请求包括训练用数据、模型类别、目标数量和评估指标；根据上述训练用数据的类型和模型类别，确定上述目标数量个初始机器学习管道，其中，初始机器学习管道用于进行模型训练；使用上述目标数量个初始机器学习管道执行以下模型生成步骤：基于上述目标数量个初始机器学习管道，生成上述目标数量个新机器学习管道；基于上述训练用数据、上述目标数量个初始机器学习管道以及上述目标数量个新机器学习管道进行模型训练，生成训练后模型；根据上述评估指标，分别对得到的训练后模型进行评估；确定是否达到预设的训练终止条件；响应于确定达到预设的训练终止条件，根据评估结果，从得到的训练后模型中确定目标训练后模型。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括接收单元、确定单元、和生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，接收单元还可以被描述为“接收建模请求的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种用于生成信息的方法，包括：
接收建模请求，其中，所述建模请求包括训练用数据、模型类别、目标数量和评估指标；
根据所述训练用数据的类型和所述模型类别，确定所述目标数量个初始机器学习管道，其中，初始机器学习管道用于进行模型训练；
使用所述目标数量个初始机器学习管道执行以下模型生成步骤：基于所述目标数量个初始机器学习管道，生成所述目标数量个新机器学习管道；基于所述训练用数据、所述目标数量个初始机器学习管道以及所述目标数量个新机器学习管道进行模型训练，生成训练后模型；根据所述评估指标，分别对得到的训练后模型进行评估；确定是否达到预设的训练终止条件；响应于确定达到预设的训练终止条件，根据评估结果，从得到的训练后模型中确定目标训练后模型。
2.根据权利要求1所述的方法，其中，所述方法还包括：
响应于确定未达到预设的训练终止条件，根据评估结果，从所述目标数量个初始机器学习管道和所述目标数量个新机器学习管道中选取所述目标数量个机器学习管道作为初始机器学习管道，继续执行所述模型生成步骤。
3.根据权利要求1所述的方法，其中，所述方法还包括：
生成针对所述目标训练后模型的模型文件，以及对所述目标训练后模型进行评估；
将所述模型文件以及所述目标训练后模型的评估结果进行推送。
4.根据权利要求1所述的方法，其中，所述建模请求还包括最大迭代次数，以及所述训练终止条件包括：
执行所述模型生成步骤的次数达到所述最大迭代次数；
响应于确定执行所述模型生成步骤的次数未达到所述最大迭代次数，以及连续执行所述模型生成步骤预设次数得到的最优训练后模型的评估结果不变。
5.根据权利要求1所述的方法，其中，所述基于所述目标数量个初始机器学习管道，生成所述目标数量个新机器学习管道，包括：
根据预设的交换比例，从所述目标数量个初始机器学习管道选取初始机器学习管道组成初始机器学习管道子集，基于所述初始机器学习管道子集中的两两初始机器学习管道，执行以下数据交换步骤：确定所选取的两个初始机器学习管道对应的两个模型是否相同；响应于确定相同，交换两个模型的模型参数，得到两个新机器学习管道；响应于确定不相同，交换所选取的两个初始机器学习管道对应的模型，得到两个新机器学习管道；
对于所述目标数量个初始机器学习管道中的、除所述初始机器学习管道子集所包括的初始机器学习管道之外的初始机器学习管道，基于该初始机器学习管道生成新机器学习管道。
6.根据权利要求1所述的方法，其中，所述基于所述目标数量个初始机器学习管道，生成所述目标数量个新机器学习管道，包括：
从所述目标数量个初始机器学习管道选取两个初始机器学习管道，执行以下数据交换步骤：确定所选取的两个初始机器学习管道对应的两个模型是否相同；响应于相同，交换两个模型的模型参数，得到两个新机器学习管道；响应于确定不相同，交换所选取的两个初始机器学习管道对应的模型，得到两个新机器学习管道；
从所述目标数量个初始机器学习管道中选取出未执行过所述数据交换步骤的两个初始机器学习管道，继续执行所述数据交换步骤。
7.根据权利要求1所述的方法，其中，初始机器学习管道包括至少一个数据处理阶段和一个模型训练阶段；以及
所述基于所述目标数量个初始机器学习管道，生成所述目标数量个新机器学习管道，包括：
对于所述目标数量个初始机器学习管道中的机器学习管道，选取该初始机器学习管道的至少一个数据处理阶段和/或模型训练阶段对应的模型中的预设数量个部分进行变化，生成新机器学习管道。
8.一种用于生成信息的装置，包括：
接收单元，被配置成接收建模请求，其中，所述建模请求包括训练用数据、模型类别、目标数量和评估指标；
确定单元，被配置成根据所述训练用数据的类型和所述模型类别，确定所述目标数量个初始机器学习管道，其中，初始机器学习管道用于进行模型训练；
生成单元，被配置成使用所述目标数量个初始机器学习管道执行模型生成步骤，其中，所述生成单元包括：第一生成模块，被配置成基于所述目标数量个初始机器学习管道，生成所述目标数量个新机器学习管道；第二生成模块，被配置成基于所述训练用数据、所述目标数量个初始机器学习管道以及所述目标数量个新机器学习管道进行模型训练，生成训练后模型；评估模块，被配置成根据所述评估指标，分别对得到的训练后模型进行评估；条件确定模块，被配置成确定是否达到预设的训练终止条件；模型确定模块，被配置成响应于确定达到预设的训练终止条件，根据评估结果，从得到的训练后模型中确定目标训练后模型。
9.根据权利要求8所述的装置，其中，所述装置还包括：
选取单元，被配置成响应于确定未达到预设的训练终止条件，根据评估结果，从所述目标数量个初始机器学习管道和所述目标数量个新机器学习管道中选取所述目标数量个机器学习管道作为初始机器学习管道，继续执行所述模型生成步骤。
10.根据权利要求8所述的装置，其中，所述装置还包括：
文件生成单元，被配置成生成针对所述目标训练后模型的模型文件，以及对所述目标训练后模型进行评估；
推送单元，被配置成将所述模型文件以及所述目标训练后模型的评估结果进行推送。
11.根据权利要求8所述的装置，其中，所述建模请求还包括最大迭代次数，以及所述训练终止条件包括：
执行所述模型生成步骤的次数达到所述最大迭代次数；
响应于确定执行所述模型生成步骤的次数未达到所述最大迭代次数，以及连续执行所述模型生成步骤预设次数得到的最优训练后模型的评估结果不变。
12.根据权利要求8所述的装置，其中，所述第一生成模块进一步被配置成：
根据预设的交换比例，从所述目标数量个初始机器学习管道选取初始机器学习管道组成初始机器学习管道子集，基于所述初始机器学习管道子集中的两两初始机器学习管道，执行以下数据交换步骤：确定所选取的两个初始机器学习管道对应的两个模型是否相同；响应于确定相同，交换两个模型的模型参数，得到两个新机器学习管道；响应于确定不相同，交换所选取的两个初始机器学习管道对应的模型，得到两个新机器学习管道；
对于所述目标数量个初始机器学习管道中的、除所述初始机器学习管道子集所包括的初始机器学习管道之外的初始机器学习管道，基于该初始机器学习管道生成新机器学习管道。
13.根据权利要求8所述的装置，其中，所述第一生成模块进一步被配置成：
从所述目标数量个初始机器学习管道选取两个初始机器学习管道，执行以下数据交换步骤：确定所选取的两个初始机器学习管道对应的两个模型是否相同；响应于相同，交换两个模型的模型参数，得到两个新机器学习管道；响应于确定不相同，交换所选取的两个初始机器学习管道对应的模型，得到两个新机器学习管道；
从所述目标数量个初始机器学习管道中选取出未执行过所述数据交换步骤的两个初始机器学习管道，继续执行所述数据交换步骤。
14.根据权利要求8所述的装置，其中，初始机器学习管道包括至少一个数据处理阶段和一个模型训练阶段；以及
所述第一生成模块进一步被配置成：
对于所述目标数量个初始机器学习管道中的机器学习管道，选取该初始机器学习管道的至少一个数据处理阶段和/或模型训练阶段对应的模型中的预设数量个部分进行变化，生成新机器学习管道。
15.一种设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
16.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN201910531479.4A 2019-06-19 2019-06-19 用于生成信息的方法和装置 Active CN110263938B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910531479.4A CN110263938B (zh) 2019-06-19 2019-06-19 用于生成信息的方法和装置
KR1020190166707A KR102308002B1 (ko) 2019-06-19 2019-12-13 정보 생성 방법 및 장치
JP2019230486A JP6868677B2 (ja) 2019-06-19 2019-12-20 情報を生成するための方法および装置
US16/722,649 US11436540B2 (en) 2019-06-19 2019-12-20 Method and apparatus for generating information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910531479.4A CN110263938B (zh) 2019-06-19 2019-06-19 用于生成信息的方法和装置

Publications (2)

Publication Number Publication Date
CN110263938A true CN110263938A (zh) 2019-09-20
CN110263938B CN110263938B (zh) 2021-07-23

Family

ID=67919326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910531479.4A Active CN110263938B (zh) 2019-06-19 2019-06-19 用于生成信息的方法和装置

Country Status (4)

Country Link
US (1) US11436540B2 (zh)
JP (1) JP6868677B2 (zh)
KR (1) KR102308002B1 (zh)
CN (1) CN110263938B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210065053A1 (en) * 2019-08-30 2021-03-04 Accenture Global Solutions Limited Automated data processing and machine learning model generation
CN112685457A (zh) * 2020-12-31 2021-04-20 北京思特奇信息技术股份有限公司 一种套餐推荐机器学习模型的自动化训练***及方法
CN112785005A (zh) * 2021-01-22 2021-05-11 中国平安人寿保险股份有限公司 多目标任务的辅助决策方法、装置、计算机设备及介质
CN113762520A (zh) * 2020-06-04 2021-12-07 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置及设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6852141B2 (ja) * 2018-11-29 2021-03-31 キヤノン株式会社 情報処理装置、撮像装置、情報処理装置の制御方法、および、プログラム
US11663509B2 (en) * 2020-01-31 2023-05-30 EMC IP Holding Company LLC System and method for a personalized machine learning pipeline selection and result interpretation
US11625632B2 (en) * 2020-04-17 2023-04-11 International Business Machines Corporation Automated generation of a machine learning pipeline
JPWO2022239245A1 (zh) * 2021-05-14 2022-11-17
US11868166B2 (en) * 2021-08-05 2024-01-09 International Business Machines Corporation Repairing machine learning pipelines
KR102443301B1 (ko) * 2021-11-25 2022-09-16 주식회사 파트리지시스템즈 다양한 데이터 처리를 위한 적응형 데이터 처리 시스템 및 방법
CN116719519B (zh) * 2023-06-15 2024-01-30 天云融创数据科技（北京）有限公司 银行领域的广义线性模型训练方法、装置、设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105912500A (zh) * 2016-03-30 2016-08-31 百度在线网络技术（北京）有限公司 机器学习模型生成方法和装置
US20170017896A1 (en) * 2015-07-13 2017-01-19 International Business Machines Corporation Parameter-dependent model-blending with multi-expert based machine learning and proxy sites
CN107563417A (zh) * 2017-08-18 2018-01-09 北京天元创新科技有限公司 一种深度学习人工智能模型建立方法及***
CN108710949A (zh) * 2018-04-26 2018-10-26 第四范式（北京）技术有限公司 用于创建机器学习建模模板的方法及***
CN109325541A (zh) * 2018-09-30 2019-02-12 北京字节跳动网络技术有限公司 用于训练模型的方法和装置
CN109409528A (zh) * 2018-09-10 2019-03-01 平安科技（深圳）有限公司 模型生成方法、装置、计算机设备及存储介质
US20190147371A1 (en) * 2017-11-13 2019-05-16 Accenture Global Solutions Limited Training, validating, and monitoring artificial intelligence and machine learning models

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10606353B2 (en) * 2012-09-14 2020-03-31 Interaxon Inc. Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
KR102219346B1 (ko) 2013-05-30 2021-02-23 프레지던트 앤드 펠로우즈 오브 하바드 칼리지 베이지안 최적화를 수행하기 위한 시스템 및 방법
JP6494258B2 (ja) 2014-11-19 2019-04-03 国立大学法人静岡大学 予測システム、予測方法、および予測プログラム
CN107103171B (zh) 2016-02-19 2020-09-25 阿里巴巴集团控股有限公司 机器学习模型的建模方法及装置
US11416533B2 (en) * 2016-06-06 2022-08-16 Avlino Inc. System and method for automated key-performance-indicator discovery
US11663517B2 (en) * 2017-11-03 2023-05-30 Salesforce, Inc. Automatic machine learning model generation
WO2020011068A1 (zh) * 2018-07-10 2020-01-16 第四范式（北京）技术有限公司 用于执行机器学习过程的方法和***
EP3985684A1 (en) * 2018-07-18 2022-04-20 NVIDIA Corporation Virtualized computing platform for inferencing, advanced processing, and machine learning applications
CN110110858B (zh) * 2019-04-30 2023-03-28 南京大学 一种基于强化学习的自动化机器学习方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170017896A1 (en) * 2015-07-13 2017-01-19 International Business Machines Corporation Parameter-dependent model-blending with multi-expert based machine learning and proxy sites
CN105912500A (zh) * 2016-03-30 2016-08-31 百度在线网络技术（北京）有限公司 机器学习模型生成方法和装置
CN107563417A (zh) * 2017-08-18 2018-01-09 北京天元创新科技有限公司 一种深度学习人工智能模型建立方法及***
US20190147371A1 (en) * 2017-11-13 2019-05-16 Accenture Global Solutions Limited Training, validating, and monitoring artificial intelligence and machine learning models
CN108710949A (zh) * 2018-04-26 2018-10-26 第四范式（北京）技术有限公司 用于创建机器学习建模模板的方法及***
CN109409528A (zh) * 2018-09-10 2019-03-01 平安科技（深圳）有限公司 模型生成方法、装置、计算机设备及存储介质
CN109325541A (zh) * 2018-09-30 2019-02-12 北京字节跳动网络技术有限公司 用于训练模型的方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210065053A1 (en) * 2019-08-30 2021-03-04 Accenture Global Solutions Limited Automated data processing and machine learning model generation
US11640563B2 (en) * 2019-08-30 2023-05-02 Accenture Global Solutions Limited Automated data processing and machine learning model generation
CN113762520A (zh) * 2020-06-04 2021-12-07 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置及设备
CN112685457A (zh) * 2020-12-31 2021-04-20 北京思特奇信息技术股份有限公司 一种套餐推荐机器学习模型的自动化训练***及方法
CN112785005A (zh) * 2021-01-22 2021-05-11 中国平安人寿保险股份有限公司 多目标任务的辅助决策方法、装置、计算机设备及介质

Also Published As

Publication number Publication date
US20200401950A1 (en) 2020-12-24
CN110263938B (zh) 2021-07-23
KR20200145641A (ko) 2020-12-30
JP2021002315A (ja) 2021-01-07
KR102308002B1 (ko) 2021-10-05
US11436540B2 (en) 2022-09-06
JP6868677B2 (ja) 2021-05-12

Similar Documents

Publication Publication Date Title
CN110263938A (zh) 用于生成信息的方法和装置
Chen et al. DNNOff: offloading DNN-based intelligent IoT applications in mobile edge computing
CN109902186A (zh) 用于生成神经网络的方法和装置
CN107766940A (zh) 用于生成模型的方法和装置
CN109325541A (zh) 用于训练模型的方法和装置
CN109345302A (zh) 机器学习模型训练方法、装置、存储介质和计算机设备
CN109460513A (zh) 用于生成点击率预测模型的方法和装置
CN106484766B (zh) 基于人工智能的搜索方法和装置
CN108898185A (zh) 用于生成图像识别模型的方法和装置
CN108121800A (zh) 基于人工智能的信息生成方法和装置
CN109976997A (zh) 测试方法和装置
CN109190114A (zh) 用于生成回复信息的方法和装置
CN109815365A (zh) 用于处理视频的方法和装置
CN108182472A (zh) 用于生成信息的方法和装置
CN108776692A (zh) 用于处理信息的方法和装置
CN110084627A (zh) 预测目标变量的方法和装置
CN109829164A (zh) 用于生成文本的方法和装置
CN109961141A (zh) 用于生成量化神经网络的方法和装置
CN109993638A (zh) 产品推荐的方法、装置、介质和电子设备
CN108121814A (zh) 搜索结果排序模型生成方法和装置
CN109961328A (zh) 确定订单冷静期的方法和装置
CN108629011A (zh) 用于发送反馈信息的方法和装置
CN109784352A (zh) 一种评估分类模型的方法和装置
CN108573054A (zh) 用于推送信息的方法和装置
CN110378546A (zh) 用于生成信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant