CN111723940A - 基于机器学习服务***提供预估服务的方法、装置及设备 - Google Patents
基于机器学习服务***提供预估服务的方法、装置及设备 Download PDFInfo
- Publication number
- CN111723940A CN111723940A CN202010441566.3A CN202010441566A CN111723940A CN 111723940 A CN111723940 A CN 111723940A CN 202010441566 A CN202010441566 A CN 202010441566A CN 111723940 A CN111723940 A CN 111723940A
- Authority
- CN
- China
- Prior art keywords
- scheme
- estimation
- online
- feature
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000010801 machine learning Methods 0.000 title claims abstract description 45
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 claims 1
- 238000012549 training Methods 0.000 description 64
- 238000012545 processing Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本公开实施例公开了一种基于机器学习服务***提供预估服务的方法、装置及电子设备。其中,所述机器学习服务***包括:在线***、近线***和离线***,该方法包括:获取离线***产出的特征工程方案;将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案;将所述第一特征工程子方案上线至在线***的预估请求接口中执行;将所述第二特征工程子方案分别上线至在线***的模型预估模块中执行以及上线至近线***中执行。
Description
技术领域
本公开实施例涉及人工智能技术领域,更具体地,涉及一种基于机器学习服务***提供预估服务的方法,一种基于机器学习服务***提供预估服务的装置,一种电子设备以及一种计算机可读存储介质。
背景技术
随着大数据、云计算和人工智能等技术的快速发展,有越来越多的业务及场景依赖推荐***、点击率预估***等机器学习服务***从海量数据中挖掘价值。
通常,机器学习服务***由在线***、离线***及近线***组成。其中,在线***主要负责对用户的预估请求基于模型进行预测,并将用户的预估请求及后续反馈存储至离线***和近线***中。离线***将所存储的历史预估请求及历史反馈进行拼接得到历史样本,并基于历史样本进行模型调研得到建模方案,其中包括和特征处理相关的特征工程(Feature Engineering,FE)方案及模型训练相关的模型方案。离线***所得到的FE方案和模型方案会被部署至近线方案进行线上数据的拼接、特征工程及模型的持续更新,离线***得到的FE方案和近线***得到的模型会一起被持续部署至在线***的模型预估模块提供服务。
在上述流程中,FE方案中的“时序特征”有很强的的时效性,这一类特征能够反映所建模目标的最新变化,对于最终的建模方案效果至关重要。
对于上述流程,现有技术中所采取的***架构如图1所示,用户向机器学习服务***的预估请求接口发起预估请求,并通过反馈上报接口上报预估对应的反馈。预估请求及上报日志被分别传输至离线***和近线***中。离线***根据所得日志得到FE方案及模型方案,这两种方案被部署至近线***以持续更新模型,并将所得模型及FE方案部署至在线***以提供预估服务。
但是,上述方案在将FE方案部署至在线***和近线***的过程中存在以下问题:一是近线***中所获得时序特征常常存在数据穿越问题,造成用于训练的样本和用于预测的样本不一致的现象。例如,对于一条t0时刻的样本,当它在在线***执行FE方案时,由于数据传输延时及其他因素的影响,它只能获取截止到t-1时刻的信息(t-1<t0,两者的差距无法确定,在不同情况下,两者的差距可能在秒级别、分钟级别或者更长时间)。而这条样本在近线***执行FE方案时,假设执行时刻是t1,若在近线***直接获取最新的时序特征,则该样本将泄漏[t-1,t1]时间段的信息;若在近线***尝试获取截止到t0时刻的时序特征,则该样本将泄漏[t-1,t0]时间段内的信息,此外获取***截止到历史某一时刻的时序特征的实现难度巨大,极易出错。因此,无论近线***如何执行FE方案,都将面临潜在的时序特征穿越问题。二是包含时序特征的FE方案部署需要对在线***和近线***的额外开发。由于离线***中存储有完整的历史信息,且对于特征的获取可以允许较长的延迟,时序特征的获取难度较低。而在线***、近线***对延迟的要求更为苛刻,无法使用离线***中的方式获取时序特征,此外时序特征有着频繁变动的特性,故为了在较低的延迟下获得正确的时序特征,近线***及在线***需要额外编写高效、正确的程序对时序特征进行维护及获取。
因此,有必要对现有技术中存在的上述缺陷进行改进。
发明内容
本公开实施例的一个目的是提供一种基于机器学习服务***提供预估服务的新的技术方案。
根据本公开实施例的第一方面,提供了一种基于机器学习服务***提供预估服务的方法,其中,所述机器学习服务***包括:在线***、近线***和离线***,所述方法包括:
获取离线***产出的特征工程方案;
将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案;
将所述第一特征工程子方案上线至在线***的预估请求接口中执行;
将所述第二特征工程子方案分别上线至在线***的模型预估模块中执行以及上线至近线***中执行。
可选地,其中,该方法还包括:
获取所述离线***产出的模型方案,将所述模型方案上线至所述近线***中执行;其中,所述近线***中基于所述第二特征工程子方案和所述模型方案生成的模型被上线至所述在线***中的模型预估模块中。
可选地,其中,该方法还包括:
所述在线***的预估请求接口接收到预估请求后,执行所述第一特征子工程方案得到包含时序特征的预估请求,并发送至所述在线***的模型预估模块;
所述在线***的模型预估模块接收到所述包含时序特征的预估请求后,执行第二特征工程子方案,得到非时序特征,整合时序特征和非时序特征得到预估样本,将所述预估样本输入至所述模型中得到预估结果,将预估结果返回所述预估请求接口。
可选地,其中,所述获取离线***产出的特征工程方案,包括:
获取所述离线***中的历史预估请求日志和历史反馈日志;
根据所述历史预估请求日志和所述历史反馈日志得到所述特征工程方案。
可选地,其中,所述根据所述历史预估请求日志和所述历史反馈日志得到所述特征工程方案,包括:
基于所述历史预估请求日志和所述历史反馈日志进行特征工程方案探索,得到所述特征工程方案。
可选地,其中,所述将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案,包括:
分析所述特征工程方案中的各个特征是否属于时序特征,并分析各个所述特征之间的依赖关系;
将分析确定的所述特征工程方案中的时序特征和与所述时序特征具有依赖关系的特征确定为所述第一特征工程子方案中的特征,以及,将所述特征工程方案中的其他特征确定为所述第二特征工程子方案中的特征。
可选地,其中,所述分析所述特征工程方案中的各个特征是否属于时序特征,并分析各个所述特征之间的依赖关系,包括:
通过FeQL分析器分析所述特征工程方案中的各个特征是否属于时序特征,并分析各个所述特征之间的依赖关系。
可选地,其中,所述方法还包括:
从所述在线***中获取所述包含时序特征的预估请求日志和反馈日志;
在所述近线***中对所述包含时序特征的预估请求日志和所述反馈日志进行拼接,得到包含时序特征的训练样本;
在所述近线***中基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以生成所述模型,并将所述模型上线至所述在线***中的模型预估模块中。
可选地,其中,所述对所述包含时序特征的预估请求日志和所述反馈日志进行拼接,包括:
采用批处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接。
可选地,其中,所述对所述包含时序特征的预估请求日志和所述反馈日志进行拼接,包括:
采用流处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接。
可选地,其中,所述方法还包括:
从所述在线***中获取预设周期内新的包含时序特征的预估请求日志和反馈日志;
在所述近线***中对预设周期内新的包含时序特征的预估请求日志和反馈日志进行拼接,得到新的训练样本;基于当前所述模型方案、新的训练样本和所述第二特征工程子方案进行训练以更新模型,并将更新后的所述模型上线至所述在线***中的模型预估模块中。
可选地,其中,所述方法还包括:
在预设时间间隔从所述在线***中获取新增的包含时序特征的预估请求日志和反馈日志;
在所述近线***中对新增的包含时序特征的预估请求日志和反馈日志进行拼接,得到新增的训练样本;并基于所述模型方案、新增的训练样本和所述第二特征工程子方案进行训练以更新模型,并将更新后的所述模型上线至所述在线***中的模型预估模块中。
可选地,其中,所述方法还包括:
从所述在线***中实时获取新增的包含时序特征的预估请求日志和反馈日志;
在所述近线***中实时地对新增的包含时序特征的预估请求日志和反馈日志进行拼接,得到新增的训练样本;并实时地基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以更新模型,并将更新后的所述模型上线至所述在线***中的模型预估模块中。
可选地,其中,所述方法还包括:
接收预估请求;
在所述在线***的模型预估模块中执行所述预估请求,得到对应的预估结果。
可选地,其中,所述得到对应的预估结果之后,所述方法还包括:
接收基于所述预估结果的预估反馈;
将所述预估请求及对应的预估结果更新至所述离线***的历史预估请求日志中,以及,将所述预估反馈更新至所述离线***的历史反馈日志中。
根据本公开实施例的第二方面,提供了一种基于机器学习服务***提供预估服务的装置,其中,所述机器学习服务***包括:在线***、近线***和离线***,所述装置包括:
获取模块,用于获取离线***产出的特征工程方案;
拆分模块,用于将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案;
第一执行模块,用于将所述第一特征工程子方案上线至在线***的预估请求接口中执行;
第二执行模块,用于将所述第二特征工程子方案分别上线至在线***的模型预估模块中执行以及上线至近线***中执行。
可选地,其中,所述获取模块还用于:
获取所述离线***产出的模型方案,将所述模型方案上线至所述近线***中执行;其中,所述近线***中基于所述第二特征工程子方案和所述模型方案生成的模型被上线至所述在线***中的模型预估模块中。
可选地,其中,所述第一执行模块还用于:在所述在线***的预估请求接口接收到预估请求后,执行所述第一特征子工程方案得到包含时序特征的预估请求,并发送至所述在线***的模型预估模块;
所述第二执行模块还用于:所述在线***的模型预估模块接收到所述包含时序特征的预估请求后,执行第二特征工程子方案,得到非时序特征,整合时序特征和非时序特征得到预估样本,将所述预估样本输入至所述模型中得到预估结果,将预估结果返回所述预估请求接口。
可选地,其中,所述获取模块具体用于:
获取所述离线***中的历史预估请求日志和历史反馈日志;
根据所述历史预估请求日志和所述历史反馈日志得到所述特征工程方案。
可选地,其中,所述获取模块具体用于:
基于所述历史预估请求日志和所述历史反馈日志进行特征工程方案探索,得到所述特征工程方案。
可选地,其中,所述拆分模块具体用于:
分析所述特征工程方案中的各个特征是否属于时序特征,并分析各个所述特征之间的依赖关系;
将分析确定的所述特征工程方案中的时序特征和与所述时序特征具有依赖关系的特征确定为所述第一特征工程子方案中的特征,以及,将所述特征工程方案中的其他特征确定为所述第二特征工程子方案中的特征。
可选地,其中,所述拆分模块具体用于:
通过FeQL分析器分析所述特征工程方案中的各个特征是否属于时序特征,并分析各个所述特征之间的依赖关系。
可选地,其中,所述获取模块还用于:
从所述在线***中获取所述包含时序特征的预估请求日志和反馈日志;
在所述近线***中对所述包含时序特征的预估请求日志和所述反馈日志进行拼接,得到包含时序特征的训练样本;
在所述近线***中基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以生成所述模型,并将所述模型上线至所述在线***中的模型预估模块中。
可选地,其中,所述获取模块还用于:采用批处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接。
可选地,其中,所述获取模块还用于:采用流处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接。
可选地,其中,所述第二执行模块还用于:
从所述在线***中获取预设周期内新的包含时序特征的预估请求日志和反馈日志;
在所述近线***中对预设周期内新的包含时序特征的预估请求日志和反馈日志进行拼接,得到新的训练样本;基于当前所述模型方案、新的训练样本和所述第二特征工程子方案进行训练以更新模型,并将更新后的所述模型上线至所述在线***中的模型预估模块中。
可选地,其中,所述第二执行模块还用于:
在预设时间间隔从所述在线***中获取新增的包含时序特征的预估请求日志和反馈日志;
在所述近线***中对新增的包含时序特征的预估请求日志和反馈日志进行拼接,得到新增的训练样本;并基于所述模型方案、新增的训练样本和所述第二特征工程子方案进行训练以更新模型,并将更新后的所述模型上线至所述在线***中的模型预估模块中。
可选地,其中,所述第二执行模块还用于:
从所述在线***中实时获取新增的包含时序特征的预估请求日志和反馈日志;
在所述近线***中实时地对新增的包含时序特征的预估请求日志和反馈日志进行拼接,得到新增的训练样本;并实时地基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以更新模型,并将更新后的所述模型上线至所述在线***中的模型预估模块中。
可选地,其中,所述装置还包括:
接收模块,用于接收预估请求;
所述第一执行模块还用于:在所述在线***的模型预估模块中执行所述预估请求,得到对应的预估结果。
可选地,其中,所述接收模块还用于接收基于所述预估结果的预估反馈;
所述装置还包括:更新模块,用于将所述预估请求及对应的预估结果更新至所述离线***的历史预估请求日志中,以及,将所述预估反馈更新至所述离线***的历史反馈日志中。
根据本公开实施例的第三方面,提供了一种电子设备,其中,所述电子设备包括如本公开实施例的第二方面中任一项所述的基于机器学习服务***提供预估服务的装置;或者,
包括存储器和处理器,所述存储器用于存储计算机指令,所述处理器用于从所述存储器中调用所述计算机指令,以执行如本公开实施例的第一方面中任一项所述的方法。
根据本公开实施例的第四方面,提供了一种计算机可读存储介质,其中,其上存储有计算机程序,所述计算机程序在被处理器执行时实现根据本公开实施例的第一方面中任一项所述的方法。
本公开实施例的一个技术效果在于,能够使机器学习服务***在无需进行额外开发的情况下快速上线建模方案,并保证训练数据及预估数据的一致性,避免了现有方案中数据穿越的问题。
通过以下参照附图对本公开实施例的示例性实施例的详细描述,本公开实施例的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本公开实施例的实施例,并且连同其说明一起用于解释本公开实施例的原理。
图1示出了现有技术中基于机器学习服务***提供预估服务的***架构示意图;
图2是示出了用于实现本公开实施例的电子设备的硬件配置的示意性框图;
图3示出了用于实现本公开实施例中基于机器学习服务***提供预估服务的***架构示意图;
图4示出了本公开实施例的基于机器学习服务***提供预估服务的方法的示意性流程图;
图5示出了本公开实施例的基于机器学习服务***提供预估服务的装置的示意性结构图;
图6示出了本公开实施例的电子设备的示意性结构图。
具体实施方式
现在将参照附图来详细描述本公开实施例的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开实施例的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开实施例及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
下面,参照附图描述根据本公开实施例的各个实施例和例子。
<硬件配置>
本公开实施例的方法可以由至少一台电子设备实施。图2示出了任意电子设备的硬件结构。图2所示的电子设备可以是便携式电脑、台式计算机、手机、平板电脑等,也可以是任意的具有处理器等计算装置和存储器等存储装置的其他设备,在此不做限定。
如图2所示,该电子设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800等等。其中,处理器1100用于执行计算机程序。该计算机程序可以采用比如x86、Arm、RISC、MIPS、SSE等架构的指令集编写。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够进行有线或无线通信,具体地可以包括Wifi通信、蓝牙通信、2G/3G/4G/5G通信等。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘、体感输入等。电子设备1000可以通过扬声器1700输出语音信息,及可以通过麦克风1800采集语音信息等。
图2所示的电子设备仅仅是说明性的并且决不意味着对本发明、其应用或使用的任何限制。应用于本公开的实施例中,电子设备1000的所述存储器1200用于存储指令,所述指令用于控制所述处理器1100进行操作以执行本公开任意实施例的基于机器学习服务***提供预估服务的方法。技术人员可以根据本公开实施例所公开方案设计指令。指令如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。
在另外的实施例中,该电子设备1000也可以包括根据本公开任意实施例的基于机器学习服务***提供预估服务的装置,其中,该装置被设置为执行根据本公开任意实施例的基于机器学习服务***提供预估服务的方法。
在一个实施例中,提供了一种包括至少一个计算装置和至少一个存储装置的***,该至少一个存储装置用于存储指令,该指令用于控制该至少一个计算装置执行根据本公开任意实施例的方法。
该***可以包括至少一台图2中的电子设备1000,以提供至少一个例如是处理器的计算装置和至少一个例如是存储器的存储装置,在此不做限定。
<方法实施例>
本实施例的基于机器学习服务***提供预估服务的方法具体可以基于如图3所示机器学习服务***的***架构,该方法例如可以由如图2中所示的电子设备1000执行。
如图3所示,该机器学习服务***可以包括:在线***、近线***和离线***。具体地,如图4所示,该方法可以包括如下步骤2100~步骤2400:
步骤2100,获取离线***产出的特征工程方案。
其中,对于一个机器学习任务来说,特征工程是指基于样本现有的特征创建新特征,以提升模型性能的过程。特征工程方案是指在模型调研中得到的对于给定机器学习任务具有良好效果的一种特征工程方式。
本步骤中,该电子设备1000首先获取所述离线***中的历史预估请求日志和历史反馈日志;再根据所述历史预估请求日志和所述历史反馈日志得到所述特征工程方案。具体地,该电子设备1000可以基于所述历史预估请求日志和所述历史反馈日志进行特征工程方案探索及机器学习建模方案探索,从而得到所述特征工程方案及模型方案。
步骤2200,将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案。
具体地,本实施例中,将特征工程方案FE分为了包含时序特征的第一特征工程子方案FE1和不包含时序特征的第二特征工程子方案FE2。其中,时序特征是样本特征取值受样本所处时间点影响的一类特征,例如,当前用户最近浏览的五篇新闻。对于一个用户来说,随着用户的操作,用户的这一特征在不同时间点的取值是不同的。
该电子设备1000通过分析所述特征工程方案中的各个特征是否属于时序特征,并分析各个所述特征之间的依赖关系;从而将分析确定的所述特征工程方案中的时序特征和与所述时序特征具有依赖关系的特征确定为所述第一特征工程子方案中的特征,以及,将所述特征工程方案中的其他特征确定为所述第二特征工程子方案中的特征。
需要说明的是,FeQL是一种用于描述FE方案的领域特定语言,描述了特征工程中各特征的产生方式。对于一个确定的FE方案,其对应的FeQL脚本在在线***中可由在线***FeQL执行器进行执行,而无需针对FE方案进行额外开发,对于FE方案中的时序特征,FeQL执行器在离线***将其编译为批处理程序,而在在线***将其编译为时序数据库查询语句。
因此,在实际应用中,该电子设备1000使用FeQL分析器分析所述特征工程方案中的各个特征是否属于时序特征,并分析各个所述特征之间的依赖关系。由于FeQL分析器实现了对FE方案中的时序特征和非时序特征部分的自动拆分,从而可以避免现有方案中针对FE方案进行额外的开发。
步骤2300,将所述第一特征工程子方案上线至在线***的预估请求接口中执行。
步骤2400,将所述第二特征工程子方案分别上线至在线***的模型预估模块中执行以及上线至近线***中执行。
需要说明的是,对于一个机器学习任务产生于t0时刻的训练样本,若其特征中包含了t1时刻才能获取到的信息,其中,t1>t0,则称该样本存在数据穿越问题,且称该样本特征中泄露了[t0,t1]时间段内的信息。数据穿越问题会导致建模方案效果的退化甚至失效,原因在于训练样本中包含了相对于t1时刻的未来信息,可是该类信息在实际预测时是无法获得的,故在实际预测过程中得到的方案效果常常无法达到或远远差于模型调研时所达到的效果。
而在本实施例中,将FE方案拆分为包含时序特征的第一特征工程子方案FE1和不包含时序特征的第二特征工程子方案FE2,FE1和FE2共同组成了完整的FE方案。在本步骤中,该电子设备1000将FE1方案上线至在线***的预估请求接口中执行,并可以将执行FE1方案后的样本传输至模型预估模块及近线***,从而可保证模型预估模块和近线***所得的时序特征一致。同时,将FE2方案则在模型预估模块及近线***中分别执行,由于FE2中不包含时序特征,模型预估模块及近线***中所产生的样本可保证完全一致。从而避免了数据穿越的问题。
此外,可以理解的是,由于在预估请求接口中只执行了FE1方案,即,仅执行FE方案的一部分,因而可以避免在预估请求接口中执行完整的FE方案可能导致的数据传输量过大的问题。
进一步地,在本实施例中,该电子设备1000还可以获取所述离线***产出的模型方案,将所述模型方案上线至所述近线***中执行;其中,所述近线***中基于所述第二特征工程子方案和所述模型方案生成的模型被上线至所述在线***中的模型预估模块中。其中,该模型方案是基于历史预估请求日志和历史反馈日志进行机器学习建模方案探索后得到的。
具体地,该电子设备1000在获取所述离线***产出的模型方案,将所述模型方案上线至所述近线***中执行时,还可以从所述在线***中获取所述包含时序特征的预估请求日志和反馈日志;在所述近线***中对所述包含时序特征的预估请求日志和所述反馈日志进行拼接,得到包含时序特征的训练样本;在所述近线***中基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以生成所述模型,并将所述模型上线至所述在线***中的模型预估模块中。
其中,所述电子设备1000对所述包含时序特征的预估请求日志和所述反馈日志进行拼接的方式可以包括:采用批处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接,即将数据分为若干批进行批量处理。或者,所述电子设备1000对所述包含时序特征的预估请求日志和所述反馈日志进行拼接的方式可以包括:采用流处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接,即在数据抵达近线***时立即与历史数据进行拼接。
进一步地,在本实施例中,用户还可以向该电子设备1000发起预估请求,该电子设备1000可以在所述在线***的预估请求接口接收到预估请求后,执行所述第一特征子工程方案得到包含时序特征的预估请求,并发送至所述在线***的模型预估模块;所述在线***的模型预估模块接收到所述包含时序特征的预估请求后,执行第二特征工程子方案,得到非时序特征,整合时序特征和非时序特征得到预估样本,将所述预估样本输入至所述模型中得到预估结果,将预估结果返回所述预估请求接口。
其中,在近线***的训练模块中,训练可以基于历史数据批量训练,即定期根据近线***所得历史数据进行模型训练。即,该电子设备1000可以从所述在线***中获取预设周期内新的包含时序特征的预估请求日志和反馈日志;在所述近线***中对预设周期内新的包含时序特征的预估请求日志和反馈日志进行拼接,得到新的训练样本;基于当前所述模型方案、新的训练样本和所述第二特征工程子方案进行训练以更新模型,并将更新后的所述模型上线至所述在线***中的模型预估模块中。
训练也可基于历史数据和历史模型增量训练,即定期根据近线***所得历史数据和近线***所产生的历史模型进行模型训练。即,该电子设备1000可以在预设时间间隔从所述在线***中获取新增的包含时序特征的预估请求日志和反馈日志;在所述近线***中对新增的包含时序特征的预估请求日志和反馈日志进行拼接,得到新增的训练样本;并基于所述模型方案、新增的训练样本、近线***中的历史模型和所述第二特征工程子方案进行训练以更新模型,并将更新后的所述模型上线至所述在线***中的模型预估模块中。
训练也可基于上游数据进行流式训练,即持续根据上游产生的数据进行模型训练,对模型进行持续、流式的更新。即,该电子设备1000可以从所述在线***中实时获取新增的包含时序特征的预估请求日志和反馈日志;在所述近线***中实时地对新增的包含时序特征的预估请求日志和反馈日志进行拼接,得到新增的训练样本;并实时地基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以更新模型,并将更新后的所述模型上线至所述在线***中的模型预估模块中。
本实施例的方法在实际应用中,该电子设备1000接收到预估请求后,在所述在线***的模型预估模块中执行所述预估请求,得到对应的预估结果。
为了持续的更新模型方案,进而根据更新后的模型方案更新近线***中的模型,在得到对应的预估结果之后,该电子设备1000还可以接收基于所述预估结果的预估反馈,该预估反馈是用户基于预估结果提供的反馈,是用户的实际操作,比如,该用户的浏览点击记录、购买行为等。该电子设备1000将所述预估请求及对应的预估结果更新至所述离线***的历史预估请求日志中,以及,将所述预估反馈更新至所述离线***的历史反馈日志中。
本实施例的技术方案,基于包括在线***、近线***和离线***的机器学习服务***实现,通过获取离线***产出的特征工程方案,将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案,将所述第一特征工程子方案上线至在线***的预估请求接口中执行,以及,将所述第二特征工程子方案分别上线至在线***的模型预估模块中执行以及上线至近线***中执行。能够使机器学习服务***在无需进行额外开发的情况下快速上线建模方案,并保证训练数据及预估数据的一致性,避免了现有方案中数据穿越的问题。同时,还可以避免在预估请求接口中执行完整FE方案可能导致的数据传输量过大的问题。
<装置实施例>
图5示出了本公开实施例的基于机器学习服务***提供预估服务的装置的示意性结构图。
其中,所述机器学习服务***包括:在线***、近线***和离线***。如图5所示,本实施例的基于机器学习服务***提供预估服务的装置3000可以包括获取模块3100,拆分模块3200,第一执行模块3300和第二执行模块3400。
其中,获取模块3100,用于获取离线***产出的特征工程方案。
拆分模块3200,用于将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案。
第一执行模块3300,用于将所述第一特征工程子方案上线至在线***的预估请求接口中执行。
第二执行模块3400,用于将所述第二特征工程子方案分别上线至在线***的模型预估模块中执行以及上线至近线***中执行。
在一个例子中,所述获取模块3100还可以用于:获取所述离线***产出的模型方案,将所述模型方案上线至所述近线***中执行;其中,所述近线***中基于所述第二特征工程子方案和所述模型方案生成的模型被上线至所述在线***中的模型预估模块中。
其中,所述获取模块3100具体用于:获取所述离线***中的历史预估请求日志和历史反馈日志;根据所述历史预估请求日志和所述历史反馈日志得到所述特征工程方案。其中,所述获取模块3100可以基于所述历史预估请求日志和所述历史反馈日志进行特征工程方案探索,得到所述特征工程方案。
在一个例子中,所述第一执行模块3300还可以用于:在所述在线***的预估请求接口接收到预估请求后,执行所述第一特征子工程方案得到包含时序特征的预估请求,并发送至所述在线***的模型预估模块;所述第二执行模块3400还可以用于:所述在线***的模型预估模块接收到所述包含时序特征的预估请求后,执行第二特征工程子方案,得到非时序特征,整合时序特征和非时序特征得到预估样本,将所述预估样本输入至所述模型中得到预估结果,将预估结果返回所述预估请求接口。
在一个例子中,所述拆分模块3200具体可以用于:分析所述特征工程方案中的各个特征是否属于时序特征,并分析各个所述特征之间的依赖关系;将分析确定的所述特征工程方案中的时序特征和与所述时序特征具有依赖关系的特征确定为所述第一特征工程子方案中的特征,以及,将所述特征工程方案中的其他特征确定为所述第二特征工程子方案中的特征。
实际应用中,所述拆分模块3200具体可以通过FeQL分析器分析所述特征工程方案中的各个特征是否属于时序特征,并分析各个所述特征之间的依赖关系。
进一步地,在一个例子中,所述获取模块3100还可以用于:从所述在线***中获取所述包含时序特征的预估请求日志和反馈日志;在所述近线***中对所述包含时序特征的预估请求日志和所述反馈日志进行拼接,得到包含时序特征的训练样本;在所述近线***中基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以生成所述模型,并将所述模型上线至所述在线***中的模型预估模块中。
可选地,所述获取模块3100还用于:采用批处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接。或者,所述获取模块3100还用于:采用流处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接。
进一步地,在一个例子中,所述第二执行模块3400还用于:从所述在线***中获取预设周期内新的包含时序特征的预估请求日志和反馈日志;在所述近线***中对预设周期内新的包含时序特征的预估请求日志和反馈日志进行拼接,得到新的训练样本;基于当前所述模型方案、新的训练样本和所述第二特征工程子方案进行训练以更新模型,并将更新后的所述模型上线至所述在线***中的模型预估模块中。
在另一个例子中,所述第二执行模块3400还用于:在预设时间间隔从所述在线***中获取新增的包含时序特征的预估请求日志和反馈日志;在所述近线***中对新增的包含时序特征的预估请求日志和反馈日志进行拼接,得到新增的训练样本;并基于所述模型方案、新增的训练样本和所述第二特征工程子方案进行训练以更新模型,并将更新后的所述模型上线至所述在线***中的模型预估模块中。
在又一个例子中,所述第二执行模块3400还用于:从所述在线***中实时获取新增的包含时序特征的预估请求日志和反馈日志;在所述近线***中实时地对新增的包含时序特征的预估请求日志和反馈日志进行拼接,得到新增的训练样本;并实时地基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以更新模型,并将更新后的所述模型上线至所述在线***中的模型预估模块中。
进一步地,所述基于机器学习服务***提供预估服务的装置3000还可以包括:接收模块,用于接收预估请求。相应的,所述第一执行模块3300还用于:在所述在线***的模型预估模块中执行所述预估请求,得到对应的预估结果。
进一步地,所述接收模块还可以用于接收基于所述预估结果的预估反馈。所述基于机器学习服务***提供预估服务的装置3000还可以包括:更新模块,用于将所述预估请求及对应的预估结果更新至所述离线***的历史预估请求日志中,以及,将所述预估反馈更新至所述离线***的历史反馈日志中。
本实施例的基于机器学习服务***提供预估服务的装置,可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
<设备实施例>
本实施例提供一种电子设备,该电子设备可以包括根据本公开实施例的基于机器学习服务***提供预估服务的装置3000。
在另一个实施例中,如图6所示,该电子设备4000可以包括存储器4100和处理器4200,所述存储器4100用于存储计算机指令,所述处理器4200用于从所述存储器中调用所述计算机指令,以执行本公开任意方法实施例中的方法。
<存储介质实施例>
本实施例提供了一种计算机可读存储介质,其中,其上存储有计算机程序,所述计算机程序在被处理器执行时实现根据上述方法实施例中任一项所述的方法。
本公开实施例可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开实施例的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体地例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开实施例操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开实施例的各个方面。
这里参照根据本公开实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开实施例的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开实施例的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本公开实施例的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本公开实施例的范围由所附权利要求来限定。
Claims (10)
1.一种基于机器学习服务***提供预估服务的方法,其中,所述机器学习服务***包括:在线***、近线***和离线***,所述方法包括:
获取离线***产出的特征工程方案;
将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案;
将所述第一特征工程子方案上线至在线***的预估请求接口中执行;
将所述第二特征工程子方案分别上线至在线***的模型预估模块中执行以及上线至近线***中执行。
2.根据权利要求1所述的方法,其中,该方法还包括:
获取所述离线***产出的模型方案,将所述模型方案上线至所述近线***中执行;其中,所述近线***中基于所述第二特征工程子方案和所述模型方案生成的模型被上线至所述在线***中的模型预估模块中。
3.根据权利要求2所述的方法,其中,该方法还包括:
所述在线***的预估请求接口接收到预估请求后,执行所述第一特征子工程方案得到包含时序特征的预估请求,并发送至所述在线***的模型预估模块;
所述在线***的模型预估模块接收到所述包含时序特征的预估请求后,执行第二特征工程子方案,得到非时序特征,整合时序特征和非时序特征得到预估样本,将所述预估样本输入至所述模型中得到预估结果,将预估结果返回所述预估请求接口。
4.根据权利要求1所述的方法,其中,所述获取离线***产出的特征工程方案,包括:
获取所述离线***中的历史预估请求日志和历史反馈日志;
根据所述历史预估请求日志和所述历史反馈日志得到所述特征工程方案。
5.根据权利要求4所述的方法,其中,所述根据所述历史预估请求日志和所述历史反馈日志得到所述特征工程方案,包括:
基于所述历史预估请求日志和所述历史反馈日志进行特征工程方案探索,得到所述特征工程方案。
6.根据权利要求1所述的方法,其中,所述将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案,包括:
分析所述特征工程方案中的各个特征是否属于时序特征,并分析各个所述特征之间的依赖关系;
将分析确定的所述特征工程方案中的时序特征和与所述时序特征具有依赖关系的特征确定为所述第一特征工程子方案中的特征,以及,将所述特征工程方案中的其他特征确定为所述第二特征工程子方案中的特征。
7.根据权利要求6所述的方法,其中,所述分析所述特征工程方案中的各个特征是否属于时序特征,并分析各个所述特征之间的依赖关系,包括:
通过FeQL分析器分析所述特征工程方案中的各个特征是否属于时序特征,并分析各个所述特征之间的依赖关系。
8.一种基于机器学习服务***提供预估服务的装置,其中,所述机器学习服务***包括:在线***、近线***和离线***,所述装置包括:
获取模块,用于获取离线***产出的特征工程方案;
拆分模块,用于将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案;
第一执行模块,用于将所述第一特征工程子方案上线至在线***的预估请求接口中执行;
第二执行模块,用于将所述第二特征工程子方案分别上线至在线***的模型预估模块中执行以及上线至近线***中执行。
9.一种电子设备,其中,所述电子设备包括如权利要求8所述的基于机器学习服务***提供预估服务的装置;或者,
包括存储器和处理器,所述存储器用于存储计算机指令,所述处理器用于从所述存储器中调用所述计算机指令,以执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其中,其上存储有计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010441566.3A CN111723940B (zh) | 2020-05-22 | 2020-05-22 | 基于机器学习服务***提供预估服务的方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010441566.3A CN111723940B (zh) | 2020-05-22 | 2020-05-22 | 基于机器学习服务***提供预估服务的方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111723940A true CN111723940A (zh) | 2020-09-29 |
CN111723940B CN111723940B (zh) | 2023-08-22 |
Family
ID=72564886
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010441566.3A Active CN111723940B (zh) | 2020-05-22 | 2020-05-22 | 基于机器学习服务***提供预估服务的方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111723940B (zh) |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150024367A1 (en) * | 2013-07-17 | 2015-01-22 | Xerox Corporation | Cost-aware non-stationary online learning |
US20160371589A1 (en) * | 2015-06-17 | 2016-12-22 | Yahoo! Inc. | Systems and methods for online content recommendation |
US20170206470A1 (en) * | 2016-01-15 | 2017-07-20 | Carnegie Mellon University | Pattern Identification in Time-Series Social Media Data, and Output-Dynamics Engineering for a Dynamic System Having One or More Multi-Scale Time-Series Data Sets |
US20170237792A1 (en) * | 2016-02-15 | 2017-08-17 | NETFLIX, Inc, | Feature Generation for Online/Offline Machine Learning |
US20170278007A1 (en) * | 2016-03-23 | 2017-09-28 | Nec Laboratories America, Inc. | Early Warning Prediction System |
CN110064205A (zh) * | 2019-04-24 | 2019-07-30 | 腾讯科技(深圳)有限公司 | 用于游戏的数据处理方法、设备和介质 |
CN110188910A (zh) * | 2018-07-10 | 2019-08-30 | 第四范式(北京)技术有限公司 | 利用机器学习模型提供在线预测服务的方法及*** |
US20190279043A1 (en) * | 2018-03-06 | 2019-09-12 | Tazi AI Systems, Inc. | Online machine learning system that continuously learns from data and human input |
CN110400219A (zh) * | 2019-06-14 | 2019-11-01 | 阿里巴巴集团控股有限公司 | 业务处理方法及***、交易监控方法及*** |
CN110489128A (zh) * | 2019-08-23 | 2019-11-22 | 第四范式(北京)技术有限公司 | 将特征计算脚本转换成底层程序代码的方法和设备 |
US20190379589A1 (en) * | 2018-06-12 | 2019-12-12 | Ciena Corporation | Pattern detection in time-series data |
CN110598953A (zh) * | 2019-09-23 | 2019-12-20 | 哈尔滨工程大学 | 一种时空相关的空气质量预测方法 |
US20200082296A1 (en) * | 2018-09-06 | 2020-03-12 | Quickpath Analytics, Inc. | Real-time drift detection in machine learning systems and applications |
US20200098451A1 (en) * | 2018-09-24 | 2020-03-26 | Ramanathan Krishnan | Hybrid analysis framework for prediction of outcomes in clinical trials |
US20200104628A1 (en) * | 2018-09-28 | 2020-04-02 | Microsoft Technology Licensing, Llc | Content classification tool with re-classification techniques |
CN110995508A (zh) * | 2019-12-23 | 2020-04-10 | 中国人民解放军国防科技大学 | 基于kpi突变的自适应无监督在线网络异常检测方法 |
CN111125518A (zh) * | 2019-12-10 | 2020-05-08 | 海尔优家智能科技(北京)有限公司 | 家电信息推荐的***及方法 |
-
2020
- 2020-05-22 CN CN202010441566.3A patent/CN111723940B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150024367A1 (en) * | 2013-07-17 | 2015-01-22 | Xerox Corporation | Cost-aware non-stationary online learning |
US20160371589A1 (en) * | 2015-06-17 | 2016-12-22 | Yahoo! Inc. | Systems and methods for online content recommendation |
US20170206470A1 (en) * | 2016-01-15 | 2017-07-20 | Carnegie Mellon University | Pattern Identification in Time-Series Social Media Data, and Output-Dynamics Engineering for a Dynamic System Having One or More Multi-Scale Time-Series Data Sets |
US20170237792A1 (en) * | 2016-02-15 | 2017-08-17 | NETFLIX, Inc, | Feature Generation for Online/Offline Machine Learning |
US20170278007A1 (en) * | 2016-03-23 | 2017-09-28 | Nec Laboratories America, Inc. | Early Warning Prediction System |
US20190279043A1 (en) * | 2018-03-06 | 2019-09-12 | Tazi AI Systems, Inc. | Online machine learning system that continuously learns from data and human input |
US20190379589A1 (en) * | 2018-06-12 | 2019-12-12 | Ciena Corporation | Pattern detection in time-series data |
CN110188910A (zh) * | 2018-07-10 | 2019-08-30 | 第四范式(北京)技术有限公司 | 利用机器学习模型提供在线预测服务的方法及*** |
US20200082296A1 (en) * | 2018-09-06 | 2020-03-12 | Quickpath Analytics, Inc. | Real-time drift detection in machine learning systems and applications |
US20200098451A1 (en) * | 2018-09-24 | 2020-03-26 | Ramanathan Krishnan | Hybrid analysis framework for prediction of outcomes in clinical trials |
US20200104628A1 (en) * | 2018-09-28 | 2020-04-02 | Microsoft Technology Licensing, Llc | Content classification tool with re-classification techniques |
CN110064205A (zh) * | 2019-04-24 | 2019-07-30 | 腾讯科技(深圳)有限公司 | 用于游戏的数据处理方法、设备和介质 |
CN110400219A (zh) * | 2019-06-14 | 2019-11-01 | 阿里巴巴集团控股有限公司 | 业务处理方法及***、交易监控方法及*** |
CN110489128A (zh) * | 2019-08-23 | 2019-11-22 | 第四范式(北京)技术有限公司 | 将特征计算脚本转换成底层程序代码的方法和设备 |
CN110598953A (zh) * | 2019-09-23 | 2019-12-20 | 哈尔滨工程大学 | 一种时空相关的空气质量预测方法 |
CN111125518A (zh) * | 2019-12-10 | 2020-05-08 | 海尔优家智能科技(北京)有限公司 | 家电信息推荐的***及方法 |
CN110995508A (zh) * | 2019-12-23 | 2020-04-10 | 中国人民解放军国防科技大学 | 基于kpi突变的自适应无监督在线网络异常检测方法 |
Non-Patent Citations (8)
Title |
---|
刘慧鑫等: "基于时间序列模型的变压器油中溶解气体预测", 高压电器, vol. 55, no. 12, pages 193 - 199 * |
姚学润等: "面向财经资讯的混合推荐***研究与实践", 《现代电视技术》 * |
姚学润等: "面向财经资讯的混合推荐***研究与实践", 《现代电视技术》, no. 04, 15 April 2020 (2020-04-15), pages 114 - 116 * |
康波等: "应用驱动的大数据与人工智能融合平台建设", 数据与计算发展前沿, vol. 01, no. 01, pages 35 - 45 * |
旷生玉等: "面向战术端的电子对抗侦察及情报处理智能化应用研究", 《中国电子科学研究院学报》 * |
旷生玉等: "面向战术端的电子对抗侦察及情报处理智能化应用研究", 《中国电子科学研究院学报》, no. 03, 20 March 2020 (2020-03-20), pages 32 - 37 * |
杨玫等: "基于经验模式分解的时间序列预测方法研究", 《计算机技术与发展》 * |
杨玫等: "基于经验模式分解的时间序列预测方法研究", 《计算机技术与发展》, no. 07, 10 July 2011 (2011-07-10), pages 25 - 28 * |
Also Published As
Publication number | Publication date |
---|---|
CN111723940B (zh) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110807515A (zh) | 模型生成方法和装置 | |
US10832150B2 (en) | Optimized re-training for analytic models | |
US20200356237A1 (en) | Graphical chatbot interface facilitating user-chatbot interaction | |
US20210349810A1 (en) | Asynchronous consumer-driven contract testing in micro service architecture | |
US11113181B2 (en) | Debugging a live streaming application | |
CN111340220B (zh) | 用于训练预测模型的方法和装置 | |
US20160170592A1 (en) | Transitioning browser tabs from one environment context to another | |
US20220292378A1 (en) | Preprocessing of time series data automatically for better ai | |
CN111353601A (zh) | 用于预测模型结构的延时的方法和装置 | |
WO2023138594A1 (en) | Machine learning assisted remediation of networked computing failure patterns | |
CN110780894B (zh) | 热升级处理方法、装置及电子设备 | |
US20190297473A1 (en) | Data usage recommendation generator | |
CN109254778B (zh) | 用于部署信息流***的方法和装置 | |
US20190303770A1 (en) | Architectural composite service solution builder | |
CN111723940B (zh) | 基于机器学习服务***提供预估服务的方法、装置及设备 | |
CN116283487A (zh) | 应用于甲醇制备的控制方法、装置、电子设备和可读介质 | |
CN111382058A (zh) | 一种服务的测试方法、装置,服务器及存储介质 | |
US11868907B2 (en) | Updating chatbot workspaces | |
CN116107867A (zh) | 数据测试链路确定方法、交互方法、测试数据方法及*** | |
CN108632456B (zh) | 信息处理方法及信息处理*** | |
CN114077664A (zh) | 机器学习平台中的文本处理方法、装置及设备 | |
CN111382057A (zh) | 测试用例生成方法,测试方法及装置,服务器及存储介质 | |
US11822446B2 (en) | Automated testing methods for condition analysis and exploration | |
CN113741887B (zh) | 模型生产方法、***、装置及电子设备 | |
CN116467178B (zh) | 数据库检测方法、装置、电子设备和计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |