CN109783337B

CN109783337B - 模型服务方法、***、装置和计算机可读存储介质

Info

Publication number: CN109783337B
Application number: CN201811557396.4A
Authority: CN
Inventors: 杨文博
Original assignee: Beijing Dajia Internet Information Technology Co Ltd
Current assignee: Beijing Dajia Internet Information Technology Co Ltd
Priority date: 2018-12-19
Filing date: 2018-12-19
Publication date: 2022-08-30
Anticipated expiration: 2038-12-19
Also published as: CN109783337A

Abstract

本申请是关于模型服务方法、***、装置和计算机可读存储介质。模型服务方法包括：获取***性能指标；计算至少一个数据特征的性能指标和损失值；基于至少一个数据特征的性能指标和损失值获得丢弃特征列表；以及当***性能指标满足设定条件时，根据丢弃特征列表忽略丢弃特征列表中至少一个数据特征的相应操作,根据其余的数据特征，得到预测结果。本发明实施例先计算每个数据特征的损失值和性能指标，进而根据损失值和性能指标生成丢弃特征列表，根据丢弃特征列表忽略丢弃特征列表中的一部分数据特征的操作，在降低服务风险的前提下，同时保证了模型的可用性及精度。

Description

模型服务方法、***、装置和计算机可读存储介质

技术领域

本申请属于计算机软件应用领域，尤其是模型服务方法、***、装置和计算机可读存储介质。

背景技术

在AI和大数据广泛应用的当前，模型服务是机器学习算法在实际业务场景应用的一种重要方式。其主要形态为，研发成熟的神经网络模型，封装成为在线服务(以下简称模型服务)，对外提供接口(可以为http或rpc等)接收实时的数据请求，由模型服务抽取请求中包含的数据特征，并调用模型服务附属的扩展数据服务以提取更丰富的数据特征，最后由算法模型以这些数据为输入，作出预测结果并返回请求方。典型应用实例如互联网搜索排序，广告点击率预测等在线模型服务。

模型服务是一种有限能力的服务，其服务能力一般以每秒响应请求数来表示。由于在实际业务场景下，服务接收到的请求压力随各种情况波动，如时段差别，产品端更新，运营活动等，模型服务会由于请求压力的激增而引起响应延时，机器资源过载甚至出现宕机等严重情况。而为防止模型服务全面崩溃，一般会在请求压力或服务负载超过一定阈值时，启动降级策略，例如限制部分流量。

现有的降级策略包括两种：一种是基于数据请求来自的ip网段，随机丢弃部分请求，以限制来访流量；另一种是基于数据请求的http头部信息，利用统计模型自动预测流量的重要度，丢弃重要度低的流量。

然而，现有的降级策略的两种方法虽然都能够达到限制流量的目标，但都有显著不足：

第一种方法，由于不同的流量可能包含数据信息不同，对模型服务造成的负载是不相同的，因此随机丢弃部分请求的方法不够全面和高效；

第二种方法，由于对互联网2C服务来说，流量来源是每个独立用户，很难定义某个用户的访问是重要或不重要。

综上，现有的模型服务对于流量限制的解决方案，还有待于改进。

发明内容

针对相关技术中存在的问题，本申请公开一种改进后的模型服务方法、***、装置和计算机可读存储介质，以更好地解决流量限制问题。

第一方面，本发明实施例提供了一种模型服务方法，包括：

获取***性能指标；

计算至少一个数据特征的性能指标和损失值，所述数据特征的性能指标表征相应的数据特征的资源使用情况，所述数据特征的损失值表征相应的数据特征对预测结果精度的影响程度；

基于所述至少一个数据特征的性能指标和损失值获得丢弃特征列表；以及

当所述***性能指标满足设定条件时，根据所述丢弃特征列表忽略所述丢弃特征列表中至少一个数据特征,根据其余的数据特征，基于模型得到预测结果。

可选地，所述计算至少一个数据特征的性能指标包括：

记录所述至少一个数据特征在各个处理环节的日志；

根据所述至少一个数据特征在各个处理环节的日志进行汇总统计，以得到所述至少一个数据特征的性能指标。

可选地，所述计算损失值包括:

随机丢弃一个数据特征后再进行一次预测，得到预测结果；以及

基于丢弃前的预测结果和丢弃后的预测结果计算所述被丢弃的数据特征的损失值。

可选地，所述基于丢弃前的预测结果和丢弃后的预测结果计算所述被丢弃的数据特征的损失值包括：

基于多次计算得到的所述丢弃前的预测结果和所述丢弃后的预测结果，计算其差的平均值，将所述平均值作为相应的被丢弃的数据特征的损失值。

可选地，还包括：通过调节采样频次以调节所述至少一个数据特征中各个数据特征的占比。

可选地，所述基于每个数据特征的性能指标和损失值获得丢弃特征列表包括：

将设定的降级目标以及所述至少一个数据特征的性能指标和损失值输入到优化模型中，得到所述丢弃特征列表，其中，所述优化模型以对所述模型服务的精度损失最小化为目标，求出满足条件的最优解。

可选地，还包括：在将设定的降级目标以及所述至少一个数据特征的性能指标和损失值输入到优化模型中之前，对所述至少一个数据特征的性能指标和损失值进行归一化处理。

可选地，所述每个数据特征的性能指标包括：所述性能指标包括每个数据特征的处理时间和存储空间，所述优化模型为：

其中，n表示n个数据特征，normalize(acc_loss_i)表示对第i个数据特征的损失值的归一化处理过程，normalize(t_cost_i)表示对第i个数据特征的处理时间做归一化处理，normalize(c_cost_i)表示对第i个数据特征的存储空间做归一化处理，所述X％表示设定的降级目标中的时间降级目标，所述Y表示设定的降级目标中的存储降级目标。

可选地，所述***性能指标包括：CPU使用率、存储使用率、IO使用率、网络带宽使用率、流量负载和响应时间。

第二方面，本发明实施例提供一种模型服务***，包括：

***指标检测模块，用于获取***性能指标；

指标和损失值获取模块，用于计算至少一个数据特征的性能指标和损失值，所述数据特征的性能指标表征相应的数据特征的资源使用情况，所述数据特征的损失值表征相应的数据特征对预测结果精度的影响程度；

列表生成模块，用于基于所述至少一个数据特征的性能指标和损失值获得丢弃特征列表；

第一预测模块，用于当所述***性能指标不满足设定条件时，根据所有数据特征得到预测结果；

第二预测模块，用于当所述***性能指标满足设定条件时，根据所述丢弃特征列表忽略所述丢弃特征列表中至少一个数据特征相关的操作,根据其余的数据特征，得到预测结果。

可选地，所述指标和损失值获取模块，包括：

日志记录单元，用于记录所述至少一个数据特征在各个处理环节的日志；

日志汇总单元，用于根据所述至少一个数据特征在各个处理环节的日志进行汇总统计，以得到所述至少一个数据特征的性能指标。

模拟预测单元，用于随机丢弃一个数据特征后再进行一次模型预测，得到预测结果；

损失值计算单元，用于基于丢弃前的预测结果和丢弃后的预测结果计算所述被丢弃的数据特征的损失值。

可选地，所述损失值计算单元包括：

可选地，还包括：采样频率调节模块，用于通过调节采样频次以调节所述至少一个数据特征中各个数据特征的占比。

可选地，所述列表生成模块包括：

可选地，每个数据特征的性能指标包括：所述性能指标包括每个数据特征的处理时间和存储空间，所述优化模型为：

第三方面，提供一种模型服务装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述任意一项所述的模型服务方法。

第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现上述任一项所述的模型服务方法。

第五方面，本发明实施例提供计算机程序产品，包括计算机程序产品，所述计算机程序包括程序指令，当所述程序指令被模型服务装置执行时，使所述模型服务装置执行上述任意一项的监控方法。

本申请的实施例提供的技术方案可以包括以下有益效果：该模型服务方法先计算每个数据特征的损失值和性能指标，进而根据损失值和性能指标生成丢弃特征列表，在***的性能指标达到设定条件时，根据丢弃特征列表忽略一部分数据特征的处理，在降低服务风险的前提下，同时保证了模型的可用性及精度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1所示为一示例性的现有模型服务的流程示意图；

图2所示为实施例一提供的模型服务方法的流程图；

图3所示为实施例二提供的模型服务方法的流程图；

图4所示为实施例三提供的模型服务***的结构图；

图5所示为实施例四提供的模型服务***中的指标和损失值获取模块402的具体结构图；

图6所示为实施例五提供的一种模型服务装置的结构框图；

图7所示为实施例六提供的另一种模型服务装置的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

图1所示为一示例性的现有模型服务的流程示意图。模型服务100包括步骤S101-S104。首先S101步骤通过对外提供接口(可以为http或rpc等)接收实时的数据请求，抽取并整理数据请求中包含的当前数据特征，然后步骤S102调用模型服务附属的数据服务200，从数据服务获取更丰富的扩展数据特征，接着步骤S103融合当前数据特征和扩展数据特征得到融合后的数据特征，最后在步骤S104中，将融合后的数据特征输入到已经训练好的神经网络模型中，得到最终预测结果并返回给请求方。

基于上述模型服务，本发明实施例提出了一种基于数据特征进行流量限制的技术方案。该技术方案先计算每个数据特征的损失值和性能指标，进而根据损失值和性能指标的综合比对生成丢弃特征列表，根据丢弃特征列表优先忽略一部分数据特征的相应操作，在降低服务风险的前提下，同时保证了模型的可用性及精度。

图2所示为实施例一提供的模型服务方法的流程图。需要明白的是，在本实施例中，对于图1中的一些现有步骤，并未示出或者以相对简单的形式描述。例如，本实施例中并未示出获取接收实时数据请求，并从中抽取数据请求中包含的当前数据特征的步骤，也未示出对于从外部的数据服务300获取扩展数据特征，并融合当前数据特征和扩展数据特征的步骤。但本领域的技术人员可以理解到，本实施例可以包含这些相应步骤的部分或全部。该模型服务方法包括以下步骤。

在步骤S201中，获取***性能指标。

在步骤S202中，计算至少一个数据特征的性能指标和损失值。

在步骤S203中，基于至少一个数据特征的性能指标和损失值获得丢弃特征列表。

在步骤S204中，判断***性能指标满足设定条件。

在步骤S205中，根据丢弃特征列表忽略丢弃特征列表中至少一个数据特征,根据其余的数据特征，得到预测结果。

在步骤S206中，根据所有数据特征，得到预测结果。

在本公开实施例中，实时监测性能指标，并且实时计算每个数据特征的性能指标和损失值，其中数据特征的性能指标表征相应的数据特征的资源使用情况，损失值表征相应的数据特征对所述神经网络模型输出结果的精度的影响程度，通过数据特征的性能指标和损失生成丢弃特征列表。在模型服务***的日常工作中，根据所有数据特征列表计算预测结果，当***性能指标达到设定条件时，根据丢弃特征列表，忽略丢弃特征列表中至少一个数据特征的相应操作,根据其余的数据特征，得到预测结果。

本实施例提供的模型服务方法，在***性能指标满足设定条件时，在操作过程中忽略相应丢弃特征列表中的一些数据特征的操作，通过减少需要处理的数据特征，降低了***的服务风险，并最大限度地保证了模型服务的可用性和精度。

在一些实施例中，计算至少一个数据特征的性能指标包括：

记录至少一个数据特征在各个处理环节的日志；

根据至少一个数据特征在各个处理环节的日志进行汇总统计，以得到至少一个数据特征的性能指标。

在一些实施例中，计算损失值包括:

基于丢弃前的预测结果和丢弃后的预测结果计算被丢弃的数据特征的损失值。

在一些实施例中，基于丢弃前的预测结果和丢弃后的预测结果计算被丢弃的数据特征的损失值包括：

基于多次计算得到的丢弃前的预测结果和丢弃后的预测结果，计算其差的平均值，将平均值作为相应的被丢弃的数据特征的损失值。

在一些实施例中，上述模型服务方法还包括：通过调节采样频次以调节至少一个数据特征中各个数据特征的占比。

在一些实施例中，基于每个数据特征的性能指标和损失值获得丢弃特征列表包括：

将设定的降级目标以及至少一个数据特征的性能指标和损失值输入到优化模型中，得到丢弃特征列表，其中优化模型以对模型服务的精度损失最小化为目标，求出满足条件的最优解。

在一些实施例中，还包括：在将设定的降级目标以及至少一个数据特征的性能指标和损失值输入到优化模型中之前，对至少一个数据特征的性能指标和损失值进行归一化处理。

图3所示为实施例二提供的模型服务方法的流程图。需要明白的是，在本实施例中，对于图1中的一些现有步骤，同样并未示出或者以相对简单的形式描述。但本领域的技术人员可以理解到，本实施例包含这些相应步骤的部分或全部。本实施例具体包括以下步骤

在步骤S301中，获取***性能指标。

***性能指标包括但不限于以下性能指标：响应时间、吞吐量、资源使用率和点击数。响应时间为***为其服务所耗费的时间。吞吐量为***在每单位时间内能处理多少个事务/请求/单位数据等。资源使用率包括CPU占用率、内存使用率、磁盘I/O、网络I/O。点击数是单位时间内，***响应客户请求的数量。

***性能指标可以基于自身的采集步骤获得。该采集步骤一般为一个周期性的采集步骤。例如，通过一个定时器每隔5分钟或1小时采集一次***性能指标。***性能指标也可以来自其他采集***。例如，在自身所在的节点上部署一个采集***，定期接收该采集***发送过来的***性能指标。

在步骤S302中，记录至少一个数据特征在各个处理环节的日志。

在本步骤中，模型服务各个环节，例如接收实时数据请求，并从中抽取数据请求中包含的当前数据特征的步骤，获取扩展数据特征的步骤，以及融合当前数据特征和扩展数据特征的步骤，分别记录和一个或多个数据特征的处理日志。例如，当接收数据请求中，记录日志，当从数据请求中抽取数据特征时，记录日志，当从外部的数据服务中获取扩展数据特征时，记录日志，在采用神经网络模型进行计算之前和之后，也记录日志。

需要明白的是，如果记录所有的数据请求在所有处理环节的日志，对***性能压力太大。因此，一般地，基于采样频次记录一个或多个数据特征在各个处理环节的日志。例如，每隔10分钟采样一次数据请求，并随机记录其中涉及到的一个或多个数据特征的日志。由于每次接收到的数据请求不同，所以每次融合得到的数据特征也不同。因此，可能出现以下情况：一些数据特征记录日志的频次较低，一些数据特征记录日志的频次较高。可以通过增加采样频次增加一些数据特征的出现频次，例如，将10分钟采样一个数据请求修改为5分钟采样一次数据请求，并随机记录其中涉及到的一个或多个数据特征的日志。

在步骤S303中，根据至少一个数据特征在各个处理环节的日志进行汇总统计，以得到至少一个数据特征的性能指标。

通过步骤S302中得到的日志，能够得到一些数据特征，进而估算出其中每个数据特征所占用的存储空间，同理，根据步骤S302中记录的日志，能够得到其中每个数据特征在每个处理环节的开始时间和结束时间，进而得出处理每个数据特征所使用的时间。将每个数据特征所占用的存储空间和/或处理每个数据特征所使用的时间作为表征一个数据特征的资源使用情况。

当然，每个数据特征的性能指标也可以采用其他计算方式，例如，如果一个数据特征出现的频次较高，另一个数据特征出现的频次较低，则仅仅采用每个数据特征所占用的存储空间和/或处理每个数据特征所使用的时间并不能很好地表征出一个数据特征的资源使用情况，在这种情况下，可以将数据特征的频次也纳入到性能指标的组合中。

在步骤S304中，随机丢弃一个数据特征后再进行一次预测，基于模型得到预测结果。

如前所述，现有模型服务正常工作时，输入数据请求，经由神经网络模型输出预测结果。而在本实施例中，采用神经网络模型处理一个数据请求时，除了通过正常的处理过程得到一个预测结果，还会随机丢弃至少一个数据特征，并基于丢弃后的数据特征，得到另一个预测结果。该预测结果并不输出给请求方，而是存储到例如日志中。

在步骤S305中，基于丢弃前的预测结果和丢弃后的预测结果计算被丢弃的数据特征的损失值。

在本步骤中，将丢弃前的预测结果，即正常输出的预测结果和丢弃后的预测结果相减，得到一个数值作为被丢弃的数据特征的损失值。

也就是说，分别将所有数据特征和丢弃后一个数据特征之后的其余数据特征输入到训练好的神经网络模型中，以得到两次预测结果。在此过程中，由于无需修改神经网络模型的参数和算法逻辑，因此实现起来并不困难。而且，由于神经网络模型在一般GPU(图形处理器)上执行，计算两次预测结果对***负载的影响可以忽略不计。

对于一个数据特征的损失值，优选的方式是通过多次的数据请求处理过程中分别计算丢弃前的预测结果和丢弃后的预测结果，将多次相减得到的差再平均，以平均值作为该数据特征的损失值。

可以理解的是，每次发送给模型服务的数据请求中包含的数据特征并不完全相同，由此得到的扩展数据特征也不完全相同，因此，一次计算得到的一个特定数据特征的损失值和另一次计算得到的该数据特征的损失值，可能基于不同的数据特征组合。因此，将平均值作为数据特征的损失值，能够平滑单次计算的偶然性波动。举例说明，基于特征集[x₁，x₂，...，x_i，...，x_n-1，x_n]和[x₁，x₂，...，x_i，...，x_n-1]得到x_n的一个损失值，基于特征集[y₁，y₂，...，x_i，...，x_n-1，x_n]和[y₁，y₂，...，x_i，...，x_n-1]得到x_n的另一损失值，将两次得到的x_n损失值平均，作为x_n的损失值。

步骤S306中，基于至少一个数据特征的性能指标和损失值获得丢弃特征列表。

丢弃特征列表包括多个数据特征。该多个数据特征中的任意数据特征可以来自数据请求或者来自扩展数据特征。如前所述，性能指标表征一个数据特征的资源使用情况，损失值表征相应的数据特征对预测结果精度的影响程度，基于性能指标和损失值的组合能对所有数据特征进行排序。例如，设置性能指标的第一权重，设置损失值的第二权重，基于性能指标和损失值的权重之后进行从大到小的顺序排序，并按照从大到小选取若干个对应的数据特征放在丢弃特征列表。当然，也可以直接采用性能指标和损失值之和得到排序结果，进而根据排序结果得到丢弃特征列表。

步骤S307中，判断***性能指标满足设定条件。当***性能指标满足设定条件时，执行步骤S308，否则执行步骤S309。

在步骤S308中，根据丢弃特征列表忽略丢弃特征列表中至少一个数据特征的相应操作,根据其余的数据特征，得到预测结果。

在步骤S309中，根据所有数据特征，得到预测结果。

设定条件为预先在配置文件或者基于配置界面配置的条件。由于性能指标包含一个或多个指标，因此设定条件可以是基于一个或多个指标创建的正则表达式。

需要理解的是，在步骤S309中的所有数据特征，这里所有的数据特征包括数据请求中抽取到的数据特征和扩展数据特征经过融合得到的数据特征。相应地，步骤S308在任意处理环节，忽略丢弃特征列表中一个或多个数据特征的相应操作。例如，当需要扩展数据特征时，不扩展该数据特征，再例如，将数据特征输入到神经网络模型时，该数据特征不被输入。

另外，丢弃特征列表是基于之前多个数据请求的处理过程中得到的列表。对于当前的数据请求，可能涉及的数据特征均不在丢弃特征列表中，则下一次数据请求再忽略一个或多个数据特征的相应操作。以此类推。

为了更好地理解本发明，下面采用数学表达式对上述实施例进行具体描述。

假设模型输入特征空间为Rⁿ，则每次数据请求表示为[x₁，x₂，...，x_i，...，x_n-1，x_n],n表示数据特征的数量，该数据特征的获取可以通过从数据请求中抽取以及从外部的数据服务中获取。

a)数据特征的性能指标被定义为时间成本与存储成本

·时间成本，在数据请求中(全部或随机采样)分别记录每个特征抽取、处理、查询等函数的进入与跳出时间，即可统计出最近N次请求中该数据的每请求平均耗时，记录为t_cost_i；

·存储成本，根据每个特征数据的类型、值和存储结构，即可提前预估出每个数据特征的存储成本，记录为s_cost_i；

b)数据特征精度影响评估

每次数据请求，采样抽取一个特征x_i,同时计算保留与丢弃此特征，模型预测值的偏差，统计每个特征最近M次被采样时，对精度影响的平均数值：

c)降级策略

当***性能指标满足预设条件时，根据降级目标(如，存储空间减少20％，处理耗时降低30％等)，采用优化模型，将每个数据特征的性能指标和损失值输入到优化模型中，以精度损失最小化为目标，生成当前最优的丢弃特征列表。

对输入到优化模型中的每个数据特征的时间成本与存储成本，均进行归一化处理，每个特征对模型精度的损失统计量，同样做归一化处理；

通过计算求解以下优化模型，得到当前最优的丢弃特征列表。

其中，n表示n个数据特征，normalize(acc_loss_i)表示对第i个数据特征的损失值做归一化处理，normalize(t_cost_i)表示对第i个数据特征的处理时间做归一化处理，normalize(c_cost_i)表示对第i个数据特征的存储空间做归一化处理，所述X％表示设定的降级目标中的时间降级目标，即想要降级到的时间消耗比例数值，所述Y表示设定的降级目标中的存储降级目标，即想要降价到的存储消耗比例数值，v_i∈[0,1],代表保留或舍弃此特征。

d)执行降级操作

在模型服务的各个环节，忽略丢弃特征列表中的多个数据特征的操作，得到预测结果。

图4所示为实施例三提供的模型服务***的结构图。所述模型服务***400包括：

***指标检测模块401用于获取***性能指标；

指标和损失值获取模块402用于计算至少一个数据特征的性能指标和损失值，所述数据特征的性能指标表征相应的数据特征的资源使用情况，所述数据特征的损失值表征相应的数据特征对预测结果精度的影响程度；

列表生成模块403用于基于至少一个数据特征的性能指标和损失值获得丢弃特征列表；

第一预测模块404用于当***性能指标不满足设定条件时，根据所有数据特征得到预测结果；

第二预测模块405用于当***性能指标满足设定条件时，根据所述丢弃特征列表忽略丢弃特征列表中至少一个数据特征相关的操作,根据其余数据特征，得到预测结果。

图5所示为实施例四提供的模型服务***中的指标和损失值获取模块402的具体结构图。所述指标和损失值获取模块，包括：

日志记录单元，用于记录至少一个数据特征在各个处理环节的日志；

日志汇总单元，用于根据至少一个数据特征在各个处理环节的日志进行汇总统计，以得到至少一个数据特征的性能指标。

损失值计算单元，用于基于丢弃前的预测结果和丢弃后的预测结果计算被丢弃的数据特征的损失值。

在一些实施例中，所述损失值计算单元包括：

基于多次计算得到的丢弃前的预测结果和丢弃后的预测结果，计算其差的平均值，将平均值作为被丢弃的数据特征的损失值。

在一些实施例中，还包括：采样频率调节模块，用于通过调节采样频次以调节至少一个数据特征中各个数据特征的占比。

在一些实施例中，列表生成模块包括：

将设定的降级目标以及所述至少一个数据特征的性能指标和损失值输入到优化模型中，得到丢弃特征列表，其中，所述优化模型以精度损失最小化为目标，求出满足条件的最优解。

在一些实施例中，每个数据特征的性能指标包括：所述性能指标包括每个数据特征的处理时间和存储空间，所述优化模型为：

在一些实施例中，所述***性能指标包括：CPU使用率、存储使用率、IO使用率、网络带宽使用率、流量负载和响应时间。

关于上述实施例中的模型服务***，由于其中各个模块的功能已经在上述交互方法的实施例中进行了详细描述，由此进行了相对简略的描述。

图5是根据一示例性实施例示出的一种执行模型服务方法的模型服务装置的框图。所述模型服务装置包括处理器和用于存储处理器可执行指令的存储器；

例如，模型服务装置1200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图6，模型服务装置1200可以包括以下一个或多个组件：处理组件1202，存储器1204，电力组件1206，多媒体组件1208，音频组件1210，输入/输出(I/O)的接口1212，传感器组件1214，以及通信组件1216。

处理组件1202通常控制模型服务装置1200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1202可以包括一个或多个处理器1220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1202可以包括一个或多个模块，便于处理组件1202和其他组件之间的交互。例如，处理组件1202可以包括多媒体模块，以方便多媒体组件1208和处理组件1202之间的交互。

存储器1204被配置为存储各种类型的数据以支持在设备1200的操作。这些数据的示例包括用于在模型服务装置1200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1206为模型服务装置1200的各种组件提供电力。电源组件1206可以包括电源管理***，一个或多个电源，及其他与为模型服务装置1200生成、管理和分配电力相关联的组件。

多媒体组件1208包括在模型服务装置1200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1208包括一个前置摄像头和/或后置摄像头。当设备1200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件1210被配置为输出和/或输入音频信号。例如，音频组件1210包括一个麦克风(MIC)，当模型服务装置1200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些实施例中，音频组件1210还包括一个扬声器，用于输出音频信号。

I/O接口1212为处理组件1202和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启用按钮和锁定按钮。

传感器组件1214包括一个或多个传感器，用于为模型服务装置1200提供各个方面的状态评估。例如，传感器组件1214可以检测到设备1200的打开/关闭状态，组件的相对定位，例如所述组件为模型服务装置1200的显示器和小键盘，传感器组件1214还可以检测模型服务装置1200或模型服务装置1200一个组件的位置改变，用户与模型服务装置1200接触的存在或不存在，模型服务装置1200方位或加速/减速和模型服务装置1200的温度变化。传感器组件1214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1216被配置为便于模型服务装置1200和其他设备之间有线或无线方式的通信。模型服务装置1200可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1216经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，模型服务装置1200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1204，上述指令可由模型服务装置1200的处理器1220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图7是根据一示例性实施例示出的一种执行模型服务方法的模型服务装置的框图。例如，装置1300可以被提供为一服务器。参照图7，装置1300包括处理组件1322，其进一步包括一个或多个处理器，以及由存储器1332所代表的存储器资源，用于存储可由处理组件1322的执行的指令，例如应用程序。存储器1332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1322被配置为执行指令，以执行上述模型服务方法。

装置1300还可以包括一个电源组件1326被配置为执行装置1300的电源管理，一个有线或无线网络接口1350被配置为将装置1300连接到网络，和一个输入输出(I/O)接口1358。装置1300可以操作基于存储在存储器1332的操作***，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了计算机程序产品，包括计算机程序产品，所述计算机程序包括程序指令，当所述程序指令被模型服务装置执行时，使所述模型服务装置执行上述模型服务方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims

1.一种模型服务方法，其特征在于，包括：

获取***性能指标；

当所述***性能指标满足设定条件时，根据所述丢弃特征列表忽略所述丢弃特征列表中至少一个数据特征的相应操作,根据其余的数据特征，基于模型得到预测结果；

其中，所述基于每个数据特征的性能指标和损失值获得丢弃特征列表包括：

将设定的降级目标以及所述至少一个数据特征的性能指标和损失值输入到优化模型中，得到所述丢弃特征列表，其中，所述优化模型以精度损失最小化为目标，求出满足条件的最优解。

2.根据权利要求1所述的模型服务方法，其特征在于，所述计算至少一个数据特征的性能指标包括：

记录所述至少一个数据特征在各个处理环节的日志；

3.根据权利要求1所述的模型服务方法，其特征在于，所述计算损失值包括:

4.根据权利要求3所述的模型服务方法，其特征在于，所述基于丢弃前的预测结果和丢弃后的预测结果计算所述被丢弃的数据特征的损失值包括：

5.根据权利要求1所述的模型服务方法，其特征在于，还包括：通过调节采样频次以调节所述至少一个数据特征中各个数据特征的占比。

6.根据权利要求1所述的模型服务方法，其特征在于，还包括：在将设定的降级目标以及所述至少一个数据特征的性能指标和损失值输入到优化模型中之前，对所述至少一个数据特征的性能指标和损失值进行归一化处理。

7.根据权利要求6所述的模型服务方法，其特征在于，每个数据特征的性能指标包括：所述性能指标包括每个数据特征的处理时间和存储空间，所述优化模型为：

其中，n表示n个数据特征，normalize(acc_loss_i)表示对第i个数据特征的损失值做归一化处理，normalize(t_cost_i)表示对第i个数据特征的处理时间做归一化处理，normalize(c_cost_i)表示对第i个数据特征的存储空间做归一化处理，所述X％表示设定的降级目标中的时间降级目标，所述Y表示设定的降级目标中的存储降级目标。

8.根据权利要求1所述的模型服务方法，其特征在于，所述***性能指标包括：CPU使用率、存储使用率、IO使用率、网络带宽使用率、流量负载和响应时间。

9.一种模型服务***，其特征在于，包括：

***指标检测模块，用于获取***性能指标；

第二预测模块，用于当所述***性能指标满足设定条件时，根据所述丢弃特征列表忽略所述丢弃特征列表中至少一个数据特征的相应操作,根据其余的数据特征，得到预测结果；

其中，所述列表生成模块将设定的降级目标以及所述至少一个数据特征的性能指标和损失值输入到优化模型中，得到所述丢弃特征列表，其中，所述优化模型以精度损失最小化为目标，求出满足条件的最优解。

10.根据权利要求9所述的模型服务***，所述指标和损失值获取模块，包括：

日志汇总单元，用于根据所述至少一个数据特征在各个处理环节的日志进行汇总统计，以得到所述至少一个数据特征的性能指标；

模拟预测单元，用于随机丢弃一个数据特征后再进行一次预测，得到预测结果；

11.根据权利要求10所述的模型服务***，其特征在于，所述损失值计算单元包括：

基于多次计算得到的所述丢弃前的预测结果和所述丢弃后的预测结果，计算其差的平均值，将所述平均值作为被丢弃的数据特征的损失值。

12.根据权利要求9所述的模型服务***，其特征在于，还包括：采样频率调节模块，用于通过调节采样频次以调节所述至少一个数据特征中各个数据特征的占比。

13.根据权利要求9所述的模型服务***，其特征在于，所述列表生成模块还在将设定的降级目标以及所述至少一个数据特征的性能指标和损失值输入到优化模型中之前，对所述至少一个数据特征的性能指标和损失值进行归一化处理。

14.根据权利要求13所述的模型服务***，其特征在于，每个数据特征的性能指标包括：所述性能指标包括每个数据特征的处理时间和存储空间，所述优化模型为：

15.根据权利要求9所述的模型服务***，其特征在于，所述***性能指标包括：CPU使用率、存储使用率、IO使用率、网络带宽使用率、流量负载和响应时间。

16.一种模型服务装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述权利要求1至8任意一项所述的模型服务方法。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时控制所述计算机可读存储介质所在设备执行实现如权利要求1至8任一项所述的模型服务方法。