CN113283673A - 一种模型性能衰减评价方法、模型训练方法及装置 - Google Patents

一种模型性能衰减评价方法、模型训练方法及装置 Download PDF

Info

Publication number
CN113283673A
CN113283673A CN202110710086.7A CN202110710086A CN113283673A CN 113283673 A CN113283673 A CN 113283673A CN 202110710086 A CN202110710086 A CN 202110710086A CN 113283673 A CN113283673 A CN 113283673A
Authority
CN
China
Prior art keywords
model
target
target model
evaluation
variable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110710086.7A
Other languages
English (en)
Inventor
朱惠嘉
高民东
蒋宁
卞正
吴海英
林亚臣
陈俊旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mashang Xiaofei Finance Co Ltd
Original Assignee
Mashang Xiaofei Finance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mashang Xiaofei Finance Co Ltd filed Critical Mashang Xiaofei Finance Co Ltd
Priority to CN202110710086.7A priority Critical patent/CN113283673A/zh
Publication of CN113283673A publication Critical patent/CN113283673A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/08—Probabilistic or stochastic CAD

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Evolutionary Computation (AREA)
  • Finance (AREA)
  • Tourism & Hospitality (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Accounting & Taxation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Technology Law (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种模型性能衰减评价方法、模型训练方法及装置，该方法包括：获取目标模型的初始评价特征；其中，所述目标模型的初始评价特征包括所述目标模型的N组业务相关特征和所述目标模型的模型性能指标值中的至少一项，所述目标模型的N组业务相关特征与所述目标模型的N个评价样本一一对应；根据所述目标模型的初始评价特征确定所述目标模型的目标评价特征；将所述目标模型的目标评价特征输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果。通过本发明提供的模型性能衰减评价方法，可以提高模型性能衰减评价的效率。

Description

一种模型性能衰减评价方法、模型训练方法及装置
技术领域
本发明涉及信息处理技术领域，尤其涉及一种模型性能衰减评价方法、模型训练方法及装置。
背景技术
随着人工智能技术的不断发展，机器学习模型在各个技术领域的应用越来越广泛。以互联网金融领域为例，在金融风控审批中建立以逻辑回归、集成树、神经网络等为基础的反欺诈、贷前审批、贷中管理及贷后催收模型，以帮助风控业务人员更加有效的结合规则进行业务操作，并最大程度的找到优质客户最大集合，最小程度的误判还款意愿或还款能力低的客户为正常或优质客户。
为了保证模型的有效性，往往需要对模型进行性能评价，以确认模型是否衰减。目前，在模型验证性能无问题上线后，往往是通过对模型分数(例如、KS(Kolmogorov-Smirnov)、AUC(Area Under Curve，ROC曲线下的面积)、PSI(Population StabilityIndex，群体稳定性指标)等性能指标值)、变量分布进行实时监控，以评价模型在线上的性能表现，当某指标变化异常或触发设定阈值时，则会提示异常，由相应模型开发人员评估异常提示，判断模型是否衰减，可见，现有技术中模型衰减评价的效率较低。
发明内容
本发明实施例提供一种模型性能衰减评价方法、模型训练方法及装置，以解决现有技术中模型衰减评价的效率较低的问题。
为了解决上述技术问题，本发明是这样实现的：
第一方面，本发明实施例提供了一种模型性能衰减评价方法。该方法包括：
获取目标模型的初始评价特征；其中，所述目标模型的初始评价特征包括所述目标模型的N组业务相关特征和所述目标模型的模型性能指标值中的至少一项，所述目标模型的N组业务相关特征与所述目标模型的N个评价样本一一对应，且所述目标模型的每组业务相关特征均包括如下至少一项：所述评价样本输入所述目标模型的各个输入变量值，所述评价样本输入所述目标模型所得到的日志信息，所述评价样本输入所述目标模型所得到的样本评分；N为大于1的整数；
根据所述目标模型的初始评价特征确定所述目标模型的目标评价特征；
将所述目标模型的目标评价特征输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果。
第二方面，本发明实施例提供了一种模型训练方法。该方法包括：
分别获取S个模型样本中每个模型样本的初始评价特征，其中，所述模型样本的初始评价特征包括所述模型样本的P组业务相关特征和所述模型样本的模型性能指标值中的至少一项，所述模型样本的P组业务相关特征与所述模型样本的P个评价样本一一对应，且所述模型样本的每组业务相关特征均包括如下至少一项：所述评价样本输入所述模型样本的各个输入变量值，所述评价样本输入所述模型样本所得到的日志信息，所述评价样本输入所述模型样本所得到的样本评分；S和P均为大于1的整数；
分别根据每个所述模型样本的初始评价特征确定每个所述模型样本的目标评价特征；
根据每个所述模型样本的目标评价特征和每个所述模型样本的标注参数训练性能衰减评价模型，其中，所述标注参数用于指示所述模型样本对应于目标衰减评价变量的真值。
第三方面，本发明实施例还提供一种模型性能衰减评价装置。该模型性能衰减评价装置包括：
第一获取模块，用于获取目标模型的初始评价特征；其中，所述目标模型的初始评价特征包括所述目标模型的N组业务相关特征和所述目标模型的模型性能指标值中的至少一项，所述目标模型的N组业务相关特征与所述目标模型的N个评价样本一一对应，且所述目标模型的每组业务相关特征均包括如下至少一项：所述评价样本输入所述目标模型的各个输入变量值，所述评价样本输入所述目标模型所得到的日志信息，所述评价样本输入所述目标模型所得到的样本评分；N为大于1的整数；
第一确定模块，用于根据所述目标模型的初始评价特征确定所述目标模型的目标评价特征；
输入模块，用于将所述目标模型的目标评价特征输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果。
第四方面，本发明实施例还提供一种模型训练装置。该模型训练装置包括：
第二获取模块，用于分别获取S个模型样本中每个模型样本的初始评价特征，其中，所述模型样本的初始评价特征包括所述模型样本的P组业务相关特征和所述模型样本的模型性能指标值中的至少一项，所述模型样本的P组业务相关特征与所述模型样本的P个评价样本一一对应，且所述模型样本的每组业务相关特征均包括如下至少一项：所述评价样本输入所述模型样本的各个输入变量值，所述评价样本输入所述模型样本所得到的日志信息，所述评价样本输入所述模型样本所得到的样本评分；S和P均为大于1的整数；
第三确定模块，用于分别根据每个所述模型样本的初始评价特征确定每个所述模型样本的目标评价特征；
训练模块，用于根据每个所述模型样本的目标评价特征和每个所述模型样本的标注参数训练性能衰减评价模型，其中，所述标注参数用于指示所述模型样本对应于目标衰减评价变量的真值。
第五方面，本发明实施例还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的模型性能衰减评价方法的步骤，或者实现上述的模型训练方法的步骤。
第六方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的模型性能衰减评价方法的步骤，或者实现上述的模型训练方法的步骤。
本发明实施例中，通过预先训练的性能衰减评价模型直接对目标模型进行性能衰减评价，而无需借助人工判断，可以提高模型性能衰减评价的效率。此外，在考虑所述评价样本输入所述目标模型的各个输入变量值、所述评价样本输入所述目标模型所得到的日志信息和所述评价样本输入所述目标模型所得到的样本评分等业务相关特征对目标模型进行性能衰减评价的情况下，不仅可以提高模型衰减评价的准确性，还便于快速定位到模型性能下降的原因。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的模型性能衰减评价方法的流程图；
图2是本发明实施例提供的不同月份上线的模型组在其不同MOB下的衰减模型占比的示意图；
图3是本发明实施例提供的模型训练方法的流程图；
图4是本发明实施例提供的模型性能衰减评价***的示意图；
图5是本发明实施例提供的模型性能衰减评价装置的结构图；
图6是本发明实施例提供的模型训练装置的结构图；
图7是本发明又一实施例提供的模型性能衰减评价装置的结构图；
图8是本发明又一实施例提供的模型训练装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种模型性能衰减评价方法。参见图1，图1是本发明实施例提供的模型性能衰减评价方法的流程图，如图1所示，包括以下步骤：
步骤101、获取目标模型的初始评价特征；其中，所述目标模型的初始评价特征包括所述目标模型的N组业务相关特征和所述目标模型的模型性能指标值中的至少一项，所述目标模型的N组业务相关特征与所述目标模型的N个评价样本一一对应，且所述目标模型的每组业务相关特征均包括如下至少一项：所述评价样本输入所述目标模型的各个输入变量值，所述评价样本输入所述目标模型所得到的日志信息，所述评价样本输入所述目标模型所得到的样本评分；N为大于1的整数。
本实施例中，上述目标模型可以是任意待进行性能衰减评价的分类模型，例如，风控模型。
上述目标模型的评价样本可以是可输入上述目标模型以利用该目标模型进行评分的任意数据，该目标模型的评价样本包括该目标模型的各个输入变量对应的输入变量值。例如，若上述目标模型为风控模型，该风控模型的输入变量包括用户信用记录变量、贷款状态变量和申请记录变量，则该风控模型的评价样本可以是任意包括用户信用记录数据、贷款状态数据和申请记录数据的账户数据，将该账户数据输入至上述风控模型可以对该账户数据所表示的账户进行评分，以区分该账户为好账户还是坏账户。
上述目标模型的N个评价样本可以包括一段时间内输入至目标模型的评价样本，例如，最近6个月或者最近9个月输入至目标模型的评价样本。上述N个评价样本的每个评价样本输入至上述目标模型都可以得到该评价样本对应的一组业务相关特征，例如，评价样本A对应的一组业务相关特征可以包括评价样本A输入至目标模型的各个输入变量值、评价样本A输入至目标模型所得到的日志信息以及评价样本A输入至目标模型所得到的样本评分；评价样本B对应的一组业务相关特征可以包括评价样本B输入至目标模型的各个输入变量值、评价样本B输入至目标模型所得到的日志信息以及评价样本B输入至目标模型所得到的样本评分，以此类推。
对于上述评价样本输入目标模型的各个输入变量值，例如，若目标模型包括输入变量a、b和c，上述评价样本对应于输入变量a、b和c的值分别为A、B和C，则上述评价样本输入目标模型的各个输入变量值包括A、B和C。
对于上述评价样本输入目标模型所得到的日志信息，可以是指目标模型对该评价样本进行处理所返回的日志信息，可以包括但不限于日志码、输入参数和输出参数等中的至少一项内容，其中，上述日志码可以用于指示目标模型对该评价样本进行处理是否存在异常，例如，404、601、602、701和702等类型的日志码。
对于上述评价样本输入目标模型所得到的样本评分，可以是指目标模型对该评价样本进行处理所输出的分类概率，例如，若上述目标模型为风控模型，将某一账户数据输入至该风控模型，可以得到用于表示该账户是否为坏账户的概率。
上述模型性能指标值可以包括但不限于KS值、AUC值和PSI值等中的至少一项。可选地，上述模型性能指标值可以包括多个统计时间对应的模型性能指标子值，其中，上述各个统计时间均以同一统计周期为统计基准，该统计周期可以根据实际情况进行合理设置，例如，1天、半个月或1个月等，上述模型性能指标子值也可以包括但不限于KS值、AUC值和PSI值等中的至少一项。可选地，本实施例还可以按照周、月等维度计算并记录相应的模型性能指标值。
步骤102、根据所述目标模型的初始评价特征确定所述目标模型的目标评价特征。
对于该步骤102，在一实施方式中，可以直接将上述目标模型的初始评价特征作为目标模型的目标评价特征。例如，若上述目标模型的初始评价特征包括目标模型的模型性能指标值，可以直接将该目标模型的模型性能指标值作为目标模型的目标评价特征并输入至性能衰减评价模型。
在另一实施方式中，可以对上述目标模型的初始评价特征进行聚合等处理，以得到目标模型的目标评价特征。例如，若上述目标模型的初始评价特征包括目标模型的N组业务相关特征，可以对上述目标模型的N组业务相关特征按照时间维度进行聚合，并基于聚合得到的评价特征确定目标模型的目标评价特征；或者，若上述目标模型的初始评价特征包括目标模型的N组业务相关特征和目标模型的模型性能指标值，该目标模型的模型性能指标值包括多个统计时间对应的模型性能指标子值，则可以对上述N组业务相关特征按照时间维度进行聚合，对目标模型的多个统计时间对应的模型性能指标子值进行求均值、最大值或最小值等运算处理，并可以基于聚合得到的第一评价特征和运算处理后的第二评价特征确定目标模型的目标评价特征。
步骤103、将所述目标模型的目标评价特征输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果。
本实施例中，上述性能衰减评价模型可以是逻辑回归模型、集成树模型或决策树模型、或者包括多个模型的融合模型等。其中，上述集成树模型可以包括但不限于Lightgbm、Catboost或Xgboost等。具体地，在性能衰减评价模型为逻辑回归模型的情况下，由于逻辑回归模型具有较好的解释性，便于定位模型性能衰减的原因；在性能衰减评价模型为集成树模型或融合模型的情况下，相较于逻辑回归模型，模型性能衰减评价结果的精度更高。
上述性能衰减评价模型的目标衰减评价变量用于衡量或界定被评价模型是否存在性能衰减，具体可以根据实际需求进行合理设置，例如，目标衰减评价变量为在目标时间点后4个月内模型衰减天数超过30天的概率，这样通过该性能衰减评价模型可以得到被评价模型在目标时间点后4个月内模型衰减天数超过30天的概率值，例如，若其概率值大于阈值，则确定该被评价模型存在性能衰减，若其概率值小于或等于阈值，则确定该被评价模型不存在性能衰减，其中，上述阈值可以根据实际需求进行合理设置，例如，上述阈值可以为0.5。
上述性能衰减评价模型可以是基于大量的模型样本的目标评价特征和标注参数训练得到的模型，所述标注参数用于指示所述模型样本对应于所述目标衰减评价变量的真值，例如，对于目标衰减评价变量在目标时间点后4个月内模型衰减天数超过30天的概率，若某一模型样本在目标时间点后4个月内模型衰减天数超过30天，则其标注参数为1，否则其标注参数为0。
相应地，上述性能衰减评价结果为用于表征所述目标模型是否存在性能衰减的第一值，所述第一值为所述目标模型在目标时间段内模型衰减天数超过目标天数的概率值。以上述目标衰减评价变量为在目标时间点后4个月内模型衰减天数超过30天的概率为例，上述性能衰减评价结果可以为目标模型在目标时间点后4个月内的模型衰减天数超过30天的概率值，例如，若目标模型在目标时间点后4个月内模型衰减天数超过30天的概率值大于阈值，表示目标模型存在性能衰减；若目标模型在目标时间点后4个月内模型衰减天数超过30天的概率值小于或等于阈值，表示目标模型不存在性能衰减。
需要说明的是，上述目标时间点可以是选取的任意时间点。上述目标时间点与用于确定输入性能衰减评价模型的目标评价特征的评价样本相关，例如，在输入性能衰减评价模型的目标评价特征为目标模型的目标评价特征的情况下，用于确定所述目标模型的目标评价特征的评价样本可以为在目标时间点之前预设时间段内输入目标模型的评价样本；在输入性能衰减评价模型的目标评价特征为模型样本的目标评价特征的情况下，用于确定所述模型样本的目标评价特征的评价样本可以为在目标时间点之前预设时间段内输入模型样本的评价样本。其中，上述预设时间段可以根据实际情况进行合理设置，例如，6个月、3个月等。
此外，在性能衰减评价模型的训练阶段的目标时间点和在性能衰减评价模型的应用阶段的目标时间点可以不相同。例如，上述预设时间段为3个月，在性能衰减评价模型的训练阶段的目标时间点可以为2021年03月01日，这样可以基于2021年03月01日之前3个月输入模型样本的评价样本确定模型样本的目标评价特征并输入性能衰减评价模型以对性能衰减评价模型进行训练，在性能衰减评价模型的应用阶段的目标时间点可以为当前日期，这样可以基于当前日期之前3个月输入目标模型的评价样本确定目标模型的目标评价特征并输入性能衰减评价模型以对目标模型进行性能衰减评价。
本发明实施例提供的模型性能衰减评价方法，通过预先训练的性能衰减评价模型直接对目标模型进行性能衰减评价，而无需借助人工判断，可以提高模型性能衰减评价的效率。此外，在考虑所述评价样本输入所述目标模型的各个输入变量值、所述评价样本输入所述目标模型所得到的日志信息和所述评价样本输入所述目标模型所得到的样本评分等业务相关特征对目标模型进行性能衰减评价的情况下，不仅可以提高模型衰减评价的准确性，还便于快速定位到模型性能下降的原因，例如，变量不一致、模型包错误、接口配置错误等。
可选地，所述目标模型的初始评价特征包括所述目标模型的N组业务相关特征，所述N个评价样本包括以同一统计周期为统计基准的M个统计时间内输入所述目标模型的评价样本，M为正整数；
所述根据所述目标模型的初始评价特征确定所述目标模型的目标评价特征，包括：
分别将所述目标模型的N组业务相关特征中对应同一统计时间的业务相关特征进行聚合计算，得到所述目标模型的每个统计时间对应的聚合评价特征；
根据所述目标模型的M个统计时间对应的聚合评价特征确定所述目标模型的目标评价特征。
本实施例中，上述统计周期可以根据实际情况进行合理设置，例如，1个小时、1天、半个月或1个月等。上述M个统计时间可以是以同一统计周期为基准的M个连续的统计时间，例如，若统计周期为1天，则上述M个统计时间可以是连续的M天；或者上述M个统计时间也可以是以同一统计周期为基准的非连续的M个统计时间，例如，若统计周期为1天，则上述M个统计时间可以是非连续的M天。
上述对应同一统计时间的业务相关特征可以是指在同一统计时间内输入上述目标模型的所有评价样本对应的业务相关特征，例如，在同一天内输入上述目标模型的所有评价样本对应的业务相关特征。以下以统计周期为1天，M为60为例进行说明。
对于上述N组业务相关特征，可以分别对在每天内输入目标模型的所有的评价样本对应的聚合评价特征进行聚合，得到60天内每天对应的聚合评价特征，进而可以根据60天内每天对应的聚合评价特征确定所述目标模型的目标评价特征。
需要说明的是，在所述初始评价特征还包括模型性能指标值的情况下，上述目标评价特征可以包括根据M个所述统计时间对应的聚合评价特征确定的第一评价特征和模型性能指标值，或者上述目标评价特征可以包括根据M个所述统计时间对应的聚合评价特征确定的第一评价特征和基于模型性能指标值确定的第二评价特征，例如，该模型性能指标值包括多个统计时间对应的模型性能指标子值，上述第二评价特征可以为对多个统计时间对应的模型性能指标子值进行求均值、最大值或最小值等运算处理得到的评价特征。
本发明实施例通过分别将所述目标模型的N组业务相关特征中对应同一统计时间的业务相关特征进行聚合计算，得到所述目标模型的每个统计时间对应的聚合评价特征，并根据所述目标模型的M个统计时间对应的聚合评价特征确定所述目标模型的目标评价特征，这样可以得到更为多样化的对评估模型衰减有效的特征，进而可以提高模型衰减评价的准确性。
可选地，所述目标模型的每组业务相关特征均包括所述评价样本输入所述目标模型的各个输入变量值，所述目标模型的每个统计时间对应的聚合评价特征均包括如下至少一项：
所述目标模型的第一变量指标值，所述目标模型的第一变量指标值为所述目标模型的输入变量值矩阵与所述目标模型的基准变量值矩阵之间的相似度，所述目标模型的输入变量值矩阵为所述目标模型的第一变量值集合形成的矩阵，所述目标模型的基准变量值矩阵为与所述目标模型的第一变量值集合对应的基准变量值集合形成的矩阵，所述目标模型的第一变量值集合包括同一统计时间内所述目标模型的各个输入变量值；
所述目标模型的第二变量指标值，所述目标模型的第二变量指标值为根据所述目标模型的各个输入变量对应的第一变量值的数量确定的值，所述目标模型的各个输入变量对应的第一变量值分别为所述目标模型的各个输入变量对应的第二变量值集合中与对应的基准变量值不同的变量值，所述目标模型的各个输入变量对应的第二变量值集合分别包括同一统计时间内所述目标模型的各个输入变量对应的输入变量值；
所述目标模型的第三变量指标值，所述目标模型的第三变量指标值为根据所述目标模型的各个输入变量对应的第二变量值的数量确定的值，所述目标模型的各个输入变量对应的第二变量值分别为所述目标模型的各个输入变量对应的第三变量值集合中已知异常的输入变量值，所述目标模型的各个输入变量对应的第三变量值集合分别包括同一统计时间内所述目标模型的各个输入变量对应的输入变量值；
所述目标模型的第四变量指标值，所述目标模型的第四变量指标值为根据所述目标模型的各个输入变量对应的统计异常值的数量确定的值，所述目标模型的各个输入变量对应的统计异常值分别为所述目标模型的各个输入变量对应的第三变量值中经由预设异常值检验方法确定为异常的输入变量值，所述目标模型的各个输入变量对应的第三变量值分别为所述目标模型的各个输入变量对应的第四变量值集合中除已知异常的输入变量值之外的输入变量值，所述目标模型的各个输入变量对应的第四变量值集合分别包括同一统计时间内所述目标模型的各个输入变量对应的输入变量值；
所述目标模型的第五变量指标值，所述目标模型的第五变量指标值根据所述目标模型的各个输入变量对应的PSI值确定，所述目标模型的各个输入变量对应的PSI值分别为根据所述目标模型的各个输入变量对应的第五变量值集合与第六变量值集合计算得到的PSI值，所述目标模型的各个输入变量对应的第五变量值集合分别包括同一统计时间内所述目标模型的各个输入变量对应的输入变量值，所述目标模型的各个输入变量对应的第六变量值集合分别为基准统计时间内所述目标模型的各个输入变量对应的变量值。
本实施例中，上述M个统计时间中的每个统计时间对应的聚合评价特征均可以包括第一变量指标值、第二变量指标值、第三变量指标值、第四变量指标值和第五变量指标值中的至少一项。
可以理解的是，对于每个统计时间对应的第一变量指标值、第二变量指标值、第三变量指标值、第四变量指标值和第五变量指标值，均是基于位于该统计时间内的输入变量值确定的，也即基于在该统计时间内输入目标模型的评价样本的输入变量值确定。例如，对于统计时间a对应的聚合评价特征，则是基于位于统计时间a内的输入变量值确定的，示例地，统计时间a对应的第一变量指标值对应的第一变量值集合包括上述目标模型的各个输入变量值中位于统计时间a内的输入变量值；对于统计时间b对应的聚合评价特征，则是基于位于统计时间b内的输入变量值确定的，示例地，位于统计时间b内的第一变量指标值对应的第一变量值集合包括上述目标模型的各个输入变量值中位于统计时间b内的输入变量值，以此类推。
上述目标模型的第一变量值集合对应的基准变量值集合可以包括目标模型的第一变量值集合中各个输入变量值对应的基准变量值，其中，上述输入变量值对应的基准变量值可以是指数据库中存储的对应于该输入变量值的变量值，实际应用中，输入至目标模型中的线上数据往往会对应存储于数据库中，通常在目标模型部署过程中操作无误的情况下上述输入变量值和其对应的基准变量值一致。
上述目标模型的第二变量指标值为根据上述目标模型的各个输入变量对应的第一变量值的数量确定的值，例如，上述目标模型的第二变量指标值可以为上述目标模型的各个输入变量对应的第一变量值的数量中的最大值，或者可以为上述目标模型的各个输入变量对应的第一变量值的数量的平均值等。
上述目标模型的第三变量指标值为根据上述目标模型的各个输入变量对应的第二变量值的数量确定的值，例如，上述目标模型的第三变量指标值可以为上述目标模型的各个输入变量对应的第二变量值的数量中的最大值，或者上述目标模型的第三变量指标值可以为上述目标模型的各个输入变量对应的第二变量值的占比中的最大值等，其中，上述输入变量对应的第二变量值的占比可以为上述输入变量对应的第二变量值的数量与上述输入变量对应的第三变量值集合中输入变量值的数量的比值。上述已知异常的输入变量值可以是指可以直接确定为异常的输入变量值，例如，已经被数据源提供者标注为异常的输入变量值。又例如，对于用户信用变量，其对应的输入变量值为-9999，明显该输入变量值存在异常。
上述目标模型的第四变量指标值为根据上述目标模型的各个输入变量对应的统计异常值的数量确定，例如，上述目标模型的第四变量指标值可以为上述目标模型的各个输入变量对应的统计异常值的数量中的最大值，或者上述目标模型的第四变量指标值可以为上述目标模型的各个输入变量对应的统计异常值的占比中的最大值等，其中，上述输入变量对应的统计异常值的占比可以为上述输入变量对应的统计异常值的数量与上述输入变量对应的第四变量值集合中的输入变量值的数量的比值。上述统计异常值为经由预设异常值检验方法确定为异常的输入变量值。其中，上述预设异常值检验方法可以包括但不限于图基检验(Turkey Test)、Z分数检验(Z_score Test)等异常值检验方法。需要说明的是，本实施例中上述预设异常值检验方法的具体方式可以参见相关技术，对此不做赘述。
上述目标模型的第五变量指标值根据上述目标模型的各个输入变量对应的PSI值确定，例如，上述目标模型的第五变量指标值可以为目标模型的各个输入变量对应的PSI值的平均值，或者上述目标模型的第五变量指标值可以为目标模型的各个输入变量对应的PSI值的最大值等。上述基准统计时间可以为包括目标模型上线的时间的至少一个统计时间，或者可以包括用于上述目标模型训练的训练集对应的时间的至少一个统计时间，以统计周期为1天为例，上述基准统计时间可以为包括目标模型上线日期的至少一天或者包括用于上述目标模型训练的训练集对应的日期的至少一天，其中，上述基准统计时间所包括的天数可以根据输入目标模型的数据量大小以及环境因素确定，例如，若目标模型上线日期输入目标模型的数据量较大，则上述基准统计时间可以为目标模型上线日期。
以下以目标模型包括的输入变量x1、输入变量x2，M个统计时间包括的统计时间a1和统计时间a2为例对本实施例进行说明，其中，输入变量x1和输入变量x2可以为目标模型的任意两个输入变量，统计时间a1和统计时间a2可以为M个统计时间中任意两个统计时间：
统计时间a1对应的第一变量指标值可以为统计时间a1对应的输入变量值矩阵与统计时间a1对应的基准变量值矩阵之间的相似度，统计时间a1对应的输入变量值矩阵为统计时间a1对应的第一变量值集合形成的矩阵，统计时间a1对应的基准变量值矩阵为与统计时间a1对应的第一变量值集合对应的基准变量值集合形成的矩阵，统计时间a1对应的第一变量值集合包括统计时间a1内所述目标模型的各个输入变量值。统计时间a2对应的第一变量指标值可以为统计时间a2对应的输入变量值矩阵与统计时间a2对应的基准变量值矩阵之间的相似度，统计时间a2对应的输入变量值矩阵为统计时间a2对应的第一变量值集合形成的矩阵，统计时间a2对应的基准变量值矩阵为与统计时间a2对应的第一变量值集合对应的基准变量值集合形成的矩阵，统计时间a2对应的第一变量值集合包括统计时间a2内所述目标模型的各个输入变量值。以此类推，可以得到M个统计时间中各个统计时间对应的第一变量指标值。
统计时间a1对应的第二变量指标值可以为根据目标模型的各个输入变量对应的第一变量值的数量确定的值，其中，输入变量x1对应的第一变量值可以为输入变量x1对应的第二变量值集合中与对应的基准变量值不同的变量值，输入变量x1对应的第二变量值集合包括统计时间a1内输入变量x1对应的输入变量值；输入变量x2对应的第一变量值可以为输入变量x2对应的第二变量值集合中与对应的基准变量值不同的变量值，输入变量x2对应的第二变量值集合包括统计时间a1内输入变量x2对应的输入变量值；以此类推，直至得到目标模型的各个输入变量对应的第一变量值。统计时间a2对应的第二变量指标值可以为根据目标模型的各个输入变量对应的第一变量值的数量确定的值，其中，输入变量x1对应的第一变量值可以为输入变量x1对应的第二变量值集合中与对应的基准变量值不同的变量值，输入变量x1对应的第二变量值集合包括统计时间a2内输入变量x1对应的输入变量值，输入变量x2对应的第一变量值可以为输入变量x2对应的第二变量值集合中与对应的基准变量值不同的变量值，输入变量x2对应的第二变量值集合包括统计时间a2内输入变量x2对应的输入变量值；以此类推，可以得到目标模型的各个输入变量对应的第二变量值。以此类推，可以得到M个统计时间中的各个统计时间对应的第二变量指标值。
统计时间a1对应的第三变量指标值可以为根据目标模型的各个输入变量对应的第二变量值的数量确定的值，其中，输入变量x1对应的第二变量值为输入变量x1对应的第三变量值集合中已知异常的输入变量值，输入变量x1对应的第三变量值集合包括统计时间a1内输入变量x1对应的输入变量值；输入变量x2对应的第二变量值为输入变量x2对应的第三变量值集合中已知异常的输入变量值，输入变量x2对应的第三变量值集合包括统计时间a1内输入变量x2对应的输入变量值；以此类推，可以得到目标模型的各个输入变量对应的第二变量值。统计时间a2对应的第三变量指标值可以为根据目标模型的各个输入变量对应的第二变量值的数量确定的值，其中，输入变量x1对应的第二变量值为输入变量x1对应的第三变量值集合中已知异常的输入变量值，输入变量x1对应的第三变量值集合包括统计时间a2内输入变量x1对应的输入变量值；输入变量x2对应的第二变量值为输入变量x2对应的第三变量值集合中已知异常的输入变量值，输入变量x2对应的第三变量值集合包括统计时间a2内输入变量x2对应的输入变量值；以此类推，可以得到目标模型的各个输入变量对应的第二变量值。以此类推，可以得到M个统计时间中的各个统计时间对应的第三变量指标值。
统计时间a1对应的第四变量指标值可以为根据目标模型的各个输入变量对应的统计异常值的数量确定的值，其中，输入变量x1对应的统计异常值为输入变量x1对应的第三变量值中经由预设异常值检验方法确定为异常的输入变量值，输入变量x1对应的第三变量值为输入变量x1对应的第四变量值集合中除已知异常的输入变量值之外的输入变量值，输入变量x1对应的第四变量值集合包括统计时间a1内输入变量x1对应的输入变量值；输入变量x2对应的统计异常值为输入变量x2对应的第三变量值中经由预设异常值检验方法确定为异常的输入变量值，输入变量x2对应的第三变量值为输入变量x2对应的第四变量值集合中除已知异常的输入变量值之外的输入变量值，输入变量x2对应的第四变量值集合包括统计时间a1内输入变量x2对应的输入变量值；以此类推，可以得到目标模型的各个输入变量对应的统计异常值。统计时间a2对应的第四变量指标值可以为根据目标模型的各个输入变量对应的统计异常值的数量确定的值，其中，输入变量x1对应的统计异常值为输入变量x1对应的第三变量值中经由预设异常值检验方法确定为异常的输入变量值，输入变量x1对应的第三变量值为输入变量x1对应的第四变量值集合中除已知异常的输入变量值之外的输入变量值，输入变量x1对应的第四变量值集合包括统计时间a2内输入变量x1对应的输入变量值；输入变量x2对应的统计异常值为输入变量x2对应的第三变量值中经由预设异常值检验方法确定为异常的输入变量值，输入变量x2对应的第三变量值为输入变量x2对应的第四变量值集合中除已知异常的输入变量值之外的输入变量值，输入变量x2对应的第四变量值集合包括统计时间a2内输入变量x2对应的输入变量值；以此类推，可以得到目标模型的各个输入变量对应的统计异常值。以此类推，可以得到M个统计时间中的各个统计时间对应的第四变量指标值。
统计时间a1对应的第五变量指标值可以根据目标模型的各个输入变量对应的PSI值确定，其中，输入变量x1对应的PSI值分别为输入变量x1对应的第五变量值集合与第六变量值集合计算得到的PSI值，输入变量x1对应的第五变量值集合包括统计时间a1内输入变量x1对应的输入变量值，输入变量x1对应的第六变量值集合为基准统计时间内输入变量x1对应的变量值；输入变量x2对应的PSI值分别为输入变量x2对应的第五变量值集合与第六变量值集合计算得到的PSI值，输入变量x2对应的第五变量值集合包括统计时间a1内输入变量x2对应的输入变量值，输入变量x2对应的第六变量值集合为基准统计时间内输入变量x2对应的变量值；以此类推，可以得到目标模型的各个输入变量对应的PSI值。统计时间a2对应的第五变量指标值可以根据目标模型的各个输入变量对应的PSI值确定，其中，输入变量x1对应的PSI值分别为输入变量x1对应的第五变量值集合与第六变量值集合计算得到的PSI值，输入变量x1对应的第五变量值集合包括统计时间a2内输入变量x1对应的输入变量值，输入变量x1对应的第六变量值集合为基准统计时间内输入变量x1对应的变量值；输入变量x2对应的PSI值分别为输入变量x2对应的第五变量值集合与第六变量值集合计算得到的PSI值，输入变量x2对应的第五变量值集合包括统计时间a2内输入变量x2对应的输入变量值，输入变量x2对应的第六变量值集合为基准统计时间内输入变量x2对应的变量值；以此类推，可以得到目标模型的各个输入变量对应的PSI值。以此类推，可以得到M个统计时间中的各个统计时间对应的第五变量指标值。
本发明实施例中，在所述目标模型的每组业务相关特征均包括所述评价样本输入所述目标模型的各个输入变量值的情况下，每个统计时间对应的聚合评价特征均包括所述目标模型的第一变量指标值、所述目标模型的第二变量指标值、所述目标模型的第三变量指标值、所述目标模型的第四变量指标值和所述目标模型的第五变量指标值中的至少一项，由于输入变量的上述聚合特征可以更为准确、稳定的反映输入变量的异常情况，因而基于这些聚合特征可以更为准确的反应目标模型的输入变量相关的异常情况对模型性能衰减的影响，进而可以提高模型衰减评价的准确性。
可选地，所述目标模型的每组业务相关特征均包括所述评价样本输入所述目标模型所得到的日志信息，所述目标模型的每个统计时间对应的聚合评价特征均包括如下至少一项：
所述目标模型的日志码向量集合，所述目标模型的日志码向量集合包括对所述目标模型的第一日志信息集合中的各个日志码进行独热编码得到的向量，所述目标模型的第一日志信息集合包括N个所述日志信息中属于同一统计时间内的日志信息；
所述目标模型的格式检测值集合，所述目标模型的格式检测值集合包括所述目标模型的第二日志信息集合中各个日志信息对应的格式检测值，所述目标模型的第二日志信息集合包括N个所述日志信息中属于同一统计时间内的日志信息，所述格式检测值用于指示对应的日志信息中的出入参格式与参考格式是否一致。
本实施例中，上述M个统计时间中的每个统计时间对应的聚合评价特征均可以包括上述目标模型的日志码向量集合和所述目标模型的格式检测值集合中的至少一项。可以理解的是，对于每个统计时间对应的所述目标模型的日志码向量集合和所述目标模型的格式检测值集合，均是基于该统计时间对应的日志信息确定的。
上述日志码的类型可以包括但不限于404、601、602、701和702等。以上述日志码的类型包括404、601、602、701和702为例，若目标模型返回的日志码包括701、601和404，则对该日志码进行独热(one-hot)编码得到的日志码向量为(1 1 0 1 0)。上述目标模型的日志码向量集合可以包括所述目标模型的第一日志信息集合中的各个日志码进行独热编码得到的日志码向量。
上述日志信息中的出入参格式可以包括上述日志信息中的输入参数的格式和输出参数的格式。例如，参考格式如下：(输入变量#1：输入变量值)，(输入变量#2：输入变量值)，(输出变量#1：输出变量值)，(输出变量#2：无对应输出变量)，若某一日志信息中的出入参格式如下：(输入变量#1：输入变量值)，(输入变量#2：输入变量值)，(输出变量#1：输出变量值)，(输出变量#2：“”)，则表示该日志信息中的出入参格式与参考格式不匹配，对应的格式检测值的取值可以为第一值，例如，0，以指示该日志信息中的出入参格式与参考格式不匹配；若某一日志信息中的出入参格式如下：(输入变量#1：输入变量值)，(输入变量#2：输入变量值)，(输出变量#1：输出变量值)，(输出变量#2：无对应输出变量)，则表示该日志信息中的出入参格式与参考格式匹配，对应的格式检测值的取值可以为第二值，例如，1，以指示该日志信息中的出入参格式与参考格式匹配。
以下以M个统计时间包括的统计时间a1和统计时间a2为例对本实施例进行说明，其中，统计时间a1和统计时间a2可以为M个统计时间中任意两个统计时间：
统计时间a1对应的日志码向量集合可以包括对统计时间a1对应的第一日志信息集合中的各个日志码进行独热编码得到的向量，统计时间a1对应的第一日志信息集合包括N个所述日志信息中位于统计时间a1内的日志信息；统计时间a2对应的日志码向量集合可以包括对统计时间a2对应的第一日志信息集合中的各个日志码进行独热编码得到的向量，统计时间a2对应的第一日志信息集合包括N个所述日志信息中位于统计时间a2内的日志信息；以此类推，可以得到M个统计时间中各个统计时间对应的日志码向量集合。
统计时间a1对应的格式检测值集合可以包括统计时间a1对应的第二日志信息集合中各个日志信息对应的格式检测值，统计时间a1对应的第二日志信息集合包括N个所述日志信息中位于统计时间a1内的日志信息；统计时间a2对应的格式检测值集合可以包括统计时间a2对应的第二日志信息集合中各个日志信息对应的格式检测值，统计时间a2对应的第二日志信息集合包括N个所述日志信息中位于统计时间a2内的日志信息；以此类推，可以得到M个统计时间中各个统计时间对应的格式检测值集合。
本发明实施例中，在所述目标模型的每组业务相关特征均包括所述评价样本输入所述目标模型所得到的日志信息的情况下，每个统计时间对应的聚合评价特征均包括所述目标模型的日志码向量集合和所述目标模型的格式检测值集合中的至少一项，由于日志信息的上述聚合特征可以更为准确、稳定的反映日志信息的异常情况，因而基于这些特征可以更为准确的反应目标模型的日志信息相关的异常情况对模型性能衰减的影响，进而可以提高模型衰减评价的准确性。
可选地，所述目标模型的每组业务相关特征均包括所述评价样本输入所述目标模型所得到的样本评分，所述目标模型的每个统计时间对应的聚合评价特征均包括如下至少一项：
所述目标模型的分数异常指标值，所述目标模型的分数异常指标值为根据所述目标模型的异常样本评分的数量确定的值，所述目标模型的异常样本评分为所述目标模型的第一样本评分集合中与对应的基准样本评分不同的样本评分，所述目标模型的第一样本评分集合为N个所述样本评分中属于同一统计时间内的样本评分；
所述目标模型的分数异常检测值集合，所述目标模型的分数异常检测值集合包括所述目标模型的第二样本评分集合中的各个样本评分对应的分数异常检测值，所述目标模型的第二样本评分集合为N个所述样本评分中属于同一统计时间内的样本评分，所述分数异常检测值用于指示对应的样本评分是否位于预设区间内。
本实施例中，上述M个统计时间中的每个统计时间对应的聚合评价特征均可以包括上述目标模型的分数异常指标值和所述目标模型的分数异常检测值集合中的至少一项。可以理解的是，对于每个统计时间对应的所述目标模型的分数异常指标值和所述目标模型的分数异常检测值集合，均是基于该统计时间对应的样本评分确定的。
上述基准样本评分可以是将基准样本输入至目标模型所得到的样本评分。其中，每个评价样本均可以存在其对应的基准样本，每个评价样本对应的基准样本可以是指数据库中存储的对应于该评价样本的样本，实际应用中，输入至目标模型中的线上数据往往会对应存储于数据库中，通常在目标模型部署过程中操作无误的情况下上述评价样本和其对应的基准评价样本一致。上述目标模型的分数异常指标值为根据所述目标模型的异常样本评分的数量确定的值，例如，上述目标模型的分数异常指标值可以为所述目标模型的异常样本评分的数量，或者上述目标模型的分数异常指标值可以为所述目标模型的异常样本评分的数量与所述目标模型的第一样本评分集合中样本评分的数量的比值等。
上述预设区间可以根据实际情况进行合理设置，例如，在上述样本评分为概率的形式的情况下，上述预设区间可以为[0，1]。上述分数异常检测值用于指示对应的样本评分是否位于预设区间内，例如，若某一样本评分位于预设区间内，则上述分数异常检测值可以为第三值，例如，1，以指示该样本评分位于预设区间内，若某一样本评分未位于预设区间内，则上述分数异常检测值可以为第四值，例如，0，以指示该样本评分未位于预设区间内，也即该样本评分存在分数异常。
以下以M个统计时间包括统计时间a1和统计时间a2为例对本实施例进行说明，其中，统计时间a1和统计时间a2可以为M个统计时间中任意两个统计时间：
统计时间a1对应的分数异常指标值可以为根据统计时间a1对应的异常样本评分的数量确定的值，统计时间a1对应的异常样本评分为统计时间a1对应的第一样本评分集合中与对应的基准样本评分不同的样本评分，统计时间a1对应的第一样本评分集合为N个所述样本评分中位于统计时间a1内的样本评分；统计时间a2对应的分数异常指标值可以为根据统计时间a2对应的异常样本评分的数量确定的值，统计时间a2对应的异常样本评分为统计时间a2对应的第一样本评分集合中与对应的基准样本评分不同的样本评分，统计时间a2对应的第一样本评分集合为N个所述样本评分中位于统计时间a2内的样本评分；以此类推，可以得到M个统计时间中各个统计时间对应的分数异常指标值。
统计时间a1对应的分数异常检测值集合可以包括统计时间a1对应的第二样本评分集合中的各个样本评分对应的分数异常检测值，统计时间a1对应的第二样本评分集合为N个所述样本评分中位于统计时间a1内的样本评分；统计时间a2对应的分数异常检测值集合可以包括统计时间a2对应的第二样本评分集合中的各个样本评分对应的分数异常检测值，统计时间a2对应的第二样本评分集合为N个所述样本评分中位于统计时间a2内的样本评分；以此类推，可以得到M个统计时间中各个统计时间对应的分数异常检测值集合。
本发明实施例中，在所述目标模型的每组业务相关特征均包括所述评价样本输入所述目标模型所得到的样本评分的情况下，每个统计时间对应的所述聚合评价特征均包括所述目标模型的分数异常指标值和所述目标模型的分数异常检测值集合中的至少一项，由于样本评分的上述聚合特征可以更为准确、稳定的反映样本评分的异常情况，因而基于这些特征可以更为准确的反应目标模型的样本评分相关的异常情况对模型性能衰减的影响，进而可以提高模型衰减评价的准确性。
需要说明的是，上述各个实施方式可以根据实际需求进行任意组合，例如，在所述目标模型的每组业务相关特征均包括所述评价样本输入所述目标模型的各个输入变量值、所述评价样本输入所述目标模型所得到的日志信息和所述评价样本输入所述目标模型所得到的样本评分的情况下，上述聚合评价特征可以包括：上述目标模型的第一变量指标值、所述目标模型的第二变量指标值、所述目标模型的第三变量指标值、所述目标模型的第四变量指标值和所述目标模型的第五变量指标值中的至少一项，上述目标模型的日志码向量集合和所述目标模型的格式检测值集合中的至少一项，以及，上述目标模型的分数异常指标值和所述目标模型的分数异常检测值集合中的至少一项。
可选地，M为大于1的整数，所述目标模型的目标评价特征至少包括所述目标模型的RFM特征，所述目标模型的RFM特征为对所述目标模型的M个统计时间对应的聚合评价特征进行RFM分析得到的特征。
本实施例中，上述对M个所述统计时间对应的聚合评价特征进行RFM分析，也即从R(Recency，最近一次)、F(Frequency，频率)和M(Monetary，总量)三个维度对M个所述统计时间对应的聚合评价特征进行分析，以衍生出更多的用于评价目标模型衰减情况的特征。
示例地，上述RFM特征可以包括R特征、F特征和M特征中的至少一项。其中，上述R特征可以包括M个所述统计时间中最近一个统计时间对应的所述目标模型的第二变量指标值、所述目标模型的第三变量指标值、所述目标模型的第四变量指标值和所述目标模型的分数异常指标值等中的至少一项，和/或，M个所述统计时间中对应的第二变量指标值、所述目标模型的第三变量指标值、所述目标模型的第四变量指标值和所述目标模型的分数异常指标值等中的至少一项超过各自对应的预设值的最近一个统计时间与当前统计时间之间的时间差值等。
上述F特征可以包括多个统计时间对应的所述目标模型的分数异常检测值集合中指示对应的样本评分未位于预设区间内的分数异常检测值的数量，和/或，多个统计时间对应的所述目标模型的格式检测值集合中指示对应的日志信息中的出入参格式与参考格式不一致的格式检测值的数量等。
上述M特征可以包括多个统计时间对应的所述目标模型的第二变量指标值之和，和/或，多个统计时间对应的所述目标模型的分数异常指标值之和等。
可以理解的是，本实施例的目标模型的目标评价特征可以包括目标模型的RFM特征，还可以包括除目标模型的RFM特征之外的评价特征，例如，还可以包括上述M个所述统计时间对应的聚合评价特征等。
本发明实施例通过对M个所述统计时间对应的聚合评价特征进行RFM分析以衍生出更多对模型衰减评估更为有效的特征，进而可以提高模型衰减评价的准确性。
可选地，所述目标模型的每个统计时间对应的聚合评价特征均包括所述目标模型的第二变量指标值、所述目标模型的格式检测值集合和所述目标模型的分数异常指标值；
其中，所述目标模型的第二变量指标值为根据所述目标模型的各个输入变量对应的第一变量值的数量确定的值，所述目标模型的输入变量对应的第一变量值为所述目标模型的输入变量对应的第二变量值集合中与对应的基准变量值不同的变量值，所述目标模型的第二变量值集合包括同一统计时间内所述目标模型的输入变量对应的输入变量值；
所述目标模型的格式检测值集合包括所述目标模型的第二日志信息集合中各个日志信息对应的格式检测值，所述目标模型的第二日志信息集合包括N个所述日志信息中属于同一统计时间内的日志信息，所述格式检测值用于指示对应的日志信息中的出入参格式与参考格式是否一致；
所述目标模型的分数异常指标值为根据所述目标模型的异常样本评分的数量确定的值，所述目标模型的异常样本评分为所述目标模型的第一样本评分集合中与对应的基准样本评分不同的样本评分，所述目标模型的第一样本评分集合包括N个所述样本评分中位于同一统计时间内的样本评分；
所述目标模型的RFM特征包括所述目标模型的R指标值、所述目标模型的F指标值和所述目标模型的M指标值；
其中，所述目标模型的R指标值为所述目标模型的第一统计时间与当前统计时间的时间差值，所述目标模型的第一统计时间为所述目标模型的统计时间集合中与当前统计时间的时间间隔最小的统计时间，所述目标模型的第一统计时间集合包括M个所述统计时间中对应的第二变量指标值超过预设值的统计时间；
所述目标模型的F指标值为目标格式检测值集合中的第一格式检测值的数量，所述目标格式检测值集合包括所述目标模型的第二统计时间集合中的所有统计时间对应的格式检测值集合，所述第一格式检测值指示对应的日志信息中的出入参格式与参考格式不一致，所述目标模型的第二统计时间集合包括M个所述统计时间中任意K个相邻的统计时间，K为小于或等于M的正整数；
所述目标模型的M指标值为分数异常指标值集合中的所有分数异常指标值之和，所述分数异常指标值集合包括所述目标模型的第三统计时间集合中的所有统计时间对应的分数异常指标值，所述目标模型的第三统计时间集合包括M个所述统计时间中任意L个相邻的统计时间，L为小于或等于M的正整数。
本实施例中，上述目标模型的第二变量指标值、上述目标模型的格式检测值集合和上述目标模型的分数异常指标值可以分别参见前述相应的描述，为避免重复，在此不做赘述。
对于上述当前统计时间，例如，若统计周期为1天，则当前统计时间为当天，若统计周期为1周，则当前统计时间为本周。上述K和L的取值可以根据实际需求进行合理设置，例如，K为30或60等，L为15或30等。上述预设值可以根据实际情况进行合理设置，例如，30、50或100等。
需要说明的是，在上述M个所述统计时间为连续的M个统计时间的情况下，上述K个相邻的统计时间可以是M个所述统计时间中任意K个连续的统计时间，上述L个相邻的统计时间可以是M个所述统计时间中任意L个连续的统计时间。
以下以统计周期为1天、M为90、K为30、L为15为例，上述R指标值可以为90天中对应的第二变量指标值超过预设值的所有天数中的最近一天距离当前日期的天数；上述F指标值可以为90天中的最近30天对应的所述目标模型的格式检测值集合中指示对应的日志信息中的出入参格式与参考格式不一致的格式检测值的数量，或者90天中的第30至第60天对应的所述目标模型的格式检测值集合中指示对应的日志信息中的出入参格式与参考格式不一致的格式检测值的数量，等等；上述M指标值可以为90天中的最近15天对应的所述目标模型的分数异常指标值之和，或者上述M指标值可以为90天中的第15天至第30天对应的所述目标模型的分数异常指标值之和，等等。
本实施例中，由于上述R指标值、F指标值和M指标值分别为对各自对应的第二变量指标值、所述目标模型的格式检测值集合和所述目标模型的分数异常指标值进行进一步统计分析得到，因此上述R指标值、F指标值和M指标值相比于各自对应的第二变量指标值、所述目标模型的格式检测值集合和所述目标模型的分数异常指标值，更具有稳定性和有效性，进而可以进一步提高模型衰减评价的准确性。
可选地，将所述目标模型的目标评价特征输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果，包括：
将所述目标模型的目标评价特征进行证据权重转换，得到所述目标模型的证据权重值；
将所述目标模型的证据权重值输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果。
本实施例中，可以基于如下公式对所述目标模型的目标评价特征进行证据权重转换，得到目标模型的目标评价特征对应的证据权重值Xij：
Figure BDA0003133269380000241
其中，wjk为第i个模型的目标评价特征的第j个评价特征xij在第k分箱内所转换后的证据权重(WOE)值，i和j均为正整数。δjk为二元虚拟变量，若xij的取值在第k分箱，则δjk＝1，否则δjk＝0。分箱数量n和分箱范围可以根据实际需求进行合理设置，不同的评价特征可以对应不同的分箱数量和分箱范围。本实施例中，上述第i个模型即目标模型。
本发明实施例通过对所述目标模型的目标评价特征进行证据权重转换，这样基于各个评价特征对应的证据权重值可以直观的获知各个评价特征对模型性能评价结果的贡献程度，进而便于后续对模型的衰减原因进行分析。
可选地，所述性能衰减评价模型为逻辑回归模型；所述方法还包括：
根据所述逻辑回归模型确定所述目标评价特征的各个评价特征的特征评分并输出所述特征评分。
以下以目标评价特征包括R指标值x11、F指标值x12和M指标值x13这三个特征为例，上述逻辑回归模型可以如下所示：
Figure BDA0003133269380000242
其中，上述r、s和t分别表示R指标值、F指标值和M指标值对应的分箱数量，上述β0、β1、β2和β3均为逻辑回归模型的权重值。基于上述逻辑回归模型，可以得到所述目标评价特征的各个评价特征的特征评分，例如，R指标值的特征评分为β1(w11δ11+w12δ12+w13δ13+…+w13δ1r)，F指标值的特征评分为β2(w21δ21+w22δ22+w23δ23+…+w23δ2s)，M指标值的特征评分为β3(w31δ31+w32δ32+w33δ33+…+w33δ3t)。
基于上述目标评价特征的各个评价特征的特征评分，可以更为直观的分析模型衰减的原因，例如，变量不一致、模型包错误、接口配置错误、客群变化等原因。具体地，一方面可以根据上述目标评价特征的各个评价特征的特征评分确定各个评价特征对把该目标模型预测为性能衰减的贡献程度，其中，特征评分越大贡献程度越高；另一方面，可以观察相对于其他被所述性能衰减评价模型预测为非性能衰减的被预测模型，该目标模型被预测为性能衰减的主要影响因素，也即单独考虑各个评价特征对模型被预测为性能衰减和非性能衰减的不同影响。例如，可以分别计算其他被预测模型的各个评价特征的均值，并分别计算目标模型的各个评价特征与其他被预测模型的各个评价特征的均值的差值与对应均值的比值，得到各个评价特征的第一比值，通过第一比值可以反映各个评价特征在模型被预测为性能衰减和非性能衰减的区别程度，其中，第一比值越大，区别程度越高。
进一步地，可以结合上述各个评价特征的特征评分和各个评价特征的第一比值共同确定对目标模型预测为性能衰减的影响最大的评价特征，再结合影响最大的评价特征具体的值去排查相对应的业务问题。例如，上述R指标值可以为最近15天内对应的第二变量指标值超过预设值的天数，上述F指标值可以为最近30天对应的格式检测值集合中指示对应的日志信息中的出入参格式与参考格式不一致的格式检测值的数量，上述M指标值可以为最近30天对应的第五变量指标值的平均值，若上述F指标值的特征评分和第一比值最大，则可以确定上述F指标值为对目标模型被预测为性能衰减的影响最大的评价特征，并可以进一步考虑是否是日志格式改变导致目标模型被预测为性能衰减；或者若上述R指标值的特征评分和第一比值最大，则可以确定上述R指标值为对目标模型被预测为性能衰减的影响最大的评价特征，并可以进一步考虑是否是因为变量不一致、接口配置错误等因素导致目标模型被预测为性能衰减；若上述M指标值的特征评分和第一比值最大，则可以确定上述M指标值为对目标模型被预测为性能衰减的影响最大的评价特征，并可以进一步考虑是否是因为客群变化导致目标模型被预测为性能衰减。
可选地，本实施例还可以进一步得到所述目标评价特征的各个评价特征在各个分箱上的证据权重值和特征评分并输出，以供用户查看，例如，可以如表1所示。
表1
Figure BDA0003133269380000261
本发明实施例根据所述逻辑回归模型确定所述目标评价特征的各个评价特征的特征评分并输出所述特征评分，由于逻辑回归模型具有较好的解释性，能有效的确定模型性能衰减的概率以及各个评价特征的特征评分，便于直观的定位模型性能衰减的原因。
可选地，所述性能衰减评价模型的目标衰减评价变量为：在目标时间段内模型衰减天数超过目标天数；
所述性能衰减评价结果为用于表征所述目标模型是否存在性能衰减的第一值，所述第一值为所述目标模型在目标时间段内模型衰减天数超过目标天数的概率值。
本实施例中，上述目标衰减评价变量用于衡量或者界定被评价模型是否存在性能衰减，例如，若上述目标衰减评价变量的取值为1，表示被评价的模型存在性能衰减，若上述目标衰减评价变量的取值为0，表示被评价的模型不存在性能衰减。上述目标天数可以是根据经验值设定的天数，或者可以是根据用于性能衰减评价模型训练的S个模型样本的衰减情况确定的天数。例如，上述目标天数可以为30。上述目标时间段也可以是根据经验值设定的时间段，也可以是根据用于性能衰减评价模型训练的S个模型样本的衰减情况确定的时间段。例如，上述目标时间段可以为目标时间点后的4个月。
相应地，上述性能衰减评价结果为用于表征所述目标模型是否存在性能衰减的第一值，所述第一值为所述目标模型在目标时间段内模型衰减天数超过目标天数的概率值。以上述目标衰减评价变量为在目标时间点后4个月内模型衰减天数超过30天的概率为例，上述性能衰减评价结果可以为目标模型在目标时间点后4个月内的模型衰减天数超过30天的概率值，例如，若目标模型在目标时间点后4个月内模型衰减天数超过30天的概率值大于阈值，表示目标模型存在性能衰减；若目标模型在目标时间点后4个月内模型衰减天数超过30天的概率值小于或等于阈值，表示目标模型不存在性能衰减。
可选地，所述性能衰减评价模型为根据S个模型样本中每个模型样本对应的目标评价特征以及标注参数训练得到的模型，所述标注参数用于指示所述模型样本对应于所述目标衰减评价变量的真值，S为大于1的整数。
本实施例中，上述模型样本可以是任意的分类模型。上述每个模型样本对应的目标评价特征的具体内容可以参见前述目标模型对应的目标评价特征，为避免重复，在此不做赘述。
上述标注参数用于指示所述模型样本对应于所述目标衰减评价变量的真值，例如，上述目标衰减评价变量为在目标时间点后4个月内模型衰减天数超过30天的概率，若某一模型样本在目标时间点后4个月内模型衰减天数超过30天，则该模型样本对应于所述目标衰减评价变量的真值为1，若某一模型样本在目标时间点后4个月内模型衰减天数未超过30天，则该模型样本对应于所述目标衰减评价变量的真值为0。
可选地，可以进一步将每个模型样本对应的目标评价特征进行证据权重转换，得到每个模型样本对应的目标评价特征对应的证据权重值，并基于每个模型样本对应的目标评价特征对应的证据权重值及标注参数对性能衰减评价模型进行训练。
以下以上述性能衰减评价模型为逻辑回归模型、目标评价特征包括R指标值、F指标值和M指标值这三个评价特征为例，对性能衰减评价模型的训练进行说明：
S个模型样本对应的目标评价特征及标注参数可以如表2所示。
表2
Figure BDA0003133269380000281
其中，model_id表示模型样本的标识，xij表示第i个模型样本的第j个特征的特征值，i的取值范围为[1，S]，j的取值范围为[1，3]。MDD30MOB4表示在4个月的表现期内模型衰减超过30天的概率，m表示模型样本对应于目标衰减评价变量的标注参数，其取值为0或1。
表3
Figure BDA0003133269380000282
逻辑回归模型可以如下所示：
Figure BDA0003133269380000283
其中，z＝ln(odds)＝β0+β1Xi1+β2Xi2+β3Xi3 (式四)
通过将表3所示的各个模型样本的评价特征的WOE值输入上述式三，可得到针对目标衰减评价变量MDD30MOB4的估计概率πi，根据最大似然法则，当估计概率πi等于对应的实际结果(即真值)时，要求似然函数能够实现最大值，因目标衰减评价变量的取值为0或1，故可得到似然函数的数学表达式如下：
Figure BDA0003133269380000291
其中，yi表示估计概率πi对应的真值，也即上述目标衰减评价变量的取值，通过梯度上升法即可确定逻辑回归模型的各项权重(即β0至β3)，得到最终的模型衰减评价模型，也即上述式二。
可选地，所述目标天数为对所述S个模型样本的衰减天数进行滚动率分析确定的值。
以下结合举例对所述S个模型样本的衰减天数进行滚动率分析进行说明：
可以预先设置一个模型性能衰减的判定标准，以基于该模型性能衰减的判定标准判断模型是否存在性能衰减，例如，模型分数满足预设条件。
例如，实际情况中，一般模型衰减90天以上就不能再用了，此处模型衰减即基于上述模型性能衰减的判定标准确定，但90天过长，要让90天完全暴露的时间相应更长，因此，可以找到一个相对较短的值T，只要模型衰减达到T天，就有较大概率会衰减达到90天(表示模型不能再使用)，而通过滚动率分析(Roll Rate Analysis)即可以确定上述T值。
示例地，滚动率分析过程如下所示：选一个观测点，前后各看6个月的表现时间，所以该观测点距现在至少6个月，可以理解的是，本实施例并不限于为6个月。对已上线且在这12个月时间都在线上的S个模型样本进行观测，每个模型样本都能确定其在观测点前6个月衰减了多少天，在观测点后6个月衰减了多少天。例如，Modeli在前6个月衰减天数为MDDBi，在后6个月衰减天数为MDDAi，并把衰减天数分段为0天、1-30天、31-60天、61-90天、90天以上，则对这S个模型样本，每个模型样本都会有MDDBi和MDDAi对应的衰减天数分段，设为MDDSBi和MDDSAi，那么可以计算出对这S个模型样本从MDDSBi到MDDSAi的滚动率，即模型样本从前6个月的0天、1-30天、31-60天、61-90天、90天以上这5个分段到后6个月的0天、1-30天、31-60天、61-90天、90天以上这5个分段的概率，举例如表4所示：
表4
Figure BDA0003133269380000301
在表4可以看出，从前6个月的各个分段到后6个月的90以上分段的滚动率，在31-60出现了较大的增长，且值达到55％，结合业务经验以及尽量选短一点的T值的原则，例如，可以选定T＝30，表示Modeli只要衰减超过30天，也即MDD30，则有较大概率衰减超过90天而不会再使用。
本发明实施例中所述目标天数为对所述S个模型样本的衰减天数进行滚动率分析确定的值，可以使得确定的目标衰减评价变量可以更为客观、准确的反映被评价模型的性能衰减情况。
可选地，所述目标时间段为基于目标模型衰减指标对所述S个模型样本进行账龄分析确定的衰减表现期，所述目标模型衰减指标为模型衰减天数超过所述目标天数。
本实施例中，上述目标模型衰减指标可以用于判决模型样本是否存在性能衰减，例如，上述目标模型衰减指标可以为模型衰减天数是否超过30天，若某一模型样本的模型衰减天数超过30天，则判断该模型样本存在性能衰减，若某一模型样本的模型衰减天数未超过30天，则判断该模型样本不存在性能衰减。具体地，上述目标模型衰减指标可以是基于上述滚动率分析确定的指标。
以下结合举例对基于目标模型衰减指标对所述S个模型样本进行账龄分析(Vintage Analysis)确定衰减表现期进行说明：
对已上线的模型样本集[Model1 Model2…ModelS]进行观测，按照模型样本上线时间所在月份将S个模型样本划分为x个不同组,MOB表示模型样本上线后的月份数，以滚动率分析确定的MDD30判断模型是否衰减，可以得到不同月份上线的模型组MGi在其不同MOB下的衰减模型占比，如图2所示。
从图2可以看出，在达到MOB4后，模型衰减数量占比达到相对较平稳的一个状态，故认为MOB4的表现期能将衰减的模型基本暴露出来，因此，可以确定目标时间段为MOB4。
需要说明的是，若采用账龄分析未能找到模型衰减达到相对稳定的表现期，则可以凭经验定义目标衰减评价变量，例如，目标时间点后30天内衰减达10天以上等。
本发明实施例还提供一种模型训练方法，上述任一模型性能衰减评价方法实施例提供的性能衰减评价模型可以是基于本发明实施例提供的模型训练方法训练得到。
参见图3，图3是本发明实施例提供的模型训练方法的流程图，如图3所示，包括以下步骤：
步骤301、分别获取S个模型样本中每个模型样本的初始评价特征，其中，所述模型样本的初始评价特征包括所述模型样本的P组业务相关特征和所述模型样本的模型性能指标值中的至少一项，所述模型样本的P组业务相关特征与所述模型样本的P个评价样本一一对应，且所述模型样本的每组业务相关特征均包括如下至少一项：所述评价样本输入所述模型样本的各个输入变量值，所述评价样本输入所述模型样本所得到的日志信息，所述评价样本输入所述模型样本所得到的样本评分；S和P均为大于1的整数。
本实施例中，上述模型样本可以是任意的分类模型。为了便于描述，以下以S个模型样本中的任一个模型样本为例进行说明。
上述模型样本的评价样本可以是可输入上述模型样本以利用该模型样本进行评分的任意数据，该模型样本的评价样本包括该模型样本的各个输入变量对应的输入变量值。
上述模型样本的P个评价样本可以包括一段时间内输入至模型样本的评价样本，例如，最近6个月或者最近9个月输入至模型样本的评价样本。上述P个评价样本的每个评价样本输入至上述模型样本都可以得到该评价样本对应的一组业务相关特征。
对于上述评价样本输入模型样本的各个输入变量值，例如，若模型样本包括输入变量e、f、g和h，上述评价样本对应于输入变量e、f、g和h的值分别为E、F、G和H，则上述评价样本输入模型样本的各个输入变量值包括E、F、G和H。
对于上述评价样本输入模型样本所得到的日志信息，可以是指模型样本对该评价样本进行处理所返回的日志信息，可以包括但不限于日志码、输入参数和输出参数等中的至少一项内容，其中，上述日志码可以用于指示模型样本对该评价样本进行处理是否存在异常，例如，404、601、602、701和702等类型的日志码。
对于上述评价样本输入模型样本所得到的样本评分，可以是指模型样本对该评价样本进行处理所输出的分类概率，例如，若上述模型样本为风控模型，将某一账户数据输入至该风控模型，可以得到用于表示该账户是否为坏账户的概率。
上述模型性能指标值可以包括但不限于KS值、AUC值和PSI值等中的至少一项。可选地，上述模型性能指标值可以包括多个统计时间对应的模型性能指标子值，其中，上述各个统计时间均以同一统计周期为统计基准，该统计周期可以根据实际情况进行合理设置，例如，1天、半个月或1个月等，上述模型性能指标子值也可以包括但不限于KS值、AUC值和PSI值等中的至少一项。
步骤302、分别根据每个所述模型样本的初始评价特征确定每个所述模型样本的目标评价特征。
对于该步骤302，在一实施方式中，可以直接将上述模型样本的初始评价特征作为模型样本的目标评价特征。例如，若上述模型样本的初始评价特征包括模型样本的模型性能指标值，可以直接将该模型样本的模型性能指标值作为模型样本的目标评价特征并输入至性能衰减评价模型。
在另一实施方式中，可以对上述模型样本的初始评价特征进行聚合等处理，以得到模型样本的目标评价特征。例如，若上述模型样本的初始评价特征包括模型样本的P组业务相关特征，可以对上述模型样本的P组业务相关特征按照时间维度进行聚合，并基于聚合得到的评价特征确定模型样本的目标评价特征；或者，若上述模型样本的初始评价特征包括模型样本的P组业务相关特征和模型样本的模型性能指标值，该模型样本的模型性能指标值包括多个统计时间对应的模型性能指标子值，则可以对上述P组业务相关特征按照时间维度进行聚合，对模型样本的多个统计时间对应的模型性能指标子值进行求均值、最大值或最小值等运算处理，并可以基于聚合得到的第一评价特征和运算处理后的第二评价特征确定模型样本的目标评价特征。
可以理解的是，本实施例中确定模型样本的目标评价特征具体实现方式可以参见上述确定目标模型的目标评价特征的具体实现方式。
步骤303、根据每个所述模型样本的目标评价特征和每个所述模型样本的标注参数训练性能衰减评价模型，其中，所述标注参数用于指示所述模型样本对应于目标衰减评价变量的真值。
本实施例中，上述目标衰减评价变量用于衡量或界定被评价的模型是否存在性能衰减，例如，若上述目标衰减评价变量的取值大于阈值，表示被评价的模型存在性能衰减，若上述目标衰减评价变量的取值小于或等于阈值，表示被评价的模型不存在性能衰减，上述阈值可以根据实际需求进行合理设置，例如，上述阈值可以为0.5。其中，上述目标衰减评价变量可以根据实际需求进行合理设置，例如，在目标时间段内模型衰减天数超过目标天数的概率等。
上述标注参数用于指示所述模型样本对应于目标衰减评价变量的真值，例如，上述目标衰减评价变量为模型衰减天数超过30天，若某一模型样本在目标时间点后4个月内模型衰减天数超过30天，则该模型样本对应于所述目标衰减评价变量的真值为1，若某一模型样本在目标时间点后4个月内模型衰减天数未超过30天，则该模型样本对应于所述目标衰减评价变量的真值为0。
上述性能衰减评价模型可以是逻辑回归模型、集成树模型或决策树模型、或者包括多个模型的融合模型等。其中，上述集成树模型可以包括但不限于Lightgbm、Catboost或Xgboost等。具体地，在性能衰减评价模型为逻辑回归模型的情况下，由于逻辑回归模型具有较好的解释性，便于定位模型性能衰减的原因；在性能衰减评价模型为集成树模型或融合模型的情况下，相较于逻辑回归模型，模型性能衰减评价结果的精度更高。
上述根据每个所述模型样本的目标评价特征和每个所述模型样本的标注参数训练性能衰减评价模型，可以是根据每个所述模型样本的目标评价特征和每个所述模型样本的标注参数对性能衰减评价模型进行迭代训练，直至损失函数的损失值最小化，或者损失函数的损失值小于或等于预设值等。其中，上述损失函数可以根据实际需求进行合理设置，例如，对于逻辑回归模型和决策树模型，其损失函数可以为最大似然函数，对于集成树模型，其损失函数可以为平方损失函数等。
可选地，可以进一步将每个模型样本对应的目标评价特征进行证据权重转换，得到每个模型样本对应的目标评价特征对应的证据权重值，并基于每个模型样本对应的目标评价特征对应的证据权重值及标注参数对性能衰减评价模型进行训练。
以下以上述性能衰减评价模型为逻辑回归模型、目标评价特征包括R指标值、F指标值和M指标值这三个评价特征为例，对性能衰减评价模型的训练进行说明：通过将表3所示的各个模型样本的评价特征的WOE值和目标衰减评价变量的取值(即标注参数)输入上述式三，可得到针对目标衰减评价变量MDD30MOB4的估计概率πi，根据最大似然法则，当估计概率πi等于对应的实际结果(即真值)时，要求似然函数能够实现最大值，因目标衰减评价变量的取值为0或1，故可得到式五所示的似然函数的数学表达式，通过梯度上升法即可确定逻辑回归模型的各项权重(即β0至β3)，得到最终的模型衰减评价模型，也即上述式二。基于式二所表示的模型衰减评价模型，可以对后续新上线的模型衰减进行评价，计算其在目标时间点后的4个月表现期内衰减超过30天的概率，实现对模型衰减状态的准确评价，以便及时对衰减模型进行迭代优化。此外，基于式二所表示的模型衰减评价模型，可以得到R指标值、F指标值和M指标值在各个分箱上的证据权重值和特征评分，例如，可以如表1所示的特征评分表。通过表1所示的特征评分表，可以确定被评价模型的各个特征评分，同时可以通过特征评分确定特征值，并继续往前追溯以确定模型衰减的具体原因，例如，变量不一致、模型包错误、接口配置错误等。
本发明实施例通过分别获取S个模型样本中每个模型样本的初始评价特征，其中，所述模型样本的初始评价特征包括所述模型样本的P组业务相关特征和所述模型样本的模型性能指标值中的至少一项，所述模型样本的P组业务相关特征与所述模型样本的P个评价样本一一对应，且所述模型样本的每组业务相关特征均包括如下至少一项：所述评价样本输入所述模型样本的各个输入变量值，所述评价样本输入所述模型样本所得到的日志信息，所述评价样本输入所述模型样本所得到的样本评分；S和P均为大于1的整数；分别根据每个所述模型样本的初始评价特征确定每个所述模型样本的目标评价特征；根据每个所述模型样本的目标评价特征和每个所述模型样本的标注参数训练性能衰减评价模型，其中，所述标注参数用于指示所述模型样本对应于目标衰减评价变量的真值，所训练得到的性能衰减评价模型可以较为准确、高效的评价模型的性能衰减情况。
可选地，所述模型样本的初始评价特征包括所述模型样本的P组业务相关特征，所述P个评价样本包括以同一统计周期为统计基准的Q个统计时间内输入所述模型样本的评价样本，Q为正整数；
所述分别根据每个所述模型样本的初始评价特征确定每个所述模型样本的目标评价特征，包括：
分别将每个所述模型样本的P组业务相关特征中对应同一统计时间的业务相关特征进行聚合计算，得到每个所述模型样本的每个统计时间对应的聚合评价特征；
分别根据每个所述模型样本的Q个统计时间对应的聚合评价特征确定每个所述模型样本的目标评价特征。
本实施例中，上述统计周期可以根据实际情况进行合理设置，例如，1个小时、1天、半个月或1个月等。上述Q个统计时间可以是以同一统计周期为基准的Q个连续的统计时间，例如，若统计周期为1天，则上述Q个统计时间可以是连续的Q天；或者上述Q个统计时间也可以是以同一统计周期为基准的非连续的Q个统计时间，例如，若统计周期为1天，则上述Q个统计时间可以是非连续的Q天。
上述Q的取值可以与上述M的取值相同，也可以与上述M的取值不同。可以理解的是，该实施方式的实现方式可以上述性能衰减评价方法实施例的相关说明，此处不作赘述。
可选地，所述模型样本的每组业务相关特征均包括所述评价样本输入所述模型样本的各个输入变量值，所述模型样本的每个统计时间对应的聚合评价特征均包括如下至少一项：
所述模型样本的第一变量指标值，所述模型样本的第一变量指标值为所述模型样本的输入变量值矩阵与所述模型样本的基准变量值矩阵之间的相似度，所述模型样本的输入变量值矩阵为所述模型样本的第一变量值集合形成的矩阵，所述模型样本的基准变量值矩阵为与所述模型样本的第一变量值集合对应的基准变量值集合形成的矩阵，所述模型样本的第一变量值集合包括同一统计时间内所述模型样本的各个输入变量值；
所述模型样本的第二变量指标值，所述模型样本的第二变量指标值为根据所述模型样本的各个输入变量对应的第一变量值的数量确定的值，所述模型样本的各个输入变量对应的第一变量值分别为所述模型样本的各个输入变量对应的第二变量值集合中与对应的基准变量值不同的变量值，所述模型样本的各个输入变量对应的第二变量值集合分别包括同一统计时间内所述模型样本的各个输入变量对应的输入变量值；
所述模型样本的第三变量指标值，所述模型样本的第三变量指标值为根据所述模型样本的各个输入变量对应的第二变量值的数量确定的值，所述模型样本的各个输入变量对应的第二变量值分别为所述模型样本的各个输入变量对应的第三变量值集合中已知异常的输入变量值，所述模型样本的各个输入变量对应的第三变量值集合分别包括同一统计时间内所述模型样本的各个输入变量对应的输入变量值；
所述模型样本的第四变量指标值，所述模型样本的第四变量指标值为根据所述模型样本的各个输入变量对应的统计异常值的数量确定的值，所述模型样本的各个输入变量对应的统计异常值分别为所述模型样本的各个输入变量对应的第三变量值中经由预设异常值检验方法确定为异常的输入变量值，所述模型样本的各个输入变量对应的第三变量值分别为所述模型样本的各个输入变量对应的第四变量值集合中除已知异常的输入变量值之外的输入变量值，所述模型样本的各个输入变量对应的第四变量值集合分别包括同一统计时间内所述模型样本的各个输入变量对应的输入变量值；
所述模型样本的第五变量指标值，所述模型样本的第五变量指标值根据所述模型样本的各个输入变量对应的PSI值确定，所述模型样本的各个输入变量对应的PSI值分别为根据所述模型样本的各个输入变量对应的第五变量值集合与第六变量值集合计算得到的PSI值，所述模型样本的各个输入变量对应的第五变量值集合分别包括同一统计时间内所述模型样本的各个输入变量对应的输入变量值，所述模型样本的各个输入变量对应的第六变量值集合分别为基准统计时间内所述模型样本的各个输入变量对应的变量值。
可以理解的是，该实施方式的实现方式可以上述性能衰减评价方法实施例的相关说明，此处不作赘述。
可选地，所述模型样本的每组业务相关特征均包括所述评价样本输入所述模型样本所得到的日志信息，所述模型样本的每个统计时间对应的聚合评价特征均包括如下至少一项：
所述模型样本的日志码向量集合，所述模型样本的日志码向量集合包括对所述模型样本的第一日志信息集合中的各个日志码进行独热编码得到的向量，所述模型样本的第一日志信息集合包括P个所述日志信息中位于同一统计时间内的日志信息；
所述模型样本的格式检测值集合，所述模型样本的格式检测值集合包括所述模型样本的第二日志信息集合中各个日志信息对应的格式检测值，所述模型样本的第二日志信息集合包括P个所述日志信息中位于同一统计时间内的日志信息，所述格式检测值用于指示对应的日志信息中的出入参格式与参考格式是否一致。
可以理解的是，该实施方式的实现方式可以上述性能衰减评价方法实施例的相关说明，此处不作赘述。
可选地，所述模型样本的每组业务相关特征均包括所述评价样本输入所述模型样本所得到的样本评分，所述模型样本的每个统计时间对应的聚合评价特征均包括如下至少一项：
所述模型样本的分数异常指标值，所述模型样本的分数异常指标值为根据所述模型样本的异常样本评分的数量确定的值，所述模型样本的异常样本评分为所述模型样本的第一样本评分集合中与对应的基准样本评分不同的样本评分，所述模型样本的第一样本评分集合为P个所述样本评分中属于同一统计时间内的样本评分；
所述模型样本的分数异常检测值集合，所述模型样本的分数异常检测值集合包括所述模型样本的第二样本评分集合中的各个样本评分对应的分数异常检测值，所述模型样本的第二样本评分集合为P个所述样本评分中属于同一统计时间内的样本评分，所述分数异常检测值用于指示对应的样本评分是否位于预设区间内。
可以理解的是，该实施方式的实现方式可以上述性能衰减评价方法实施例的相关说明，此处不作赘述。
可选地，Q为大于1的整数，所述模型样本的目标评价特征至少包括所述模型样本的RFQ特征，所述模型样本的RFQ特征为对所述模型样本的Q个统计时间对应的聚合评价特征进行RFQ分析得到的特征。
可以理解的是，该实施方式的实现方式可以上述性能衰减评价方法实施例的相关说明，此处不作赘述。
可选地，所述模型样本的每个统计时间对应的聚合评价特征均包括所述模型样本的第二变量指标值、所述模型样本的格式检测值集合和所述模型样本的分数异常指标值；
其中，所述模型样本的第二变量指标值为根据所述模型样本的各个输入变量对应的第一变量值的数量确定的值，所述模型样本的输入变量对应的第一变量值为所述模型样本的输入变量对应的第二变量值集合中与对应的基准变量值不同的变量值，所述模型样本的第二变量值集合包括同一统计时间内所述模型样本的输入变量对应的输入变量值；
所述模型样本的格式检测值集合包括所述模型样本的第二日志信息集合中各个日志信息对应的格式检测值，所述模型样本的第二日志信息集合包括P个所述日志信息中属于同一统计时间内的日志信息，所述格式检测值用于指示对应的日志信息中的出入参格式与参考格式是否一致；
所述模型样本的分数异常指标值为根据所述模型样本的异常样本评分的数量确定的值，所述模型样本的异常样本评分为所述模型样本的第一样本评分集合中与对应的基准样本评分不同的样本评分，所述模型样本的第一样本评分集合包括P个所述样本评分中位于同一统计时间内的样本评分；
所述模型样本的RFM特征包括所述模型样本的R指标值、所述模型样本的F指标值和所述模型样本的M指标值；
其中，所述模型样本的R指标值为所述模型样本的第一统计时间与当前统计时间的时间差值，所述模型样本的第一统计时间为所述模型样本的统计时间集合中与当前统计时间的时间间隔最小的统计时间，所述模型样本的第一统计时间集合包括M个所述统计时间中对应的第二变量指标值超过预设值的统计时间；
所述模型样本的F指标值为所述模型样本的第二统计时间集合中所有统计时间对应的格式检测值集合中第一格式检测值的数量，所述第一格式检测值指示对应的日志信息中的出入参格式与参考格式不一致，所述模型样本的第二统计时间集合包括M个所述统计时间中任意K个相邻的统计时间，K为小于或等于M的正整数；
所述模型样本的M指标值为所述模型样本的第三统计时间集合中所有统计时间对应的所述模型样本的分数异常指标值之和，所述模型样本的第三统计时间集合包括M个所述统计时间中任意L个相邻的统计时间，L为小于或等于M的正整数。
可以理解的是，该实施方式的实现方式可以上述性能衰减评价方法实施例的相关说明，此处不作赘述。
可选地，所述目标衰减评价变量为：在目标时间段内模型衰减天数超过目标天数的概率。
可以理解的是，该实施方式的实现方式可以上述性能衰减评价方法实施例的相关说明，此处不作赘述。
可选地，所述目标天数为对所述S个模型样本的衰减天数进行滚动率分析确定的值。
可以理解的是，该实施方式的实现方式可以上述性能衰减评价方法实施例的相关说明，此处不作赘述。
可选地，所述目标时间段为基于模型样本衰减指标对所述S个模型样本进行账龄分析确定的衰减表现期，所述模型样本衰减指标为模型衰减天数超过所述目标天数。
可以理解的是，该实施方式的实现方式可以上述性能衰减评价方法实施例的相关说明，此处不作赘述。
以下结合图4对本发明实施例进行说明：
如图4所示，基础数据模型收集已上线模型(即模型样本model1至model1S)的基础监控数据，每个模型样本以样本单(即评价样本)为最小维度，并实时进行数据统计。例如，可以对已有***(例如，Blaze、Acmp、Luma等***)进行变量接口配置以实现模型调用。又例如，可以通过数据开发平台(例如，DSP)采集已上线模型(即模型样本)的基础监控数据。其中，上述基础监控数据也即上述的初始评价特征。
数据聚合模块用于对上述基础监控数据进行聚合计算。其中，上述数据聚合模块可以包括变量维度聚合模块、日志维度聚合模块和分数维度聚合模块。
上述变量维度聚合模块用于将基础监控数据中的变量数据，以模型维度进行相应聚合计算，从而得到模型维度下变量相关指标特征，也即上述第一变量指标值、第二变量指标值、第三变量指标值、第四变量指标值和第五变量指标值。需要说明的是，当前计算以日维度进行计算。
上述日志维度聚合模块，用于将基础监控数据中的日志信息，以模型维度进行相应聚合计算，从而得到模型维度下的日志相关指标特征，也即上述日志码向量集合和格式检测值集合。需要说明的是，当前计算以日维度进行计算。
上述分数维度聚合模块用于将基础监控数据中的样本评分，以模型维度进行相应聚合计算，从而得到模型维度下的样本评分相关指标特征，也即上述分数异常指标值和分数异常检测值集合。需要说明的是，当前计算以日维度进行计算。
上述时间维度交叉模块，用于在根据基础监控数据以日维度进行变量、日志、分数维度特征衍生后，进一步通过与时间维度进行交叉，从而聚合得到更具稳定性和有效性的特征。上述时间维度交叉模块，可以从R(Recency)、F(Frequency)、M(Monetary)角度对上述特征进行衍生，得到上述R特征、F特征和M特征。
上述模型衰减训练模块主要包括目标变量分析模块和衰减评估训练模型，其中，目标变量分析模块用于对模型衰减目标变量,也即上述目标衰减评价变量，进行分析及定义。上述衰减评估训练模型用于采用上述基础监控数据聚合计算后的特征，结合模型衰减目标变量进行相应模型训练，最终得到衰减评估模型，也即上述的性能衰减评价模型。
目标衰减评价变量：通过Roll Rate Analysis对模型衰减状态变化进行分析，如定义模型产生衰减i天为MDDi，可以观测到模型在MDDi＝30后的模型效果持续下降，必须通过迭代优化模型来维持模型的持续使用；采用Vintage Analysis确定模型的衰减达到稳定的周期，即衰减表现期，例如，定义一个MOB为一个月，在四个月后，模型衰减数量达到稳定，故该模型集的衰减表现期为MOB4；然后综合以上分析，模型的目标变量则可定义为MDD30MOB4，即在目标时间点后4个月的表现期内模型衰减超过30天的概率。
模型衰减评价训练：通过以上分析，确定模型衰减目标变量，结合变量、日志、分数维度模块数据，采用时间维度交叉聚合变量进行逻辑回归模型训练，最终可得到以模型维度建立，可对模型衰减状态进行评价的评分卡模型，即上述衰减评估模型，采用传统模型性能评价达标后，该衰减评估模型将会部署到模型衰减评价模块进行调用及辅助决策。
综上，本发明实施例提供的模型性能衰减评价方法，相比于现有的模型性能衰减评价方式，观测维度更精确，除了模型维度的模型性能指标外，更从常规业务中抽象出变量维度、日志维度相关评估特征，扩大对模型风险的检测范围。可及时定位原因，由于观测维度不只局限于模型性能指标的观测，从而在模型发生衰减时，通过分析变量维度、日志维度等相关数据可以快速定位到非模型性能下降而导致模型分异常的原因，避免了模型的无效迭代。衰减评估方式更为有效，通过三大维度模块的数据收集、聚合、特征处理，到模型衰减目标变量的分析与建立，最后采用解释性较强的逻辑回归模型完成模型维度的衰减评估方法，比传统的人工监测更具说服力，也能有效的判断模型衰减概率以及模型在变量、日志、分数各个维度的特征评分，便于回溯原始值去定位问题。
参见图5，图5是本发明实施例提供的模型性能衰减评价装置的结构图。如图5所示，模型性能衰减评价装置500包括：
第一获取模块501，用于获取目标模型的初始评价特征；其中，所述目标模型的初始评价特征包括所述目标模型的N组业务相关特征和所述目标模型的模型性能指标值中的至少一项，所述目标模型的N组业务相关特征与所述目标模型的N个评价样本一一对应，且所述目标模型的每组业务相关特征均包括如下至少一项：所述评价样本输入所述目标模型的各个输入变量值，所述评价样本输入所述目标模型所得到的日志信息，所述评价样本输入所述目标模型所得到的样本评分；N为大于1的整数；
第一确定模块502，用于根据所述目标模型的初始评价特征确定所述目标模型的目标评价特征；
输入模块503，用于将所述目标模型的目标评价特征输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果。
可选地，所述目标模型的初始评价特征包括所述目标模型的N组业务相关特征，所述N个评价样本包括以同一统计周期为统计基准的M个统计时间内输入所述目标模型的评价样本，M为正整数；
所述第一确定模块具体用于：
分别将所述目标模型的N组业务相关特征中对应同一统计时间的业务相关特征进行聚合计算，得到所述目标模型的每个统计时间对应的聚合评价特征；
根据所述目标模型的M个统计时间对应的聚合评价特征确定所述目标模型的目标评价特征。
可选地，所述目标模型的每组业务相关特征均包括所述评价样本输入所述目标模型的各个输入变量值，所述目标模型的每个统计时间对应的聚合评价特征均包括如下至少一项：
所述目标模型的第一变量指标值，所述目标模型的第一变量指标值为所述目标模型的输入变量值矩阵与所述目标模型的基准变量值矩阵之间的相似度，所述目标模型的输入变量值矩阵为所述目标模型的第一变量值集合形成的矩阵，所述目标模型的基准变量值矩阵为与所述目标模型的第一变量值集合对应的基准变量值集合形成的矩阵，所述目标模型的第一变量值集合包括同一统计时间内所述目标模型的各个输入变量值；
所述目标模型的第二变量指标值，所述目标模型的第二变量指标值为根据所述目标模型的各个输入变量对应的第一变量值的数量确定的值，所述目标模型的各个输入变量对应的第一变量值分别为所述目标模型的各个输入变量对应的第二变量值集合中与对应的基准变量值不同的变量值，所述目标模型的各个输入变量对应的第二变量值集合分别包括同一统计时间内所述目标模型的各个输入变量对应的输入变量值；
所述目标模型的第三变量指标值，所述目标模型的第三变量指标值为根据所述目标模型的各个输入变量对应的第二变量值的数量确定的值，所述目标模型的各个输入变量对应的第二变量值分别为所述目标模型的各个输入变量对应的第三变量值集合中已知异常的输入变量值，所述目标模型的各个输入变量对应的第三变量值集合分别包括同一统计时间内所述目标模型的各个输入变量对应的输入变量值；
所述目标模型的第四变量指标值，所述目标模型的第四变量指标值为根据所述目标模型的各个输入变量对应的统计异常值的数量确定的值，所述目标模型的各个输入变量对应的统计异常值分别为所述目标模型的各个输入变量对应的第三变量值中经由预设异常值检验方法确定为异常的输入变量值，所述目标模型的各个输入变量对应的第三变量值分别为所述目标模型的各个输入变量对应的第四变量值集合中除已知异常的输入变量值之外的输入变量值，所述目标模型的各个输入变量对应的第四变量值集合分别包括同一统计时间内所述目标模型的各个输入变量对应的输入变量值；
所述目标模型的第五变量指标值，所述目标模型的第五变量指标值根据所述目标模型的各个输入变量对应的PSI值确定，所述目标模型的各个输入变量对应的PSI值分别为根据所述目标模型的各个输入变量对应的第五变量值集合与第六变量值集合计算得到的PSI值，所述目标模型的各个输入变量对应的第五变量值集合分别包括同一统计时间内所述目标模型的各个输入变量对应的输入变量值，所述目标模型的各个输入变量对应的第六变量值集合分别为基准统计时间内所述目标模型的各个输入变量对应的变量值。
可选地，所述目标模型的每组业务相关特征均包括所述评价样本输入所述目标模型所得到的日志信息，所述目标模型的每个统计时间对应的聚合评价特征均包括如下至少一项：
所述目标模型的日志码向量集合，所述目标模型的日志码向量集合包括对所述目标模型的第一日志信息集合中的各个日志码进行独热编码得到的向量，所述目标模型的第一日志信息集合包括N个所述日志信息中位于同一统计时间内的日志信息；
所述目标模型的格式检测值集合，所述目标模型的格式检测值集合包括所述目标模型的第二日志信息集合中各个日志信息对应的格式检测值，所述目标模型的第二日志信息集合包括N个所述日志信息中位于同一统计时间内的日志信息，所述格式检测值用于指示对应的日志信息中的出入参格式与参考格式是否一致。
可选地，所述目标模型的每组业务相关特征均包括所述评价样本输入所述目标模型所得到的样本评分，所述目标模型的每个统计时间对应的聚合评价特征均包括如下至少一项
所述目标模型的分数异常指标值，所述目标模型的分数异常指标值为根据所述目标模型的异常样本评分的数量确定的值，所述目标模型的异常样本评分为所述目标模型的第一样本评分集合中与对应的基准样本评分不同的样本评分，所述目标模型的第一样本评分集合为N个所述样本评分中位于同一统计时间内的样本评分；
所述目标模型的分数异常检测值集合，所述目标模型的分数异常检测值集合包括所述目标模型的第二样本评分集合中的各个样本评分对应的分数异常检测值，所述目标模型的第二样本评分集合为N个所述样本评分中位于同一统计时间内的样本评分，所述分数异常检测值用于指示对应的样本评分是否位于预设区间内。
可选地，M为大于1的整数，所述目标模型的目标评价特征至少包括所述目标模型的RFM特征，所述目标模型的RFM特征为对所述目标模型的M个统计时间对应的聚合评价特征进行RFM分析得到的特征。
可选地，所述目标模型的每个统计时间对应的聚合评价特征均包括所述目标模型的第二变量指标值、所述目标模型的格式检测值集合和所述目标模型的分数异常指标值；
其中，所述目标模型的第二变量指标值为根据所述目标模型的各个输入变量对应的第一变量值的数量确定的值，所述目标模型的输入变量对应的第一变量值为所述目标模型的输入变量对应的第二变量值集合中与对应的基准变量值不同的变量值，所述目标模型的第二变量值集合包括同一统计时间内所述目标模型的输入变量对应的输入变量值；
所述目标模型的格式检测值集合包括所述目标模型的第二日志信息集合中各个日志信息对应的格式检测值，所述目标模型的第二日志信息集合包括N个所述日志信息中位于同一统计时间内的日志信息，所述格式检测值用于指示对应的日志信息中的出入参格式与参考格式是否一致；
所述目标模型的分数异常指标值为根据所述目标模型的异常样本评分的数量确定的值，所述目标模型的异常样本评分为所述目标模型的第一样本评分集合中与对应的基准样本评分不同的样本评分，所述目标模型的第一样本评分集合包括N个所述样本评分中位于同一统计时间内的样本评分；
所述目标模型的RFM特征包括所述目标模型的R指标值、所述目标模型的F指标值和所述目标模型的M指标值；
其中，所述目标模型的R指标值为所述目标模型的第一统计时间与当前统计时间的时间差值，所述目标模型的第一统计时间为所述目标模型的统计时间集合中与当前统计时间的时间间隔最小的统计时间，所述目标模型的第一统计时间集合包括M个所述统计时间中对应的第二变量指标值超过预设值的统计时间；
所述目标模型的F指标值为目标格式检测值集合中的第一格式检测值的数量，所述目标格式检测值集合包括所述目标模型的第二统计时间集合中的所有统计时间对应的格式检测值集合，所述第一格式检测值指示对应的日志信息中的出入参格式与参考格式不一致，所述目标模型的第二统计时间集合包括M个所述统计时间中任意K个相邻的统计时间，K为小于或等于M的正整数；
所述目标模型的M指标值为分数异常指标值集合中的所有分数异常指标值之和，所述分数异常指标值集合包括所述目标模型的第三统计时间集合中的所有统计时间对应的分数异常指标值，所述目标模型的第三统计时间集合包括M个所述统计时间中任意L个相邻的统计时间，L为小于或等于M的正整数。
可选地，所述输入模块具体用于：
将所述目标模型的目标评价特征进行证据权重转换，得到所述目标模型的证据权重值；
将所述目标模型的证据权重值输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果。
可选地，所述性能衰减评价模型为逻辑回归模型；所述装置还包括：
第二确定模块，用于根据所述逻辑回归模型确定所述目标评价特征的各个评价特征的特征评分并输出所述特征评分。
可选地，所述性能衰减评价模型的目标衰减评价变量为：在目标时间段内模型衰减天数超过目标天数的概率；
所述性能衰减评价结果为用于表征所述目标模型是否存在性能衰减的第一值，所述第一值为所述目标模型在目标时间段内模型衰减天数超过目标天数的概率值。
可选地，所述性能衰减评价模型为根据S个模型样本中每个模型样本对应的目标评价特征以及标注参数训练得到的模型，所述标注参数用于指示所述模型样本对应于所述目标衰减评价变量的真值，S为大于1的整数。
可选地，所述目标天数为对所述S个模型样本的衰减天数进行滚动率分析确定的值。
可选地，所述目标时间段为基于目标模型衰减指标对所述S个模型样本进行账龄分析确定的衰减表现期，所述目标模型衰减指标为模型衰减天数超过所述目标天数。
可选地，所述性能衰减评价模型为逻辑回归模型或者集成树模型。
本发明实施例提供的模型性能衰减评价装置500能够实现上述模型性能衰减评价方法实施例中的各个过程，为避免重复，这里不再赘述。
参见图6，图6是本发明实施例提供的模型训练装置的结构图。如图6所示，模型训练装置600包括：
第二获取模块601，用于分别获取S个模型样本中每个模型样本的初始评价特征，其中，所述模型样本的初始评价特征包括所述模型样本的P组业务相关特征和所述模型样本的模型性能指标值中的至少一项，所述模型样本的P组业务相关特征与所述模型样本的P个评价样本一一对应，且所述模型样本的每组业务相关特征均包括如下至少一项：所述评价样本输入所述模型样本的各个输入变量值，所述评价样本输入所述模型样本所得到的日志信息，所述评价样本输入所述模型样本所得到的样本评分；S和P均为大于1的整数；
第三确定模块602，用于分别根据每个所述模型样本的初始评价特征确定每个所述模型样本的目标评价特征；
训练模块603，用于根据每个所述模型样本的目标评价特征和每个所述模型样本的标注参数训练性能衰减评价模型，其中，所述标注参数用于指示所述模型样本对应于目标衰减评价变量的真值。
可选地，所述模型样本的初始评价特征包括所述模型样本的P组业务相关特征，所述P个评价样本包括Q个统计时间内输入所述模型样本的评价样本，Q为正整数；
所述第三确定模块具体用于：
分别将每个所述模型样本的P组业务相关特征中对应同一统计时间的业务相关特征进行聚合计算，得到每个所述模型样本的每个统计时间对应的聚合评价特征；
分别根据每个所述模型样本的Q个统计时间对应的聚合评价特征确定每个所述模型样本的目标评价特征。
可选地，所述目标衰减评价变量为：在目标时间段内模型衰减天数超过目标天数的概率。
可选地，所述目标天数为对所述S个模型样本的衰减天数进行滚动率分析确定的值。
可选地，所述目标时间段为基于模型样本衰减指标对所述S个模型样本进行账龄分析确定的衰减表现期，所述模型样本衰减指标为模型衰减天数超过所述目标天数。
可选地，所述性能衰减评价模型为逻辑回归模型或者集成树模型。
本发明实施例提供的模型训练装置600能够实现上述模型训练方法实施例中的各个过程，为避免重复，这里不再赘述。
参见图7，图7是本发明又一实施提供的模型性能衰减评价装置的结构图，如图7所示，模型性能衰减评价装置700包括：处理器701、存储器702及存储在所述存储器702上并可在所述处理器上运行的计算机程序，模型性能衰减评价装置700中的各个组件通过总线接口703耦合在一起，所述计算机程序被所述处理器701执行时实现如下步骤：
获取目标模型的初始评价特征；其中，所述目标模型的初始评价特征包括所述目标模型的N组业务相关特征和所述目标模型的模型性能指标值中的至少一项，所述目标模型的N组业务相关特征与所述目标模型的N个评价样本一一对应，且所述目标模型的每组业务相关特征均包括如下至少一项：所述评价样本输入所述目标模型的各个输入变量值，所述评价样本输入所述目标模型所得到的日志信息，所述评价样本输入所述目标模型所得到的样本评分；N为大于1的整数；
根据所述目标模型的初始评价特征确定所述目标模型的目标评价特征；
将所述目标模型的目标评价特征输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果。
应理解的是，本发明实施例中，所述计算机程序被处理器701执行时能够实现上述模型性能衰减评价方法实施例中的各个过程，为避免重复，这里不再赘述。
参见图8，图8是本发明又一实施提供的模型训练装置的结构图，如图8所示，模型训练装置800包括：处理器801、存储器802及存储在所述存储器802上并可在所述处理器上运行的计算机程序，模型训练装置800中的各个组件通过总线接口803耦合在一起，所述计算机程序被所述处理器801执行时实现如下步骤：
分别获取S个模型样本中每个模型样本的初始评价特征，其中，所述模型样本的初始评价特征包括所述模型样本的P组业务相关特征和所述模型样本的模型性能指标值中的至少一项，所述模型样本的P组业务相关特征与所述模型样本的P个评价样本一一对应，且所述模型样本的每组业务相关特征均包括如下至少一项：所述评价样本输入所述模型样本的各个输入变量值，所述评价样本输入所述模型样本所得到的日志信息，所述评价样本输入所述模型样本所得到的样本评分；S和P均为大于1的整数；
分别根据每个所述模型样本的初始评价特征确定每个所述模型样本的目标评价特征；
根据每个所述模型样本的目标评价特征和每个所述模型样本的标注参数训练性能衰减评价模型，其中，所述标注参数用于指示所述模型样本对应于目标衰减评价变量的真值。
应理解的是，本发明实施例中，所述计算机程序被处理器801执行时能够实现上述模型训练方法实施例中的各个过程，为避免重复，这里不再赘述。
本发明实施例还提供一种电子设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述模型性能衰减评价方法实施例的各个过程，或者实现上述模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述模型性能衰减评价方法实施例的各个过程，或者实现上述模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-OPly Memory，简称ROM)、随机存取存储器(RaPdom Access Memory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (17)

1.一种模型性能衰减评价方法，其特征在于，包括：
获取目标模型的初始评价特征；其中，所述目标模型的初始评价特征包括所述目标模型的N组业务相关特征和所述目标模型的模型性能指标值中的至少一项，所述目标模型的N组业务相关特征与所述目标模型的N个评价样本一一对应，且所述目标模型的每组业务相关特征均包括如下至少一项：所述评价样本输入所述目标模型的各个输入变量值，所述评价样本输入所述目标模型所得到的日志信息，所述评价样本输入所述目标模型所得到的样本评分；N为大于1的整数；
根据所述目标模型的初始评价特征确定所述目标模型的目标评价特征；
将所述目标模型的目标评价特征输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果。
2.根据权利要求1所述的方法，其特征在于，所述目标模型的初始评价特征包括所述目标模型的N组业务相关特征，所述N个评价样本包括以同一统计周期为统计基准的M个统计时间内输入所述目标模型的评价样本，M为正整数；
所述根据所述目标模型的初始评价特征确定所述目标模型的目标评价特征，包括：
分别将所述目标模型的N组业务相关特征中对应同一统计时间的业务相关特征进行聚合计算，得到所述目标模型的每个统计时间对应的聚合评价特征；
根据所述目标模型的M个统计时间对应的聚合评价特征确定所述目标模型的目标评价特征。
3.根据权利要求2所述的方法，其特征在于，所述目标模型的每组业务相关特征均包括所述评价样本输入所述目标模型的各个输入变量值，所述目标模型的每个统计时间对应的聚合评价特征均包括如下至少一项：
所述目标模型的第一变量指标值，所述目标模型的第一变量指标值为所述目标模型的输入变量值矩阵与所述目标模型的基准变量值矩阵之间的相似度，所述目标模型的输入变量值矩阵为所述目标模型的第一变量值集合形成的矩阵，所述目标模型的基准变量值矩阵为与所述目标模型的第一变量值集合对应的基准变量值集合形成的矩阵，所述目标模型的第一变量值集合包括同一统计时间内所述目标模型的各个输入变量值；
所述目标模型的第二变量指标值，所述目标模型的第二变量指标值为根据所述目标模型的各个输入变量对应的第一变量值的数量确定的值，所述目标模型的各个输入变量对应的第一变量值分别为所述目标模型的各个输入变量对应的第二变量值集合中与对应的基准变量值不同的变量值，所述目标模型的各个输入变量对应的第二变量值集合分别包括同一统计时间内所述目标模型的各个输入变量对应的输入变量值；
所述目标模型的第三变量指标值，所述目标模型的第三变量指标值为根据所述目标模型的各个输入变量对应的第二变量值的数量确定的值，所述目标模型的各个输入变量对应的第二变量值分别为所述目标模型的各个输入变量对应的第三变量值集合中已知异常的输入变量值，所述目标模型的各个输入变量对应的第三变量值集合分别包括同一统计时间内所述目标模型的各个输入变量对应的输入变量值；
所述目标模型的第四变量指标值，所述目标模型的第四变量指标值为根据所述目标模型的各个输入变量对应的统计异常值的数量确定的值，所述目标模型的各个输入变量对应的统计异常值分别为所述目标模型的各个输入变量对应的第三变量值中经由预设异常值检验方法确定为异常的输入变量值，所述目标模型的各个输入变量对应的第三变量值分别为所述目标模型的各个输入变量对应的第四变量值集合中除已知异常的输入变量值之外的输入变量值，所述目标模型的各个输入变量对应的第四变量值集合分别包括同一统计时间内所述目标模型的各个输入变量对应的输入变量值；
所述目标模型的第五变量指标值，所述目标模型的第五变量指标值根据所述目标模型的各个输入变量对应的PSI值确定，所述目标模型的各个输入变量对应的PSI值分别为根据所述目标模型的各个输入变量对应的第五变量值集合与第六变量值集合计算得到的PSI值，所述目标模型的各个输入变量对应的第五变量值集合分别包括同一统计时间内所述目标模型的各个输入变量对应的输入变量值，所述目标模型的各个输入变量对应的第六变量值集合分别为基准统计时间内所述目标模型的各个输入变量对应的变量值。
4.根据权利要求2所述的方法，其特征在于，所述目标模型的每组业务相关特征均包括所述评价样本输入所述目标模型所得到的日志信息，所述目标模型的每个统计时间对应的聚合评价特征均包括如下至少一项：
所述目标模型的日志码向量集合，所述目标模型的日志码向量集合包括对所述目标模型的第一日志信息集合中的各个日志码进行独热编码得到的向量，所述目标模型的第一日志信息集合包括N个所述日志信息中属于同一统计时间内的日志信息；
所述目标模型的格式检测值集合，所述目标模型的格式检测值集合包括所述目标模型的第二日志信息集合中各个日志信息对应的格式检测值，所述目标模型的第二日志信息集合包括N个所述日志信息中属于同一统计时间内的日志信息，所述格式检测值用于指示对应的日志信息中的出入参格式与参考格式是否一致。
5.根据权利要求2所述的方法，其特征在于，所述目标模型的每组业务相关特征均包括所述评价样本输入所述目标模型所得到的样本评分，所述目标模型的每个统计时间对应的聚合评价特征均包括如下至少一项：
所述目标模型的分数异常指标值，所述目标模型的分数异常指标值为根据所述目标模型的异常样本评分的数量确定的值，所述目标模型的异常样本评分为所述目标模型的第一样本评分集合中与对应的基准样本评分不同的样本评分，所述目标模型的第一样本评分集合为N个所述样本评分中属于同一统计时间内的样本评分；
所述目标模型的分数异常检测值集合，所述目标模型的分数异常检测值集合包括所述目标模型的第二样本评分集合中的各个样本评分对应的分数异常检测值，所述目标模型的第二样本评分集合为N个所述样本评分中属于同一统计时间内的样本评分，所述分数异常检测值用于指示对应的样本评分是否位于预设区间内。
6.根据权利要求2所述的方法，其特征在于，M为大于1的整数，所述目标模型的目标评价特征至少包括所述目标模型的RFM特征，所述目标模型的RFM特征为对所述目标模型的M个统计时间对应的聚合评价特征进行RFM分析得到的特征。
7.根据权利要求6所述的方法，其特征在于，所述目标模型的每个统计时间对应的聚合评价特征均包括所述目标模型的第二变量指标值、所述目标模型的格式检测值集合和所述目标模型的分数异常指标值；
其中，所述目标模型的第二变量指标值为根据所述目标模型的各个输入变量对应的第一变量值的数量确定的值，所述目标模型的输入变量对应的第一变量值为所述目标模型的输入变量对应的第二变量值集合中与对应的基准变量值不同的变量值，所述目标模型的第二变量值集合包括同一统计时间内所述目标模型的输入变量对应的输入变量值；
所述目标模型的格式检测值集合包括所述目标模型的第二日志信息集合中各个日志信息对应的格式检测值，所述目标模型的第二日志信息集合包括N个所述日志信息中属于同一统计时间内的日志信息，所述格式检测值用于指示对应的日志信息中的出入参格式与参考格式是否一致；
所述目标模型的分数异常指标值为根据所述目标模型的异常样本评分的数量确定的值，所述目标模型的异常样本评分为所述目标模型的第一样本评分集合中与对应的基准样本评分不同的样本评分，所述目标模型的第一样本评分集合包括N个所述样本评分中属于同一统计时间内的样本评分；
所述目标模型的RFM特征包括所述目标模型的R指标值、所述目标模型的F指标值和所述目标模型的M指标值；
其中，所述目标模型的R指标值为所述目标模型的第一统计时间与当前统计时间的时间差值，所述目标模型的第一统计时间为所述目标模型的统计时间集合中与当前统计时间的时间间隔最小的统计时间，所述目标模型的第一统计时间集合包括M个所述统计时间中对应的第二变量指标值超过预设值的统计时间；
所述目标模型的F指标值为目标格式检测值集合中的第一格式检测值的数量，所述目标格式检测值集合包括所述目标模型的第二统计时间集合中的所有统计时间对应的格式检测值集合，所述第一格式检测值指示对应的日志信息中的出入参格式与参考格式不一致，所述目标模型的第二统计时间集合包括M个所述统计时间中任意K个相邻的统计时间，K为小于或等于M的正整数；
所述目标模型的M指标值为分数异常指标值集合中的所有分数异常指标值之和，所述分数异常指标值集合包括所述目标模型的第三统计时间集合中的所有统计时间对应的分数异常指标值，所述目标模型的第三统计时间集合包括M个所述统计时间中任意L个相邻的统计时间，L为小于或等于M的正整数。
8.根据权利要求1至7中任一项所述的方法，其特征在于，将所述目标模型的目标评价特征输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果，包括：
将所述目标模型的目标评价特征进行证据权重转换，得到所述目标模型的证据权重值；
将所述目标模型的证据权重值输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果。
9.根据权利要求1所述的方法，其特征在于，所述性能衰减评价模型的目标衰减评价变量为：在目标时间段内模型衰减天数超过目标天数的概率；
所述性能衰减评价结果用于表征所述目标模型是否存在性能衰减的第一值，所述第一值为所述目标模型在目标时间段内模型衰减天数超过目标天数的概率值。
10.根据权利要求9所述的方法，其特征在于，所述性能衰减评价模型为根据S个模型样本中每个模型样本对应的目标评价特征以及标注参数训练得到的模型，所述标注参数用于指示所述模型样本对应于所述目标衰减评价变量的真值，S为大于1的整数。
11.根据权利要求10所述的方法，其特征在于，所述目标天数为对所述S个模型样本的衰减天数进行滚动率分析确定的值。
12.根据权利要求10或11所述的方法，其特征在于，所述目标时间段为基于目标模型衰减指标对所述S个模型样本进行账龄分析确定的衰减表现期，所述目标模型衰减指标为模型衰减天数超过所述目标天数。
13.一种模型训练方法，其特征在于，包括：
分别获取S个模型样本中每个模型样本的初始评价特征，其中，所述模型样本的初始评价特征包括所述模型样本的P组业务相关特征和所述模型样本的模型性能指标值中的至少一项，所述模型样本的P组业务相关特征与所述模型样本的P个评价样本一一对应，且所述模型样本的每组业务相关特征均包括如下至少一项：所述评价样本输入所述模型样本的各个输入变量值，所述评价样本输入所述模型样本所得到的日志信息，所述评价样本输入所述模型样本所得到的样本评分；S和P均为大于1的整数；
分别根据每个所述模型样本的初始评价特征确定每个所述模型样本的目标评价特征；
根据每个所述模型样本的目标评价特征和每个所述模型样本的标注参数训练性能衰减评价模型，其中，所述标注参数用于指示所述模型样本对应于目标衰减评价变量的真值。
14.根据权利要求13所述的方法，其特征在于，所述模型样本的初始评价特征包括所述模型样本的P组业务相关特征，所述P个评价样本包括以同一统计周期为统计基准的Q个统计时间内输入所述模型样本的评价样本，Q为正整数；
所述分别根据每个所述模型样本的初始评价特征确定每个所述模型样本的目标评价特征，包括：
分别将每个所述模型样本的P组业务相关特征中对应同一统计时间的业务相关特征进行聚合计算，得到每个所述模型样本的每个统计时间对应的聚合评价特征；
分别根据每个所述模型样本的Q个统计时间对应的聚合评价特征确定每个所述模型样本的目标评价特征。
15.一种模型性能衰减评价装置，其特征在于，包括：
第一获取模块，用于获取目标模型的初始评价特征；其中，所述目标模型的初始评价特征包括所述目标模型的N组业务相关特征和所述目标模型的模型性能指标值中的至少一项，所述目标模型的N组业务相关特征与所述目标模型的N个评价样本一一对应，且所述目标模型的每组业务相关特征均包括如下至少一项：所述评价样本输入所述目标模型的各个输入变量值，所述评价样本输入所述目标模型所得到的日志信息，所述评价样本输入所述目标模型所得到的样本评分；N为大于1的整数；
第一确定模块，用于根据所述目标模型的初始评价特征确定所述目标模型的目标评价特征；
输入模块，用于将所述目标模型的目标评价特征输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果。
16.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至12中任一项所述的模型性能衰减评价方法的步骤，或者实现如权利要求13至14中任一项所述的模型训练方法的步骤。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的模型性能衰减评价方法的步骤，或者实现如权利要求13至14中任一项所述的模型训练方法的步骤。
CN202110710086.7A 2021-06-25 2021-06-25 一种模型性能衰减评价方法、模型训练方法及装置 Withdrawn CN113283673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110710086.7A CN113283673A (zh) 2021-06-25 2021-06-25 一种模型性能衰减评价方法、模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110710086.7A CN113283673A (zh) 2021-06-25 2021-06-25 一种模型性能衰减评价方法、模型训练方法及装置

Publications (1)

Publication Number Publication Date
CN113283673A true CN113283673A (zh) 2021-08-20

Family

ID=77285603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110710086.7A Withdrawn CN113283673A (zh) 2021-06-25 2021-06-25 一种模型性能衰减评价方法、模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN113283673A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113919937A (zh) * 2021-09-22 2022-01-11 北京睿知图远科技有限公司 一种基于贷款评估风控的ks监控***
CN117036008A (zh) * 2023-10-08 2023-11-10 中邮消费金融有限公司 一种多源数据的自动化建模方法及***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113919937A (zh) * 2021-09-22 2022-01-11 北京睿知图远科技有限公司 一种基于贷款评估风控的ks监控***
CN113919937B (zh) * 2021-09-22 2023-06-23 北京睿知图远科技有限公司 一种基于贷款评估风控的ks监控***
CN117036008A (zh) * 2023-10-08 2023-11-10 中邮消费金融有限公司 一种多源数据的自动化建模方法及***

Similar Documents

Publication Publication Date Title
CN108564286B (zh) 一种基于大数据征信的人工智能金融风控授信评定方法和***
CN112668859A (zh) 基于大数据的客户风险评级方法、装置、设备及存储介质
CN110991474A (zh) 一种机器学***台
CN103971023B (zh) 研发过程质量自动评估***和方法
CN111539585B (zh) 一种基于随机森林的电力客户诉求敏感度监督及预警方法
CN111610407A (zh) 基于朴素贝叶斯的电缆老化状态评估方法和装置
CN113283673A (zh) 一种模型性能衰减评价方法、模型训练方法及装置
CN113177839A (zh) 一种信用风险评估方法、装置、存储介质和设备
CN110866832A (zh) 一种风险控制方法、***、存储介质及计算设备
CN114638498A (zh) Esg评价方法、***、电子设备及存储设备
CN116468273A (zh) 客户风险识别方法及装置
CN110020939B (zh) 建立违约损失率预测模型的装置、方法及存储介质
CN116579640A (zh) 电力营销服务渠道用户体验评估方法及***
CN114118793A (zh) 一种地方交易所风险预警方法、装置及设备
CN114139931A (zh) 企业数据评估方法、装置、计算机设备及存储介质
CN114399367A (zh) 保险产品推荐方法、装置、设备及存储介质
CN116911994B (zh) 对外贸易风险预警***
CN117132383A (zh) 一种信贷数据处理方法、装置、设备及可读存储介质
CN115423600B (zh) 数据筛选方法、装置、介质及电子设备
CN116611911A (zh) 基于支持向量机的信用风险预测方法及装置
CN115905655A (zh) 一种用户画像构建方法、装置、设备及可读存储介质
CN115829722A (zh) 信用风险评分模型的训练方法及信用风险评分方法
CN115204501A (zh) 企业评估方法、装置、计算机设备和存储介质
CN114693428A (zh) 数据确定方法、装置、计算机可读存储介质及电子设备
CN114862092A (zh) 一种基于神经网络的评标方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210820