CN110599336A - 一种金融产品购买预测方法及*** - Google Patents

一种金融产品购买预测方法及*** Download PDF

Info

Publication number
CN110599336A
CN110599336A CN201810607787.6A CN201810607787A CN110599336A CN 110599336 A CN110599336 A CN 110599336A CN 201810607787 A CN201810607787 A CN 201810607787A CN 110599336 A CN110599336 A CN 110599336A
Authority
CN
China
Prior art keywords
financial product
customer
probability
predicted
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810607787.6A
Other languages
English (en)
Other versions
CN110599336B (zh
Inventor
路宏琦
刘国华
张帆
刘军
张宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nine Chapter Yunji Technology Co Ltd Beijing
Original Assignee
Nine Chapter Yunji Technology Co Ltd Beijing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nine Chapter Yunji Technology Co Ltd Beijing filed Critical Nine Chapter Yunji Technology Co Ltd Beijing
Priority to CN201810607787.6A priority Critical patent/CN110599336B/zh
Publication of CN110599336A publication Critical patent/CN110599336A/zh
Application granted granted Critical
Publication of CN110599336B publication Critical patent/CN110599336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Technology Law (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明提供一种金融产品购买预测方法及***,该预测方法包括:获取在第一时刻未持有一金融产品的待预测客户的客户数据;将每一所述待预测客户的客户数据输入至所述金融产品的购买概率预测模型中,预测每一所述待预测客户在第二时刻购买所述金融产品的概率,所述第二时刻晚于所述第一时刻;其中,所述金融产品的购买概率预测模型是采用多个训练用客户的历史客户数据训练得到。本发明中,金融产品的购买概率预测模型采用大量客户的真实历史客户数据训练得到,因此能够准确预测待预测客户购买金融产品的概率,从而可以准确地向客户推荐金融产品。

Description

一种金融产品购买预测方法及***
技术领域
本发明涉及数据处理技术领域,尤其涉及一种金融产品购买预测方法及***。
背景技术
随着银行客户及银行金融产品的数量和种类的快速增长,如何有效地向潜在客户推荐金融产品是提高营销效果的主要目标之一。传统的金融产品推荐方式无法准确预测客户购买金融产品的概率,因而无法准确地选择推荐的客户,推荐成功率不高。
发明内容
有鉴于此,本发明提供一种金融产品购买预测方法及***,能够准确预测客户购买金融产品的概率。
为解决上述技术问题,本发明提供一种金融产品购买预测方法,包括:
获取在第一时刻未持有一金融产品的待预测客户的客户数据;
将每一所述待预测客户的客户数据输入至所述金融产品的购买概率预测模型中,预测每一所述待预测客户在第二时刻购买所述金融产品的概率,所述第二时刻晚于所述第一时刻;其中,所述金融产品的购买概率预测模型是采用多个训练用客户的历史客户数据训练得到。
优选地,所述待预测客户的客户数据为所述第一时刻与第三时刻之间的客户数据,所述第三时刻早于所述第一时刻。
优选地,每一所述金融产品对应一个购买概率预测模型;或者
每一所述金融产品对应12个购买概率预测模型,所述12个购买概率预测模型分别对应1-12月。
优选地,当每一所述金融产品对应12个购买概率预测模型时,所述将每一所述待预测客户的客户数据输入至所述金融产品的购买概率预测模型中,预测每一所述待预测客户在第二时刻购买所述金融产品的概率的步骤包括:
确定所述第二时刻所处的月份;
选取与所述第二时刻所处的月份对应的购买概率预测模型,预测每一所述待预测客户在所述第二时刻购买所述金融产品的概率。
优选地,所述预测每一所述待预测客户在第二时刻购买所述金融产品的概率的步骤之前,还包括:
获取训练样本集,所述训练样本集为多个所述训练用客户在第四时刻之前的历史客户数据的集合;
获取N个算法模型,其中,N为大于或等于1的正整数;
设置每一所述算法模型的参数,并将所述训练样本集输入至每一所述算法模型,预测所述训练用客户在第五时刻购买所述金融产品的概率,所述第五时刻晚于所述第四时刻;
根据预测的所述训练用客户在第五时刻购买所述金融产品的概率,调整对应算法模型的参数,得到训练完成的N个算法模型;
根据训练完成的所述N个算法模型,确定所述金融产品的购买概率预测模型。
优选地,所述根据预测的所述训练用客户在第五时刻购买所述金融产品的概率,调整对应算法模型的参数,得到训练完成的N个算法模型的步骤包括:
根据预测的所述训练用客户在所述第五时刻购买所述金融产品的概率以及预设评估指标,调整对应算法模型的参数,得到调整后的N个算法模型;
将所述训练样本集输入至所述调整后的所述算法模型中,预测所述训练样本集中的训练用客户在所述第五时刻购买所述金融产品的概率;根据预测得到的所述训练样本集中的训练用客户在所述第五时刻购买所述金融产品的概率以及预设评估指标,确定每一算法模型的第一评估指标值;
获取测试样本集,所述测试样本集为多个所述训练用客户在第四时刻之前的历史客户数据的集合,所述测试样本集与所述训练样本集不同;将所述测试样本集输入至对应调整后的所述算法模型中,预测所述测试样本集中的训练用客户在所述第五时刻购买所述金融产品的概率;根据预测得到的所述测试样本集中的训练用客户在所述第五时刻购买所述金融产品的概率以及预设评估指标,确定每一算法模型的第二评估指标值;
比较所述第一评估指标值和所述第二评估指标值,得到每一算法模型的拟合度;根据每一所述算法模型的拟合度,调整对应算法模型的参数,得到训练完成的算法模型。
优选地,所述预设评估指标包括预测准确率、预测精确度、召回率、AUC分数和F1分数中的至少之一。
优选地,所述多个训练用客户包括:在所述第四时刻已持有所述金融产品的第一客户,和,在所述第四时刻未持有所述金融产品的第二客户。
优选地,每一所述金融产品对应一个购买概率预测模型,所述第一客户的历史客户数据包括第六时刻与第七时刻之间的客户数据,所述第六时刻为所述第一客户购买所述金融产品的时间点,所述第七时刻早于所述第六时刻。
优选地,所述第六时刻与所述第七时刻之间的时长等于所述第五时刻与第四时刻之间的时长。
优选地,每一所述金融产品对应一个购买概率预测模型,所述第二客户的历史客户数据包括所述第四时刻之前的数据抽取周期内任意一个月份的客户数据。
优选地,每一所述金融产品对应12个购买概率预测模型,针对指定月份的购买概率预测模型,所述第一客户和第二客户的历史客户数据包括所述第四时刻所处年度之前的连续M年中所述指定月份之前一个月的客户数据,其中,M为大于或等于2的正整数。
优选地,所述N个算法模型选自以下算法模型:梯度提升算法模型,神经网络算法模型,多项式贝叶斯算法模型,随机森林算法模型和支持向量机算法模型。
优选地,N为大于或等于2的正整数,所述根据训练完成的所述N个算法模型,确定所述金融产品的购买概率预测模型的步骤包括:
获取训练完成的所述N个算法模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率;
将训练完成的所述N个算法模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率输入至投票模型,得到所述金融产品的购买概率预测模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率。
优选地,所述投票模型为多数投票模型,或者,为权重投票模型。
优选地,所述算法模型的权重基于所述算法模型的预测准确率、预测精确度、召回率、AUC分数和F1分数中的至少之一确定。
优选地,每一所述算法模型的权重相同。
优选地,所述获取训练样本集的步骤包括:
对待处理的训练样本集进行数据预处理,得到数据预处理后的训练样本集。
优选地,所述数据预处理包括缺失值计算、异常值排除、数据变换、无量纲化和归一化中的至少之一。
优选地,所述获取训练样本集的步骤包括:
采用特征选择模型处理待处理的训练样本集中的客户特征,确定选择的客户特征,采用选择的客户特征筛选训练样本集。
优选地,所述采用特征选择模型处理待处理的训练样本集中的客户特征,确定选择的客户特征的步骤包括:
采用互信息、卡方检验、F校验中的至少两种筛选方法筛选待处理的训练样本集中的客户特征;
对采用不同筛选方法筛选出的待处理的训练样本集中的客户特征进行聚合处理,得到聚合处理后的客户特征;
采用递归特征消除法、特征模型消除法中的至少之一筛选聚合处理后的客户特征,得到选择的客户特征。
优选地,所述确定选择的客户特征的步骤,还包括:
采用特征正交化、特征的主成分分析、矩阵分解中的至少之一对客户特征进行降维处理。
优选地,所述确定所述金融产品的购买概率预测模型的步骤之后,还包括:
通过所述金融产品的购买概率预测模型计算选择的客户特征的重要性信息;
根据客户特征的重要性信息,调整采用的客户特征。
优选地,所述预测所述待预测客户在第二时刻购买所述金融产品的概率的步骤之后,还包括:
针对一金融产品,对预测得到的多个所述待预测客户的购买所述金融产品的概率,按照从高到低进行排序,选取前Y个待预测客户,向所述前Y个待预测客户推荐所述金融产品,Y为大于或等于1的正整数;和/或
针对一所述待预测客户,对所述待预测客户在第二时刻购买多个金融产品的概率,按照从高到低进行排序,选取前Z个所述金融产品,向所述待预测客户推荐,Z为大于或等于1的正整数。
本发明还提供一种金融产品购买预测***,包括:
第一获取模块,用于获取在第一时刻未持有一金融产品的待预测客户的客户数据;
预测模块,用于将每一所述待预测客户的客户数据输入至所述金融产品的购买概率预测模型中,预测每一所述待预测客户在第二时刻购买所述金融产品的概率,所述第二时刻晚于所述第一时刻;其中,所述金融产品的购买概率预测模型是采用多个训练用客户的历史客户数据训练得到。
优选地,所述待预测客户的客户数据为所述第一时刻与第三时刻之间的客户数据,所述第三时刻早于所述第一时刻。
优选地,每一所述金融产品对应一个购买概率预测模型;或者
每一所述金融产品对应12个购买概率预测模型,所述12个购买概率预测模型分别对应1-12月。
优选地,当每一所述金融产品对应12个购买概率预测模型时,所述预测模块,用于确定所述第二时刻所处的月份;选取与所述第二时刻所处的月份对应的购买概率预测模型,预测每一所述待预测客户在第二时刻购买所述金融产品的概率。
优选地,所述金融产品购买预测***还包括:
第二获取模块,用于获取训练样本集,所述训练样本集为多个所述训练用客户在第四时刻之前的历史客户数据的集合;
第三获取模块,用于获取N个算法模型,其中,N为大于或等于1的正整数;
训练模块,用于设置每一所述算法模型的参数,并将所述训练样本集输入至每一所述算法模型,预测所述训练用客户在第五时刻购买所述金融产品的概率,所述第五时刻晚于所述第四时刻;
调整模块,用于根据预测的所述训练用客户在第五时刻购买所述金融产品的概率,调整对应算法模型的参数,得到训练完成的N个算法模型;
确定模块,用于根据训练完成的所述N个算法模型,确定所述金融产品的购买概率预测模型。
优选地,所述调整模块,用于根据预测的所述训练用客户在所述第五时刻购买所述金融产品的概率以及预设评估指标,调整对应算法模型的参数,得到调整后的N个算法模型;将所述训练样本集输入至所述调整后的所述算法模型中,预测所述训练样本集中的训练用客户在所述第五时刻购买所述金融产品的概率;根据预测得到的所述训练样本集中的训练用客户在所述第五时刻购买所述金融产品的概率以及预设评估指标,确定每一算法模型的第一评估指标值;获取测试样本集,所述测试样本集为多个所述训练用客户在第四时刻之前的历史客户数据的集合,所述测试样本集与所述训练样本集不同;将所述测试样本集输入至对应调整后的所述算法模型中,预测所述测试样本集中的训练用客户在所述第五时刻购买所述金融产品的概率;根据预测得到的所述测试样本集中的训练用客户在所述第五时刻购买所述金融产品的概率以及预设评估指标,确定每一算法模型的第二评估指标值;比较所述第一评估指标值和所述第二评估指标值,得到每一所述算法模型的拟合度;根据每一所述算法模型的拟合度,调整对应算法模型的参数,得到训练完成的算法模型。
优选地,所述预设评估指标包括预测准确率、预测精确度、召回率、AUC分数和F1分数中的至少之一。
优选地,所述多个训练用客户包括:在所述第四时刻已持有所述金融产品的第一客户,和,在所述第四时刻未持有所述金融产品的第二客户。
优选地,每一所述金融产品对应一个购买概率预测模型,所述第一客户的历史客户数据包括第六时刻与第七时刻之间的客户数据,所述第六时刻为所述第一客户购买所述金融产品的时间点,所述第七时刻早于所述第六时刻。
优选地,所述第六时刻与所述第七时刻之间的时长等于所述第五时刻与第四时刻之间的时长。
优选地,每一所述金融产品对应一个购买概率预测模型,所述第二客户的历史客户数据包括所述第四时刻之前的数据抽取周期内任意一个月份的客户数据。
优选地,每一所述金融产品对应12个购买概率预测模型,针对指定月份的购买概率预测模型,所述第一客户和第二客户的历史客户数据包括所述第四时刻所处年度之前的连续M年中所述指定月份之前一个月的客户数据,其中,M为大于或等于2的正整数。
优选地,所述N个算法模型选自以下算法模型:梯度提升算法模型,神经网络算法模型,多项式贝叶斯算法模型,随机森林算法模型和支持向量机算法模型。
优选地,N为大于或等于2的正整数,所述确定模块,用于获取训练完成的所述N个算法模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率;将训练完成的所述N个算法模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率输入至投票模型,得到所述金融产品的购买概率预测模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率。
优选地,所述投票模型为多数投票模型,或者,为权重投票模型。
优选地,所述算法模型的权重基于所述算法模型的预测准确率、预测精确度、召回率、AUC分数和F1分数中的至少之一确定。
优选地,每一所述算法模型的权重相同。
优选地,所述第二获取模块,用于对待处理的训练样本集进行数据预处理,得到数据预处理后的训练样本集。
优选地,所述数据预处理包括缺失值计算、异常值排除、数据变换、无量纲化和归一化中的至少之一。
优选地,所述第二获取模块,用于采用特征选择模型处理待处理的训练样本集中的客户特征,确定选择的客户特征,采用选择的客户特征筛选训练样本集。
优选地,所述第二获取模块,用于采用互信息、卡方检验、F校验中的至少两种筛选方法筛选待处理的训练样本集中的客户特征;对采用不同筛选方法筛选出的待处理的训练样本集中的客户特征进行聚合处理,得到聚合处理后的客户特征;采用递归特征消除法、特征模型消除法中的至少之一筛选聚合处理后的客户特征,得到选择的客户特征。
优选地,所述第二获取模块,用于采用特征正交化、特征的主成分分析、矩阵分解中的至少之一对客户特征进行降维处理。
优选地,所述第二获取模块,用于通过所述金融产品的购买概率预测模型计算选择的客户特征的重要性信息;根据客户特征的重要性信息,调整采用的客户特征。
优选地,所述金融产品购买预测***还包括:
第一推荐模块,用于针对一金融产品,对预测得到的多个所述待预测客户的购买所述金融产品的概率,按照从高到低进行排序,选取前Y个待预测客户,向所述前Y个待预测客户推荐所述金融产品,Y为大于或等于1的正整数;和/或
第二推荐模块,用于针对一所述待预测客户,对所述待预测客户在第二时刻购买多个金融产品的概率,按照从高到低进行排序,选取前Z个所述金融产品,向所述待预测客户推荐,Z为大于或等于1的正整数。
本发明还提供一种金融产品购买预测***,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;所述处理器执行所述程序时实现上述金融产品购买预测方法。
本发明还提供一种一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述金融产品购买预测方法中的步骤。
本发明的上述技术方案的有益效果如下:
本发明实施例中,金融产品的购买概率预测模型采用大量客户的真实历史客户数据训练得到,因此能够准确预测待预测客户购买金融产品的概率,从而可以准确地向客户推荐金融产品。
附图说明
图1为本发明一实施例的金融产品购买预测方法的流程示意图;
图2为本发明一实施例的预测时的各时间点的示意图;
图3为本发明一实施例的金融产品的购买概率预测模型的训练方法的流程示意图;
图4为本发明一实施例的模型训练时的各时间点的示意图;
图5为本发明一实施例的金融产品购买预测***的结构示意图;
图6为本发明另一实施例的金融产品购买预测***的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1,图1为本发明一实施例的金融产品购买预测方法的流程示意图,该方法包括:
步骤11:获取在第一时刻未持有一金融产品的待预测客户的客户数据;
步骤12:将每一所述待预测客户的客户数据输入至所述金融产品的购买概率预测模型中,预测每一所述待预测客户在第二时刻购买所述金融产品的概率,所述第二时刻晚于所述第一时刻;其中,所述金融产品的购买概率预测模型是采用多个训练用客户的历史客户数据训练得到。
本发明实施例中,金融产品的购买概率预测模型采用大量客户的真实历史客户数据训练得到,因此能够准确预测待预测客户购买金融产品的概率,从而可以准确地向客户推荐金融产品。
本发明实施例中,金融产品的购买概率预测模型输出的数据可以是一个具体的概率值,例如一待预测客户在第二时刻购买所述金融产品的概率为0.38,也可以是一个表示待预测客户是否会购买所述金融产品的标识,例如,输出的待预测客户的标识为1,表示预测待预测客户会购买所述金融产品,输出的待预测客户的标识为0,表示预测待预测客户不会购买所述金融产品。
本发明实施例中,所述第一时刻为基准时刻,可以为当前时刻,或者,过去的其他时刻。所述第二时刻为目标时刻,即预测第一时刻至第二时刻期间的购买概率。
本发明实施例中,请参考图2,输入至购买概率预测模型的待预测客户的客户数据为所述第一时刻Tt与第三时刻Tp之间的客户数据。优选地,所述第三时刻Tp和所述第一时刻Tt之间的时长是获取客户数据的最短周期Tmin,所述最短周期Tmin例如可以为一小时、一天、一个月或三个月等。本发明以所述第三时刻Tp和所述第一时刻Tt之间的时长为一个月为例进行说明。例如,预测2018年度1月份购买一金融产品的概率时,可获取2017年12月的待预测客户的客户数据。图2中,Tf’为第二时刻。第三时刻以当前时刻为基准,过去的一历史时刻。
本发明实施例中,所述金融产品例如可以是大额存单、一年期及以上定期储蓄等金融产品。
本发明实施例中,持有金融产品:是指Tp至基准时刻Tt的时长(如Tmin)内持有,例如Tmin为一个月、Tt为当前时刻时,持有金融产品为当月持有,包括历史未持有且当月持有、历史曾经持有且当月持有;未持有金融产品:是指Tp至Tt的时长(如Tmin)内未持有,例如Tmin为一个月、Tt为当前时刻时,未持有金融产品为当月未持有,包括历史未持有且当月未持有、历史曾经持有且当月未持有。
上述输入至金融产品的购买概率预测模型的待预测客户的客户数据可以是直接获取的客户数据,也可以是对获取的数据进行数据预处理之后的客户数据,所述数据预处理可以包括缺失值计算、异常值排除、数据变换、无量纲化和归一化中的至少之一。其中无量纲化包括标准化法、区间缩放法等,缺失值计算包括缺失值填充等,数据变换包括多项式数据转换等。例如,对客户数据进行删除或填充,其中填充可以为补上默认值比如零或者平均值。
在本发明的一些实施例中,每一所述金融产品可以对应一个购买概率预测模型。
在本发明的另外一些实施例中,每一所述金融产品可以对应12个购买概率预测模型,所述12个购买概率预测模型分别对应1-12月。该种方式下,由于每一金融产品在每个月对应一个购买概率预测模型,因而预测结果更为准确。
本发明实施例中,当每一所述金融产品对应12个购买概率预测模型时,所述步骤12,即将每一所述待预测客户的客户数据输入至所述金融产品的购买概率预测模型中,预测每一所述待预测客户在第二时刻购买所述金融产品的概率的步骤包括:
步骤121:确定所述第二时刻所处的月份;
步骤122:选取与所述第二时刻所处的月份对应的购买概率预测模型,预测每一所述待预测客户在所述第二时刻购买所述金融产品的概率。
(1)模型训练
本发明实施例中,在上述步骤12(将每一所述待预测客户的客户数据输入至所述金融产品的购买概率预测模型中,预测每一所述待预测客户在第二时刻购买所述金融产品的概率)之前,还包括:训练所述金融产品的购买概率预测模型,下面对训练金融产品的购买概率预测模型的方法进行说明。
本发明实施例中,针对每一金融产品的购买概率预测模型,均独立地进行训练获得。
请参考图3,图3为本发明一实施例的金融产品的购买概率预测模型的训练方法的流程示意图,所述方法包括:
步骤31:获取训练样本集,所述训练样本集为多个所述训练用客户在第四时刻之前的历史客户数据的集合;所述第四时刻早于所述第一时刻;第四时刻以当前时刻为基准,过去的一历史时刻。
步骤32:获取N个算法模型,其中,N为大于或等于1的正整数;
步骤33:设置每一所述算法模型的参数,并将所述训练样本集输入至每一所述算法模型,预测所述训练用客户在第五时刻购买所述金融产品的概率,所述第五时刻晚于所述第四时刻;
步骤34:根据预测的所述训练用客户在第五时刻购买所述金融产品的概率,调整对应算法模型的参数,得到训练完成的N个算法模型;
步骤35:根据训练完成的所述N个算法模型,确定所述金融产品的购买概率预测模型。
本发明实施例中,金融产品的购买概率预测模型采用大量客户的真实历史客户数据训练得到,因此能够准确预测待预测客户购买金融产品的概率。此外,购买概率预测模型依据N个算法模型得到,当N为大于1时,可以提高购买概率预测模型的性能,提高预测准确率。
本发明实施例中,所述根据预测的所述训练用客户在第五时刻购买所述金融产品的概率,调整对应算法模型的参数,得到训练完成的N个算法模型的步骤可以包括:
根据预测的所述训练用客户在所述第五时刻购买所述金融产品的概率以及预设评估指标,调整对应算法模型的参数,得到调整后的N个算法模型;
将所述训练样本集输入至所述调整后的所述算法模型中,预测所述训练样本集中的训练用客户在所述第五时刻购买所述金融产品的概率;根据预测得到的所述训练样本集中的训练用客户在所述第五时刻购买所述金融产品的概率以及预设评估指标,确定每一算法模型的第一评估指标值;
获取测试样本集,所述测试样本集为多个所述训练用客户在第四时刻之前的历史客户数据的集合,所述测试样本集与所述训练样本集不同,所述测试样本集具体可通过将训练用客户的客户数据随机拆分为训练样本集和测试样本集时获得,进一步的,该数据拆分在对算法模型进行训练之前进行;将所述测试样本集输入至对应调整后的所述算法模型中,预测所述测试样本集中的训练用客户在所述第五时刻购买所述金融产品的概率;根据预测得到的所述测试样本集中的训练用客户在所述第五时刻购买所述金融产品的概率以及预设评估指标,确定每一算法模型的第二评估指标值;
比较所述第一评估指标值和所述第二评估指标值,得到每一算法模型的拟合度;根据每一算法模型的拟合度,调整对应算法模型的参数,得到训练完成的算法模型。
在本发明的一些优选实施例中,所述预设评估指标包括预测准确率、预测精确度、召回率、曲线下面积(AUC)分数和F1分数中的至少之一。
本发明实施例中,确定训练完成的算法模型的方法包括两个调优的步骤,一个是在训练过程中根据预设评估值较对算法模型进行调优,一个是,训练完成后根据与测试样本集的预测结果比较,进一步对算法模型进行调优,从而使得训练处的算法模型性能更优。
本发明实施例中,所述训练用客户包括:在所述第四时刻已持有所述金融产品的第一客户,和,在所述第四时刻未持有所述金融产品的第二客户。
本发明实施例中,所述第四时刻T0为数据抽取周期Te的末尾时间。例如,抽取的训练用客户的历史客户数据可以是某银行2016年1月1日至2017年12月31日周期内的数据,第四时刻则是2017年12月31日。
1)训练全年模型
本发明的一些实施例中,每一金融产品对应一个购买概率预测模型,金融产品包括多种产品,各产品分别预测,针对每一款产品训练相应的购率概率模型。本实施例的购买概率预测模型是一个全年的模型,此时,训练用客户的历史客户数据可以是:请参考图4,所述第一客户(在T0时刻已经购买金融产品的客户)的历史客户数据可以包括第六时刻Tb与第七时刻T-2之间的客户数据,所述第六时刻Tb为所述第一客户购买所述金融产品的时间点,同时,客户数据还可以包括第一客户持有金融产品的标识1。所述第七时刻T-2早于所述第六时刻Tb。因为第一客户尚未购买金融产品时的客户数据,才适于作为训练数据。优选地,所述第六时刻Tb与所述第七时刻T-2之间的时长等于所述第五时刻Tf与第四时刻T0之间的时长。当然,可以理解的是,不同的第一客户的第六时刻Tb和第七时刻T-2一般各不相同。另外,如果第一客户在数据抽取周期Te内多次购买所述金融产品,可以选取首次购买所述金融产品的时刻作为所述第六时刻Tb。当然,也可以是选取任意一次购买所述金融产品的时刻作为所述第六时刻Tb。
本发明实施例中,所述第二客户(在T0时刻未持有所述金融产品的客户)的历史客户数据可以包括所述第四时刻T0之前的数据抽取周期Te(例如为24个月)内任意一个月份的客户数据,同时,客户数据还可以包括第二客户未持有金融产品的标识0。其中,不同的客户对应的月份相同或不同。由于客户数量一般为较大数量级,进行大数据随机抽取,一年内的每个月的数据都能抽取上,因而,抽取的数据也可以涵盖每个月,从而确保训练的模型的准确率。
针对该种模型,在进行预测时,可以抽取第一时刻Tt未持有金融产品的待预测客户的客户数据作为输入至购买概率预测模型的客户数据,预测每一所述待预测客户在第二时刻Tf’购买所述金融产品的概率,例如,所述客户数据包括第三时刻Tp至第一时刻Tt之间的(例如时长为一个月)的客户数据。本发明实施例中,优选地,预测时采用的第二时刻Tf’至第一时刻Tt之间的时长,与训练时采用的第五时刻Tf至第四时刻T0之间的时长相等。
2)训练月份模型
本发明的一些实施例中,针对每一金融产品,对应12个购买概率预测模型,即每一个月对应一个购买概率预测模型。此时,针对指定月份的购买概率预测模型,所述第一客户和第二客户的历史客户数据包括所述第四时刻所处年度之前的连续M年中所述指定月份之前一个月的客户数据,其中,M为大于或等于2的正整数。所述客户数据可包含用于训练购买概率预测模型的目标变量和特征变量,所述目标变量为1(持有或购买)或0(未持有或未购买),所述目标变量取自指定月份,目标变量为1也即是客户在指定月份持有或购买金融产品,目标变量为0也即是客户在指定月份未持有或未购买金融产品;所述特征变量取自指定月份之前的一个月,具体可包括客户属性信息、客户交易信息等,在其他实施例中,也可以通过指定月份之前一个月的特征变量计算中期信息或长期信息,如季度信息、半年度信息等。
举例来说,对于第一客户(即在T0时刻已经购买所述金融产品、标识为1的客户),取连续10年每年1月份的客户数据以获取目标变量,取连续10年每年12月份的客户数据以获取特征变量;对于第二客户(即在T0时刻未购买所述金融产品、标识为0的客户),取连续10年每年1月份的客户数据以获取目标变量,取连续10年每年12月份的客户数据以获取特征变量;从而训练得到针对一金融产品的下一年1月份的购买概率预测模型。针对2-12月,同样的,可训练得到针对一金融产品的2-12月份的购买概率预测模型。所述客户数据可包含月度信息和特征变量,所述特征变量包括客户属性信息、客户交易行为信息等,在其他实施例中,也可以通过所述月度信息计算获取中期和长期信息,如季度信息、半年度信息等。
针对该种模型,在进行预测时,可以抽取第一时刻Tt未持有金融产品的待预测客户的客户数据,作为购买概率预测模型的客户数据输入,预测每一所述待预测客户在第二时刻Tf’购买所述金融产品的概率,所述客户数据可以包括第三时刻Tp至第一时刻Tt之间的(例如时长为一个月)的客户数据,例如预测2018年1月份的购买概率则取2017年12月份的客户数据,抽取2017年12月份未持有金融产品的待预测客户的客户数据,输入1月份的模型,以预测待预测客户在2018年1月份购买金融产品的概率。
本发明实施例中,优选地,所述N个算法模型选自以下算法模型:梯度提升算法模型,神经网络算法模型,多项式贝叶斯算法模型,随机森林算法模型和支持向量机算法模型。上述算法模型是基于非线性、占用计算资源的多少等特点选取而出。
下面对各算法模型进行简单介绍。
梯度提升树是集成学习Boosting家族的成员,但是却和传统的Adaboost有很大的不同。梯度提升树也是迭代,使用了前向分布算法,在梯度提升树的迭代中,假设前一轮迭代得到的强学习器是ft-1(x),损失函数是L(y,ft-1(x)),本轮迭代的目标是找到一个CART回归树模型的弱学习器ht(x),让本轮的损失L(y,ft(x))=L(y,ft-1(x)+ht(x))最小。也就是说,本轮迭代找到决策树,要让样本的损失尽量变得更小。
多层感知分类器(MLPClassifier)(所述神经网络算法之一)实现了使用Backpropagation进行训练的多层感知器(MLP)算法,并支持交叉熵损失函数,通过运行predict_proba方法可以进行概率估计。同时,使用反向传播的MLP训练。更准确地说,它使用指定形式的梯度下降训练,并且使用反向传播计算梯度。对于分类,它能最小化交叉熵损失函数,给出每个样本的概率估计向量。MLPClassifier通过应用Softmax作为输出功能支持多类分类。此外,该模型支持多标签分类,其中样本可以属于多个类。
多项式朴素贝叶斯(MultinomialNB)实现了服从多项分布数据的朴素贝叶斯算法,也是用于文本分类(这个领域中数据往往以词向量表示,尽管在实践中tf-idf向量在预测时表现良好)的两大经典朴素贝叶斯算法之一。分布参数由每类y的θy=(θy1,...,θyn)向量决定,式中n是特征的数量(对于文本分类,是词汇量的大小),θyi是样本中属于类y中特征i概率P(xi|y)。
随机森林是一种集成算法(Ensemble Learning),它属于Bagging类型,通过组合多个弱分类器,最终结果通过投票或取均值,使得整体模型的结果具有较高的精确度和泛化性能。其可以取得不错成绩,主要归功于“随机”和“森林”,一个使它具有抗过拟合能力,一个使它更加精准。随机森林使用了CART决策树作为弱学习器。在生成每棵树的时候,每个树选取的特征都仅仅是随机选出的少数特征,一般默认取特征总数m的开方,从而保证了特征随机性。
支持向量机(Support Vecor Machine,以下简称SVM)虽然诞生只有短短的二十多年,但是自一诞生便由于它良好的分类性能席卷了机器学习领域。如果不考虑集成学习的算法,不考虑特定的训练数据集,在分类算法中的表现SVM表现优异。SVM是一个二元分类算法,线性分类和非线性分类都支持。经过演进,现在也可以支持多元分类,同时经过扩展,也能应用于回归问题。
本发明实施例中,当N为大于或等于2的正整数,对选取出的N个算法模型,分别进行训练,训练包括例如每种模型使用网格搜索交叉验证法调至最优模型,然后再将N个模型放置投票模型进行投票得到最终的购买概率。
即,上述步骤36,即所述根据训练完成的所述N个算法模型,确定所述金融产品的购买概率预测模型的步骤包括:
步骤361:获取训练完成的所述N个算法模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率;
步骤362:将训练完成的所述N个算法模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率输入至投票模型(Voting Classifier),得到所述金融产品的购买概率预测模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率。
本发明实施例中,对N个算法模型进行聚合处理,N个模型同时用,对N个模型的预测结果进行有机组合,可以有效提高预测准确度。
本发明实施例中,优选地,所述投票模型为多数投票模型(硬投票),或者,为权重投票模型(软投票)。
所谓多数投票模型是指,采用大多数算法模型的结果(例如0或1)作为最终预测结果,所谓大多数例如可以是超过一半的算法模型。
所谓权重投票模型是指,对于N个算法模型,每一算法模型赋予一个权重,投票模型将每一算法模型预测的概率与对应的权重相乘,并对所有算法模型相乘的结果求和,得到所述训练客户的购买所述金融产品的概率。
本发明实施例中,每一所述算法模型的权重可以不同,所述算法模型的权重基于所述算法模型的预测准确率、预测精确度、召回率、AUC分数和F1分数中的至少之一确定。一般情况下,指标的分值越高,权重越高。
在本发明的一些实施例中,每一所述算法模型的权重可以相同。
本发明实施例中,优选地,投票模型采用软投票的方式,即将N个算法模型算出来的概率进行加权求和,分别得到预测为0(不会购买)的加权求和概率和预测为1(会购买)的加权求和概率,默认使用的权重为等权重(N个模型每个权重都为1/N)。最终选择概率大的一类为预测值,例如1的概率大选择1。也可以基于每个算法模型预测结果结合权重得到的准确率来确定多个算法模型的权重。例如,基于准确率确定各算法模型的权重,准确率越高,权重越大。例如算法模型1准确率为50%,算法模型2准确率为60%,算法模型3准确率为70%,算法模型4准确率为70%,算法模型5准确率为80%,则算法模型1权重为5/33,算法模型2权重为6/33,算法模型3权重为7/33,算法模型4权重为7/33,算法模型5权重为8/33。
本发明实施例中,采用投票模型完成预测。其中投票模型将概念上不同的N个算法模型(机器学***衡其个体的弱点。
本发明的上述实施例中,可以采用预设评估指标,确定所述算法模型的拟合度,所述预设评估指标包括预测准确率、预测精确度、召回率、AUC分数和F1分数中的至少之一。
(2)数据预处理
本发明实施例中,在进行模型训练之前,还可以首先对待处理的训练样本集和/或测试样本集进行数据预处理,得到数据预处理后的训练样本集和/或测试样本集。
数据预处理过程包括数据清洗和/或数据标准化。进行数据清洗及数据标准化的目的是便于比较和评估。具体的,优选地,所述数据预处理包括缺失值计算、异常值排除、数据变换、无量纲化和归一化中的至少之一。其中无量纲化包括标准化法、区间缩放法等,缺失值计算包括缺失值填充等,数据变换包括多项式数据转换等。例如,对客户数据进行删除或填充,其中填充可以为补上默认值比如零或者平均值。
(3)客户特征选择
本发明实施例中,在进行模型训练之前,还可以采用特征选择模型处理待处理的训练样本集中的客户特征,确定选择的客户特征,采用选择的客户特征筛选训练样本集。
客户特征是客户数据中与客户购买的可能性有相关性的字段。例如,从总资产在5万元以上的客户中寻找潜在客户,比从总资产在5万元以下的客户中中寻找潜在客户的中靶率高35倍,总资产在5万元以上的客户是潜在客户的主要指标之一。客户最后一次交易金额和最后一次交易时间对其购买定期产品有相当大的影响。客户的存款月日均变化率的正向变化和较高的存款年日均表达了客户资产稳定增长,有稳定的资金来源。累计购买定期金额、持有定期存款产品数以及客户前一季度的资产状况都对客户购买定期产品有较大影响。
本发明实施例中,所述客户数据可以包括以下数据中的至少之一:交易行为特征数据、RFM(Recency,Frequency,Monetary,新近,频率,货币)行为模式数据、客户属性特征数据、资产负债特征数据、信用属性特征数据、持有行为特征数据和关系圈刻画信息。
其中,交易行为特征包括以下至少之一:本月/本季度等的累计交易次数,银行贷款入账次数,转账转入次数,工资性收入次数,现金存入次数,贷款还款次数,转账转出次数,现金支取次数,消费支出次数,生活缴费支出次数,和客户最后一次交易金额;
RFM行为模式包括以下至少之一:最近一次购买理财产品时间,最近三月购买理财产品次数,最近三月购买理财产品金额,最近一次购买基金产品时间,最近三月购买基金产品次数,最近三月购买基金产品金额,最近一次消费刷卡距离今日天数,最近三月消费次数,最近三月消费金额,最近三月消费商家类型第一名(top1),名下所有账户最近一次动账日期,和名下所有账户最近动账距今天数;
客户属性特征包括以下至少之一:性别,年龄,家庭地址,行业,职务,学历,婚姻状态,家庭总人口,手机号码,归属机构,客户经理,与我行关系年限(成为银行客户的时间长度);
资产负债特征包括以下至少之一:最大资产集中度,存款时点余额,理财时点余额,基金时点余额,国债时点余额,是否国债签约,是否信托签约,是否贵金属签约,是否第三方存管签约,是否保险签约,存款月日均,理财月日均,基金月日均,国债月日均,存款季日均,理财季日均,基金季日均,国债季日均,存款年日均,理财年日均,基金年日均,国债年日均;
信用属性特征包括以下至少之一:核心客户号,客户当前等级,客户信用等级,当前贷款五级分类,综合授信额度,客户上次等级,等级变动时间,客户上次信用等级,信用等级变动时间,上次贷款五级分类,贷款分类变动日期,社保余额,公积金月缴纳;
持有行为特征包括以下至少之一:资产总额,存款余额,持有产品数,存款产品数,贷款产品数,当前借记卡种类数,当前贷记卡种类数,当前借记卡张数,当前贷记卡张数,理财产品数,基金产品数,签约服务类产品数,签约渠道类产品数,累计购买定期次数,累计购买定期金额,持有定期存款产品数,累计贷款次数,累计申请贷款次数,累计购买理财次数,累计购买基金次数,客户前一季度总资产,是否持有定期产品,最大资产余额,最大资产类别;
关系圈刻画包括以下至少之一:转帐用途,是否跨行,本月转入笔数,本月转入金额,本月转出笔数,本月转出金额,对方银行;
上述累计,为基于本月、本季度等进行累计。
优选地,本发明实施例中,所述采用特征选择模型处理待处理的训练样本集中的客户特征,确定选择的客户特征的步骤包括:
采用互信息、卡方检验、F校验中的至少一种筛选方法筛选待处理的训练样本集中的客户特征;该步骤为粗筛步骤;
当采用至少两种筛选方法时,采用不同筛选方法筛选出的待处理的训练样本集中的客户特征进行聚合处理,得到聚合处理后的客户特征;所谓聚合处理是指例如取交集、并集或最优集等。
进一步地,采用递归特征消除法、特征模型消除法中的至少之一筛选客户特征,得到选择的客户特征,该步骤为细筛步骤。递归特征消除法、特征模型消除法基于不同的处理机制,具体的,例如基于极端树、随机森林、贝叶斯等算法模型进行特征筛选。
本发明实施例中,进一步地,还可以包括:
采用特征正交化、特征的主成分分析、矩阵分解中的至少之一对客户特征进行降维处理。所谓特征降维,是指降低特征的维度,特征降维中,可包含特征变换,即特征发生了根本性的变化,原始的特征消失了(虽然新的特征也保持了原特征的一些性质)。
本发明实施例中,所述确定所述金融产品的购买概率预测模型的步骤之后,还包括:
通过所述金融产品的购买概率预测模型计算客户特征的重要性信息;
根据客户特征的重要性信息,调整采用的客户特征。
本发明实施例中,在粗筛之前,还可以根据业务常识(基于业务需求)添加客户特征(对于预测结果有相关性的字段),因为粗筛前的特征是常规特征,需要添加用户自定义的客户特征(用户基于业务理解和业务需求设计的对于预测目标有强解释性的客户特征)。
例如针对某金融储蓄产品,增加下述新增字段。
新增字段:是否一年期定期目标客户,是否一年期大额目标客户,是否一年期定期新增目标客户,是否一年期大额新增目标客户,是否一年期定期注销目标客户,是否一年期大额注销目标客户,是否一年期定期流失目标客户,是否一年期大额流失目标客户,定活两便产品利率,一天通知存款产品利率,七天通知存款产品利率,一个月期产品利率,三个月期产品利率,六个月期产品利率,九个月期产品利率,一年期产品利率,二年期产品利率,三年期产品利率,五年期产品利率。
例如,针对某金融储蓄产品,最终特征选择出的特征包括:客户前一季度总资产、是否持有定期产品、客户最后一次交易金额、存款月日均变化率、存款年日均、累计购买定期金额、持有定期存款产品数、最大资产余额、最大资产类别等。
(4)金融产品推荐
本发明实施例中,所述预测所述待预测客户在第二时刻购买所述金融产品的概率的步骤之后,还包括:
1)针对一金融产品,对预测得到的多个所述待预测客户的购买所述金融产品的概率,按照从高到低进行排序,选取前Y个待预测客户(例如200个客户),向所述前Y个待预测客户推荐所述金融产品,Y为大于或等于1的正整数,Y的数值可以根据网点的人力进行调整。
2)针对一所述待预测客户,对所述待预测客户在第二时刻购买多个金融产品的概率,按照从高到低进行排序,选取前Z个所述金融产品,向所述待预测客户推荐,Z为大于或等于1的正整数,Z的数值可以根据网点的人力进行调整。
例如:
客户1:适合推荐大额存单(概率:0.62),其次推荐一年期及以上定存(概率0.35)。
客户2:适合推荐大额存单(概率:0.5),其次推荐一年期及以上定存(概率0.38)。
客户3:适合推荐一年期及以上定存(概率:0.54),其次推荐大额存单(概率0.31)。
客户4:适合推荐一年期及以上定存(概率0.53)。
具体应用中,为评估营销的有效性,选取相似的两个网点(例如根据柜员人数和自助设备数量确定的两个银行网点),一个为干预组,给予预测名单,进行营销,另一个为对照组,不给预测名单,采用传统方法。营销措施包括优惠活动、情感、实物等。两个月后,对比两个网点的营销结果。营销的结果包括营销成功与拉新(即拓展的行外资金)。使用本发明的上述方法后,干预组营销成功率及拉新率较对照组显著增高。
如对比干预组与对照组,干预组营销效果与对照组相比,效果未改善或效果改善不满足需求,可以调整之前的步骤,例如调整客户特征,具体的可以增加客户特征,例如在之前考虑过的客户特征范围之外,再定义一些客户特征。
本发明实施例中,金融产品的购买概率预测模型是采用大量客户的真实历史客户数据训练得到,依托大数据技术,因而训练得到的购买概率预测模型对客户在某一时刻购买金融产品的概率预测准确率较高,能够计算出符合业务营销工作需要的目标客户,实现对客户的精确筛选和个性化分层营销,可以提升客户体验,并同时提高金融机构的收入。
基于同一发明构思,请参考图5,本发明还提供一种金融产品购买预测***50,包括:
第一获取模块51,用于获取在第一时刻未持有一金融产品的待预测客户的客户数据;
预测模块52,用于将每一所述待预测客户的客户数据输入至所述金融产品的购买概率预测模型中,预测每一所述待预测客户在第二时刻购买所述金融产品的概率,所述第二时刻晚于所述第一时刻;其中,所述金融产品的购买概率预测模型是采用多个训练用客户的历史客户数据训练得到。
优选地,所述待预测客户的客户数据为所述第一时刻与第三时刻之间的客户数据,所述第三时刻早于所述第一时刻。
优选地,每一所述金融产品对应一个购买概率预测模型;或者
每一所述金融产品对应12个购买概率预测模型,所述12个购买概率预测模型分别对应1-12月。
优选地,当每一所述金融产品对应12个所述购买概率预测模型时,所述预测模块,用于确定所述第二时刻所处的月份;选取与所述第二时刻所处的月份对应的购买概率预测模型,预测每一所述待预测客户在第二时刻购买所述金融产品的概率。
优选地,所述金融产品购买预测***还包括:
第二获取模块,用于获取训练样本集,所述训练样本集为多个所述训练用客户在第四时刻之前的历史客户数据的集合;
第三获取模块,用于获取N个算法模型,其中,N为大于或等于1的正整数;
训练模块,用于设置每一所述算法模型的参数,并将所述训练样本集输入至每一所述算法模型,预测所述训练用客户在过去的第五时刻购买所述金融产品的概率,所述第五时刻晚于所述第四时刻;
调整模块,用于根据预测的所述训练用客户在第五时刻购买所述金融产品的概率,调整对应所述算法模型的参数,得到训练完成的N个算法模型;
确定模块,用于根据训练完成的所述N个算法模型,确定所述金融产品的购买概率预测模型。
优选地,所述调整模块,用于根据预测的所述训练用客户在所述第五时刻购买所述金融产品的概率以及预设评估指标,调整对应算法模型的参数,得到调整后的N个算法模型;将所述训练样本集输入至所述调整后的所述算法模型中,预测所述训练样本集中的训练用客户在所述第五时刻购买所述金融产品的概率;根据预测得到的所述训练样本集中的训练用客户在所述第五时刻购买所述金融产品的概率以及预设评估指标,确定每一算法模型的第一评估指标值;获取测试样本集,所述测试样本集为多个所述训练用客户在第四时刻之前的历史客户数据的集合,所述测试样本集与所述训练样本集不同,所述测试样本集具体可通过将训练用客户的客户数据随机拆分为训练样本集和测试样本集时获得,进一步的,该数据拆分在对算法模型进行训练之前进行;将所述测试样本集输入至对应调整后的所述算法模型中,预测所述测试样本集中的训练用客户在所述第五时刻购买所述金融产品的概率;根据预测得到的所述测试样本集中的训练用客户在所述第五时刻购买所述金融产品的概率以及预设评估指标,确定每一算法模型的第二评估指标值;比较所述第一评估指标值和所述第二评估指标值,得到每一算法模型的拟合度;根据所述算法模型的拟合度,调整对应算法模型的参数,得到训练完成的算法模型。
优选地,所述预设评估指标包括预测准确率、预测精确度、召回率、AUC分数和F1分数中的至少之一。
优选地,所述多个训练用客户包括:在所述第四时刻已持有所述金融产品的第一客户,和,在所述第四时刻未持有所述金融产品的第二客户。
优选地,每一所述金融产品对应一个购买概率预测模型,所述第一客户的历史客户数据包括第六时刻与第七时刻之间的客户数据,所述第六时刻为所述第一客户购买所述金融产品的时间点,所述第七时刻早于所述第六时刻。
优选地,所述第六时刻与所述第七时刻之间的时长等于所述第五时刻与第四时刻之间的时长。
优选地,每一所述金融产品对应一个购买概率预测模型,所述第二客户的历史客户数据包括所述第四时刻之前的数据抽取周期Te内任意一个月份的客户数据。
优选地,每一所述金融产品对应12个购买概率预测模型,针对指定月份的购买概率预测模型,所述第一客户和第二客户的历史客户数据包括所述第三时刻之前的连续M年中所述指定月份之前的一个月的客户数据,其中,M为大于或等于2的正整数。
优选地,所述N个算法模型选自以下算法模型:梯度提升算法模型,神经网络算法模型,多项式贝叶斯算法模型,随机森林算法模型和支持向量机算法模型。
优选地,N为大于或等于2的正整数,所述确定模块,用于获取训练完成的所述N个算法模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率;将训练完成的所述N个算法模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率输入至投票模型,得到所述金融产品的购买概率预测模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率。
优选地,所述投票模型为多数投票模型,或者,为权重投票模型。
优选地,所述算法模型的权重基于所述算法模型的预测准确率、预测精确度、召回率、AUC分数和F1分数中的至少之一确定。
优选地,每一所述算法模型的权重相同。
优选地,所述第二获取模块,用于对待处理的训练样本集进行数据预处理,得到数据预处理后的训练样本集。
优选地,所述数据预处理包括缺失值计算、异常值排除、数据变换、无量纲化和归一化中的至少之一。
优选地,所述第二获取模块,用于采用特征选择模型处理待处理的训练样本集中的客户特征,确定选择的客户特征,采用选择的客户特征筛选训练样本集。
优选地,所述第二获取模块,用于采用互信息、卡方检验、F校验中的至少两种筛选方法筛选待处理的训练样本集中的客户特征;对采用不同筛选方法筛选出的待处理的训练样本集中的客户特征进行聚合处理,得到聚合处理后的客户特征;采用递归特征消除法、特征模型消除法中的至少之一筛选聚合处理后的客户特征,得到选择的客户特征。
优选地,所述第二获取模块,用于采用特征正交化、特征的主成分分析、矩阵分解中的至少之一对选择客户特征进行降维处理。
优选地,所述第二获取模块,用于通过所述金融产品的购买概率预测模型计算选择的客户特征的重要性信息;根据客户特征的重要性信息,调整采用的客户特征。
优选地,所述金融产品购买预测***还包括:
第一推荐模块,用于针对一金融产品,对预测得到的多个所述待预测客户的购买所述金融产品的概率,从按照从高到低进行排序,选取前Y个待预测客户,向所述前Y个待预测客户推荐所述金融产品,Y为大于或等于1的正整数;和/或
第二推荐模块,用于针对一所述待预测客户,对所述待预测客户在第二时刻购买多个金融产品的概率,按照从高到低进行排序,选取前Z个所述金融产品,向所述待预测客户推荐,Z为大于或等于1的正整数。
请参考图6,本发明还提供一种金融产品购买预测***60,包括存储器61、处理器62及存储在所述存储器61上并可在所述处理器上运行的计算机程序;计算机程序被处理器62执行时实现如下步骤:
获取在第一时刻未持有一金融产品的待预测客户的客户数据;
将每一所述待预测客户的客户数据输入至所述金融产品的购买概率预测模型中,预测每一所述待预测客户在第二时刻购买所述金融产品的概率,所述第二时刻晚于所述第一时刻;其中,所述金融产品的购买概率预测模型是采用多个训练用客户的历史客户数据训练得到。
处理器62负责管理总线架构和通常的处理,存储器61可以存储处理器62在执行操作时所使用的数据。
优选地,所述待预测客户的客户数据为所述第一时刻与第三时刻之间的客户数据,所述第三时刻早于所述第一时刻。
优选地,每一所述金融产品对应一个购买概率预测模型;或者
每一所述金融产品对应12个购买概率预测模型,所述12个购买概率预测模型分别对应1-12月。
优选地,当每一所述金融产品对应12个所述购买概率预测模型时,计算机程序被处理器62执行时还可实现如下步骤:
确定所述第二时刻所处的月份;
选取与所述第二时刻所处的月份对应的购买概率预测模型,预测每一所述待预测客户在第二时刻购买所述金融产品的概率。
优选地,计算机程序被处理器62执行时还可实现如下步骤:
获取训练样本集,所述训练样本集为多个所述训练用客户在第四时刻之前的历史客户数据的集合;
获取N个算法模型,其中,N为大于或等于1的正整数;
设置每一所述算法模型的参数,并将所述训练样本集输入至每一所述算法模型,预测所述训练用客户在过去的第五时刻购买所述金融产品的概率,所述第五时刻晚于所述第四时刻;
根据预测的所述训练用客户在第五时刻购买所述金融产品的概率,调整对应算法模型的参数,得到训练完成的N个算法模型;
根据训练完成的所述N个算法模型,确定所述金融产品的购买概率预测模型。
优选地,计算机程序被处理器62执行时还可实现如下步骤:
根据预测的所述训练用客户在所述第五时刻购买所述金融产品的概率以及预设评估指标,调整对应算法模型的参数,得到调整后的N个算法模型;
将所述训练样本集输入至所述调整后的所述算法模型中,预测所述训练样本集中的训练用客户在所述第五时刻购买所述金融产品的概率;根据预测得到的所述训练样本集中的训练用客户在所述第五时刻购买所述金融产品的概率以及预设评估指标,确定每一算法模型的第一评估指标值;
获取测试样本集,所述测试样本集为多个所述训练用客户在第四时刻之前的历史客户数据的集合,所述测试样本集与所述训练样本集不同;将所述测试样本集输入至对应调整后的所述算法模型中,预测所述测试样本集中的训练用客户在所述第五时刻购买所述金融产品的概率;根据预测得到的所述测试样本集中的训练用客户在所述第五时刻购买所述金融产品的概率以及预设评估指标,确定每一算法模型的第二评估指标值;
比较所述第一评估指标值和所述第二评估指标值,得到每一算法模型的拟合度;根据每一算法模型的拟合度,调整对应算法模型的参数,得到训练完成的算法模型。
优选地,所述预设评估指标包括预测准确率、预测精确度、召回率、AUC分数和F1分数中的至少之一。
优选地,所述多个训练用客户包括:在所述第四时刻已持有所述金融产品的第一客户,和,在所述第四时刻未持有所述金融产品的第二客户。
优选地,每一所述金融产品对应一个购买概率预测模型,所述第一客户的历史客户数据包括第六时刻与第七时刻之间的客户数据,所述第六时刻为所述第一客户购买所述金融产品的时间点,所述第七时刻早于所述第六时刻。
优选地,所述第六时刻与所述第七时刻之间的时长等于所述第五时刻与第四时刻之间的时长。
优选地,每一所述金融产品对应一个购买概率预测模型,所述第二客户的历史客户数据包括所述第四时刻之前的数据抽取周期Te内任意一个月份的客户数据。
优选地,每一所述金融产品对应12个购买概率预测模型,针对指定月份的购买概率预测模型,所述第一客户和第二客户的历史客户数据为所述第四时刻所处年度之前的连续M年中所述指定月份之前的一个月的客户数据,其中,M为大于或等于2的正整数。
优选地,所述N个算法模型选自以下算法模型:梯度提升算法模型,神经网络算法模型,多项式贝叶斯算法模型,随机森林算法模型和支持向量机算法模型。
优选地,N为大于或等于2的正整数,计算机程序被处理器62执行时还可实现如下步骤:
获取训练完成的所述N个算法模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率;
将训练完成的所述N个算法模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率输入至投票模型,得到所述金融产品的购买概率预测模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率。
优选地,所述投票模型为多数投票模型,或者,为权重投票模型。
优选地,所述算法模型的权重基于所述算法模型的预测准确率、预测精确度、召回率、AUC分数和F1分数中的至少之一确定。
优选地,每一所述算法模型的权重相同。
优选地,计算机程序被处理器62执行时还可实现如下步骤:对待处理的训练样本集进行数据预处理,得到数据预处理后的训练样本集。
优选地,所述数据预处理包括缺失值计算、异常值排除、数据变换、无量纲化和归一化中的至少之一。
优选地,计算机程序被处理器62执行时还可实现如下步骤:采用特征选择模型处理待处理的训练样本集中的客户特征,确定选择的客户特征,采用选择的客户特征筛选训练样本集。
优选地,计算机程序被处理器62执行时还可实现如下步骤:采用互信息、卡方检验、F校验中的至少两种筛选方法筛选待处理的训练样本集中的客户特征;
采用不同筛选方法筛选出的待处理的训练样本集中的客户特征进行聚合处理,得到聚合处理后的客户特征;
采用递归特征消除法、特征模型消除法中的至少之一筛选聚合处理后的客户特征,得到选择的客户特征。
优选地,计算机程序被处理器62执行时还可实现如下步骤:采用特征正交化、特征的主成分分析、矩阵分解中的至少之一对客户特征进行降维处理。
优选地,计算机程序被处理器62执行时还可实现如下步骤:通过所述金融产品的购买概率预测模型计算选择的客户特征的重要性信息;
根据客户特征的重要性信息,调整采用的客户特征。
优选地,计算机程序被处理器62执行时还可实现如下步骤:针对一金融产品,对预测得到的多个所述待预测客户购买所述金融产品的概率,从按照从高到低进行排序,选取前Y个待预测客户,向所述前Y个待预测客户推荐所述金融产品,Y为大于或等于1的正整数;和/或
针对一所述待预测客户,对所述待预测客户在第二时刻购买多个金融产品的概率,按照从高到低进行排序,选取前Z个所述金融产品,向所述待预测客户推荐,Z为大于或等于1的正整数。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现上述金融产品购买预测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random AccessMemory,简称RAM)、磁碟或者光盘等。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种金融产品购买预测方法,其特征在于,包括:
获取在第一时刻未持有一金融产品的待预测客户的客户数据;
将每一所述待预测客户的客户数据输入至所述金融产品的购买概率预测模型中,预测每一所述待预测客户在第二时刻购买所述金融产品的概率,所述第二时刻晚于所述第一时刻;其中,所述金融产品的购买概率预测模型是采用多个训练用客户的历史客户数据训练得到。
2.根据权利要求1所述的金融产品购买预测方法,其特征在于,所述预测每一所述待预测客户在第二时刻购买所述金融产品的概率的步骤之前,还包括:
获取训练样本集,所述训练样本集为多个所述训练用客户在第四时刻之前的历史客户数据的集合;
获取N个算法模型,其中,N为大于或等于1的正整数;
设置每一所述算法模型的参数,并将所述训练样本集输入至每一所述算法模型,预测所述训练用客户在第五时刻购买所述金融产品的概率,所述第五时刻晚于所述第四时刻;
根据预测的所述训练用客户在第五时刻购买所述金融产品的概率,调整对应算法模型的参数,得到训练完成的N个算法模型;
根据训练完成的所述N个算法模型,确定所述金融产品的购买概率预测模型。
3.根据权利要求2所述的金融产品购买预测方法,其特征在于,所述多个训练用客户包括:在所述第四时刻已持有所述金融产品的第一客户,和,在所述第四时刻未持有所述金融产品的第二客户。
4.根据权利要求2所述的金融产品购买预测方法,其特征在于,N为大于或等于2的正整数,所述根据训练完成的所述N个算法模型,确定所述金融产品的购买概率预测模型的步骤包括:
获取训练完成的所述N个算法模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率;
将训练完成的所述N个算法模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率输入至投票模型,得到所述金融产品的购买概率预测模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率。
5.根据权利要求1所述的金融产品购买预测方法,其特征在于,所述预测所述待预测客户在第二时刻购买所述金融产品的概率的步骤之后,还包括:
针对一金融产品,对预测得到的多个所述待预测客户的购买所述金融产品的概率,按照从高到低进行排序,选取前Y个待预测客户,向所述前Y个待预测客户推荐所述金融产品,Y为大于或等于1的正整数;和/或
针对一所述待预测客户,对所述待预测客户在第二时刻购买多个金融产品的概率,按照从高到低进行排序,选取前Z个所述金融产品,向所述待预测客户推荐,Z为大于或等于1的正整数。
6.一种金融产品购买预测***,其特征在于,包括:
第一获取模块,用于获取在第一时刻未持有一金融产品的待预测客户的客户数据;
预测模块,用于将每一所述待预测客户的客户数据输入至所述金融产品的购买概率预测模型中,预测每一所述待预测客户在第二时刻购买所述金融产品的概率,所述第二时刻晚于所述第一时刻;其中,所述金融产品的购买概率预测模型是采用多个训练用客户的历史客户数据训练得到。
7.根据权利要求6所述的金融产品购买预测***,其特征在于,还包括:
第二获取模块,用于获取训练样本集,所述训练样本集为多个所述训练用客户在第四时刻之前的历史客户数据的集合;
第三获取模块,用于获取N个算法模型,其中,N为大于或等于1的正整数;
训练模块,用于设置每一所述算法模型的参数,并将所述训练样本集输入至每一所述算法模型,预测所述训练用客户在第五时刻购买所述金融产品的概率,所述第五时刻晚于所述第四时刻;
调整模块,用于根据预测的所述训练用客户在第五时刻购买所述金融产品的概率,调整对应算法模型的参数,得到训练完成的N个算法模型;
确定模块,用于根据训练完成的所述N个算法模型,确定所述金融产品的购买概率预测模型。
8.根据权利要求7所述的金融产品购买预测***,其特征在于,所述多个训练用客户包括:在所述第四时刻已持有所述金融产品的第一客户,和,在所述第四时刻未持有所述金融产品的第二客户。
9.根据权利要求7所述的金融产品购买预测***,其特征在于,N为大于或等于2的正整数,所述确定模块,用于获取训练完成的所述N个算法模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率;将训练完成的所述N个算法模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率输入至投票模型,得到所述金融产品的购买概率预测模型预测的所述训练用客户在所述第五时刻购买所述金融产品的概率。
10.根据权利要求6所述的金融产品购买预测***,其特征在于,还包括:
第一推荐模块,用于针对一金融产品,对预测得到的多个所述待预测客户的购买所述金融产品的概率,按照从高到低进行排序,选取前Y个待预测客户,向所述前Y个待预测客户推荐所述金融产品,Y为大于或等于1的正整数;和/或
第二推荐模块,用于针对一所述待预测客户,对所述待预测客户在第二时刻购买多个金融产品的概率,按照从高到低进行排序,选取前Z个所述金融产品,向所述待预测客户推荐,Z为大于或等于1的正整数。
CN201810607787.6A 2018-06-13 2018-06-13 一种金融产品购买预测方法及*** Active CN110599336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810607787.6A CN110599336B (zh) 2018-06-13 2018-06-13 一种金融产品购买预测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810607787.6A CN110599336B (zh) 2018-06-13 2018-06-13 一种金融产品购买预测方法及***

Publications (2)

Publication Number Publication Date
CN110599336A true CN110599336A (zh) 2019-12-20
CN110599336B CN110599336B (zh) 2020-12-15

Family

ID=68849613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810607787.6A Active CN110599336B (zh) 2018-06-13 2018-06-13 一种金融产品购买预测方法及***

Country Status (1)

Country Link
CN (1) CN110599336B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813933A (zh) * 2020-06-18 2020-10-23 国网上海市电力公司 一种技术图谱中技术领域的自动识别方法
CN111899055A (zh) * 2020-07-29 2020-11-06 亿达信息技术有限公司 大数据金融场景下的基于机器学习和深度学习的保险客户复购预测方法
CN112183582A (zh) * 2020-09-07 2021-01-05 中国海洋大学 一种多特征融合的水下目标识别方法
CN112232388A (zh) * 2020-09-29 2021-01-15 南京财经大学 基于elm-rfe的购物意图关键因素识别方法
JP2021114294A (ja) * 2020-01-16 2021-08-05 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 分類モデルのトレーニング方法、使用方法、装置、設備、媒体、及びプログラム
CN113469730A (zh) * 2021-06-08 2021-10-01 北京化工大学 一种非合同场景下的基于RF-LightGBM融合模型的客户复购预测方法及装置
CN113592160A (zh) * 2021-07-13 2021-11-02 北京淇瑀信息科技有限公司 基于融合处理的用户设备的失联风险预测方法、***和计算机设备
WO2022068280A1 (zh) * 2020-09-30 2022-04-07 深圳前海微众银行股份有限公司 数据处理方法、装置、设备及存储介质
CN117710066A (zh) * 2024-02-05 2024-03-15 厦门傲凡科技股份有限公司 金融客户推荐方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080114564A1 (en) * 2004-11-25 2008-05-15 Masayoshi Ihara Information Classifying Device, Information Classifying Method, Information Classifying Program, Information Classifying System
CN106485562A (zh) * 2015-09-01 2017-03-08 苏宁云商集团股份有限公司 一种基于用户历史行为的商品信息推荐方法及***
CN107507068A (zh) * 2017-09-02 2017-12-22 广东奡风科技股份有限公司 一种基于随机森林算法的金融产品实时推荐方法
CN107909433A (zh) * 2017-11-14 2018-04-13 重庆邮电大学 一种基于大数据移动电子商务的商品推荐方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080114564A1 (en) * 2004-11-25 2008-05-15 Masayoshi Ihara Information Classifying Device, Information Classifying Method, Information Classifying Program, Information Classifying System
CN106485562A (zh) * 2015-09-01 2017-03-08 苏宁云商集团股份有限公司 一种基于用户历史行为的商品信息推荐方法及***
CN107507068A (zh) * 2017-09-02 2017-12-22 广东奡风科技股份有限公司 一种基于随机森林算法的金融产品实时推荐方法
CN107909433A (zh) * 2017-11-14 2018-04-13 重庆邮电大学 一种基于大数据移动电子商务的商品推荐方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021114294A (ja) * 2020-01-16 2021-08-05 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 分類モデルのトレーニング方法、使用方法、装置、設備、媒体、及びプログラム
JP7059471B2 (ja) 2020-01-16 2022-04-26 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 分類モデルのトレーニング方法、使用方法、装置、設備、媒体、及びプログラム
CN111813933A (zh) * 2020-06-18 2020-10-23 国网上海市电力公司 一种技术图谱中技术领域的自动识别方法
CN111899055A (zh) * 2020-07-29 2020-11-06 亿达信息技术有限公司 大数据金融场景下的基于机器学习和深度学习的保险客户复购预测方法
CN112183582A (zh) * 2020-09-07 2021-01-05 中国海洋大学 一种多特征融合的水下目标识别方法
CN112232388A (zh) * 2020-09-29 2021-01-15 南京财经大学 基于elm-rfe的购物意图关键因素识别方法
CN112232388B (zh) * 2020-09-29 2024-02-13 南京财经大学 基于elm-rfe的购物意图关键因素识别方法
WO2022068280A1 (zh) * 2020-09-30 2022-04-07 深圳前海微众银行股份有限公司 数据处理方法、装置、设备及存储介质
CN113469730A (zh) * 2021-06-08 2021-10-01 北京化工大学 一种非合同场景下的基于RF-LightGBM融合模型的客户复购预测方法及装置
CN113592160A (zh) * 2021-07-13 2021-11-02 北京淇瑀信息科技有限公司 基于融合处理的用户设备的失联风险预测方法、***和计算机设备
CN117710066A (zh) * 2024-02-05 2024-03-15 厦门傲凡科技股份有限公司 金融客户推荐方法及***
CN117710066B (zh) * 2024-02-05 2024-05-10 厦门傲凡科技股份有限公司 金融客户推荐方法及***

Also Published As

Publication number Publication date
CN110599336B (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN110599336B (zh) 一种金融产品购买预测方法及***
CN109977151B (zh) 一种数据分析方法及***
Sun et al. Predicting credit card delinquencies: An application of deep neural networks
Ala’raj et al. Modelling customers credit card behaviour using bidirectional LSTM neural networks
Bae Predicting financial distress of the South Korean manufacturing industries
Kao et al. A Bayesian latent variable model with classification and regression tree approach for behavior and credit scoring
CN108475393A (zh) 通过合成特征和梯度提升决策树进行预测的***和方法
US20210303970A1 (en) Processing data using multiple neural networks
Ala’raj et al. A deep learning model for behavioural credit scoring in banks
CN109300039A (zh) 基于人工智能和大数据进行智能产品推荐的方法及***
US20050125434A1 (en) System and method for scalable cost-sensitive learning
Smeureanu et al. Customer segmentation in private banking sector using machine learning techniques
Medeiros Assef et al. Ten-year evolution on credit risk research: a Systematic Literature Review approach and discussion
Mohbey et al. Credit card fraud prediction using XGBoost: an ensemble learning approach
Abdullah et al. Forecasting nonperforming loans using machine learning
Alam et al. Loan default risk prediction using knowledge graph
Kalaycı et al. Optimal model description of finance and human factor indices
Nikitin et al. Evolutionary ensemble approach for behavioral credit scoring
Azeem et al. An analysis of applications and possibilities of neural networks (fuzzy, logic and genetic algorithm) in finance and accounting
Dzelihodzic et al. Data Mining Techniques for Credit Risk Assessment Task
Sharma et al. Hybrid model for detection of frauds in credit cards
Bamunuarachchi et al. Developing of NPA predictive Model for Pawning Advances in Sri Lankan Banking Industry
Khedr et al. A New Prediction Approach for Preventing Default Customers from Applying Personal Loans Using Machine Learning
Binh et al. Predicting Loan Repayment Using a Hybrid of Genetic Algorithms, Logistic Regression, and Artificial Neural Networks
Sripriya et al. Predictive model to compute eligibility test for loans

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant