CN113392149A - 一种基于多源异构数据融合的贷款逾期预测方法 - Google Patents

Abstract

本发明公开了一种基于多源异构数据融合的贷款逾期预测方法，利用大数据量学习大量用户的App使用记录、App安装卸载列表、用户App内点击行为，通过神经网络建模融合，来提高对未来用户逾期贷款情况的预测能力，多个信息源的融合有助于提高表现。本发明用多个信息源训练，然后用单个信息源测试的结果相比于用单个信息源训练和测试的结果要好，表明模态生成的机制除了使模型表现更好外，还带来了额外的收获。

Description

一种基于多源异构数据融合的贷款逾期预测方法

技术领域

本发明属于互联网金融技术领域，具体涉及一种基于多源异构数据融合的贷款逾期预测方法。

背景技术

随着互联网金融的发展，用户的金融数据被广泛的收集，对用户进行精准金融画像构建对金融公司有着巨大的意义，用户画像是互联网金融公司进行风险防范、金融营销的基础。对于互联网金融公司，可以容易的采集到不同来源的用户数据，并且这些用户数据的数据结构多种多样；对于用户，让互联网金融公司更精确了解自己，便于互联网金融公司提供更好更方便的服务。如何有效对各种结构的数据建模和如何整合多源异构的数据进行用户贷款逾期预测是目前面临的巨大挑战。

国内外有许多利用多源异构数据，包括手机App数据等进行建模和用户逾期检测的工作，利用多源异构数据的方法一般可以概括为两类：一类是利用精细设计的特征工程方法，从多源异构数据中进行数据集合，提取出有效的特征；另一类是利用神经网络的方法，学***均均等错误率16.4％的性能，此外还使用了one-hot编码的方法进行用户表征，即将每个APP都作为一个维度，并将每个用户表示为一个基于APP的向量，如果安装了APP，则其维度的对应值将设置为1，否则，该值为0。对于给定的用户，如果所有APP都用于构建用户表示形式，则用户向量将非常长，达到十几万维度，在他们的工作中，认为并非所有的APP都可用于描述给定属性的用户，如果删除了不相关或多余的APP，则不会影响属性挖掘，因此他们采用信息增益的方法，筛选出一批重要App，只使用这些App进行用户表征。

对于利用神经网络学习表征的方法，文献[Zhao S,Luo Z,Jiang Z,etal.AppUsage2Vec:Modeling smartphone app usage for prediction[C]//2019IEEE35th International Conference on Data Engineering(ICDE).IEEE,2019:1322-1333.]提出了一个新颖的App使用情况预测框架，称为AppUsage2Vec，它通过考虑不同App的贡献，用户个性化特征和时间上下文来对应用程序使用记录进行建模，通过引入App注意力机制来衡量每个应用程序对目标应用程序的贡献，通过双塔DNN模块学习应用使用中的用户个性化特征。此外，文献[Zhang J,Bai B,Lin Y,et al.General-Purpose User Embeddingsbased on Mobile App Usage[J].arXiv preprint arXiv:2005.13303,2020.]也提出一个用户表征框架，他们使用用户App使用记录作为序列输入，为每一个用户训练出一个通用的用户表征向量，利用这些表征向量进行一些下游任务的建模，比如下周安装什么App、相似受众群体扩展、Feed流推荐，他们在腾讯上部署了该模型，并且来自下游应用程序多个域的在线/离线实验都证明了输出用户表征的有效性。

发明内容

鉴于上述，本发明提供了一种基于多源异构数据融合的贷款逾期预测方法，能够在当前时间点根据用户的信息预测用户未来是否会逾期，帮助金融贷款公司进行更好地风险管理。

一种基于多源异构数据融合的贷款逾期预测方法，包括如下步骤：

(1)收集大量用户的多源异构数据，包括人口统计数据、金融相关画像数据、手机应用数据；

(2)针对不同结构的多源异构数据，采用不同的特征抽取机制用以提取数据特征；

(3)构建一个多源特征融合生成网络，以上述提取得到的特征作为输入，以用户真实的贷款逾期状况作为标签，对该网络进行训练得到预测模型，用以对用户贷款逾期状况进行预测。

进一步地，所述步骤(1)中的人口统计数据包括年龄、性别、教育程度、收入、婚姻状况、子女数量等，金融相关画像数据包括是否逾期还贷、贷款数量、贷款还款期数等，手机应用数据包括App安装列表、App安装卸载行为、App使用记录、金融类App内部使用日志。

进一步地，所述步骤(2)中对于人口统计数据和金融相关画像数据，该类数据的特点是每一个用户样本数据都可以直接表示为一个定长的数值向量，因此在特征提取过程中采用一个全连接网络层抽取特征，得到与用户属性相关且固定维长度的特征向量，其中对于类别型特征如教育程度、性别，可对其进行独热编码，对于连续类型特征如年龄、收入，可采用分箱法或者归一化。

进一步地，所述步骤(2)中对于手机应用数据中的App安装列表以及App安装卸载行为，这种集合类型数据的特点是每一个用户样本数据表示的是多个App相关数据的集合，各App相关数据大小不定且相互间无特定关系，因此在特征提取过程中采用一个交互网络进行序列级特征交互，对APP进行独热编码并利用信息熵进行筛选出对于目标预测重要的APP，得到与App相关且固定维长度的特征向量。

进一步地，所述步骤(2)中对于手机应用数据中的App使用记录以及金融类App内部使用日志，其包括了交互时间、交互页面、交互元素，该种时间序列类型数据的特点是由用户的一个个交互元素构成，每个交互元素跟一个时间戳(即交互时间)绑定，元素之间有先后时序关系，因此在特征提取过程中先将数据通过embedding后利用LSTM进行特征抽取后再将其通过Attention进行聚合，得到与App内部使用行为记录相关且固定维长度的特征向量，其中对于交互相关的信息可通过word2vec以词向量的形式进行表征。

进一步地，所述步骤(3)中的多源特征融合生成网络，其首先通过Attention将输入的特征聚合成一个View，然后再通过这个中间的View反过来生成3个View以应对数据源缺失情况，即在一开始先将缺失的数据源表示成一个默认的输入，在建立模型时引入一个额外的损失函数，通过该损失函数在模型训练过程中重建那些缺失的数据源表征。

进一步地，所述步骤(3)中网络进行训练的具体过程为：首先初始化网络参数，然后通过Adam算法对网络参数进行梯度更新，所采用的损失函数L为：

L＝L₁+L₂

其中：L₁为分类损失函数，L₂为重建损失函数。

进一步地，所述分类损失函数L₁的表达式如下：

L₁＝y′logy+(1-y′)log(1-y)

其中：y′为真值标签，y为通过网络预测得到的输出结果。

进一步地，所述重建损失函数L₂的表达式如下：

L₂＝(V₁-V₂)²

其中：V₁为重建前的View，V₂为重建后的View。

本发明利用大数据量学习大量用户的App使用记录、App安装卸载列表、用户App内点击行为，通过神经网络建模融合，来提高对未来用户逾期贷款情况的预测能力，多个信息源的融合有助于提高表现。本发明用多个信息源训练，然后用单个信息源测试的结果相比于用单个信息源训练和测试的结果要好，表明模态生成的机制除了使模型表现更好外，还带来了额外的收获。

附图说明

图1为本发明预测方法的整体模型示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

本发明基于多源异构数据对逾期贷款进行预测，主要利用的真实场景下数据来源有以下三类：

①用户画像属性，包括用户人口统计数据(年龄、教育状况、收入等)和金融相关画像数据(如是否逾期还贷、贷款数量、贷款还款期数等)，这些数据属于数值型特征数据，它们的特点是每一个用户样本都可以直接代表为一个定长的数值向量，表1展示了数值型向量的代表例子。

表1

②用户的手机应用内部行为数据，即用户下载互联网金融公司的手机应用后，跟手机应用具体如何交互的数据，具体的表现包括交互时间、交互页面、交互元素等。

③用户的手机应用相关的行为数据，包括用户的手机应用安装列表、手机应用安装卸载行为和手机应用活跃列表。

其中②和③都是集合、时间序列类型特征，它们的特点是每个样本都可以代表为若干个物品的集合，且若干个物品是不定大小的。对于集合类型特征，若干个物品没有特定关系；对于时间序列类型特征，若干个物品之间有时间先后联系，且有时候会有固定的时间戳绑定在每个物品上。比如手机应用安装列表就是一种集合类型的数据，用户的手机应用安装列表由若干个App组成，并且App之间没有固定关系。而用户手机使用日志就是一种时间序列类型数据，用户手机使用日志由用户的一个个交互元素构成，每个交互元素跟一个时间绑定(用户交互的时间)，元素之间有时序关系，表2展示了集合类型向量的代表例子，表3展示了时序类型数据的具体例子。

表2

	手机应用安装列表
		用户1	微信、QQ、淘宝等40个App…
用户2	微信、京东、陌陌等37个App…
		…	…

表3

上述这些数据都在一定程度上，反应了用户的用户逾期贷款画像，我们要做的工作是利用数据②和③来对①中的某些东西建模，比如建立模型预测用户还贷概率，或者可以做一个多任务学习的***，来对①中的各种需要未知的需要预测的东西建模。在一些情况下，①中的有些数据是已知的，比如用户的年龄和性别等人口统计属性，这时可以利用这些已知属性对用户的另外一些金融属性做预测，比如用户逾期还款概率。

对于所采取的技术思路，我们首先针对不同结构的数据，制定出不同的处理策略，具体来说，对于多源异构的数据，我们有两种处理方法，一是人工抽取特征的方法，二是神经网络的方法。第一种用一些人工抽取特征，将异构数据源进行特征提取，对应提取出来的特征再利用一些机器学习模型进行建模。对于数值类型特征，比如用户属性，直接的方法可以将原始的未经过任何处理的数值向量直接作为特征，然而由于特征范围等原因，效果往往不会很好，因此，我们可以采用一些特征提取技巧，比如对于类别型特征如教育状态、性别，我们将其进行独热编码，对于连续类型特征如年龄，收入，我们进行分箱法或者归一化。对于集合类型的特征，我们可以考虑直接对集合中出现的物品进行独热编码，考虑到集合中的物品总数过多，可以先利用信息熵进行筛选出对于目标的重要物品。对于时序数据，可以利用时间聚合的方法来特征提取，比如过去一个月某个物品出现次数等。

除了上述利用人工特征提取的方法，对于集合、时序类数据，我们还可以用神经网络的方法，具体来说，我们对每个物品训练一个代表的向量，用这些向量来做聚合表征用户，从而得到最终的特征。首先可以考虑利用word2vec来进行物品表征的训练，对于集合数据，我们可以将word2vec的共现窗口放大。除了word2vec的训练词向量的方法之外，我们还可以考虑用一些上下文相关的词向量训练方法比如Elmo或bert，来进行物品表征的训练，在训练完物品表征之后，我们要利用物品表征来表征用户，最简单的方法是直接利用物品表征向量取平均，更进一步到达更好效果的方法是利用注意力机制将物品的表征加权相加得到用户表征。

特征抽取之后，我们还考虑如何融合多个异构数据源来进行更好的模型表征，在特征层上，对于手动提取特征的方法，我们的融合策略有限，比较简单的尝试是直接将多源数据提取出来的各个向量拼接，进一步地可以尝试将不同特征进行特征交叉得到更多维度地特征。而对于基于神经网络的方法，由于神经网络的可拓展性，我们在特征层上的融合有许多可以操作的空间，比如利用注意力机制将各个数据源根据重要程度不同进行聚合，甚至在对各自数据源进行表征的适合，将不同的数据源进行深层交互。

除了多源数据融合的操作，我们还考虑了在现实场景下，可能存在某一些来源的数据缺失，比如某些样本有用户属性、手机应用数据，但是却缺乏用户内部使用日志，而有些样本用着所有的来源数据。我们将探索如何在这种场景下进行数据建模，一种简单的处理方法是将那些缺失数据源的数据样本丢弃，然而这种处理方法存在多个方面的缺陷，在一方面，用于训练的样本将会大大减少，从而容易造成模型的过拟合；在另一方面，模型能够覆盖的测试样本比真实的测试样本少，毕竟将缺失来源的数据丢弃了。因此，更加先进的方法是考虑将缺失的数据源生成出来，之后再通过生成的数据来源进行建模；生成类的方法也存在一定的局限性，一是由于缺失的数据源可能结构复杂，比如由多个用户行为构成的时序数据，将用户的行为预测并且准确预测到行为发生的时间是一件难以完成的事，而第一步的生成造成的误差会直接累计到第二步用户建模。针对以上的问题，我们目前考虑的方法是不将整个数据源生成，只生成中间数据源的表征向量，并且不采取先生成后建模的方法，而是一开始先将缺失源表示成一个默认的输入，然后在用户建模的过程中，引入一个额外的损失，通过这个额外的损失，我们在训练阶段，重建那些缺失的数据源表征，从而避免引入累计误差。

如图1所示，本实施方式基于多源异构数据的贷款逾期检测框架，具体步骤如下：

(1)我们首先收集多源异构数据，包括用户属性、用户手机App安装列表、手机App安装卸载行为和贷款App的点击序列。

(2)对于用户属性，其特征的形式为一个固定长度的向量，因此将其通过一个全连接网络层抽取特征。得到用户属性相关固定维长度向量。

(3)对于用户手机App安装列表和手机App安装卸载行为，其为一个不定长的集合数据和时序数据，为了捕捉其之间的关系，我们将其通过一个交互网络进行序列级特征交互，得到App相关固定维长度向量。

(4)对于贷款App点击序列，其为一个不定长的时序数据，我们利用LSTM进行特征抽取后再将其利用Attention进行聚合，得到App-in相关固定维长度向量

(5)构建多源特征融合网络来融合抽取的特征。

得到以上3种不同来源数据的固定维长度向量后，将其通过一个生成与融合网络进行融合，具体的过程首先是通过Attention聚合成一个View，再通过这个中间的View反过来生成3个View应对可能的View缺失情况，最终聚合成输出层输出结果。

(6)训练阶段，利用收集的带标签用户数据进行模型参数更新。

训练过程中通过首先对整个网络的参数进行初始化，初始化之后，通过Adam算法进行梯度更新，采用的损失函数如下：

L＝L₁+L₂

其中：L₁为分类损失，L₂为重建损失，更加具体的，对于每一个样本：

L₁＝y′logy+(1-y′)log(1-y)

其中：y′为真正的样本标签，y为通过网络预测得到的输出结果。

L₂＝(V₁-V₂)²

其中：V₁为重建前的View，V₂为重建后的View。

以下我们通过AUC衡量效果，表4为本发明与其他积累预测方法的效果比较，从中可以看出本发明相对现有其他积累预测方法在预测准确方面有明显的提升。

表4

表中1R30+、2R30+、3R30+、4R30+分别表示第一期贷款逾期、第二期贷款逾期、第三期贷款逾期和第四期贷款逾期。

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明，熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (9)

1.一种基于多源异构数据融合的贷款逾期预测方法，包括如下步骤：

(1)收集大量用户的多源异构数据，包括人口统计数据、金融相关画像数据、手机应用数据；

(2)针对不同结构的多源异构数据，采用不同的特征抽取机制用以提取数据特征；

(3)构建一个多源特征融合生成网络，以上述提取得到的特征作为输入，以用户真实的贷款逾期状况作为标签，对该网络进行训练得到预测模型，用以对用户贷款逾期状况进行预测。

2.根据权利要求1所述的贷款逾期预测方法，其特征在于：所述步骤(1)中的人口统计数据包括年龄、性别、教育程度、收入、婚姻状况、子女数量等，金融相关画像数据包括是否逾期还贷、贷款数量、贷款还款期数等，手机应用数据包括App安装列表、App安装卸载行为、App使用记录、金融类App内部使用日志。

3.根据权利要求1所述的贷款逾期预测方法，其特征在于：所述步骤(2)中对于人口统计数据和金融相关画像数据，该类数据的特点是每一个用户样本数据都可以直接表示为一个定长的数值向量，因此在特征提取过程中采用一个全连接网络层抽取特征，得到与用户属性相关且固定维长度的特征向量，其中对于类别型特征如教育程度、性别，可对其进行独热编码，对于连续类型特征如年龄、收入，可采用分箱法或者归一化。

4.根据权利要求2所述的贷款逾期预测方法，其特征在于：所述步骤(2)中对于手机应用数据中的App安装列表以及App安装卸载行为，这种集合类型数据的特点是每一个用户样本数据表示的是多个App相关数据的集合，各App相关数据大小不定且相互间无特定关系，因此在特征提取过程中采用一个交互网络进行序列级特征交互，对APP进行独热编码并利用信息熵进行筛选出对于目标预测重要的APP，得到与App相关且固定维长度的特征向量。

5.根据权利要求2所述的贷款逾期预测方法，其特征在于：所述步骤(2)中对于手机应用数据中的App使用记录以及金融类App内部使用日志，其包括了交互时间、交互页面、交互元素，该种时间序列类型数据的特点是由用户的一个个交互元素构成，每个交互元素跟一个时间戳绑定，元素之间有先后时序关系，因此在特征提取过程中先将数据通过embedding后利用LSTM进行特征抽取后再将其通过Attention进行聚合，得到与App内部使用行为记录相关且固定维长度的特征向量，其中对于交互相关的信息可通过word2vec以词向量的形式进行表征。

6.根据权利要求1所述的贷款逾期预测方法，其特征在于：所述步骤(3)中的多源特征融合生成网络，其首先通过Attention将输入的特征聚合成一个View，然后再通过这个中间的View反过来生成3个View以应对数据源缺失情况，即在一开始先将缺失的数据源表示成一个默认的输入，在建立模型时引入一个额外的损失函数，通过该损失函数在模型训练过程中重建那些缺失的数据源表征。

7.根据权利要求6所述的贷款逾期预测方法，其特征在于：所述步骤(3)中网络进行训练的具体过程为：首先初始化网络参数，然后通过Adam算法对网络参数进行梯度更新，所采用的损失函数L如下：

L＝L₁+L₂

其中：L₁为分类损失函数，L₂为重建损失函数。

8.根据权利要求7所述的贷款逾期预测方法，其特征在于：所述分类损失函数L₁的表达式如下：

L₁＝y′logy+(1-y′)log(1-y)

其中：y′为真值标签，y为通过网络预测得到的输出结果。

9.根据权利要求7所述的贷款逾期预测方法，其特征在于：所述重建损失函数L₂的表达式如下：

L₂＝(V₁-V₂)²

其中：V₁为重建前的View，V₂为重建后的View。

Images