CN117853212B - 一种基于知识迁移和自监督学习的纵向联邦金融风控方法 - Google Patents

一种基于知识迁移和自监督学习的纵向联邦金融风控方法 Download PDF

Info

Publication number
CN117853212B
CN117853212B CN202410255763.4A CN202410255763A CN117853212B CN 117853212 B CN117853212 B CN 117853212B CN 202410255763 A CN202410255763 A CN 202410255763A CN 117853212 B CN117853212 B CN 117853212B
Authority
CN
China
Prior art keywords
model
training
longitudinal
local
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410255763.4A
Other languages
English (en)
Other versions
CN117853212A (zh
Inventor
李文国
杨佳熹
杨耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202410255763.4A priority Critical patent/CN117853212B/zh
Publication of CN117853212A publication Critical patent/CN117853212A/zh
Application granted granted Critical
Publication of CN117853212B publication Critical patent/CN117853212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0609—Buyer or seller confidence or verification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Technology Law (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于知识迁移和自监督学习的纵向联邦金融风控方法及装置，所述方法首先分别在金融机构和各互联网电商各自本地数据集上进行预训练，其中对有标签的金融机构，进行有监督学习，得到本地预训练模型表示层和推理层，对无标签的互联网电商，进行自监督学习，得到本地预训练模型表示层；然后在重叠数据集上建立纵向联邦风控模型，并利用预训练阶段的本地预训练模型，辅助纵向联邦模型训练，提升纵向联邦模型性能。本发明通过纵向联邦学习，在保护各方数据安全和数据隐私的前提下，实现了用户特征维度的扩展；通过知识迁移和自监督学习，实现了非重叠数据的利用，大大提高了纵向联邦金融风控模型的预测准确度。

Description

一种基于知识迁移和自监督学习的纵向联邦金融风控方法
技术领域
本发明涉及金融风控技术领域，具体涉及一种基于知识迁移和自监督学习的纵向联邦金融风控方法。
背景技术
随着信息革命的发展，海量的数据在不断地产生，然而由于隐私政策的保护，不同行业、部门之间存在数据壁垒，很多数据不能被轻易的获取，数据间相互隔离，形成了一个个数据孤岛，而仅凭各部门独立数据训练的机器学习模型，经常存在精度低和泛化能力弱等问题，主要原因在于各部门的数据量有限。联邦学习在满足数据隐私要求、数据安全保护和遵守政府法规的前提下，建立数据孤岛间沟通的桥梁，进行数据使用和机器学习建模，成为解决该类问题的一个有利方案。
纵向联邦是联邦学习中的一个重要分支，适用于参与者的数据特征重叠较少，而样本重叠较多的场景，比如某个地区的银行和电商的共同客户数据。在金融风控场景中，纵向联邦学习有着巨大的潜力，因为金融机构拥有借贷记录，各互联网电商拥有消费信息，在保护数据隐私的前提下，通过纵向联邦学习，可以提高对客户信用风险的评估和预测能力，降低坏账率，提高业务效率。
传统的纵向联邦学习针对的是用户样本重叠较多的场景，然而现实场景中经常随着参与建模的机构的增多，重叠的用户样本越来越少，仅使用传统的纵向联邦技术对重叠样本数据训练，得到的模型预测精度低，无法满足实际需求，且浪费了大量的非重叠样本数据。
现有的联邦技术主要通过自监督学习，利用非重叠样本的特征数据增强每个参与方模型表示层的表示能力，如专利号为CN202210924931.5的专利《基于自监督学习的纵向联邦学习方法、装置和存储介质》，然而这类方法浪费了有标签方的非重叠样本的重要标签信息。
发明内容
本发明的目的在于弥补当前技术的不足与缺点，提供一种基于知识迁移和自监督学习的纵向联邦金融风控方法。本发明的目的通过下述技术方案实现，具体包括以下步骤：
（1）在有标签的金融机构本地数据集上，进行有监督预训练，通过最小化损失函数得到本地预训练模型权重；
（2）在无标签的各互联网电商本地数据集上，分别进行自监督预训练，得到各自本地预训练模型表示层权重；
（3）在重叠的数据集上进行纵向联邦建模得到纵向联邦模型，并利用所述步骤（1）得到的本地预训练模型权重和步骤（2）中得到的各自本地预训练模型表示层权重辅助纵向联邦模型训练，再通过最小化目标损失函数得到训练完成的纵向联邦模型；
（4）利用所述步骤（3）训练完成的纵向联邦模型完成金融风控预测；所述纵向联邦模型也称为金融风控模型。
进一步地，所述步骤（1）中的本地预训练模型包括本地预训练模型表示层和本地预训练模型推理层。
进一步地，所述有标签的金融机构只有一个，即为有标签方，那么所述步骤（1）中损失函数的数学表达式为：/>；其中，A为有标签方，/>为本地预训练模型表示层，/>为本地预训练模型表示层权重，/>为本地预训练模型推理层，与纵向联邦模型有标签方推理层相同，/>为本地预训练模型推理层权重，/>为误差函数。
进一步地，所述步骤（2）具体为：所述无标签的各互联网电商能够有若干个，即无标签的各方，对无标签的各方分别在各自本地数据集上进行自监督学习，并采用对比学习的方法计算原始数据和增强后的数据在经过相同本地预训练模型后的相似度，通过最小化对比损失函数分别训练得到各自本地预训练模型表示层权重。
进一步地，若无标签的各方分别为B和C时，那么所述对比损失函数和/>的数学表达式为：
；
；
其中，和/>为无标签方B和无标签方C各自本地预训练模型表示层，与纵向联邦模型无标签方各自表示层相同，/>和/>为各自本地预训练模型表示层权重，/>和/>分别为参与方B和参与方C增强后的数据，/>为本地预训练模型映射层，/>为本地预训练模型映射层权重，/>为对比误差函数。
进一步地，所述步骤（3）具体为，对无标签的各互联网电商，将其本地预训练模型表示层权重用于其对应的纵向联邦子模型权重的初始化，然后在重叠数据集上进行训练，并将各自训练的结果，即纵向联邦模型无标签各方表示层计算得到的结果，发送给有标签的金融机构；有标签的金融机构利用纵向联邦模型有标签方表示层在重叠样本数据上训练，将其训练结果与接收到的纵向联邦模型无标签各方表示层计算的结果合并，然后进行纵向联邦模型推理层训练，计算纵向联邦损失函数；在纵向联邦模型训练的同时，对有标签的金融机构，通过引入约束函数到目标损失函数中，从而将其本地预训练模型知识迁移到其对应的纵向联邦子模型中，最后通过最小化目标损失函数，得到训练完成的纵向联邦模型；所述纵向联邦子模型是指在纵向联邦学习过程中各参与方使用的局部模型，所有局部模型包括纵向联邦模型有标签方表示层，纵向联邦模型无标签各方表示层，和纵向联邦模型有标签方推理层，所有局部模型的组合即为纵向联邦模型。
进一步地，所述有标签的金融机构利用纵向联邦模型有标签方表示层在重叠样本数据上训练，将其训练结果与接收到的纵向联邦模型无标签各方表示层计算的结果合并，其结果合并的数学表达式为：/>；其中，A为有标签方，B和C为无标签方，/>，/>和/>为各参与方重叠样本数据，为纵向联邦模型有标签方表示层计算得到的结果，/>和/>为纵向联邦模型无标签各方表示层计算得到的结果，/>为纵向联邦模型有标签方表示层权重，/>和/>分别为纵向联邦模型无标签方B和无标签方C表示层权重，/>为纵向联邦模型推理层输入数据，/>表示拼接各参与方中间计算结果。
具体地，所述纵向联邦损失函数的数学表达式为：/>，
其中，为纵向联邦模型推理层权重，/>为联邦误差函数；
所述约束函数的数学表达式为：；其中，/>为约束误差函数，/>表示部分权重，/>经过/>后与/>权重大小一致；
所述约束函数的数学表达式为：；其中，/>为调节系数，调节约束函数所占比重，通过最小化目标损失函数，完成纵向联邦模型训练。
本发明的第二个方面：一种基于知识迁移和自监督学习的纵向联邦金融风控装置，该装置包括以下模块：
有监督预训练模块：在有标签的金融机构本地数据集上，进行有监督预训练，通过最小化损失函数得到本地预训练模型权重；
自监督预训练模块：在无标签的各互联网电商本地数据集上，分别进行自监督预训练，得到各自本地预训练模型表示层权重；
纵向联邦模型训练模块：在重叠的数据集上进行纵向联邦建模得到纵向联邦模型，并利用所述有监督预训练模块得到的本地预训练模型权重和自监督预训练模块中得到的各自本地预训练模型表示层权重，辅助纵向联邦模型训练，再通过最小化目标损失函数得到训练完成的纵向联邦模型；
模型预测模块：利用所述纵向联邦模型训练模块训练完成的纵向联邦模型完成金融风控预测；所述纵向联邦模型也称为金融风控模型。
本发明的第三个方面：一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述的基于知识迁移和自监督学习的纵向联邦金融风控方法。
本发明与现有技术相比具有以下有益效果：
本发明技术方案所述步骤一和步骤二均在各自本地执行，因此不会增加额外的纵向联邦通讯成本，也不会增加隐私泄露的风险。本发明根据有标签方和无标签方数据差异，采取了不同的技术方案，通过知识迁移技术，将从有标签方非重叠用户特征及标签数据中提取到的知识，迁移到了联邦子模型中；通过自监督方法，使用无标签方非重叠用户特征数据增强模型表示层的表示能力。通过这两种技术方案，本发明实现了对非重叠数据的充分利用，大大提升了少重叠样本场景纵向联邦金融风控模型的预测准确度。
附图说明
图1为本发明的总流程图；
图2为本发明的有标签方A有监督预训练的流程图；
图3为本发明的无标签方B和无标签方C自监督预训练的流程图；
图4为本发明的传统纵向联邦学习的流程图。
具体实施方式
下面结合附图和具体实例对本发明作进一步详细说明，但本发明的实施方式不限于此。
假设三方场景，实际可为任意多方，所述三方为一家金融机构和两家互联网电商，将这三家机构分别记为A、B、C，金融机构A拥有客户借贷记录等特征数据，记为，互联网电商B和C拥有用户在各自平台的消费情况等特征数据，分别记为/>和/>。金融机构A拥有用户是否还款标签数据，记为Y，称A方为有标签方，互联网电商B和C没有标签数据，称之为无标签方。各参与方重叠特征数据分别记为/>，/>和/>，重叠标签记为/>。
如图1所示的发明总体流程图，本发明的总体流程依此为：本地预训练和纵向联邦学习，其中所述本地预训练包括有标签方A有监督预训练和无标签方B和无标签方C自监督预训练。
一、有监督预训练
在本地预训练阶段，如图2中内容所示，对有标签方A，在本地数据集上，构建与其联邦子模型相似的本地模型，包括表示层和推理层，进行有监督学习，通过最小化损失函数/>，训练得到本地模型。所述损失函数为：/>；其中，为本地预训练模型表示层，与纵向联邦模型有标签方表示层相同；/>为本地预训练模型表示层权重权重，/>为本地预训练模型推理层，与纵向联邦模型有标签方推理层相同；为本地预训练模型推理层权重，/>为误差函数。
二、自监督预训练
在本地预训练阶段，如图3中内容所示，对无标签方B和C，分别在各自本地数据集和/>上，构建与其联邦子模型相同表示层的本地模型，进行自监督学习，采用对比学习技术，计算原始数据和增强后的数据在经过同一模型后的相似度，通过最小化对比损失函数和/>，分别训练得到各自模型表示层，所述对比损失函数如下：
；
；
其中，和/>为无标签方B和无标签方C各自本地预训练模型表示层，与纵向联邦模型无标签方各自表示层相同，/>和/>为各自本地预训练模型表示层权重，/>和/>分别为参与方B和参与方C增强后的数据，/>为本地预训练模型映射层，/>为本地预训练模型映射层权重，/>为对比误差函数。
三、纵向联邦学习
本发明基于所述本地预训练阶段得到的本地模型，在下游纵向联邦训练阶段，改善纵向联邦模型。
纵向联邦学习流程如图4，无标签方B和C在重叠数据上进行训练，将各自表示层计算得到的结果和/>发送给有标签方A，其中/>和/>分别为纵向联邦模型无标签方B和C表示层权重，有标签方A将同一用户样本自身表示层计算结果，与接收到的无标签方计算结果合并为：；其中，B和C为无标签方，/>，和/>为各参与方重叠样本数据，/>为纵向联邦模型有标签方表示层计算得到的结果，/>和/>为纵向联邦模型无标签各方表示层计算得到的结果，/>为纵向联邦模型有标签方表示层权重，/>和/>分别为纵向联邦模型无标签方B和无标签方C表示层权重，/>为纵向联邦模型推理层输入数据，/>表示拼接各参与方中间计算结果。
最后，有标签方进行纵向联邦模型推理层训练，通过最小化纵向联邦损失函数，得到训练完成的纵向联邦模型，所述纵向联邦损失函数为/>，其中，/>为纵向联邦模型推理层权重，/>为纵向联邦误差函数。
应用预训练模型辅助纵向联邦模型训练，具体地，对无标签方B和无标签方C，应用自监督预训练模型的表示层对其联邦子模型表示层进行初始化，然后在重叠数据上进行微调训练；对有标签方A，由于其本地数据集数据量远大于其重叠数据部分，且两者拥有高度相关性，即重叠数据集为本地数据集子集，所以采用知识迁移技术，迁移其本地模型中的知识到其联邦子模型中，具体通过引入约束函数/>到目标损失函数中，约束联邦子模型；所述纵向联邦子模型是指在纵向联邦学习过程中各参与方使用的局部模型，所有局部模型的组合即为纵向联邦模型。所述约束函数为，其中，/>为约束误差函数，/>表示部分权重，/>经过/>后与/>权重大小一致；所述目标损失函数为/>，其中，为调节系数，调节约束函数所占比重。通过最小化目标损失函数，完成纵向联邦模型训练。
此外，本发明又提供了一种基于知识迁移和自监督学习的纵向联邦金融风控装置，该装置包括以下模块：
有监督预训练模块：在有标签的金融机构本地数据集上，进行有监督预训练，通过最小化损失函数得到本地预训练模型权重；
自监督预训练模块：在无标签的各互联网电商本地数据集上，分别进行自监督预训练，得到各自本地预训练模型表示层权重；
纵向联邦模型训练模块：在重叠的数据集上进行纵向联邦建模得到纵向联邦模型，并利用所述有监督预训练模块得到的本地预训练模型权重和自监督预训练模块中得到的各自本地预训练模型表示层权重，辅助纵向联邦模型训练，再通过最小化目标损失函数得到训练完成的纵向联邦模型；
模型预测模块：利用所述纵向联邦模型训练模块训练完成的纵向联邦模型完成金融风控预测；所述纵向联邦模型也称为金融风控模型。
本发明还提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述的基于知识迁移和自监督学习的纵向联邦金融风控方法。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。

Claims (6)

1.一种基于知识迁移和自监督学习的纵向联邦金融风控方法，其特征在于，包括下述步骤：
(1)在有标签的金融机构本地数据集上，进行有监督预训练，通过最小化损失函数得到本地预训练模型权重；所述本地预训练模型包括本地预训练模型表示层和本地预训练模型推理层；所述有标签的金融机构只有一个，即为有标签方，那么所述步骤(1)中损失函数LA的数学表达式为：
LA＝lossA(f(ΘI；hA(ΘA；XA))，Y)；
其中，A为有标签方，hA(·)为本地预训练模型表示层，与纵向联邦模型有标签方表示层相同；ΘA为本地预训练模型表示层权重；f(·)为本地预训练模型推理层，与纵向联邦模型有标签方推理层相同，ΘI为本地预训练模型推理层权重，lossA(·)为误差函数；
(2)在无标签的各互联网电商本地数据集上，分别进行自监督预训练，得到各自本地预训练模型表示层权重；所述无标签的各互联网电商能够有若干个，即无标签的各方，对无标签的各方分别在各自本地数据集上进行自监督学习，并采用对比学习的方法计算原始数据和增强后的数据在经过相同本地预训练模型后的相似度，通过最小化对比损失函数分别训练得到各自本地预训练模型表示层权重；若无标签的各方分别为B和C时，那么所述对比损失函数LB和LC的数学表达式为：
其中，hB(·)和hC(·)为无标签方B和无标签方C各自本地预训练模型表示层，与纵向联邦模型无标签方各自表示层相同；ΘB和ΘC为各自本地预训练模型表示层权重，和/>分别为参与方B和参与方C增强后的数据，g(·)为本地预训练模型映射层，Θg为本地预训练模型映射层权重，losscont(·)为对比误差函数；
(3)在重叠的数据集上进行纵向联邦建模得到纵向联邦模型，并利用所述步骤(1)得到的本地预训练模型权重和步骤(2)中得到的各自本地预训练模型表示层权重辅助纵向联邦模型训练，再通过最小化目标损失函数得到训练完成的纵向联邦模型；
(4)利用所述步骤(3)训练完成的纵向联邦模型完成金融风控预测；所述纵向联邦模型也称为金融风控模型。
2.根据权利要求1所述的基于知识迁移和自监督学习的纵向联邦金融风控方法，其特征在于，所述步骤(3)具体为，对无标签的各互联网电商，将其本地预训练模型表示层权重用于其对应的纵向联邦子模型权重的初始化，然后在重叠数据集上进行训练，并将各自训练的结果，即纵向联邦模型无标签各方表示层计算得到的结果，发送给有标签的金融机构；有标签的金融机构利用纵向联邦模型有标签方表示层在重叠样本数据上训练，将其训练结果与接收到的纵向联邦模型无标签各方表示层计算的结果合并，然后进行纵向联邦模型推理层训练，计算纵向联邦损失函数；在纵向联邦模型训练的同时，对有标签的金融机构，通过引入约束函数到目标损失函数中，从而将其本地预训练模型知识迁移到其对应的纵向联邦子模型中，最后通过最小化目标损失函数，得到训练完成的纵向联邦模型；所述纵向联邦子模型是指在纵向联邦学习过程中各参与方使用的局部模型，所有局部模型包括纵向联邦模型有标签方表示层，纵向联邦模型无标签各方表示层，和纵向联邦模型有标签方推理层，所有局部模型的组合即为纵向联邦模型。
3.根据权利要求2所述的基于知识迁移和自监督学习的纵向联邦金融风控方法，其特征在于，所述有标签的金融机构利用纵向联邦模型有标签方表示层在重叠样本数据上训练，将其训练结果与接收到的纵向联邦模型无标签各方表示层计算的结果合并，其结果合并H的数学表达式为：
H＝concat(hA(θA；XA，al)，hB(θB；XB，al)，hC(θC；XC，al))；
其中，A为有标签方，B和C为无标签方，XA，al，XB，al和XC，al为各参与方重叠样本数据，hA(θA；XA，al)为纵向联邦模型有标签方表示层计算得到的结果，hB(θB；XB，al)和hC(θC；XC，al)为纵向联邦模型无标签各方表示层计算得到的结果，θA为纵向联邦模型有标签方表示层权重，θB和θC分别为纵向联邦模型无标签方B和无标签方C表示层权重，H为纵向联邦模型推理层输入数据，concat(·)表示拼接各参与方中间计算结果。
4.根据权利要求2所述的基于知识迁移和自监督学习的纵向联邦金融风控方法，其特征在于，所述纵向联邦损失函数Lvfl的数学表达式为：
Lvfl＝lossvfl(f(θI；H)，Yal)，
其中，θI为纵向联邦模型推理层权重，lossvfl(·)为纵向联邦误差函数；
所述约束函数的数学表达式为：
Lcons＝losscons(θA-ΘA，sub(θI)-ΘI)，
其中，losscons(·)为约束误差函数，sub(·)表示部分权重，θI经过sub(·)后与ΘI权重大小一致；
所述目标损失函数的数学表达式为：
Lobj＝Lvfl+βLcons，
其中，β为调节系数，调节约束函数所占比重，通过最小化目标损失函数，完成纵向联邦模型训练。
5.一种基于知识迁移和自监督学习的纵向联邦金融风控装置，其特征在于，该装置包括以下模块：
有监督预训练模块：在有标签的金融机构本地数据集上，进行有监督预训练，通过最小化损失函数得到本地预训练模型权重；所述本地预训练模型包括本地预训练模型表示层和本地预训练模型推理层；所述有标签的金融机构只有一个，即为有标签方，那么所述步骤(1)中损失函数LA的数学表达式为：
LA＝lossA(f(ΘI；hA(ΘA；XA))，Y)；
其中，A为有标签方，hA(·)为本地预训练模型表示层，与纵向联邦模型有标签方表示层相同；ΘA为本地预训练模型表示层权重；f(·)为本地预训练模型推理层，与纵向联邦模型有标签方推理层相同，ΘI为本地预训练模型推理层权重，lossA(·)为误差函数；
自监督预训练模块：在无标签的各互联网电商本地数据集上，分别进行自监督预训练，得到各自本地预训练模型表示层权重；所述无标签的各互联网电商能够有若干个，即无标签的各方，对无标签的各方分别在各自本地数据集上进行自监督学习，并采用对比学习的方法计算原始数据和增强后的数据在经过相同本地预训练模型后的相似度，通过最小化对比损失函数分别训练得到各自本地预训练模型表示层权重；若无标签的各方分别为B和C时，那么所述对比损失函数LB和LC的数学表达式为：
其中，hB(·)和hC(·)为无标签方B和无标签方C各自本地预训练模型表示层，与纵向联邦模型无标签方各自表示层相同；ΘB和ΘC为各自本地预训练模型表示层权重，和/>分别为参与方B和参与方C增强后的数据，g(·)为本地预训练模型映射层，Θg为本地预训练模型映射层权重，losscont(·)为对比误差函数；
纵向联邦模型训练模块：在重叠的数据集上进行纵向联邦建模得到纵向联邦模型，并利用所述有监督预训练模块得到的本地预训练模型权重和自监督预训练模块中得到的各自本地预训练模型表示层权重，辅助纵向联邦模型训练，再通过最小化目标损失函数得到训练完成的纵向联邦模型；
模型预测模块：利用所述纵向联邦模型训练模块训练完成的纵向联邦模型完成金融风控预测；所述纵向联邦模型也称为金融风控模型。
6.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4任一项所述的基于知识迁移和自监督学习的纵向联邦金融风控方法。
CN202410255763.4A 2024-03-06 2024-03-06 一种基于知识迁移和自监督学习的纵向联邦金融风控方法 Active CN117853212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410255763.4A CN117853212B (zh) 2024-03-06 2024-03-06 一种基于知识迁移和自监督学习的纵向联邦金融风控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410255763.4A CN117853212B (zh) 2024-03-06 2024-03-06 一种基于知识迁移和自监督学习的纵向联邦金融风控方法

Publications (2)

Publication Number Publication Date
CN117853212A CN117853212A (zh) 2024-04-09
CN117853212B true CN117853212B (zh) 2024-06-18

Family

ID=90546772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410255763.4A Active CN117853212B (zh) 2024-03-06 2024-03-06 一种基于知识迁移和自监督学习的纵向联邦金融风控方法

Country Status (1)

Country Link
CN (1) CN117853212B (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633805B (zh) * 2019-09-26 2024-04-26 深圳前海微众银行股份有限公司 纵向联邦学习***优化方法、装置、设备及可读存储介质
CN111598186B (zh) * 2020-06-05 2021-07-16 腾讯科技（深圳）有限公司 基于纵向联邦学习的决策模型训练方法、预测方法及装置
CN113537633B (zh) * 2021-08-09 2023-04-18 中国电信股份有限公司 基于纵向联邦学习的预测方法、装置、设备、介质和***
CN113673700A (zh) * 2021-08-25 2021-11-19 深圳前海微众银行股份有限公司 纵向联邦预测优化方法、设备、介质及计算机程序产品
CN114154650A (zh) * 2021-12-10 2022-03-08 深圳前海微众银行股份有限公司 信息处理方法、装置、设备、存储介质及程序产品
CN114547658B (zh) * 2022-03-02 2024-06-04 深圳前海微众银行股份有限公司 数据处理方法、装置、设备及计算机可读存储介质
CN115438770A (zh) * 2022-08-02 2022-12-06 北京邮电大学 基于自监督学习的纵向联邦学习方法、装置和存储介质
CN116823417A (zh) * 2023-06-27 2023-09-29 山东大学 一种基于联邦学习的区块链供应链金融风险控制方法、***、存储介质及电子终端
CN117648994A (zh) * 2023-11-27 2024-03-05 北京理工大学 一种基于无监督学习的高效异构纵向联邦学习方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Survey on Federated Learning Technology;Xianghan Zheng et al;《Proceedings of the 2023 8th International Conference on Mathematics and Artificial Intelligence》;20230430;全文 *
面向数据异构的联邦学习的性能优化研究;刘天;《中国博士学位论文全文数据库 信息科技辑》;20221215;全文 *

Also Published As

Publication number Publication date
CN117853212A (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
Al-Mushayt Automating E-government services with artificial intelligence
Zhang et al. Interactive attention transfer network for cross-domain sentiment classification
Jiang et al. Image inpainting based on generative adversarial networks
Chang et al. A hybrid financial performance evaluation model for wealth management banks following the global financial crisis
CN111080338B (zh) 用户数据的处理方法、装置、电子设备及存储介质
CN112418520B (zh) 一种基于联邦学习的***交易风险预测方法
Butler What's Next in the Digital Transformation of Financial Industry?
Zhang Investment risk model based on intelligent fuzzy neural network and VaR
CN114677200A (zh) 基于多方高维数据纵向联邦学习的商业信息推荐方法及装置
Ebiaredoh-Mienye et al. Artificial neural network technique for improving prediction of credit card default: A stacked sparse autoencoder approach
Nayak et al. An adaptive second order neural network with genetic-algorithm-based training (ASONN-GA) to forecast the closing prices of the stock market
CN114612660A (zh) 一种基于多特征融合点云分割的三维建模方法
Su et al. Multi-factor RFG-LSTM algorithm for stock sequence predicting
Qi 18 Financial applications of artificial neural networks
Daihong et al. Facial expression recognition based on attention mechanism
CN116524307A (zh) 一种基于扩散模型的自监督预训练方法
Farahani et al. The impact of Fintech and artificial intelligence on COVID 19 and sustainable development goals
Li et al. Evolving deep gated recurrent unit using improved marine predator algorithm for profit prediction based on financial accounting information system
Gourrier Banking the black community: An analysis of banking among Baltimore’s predominately black communities
CN114626454A (zh) 一种融合自监督学习和注意力机制的视觉情感识别方法
CN111126155A (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN117853212B (zh) 一种基于知识迁移和自监督学习的纵向联邦金融风控方法
CN113742494A (zh) 一种基于标签图转化的领域文本相似度计算方法及***
Qasem et al. Extreme learning machine for credit risk analysis
Zhang et al. An efficient change detection method for disaster-affected buildings based on a lightweight residual block in high-resolution remote sensing images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant