CN113377625B - 针对多方联合业务预测进行数据监控的方法及装置 - Google Patents
针对多方联合业务预测进行数据监控的方法及装置 Download PDFInfo
- Publication number
- CN113377625B CN113377625B CN202110830690.3A CN202110830690A CN113377625B CN 113377625 B CN113377625 B CN 113377625B CN 202110830690 A CN202110830690 A CN 202110830690A CN 113377625 B CN113377625 B CN 113377625B
- Authority
- CN
- China
- Prior art keywords
- data
- prediction
- service
- statistical
- predicted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Bioethics (AREA)
- Game Theory and Decision Science (AREA)
- Neurology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本说明书实施例提供了一种针对多方联合业务预测进行数据监控的方法及装置,通过监控设备和多个业务方设备对利用多方安全计算MPC的联合业务预测进行数据监控。任意一个业务方设备首先获取自身的包含隐私数据的待预测数据,基于多个业务方设备中的业务预测模型,通过多个业务方设备之间利用MPC进行的数据交互,对待预测数据进行业务预测,使得该业务方设备得到针对待预测数据的预测结果,然后将待预测数据和对应的预测结果添加至待统计数据集。当预设的统计条件满足时,该业务方设备对待统计数据集中的未统计数据进行统计,得到不包含隐私数据的统计特征,并将该统计特征发送至监控设备,监控设备对多个业务方设备发送的统计特征进行联合处理。
Description
技术领域
本说明书一个或多个实施例涉及数据处理技术领域,尤其涉及一种针对多方联合业务预测进行数据监控的方法及装置。
背景技术
随着人工智能技术的发展,神经网络已逐渐应用于风险评估、语音识别、人脸识别和自然语言处理等领域。不同应用场景下的神经网络结构已经相对固定,为了实现更好的模型性能,需要更多的训练数据。在医疗、金融等领域,不同的企业或机构拥有不同的业务数据,将这些业务数据进行联合训练,可以极大地提升模型精度。
在利用联合训练的模型进行在线预测时,为了保证预测结果的正确性和模型运行的正常,模型的输入输出数据需要由监控设备进行实时的监控与显示,并存档用于后续问题跟踪与回溯。然而,不同企业或机构拥有的业务数据通常包含大量的隐私数据,其在线预测时的输入输出数据被严格控制,不得出域。
因此,希望能有改进的方案,可以在多方联合进行业务预测时,实现对模型的输入输出数据的监控,同时保证业务方的数据隐私不被泄露。
发明内容
本说明书一个或多个实施例描述了针对多方联合业务预测进行数据监控的方法及装置,以在多方联合进行业务预测时,实现对模型的输入输出数据的监控,同时保证业务方的数据隐私不被泄露。具体的技术方案如下。
第一方面,实施例提供了一种针对多方联合业务预测进行数据监控的方法,通过监控设备和多个业务方设备对利用多方安全计算MPC的联合业务预测进行数据监控,所述方法通过任意一个业务方设备执行,包括:
获取所述业务方设备的包含隐私数据的待预测数据;
基于多个业务方设备中的业务预测模型,通过多个业务方设备之间利用MPC进行的数据交互,对所述待预测数据进行业务预测,使得所述业务方设备得到针对所述待预测数据的预测结果;
将所述待预测数据和对应的预测结果添加至待统计数据集;
当预设的统计条件满足时,对所述待统计数据集中的未统计数据进行统计,得到不包含隐私数据的统计特征;
将所述统计特征发送至所述监控设备,以使得所述监控设备对多个业务方设备发送的统计特征进行联合处理。
在一种实施方式中,所述统计条件包括以下中的若干种:
所述待统计数据集中的数据条数达到预设条数阈值;
当前时间距离上一次统计时间的时长达到预设时长阈值。
在一种实施方式中,所述对所述待统计数据集中的未统计数据进行统计的步骤,包括:
选择以下方式中的若干种进行统计:
对所述待统计数据集中的待预测数据进行统计;
对所述待统计数据集中的预测结果进行统计;
对所述待统计数据集中的多条待预测数据与预测结果的对应关系进行统计。
在一种实施方式中,所述统计特征包括以下中的若干种:最大值、最小值、平均值、中位值、分桶数据。
在一种实施方式中,所述统计特征包括分桶数据;所述对所述待统计数据集中的未统计数据进行统计的步骤,包括:
获取未统计数据的若干个分桶区间;
确定多个分桶区间内所述待统计数据集中的未统计数据的数量,得到分桶数据;
其中,所述获取未统计数据的若干个分桶区间的步骤包括:
当未统计数据为所述待预测数据时,针对所述待预测数据中包含的特征项确定分桶区间;
当未统计数据为所述预测结果时,针对所述预测结果的取值确定分桶区间;
当未统计数据为所述对应关系时,针对所述待预测数据中包含的特征项确定分桶区间;
所述确定多个分桶区间内所述待统计数据集中的未统计数据的数量的步骤,包括:
当未统计数据为所述对应关系时,基于多条所述对应关系,确定多个分桶区间内预测结果的数量,得到分桶数据。
在一种实施方式中,在得到不包含隐私数据的统计特征之后,还包括:
获取历史统计特征;
基于所述历史统计特征与本次统计特征的对比,确定联合业务预测是否存在异常情况。
在一种实施方式中,所述对所述待预测数据进行业务预测的步骤,包括:
向其他业务方设备发送预测请求;在接收到所述其他业务方设备针对所述预测请求的反馈信息时,对所述待预测数据进行业务预测。
在一种实施方式中,该方法还包括:
接收其他业务方设备发送的预测请求;
向所述其他业务方设备发送针对所述预测请求的反馈信息,并基于多个业务方设备中的业务预测模型,通过多个业务方设备之间利用MPC进行的数据交互,对所述其他业务方设备的待预测数据进行业务预测。
在一种实施方式中,该方法还包括:
确定与预测请求相关的请求信息,并将其添加至所述待统计数据集。
在一种实施方式中,所述请求信息包括以下中的若干种:请求次数、成功执行预测的次数、成功执行预测的比例。
在一种实施方式中,多个业务方设备中包含所述业务预测模型的部分模型参数;多个业务方设备的部分模型参数在假定组合后构成所述业务预测模型的全部模型参数;
或者,多个业务方设备的部分模型参数与服务器的部分模型参数在假定组合后构成所述业务预测模型的全部模型参数;所述对所述待预测数据进行业务预测的步骤,包括:基于多个业务方设备和所述服务器中的业务预测模型,通过多个业务方设备以及所述服务器之间利用MPC进行的数据交互,对所述待预测数据进行业务预测。
第二方面,实施例提供了一种针对多方联合业务预测进行数据监控的方法,通过监控设备和多个业务方设备对利用MPC的联合业务预测进行数据监控,所述方法通过所述监控设备执行,包括:
接收多个业务方设备发送的统计特征,所述统计特征是基于对待预测数据和对应的预测结果进行统计得到,其中不包含隐私数据;所述预测结果基于多个业务方设备之间利用MPC进行的数据交互以及各自的业务预测模型,对所述待预测数据进行业务预测得到;
对多个业务方设备的统计特征进行联合处理,得到联合处理结果。
在一种实施方式中,在对多个业务方设备的统计特征进行联合处理之后,利用联合处理结果中的相关数据,确定针对多个业务方设备中的业务预测模型的修正方案。
第三方面,实施例提供了一种针对多方联合业务预测进行数据监控的方法,通过监控设备和多个业务方设备对利用MPC的联合业务预测进行数据监控;
其中,任意一个业务方设备,获取所述业务方设备的包含隐私数据的待预测数据;基于多个业务方设备中的业务预测模型,通过多个业务方设备之间利用MPC进行的数据交互,对所述待预测数据进行业务预测,使得所述业务方设备得到针对所述待预测数据的预测结果;将所述待预测数据和对应的预测结果添加至待统计数据集;当预设的统计条件满足时,对所述待统计数据集中的未统计数据进行统计,得到不包含隐私数据的统计特征;将所述统计特征发送至所述监控设备;
所述监控设备,接收多个业务方设备发送的统计特征,对多个业务方设备的统计特征进行联合处理。
第四方面,实施例提供了一种针对多方联合业务预测进行数据监控的装置,通过监控设备和多个业务方设备对利用MPC的联合业务预测进行数据监控,所述装置部署在任意一个业务方设备中,包括:
获取模块,配置为,获取所述业务方设备的包含隐私数据的待预测数据;
预测模块,配置为,基于多个业务方设备中的业务预测模型,通过多个业务方设备之间利用MPC进行的数据交互,对所述待预测数据进行业务预测,使得所述业务方设备得到针对所述待预测数据的预测结果;
添加模块,配置为,将所述待预测数据和对应的预测结果添加至待统计数据集;
统计模块,配置为,当预设的统计条件满足时,对所述待统计数据集中的未统计数据进行统计,得到不包含隐私数据的统计特征;
发送模块,配置为,将所述统计特征发送至所述监控设备,以使得所述监控设备对多个业务方设备发送的统计特征进行联合处理。
在一种实施方式中,所述统计条件包括以下中的若干种:
所述待统计数据集中的数据条数达到预设条数阈值;
当前时间距离上一次统计时间的时长达到预设时长阈值。
在一种实施方式中,所述统计模块,具体配置为:
选择以下方式中的若干种进行统计:
对所述待统计数据集中的待预测数据进行统计;
对所述待统计数据集中的预测结果进行统计;
对所述待统计数据集中的多条待预测数据与预测结果的对应关系进行统计。
在一种实施方式中,所述统计特征包括以下中的若干种:最大值、最小值、平均值、中位值、分桶数据。
在一种实施方式中,统计特征包括分桶数据;所述统计模块,具体配置为:
获取未统计数据的若干个分桶区间;
确定多个分桶区间内所述待统计数据集中的未统计数据的数量,得到分桶数据;
其中,所述统计模块,获取未统计数据的若干个分桶区间时,包括:
当未统计数据为所述待预测数据时,针对所述待预测数据中包含的特征项确定分桶区间;
当未统计数据为所述预测结果时,针对所述预测结果的取值确定分桶区间;
当未统计数据为所述对应关系时,针对所述待预测数据中包含的特征项确定分桶区间;
所述统计模块,确定多个分桶区间内所述待统计数据集中的未统计数据的数量时,包括:
当未统计数据为所述对应关系时,基于多条所述对应关系,确定多个分桶区间内预测结果的数量,得到分桶数据。
第五方面,实施例提供了一种针对多方联合业务预测进行数据监控的装置,通过监控设备和多个业务方设备对利用MPC的联合业务预测进行数据监控,所述装置部署在所述监控设备中,包括:
接收模块,配置为,接收多个业务方设备发送的统计特征,所述统计特征是基于对待预测数据和对应的预测结果进行统计得到,其中不包含隐私数据;所述预测结果基于多个业务方设备之间利用MPC进行的数据交互以及各自的业务预测模型,对所述待预测数据进行业务预测得到;
处理模块,配置为,对多个业务方设备的统计特征进行联合处理,得到联合处理结果。
第六方面,实施例提供了一种针对多方联合业务预测进行数据监控的***,包括监控设备和多个业务方设备,所述监控设备和多个业务方设备对利用MPC的联合业务预测进行数据监控;
其中,任意一个业务方设备,用于获取所述业务方设备的包含隐私数据的待预测数据;基于多个业务方设备中的业务预测模型,通过多个业务方设备之间利用MPC进行的数据交互,对所述待预测数据进行业务预测,使得所述业务方设备得到针对所述待预测数据的预测结果;将所述待预测数据和对应的预测结果添加至待统计数据集;当预设的统计条件满足时,对所述待统计数据集中的未统计数据进行统计,得到不包含隐私数据的统计特征;将所述统计特征发送至所述监控设备;
所述监控设备,用于接收多个业务方设备发送的统计特征,对多个业务方设备的统计特征进行联合处理。
第七方面,实施例提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行第一方面至第三方面中任一项所述的方法。
第八方面,实施例提供了一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现第一方面至第三方面中任一项所述的方法。
本说明书实施例提供的方法及装置中,业务方设备之间利用MPC进行数据交互,确定待预测数据的预测结果之后,可以将包含隐私数据的待预测数据和对应的预测结果添加至待统计数据集,当预设的统计条件满足时,对待统计数据集中的未统计数据进行统计,得到不包含隐私数据的统计特征,并将其发送至监控设备。监控设备可以接收到多个业务方设备发送的统计特征,并可以对多个统计特征进行联合处理。这样,业务方设备无需将隐私数据发送至监控设备,监控设备通过对多个业务方设备的统计特征进行联合处理,得到的联合处理结果,与直接获取多个业务方设备的隐私数据并进行统计的结果一致,但是无需业务方设备将隐私数据传出域外,因此能够在保证业务方的数据隐私不被泄露的前提下,实现对模型的输入输出数据的监控。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书披露的一个实施例的实施场景示意图;
图2为实施例提供的针对多方联合业务预测进行数据监控的方法的一种流程示意图;
图3为一个业务方设备内部的一种执行流程示意图;
图4为将历史分桶数据与本次分桶数据进行对比的一种示意图;
图5为实施例提供的针对多方联合业务预测进行数据监控的方法的另一种流程示意图;
图6为实施例提供的针对多方联合业务预测进行数据监控的装置的一种示意性框图;
图7实施例提供了针对多方联合业务预测进行数据监控的装置的另一种示意性框图;
图8实施例提供了针对多方联合业务预测进行数据监控的***的一种示意性框图。
具体实施方式
下面结合附图,对本说明书提供的方案进行描述。
图1为本说明书披露的一个实施例的实施场景示意图。业务方设备拥有各自的业务数据,这些业务数据属于隐私数据。多个(两个或者两个以上)业务方设备可以通过利用MPC进行的数据交互,基于各自已有的业务数据联合训练业务预测模型。在业务预测模型训练好之后,多个业务方设备,基于共同联合训练的业务预测模型,利用MPC进行数据交互,从而进行联合业务预测。任意一个业务方设备可以对联合业务预测中的输入输出数据进行统计,得到不包含隐私数据的统计特征,并将统计特征发送至监控设备。这样,监控设备可以接收多个业务方设备的统计特征,并对其进行联合处理,得到针对多个业务方设备的业务预测数据的联合处理结果。
业务方设备与企业或机构对应,每一个企业或机构属于一个业务方。例如,对于不同的银行,不同的购物商场,不同的医院,不同的学校等,都可以分别对应于一个业务方。每个业务方可以通过其业务方设备进行数据处理、数据传输等操作。每个业务方都拥有其业务数据,该业务数据被限制在该业务方的内网中访问,不能出域。业务方设备可以通过任何具有计算、处理能力的装置、设备、平台、设备集群等来实现。
业务数据可以包括对象的特征数据,对象可以是用户、商品、事件等各种业务上有待分析的对象之一,因此业务数据可以是用户数据、商品数据或事件数据等。业务数据可以包括多个特征项。对象的特征项可以包括以下特征项中的至少一种:对象的基本属性信息、关联关系信息、交互信息、历史行为信息等。例如,当对象是用户时,其基本属性信息可以包括用户的性别、年龄、收入等,用户的关联关系信息可以包括与用户存在关联关系的其他用户、公司、地区等,用户的交互信息可以包括用户在某个网站进行的点击、查看、参与的某个活动等信息,用户的历史行为信息可以包括用户历史的交易行为、支付行为、购买行为等。业务数据往往是业务方的隐私数据,在处理过程中要求保持较高的隐私性和安全性。
多个业务方可以基于各自的样本数据集,联合训练业务预测模型。其中,样本数据集可以包括已有的业务数据或者历史业务数据。业务预测模型可以是采用机器学习方式训练的模型,用于对输入的对象的业务数据进行业务预测,包括对对象进行分类或回归。例如,业务预测模型可以对输入的用户数据进行处理,确定该用户是否为高风险用户,或者确定该用户的风险值;也可以对输入的业务数据进行异常检测等。
在联合处理的一种模型架构中,业务预测模型可以包括n个计算层。多个业务方设备中的任意一个业务方设备,可以拥有这n个计算层的结构,且仅拥有每个计算层中的部分模型参数,也就是,业务方设备中包含业务预测模型的部分模型参数,多个业务方设备的部分模型参数在假定组合后构成该业务预测模型的全部模型参数。在这种场景中,n个计算层的结构均部署在多个业务方设备中,每个计算层的部分模型参数分别分布在多个业务方设备中。对于任意一个计算层,该计算层的所有模型参数等于多个业务方设备在该计算层的部分模型参数的和。这里的计算层可以包括输出层。
多个业务方设备可以分别作为业务预测模型的输入节点,将其业务数据作为业务预测模型的一个输入数据。
在联合处理的另一种模型架构中,可以将业务预测模型分割为两部分,分别为第一部分模型和第二部分模型,第一部分模型可以部署在服务器中,第二部分模型部署在业务方设备中,并且其中一个部分模型的输出作为另一个部分模型的输入,例如第一部分模型的输出可以作为第二部分模型的输入,或者第二部分模型的输出作为第一部分模型的输入。也就是,多个业务方设备的部分模型参数与服务器的部分模型参数在假定组合后构成业务预测模型的全部模型参数。
第一部分模型包含的计算层部署在服务器中。第二部分模型包含的计算层部署在多个业务方设备中,且第二部分模型的每个计算层的部分模型参数分别分布在多个业务方设备中。对于第二部分模型的每个计算层,该计算层的所有模型参数等于多个业务方设备在该计算层的部分模型参数的和。
对于上述的两种模型架构,针对部署在业务方设备中的任意一个计算层,在对该计算层中的神经元进行计算时,多个业务方设备可以基于各自拥有的数据,利用MPC进行多方之间的数据交互,对计算层中的神经元进行联合计算。
其中,多方安全计算(Secure Multi-party Computation,MPC)是一种已有的可以用于多方参与的数据隐私保护技术,其具体实现方式包括同态加密、混淆电路、不经意传输、秘密分享等技术。采用多方安全计算的方式,能够在多个业务方设备联合进行业务预测时提供可靠的隐私化数据计算,避免业务方设备的隐私泄露。
在模型训练过程和业务预测过程中,业务方设备中部署的业务预测模型的结构是不变的。相比于业务预测过程,模型训练过程还包括以下操作:业务方设备在将样本数据输入业务预测模型,经过利用MPC的联合处理,且得到针对样本数据的预测结果之后,可以基于该样本数据的标注信息与预测结果之间的差异确定预测损失,利用该预测损失以及多个业务方设备之间的数据交互,对业务预测模型的模型参数进行更新。而在业务预测过程中,作为预测发起方的业务方设备,将包含隐私数据的待预测数据输入业务预测模型,经过利用MPC的联合处理,可以得到该待预测数据的预测结果。其中,预测结果可以是对象是否为高风险用户,或者对象的风险值,或者对象存在异常的概率值。对应的,标注信息可以分别是对象是否为高风险用户的标签,对象的标注风险值,对象存在异常的标注概率值。在这种情况下,业务预测模型还可以实现为异常检测模型等具体形式。
在在线预测过程中,监控设备需要对多个业务方设备的输入输出数据进行监控和显示,并对出现的问题进行跟踪与回溯,从而保证预测结果的正确以及模型运行的正常。但是,业务方针对业务预测模型的输入数据,以及从业务预测模型中得到的输出数据,都属于隐私数据,不能明文输出。
在这种多方联合进行业务预测的场景下,为了实现对模型的输入输出数据的监控,同时保证数据隐私***露,本说明书实施例提供了一种数据监控方法。其中,任意一个业务方设备,获取本业务方的包含隐私数据的待预测数据,基于多个业务方设备中的业务预测模型,通过多个业务方设备之间利用MPC进行数据交互,对待预测数据进行业务预测,使得该业务方设备得到针对待预测数据的预测结果。该业务方设备将待预测数据和对应的预测结果添加至待统计数据集,当预设的统计条件满足时,对待统计数据集中的未统计数据进行统计,得到不包含隐私数据的统计特征,将统计特征发送至监控设备。监控设备在接收到多个业务方设备的统计特征时,对多个业务方设备的统计特征进行联合处理,得到联合处理结果。
这样,监控设备无需直接对业务方设备的输入输出数据进行统计,而只对业务方设备发送的不包含隐私数据的统计特征进行联合处理,即实现了对业务方设备的输入输出数据的统计,并且保证了业务方隐私数据的安全性。
下面结合具体实施例对本说明书进行说明。
图2为实施例提供的针对多方联合业务预测进行数据监控的方法的一种流程示意图。本实施例中,通过监控设备C和多个业务方设备对利用MPC的联合业务预测进行数据监控。其中,监控设备可以通过任何具有计算、处理能力的装置、设备、平台、设备集群等来实现。为了描述方便,下面举例中多以两个业务方为例进行说明。例如,两个业务方分别为业务方A和业务方B,其对应的执行数据处理的设备分别是业务方设备A和业务方设备B。业务方与业务方设备是一一对应的。业务方设备用于执行业务方的数据计算、数据传输等处理。监控设备采用C标识。其中,以业务方A作为在线业务预测的发起方为例进行说明。本实施例的方法具体包括以下步骤S210~S250。
步骤S210,业务方设备A获取本业务方A的包含隐私数据的待预测数据Data1。
其中,待预测数据可以是业务方A的业务数据,例如可以是业务方A的待进行风险评估的用户的数据,也可以是业务方A的待进行风险值预测的对象的数据,或者是待进行异常检测的对象的数据等。在一个例子中,业务方A和业务方B分别为不同的银行。业务方A存在待进行风险评估的用户1,此时业务方设备A可以获取该用户1的特征数据,作为待预测数据Data1,多方联合进行风险预测能够使得预测更加准确。在另一个例子中,业务方A和业务方B分别为保险公司和医院。业务方A存在待进行异常检测的用户2,此时业务方设备A可以获取该用户2的特征数据,作为待预测数据Data1,多方联合进行异常检测,能够使得业务方A确定用户2是否存在不符合参保条件的信息。
待预测数据可以是对象的特征数据,其属于业务数据,其中包含隐私数据。业务方设备A可以从业务方A的高可用存储空间中读取加密后的待预测数据,对其进行解密后得到待预测数据Data1。待预测数据Data1也可以直接存储在业务方设备A中,业务方设备A可以直接从自身的存储空间中获取待预测数据Data1。
待预测数据Data1是用于输入业务预测模型中执行业务预测的业务方A的输入数据,属于待监控数据。
步骤S220,基于多个业务方设备中的业务预测模型,通过多个业务方设备之间利用MPC进行的数据交互,对待预测数据Data1进行业务预测,使得业务方设备A得到针对待预测数据Data1的预测结果Re1。
在本步骤中,该业务预测模型是经过多方联合训练的模型,可以用于进行业务预测。
业务预测模型的模型架构可以包括多种方式,在前述内容中已经列举了至少两种模型架构方式。不管是哪种模型架构方式,均需要多个业务方设备之间按照业务预测模型的计算层的函数计算方式,基于待预测数据Data1,利用多方安全计算,进行多次数据交互,并使得业务方设备A得到待预测数据Data1的预测结果Re1。
当业务预测模型的模型架构中不包含服务器时,业务预测模型分布在多个业务方设备中。在这种情况下,多个业务方设备之间进行数据交互即可。例如,业务方设备A和业务方设备B基于各自拥有的部分模型参数,以待预测数据Data1作为模型的输入数据,利用多方安全计算进行多次数据交互,实现业务预测。
当业务预测模型的模型架构中包含服务器时,服务器和多个业务方设备可以均部署部分模型参数。也就是,多个业务方设备的部分模型参数与服务器的部分模型参数在假定组合后构成业务预测模型的全部模型参数。在这种情况下,基于多个业务方设备和服务器中的业务预测模型,通过多个业务方设备以及服务器之间利用MPC进行的数据交互,对待预测数据Data1进行业务预测,并使得业务方设备A得到待预测数据Data1的预测结果Re1。也就是,业务方设备、服务器之间进行多次数据交互。例如,业务方设备A、业务方设备B和服务器,基于各自拥有的部分模型参数,以待预测数据Data1作为模型的输入数据,利用多方安全计算进行多次数据交互,实现业务预测。
业务方A作为业务预测的发起方,为了能与其他业务方设备联合进行业务预测,其可以向其他业务方设备发送预测请求,该预测请求是针对待预测数据Data1发起的请求,可以用于请求其他业务方设备对待预测数据Data1进行联合预测。该预测请求中可以携带待预测数据Data1的标识,以及请求其他业务方设备对待预测数据Data1进行联合预测的待执行任务标识。其他业务方设备通常与业务方A处于不同的网络中,即该预测请求可以通过公网传输至其他业务方设备。其他业务方设备是指多个业务方设备中除业务方设备A之外的设备。
其他业务方设备可以接收业务方设备A的预测请求,在确定自身能执行联合业务预测任务时,可以向业务方设备A发送针对上述预测请求的反馈信息。例如,业务方设备B可以向业务方设备A发送该反馈信息。
业务方设备A在接收到其他业务方设备针对上述预测请求的反馈信息时,对待预测数据Data1进行业务预测。当业务方设备A得到预测结果Re1时,可以确定本次联合业务预测任务成功。当业务方设备A没有接收到其他业务方设备的反馈信息时,可以放弃对待预测数据Data1的业务预测,即本次联合业务预测任务失败。
在一种实施方式中,当其他业务方设备也成为业务预测的发起方时,例如业务方设备B成为业务预测的发起方时,其可以向业务方设备A发送预测请求,而该预测请求则是针对业务方设备B的待预测数据Data2发起的请求,可以用于请求例如业务方设备A对待预测数据Data2进行联合预测。该预测请求中可以携带待预测数据Data2的标识,以及请求业务方设备A对待预测数据Data2进行联合预测的待执行任务标识。
业务方设备A可以接收其他业务方设备发送的预测请求,在确定自身能够执行联合业务预测任务时,向其他业务方设备发送针对该预测请求的反馈信息,并基于多个业务方设备中的业务预测模型,通过多个业务方设备之间利用MPC进行的数据交互,对其他业务方设备(例如业务方设备B)的待预测数据(例如Data2)进行业务预测。
当业务预测模型的模型架构中包含服务器时,业务方设备A发送预测请求的目标设备可以包括该服务器,业务方设备B发送预测请求的目标设备也包括该服务器,并用于请求该服务器以及多个业务方设备对待预测数据进行联合业务预测。
预测结果Re1是业务预测模型的输出数据,属于业务方A的隐私数据,同时也是监控设备C的待监控数据。
步骤S230,业务方设备A将待预测数据Data1和对应的预测结果Re1添加至待统计数据集。
业务方设备A还可以确定与预测请求相关的请求信息,并将该请求信息添加至上述待统计数据集。其中,请求信息可以包括以下中的若干种:请求次数、成功执行预测的次数、成功执行预测的比例。
请求信息可以包括业务方设备A发送的预测请求的请求信息,和/或,业务方设备A接收的预测请求的请求信息。例如,请求次数可以包括业务方设备A发送的预测请求的请求次数,和/或,业务方设备A接收的预测请求的请求次数;成功执行预测的次数可以包括业务方设备A发起的预测的成功次数,和/或,其他业务方设备发起的预测的成功次数;成功执行预测的比例可以包括业务方设备A发起的预测的成功比例,和/或,其他业务方设备发起的预测的成功比例。请求信息中还可以包括其他的与预测请求相关的信息。
步骤S240,业务方设备A可以在预设的统计条件满足时,对待统计数据集中的未统计数据进行统计,得到不包含隐私数据的统计特征St1,业务方设备A可以将统计特征St1发送至监控设备C,监控设备C可以接收业务方设备A发送的统计特征St1。
上述步骤S210~S230可以多次执行,这样便可以将多条待预测数据和对应的预测结果添加至待统计数据集中。
图3为一个业务方设备内部的一种执行流程示意图。其中包括在线预测部分和数据统计部分。在在线预测部分中,待预测数据被输入业务预测模型,并通过业务预测模型得到预测结果。在数据统计部分中,特征统计模块对待预测数据进行特征记录,对预测结果进行记录,并将得到的统计特征发送至监控设备所在网络。该业务方为任意一个业务方。
业务方设备B也可以发起业务预测,并按照上述步骤S210~S230循环执行业务预测过程,这样也可以将多条待预测数据和对应的预测结果添加至业务预测方B的待统计数据集中。在预设的统计条件满足时,业务方设备B可以对其待统计数据集中的未统计数据进行统计,得到不包含隐私数据的统计特征St2,业务方设备B可以将统计特征St2发送至监控设备C,监控设备C可以接收业务方设备B发送的统计特征St2。业务方设备A的统计条件以及业务方设备B的统计条件可以相同,也可以不同。
其中,统计条件可以是待统计数据集中的未统计数据条数达到预设条数阈值,或者是,当前时间距离上一次统计时间的时长达到预设时长阈值。上述两个条件可以择一使用,也可以同时使用。在同时使用时,两个条件之间可以是或的关系,也就是,当未统计数据条数达到预设条数阈值,或者当前时间距离上一次统计时间的时长达到预设时长阈值,则统计条件满足,两者都未达到时统计条件不满足;也可以是与的关系,也就是,未统计数据条数达到预设条数阈值,且当前时间距离上一次统计时间的时长达到预设时长阈值,则统计条件满足,两者中的任一不达到则统计条件不满足。
以业务方设备A为例,在业务方设备A对待统计数据集中的未统计数据进行统计时,可以针对不同的数据层面进行统计。例如,可以对待统计数据集中的待预测数据Data1进行统计,对待统计数据集中的预测结果Re1进行统计,或者对待统计数据集中的多条待预测数据Data1与预测结果Re1的对应关系进行统计。上述三种统计方式,可以择一实施,也可以从三种统计方式中选择两种进行实施,或者选择三种进行实施。
其中,统计特征可以包括以下中的若干种:最大值、最小值、平均值、中位值、分桶数据等。例如,待统计数据集中包括m1条待预测数据,每个待预测数据中包括k1个特征项的特征值,则可以针对每个特征项,从m1个特征值中确定最大值、最小值、平均值或中位值。m1个待预测数据,对应存在m1个预测结果,可以从m1个预测结果中确定最大值、最小值、平均值或中位值。例如,预测结果表示用户是高风险用户的概率,那么每个待预测数据对应一个概率值,m1个待预测数据对应m1个概率值,从而可以从这m1个概率值中确定统计特征。预测结果可以根据具体的场景不同而进行不同配置。
当统计特征包括分桶数据时,对待统计数据集中的未统计数据进行统计时,可以获取未统计数据的若干个分桶区间,确定多个分桶区间内待统计数据集中的未统计数据的数量,得到分桶数据。
具体的,当未统计数据为待预测数据Data1时,可以针对待预测数据Data1中包含的特征项确定分桶区间。当待预测数据Data1中包含多个特征项时,可以分别针对每个特征项的取值,确定对应的分桶区间。例如,当特征项为年龄时,确定的分桶区间可以包括1~18岁,19~30岁,31~45岁,46~60岁,60~预设最大年龄max。从而,可以统计每个分桶区间中待预测数据Data1的数量,得到分桶数据。
当未统计数据为预测结果Re1时,可以针对预测结果Re1的取值确定分桶区间。例如,预测结果为概率值时,概率值的取值为从0到1,分桶区间可以包括0~0.2,0.3~0.6,0.7~1。从而,可以从待统计数据集中统计每个分桶区间中预测结果的数量,得到分桶数据。由于待预测数据与预测结果是对应的,因此该分桶数据也表示每个分桶区间中的待预测数据的数量。例如,当待预测数据表示用户数据时,该分桶数据表示每个分桶区间中的用户数量。
当未统计数据为上述对应关系时,可以针对待预测数据中包含的特征项确定分桶区间。确定分桶区间的方式,可以与未统计数据是待预测数据时的分桶方式一致。在确定分桶数据时,可以基于多条对应关系,确定多个分桶区间内预测结果的数量,得到分桶数据。
以特征项为年龄,且连续的年龄值被划分为以下5个分桶区间:1~18岁,19~30岁,31~45岁,46~60岁,60~预设最大年龄max,为例。假设存在m1条待预测数据与预测结果的对应关系,这m1条对应关系中包括m1个待预测数据和m1个预测结果,预测结果包括分类1(例如高风险)和分类2(例如低风险)两种,则可以分别根据这m1个待预测数据中的用户年龄值,确定m1个待预测数据分别归属的分桶区间,再根据对应关系,确定分类1和分类2分别在这些归属的分桶区间中的分布数量。也就是,可以得到每一个分桶区间中,属于分类1的用户数量和属于分类2的用户数量,这是预测结果的分桶数据的一种表达形式。
业务方设备A在确定分桶区间时,可以获取针对待预测数据Data1中某个特征项的分桶分割点,基于该分桶分割点得到若干个分桶区间,也可以获取针对预测结果Re1的取值的分桶分割点,基于该分桶分割点得到若干个分桶区间。特征项的分桶分割点,可以基于已经累积的多个待预测数据中特征项的特征值进行确定,也可以是根据经验设定的。预测结果的分桶分割点,可以基于已经累积的预测结果的取值进行确定,也可以根据经验设定。
在得到不包含隐私数据的统计特征之后,业务方设备A可以获取历史统计特征,基于历史统计特征与本次统计特征的对比,确定联合业务预测是否存在异常情况。历史统计特征可以是历史最大值、历史最小值、历史平均值、历史中位值或历史分桶数据,本次统计特征也可以是本次最大值、本次最小值、本次平均值、本次中位值或本次分桶数据。
对于历史最大值与本次最大值,历史最小值与本次最小值,历史平均值与本次平均值,历史中位值与本次中位值的对比,是一个数值与另一个数值之间的对比,其对比方式可以是求差、求比例或求变化量的百分比等。然后,可以将求得的差值、比例或变化量的百分比与相应的预设阈值进行比较,当大于对应的预设阈值时,确定本次的联合业务预测中存在异常情况。
在其他实施方式中,将历史统计特征与本次统计特征进行对比时,还可以基于其差值乘以历史统计特征H1与本次统计特征H2的乘积的对数,确定对比结果,例如可以利用以下公式确定对比结果:
(H1-H2)·ln(H1·H2)
分桶数据是分布数据,可以采用向量表示。对于历史分桶数据与本次分桶数据的对比,可以将历史分桶数据与本次分桶数据中的对应向量元素进行对比,例如可以采用求差、求比例或求变化量的百分比等方式,确定每个向量元素的对比结果,并对所有对比结果求和,得到历史分桶数据与本次分桶数据的对比结果。然后,将该对比结果与预设阈值进行对比,当该对比结果大于预设阈值时,确定本次的联合业务预测中存在异常情况。上述对所有对比结果求和,包括加权求和不加权求和。
在一种实施方式中,将历史分桶数据与本次分桶数据中的对应向量元素进行对比时,也可以采用以下公式得到对比结果:
∑i[(H1i-H2i)·ln(H1i·H2i)]
其中,H1i是历史分桶数据中的第i个元素,H2i是本次分桶数据中的第i个元素,求和符号对i求和。
在一种实施方式中,还可以利用群体稳定性指标(Population Stability Index,PSI),确定历史统计特征与本次统计特征的PSI值,将该PSI值确定为对比结果。
作为一个实施场景中,待预测数据为用户数据,且针对年龄项统计分桶数据。图4为将历史分桶数据与本次分桶数据进行对比的一种示意图。其中,5个年龄分桶区间分别显示在横向坐标轴上,纵向数轴表示用户数量。在每个年龄分桶区间内,都可以记录参与业务预测的用户数量。其中,虚线框内的分桶数据表示本次分桶数据,实线框内的分桶数据表示历史分桶数据。在对比历史分桶数据与本次分桶数据时,可以分别求得2与5,11与16,19与14,12与10,2与3之间的差值绝对值,并求和,得到对比结果。
在一种实施方式中,历史统计特征可以是多个,将本次统计特征分别与历史统计特征进行对比,得到对比结果,进而使得对比更全面。或者,历史统计特征也可以是对多个累积的统计特征进行融合处理后得到的。
将历史统计特征与本次统计特征进行对比,能够发现联合业务预测中的异常情况。例如,当业务预测模型是对用户是否适合参与某个医疗保险进行预测的医疗预测模型时,待预测数据为用户数据,其中包括用户的年龄、性别、曾患疾病、血压值、血脂值、目前状态等特征项,预测结果为用户适合参与该医疗保险的概率值,统计周期为1周。当针对用户数据中的年龄进行统计时,可以将本周的年龄分桶数据与上周的年龄分桶数据进行对比,如果对比结果超出预设阈值,则可以认为本周的医疗保险预测存在异常。
当业务预测模型是对用户是否是金融领域的高风险用户进行预测的风险预测模型时,待预测数据为用户数据,其中包含用户的年龄、性别、还款逾期次数、消费记录等,预测结果为该用户属于高风险用户的概率值,统计周期为1天。例如,可以针对用户数据中的还款逾期次数进行统计,当历史统计特征与本次的统计特征的对比结果超出预设阈值时,可以认为某一天的风险预测存在异常。
步骤S250,监控设备C接收多个业务方设备发送的统计特征,对多个业务方设备发送的统计特征进行联合处理。例如,当监控设备C接收到业务方设备A发送的统计特征St1,以及业务方设备B发送的统计特征St2时,可以对统计特征St1和St2进行联合处理,得到联合处理结果。
例如,监控设备可以对多个业务方设备的统计特征进行聚合,得到相比于单个业务方设备的统计特征粒度更大的统计特征。举例来说,当统计特征是待预测数据的最大值(或最小值、中位值)时,监控设备可以从多个业务方设备发送的单方最大值(或单方最小值、单方中位值)中,确定汇总最大值(或汇总最小值、汇总中位值)。同样的,监控设备可以基于多个业务方设备发送的单方平均值,确定汇总平均值。
在另一种实施方式中,监控设备可以基于多个业务方设备的分桶数据,采用PSI指标的方式进行联合处理,得到总体的模型稳定性值。例如可以采用以下公式进行计算:
WPSI=∑i[(Ai-Bi)·ln(Ai·Bi)]
其中,WPSI为总体的模型稳定性值,i表示若干个分桶区间中的第i个分桶区间,Ai为多个业务方设备的本次分桶数据的和值,Bi为多个业务方设备的历史分桶数据的和值,求和符号∑对i求和,ln为自然对数。
监控设备C,在对多个业务方设备的统计特征进行联合处理之后,得到联合处理结果,并可以利用联合处理结果中的相关数据,确定针对多个业务方设备中的业务预测模型的修正方案。当联合处理结果中包含表示预测结果不准确的数据时,可以根据这些数据,确定对业务预测模型的修正方案。监控设备C可以从整体上把握预测结果的准确性,并基于对多个业务方设备的联合分析,确定合适的修正方案。
本实施例中,监控设备可以获取聚合时间间隔内模型的出参、入参的统计特征,实现对业务预测服务的弱实时监控。同时,本实施例可以实现对业务数据进行多种统计维度的监控,实现了在保护客户隐私数据安全的前提下对模型运行状况的弱实时监控,较好地平衡了数据安全与数据监控的双重需求。
本实施例在执行过程中,多个业务方设备可以分别作为业务预测的发起方,且其发起业务预测的时间具有随机性。本实施例中各个步骤的排列仅是一种逻辑上的顺序,并不构成对具体执行顺序的限定。例如,步骤S210~S230可以多次执行,步骤S240可以间隔性地执行,步骤S250可以在接收到多个业务方设备发送的统计特征之后执行,等等。
图5为实施例提供的针对多方联合业务预测进行数据监控的方法的另一种流程示意图。该方法通过监控设备和多个业务方设备对利用多方安全计算MPC的联合业务预测进行数据监控。该方法包括:
步骤S510,任意一个业务方设备,获取该业务方设备的包含隐私数据的待预测数据;基于多个业务方设备中的业务预测模型,通过多个业务方设备之间利用MPC进行的数据交互,对待预测数据进行业务预测,使得该业务方设备得到针对待预测数据的预测结果;将待预测数据和对应的预测结果添加至待统计数据集;当预设的统计条件满足时,对待统计数据集中的未统计数据进行统计,得到不包含隐私数据的统计特征;将统计特征发送至监控设备。
步骤S520,监控设备,接收多个业务方设备发送的统计特征,对多个业务方设备的统计特征进行联合处理。
上述图5实施例是基于图2实施例得到的实施例,其实施方式和说明与图2实施例相同,可以参见图2部分的描述。
上述内容对本说明书的特定实施例进行了描述,其他实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行,并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要按照示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的,或者可能是有利的。
图6为实施例提供的针对多方联合业务预测进行数据监控的装置的一种示意性框图。本实施例中,通过监控设备和多个业务方设备对利用MPC的联合业务预测进行数据监控,该装置实施例与图2所示方法实施例相对应。所述装置部署在任意一个业务方设备中,包括:
获取模块610,配置为,获取所述业务方设备的包含隐私数据的待预测数据;
预测模块620,配置为,基于多个业务方设备中的业务预测模型,通过多个业务方设备之间利用MPC进行的数据交互,对所述待预测数据进行业务预测,使得所述业务方设备得到针对所述待预测数据的预测结果;
添加模块630,配置为,将所述待预测数据和对应的预测结果添加至待统计数据集;
统计模块640,配置为,当预设的统计条件满足时,对所述待统计数据集中的未统计数据进行统计,得到不包含隐私数据的统计特征;
发送模块650,配置为,将所述统计特征发送至所述监控设备,以使得所述监控设备对多个业务方设备发送的统计特征进行联合处理。
在一种实施方式中,所述统计条件包括以下中的若干种:
所述待统计数据集中的数据条数达到预设条数阈值;
当前时间距离上一次统计时间的时长达到预设时长阈值。
在一种实施方式中,统计模块640具体配置为:
选择以下方式中的若干种进行统计:
对所述待统计数据集中的待预测数据进行统计;
对所述待统计数据集中的预测结果进行统计;
对所述待统计数据集中的多条待预测数据与预测结果的对应关系进行统计。
在一种实施方式中,统计特征包括以下中的若干种:最大值、最小值、平均值、中位值、分桶数据。
在一种实施方式中,所述统计特征包括分桶数据;所述统计模块640具体配置为:
获取未统计数据的若干个分桶区间;
确定多个分桶区间内所述待统计数据集中的未统计数据的数量,得到分桶数据;
其中,统计模块640获取未统计数据的若干个分桶区间时,包括:
当未统计数据为所述待预测数据时,针对所述待预测数据中包含的特征项确定分桶区间;
当未统计数据为所述预测结果时,针对所述预测结果的取值确定分桶区间;
当未统计数据为所述对应关系时,针对所述待预测数据中包含的特征项确定分桶区间;
统计模块640,在确定多个分桶区间内所述待统计数据集中的未统计数据的数量时,包括:
当未统计数据为所述对应关系时,基于多条所述对应关系,确定多个分桶区间内预测结果的数量,得到分桶数据。
在一种实施方式中,所述装置还包括异常模块(图中未示出),配置为:
在得到不包含隐私数据的统计特征之后,获取历史统计特征;
基于所述历史统计特征与本次统计特征的对比,确定联合业务预测是否存在异常情况。
在一种实施方式中,所述预测模块620具体配置为:
向其他业务方设备发送预测请求;
在接收到所述其他业务方设备针对所述预测请求的反馈信息时,对所述待预测数据进行业务预测。
在一种实施方式中,预测模块620还配置为:
接收其他业务方设备发送的预测请求;
向所述其他业务方设备发送针对所述预测请求的反馈信息,并基于多个业务方设备中的业务预测模型,通过多个业务方设备之间利用MPC进行的数据交互,对所述其他业务方设备的待预测数据进行业务预测。
在一种实施方式中,该装置还包括确定模块(图中未示出),配置为:
确定与预测请求相关的请求信息,并将其添加至所述待统计数据集。
在一种实施方式中,所述请求信息包括以下中的若干种:请求次数、成功执行预测的次数、成功执行预测的比例。
在一种实施方式中,多个业务方设备中包含所述业务预测模型的部分模型参数;多个业务方设备的部分模型参数在假定组合后构成所述业务预测模型的全部模型参数;
或者,多个业务方设备的部分模型参数与服务器的部分模型参数在假定组合后构成所述业务预测模型的全部模型参数;所述预测模块620具体配置为,基于多个业务方设备和所述服务器中的业务预测模型,通过多个业务方设备以及所述服务器之间利用MPC进行的数据交互,对所述待预测数据进行业务预测。
图7实施例提供了针对多方联合业务预测进行数据监控的装置的另一种示意性框图。本实施例通过监控设备和多个业务方设备对利用多方安全计算MPC的联合业务预测进行数据监控。该装置实施例与图2所示方法实施例相对应。装置700部署在监控设备中,包括:
接收模块710,配置为,接收多个业务方设备发送的统计特征,所述统计特征是基于对待预测数据和对应的预测结果进行统计得到,其中不包含隐私数据;所述预测结果基于多个业务方设备之间利用MPC进行的数据交互以及各自的业务预测模型,对所述待预测数据进行业务预测得到;
处理模块720,配置为,对多个业务方设备的统计特征进行联合处理,得到联合处理结果。
在一种实施方式中,装置700还包括修正模块(图中未示出),配置为,在对多个业务方设备的统计特征进行联合处理之后,利用联合处理结果中的相关数据,确定针对多个业务方设备中的业务预测模型的修正方案。
上述各个装置实施例与方法实施例相对应,具体说明可以参见方法实施例部分的描述,此处不再赘述。装置实施例是基于对应的方法实施例得到,与对应的方法实施例具有同样的技术效果,具体说明可参见对应的方法实施例。
图8实施例提供了针对多方联合业务预测进行数据监控的***的一种示意性框图。该***800包括监控设备810和多个业务方设备820,所述监控设备810和多个业务方设备820对利用多方安全计算MPC的联合业务预测进行数据监控;
其中,任意一个业务方设备820,用于获取该业务方设备820的包含隐私数据的待预测数据;基于多个业务方设备820中的业务预测模型,通过多个业务方设备820之间利用MPC进行的数据交互,对所述待预测数据进行业务预测,使得该业务方设备820得到针对所述待预测数据的预测结果;将所述待预测数据和对应的预测结果添加至待统计数据集;当预设的统计条件满足时,对所述待统计数据集中的未统计数据进行统计,得到不包含隐私数据的统计特征;将所述统计特征发送至所述监控设备810;
所述监控设备810,用于接收多个业务方设备820发送的统计特征,对多个业务方设备820的统计特征进行联合处理。
本说明书实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行图1至图5任一项所述的方法。
本说明书实施例还提供了一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现图1至图5任一项所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于存储介质和计算设备实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式,对本发明实施例的目的、技术方案和有益效果进行了进一步的详细说明。所应理解的是,以上所述仅为本发明实施例的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (22)
1.一种针对多方联合业务预测进行数据监控的方法,通过监控设备和多个业务方设备对利用多方安全计算MPC的联合业务预测进行数据监控,所述方法通过任意一个业务方设备执行,包括:
获取所述业务方设备的包含隐私数据的待预测数据;
基于多个业务方设备中的业务预测模型,通过多个业务方设备之间利用MPC进行的数据交互,对所述待预测数据进行业务预测,使得所述业务方设备得到针对所述待预测数据的预测结果;
将所述待预测数据和对应的预测结果添加至待统计数据集;
当预设的统计条件满足时,对所述待统计数据集中的未统计数据进行统计,得到不包含隐私数据的统计特征;
将所述统计特征发送至所述监控设备,以使得所述监控设备对多个业务方设备发送的统计特征进行联合处理。
2.根据权利要求1所述的方法,所述统计条件包括以下中的若干种:
所述待统计数据集中的数据条数达到预设条数阈值;
当前时间距离上一次统计时间的时长达到预设时长阈值。
3.根据权利要求1所述的方法,所述对所述待统计数据集中的未统计数据进行统计的步骤,包括:
选择以下方式中的若干种进行统计:
对所述待统计数据集中的待预测数据进行统计;
对所述待统计数据集中的预测结果进行统计;
对所述待统计数据集中的多条待预测数据与预测结果的对应关系进行统计。
4.根据权利要求1或3所述的方法,所述统计特征包括以下中的若干种:最大值、最小值、平均值、中位值、分桶数据。
5.根据权利要求3所述的方法,所述统计特征包括分桶数据;所述对所述待统计数据集中的未统计数据进行统计的步骤,包括:
获取未统计数据的若干个分桶区间;
确定多个分桶区间内所述待统计数据集中的未统计数据的数量,得到分桶数据;
其中,所述获取未统计数据的若干个分桶区间的步骤包括:
当未统计数据为所述待预测数据时,针对所述待预测数据中包含的特征项确定分桶区间;
当未统计数据为所述预测结果时,针对所述预测结果的取值确定分桶区间;
当未统计数据为所述对应关系时,针对所述待预测数据中包含的特征项确定分桶区间;
所述确定多个分桶区间内所述待统计数据集中的未统计数据的数量的步骤,包括:
当未统计数据为所述对应关系时,基于多条所述对应关系,确定多个分桶区间内预测结果的数量,得到分桶数据。
6.根据权利要求1所述的方法,在得到不包含隐私数据的统计特征之后,还包括:
获取历史统计特征;
基于所述历史统计特征与本次统计特征进行的对比,确定联合业务预测是否存在异常情况。
7.根据权利要求1所述的方法,所述对所述待预测数据进行业务预测的步骤,包括:
向其他业务方设备发送预测请求;
在接收到所述其他业务方设备针对所述预测请求的反馈信息时,对所述待预测数据进行业务预测。
8.根据权利要求7所述的方法,还包括:
接收其他业务方设备发送的预测请求;
向所述其他业务方设备发送针对所述预测请求的反馈信息,并基于多个业务方设备中的业务预测模型,通过多个业务方设备之间利用MPC进行的数据交互,对所述其他业务方设备的待预测数据进行业务预测。
9.根据权利要求7或8所述的方法,还包括:
确定与预测请求相关的请求信息,并将其添加至所述待统计数据集。
10.根据权利要求9所述的方法,所述请求信息包括以下中的若干种:请求次数、成功执行预测的次数、成功执行预测的比例。
11.根据权利要求1所述的方法,多个业务方设备中包含所述业务预测模型的部分模型参数;多个业务方设备的部分模型参数在假定组合后构成所述业务预测模型的全部模型参数;
或者,多个业务方设备的部分模型参数与服务器的部分模型参数在假定组合后构成所述业务预测模型的全部模型参数;所述对所述待预测数据进行业务预测的步骤,包括:基于多个业务方设备和所述服务器中的业务预测模型,通过多个业务方设备以及所述服务器之间利用MPC进行的数据交互,对所述待预测数据进行业务预测。
12.一种针对多方联合业务预测进行数据监控的方法,通过监控设备和多个业务方设备对利用多方安全计算MPC的联合业务预测进行数据监控,所述方法通过所述监控设备执行,包括:
接收多个业务方设备发送的统计特征,所述统计特征是基于对待预测数据和对应的预测结果进行统计得到,其中不包含隐私数据;所述预测结果基于多个业务方设备之间利用MPC进行的数据交互以及各自的业务预测模型,对所述待预测数据进行业务预测得到;
对多个业务方设备的统计特征进行联合处理,得到联合处理结果。
13.一种针对多方联合业务预测进行数据监控的方法,通过监控设备和多个业务方设备对利用多方安全计算MPC的联合业务预测进行数据监控;
其中,任意一个业务方设备,获取所述业务方设备的包含隐私数据的待预测数据;基于多个业务方设备中的业务预测模型,通过多个业务方设备之间利用MPC进行的数据交互,对所述待预测数据进行业务预测,使得所述业务方设备得到针对所述待预测数据的预测结果;将所述待预测数据和对应的预测结果添加至待统计数据集;当预设的统计条件满足时,对所述待统计数据集中的未统计数据进行统计,得到不包含隐私数据的统计特征;将所述统计特征发送至所述监控设备;
所述监控设备,接收多个业务方设备发送的统计特征,对多个业务方设备的统计特征进行联合处理。
14.根据权利要求13所述的方法,还包括:
在对多个业务方设备的统计特征进行联合处理之后,利用联合处理结果中的相关数据,确定针对多个业务方设备中的业务预测模型的修正方案。
15.一种针对多方联合业务预测进行数据监控的装置,通过监控设备和多个业务方设备对利用多方安全计算MPC的联合业务预测进行数据监控,所述装置部署在任意一个业务方设备中,包括:
获取模块,配置为,获取所述业务方设备的包含隐私数据的待预测数据;
预测模块,配置为,基于多个业务方设备中的业务预测模型,通过多个业务方设备之间利用MPC进行的数据交互,对所述待预测数据进行业务预测,使得所述业务方设备得到针对所述待预测数据的预测结果;
添加模块,配置为,将所述待预测数据和对应的预测结果添加至待统计数据集;
统计模块,配置为,当预设的统计条件满足时,对所述待统计数据集中的未统计数据进行统计,得到不包含隐私数据的统计特征;
发送模块,配置为,将所述统计特征发送至所述监控设备,以使得所述监控设备对多个业务方设备发送的统计特征进行联合处理。
16.根据权利要求15所述的装置,所述统计模块,具体配置为:
选择以下方式中的若干种进行统计:
对所述待统计数据集中的待预测数据进行统计;
对所述待统计数据集中的预测结果进行统计;
对所述待统计数据集中的多条待预测数据与预测结果的对应关系进行统计。
17.根据权利要求15或16所述的装置,所述统计特征包括以下中的若干种:最大值、最小值、平均值、中位值、分桶数据。
18.根据权利要求16所述的装置,所述统计特征包括分桶数据;所述统计模块,具体配置为:
获取未统计数据的若干个分桶区间;
确定多个分桶区间内所述待统计数据集中的未统计数据的数量,得到分桶数据;
其中,所述统计模块,获取未统计数据的若干个分桶区间时,包括:
当未统计数据为所述待预测数据时,针对所述待预测数据中包含的特征项确定分桶区间;
当未统计数据为所述预测结果时,针对所述预测结果的取值确定分桶区间;
当未统计数据为所述对应关系时,针对所述待预测数据中包含的特征项确定分桶区间;
所述统计模块,确定多个分桶区间内所述待统计数据集中的未统计数据的数量时,包括:
当未统计数据为所述对应关系时,基于多条所述对应关系,确定多个分桶区间内预测结果的数量,得到分桶数据。
19.一种针对多方联合业务预测进行数据监控的装置,通过监控设备和多个业务方设备对利用多方安全计算MPC的联合业务预测进行数据监控,所述装置部署在所述监控设备中,包括:
接收模块,配置为,接收多个业务方设备发送的统计特征,所述统计特征是基于对待预测数据和对应的预测结果进行统计得到,其中不包含隐私数据;所述预测结果基于多个业务方设备之间利用MPC进行的数据交互以及各自的业务预测模型,对所述待预测数据进行业务预测得到;
处理模块,配置为,对多个业务方设备的统计特征进行联合处理,得到联合处理结果。
20.一种针对多方联合业务预测进行数据监控的***,包括监控设备和多个业务方设备,所述监控设备和多个业务方设备对利用多方安全计算MPC的联合业务预测进行数据监控;
其中,任意一个业务方设备,用于获取所述业务方设备的包含隐私数据的待预测数据;基于多个业务方设备中的业务预测模型,通过多个业务方设备之间利用MPC进行的数据交互,对所述待预测数据进行业务预测,使得所述业务方设备得到针对所述待预测数据的预测结果;将所述待预测数据和对应的预测结果添加至待统计数据集;当预设的统计条件满足时,对所述待统计数据集中的未统计数据进行统计,得到不包含隐私数据的统计特征;将所述统计特征发送至所述监控设备;
所述监控设备,用于接收多个业务方设备发送的统计特征,对多个业务方设备的统计特征进行联合处理。
21.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-14中任一项所述的方法。
22.一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-14中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110830690.3A CN113377625B (zh) | 2021-07-22 | 2021-07-22 | 针对多方联合业务预测进行数据监控的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110830690.3A CN113377625B (zh) | 2021-07-22 | 2021-07-22 | 针对多方联合业务预测进行数据监控的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113377625A CN113377625A (zh) | 2021-09-10 |
CN113377625B true CN113377625B (zh) | 2022-05-17 |
Family
ID=77582725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110830690.3A Active CN113377625B (zh) | 2021-07-22 | 2021-07-22 | 针对多方联合业务预测进行数据监控的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113377625B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114756895B (zh) * | 2022-06-16 | 2022-08-26 | 深圳市洞见智慧科技有限公司 | 基于同态加密的匿踪数据核验方法及*** |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110942147A (zh) * | 2019-11-28 | 2020-03-31 | 支付宝(杭州)信息技术有限公司 | 基于多方安全计算的神经网络模型训练及预测方法、装置 |
CN112084520A (zh) * | 2020-09-18 | 2020-12-15 | 支付宝(杭州)信息技术有限公司 | 保护数据隐私的双方联合训练业务预测模型的方法及装置 |
CN112148801A (zh) * | 2020-11-24 | 2020-12-29 | 支付宝(杭州)信息技术有限公司 | 保护数据隐私的多方联合进行业务对象预测的方法及装置 |
CN112199706A (zh) * | 2020-10-26 | 2021-01-08 | 支付宝(杭州)信息技术有限公司 | 基于多方安全计算的树模型的训练方法和业务预测方法 |
CN112241549A (zh) * | 2020-05-26 | 2021-01-19 | ***股份有限公司 | 安全的隐私计算方法、服务器、***以及存储介质 |
EP3779752A1 (en) * | 2018-08-14 | 2021-02-17 | Advanced New Technologies Co., Ltd. | Secure multi-party computation method and apparatus, and electronic device |
CN112560085A (zh) * | 2020-12-10 | 2021-03-26 | 支付宝(杭州)信息技术有限公司 | 业务预测模型的隐私保护方法及装置 |
CN112883387A (zh) * | 2021-01-29 | 2021-06-01 | 南京航空航天大学 | 一种面向机器学习全流程的隐私保护方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3662615B1 (en) * | 2017-08-03 | 2023-01-11 | HRL Laboratories, LLC | Privacy-preserving multi-client and cloud computation with application to secure navigation |
-
2021
- 2021-07-22 CN CN202110830690.3A patent/CN113377625B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3779752A1 (en) * | 2018-08-14 | 2021-02-17 | Advanced New Technologies Co., Ltd. | Secure multi-party computation method and apparatus, and electronic device |
CN110942147A (zh) * | 2019-11-28 | 2020-03-31 | 支付宝(杭州)信息技术有限公司 | 基于多方安全计算的神经网络模型训练及预测方法、装置 |
CN112241549A (zh) * | 2020-05-26 | 2021-01-19 | ***股份有限公司 | 安全的隐私计算方法、服务器、***以及存储介质 |
CN112084520A (zh) * | 2020-09-18 | 2020-12-15 | 支付宝(杭州)信息技术有限公司 | 保护数据隐私的双方联合训练业务预测模型的方法及装置 |
CN112199706A (zh) * | 2020-10-26 | 2021-01-08 | 支付宝(杭州)信息技术有限公司 | 基于多方安全计算的树模型的训练方法和业务预测方法 |
CN112148801A (zh) * | 2020-11-24 | 2020-12-29 | 支付宝(杭州)信息技术有限公司 | 保护数据隐私的多方联合进行业务对象预测的方法及装置 |
CN112560085A (zh) * | 2020-12-10 | 2021-03-26 | 支付宝(杭州)信息技术有限公司 | 业务预测模型的隐私保护方法及装置 |
CN112883387A (zh) * | 2021-01-29 | 2021-06-01 | 南京航空航天大学 | 一种面向机器学习全流程的隐私保护方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113377625A (zh) | 2021-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240176995A1 (en) | Predicting likelihoods of conditions being satisfied using recurrent neural networks | |
US10402721B2 (en) | Identifying predictive health events in temporal sequences using recurrent neural network | |
Perifanis et al. | Federated neural collaborative filtering | |
Fan et al. | Improving fairness for data valuation in horizontal federated learning | |
Wink et al. | An approach for peer-to-peer federated learning | |
Xiao et al. | Joint modeling of event sequence and time series with attentional twin recurrent neural networks | |
US20170032241A1 (en) | Analyzing health events using recurrent neural networks | |
Alamleh et al. | Federated learning for IoMT applications: A standardization and benchmarking framework of intrusion detection systems | |
US20110071962A1 (en) | Method and system of using network graph properties to predict vertex behavior | |
Gao et al. | FGFL: A blockchain-based fair incentive governor for Federated Learning | |
CN117788176A (zh) | 用于评估和缓解网路安全风险的***和方法 | |
WO2022228688A1 (en) | Automated fraud monitoring and trigger-system for detecting unusual patterns associated with fraudulent activity, and corresponding method thereof | |
CN113377625B (zh) | 针对多方联合业务预测进行数据监控的方法及装置 | |
US20230262491A1 (en) | System and method for reducing system performance degradation due to excess traffic | |
Bozorgi et al. | Prescriptive process monitoring based on causal effect estimation | |
Zheng et al. | Modeling the dynamic trust of online service providers using HMM | |
Khan et al. | Vertical federated learning: A structured literature review | |
CN111833078A (zh) | 基于区块链的推荐方法、装置、介质及电子设备 | |
US11301879B2 (en) | Systems and methods for quantifying customer engagement | |
Wong et al. | Insights into fairness through trust: Multi-scale trust quantification for financial deep learning | |
Mohammadi et al. | Balancing privacy and performance in federated learning: A systematic literature review on methods and metrics | |
Arazzi et al. | KDk: A Defense Mechanism Against Label Inference Attacks in Vertical Federated Learning | |
Kumar et al. | Review on Social Network Trust With Respect To Big Data Analytics | |
Rahmatikargar et al. | Social Isolation Detection in Palliative Care Using Social Network Analysis | |
JP7501611B2 (ja) | Sns分析システム、sns分析方法、及び、sns分析プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |