CN105488186A - 一种去中心化的分布式信用征信查询发布方法 - Google Patents

Abstract

本发明涉及计算机数据处理技术领域，具体来说是一种去中心化的分布式信用征信的查询个人和单位信用信息的发布方法，是将用户输入的征信请求使用集群并发机制进行分发，将请求细分为对若干平台的征信请求，并发机制将对若干P2P网贷平台的请求通过接口分发到相应的平台子***请求查询，平台子***在查询自己的数据库后将查询结果返回，查询处理器收集所有平台子***的查询结果，进行查询结果合并，并将合并后的查询结果展示给用户，查询结果和合并后的结果不进行持久化和存储，进行满足每次查询请求所返回征信结果的实时性。本发明的整个***安全性、稳定性提高，灵活性高，接入速度快。

Description

一种去中心化的分布式信用征信查询发布方法

[技术领域]

本发明涉及计算机数据处理技术领域，具体来说是一种去中心化的分布式信用征信的查询个人和单位信用信息的发布方法。

[背景技术]

中国的信用体系尚不成熟，尤其是民间借贷的征信***才刚刚起步，大量的民间借贷信息有待通过一个高效的机制实现共享查询。目前市场上民间借贷征信***一般以中心服务器模式运行，所有征信数据全部需录入中心服务器，查询时也全都通过中心服务器，此种模式存在以下弊端：

一、该模式需要征信数据来源机构按要求提供全部的征信数据，合作机构心理门槛较高，尤其对于不同机构的征信数据体量间存在较大差异的，拥有较多征信数据的机构更倾向于不对外开放自己的征信数据，而有些征信公司想购买这些数据，但费用非常之高，由此难以形成一个充分市场化、开放、高效、全面的民间借贷征信***。

二、同时，原有的征信***中心服务器的数据查询压力、信息安全压力都非常大，需要投入极大的成本对中心服务器进行维护，以确保其高效、稳定、安全的运行。

民间借贷机构是希望各自的数据能够产生价值的，同时特别希望将那些逾期的借款人的信息公开出来，让其他出借人查询到他们的不良记录，让不守信用的借款人到任何地方都不能顺利借款，为不守信用买单。但基于上述因素，目前征信数据全面铺开的步伐很慢。

目前，国内所有的大数据分析、云计算、征信等领域基本都是以中央数据库的方式来存储数据,云计算是分布式计算技术的一种，其基本原理是通过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大***经搜寻、计算分析之后将处理结果回传给用户。网络服务提供者可以在数秒之内，达成处理数以千万计甚至亿计的信息。这样做的缺点是大量数据集中式管理，给征信公司、数据管理公司造成的困扰有以下几点：

获取大量的数据的方式：传统的做法是需要数据的时候，会去各个数据提供方把数据采集过来，然后导入到中央数据库.这样不能保证数据是实时的，中间必定会有个延时，数据获取时间较长。

管理大量数据的安全性：以前大量的数据集中在一个数据库集群，当数据库被别人攻击后，由于数据已经被事先收集在一个中央数据库，整个集群的数据都可能对外流出，当黑客攻击的时候，直接进入到了中央数据库后，大量行业相关数据一下全部被泄露了，使得黑客相关人员获取数据变得相对快速，数据的安全性得不到保障。

[发明内容]

本***是采用云计算技术，实现分布式的民间借贷信息共享和查询，满足了民间借贷机构的需求，又避免了传统征信***带来的问题的去中心化的分布式信用征信查询发布方法。

为了实现上述目的，设计一种去中心化的分布式信用征信查询发布方法，将用户输入的征信请求使用集群并发机制进行分发，将请求细分为对若干平台的征信请求，并发机制将对若干P2P网贷平台的请求通过接口分发到相应的平台子***请求查询，平台子***在查询自己的数据库后将查询结果返回，查询处理器收集所有平台子***的查询结果，进行查询结果合并，并将合并后的查询结果展示给用户，查询结果和合并后的结果不进行持久化和存储，进行满足每次查询请求所返回征信结果的实时性。

所述的方法具体步骤如下：当用户进入查询界面的时候,输入身份证和姓名，点击查询，服务器会把订单广播到所有分布式查询引擎进行处理,每一个平台请求任务由一个zookeeper节点监控，分布式查询引擎向相应的数据节点发送通信请求获取数据，当zookeeper监控到结果1和结果2完成或者超时会发起合并任务，合并结果1和结果2的结果，并监控此合并任务，超时请求3次，如果还失败,自动放弃该请求，对该接口进行告警，当zookeeper监控到合并完毕,则发起上一层的合并任务，直至整个广播任务合并完成。

所述的方法通过对外门户、zookeeper集群、分布式查询引擎和平台接口四个功能模块实现，用户从对外门户登陆，并且发起请求查询任务，门户会对请求进行广播至各分布式查询引擎，分布式查询引擎中的每一个任务由zookeeper集群来管理,每个引擎会对平台接口请求做负载均衡的控制，平台接口接到请求，完成相应的安全验证后，去各平台取数据，取到数据后，把数据通过指定的密钥加密返回，分布式查询引擎接到返回后，对该数据完成签名的验证,并对该任务所有返回值进行结果集的合并，该任务的结果集合并完成后,zookeeper集群会监控到任务状态的改变。

所述的方法中所有征信信息均存储在接入本征信信息***的各P2P网贷平台自身的数据库中，在用户查询征信信息时，本***与所有接入的P2P平台子***进行通信以获取征信信息，并进行结果合并以提供一次查询的完整结果。

所述的方法通过征信信息***实现，征信信息***使用分布式的计算机网络和信息***来达成整体***目标，完成一个查询请求需要多个计算机***协作完成，当一个查询被拆分为多个子查询时，每个子查询在分布在互联网中的多个计算机***中完成。

所述的方法具体如下：当用户提交征信信息查询请求时，该查询会被分配一个唯一的ID用于标识该查询的唯一性，由查询服务器中的查询分发器将用户征信信息查询拆分为对若干个目标P2P平台查询子***的子查询请求，每个子查询同样会被分配一个唯一的ID用于标识该子查询的唯一性，并将这些子查询请求发送给对应的P2P平台的查询子***进行查询。

所述的方法具体如下：当各被查询P2P平台的查询子***在自身的数据库中查询到结果后，将查询结果返回给查询调度器，返回结果中会包含该结果所对应的子查询ID，查询调度器会根据子查询ID找到查询ID，并将所有对应该查询ID的子查询结果合并到该查询ID所对应的查询结果中。

所述的方法具体如下：将所有用户的查询请求使用队列进行排队，每个查询拆分后的若干子查询也使用队列进行排队，查询服务器采用线程池和Actor并发模型并发机制方法，并发的从队列中取出查询和子查询进行处理以保证查询的高效性。

所述的方法具体如下：

a.同步展示查询结果方式，用户在查询界面提交查询请求后，一直等待知道查询结果返回并在界面上显示，在过程中如果用户退出或关闭界面下次进入***后，上次的查询请求将不再存在；

b.异步展示查询结果方式用户在查询界面提交查询请求后，***提示用户查询的处理状态为正在查询处理中，当查询结果返回时，***提示查询状态为查询完成，并将查询结果显示给用户，在查询过程中用户可以退出或关闭***界面，再次进入仍可以查看到之前的查询请求的状态和结果。

与现有技术相比，本发明具有以下优点：

1.获取数据时通过与各平台建立的连接进行获取，没有中央数据库，当其他平台的数据进行改变的时候,会通过接口的查询获取到当前的最新数据；

2.安全方面,由于本***的数据在各个节点,每个节点是不同的平台,即时受到黑客攻击也不可能一下子全部获取到所有平台的数据，并采用了SSL双向认证，数据签名加密技术，这样对整个***的安全性也有了很大的提高，即使黑客拿到数据，也需要解密才能看到，有效防止数据的大量流出，最大的保证了平台的数据安全，整个***安全性、稳定性提高；

3.最终的数据合并是采用并行计算的,以空间换时间的思路来最大限度的保证最后结果的合并能快速的完成，灵活性高，接入速度快。

[附图说明]

图1为本发明的分布式通信连接流程图；

图2为本发明的分布式通信连接***架构图。

指定图1作为本发明的摘要附图。

[具体实施方式]

下面结合附图对本发明作进一步说明，这种装置的结构和原理对本专业的人来说是非常清楚的。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如附图1及图2所示，本***将用户输入的征信请求使用集群并发机制进行分发，将请求细分为对若干平台的征信查询请求，并发机制将对若干P2P网贷平台的请求通过接口分发到相应的平台子***请求查询，平台子***在查询自己的数据库后将查询结果返回，查询处理器收集所有平台子***的查询结果，进行查询结果合并，并将合并后的查询结果展示给用户。查询结果和合并后的结果不进行持久化和存储，进行满足每次查询请求所返回征信结果的实时性。本方法去中心化的并发实时征信信息***，一方面提高了征信信息的实时性，提高了用户体验；另一方面也有效避免了敏感信息的集中存储，和被非法恶意滥用，达到了按需提供的目的。

本征信信息***无征信信息中心数据库装置，所有征信信息均存储在接入本征信信息***的各P2P网贷平台自身的数据库中，也没有任何一家公司或机构存储有所有平台的征信信息，在用户查询征信信息时，本***与所有接入的P2P平台子***进行通信以获取征信信息，并进行结果合并以提供一次查询的完整结果。本征信信息***使用分布式的计算机网络和信息***来达成整体***目标，完成一个查询请求需要多个计算机***协作完成，当一个查询被拆分为多个子查询时，每个子查询在分布在互联网中的多个计算机***中完成，而不是在一个集中的计算机***中完成的。

当用户进入查询界面的时候，输入身份证和姓名，点击查询，服务器会把订单广播到所有分布式查询引擎进行处理,每一个平台请求任务由一个zookeeper节点监控，分布式查询引擎向相应的数据节点发送通信请求获取数据，当zookeeper监控到结果1和结果2完成或者超时会发起合并任务，合并结果1和结果2的结果，并监控此合并任务，超时请求3次，如果还失败,自动放弃该请求，对该接口进行告警，当zookeeper监控到合并完毕,则发起上一层的合并任务，直至整个广播任务合并完成。

本***通过对外门户、zookeeper集群、分布式查询引擎和平台接口四个功能模块实现，用户从对外门户登陆，并且发起请求查询任务，门户会对请求进行广播至各分布式查询引擎，分布式查询引擎中的每一个任务由zookeeper集群来管理，每个引擎会对平台接口请求做负载均衡的控制，平台接口接到请求，完成相应的安全验证后，去各平台取数据，取到数据后，把数据通过指定的密钥加密返回，分布式查询引擎接到返回后，对该数据完成签名的验证，并对该任务所有返回值进行结果集的合并，该任务的结果集合并完成后,zookeeper集群会监控到任务状态的改变。

稳定性：本征信信息***采用分布式设计，用户从网关服务器***，网关服务器将用户请求转发到后端查询服务器，查询服务器将查询请求分发到若干P2P平台查询***获取查询结果。整个***至少配备有一台网关、一台查询服务器、一个平台查询子***，在用户接入服务器采用HighAvailable高可用方案，协调器类似zookeeper这样的产品配合业务应用定时的心跳检测，能感知引擎宕机后能立刻反馈到业务应用，避免出现无效的请求调用，网关、查询服务器都支持线性扩展，支持动态负载均衡配置，无单点失效问题，支持全天候提供7*24小时不间断服务。

安全性，本征信信息***进行了多重安全设计，具体采用的安全措施有：

数据与服务器安全：

1.只有网关才提供对外服务通道，用户所有的查询请求都是通过网关提交进来的，网关服务器本身不提供任何数据服务器，只是提供普通用户查询服务的接入服务。

2.查询服务器处于被隔离内网，所有查询服务器均关闭所有对外端口和禁用公网IP，从外网无法进入任何查询服务器。

3.接入服务器是进入隔离内网的唯一通道，只有***管理员才能够通过专门的***维护的接入服务器才能够进入被隔离的内网进行查询服务器的维护。

4.发布服务器是更新版本唯一通道，对征信***的升级和配置更新，只有发布服务器才有权限进行，且发布服务器也只有***管理员必须从接入服务器才能进入。

传输安全与用户身份鉴别：

1.用户和***管理员接入***时采用短信验证码认证和RSAkey动态密码认证的方法来对用户身份进行验证，确保操作用户就是该用户本人。

2.数据传输使用非对称公私钥加密模型，确保数据在通信信道上的安全，即使数据被窃听了也不会泄露明文信息。

分布式征信查询***是蜜蜂数据针对互金行业提出的技术解决方案，也可以用于所有对于大数据计算，具体为：

1.用户向蜜蜂数据发出查询请求，请求会分发到各分布式查询引擎来处理，平台请求任务在任务创建的时候，对各任务处理的接口数量做了负载的平均分配；

2.当平台请求任务对该任务下的多个接口同时发出请求的时候，该任务会从线程池中取相应空闲线程，每个接口分配一个线程，对接口发出异步请求，向各平台数据节点取可供查询的数据；

3.当接口接收到请求后，会对请求的有效性，做SSL签名认证的检查，验证通过后，进行具体的数据查询操作，查到数据后，会对数据进行加密传输返回给平台请求任务；

4.查询引擎接收到返回后，对数据进行合并，如果超时，就做3次尝试，合并完成后，会把该任务合并的结果集放在分布式缓存redis中，同时更改zookeeper任务状态，发现其他同级任务也完成了合并时，zookeeper会启动另外一个任务，对结果进行二次合并，一层层递归至该任务结果合并成一个结果集。

Claims (9)

1.一种去中心化的分布式信用征信查询发布方法，其特征在于将用户输入的征信请求使用集群并发机制进行分发，将请求细分为对若干平台的征信请求，并发机制将对若干P2P网贷平台的请求通过接口分发到相应的平台子***请求查询，平台子***在查询自己的数据库后将查询结果返回，查询处理器收集所有平台子***的查询结果，进行查询结果合并，并将合并后的查询结果展示给用户，查询结果和合并后的结果不进行持久化和存储，进行满足每次查询请求所返回征信结果的实时性。

2.如权利要求1所述的一种去中心化的分布式信用征信查询发布方法，其特征在于所述的方法具体步骤如下：当用户进入查询界面的时候，输入身份证和姓名，点击查询，服务器会把订单广播到所有分布式查询引擎进行处理,每一个平台请求任务由一个zookeeper节点监控，分布式查询引擎向相应的数据节点发送通信请求获取数据，当zookeeper监控到结果1和结果2完成或者超时会发起合并任务，合并结果1和结果2的结果，并监控此合并任务，超时请求3次，如果还失败,自动放弃该请求，对该接口进行告警，当zookeeper监控到合并完毕,则发起上一层的合并任务，直至整个广播任务合并完成。

3.如权利要求1所述的一种去中心化的分布式信用征信查询发布方法，其特征在于所述的方法通过对外门户、zookeeper集群、分布式查询引擎和平台接口四个功能模块实现，用户从对外门户登陆，并且发起请求查询任务，门户会对请求进行广播至各分布式查询引擎，分布式查询引擎中的每一个任务由zookeeper集群来管理，每个引擎会对平台接口请求做负载均衡的控制，平台接口接到请求，完成相应的安全验证后，去各平台取数据，取到数据后，把数据通过指定的密钥加密返回，分布式查询引擎接到返回后，对该数据完成签名的验证，并对该任务所有返回值进行结果集的合并，该任务的结果集合并完成后,zookeeper集群会监控到任务状态的改变。

4.如权利要求1所述的一种去中心化的分布式信用征信查询发布方法，其特征在于所述的方法中所有征信信息均存储在接入本征信信息***的各P2P网贷平台自身的数据库中，在用户查询征信信息时，本***与所有接入的P2P平台子***进行通信以获取征信信息，并进行结果合并以提供一次查询的完整结果。

5.如权利要求1所述的一种去中心化的分布式信用征信查询发布方法，其特征在于所述的方法通过征信信息***实现，征信信息***使用分布式的计算机网络和信息***来达成整体***目标，完成一个查询请求需要多个计算机***协作完成，当一个查询被拆分为多个子查询时，每个子查询在分布在互联网中的多个计算机***中完成。

6.如权利要求1所述的一种去中心化的分布式信用征信查询发布方法，其特征在于所述的方法具体如下：当用户提交征信信息查询请求时，该查询会被分配一个唯一的ID用于标识该查询的唯一性，由查询服务器中的查询分发器将用户征信信息查询拆分为对若干个目标P2P平台查询子***的子查询请求，每个子查询同样会被分配一个唯一的ID用于标识该子查询的唯一性，并将这些子查询请求发送给对应的P2P平台的查询子***进行查询。

7.如权利要求1所述的一种去中心化的分布式信用征信查询发布方法，其特征在于所述的方法具体如下：当各被查询P2P平台的查询子***在自身的数据库中查询到结果后，将查询结果返回给查询调度器，返回结果中会包含该结果所对应的子查询ID，查询调度器会根据子查询ID找到查询ID，并将所有对应该查询ID的子查询结果合并到该查询ID所对应的查询结果中。

8.如权利要求1所述的一种去中心化的分布式信用征信查询发布方法，其特征在于所述的方法具体如下：将所有用户的查询请求使用队列进行排队，每个查询拆分后的若干子查询也使用队列进行排队，查询服务器采用线程池和Actor并发模型并发机制方法，并发的从队列中取出查询和子查询进行处理以保证查询的高效性。

9.如权利要求1所述的一种去中心化的分布式信用征信查询发布方法，其特征在于所述的方法具体如下：

a.同步展示查询结果方式，用户在查询界面提交查询请求后，一直等待知道查询结果返回并在界面上显示，在过程中如果用户退出或关闭界面下次进入***后，上次的查询请求讲不再存在；

b.异步展示查询结果方式用户在查询界面提交查询请求后，***提示用户查询的处理状态为正在查询处理中，当查询结果返回时，***提示查询状态为查询完成，并将查询结果显示给用户，在查询过程中用户可以退出或关闭***界面，再次进入仍可以查看到之前的查询请求的状态和结果。