CN116630034B - 一种风控数据处理***及方法 - Google Patents

一种风控数据处理***及方法 Download PDF

Info

Publication number
CN116630034B
CN116630034B CN202310902818.1A CN202310902818A CN116630034B CN 116630034 B CN116630034 B CN 116630034B CN 202310902818 A CN202310902818 A CN 202310902818A CN 116630034 B CN116630034 B CN 116630034B
Authority
CN
China
Prior art keywords
data
data source
delay
core
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310902818.1A
Other languages
English (en)
Other versions
CN116630034A (zh
Inventor
唐波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangyin Consumer Finance Co ltd
Original Assignee
Hangyin Consumer Finance Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangyin Consumer Finance Co ltd filed Critical Hangyin Consumer Finance Co ltd
Priority to CN202310902818.1A priority Critical patent/CN116630034B/zh
Publication of CN116630034A publication Critical patent/CN116630034A/zh
Application granted granted Critical
Publication of CN116630034B publication Critical patent/CN116630034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种风控数据处理***及方法，属于金融数据处理技术领域，具体包括：将数据源划分为一般数据源和核心数据源；通过数据源的后台服务器的平均响应时间以及每秒查询率，并结合数据源在被单次调用时的平均读取次数以及读取数据量将数据源划分为延时数据源和正常数据源；通过一般数据源的数量和核心数据源的数量、延时数据源的数量和正常数据源的数量进行数据层中间件的数量的确定，通过数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和确定数据层中间件的数据处理顺序，从而进一步提升了信贷申请处理的效率和准确性。

Description

一种风控数据处理***及方法
技术领域
本发明属于金融数据处理技术领域，尤其涉及一种风控数据处理***及方法。
背景技术
为了实现对用户的授信处理，往往需要从多个数据源进行数据的获取，例如人行信息、学历、公积金、社保、金融机构黑白名单、自建模型评分等等三方数据、机构内部数据，但是由于不同的数据源的数据通讯协议的差异，因此导致数据的获取效率以及获取难度都会受到一定的影响。
为了解决不同的数据源的数据通讯协议的差异的问题，在发明专利《一种数据源管理***》中通过数据层中间件设置的统一接口以及封装的通用处理逻辑实现应用客户端对数据源的操作，应用客户端接入数据层中间件，通过数据层中间件提供统一的数据操作接口，可间接完成对数据源的操作，但是却存在以下技术问题：
当数据源的数量较多时，采用单一的数据层中间件会导致不同的数据源的数据的读取效率会受到一定程度的影响，特别是在授信处理时，由于需要进行调用和读取的数据源的数量较多，因此若不考虑调用情况以及数据进行中间件的数量的设置，则会导致数据源的数据处理的效率会受到一定程度的影响。
未考虑结合历史数据进行数据源的数量的确定，具体的，对于不同的数据源的单次调用时的数据量以及不同数据源的服务器的延迟都不同，因此若不能考虑上述因素，同样无法实现高效的对数据源的数据进行处理。
针对上述技术问题，本发明提供了一种风控数据处理***及方法。
发明内容
为实现本发明目的，本发明采用如下技术方案：
根据本发明的一个方面，提供了一种风控数据处理方法。
一种风控数据处理方法，其特征在于，具体包括：
S11获取在进行用户的授信申请时所需读取的数据源，并根据所述数据源在被单次调用时的读取数据量、数据源的类型、数据源的历史调用失败次数将所述数据源划分为一般数据源和核心数据源；
S12通过所述数据源的后台服务器的平均响应时间以及每秒查询率，并结合数据源在被单次调用时的平均读取次数以及读取数据量确定所述数据源的延时预测值，并根据所述延时预测值将所述数据源划分为延时数据源和正常数据源；
S13通过所述一般数据源的数量和核心数据源的数量、延时数据源的数量和正常数据源的数量进行数据层中间件的数量的确定，并当进行用户的授信申请处理时，进入下一步骤；
S14通过所述数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行所述数据层中间件的读取优先值的确定，并根据所述读取优先值确定所述数据层中间件的数据处理顺序。
进一步的，所述数据源的类型包括但不限于人行信息、学历、公积金、社保、金融机构黑白名单、自建模型评分。
进一步的，将所述数据源划分为一般数据源和核心数据源，具体包括：
获取所述数据源的历史调用失败次数，并根据所述数据源的历史调用失败次数确定所述数据源是否为核心数据源，若是，则确定所述数据源为核心数据源，若否，则进入下一步骤；
获取所述数据源的类型，并根据所述数据源的类型确定所述数据源是否为核心数据源，若是，则确定所述数据源为核心数据源，若否，则进入下一步骤；
根据所述数据源的类型确定所述数据源是否为一般数据源，若是，则确定所述数据源为一般数据源，若否，则进入下一步骤；
获取所述数据源在被单次调用时的读取数据量，并根据所述数据源在被单次调用时的读取数据量确定所述数据源是否为核心数据源，若是，则进入下一步骤；
通过所述数据源在被单次调用时的读取数据量、数据源的类型、数据源的历史调用失败次数进行所述数据源的核心度评价值的确定，并根据所述核心度评价值将所述数据源划分为核心数据源和一般数据源。
进一步的，根据所述核心度评价值将所述数据源划分为核心数据源和一般数据源，具体包括：
根据所述数据源的类型确定所述数据源的第一限定值和第二限定值的确定，其中第一限定值大于第二限定值；
当所述数据源的核心度评价值大于第一限定值时，则将所述数据源作为核心数据源；
当所述数据源的核心度评价值大于第二限定值且不大于第一限定值时，通过所述数据源在被单次调用时的读取数据量确定所述数据源为核心数据源或者一般数据源；
当所述数据源的核心度评价值不大于第二限定值时，则确定所述数据源为一般数据源。
进一步的，所述数据源的类型包括一般数据源和核心数据源。
第二方面，本发明提供了一种计算机***，包括：通信连接的存储器和处理器，以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，其特征在于：所述处理器运行所述计算机程序时执行上述的一种风控数据处理方法。
第三方面，本发明提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述的一种风控数据处理方法。
本发明的有益效果在于：
通过根据所述数据源在被单次调用时的读取数据量、数据源的类型、数据源的历史调用失败次数将所述数据源划分为一般数据源和核心数据源，从而实现了从数据源的历史故障情况以及类型和数据量的角度对数据源进行评估，实现了对核心数据源的筛选，这也为进一步提升数据层中间件的设置的准确性奠定了基础。
通过根据所述延时预测值将所述数据源划分为延时数据源和正常数据源，从而实现了从延时情况实现了对数据源的区分，保证了数据源的延时情况的评估的准确性，同时通过延时数据源的区分，也为进一步提升数据层中间件的设置的数量的准确性奠定了基础。
通过一般数据源的数量和核心数据源的数量、延时数据源的数量和正常数据源的数量进行数据层中间件的数量的确定，从而实现了从不同的数据源的类型的角度对数据层中间件的数量的确定，在保证数据源的读取的效率的基础上，同时也满足了数据源的读取可靠性的需求。
通过数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行所述数据层中间件的读取优先值的确定，从而不仅仅保证了数据源的读取的时效性的要求，同时也保证了核心数据源的读取的优先性和可靠性的需求。
其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显；
图1是一种风控数据处理方法的流程图；
图2是数据源的延时预测值确定的具体步骤的流程图；
图3是数据层中间件的数量确定的具体步骤的流程图；
图4是基于数量修正值以及基础数量进行数据层中间件的数量的确定的具体步骤的流程图；
图5是一种计算机***的框架图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
为解决上述问题，根据本发明的一个方面，如图1所示，提供了根据本发明的一个方面，提供了一种风控数据处理方法，其特征在于，具体包括：
S11获取在进行用户的授信申请时所需读取的数据源，并根据所述数据源在被单次调用时的读取数据量、数据源的类型、数据源的历史调用失败次数将所述数据源划分为一般数据源和核心数据源；
需要说明的是，所述数据源的类型包括但不限于人行信息、学历、公积金、社保、金融机构黑白名单、自建模型评分。
具体的举例说明，将所述数据源划分为一般数据源和核心数据源，具体包括：
获取所述数据源的历史调用失败次数，并根据所述数据源的历史调用失败次数确定所述数据源是否为核心数据源，若是，则确定所述数据源为核心数据源，若否，则进入下一步骤；
需要说明的是，当历史调用失败次数较多时，则确定数据源为核心数据源。
获取所述数据源的类型，并根据所述数据源的类型确定所述数据源是否为核心数据源，若是，则确定所述数据源为核心数据源，若否，则进入下一步骤；
可以理解的是，例如人行信息、金融机构黑白名单等重要程度较高，因此必须将其直接作为核心数据源。
根据所述数据源的类型确定所述数据源是否为一般数据源，若是，则确定所述数据源为一般数据源，若否，则进入下一步骤；
获取所述数据源在被单次调用时的读取数据量，并根据所述数据源在被单次调用时的读取数据量确定所述数据源是否为核心数据源，若是，则进入下一步骤；
需要说明的是，读取数据量较多时，则确定数据源为核心数据源。
通过所述数据源在被单次调用时的读取数据量、数据源的类型、数据源的历史调用失败次数进行所述数据源的核心度评价值的确定，并根据所述核心度评价值将所述数据源划分为核心数据源和一般数据源。
具体的举例说明，根据所述核心度评价值将所述数据源划分为核心数据源和一般数据源，具体包括：
根据所述数据源的类型确定所述数据源的第一限定值和第二限定值的确定，其中第一限定值大于第二限定值；
当所述数据源的核心度评价值大于第一限定值时，则将所述数据源作为核心数据源；
当核心度评价值较大时，则可以直接将其作为核心数据源。
当所述数据源的核心度评价值大于第二限定值且不大于第一限定值时，通过所述数据源在被单次调用时的读取数据量确定所述数据源为核心数据源或者一般数据源；
当所述数据源的核心度评价值不大于第二限定值时，则确定所述数据源为一般数据源。
在本实施例中，通过根据所述数据源在被单次调用时的读取数据量、数据源的类型、数据源的历史调用失败次数将所述数据源划分为一般数据源和核心数据源，从而实现了从数据源的历史故障情况以及类型和数据量的角度对数据源进行评估，实现了对核心数据源的筛选，这也为进一步提升数据层中间件的设置的准确性奠定了基础。
S12通过所述数据源的后台服务器的平均响应时间以及每秒查询率，并结合数据源在被单次调用时的平均读取次数以及读取数据量确定所述数据源的延时预测值，并根据所述延时预测值将所述数据源划分为延时数据源和正常数据源；
具体的举例说明，如图2所示，所述数据源的延时预测值确定的具体步骤为：
S21获取所述数据源的后台服务器的平均响应时间、每秒查询率、并发数，并通过所述数据源的后台服务器的平均响应时间、每秒查询率、并发数进行所述数据源的基础延时评测值的确定；
可以理解的是，基本延时评测值反应的是后台服务器的基本网络的延时情况，同时也跟服务器的实际硬件数据有关。
S22获取所述数据源在被单次调用时的所需的平均请求次数，并基于所述平均请求次数确定是否需要对所述数据源的基础延时评测值进行修正，若是，则进入步骤S25，若否，则进入步骤S23；
需要说明的是，具体的，当数据源在被单次调用时的所需的平均请求次数大于三次之后，服务器才响应，因此必须对数据源的基础延时评测值进行修正，以使得最终的延时评估值更加准确。
S23获取所述数据源在被单次调用时的平均读取次数，并通过所述平均读取次数确定是否需要对所述数据源的基础延时评测值进行修正，若是，则进入步骤S25，若否，则进入步骤S24；
需要说明的是，由于不同数据源的数据量不同，因此有可能单独的一次并不能完成所有的数据的读取，因此可以通过平均读取次数反应上述情况。
S24获取所述数据源在被单次调用时的读取数据量，并通过所述读取数据量确定是否需要对所述数据源的基础延时评测值进行修正，若是，则进入步骤S25，若否，则将所述数据源的基础延时评测值作为所述数据源的延时评测值；
可以理解的是，读取数据量越大，则说明延时评测值越大，此时也必须进行修正。
S25通过所述数据源在被单次调用时的读取数据量、平均读取次数、所需的平均请求次数进行所述数据源的延时修正量的确定，并基于所述延时修正量对所述基础延时评测值进行修正得到所述数据源的延时预测值。
需要说明的是，当所述平均请求次数大于预设次数时，则确定需要对所述数据源的基础延时评测值进行修正。
在本实施例中，通过根据所述延时预测值将所述数据源划分为延时数据源和正常数据源，从而实现了从延时情况实现了对数据源的区分，保证了数据源的延时情况的评估的准确性，同时通过延时数据源的区分，也为进一步提升数据层中间件的设置的数量的准确性奠定了基础。
S13通过所述一般数据源的数量和核心数据源的数量、延时数据源的数量和正常数据源的数量进行数据层中间件的数量的确定，并当进行用户的授信申请处理时，进入下一步骤；
具体的举例说明，如图3所示，所述数据层中间件的数量确定的具体步骤为：
S31通过所述数据源的数量进行所述数据层中间件的基础数量的确定，并通过所述核心数据源的数量以及比例确定是否需要对所述数据层中间件的基础数量进行修正，若是，则进入步骤S34，若否，则进入步骤S32；
当核心数据源的数量或者比例较大时，此时需要进行修正，必须保证核心数据源的读取的实时性和可靠性。
S32通过所述延时数据源的数量以及比例确定是否需要对所述数据层中间件的基础数量进行修正，若是，则进入步骤S34，若否，则进入步骤S33；
S33将所述数据源中同时为核心数据源和延时数据源的数据源作为筛选数据源，并通过所述筛选数据源的数量以及比例确定是否需要对所述数据层中间件的基础数量进行修正，若是，则进入步骤S34，若否，则将所述数据层中间件的基础数量作为所述数据层中间件的数量；
S34通过所述核心数据源的数量以及比例、延时数据源的数量以及比例、筛选数据源的数量以及比例构建数量修正值，并基于所述数量修正值以及所述基础数量进行所述数据层中间件的数量的确定。
需要说明的是，如图4所示，基于所述数量修正值以及所述基础数量进行所述数据层中间件的数量的确定，具体包括：
获取所述数量修正值，并判断所述数量修正值是否大于第一预设修正量，若是，则将所述数量修正值与所述基础数量的和进行所述数据层中间件的修正数量的确定，并通过所述数量修正值构建修正系数，并基于所述修正系数与所述修正数量的乘积进行所述数据层中间件的数量的确定，若否，则进入下一步骤；
通过所述数量修正值与所述基础数量的和进行所述数据层中间件的数量的确定。
在本实施例中，通过一般数据源的数量和核心数据源的数量、延时数据源的数量和正常数据源的数量进行数据层中间件的数量的确定，从而实现了从不同的数据源的类型的角度对数据层中间件的数量的确定，在保证数据源的读取的效率的基础上，同时也满足了数据源的读取可靠性的需求。
S14通过所述数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行所述数据层中间件的读取优先值的确定，并根据所述读取优先值确定所述数据层中间件的数据处理顺序。
具体的举例说明，所述读取优先值确定的具体步骤为：
获取所述数据层中间件所对应的核心数据源的数量，并通过所述核心数据源的数量将所述数据层中间件的数据处理顺序划分为第一等级和第二等级，其中第一等级大于第二等级；
当所述数据层中间件的数据处理顺序被划分为第一等级时，将所述数据层中间件所对应的同时属于延时数据源和核心数据源的作为筛选数据源，并判断所述数据层中间件的筛选数据源的数量是否大于预先设定的数据源的基准数量，若是，则通过所述筛选数据源的数量进行所述数据层中间件的数据处理顺序的确定，若否，则进入下一步骤；
判断所述核心数据源的数量是否大于预先设定的核心数据源的基准数量，若是，则通过核心数据源的数量进行所述数据层中间件的数据处理顺序的确定，若否，则通过所述数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行所述数据层中间件的读取优先值的确定；
当所述数据层中间件的数据处理顺序被划分为第二等级时，将所述数据层中间件所对应的同时属于延时数据源和核心数据源的作为筛选数据源，并判断所述数据层中间件的筛选数据源的数量是否大于预先设定的数据源的基准数量，若是，则通过所述筛选数据源的数量进行所述数据层中间件的数据处理顺序的确定，若否，则进入下一步骤；
判断所述延时数据源的数量是否大于预先设定的延时数据源的基准数量，若是，则通过延时数据源的数量进行所述数据层中间件的数据处理顺序的确定，若否，则进入下一步骤；
判断数据源的延时评测值以及所述数据源的类型进行所述数据源的修正延时评测值的确定，并判断所述数据层中间件所对应的数据源的修正延时评测值的和是否大于预先设定的延时评测值的基准量，若是，则通过数据层中间件所对应的数据源的修正延时评测值的和进行所述数据层中间件的数据处理顺序的确定，若否，则通过所述数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行所述数据层中间件的读取优先值的确定。
可以理解的是，所述数据源的类型包括一般数据源和核心数据源。
在本实施例中，通过数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行所述数据层中间件的读取优先值的确定，从而不仅仅保证了数据源的读取的时效性的要求，同时也保证了核心数据源的读取的优先性和可靠性的需求。
为了方便理解，以下结合具体应用场景给出一个具体的实施例：
在进行用户的授信申请处理时，需要从人行信息、学历、公积金、社保、金融机构黑白名单、自建模型评分等数据源进行数据的读取，首先从数据源的类型，由于人行信息、金融机构黑白名单等类型的数据源对于授信申请处理的影响程度较高，因此首先需要将其作为核心数据源，而对于学历、公积金、社保、自建模型评分等类型的数据源，由于公积金、社保的读取数据量较大，同时根据其历史调用失败次数，将社保和公积金的数据源作为核心数据源，而学历、自建模型评分等作为一般数据源；
获取人行信息、学历、公积金、社保、金融机构黑白名单、自建模型评分等数据源在进行数据读取时的平均响应时间以及每秒查询率，并结合数据源在被单次调用时的平均读取次数以及读取数据量确定所述数据源的延时预测值，具体的，对于公积金、社保由于读取数据量较大，同时读取人数较多，因此其延时评测值最大，按照申请人的经验数据，一般为0.6-0.8之间，将其作为延时数据源，其他类型的数据源的服务器要不设置在本行内部，要不读取的数据量较少，一般来说，将其作为正常数据源；
数据层中间件的数量根据人行信息、学历、公积金、社保、金融机构黑白名单、自建模型评分等数据源的数量首先进行确定，具体的，可以选择在数据源的数量的三分之一到四分之一之间，在本申请中，将其设置为2-3个左右，另外本申请中可以为核心数据源配置数据层中间件时，其最多有两个，也就是说为人行信息、金融机构黑白名单设置一个数据层中间件，同时为公积金、社保数据量等延时数据源诶一个均设置一个数据层中间件，最后也就是数据层中间件的数量在4个，也就是说人行信息、学历为一个数据层中间件，金融机构黑白名单、自建模型评分为一个数据层中间件；公积金、社保数据量等延时数据源一个均设置一个数据层中间件；
首先根据每一个数据层中间件的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行读取优先值的确定，也就是说金融机构黑白名单、自建模型评分所处的数据层中间件的读取优先级最高，而公积金、社保数据量的读取优先级为最低。
另一方面，如图5所示，本发明提供了一种计算机***，包括：通信连接的存储器和处理器，以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，其特征在于：所述处理器运行所述计算机程序时执行上述的一种风控数据处理方法。
上述的一种风控数据处理方法，具体包括：
获取所述数据源的历史调用失败次数，并根据所述数据源的历史调用失败次数确定所述数据源不为核心数据源时，进入下一步骤；
需要说明的是，当历史调用失败次数较少时，则确定数据源不为核心数据源。
获取所述数据源的类型，并根据所述数据源的类型确定所述数据源不属于核心数据源时，进入下一步骤；
可以理解的是，例如人行人行信息、金融机构黑白名单等重要程度较高，因此必须将其直接作为核心数据源。
通过所述数据源在被单次调用时的读取数据量、数据源的类型、数据源的历史调用失败次数进行所述数据源的核心度评价值的确定，并根据所述核心度评价值将所述数据源划分为核心数据源和一般数据源；
通过所述数据源的后台服务器的平均响应时间以及每秒查询率，并结合数据源在被单次调用时的平均读取次数以及读取数据量确定所述数据源的延时预测值，并根据所述延时预测值将所述数据源划分为延时数据源和正常数据源；
通过所述一般数据源的数量和核心数据源的数量、延时数据源的数量和正常数据源的数量进行数据层中间件的数量的确定，并当进行用户的授信申请处理时，进入下一步骤；
判断数据源的延时评测值以及所述数据源的类型进行所述数据源的修正延时评测值的确定，并判断所述数据层中间件所对应的数据源的修正延时评测值的和是否大于预先设定的延时评测值的基准量，若是，则通过数据层中间件所对应的数据源的修正延时评测值的和进行所述数据层中间件的数据处理顺序的确定，若否，则通过所述数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行所述数据层中间件的读取优先值的确定，并根据所述读取优先值确定所述数据层中间件的数据处理顺序。
另一方面，本发明提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述的一种风控数据处理方法。
上述的一种风控数据处理方法，具体包括：
获取在进行用户的授信申请时所需读取的数据源，并根据所述数据源在被单次调用时的读取数据量、数据源的类型、数据源的历史调用失败次数将所述数据源划分为一般数据源和核心数据源；
获取所述数据源的后台服务器的平均响应时间、每秒查询率、并发数，并通过所述数据源的后台服务器的平均响应时间、每秒查询率、并发数进行所述数据源的基础延时评测值的确定；
可以理解的是，基本延时评测值反应的是后台服务器的基本网络的延时情况，同时也跟服务器的实际硬件数据有关。
获取所述数据源在被单次调用时的读取数据量，并通过所述读取数据量确定需要对所述数据源的基础延时评测值进行修正时，进入下一步骤；
通过所述数据源在被单次调用时的读取数据量、平均读取次数、所需的平均请求次数进行所述数据源的延时修正量的确定，并基于所述延时修正量对所述基础延时评测值进行修正得到所述数据源的延时预测值，并通过所述延时评测值进行延时数据源和正常数据源的分类；
通过所述一般数据源的数量和核心数据源的数量、延时数据源的数量和正常数据源的数量进行数据层中间件的数量的确定，并当进行用户的授信申请处理时，进入下一步骤；
通过所述数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行所述数据层中间件的读取优先值的确定，并根据所述读取优先值确定所述数据层中间件的数据处理顺序。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书的一个或多个实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (9)

1.一种风控数据处理方法，其特征在于，具体包括：
获取在进行用户的授信申请时所需读取的数据源，并根据所述数据源在被单次调用时的读取数据量、数据源的类型、数据源的历史调用失败次数将所述数据源划分为一般数据源和核心数据源；
通过所述数据源的后台服务器的平均响应时间以及每秒查询率，并结合数据源在被单次调用时的平均读取次数以及读取数据量确定所述数据源的延时预测值，并根据所述延时预测值将所述数据源划分为延时数据源和正常数据源；
通过所述一般数据源的数量和核心数据源的数量、延时数据源的数量和正常数据源的数量进行数据层中间件的数量的确定，并当进行用户的授信申请处理时，进入下一步骤；
所述数据层中间件的数量确定的具体步骤为：
S31通过所述数据源的数量进行所述数据层中间件的基础数量的确定，并通过所述核心数据源的数量以及比例确定是否需要对所述数据层中间件的基础数量进行修正，若是，则进入步骤S34，若否，则进入步骤S32；
S32通过所述延时数据源的数量以及比例确定是否需要对所述数据层中间件的基础数量进行修正，若是，则进入步骤S34，若否，则进入步骤S33；
S33将所述数据源中同时为核心数据源和延时数据源的数据源作为筛选数据源，并通过所述筛选数据源的数量以及比例确定是否需要对所述数据层中间件的基础数量进行修正，若是，则进入步骤S34，若否，则将所述数据层中间件的基础数量作为所述数据层中间件的数量；
S34通过所述核心数据源的数量以及比例、延时数据源的数量以及比例、筛选数据源的数量以及比例构建数量修正值，并基于所述数量修正值以及所述基础数量进行所述数据层中间件的数量的确定；
通过所述数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行所述数据层中间件的读取优先值的确定，并根据所述读取优先值确定所述数据层中间件的数据处理顺序；
所述读取优先值确定的具体步骤为：
获取所述数据层中间件所对应的核心数据源的数量，并通过所述核心数据源的数量将所述数据层中间件的数据处理顺序划分为第一等级和第二等级，其中第一等级大于第二等级；
当所述数据层中间件的数据处理顺序被划分为第一等级时，将所述数据层中间件所对应的同时属于延时数据源和核心数据源的作为筛选数据源，并判断所述数据层中间件的筛选数据源的数量是否大于预先设定的数据源的基准数量，若是，则通过所述筛选数据源的数量进行所述数据层中间件的数据处理顺序的确定，若否，则进入下一步骤；
判断所述核心数据源的数量是否大于预先设定的核心数据源的基准数量，若是，则通过核心数据源的数量进行所述数据层中间件的数据处理顺序的确定，若否，则通过所述数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行所述数据层中间件的读取优先值的确定；
当所述数据层中间件的数据处理顺序被划分为第二等级时，将所述数据层中间件所对应的同时属于延时数据源和核心数据源的作为筛选数据源，并判断所述数据层中间件的筛选数据源的数量是否大于预先设定的数据源的基准数量，若是，则通过所述筛选数据源的数量进行所述数据层中间件的数据处理顺序的确定，若否，则进入下一步骤；
判断所述延时数据源的数量是否大于预先设定的延时数据源的基准数量，若是，则通过延时数据源的数量进行所述数据层中间件的数据处理顺序的确定，若否，则进入下一步骤；
基于数据源的延时预测值以及所述数据源的类型进行所述数据源的修正延时预测值的确定，并判断所述数据层中间件所对应的数据源的修正延时预测值的和是否大于预先设定的延时预测值的基准量，若是，则通过数据层中间件所对应的数据源的修正延时预测值的和进行所述数据层中间件的数据处理顺序的确定，若否，则通过所述数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行所述数据层中间件的读取优先值的确定。
2.如权利要求1所述的一种风控数据处理方法，其特征在于，所述数据源的类型包括人行信息、学历、公积金、社保、金融机构黑白名单、自建模型评分。
3.如权利要求1所述的一种风控数据处理方法，其特征在于，将所述数据源划分为一般数据源和核心数据源，具体包括：
获取所述数据源的历史调用失败次数，并根据所述数据源的历史调用失败次数确定所述数据源是否为核心数据源，若是，则确定所述数据源为核心数据源，若否，则进入下一步骤；
获取所述数据源的类型，并根据所述数据源的类型确定所述数据源是否为核心数据源，若是，则确定所述数据源为核心数据源，若否，则进入下一步骤；
根据所述数据源的类型确定所述数据源是否为一般数据源，若是，则确定所述数据源为一般数据源，若否，则进入下一步骤；
获取所述数据源在被单次调用时的读取数据量，并根据所述数据源在被单次调用时的读取数据量确定所述数据源是否为核心数据源，若是，则进入下一步骤；
通过所述数据源在被单次调用时的读取数据量、数据源的类型、数据源的历史调用失败次数进行所述数据源的核心度评价值的确定，并根据所述核心度评价值将所述数据源划分为核心数据源和一般数据源。
4.如权利要求3所述的一种风控数据处理方法，其特征在于，根据所述核心度评价值将所述数据源划分为核心数据源和一般数据源，具体包括：
根据所述数据源的类型确定所述数据源的第一限定值和第二限定值的确定，其中第一限定值大于第二限定值；
当所述数据源的核心度评价值大于第一限定值时，则将所述数据源作为核心数据源；
当所述数据源的核心度评价值大于第二限定值且不小于第一限定值时，通过所述数据源在被单次调用时的读取数据量确定所述数据源为核心数据源或者一般数据源；
当所述数据源的核心度评价值不大于第二限定值时，则确定所述数据源为一般数据源。
5.如权利要求1所述的一种风控数据处理方法，其特征在于，所述数据源的延时预测值确定的具体步骤为：
S21获取所述数据源的后台服务器的平均响应时间、每秒查询率、并发数，并通过所述数据源的后台服务器的平均响应时间、每秒查询率、并发数进行所述数据源的基础延时预测值的确定；
S22获取所述数据源在被单次调用时的所需的平均请求次数，并基于所述平均请求次数确定是否需要对所述数据源的基础延时预测值进行修正，若是，则进入步骤S25，若否，则进入步骤S23；
S23获取所述数据源在被单次调用时的平均读取次数，并通过所述平均读取次数确定是否需要对所述数据源的基础延时预测值进行修正，若是，则进入步骤S25，若否，则进入步骤S24；
S24获取所述数据源在被单次调用时的读取数据量，并通过所述读取数据量确定是否需要对所述数据源的基础延时预测值进行修正，若是，则进入步骤S25，若否，则将所述数据源的基础延时预测值作为所述数据源的延时预测值；
S25通过所述数据源在被单次调用时的读取数据量、平均读取次数、所需的平均请求次数进行所述数据源的延时修正量的确定，并基于所述延时修正量对所述基础延时预测值进行修正得到所述数据源的延时预测值。
6.如权利要求5所述的一种风控数据处理方法，其特征在于，当所述平均请求次数大于预设次数时，则确定需要对所述数据源的基础延时预测值进行修正。
7.如权利要求1所述的一种风控数据处理方法，其特征在于，基于所述数量修正值以及所述基础数量进行所述数据层中间件的数量的确定，具体包括：
获取所述数量修正值，并判断所述数量修正值是否大于第一预设修正量，若是，则将所述数量修正值与所述基础数量的和进行所述数据层中间件的修正数量的确定，并通过所述数量修正值构建修正系数，并基于所述修正系数与所述修正数量的乘积进行所述数据层中间件的数量的确定，若否，则进入下一步骤；
通过所述数量修正值与所述基础数量的和进行所述数据层中间件的数量的确定。
8.一种计算机***，包括：通信连接的存储器和处理器，以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，其特征在于：所述处理器运行所述计算机程序时执行权利要求1-7任一项所述的一种风控数据处理方法。
9.一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7任一项所述的一种风控数据处理方法。
CN202310902818.1A 2023-07-21 2023-07-21 一种风控数据处理***及方法 Active CN116630034B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310902818.1A CN116630034B (zh) 2023-07-21 2023-07-21 一种风控数据处理***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310902818.1A CN116630034B (zh) 2023-07-21 2023-07-21 一种风控数据处理***及方法

Publications (2)

Publication Number Publication Date
CN116630034A CN116630034A (zh) 2023-08-22
CN116630034B true CN116630034B (zh) 2023-11-07

Family

ID=87597620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310902818.1A Active CN116630034B (zh) 2023-07-21 2023-07-21 一种风控数据处理***及方法

Country Status (1)

Country Link
CN (1) CN116630034B (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446847A (en) * 1991-10-04 1995-08-29 Bull Hn Information Systems Inc. Programmable system bus priority network
WO2001033356A1 (en) * 1999-11-03 2001-05-10 Accenture Llp Method for evaluating and selecting middleware
JP2004118457A (ja) * 2002-09-25 2004-04-15 Sos Japan:Kk 情報配信システム、情報配信サーバ、および情報配信プログラム
CN103294807A (zh) * 2013-05-31 2013-09-11 重庆大学 一种基于多层级关系的分布式数据管理方法
CN105740178A (zh) * 2014-12-09 2016-07-06 扬智科技股份有限公司 芯片网络***以及其形成方法
CN107395447A (zh) * 2016-03-09 2017-11-24 阿里巴巴集团控股有限公司 模块检测方法、***容量预估方法及相应的设备
CN108241651A (zh) * 2016-12-23 2018-07-03 航天星图科技（北京）有限公司 一种用于保证异构数据库***中数据集成完整性的***
CN108427711A (zh) * 2018-01-31 2018-08-21 北京三快在线科技有限公司 实时数据仓库、实时数据处理方法、电子设备及存储介质
CN110750440A (zh) * 2019-09-06 2020-02-04 平安普惠企业管理有限公司 数据测试方法及终端设备
CN113052676A (zh) * 2021-03-22 2021-06-29 广东贤能数字科技有限公司 一种智能风控决策方法、装置、设备及可读存储介质
CN114138839A (zh) * 2021-12-07 2022-03-04 浙江数新网络有限公司 一种基于数据库路由的测试账号实现方法
CN114240177A (zh) * 2021-12-20 2022-03-25 山东亿云信息技术有限公司 一种政务数据质量评估方法及***
CN114372102A (zh) * 2021-12-22 2022-04-19 中国工商银行股份有限公司 数据的分析方法、装置、存储介质及电子设备
CN114547011A (zh) * 2022-02-22 2022-05-27 平安普惠企业管理有限公司 数据抽取方法、装置、电子设备及存储介质
CN115423601A (zh) * 2022-08-23 2022-12-02 天元大数据信用管理有限公司 一种线上贷产品设计方法及装置
CN115543280A (zh) * 2022-10-10 2022-12-30 武汉众邦银行股份有限公司 一种基于动态配置的数据接口的实现方法及装置
CN115617553A (zh) * 2022-10-09 2023-01-17 浙江大华技术股份有限公司 一种数据库的熔断降级保护方法、装置及电子设备
CN115712670A (zh) * 2022-11-22 2023-02-24 天翼数字生活科技有限公司 一种数据源管理***
CN116308749A (zh) * 2023-03-20 2023-06-23 上海数禾信息科技有限公司 接口熔断的处理方法、装置、计算机设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8166002B2 (en) * 2008-06-24 2012-04-24 International Business Machines Corporation Flexible configuration item reconciliation based on data source prioritization and persistent ownership tracking
US9465819B2 (en) * 2011-01-31 2016-10-11 Telefonaktiebolaget Lm Ericsson (Publ) Distributed database
CA2754225A1 (en) * 2011-08-29 2013-02-28 Clover Point Cartographics Ltd. Geographic asset management system and method
US9195506B2 (en) * 2012-12-21 2015-11-24 International Business Machines Corporation Processor provisioning by a middleware processing system for a plurality of logical processor partitions
US9934272B2 (en) * 2015-10-22 2018-04-03 International Business Machines Corporation Processing a database query in a database system
US10061702B2 (en) * 2015-11-13 2018-08-28 International Business Machines Corporation Predictive analytics for storage tiering and caching
WO2022133981A1 (zh) * 2020-12-25 2022-06-30 京东方科技集团股份有限公司 数据处理方法、平台、计算机可读存储介质及电子设备

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446847A (en) * 1991-10-04 1995-08-29 Bull Hn Information Systems Inc. Programmable system bus priority network
WO2001033356A1 (en) * 1999-11-03 2001-05-10 Accenture Llp Method for evaluating and selecting middleware
JP2004118457A (ja) * 2002-09-25 2004-04-15 Sos Japan:Kk 情報配信システム、情報配信サーバ、および情報配信プログラム
CN103294807A (zh) * 2013-05-31 2013-09-11 重庆大学 一种基于多层级关系的分布式数据管理方法
CN105740178A (zh) * 2014-12-09 2016-07-06 扬智科技股份有限公司 芯片网络***以及其形成方法
CN107395447A (zh) * 2016-03-09 2017-11-24 阿里巴巴集团控股有限公司 模块检测方法、***容量预估方法及相应的设备
CN108241651A (zh) * 2016-12-23 2018-07-03 航天星图科技（北京）有限公司 一种用于保证异构数据库***中数据集成完整性的***
CN108427711A (zh) * 2018-01-31 2018-08-21 北京三快在线科技有限公司 实时数据仓库、实时数据处理方法、电子设备及存储介质
CN110750440A (zh) * 2019-09-06 2020-02-04 平安普惠企业管理有限公司 数据测试方法及终端设备
CN113052676A (zh) * 2021-03-22 2021-06-29 广东贤能数字科技有限公司 一种智能风控决策方法、装置、设备及可读存储介质
CN114138839A (zh) * 2021-12-07 2022-03-04 浙江数新网络有限公司 一种基于数据库路由的测试账号实现方法
CN114240177A (zh) * 2021-12-20 2022-03-25 山东亿云信息技术有限公司 一种政务数据质量评估方法及***
CN114372102A (zh) * 2021-12-22 2022-04-19 中国工商银行股份有限公司 数据的分析方法、装置、存储介质及电子设备
CN114547011A (zh) * 2022-02-22 2022-05-27 平安普惠企业管理有限公司 数据抽取方法、装置、电子设备及存储介质
CN115423601A (zh) * 2022-08-23 2022-12-02 天元大数据信用管理有限公司 一种线上贷产品设计方法及装置
CN115617553A (zh) * 2022-10-09 2023-01-17 浙江大华技术股份有限公司 一种数据库的熔断降级保护方法、装置及电子设备
CN115543280A (zh) * 2022-10-10 2022-12-30 武汉众邦银行股份有限公司 一种基于动态配置的数据接口的实现方法及装置
CN115712670A (zh) * 2022-11-22 2023-02-24 天翼数字生活科技有限公司 一种数据源管理***
CN116308749A (zh) * 2023-03-20 2023-06-23 上海数禾信息科技有限公司 接口熔断的处理方法、装置、计算机设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RocksDB: Evolution of Development Priorities in a Key-value Store Serving Large-scale Applications;Dong Siying等;《Acm Transactions On Storage》;第17卷(第4期);第1-32页 *
基于分布式的高性能Web站点的设计与实现;叶子安;《中国优秀硕士学位论文全文数据库 (信息科技辑)》(第1期);第I138-1386页 *
浅谈数据库应用***中的中间件技术;姚奇富等;《计算机与现代化》(第12期);第33-35页 *

Also Published As

Publication number Publication date
CN116630034A (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN109783237B (zh) 一种资源配置方法及装置
US8429097B1 (en) Resource isolation using reinforcement learning and domain-specific constraints
US8429096B1 (en) Resource isolation through reinforcement learning
US11900162B2 (en) Autonomous application management for distributed computing systems
CN109472566B (zh) 区块动态生成方法、装置、计算机设备和存储介质
CN111756646B (zh) 网络传输控制方法、装置、计算机设备及存储介质
CN110704490A (zh) 一种基于智能合约的业务数据处理方法和装置
CN117149797B (zh) 一种基于多维度数据监控的对账方法及***
CN113010260A (zh) 容器数量弹性伸缩方法以及容器数量弹性伸缩方法***
US8065280B2 (en) Method, system and computer program product for real-time data integrity verification
US20090037481A1 (en) Change-based discovery scheduling
CN113869801A (zh) 一种企业数字中台的成熟状态评估方法和装置
US11727137B2 (en) Predictive update of profile database with update logic
CN117294652A (zh) 流量控制方法、服务器、电子设备及计算机可读存储介质
CN116630034B (zh) 一种风控数据处理***及方法
CN117437036A (zh) 一种基于多任务提升树的信贷风控管理方法与***
CN117196625A (zh) 用于汇兑业务的信息展示方法、***、设备及存储介质
WO2023029680A1 (zh) 一种确定磁盘可使用时长的方法及装置
WO2022062777A1 (zh) 数据管理方法、数据管理装置及存储介质
CN112631771B (zh) 一种大数据***的并行处理方法
US20240112157A1 (en) Liquidation management operations for improved ledger performance
CN114465957B (zh) 一种数据写入方法及装置
CN117312328B (zh) 一种自适应底层存储配置方法、装置、***及介质
CN117220947B (zh) 基于区块链的数据存证方法、装置、计算机设备、存储介质和程序产品
CN110704493A (zh) 数据趋势预测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant