CN115374183A

CN115374183A - 数据处理方法、装置、介质及电子设备

Info

Publication number: CN115374183A
Application number: CN202211053806.8A
Authority: CN
Inventors: 卢世温; 吴勇; 陈亚君; 李宁; 陈晞; 柯晨怡
Original assignee: CCB Finetech Co Ltd
Current assignee: CCB Finetech Co Ltd
Priority date: 2022-08-31
Filing date: 2022-08-31
Publication date: 2022-11-22

Abstract

本申请公开了一种数据处理方法、装置、介质、电子设备，方法包括：获取步骤，获取金融监管数据，并从金融监管数据形成金融监管数据资产，金融监管数据资产包括多个字段，其中，将多个字段中的至少一个字段作为度量值，将其余的字段作为维度；构建步骤，将任意两个维度进行关联，并将任一个维度与任一个度量值进行关联，以构建维度关系网；确定步骤，根据需要统计的维度和度量值，基于维度关系网，确定金融监管数据资产中相关联的维度和度量值；生成步骤，基于相关联的维度和度量值，生成统计查询语句；查询步骤，使用统计查询语句，查询需要统计的维度和度量值。本发明更好地适应地方金融监管统计需求变化快、时效要求高的监管需要。

Description

数据处理方法、装置、介质及电子设备

技术领域

本申请涉及数据处理技术领域，特别涉及一种数据处理方法、装置、介质、电子设备、计算机程序产品。

背景技术

目前，对于地方金融监管数据的统计分析变化快、时效要求高。因此迫切需要一套监管统计分析工具，在快速的业务迭代更新中探索适合地方金融特性的监管要求，最终建立统一的地方金融监管标准。

现有的地方金融监管统计分析一般过程如下：

1)收集地方金融监管数据，通过数据治理形成可用的数据计算区。

2)梳理统计分析需求，进行数据加工及***功能开发，形成监管统计分析视图。

3)基于***分析视图进行地方金融行业分析，根据分析情况迭代需求。

当前地方金融监管统计分析的实现方式适用于需求相关稳定，时间要求不高的场景。但针对地方金融监管尚未形成国家统一的监管标准，处理监管探索阶段，监管统计分析变化快、时效要求高，因此传统的技术实现不能适应快速变化的监管需求。

发明内容

本申请实施例提供了一种数据处理方法、装置、介质、电子设备、计算机程序产品。

第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：

获取步骤，获取金融监管数据，并从所述金融监管数据形成金融监管数据资产，所述金融监管数据资产包括多个字段，其中，将所述多个字段中的至少一个字段作为度量值，将其余的字段作为维度；

构建步骤，将任意两个维度进行关联，并将任一个维度与任一个度量值进行关联，以构建维度关系网；

确定步骤，根据需要统计的维度和度量值，基于所述维度关系网，确定所述金融监管数据资产中相关联的维度和度量值；

生成步骤，基于相关联的维度和度量值，生成统计查询语句；

查询步骤，使用所述统计查询语句，查询需要统计的维度和度量值。

在上述第一方面的一种可能的实现中，所述至少一个字段是数值型的字段。

在上述第一方面的一种可能的实现中，所述金融监管数据资产是多个字段表，每个所述字段表包括所述多个字段。

在上述第一方面的一种可能的实现中，对查询到的需要统计的维度和度量值进行统计并输出。

第二方面，本申请实施例提供了一种数据处理装置，所述装置包括：

获取单元，获取金融监管数据，并从所述金融监管数据形成金融监管数据资产，所述金融监管数据资产包括多个字段，其中，将所述多个字段中的至少一个字段作为度量值，将其余的字段作为维度；

构建单元，将任意两个维度进行关联，并将任一个维度与任一个度量值进行关联，以构建维度关系网；

确定单元，根据需要统计的维度和度量值，基于所述维度关系网，确定所述金融监管数据资产中相关联的维度和度量值；

生成单元，基于相关联的维度和度量值，生成统计查询语句；

查询单元，使用所述统计查询语句，查询需要统计的维度和度量值。

上述获取单元、构建单元、确定单元、生成单元、查询单元可以通过电子设备中具有这些模块或单元功能的处理器实现。

在上述第二方面的一种可能的实现中，所述至少一个字段是数值型的字段。

在上述第二方面的一种可能的实现中，所述金融监管数据资产是多个字段表，每个所述字段表包括所述多个字段。

在上述第二方面的一种可能的实现中，对查询到的需要统计的维度和度量值进行统计并输出。

第三方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质上存储有指令，所述指令在计算机上执行时使所述计算机执行上述第一方面中的数据处理方法。

第四方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；一个或多个存储器；所述一个或多个存储器存储有一个或多个程序，当所述一个或者多个程序被所述一个或多个处理器执行时，使得所述电子设备执行上述第一方面中的数据处理方法。

第五方面，本申请实施例提供了一种计算机程序产品，包括计算机可执行指令，其特征在于，所述指令被处理器执行以实施述第一方面中的数据处理方法。

本发明中，通过利用维度关系网，对需要进行统计的维度和度量值进行动态地查询并统计，从而更好地适应地方金融监管统计需求变化快、时效要求高的监管需要。

附图说明

图1根据本申请的实施例，示出了数据处理方法的流程示意图；

图2根据本申请的实施例，示出了数据处理装置的示意图；

图3根据本申请的实施例，示出了一种电子设备的框图。

具体实施方式

本申请的说明性实施例包括但不限于数据处理方法、操作装置、介质及电子设备。

本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

下面将结合附图对本申请的实施例作进一步地详细描述。

如图1所示，为本申请实施例提供的数据处理方法的流程图，该方法用于电子设备。电子设备例如是计算机、服务器、移动终端等等。

第一实施例

在获取步骤S11，获取金融监管数据，并从金融监管数据形成金融监管数据资产，金融监管数据资产包括多个字段，其中，将多个字段中的至少一个字段作为度量值，将其余的字段作为维度。

地方金融监管是指地方金融机构的监测与管理。地方金融机构包括小额贷款公司、融资担保公司、区域性股权交易市场、典当行、融资租赁公司、商业保理公司、地方资产管理公司、辖区内投资公司、农民专业合作社、社会众筹机构、地方各类交易所等的金融机构。

地方金融监管数据例如包括多个地区的地方金融机构的业务经营数据、企业财务数据、政务数据等，通过数据治理形成高质量的有效数据，整合成公共计算区。同时进行数据盘点，形成金融监管数据资产。

地方金融监管数据包括多个字段以及每个字段下的数据，如表1所示。地方金融监管数据例如被存储在数据库中。

表1

可以理解的是，表1所示的地方金融监管数据中的字段和数据仅仅是示例，字段和数据的数量可以是任意个，而不受限制。

从金融监管数据可以形成金融监管数据资产，金融监管数据资产包括多个字段。具体的，金融监管数据资产是多个字段表，每个字段表包括多个字段。

这些字段表例如包括如下表2至表4所示的字段表。

表2(公司注册表)

公司

注册资本

地区

行业

可以理解的是，表2中包括字段“公司”、“注册资本”、“地区”、“行业”。

表3(公司贷款表)

公司

贷款金额

地区

贷款人

可以理解的是，表3中包括字段“公司”、“贷款金额”、“地区”、“贷款人”。

表4(公司资产总额表)

公司

注册资本

地区

日期

资产总额

可以理解的是，表4中包括字段“公司”、“注册资本”、“地区”、“日期”、“资产总额”。

可以理解的是，表2至表4所示的字段表仅仅是示例，还可以包括任意数量的字段表，而不受限制。

将表2至表4中的多个字段中的至少一个字段作为度量值，将其余的字段作为维度。具体的，至少一个字段是数值型的字段，也就是说，将多个字段中的数值型的字段作为度量值。

例如，字段“注册资本”、“贷款金额”、“资产总额”是数值型的字段，并将这些字段作为度量值。并且将其余的字段，例如“公司”、“地区”、“行业”、“贷款人”、“日期”作为维度。

可以理解的是，度量值就是要统计的值。

在构建步骤S12，将任意两个维度进行关联，并将任一个维度与任一个度量值进行关联，以构建维度关系网。

具体的，基于金融监管数据资产，即表2至表4，将任意两个维度进行关联，例如，将维度“公司”和“地区”关联，将维度“公司”和“行业”进行关联等等。并且可以将任一个维度与任一个度量值进行关联，例如将维度“公司”与度量值“注册资本”进行关联，将维度“公司”与度量值“贷款金额”进行关联等等。如此，可以构建维度关系网。

本发明中，可以使用链式结构来构建维度关系网，多个字段(包括维度和度量值)作为链式结构中的多个节点，任意两个节点可以自由组合，从而体现维度与维度之间的关系、以及维度与度量值之间的关系。

在确定步骤S13，根据需要统计的维度和度量值，基于维度关系网，确定金融监管数据资产中相关联的维度和度量值。

具体的，例如可以从用户接收到需要统计的维度和度量值，需要统计的维度例如是“公司”，需要统计的度量值例如是“注册资本”。基于维度关系网，利用预定算法，寻找“公司”与度量值“注册资本”之间的最短链路。例如，寻找到维度“公司”与度量值“注册资本”之间的最短链路在表2和表4中。如此，确定表2和表4中的维度“公司”与度量值“注册资本”关联。

在生成步骤S14，基于相关联的维度和度量值，生成统计查询语句。

具体的，由于在S13中确定表2和表4中的维度“公司”与度量值“注册资本”关联，那么根据上述金融监管数据资产(即，表2和表4)，生成统计查询语句。

可以理解的是，统计查询语句可以是针对维度“公司”下的某个具体的值，例如“公司A”。例如统计查询语句是“公司A的注册资本”。

在查询步骤S15，使用统计查询语句，查询需要统计的维度和度量值。

例如，使用统计查询语句“公司A的注册资本”，从数据库中的地方金融监管数据，查询“公司A的注册资本”的数据。

进一步，对查询到的需要统计的维度和度量值进行统计并输出。例如，对查询到的“公司A的注册资本”进行统计并输出。

统计结果可以以视图展示方式被配置，例如表格、饼图、线图等。

第二实施例

地方金融监管数据包括多个字段以及每个字段下的数据，如表5所示。地方金融监管数据例如被存储在数据库中。

表5

公司	贷款金额	地区	贷款人
				A	100万	上海	张三
B	200万	北京	李四

可以理解的是，表5所示的地方金融监管数据中的字段和数据仅仅是示例，字段和数据的数量可以是任意个，而不受限制。

这些字段表例如包括如下表6所示的字段表。

表6(公司贷款表)

公司

贷款金额

地区

贷款人

可以理解的是，表6中包括字段“公司”、“贷款金额”、“地区”、“贷款人”。

可以理解的是，表6所示的字段表仅仅是示例，还可以包括任意数量的字段表，而不受限制。

将6中的多个字段中的至少一个字段作为度量值，将其余的字段作为维度。具体的，至少一个字段是数值型的字段，也就是说，将多个字段中的数值型的字段作为度量值。

例如，字段“贷款金额”是数值型的字段，并将该字段作为度量值。并且将其余的字段，例如“公司”、“地区”、“贷款人”作为维度。

可以理解的是，度量值就是要统计的值。

具体的，基于金融监管数据资产，即表6，将任意两个维度进行关联，例如，将维度“公司”和“地区”关联，将维度“公司”和“贷款人”进行关联等等。并且可以将任一个维度与任一个度量值进行关联，例如将维度“公司”与度量值“贷款金额”进行关联。如此，可以构建维度关系网。

具体的，例如可以从用户接收到需要统计的维度和度量值，需要统计的维度例如是“公司”，需要统计的度量值例如是“贷款金额”。基于维度关系网，利用预定算法，寻找“公司”与度量值“贷款金额”之间的最短链路。例如，寻找到维度“公司”与度量值“贷款金额”之间的最短链路在表6中。如此，确定表6中的维度“公司”与度量值“贷款金额”关联。

具体的，由于在S13中确定表6中的维度“公司”与度量值“贷款金额”关联，那么根据上述金融监管数据资产(即，表6)，生成统计查询语句。

可以理解的是，统计查询语句可以是针对维度“公司”下的某个具体的值，例如“公司B”。例如统计查询语句是“公司B的贷款金额”。

例如，使用统计查询语句“公司B的贷款金额”，从数据库中的地方金融监管数据，查询“公司B的贷款金额”的数据。

进一步，对查询到的需要统计的维度和度量值进行统计并输出。例如，对查询到的“公司B的贷款金额”进行统计并输出。

本发明还提供一种数据处理装置20，如图2所示，数据处理装置20包括：获取单元21，获取金融监管数据，并从所述金融监管数据形成金融监管数据资产，所述金融监管数据资产包括多个字段，其中，将所述多个字段中的至少一个字段作为度量值，将其余的字段作为维度；构建单元22，将任意两个维度进行关联，并将任一个维度与任一个度量值进行关联，以构建维度关系网；确定单元23，根据需要统计的维度和度量值，基于所述维度关系网，确定所述金融监管数据资产中相关联的维度和度量值；生成单元24，基于相关联的维度和度量值，生成统计查询语句；查询单元25，使用所述统计查询语句，查询需要统计的维度和度量值。

可以理解的是，获取单元21、构建单元22、确定单元23、生成单元24、查询单元25可以通过图3中的电子设备100中具有这些模块或单元功能的处理器102来实现。

本发明还提供一种计算机可读存储介质，存储介质上存储有指令，该指令在计算机上执行时使计算机执行图1中所示的数据处理方法。

本发明还提供一种计算机程序产品，包括计算机可执行指令，指令被处理器102执行以实施本发明的数据处理方法。

现在参考图3，图3示意性地示出了根据本发明的实施例的示例电子设备1400。在一个实施例中，***1400可以包括一个或多个处理器1404，与处理器1404中的至少一个连接的***控制逻辑1408，与***控制逻辑1408连接的***内存1412，与***控制逻辑1408连接的非易失性存储器(NVM)1416，以及与***控制逻辑1408连接的网络接口1420。

在一些实施例中，处理器1404可以包括一个或多个单核或多核处理器。在一些实施例中，处理器1404可以包括通用处理器和专用处理器(例如，图形处理器，应用处理器，基带处理器等)的任意组合。在***1400采用eNB(Evolved Node B，增强型基站)101或RAN(Radio Access Network，无线接入网)控制器102的实施例中，处理器1404可以被配置为执行各种符合的实施例，例如，如图1所示的实施例。

在一些实施例中，***控制逻辑1408可以包括任意合适的接口控制器，以向处理器1404中的至少一个和/或与***控制逻辑1408通信的任意合适的设备或组件提供任意合适的接口。

在一些实施例中，***控制逻辑1408可以包括一个或多个存储器控制器，以提供连接到***内存1412的接口。***内存1412可以用于加载以及存储数据和/或指令。在一些实施例中***1400的内存1412可以包括任意合适的易失性存储器，例如合适的动态随机存取存储器(DRAM)。

NVM/存储器1416可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性的计算机可读介质。在一些实施例中，NVM/存储器1416可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备，例如HDD(Hard Disk Drive，硬盘驱动器)，CD(Compact Disc，光盘)驱动器，DVD(Digital Versatile Disc，数字通用光盘)驱动器中的至少一个。

NVM/存储器1416可以包括安装***1400的装置上的一部分存储资源，或者它可以由设备访问，但不一定是设备的一部分。例如，可以经由网络接口1420通过网络访问NVM/存储器1416。

特别地，***内存1412和NVM/存储器1416可以分别包括：指令1424的暂时副本和永久副本。指令1424可以包括：由处理器1404中的至少一个执行时导致电子设备1400实施如图2所示的方法的指令。在一些实施例中，指令1424、硬件、固件和/或其软件组件可另外地/替代地置于***控制逻辑1408，网络接口1420和/或处理器1404中。

网络接口1420可以包括收发器，用于为***1400提供无线电接口，进而通过一个或多个网络与任意其他合适的设备(如前端模块，天线等)进行通信。在一些实施例中，网络接口1420可以集成于***1400的其他组件。例如，网络接口1420可以集成于处理器1404的，***内存1412，NVM/存储器1416，和具有指令的固件设备(未示出)中的至少一种，当处理器1404中的至少一个执行所述指令时，电子设备1400实现如图1所示的方法。

网络接口1420可以进一步包括任意合适的硬件和/或固件，以提供多输入多输出无线电接口。例如，网络接口1420可以是网络适配器，无线网络适配器，电话调制解调器和/或无线调制解调器。

在一个实施例中，处理器1404中的至少一个可以与用于***控制逻辑1408的一个或多个控制器的逻辑封装在一起，以形成***封装(SiP)。在一个实施例中，处理器1404中的至少一个可以与用于***控制逻辑1408的一个或多个控制器的逻辑集成在同一管芯上，以形成片上***(SoC)。

电子设备1400可以进一步包括：输入/输出(I/O)设备1432。I/O设备1432可以包括用户界面，使得用户能够与电子设备1400进行交互；***组件接口的设计使得***组件也能够与电子设备1400交互。在一些实施例中，电子设备1400还包括传感器，用于确定与电子设备1400相关的环境条件和位置信息的至少一种。

在一些实施例中，用户界面可包括但不限于显示器(例如，液晶显示器，触摸屏显示器等)，扬声器，麦克风，一个或多个相机(例如，静止图像照相机和/或摄像机)，手电筒(例如，发光二极管闪光灯)和键盘。

本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程***上执行的计算机程序或程序代码，该可编程***包括至少一个处理器、存储***(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。

可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理***包括具有诸如例如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器之类的处理器的任何***。

程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理***通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。

在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(CD-ROM)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。

在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。

需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。

需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述至少一个字段是数值型的字段。

3.根据权利要求1所述的方法，其特征在于，所述金融监管数据资产是多个字段表，每个所述字段表包括所述多个字段。

4.根据权利要求1所述的方法，其特征在于，对查询到的需要统计的维度和度量值进行统计并输出。

5.一种数据处理装置，其特征在于，所述装置包括：

6.根据权利要求5所述的装置，其特征在于，所述至少一个字段是数值型的字段。

7.根据权利要求5所述的装置，其特征在于，所述金融监管数据资产是多个字段表，每个所述字段表包括所述多个字段。

8.根据权利要求5所述的装置，其特征在于，对查询到的需要统计的维度和度量值进行统计并输出。

9.一种计算机可读存储介质，其特征在于，所述存储介质上存储有指令，所述指令在计算机上执行时使所述计算机执行权利要求1至4中任一项所述的数据处理方法。

10.一种电子设备，其特征在于，包括：一个或多个处理器；一个或多个存储器；所述一个或多个存储器存储有一个或多个程序，当所述一个或者多个程序被所述一个或多个处理器执行时，使得所述电子设备执行权利要求1至4中任一项所述的数据处理方法。

11.一种计算机程序产品，包括计算机可执行指令，其特征在于，所述指令被处理器执行以实施权利要求1至4中任一项所述的数据处理方法。