CN113268500A

CN113268500A - 业务处理方法、装置及电子设备

Info

Publication number: CN113268500A
Application number: CN202110638853.8A
Authority: CN
Inventors: 张进; 李逍遥
Original assignee: China United Network Communications Group Co Ltd
Current assignee: China United Network Communications Group Co Ltd
Priority date: 2021-06-08
Filing date: 2021-06-08
Publication date: 2021-08-17
Anticipated expiration: 2041-06-08
Also published as: CN113268500B

Abstract

本发明实施例提供了一种业务处理方法、装置及电子设备，所述方法包括接收待处理业务对应的数据查询请求，其中，数据查询请求中包含业务标识，根据数据查询请求从第一类型数据库和第二类型数据库中获取与业务标识对应的业务源数据，其中，业务源数据中包含基础业务数据和任务调度关系，根据任务调度关系对基础业务数据进行处理，进而实现待处理业务，提高了数据查询以及调用的效率，进而减少了用户的等待时长，提高了用户的使用体验。

Description

业务处理方法、装置及电子设备

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种业务处理方法、装置及电子设备。

背景技术

随着互联网的发展，用户数和信息源节点数都呈***式增长，使数据形式也出现了多样化。虽然关系型数据库具有极强的管理能力，但由于各种数据库***之间的差异，以及所依赖操作***的异构型，严重影响了信息共享和数据交换。

现有技术中，在实现相关业务时，往往需要很多张报表，数据人员为了处理数据也会抽取各种各样的数据和任务调度信息，并将抽取出的数据和任务调度信息统一存储在一个数据库中。

然而，由于抽取出的数据和任务调度信息种类繁多，在后续查询或调用过程中，需要耗费较多的时长才能从数据库中获取到对应的数据，降低了数据查询以及调用的效率，进而增加了用户的等待时长，降低了用户的使用体验。

发明内容

本发明实施例提供一种业务处理方法、装置及电子设备，以提高数据查询以及调用的效率。

第一方面，本发明实施例提供一种业务处理方法，包括：

接收待处理业务对应的数据查询请求，其中，所述数据查询请求中包含业务标识；

根据所述数据查询请求从第一类型数据库和第二类型数据库中获取与所述业务标识对应的业务源数据，其中，所述业务源数据中包含基础业务数据和任务调度关系；

根据所述任务调度关系对所述基础业务数据进行处理，进而实现所述待处理业务。

可选的，所述第一类型数据库为搜索类数据库，所述第二类型数据库为图形类数据库，所述根据所述数据查询请求从第一类型数据库和第二类型数据库中获取与所述业务标识对应的业务源数据，其中，所述业务源数据中包含基础业务数据和任务调度关系，包括：

根据所述数据查询请求从所述搜索类数据库和所述图形类数据库中获取与所述业务标识对应的业务源数据；

其中，所述业务源数据中包含基础业务数据和任务调度关系，所述基础业务数据包括图形类型的基础业务数据和文字类型的基础业务数据。

可选的，在所述接收待处理业务对应的数据查询请求之前，还包括：

获取报表***、调度***以及不同类型的数据存储***中存储的元数据信息，得到元数据信息集；

根据预设的数据集成框架对所述元数据信息集中不同类型的元数据信息进行集成与分类处理，得到集成后的第一子元数据信息集和第二子元数据信息集；

将所述集成后的第一子元数据信息集存储至所述第一类型数据库中，将所述集成后的第二子元数据信息集存储至所述第二类型数据库中。

可选的，所述根据预设的数据集成框架对所述元数据信息集中不同类型的元数据信息进行集成与分类处理，得到集成后的第一子元数据信息集和第二子元数据信息集，包括：

获取与所述元数据信息集中不同类型的元数据信息对应的目标任务依赖链；

从所述目标任务依赖链中获取所有的任务变量；

针对每个任务变量，判断是否为预设类型的任务变量，得到判断结果；

若所述判断结果为所述任务变量为预设类型的任务变量，则根据预设的数据集成框架对所述元数据信息集中所述任务变量对应的元数据信息进行集成与分类处理，得到集成后的第一子元数据信息集和第二子元数据信息集。

可选的，所述方法还包括：

若所述判断结果为所述任务变量不为预设类型的任务变量，则删除所述元数据信息集中所述任务变量对应的元数据信息。

可选的，所述元数据信息包括至少一数据表，每个所述数据表包括元信息、列数、表本身的注释以及列注释。

第二方面，本发明实施例提供一种业务处理装置，包括：

接收模块，用于接收待处理业务对应的数据查询请求，其中，所述数据查询请求中包含业务标识；

处理模块，用于根据所述数据查询请求从第一类型数据库和第二类型数据库中获取与所述业务标识对应的业务源数据，其中，所述业务源数据中包含基础业务数据和任务调度关系；

所述处理模块，还用于根据所述任务调度关系对所述基础业务数据进行处理，进而实现所述待处理业务。

第三方面，本发明实施例提供一种电子设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面任一项所述的业务处理方法。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的业务处理方法。

第五方面，本发明实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上第一方面以及第一方面各种可能的设计所述的业务处理方法。

本发明实施例提供了一种业务处理方法、装置及电子设备，采用上述方案后，可以先接收待处理业务对应的包含业务标识的数据查询请求，然后根据该数据查询请求从第一类型数据库和第二类型数据库中获取与业务标识对应的业务源数据，其中，该业务源数据中包含基础业务数据和任务调度关系，再根据任务调度关系对基础业务数据进行处理，进而实现待处理业务，通过采用第一类型数据库和第二类型数据库两种不同类型的数据库来存储不同类型的业务源数据的方式，实现了不同类型的业务源数据采用不同的查询以及调用方式，提高了数据查询以及调用的效率，进而减少了用户的等待时长，提高了用户的使用体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的业务处理方法的应用***的架构示意图；

图2为本发明实施例提供的业务处理方法的流程示意图；

图3为本发明实施例提供的解析过程的应用示意图；

图4为本发明实施例提供的元数据结构的原理示意图；

图5为本发明实施例提供的业务处理装置的结构示意图；

图6为本发明实施例提供的电子设备的硬件结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例还能够包括除了图示或描述的那些实例以外的其他顺序实例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

现有技术中，在实现相关业务时，往往需要很多张报表，数据人员为了处理数据也会抽取各种各样的数据和任务调度信息，并将抽取出的数据和任务调度信息统一存储在一个数据库中。然而，由于抽取出的数据和任务调度信息种类繁多，在后续查询或调用过程中，需要耗费较多的时长才能从数据库中获取到对应的数据。示例性的，抽取出的数据和任务调度信息中包括种类A和种类B两种类型，且种类A和种类B对应的数据和任务调度信息均统一存储在一个数据库中，然后该数据库对应的数据存储方式可能并不适用于种类A或种类B数据的存储，导致在后续查询或调用的过程中，需要耗费较多的时长才能从数据库中获取到对应的数据，降低了数据查询以及调用的效率，进而增加了用户的等待时长，降低了用户的使用体验。

基于上述问题，本申请通过采用第一类型数据库和第二类型数据库两种不同类型的数据库来存储不同类型的业务源数据的方式，实现了不同类型的业务源数据采用不同的查询以及调用方式，达到了既提高了数据查询以及调用的效率，又减少了用户的等待时长，提高了用户的使用体验的技术效果。

图1为本发明实施例提供的业务处理方法的应用***的架构示意图，如图1所示，所述应用***可以包括：搜索服务端101、元数据服务端102、前端服务端103、数据源端104和服务器105。搜索服务端101和元数据服务端102可以对应不同类型的数据库，用于实现不同类型的基础业务数据和任务调度关系的存储。前端服务端103负责与用户交互的Web UI，示例性的，可以为基于Flask的Web应用程序，其展示层是使用React with Redux，Bootstrap，Webpack和Babel构建的。数据源端104可以为报表***、调度***以及不同类型的数据存储***，示例性的，可以为Oracle、Hive、MySQL等。服务端105可以根据接收到的待处理业务对应的数据查询请求从搜索服务端101和元数据服务端102中获取对应的数据，然后根据获取到的数据进一步进行处理，进而实现该待处理业务。

其中，搜索服务端101和元数据服务端102可以单独部署，也可以统一部署于服务器105中。在该实施例中，搜索服务端101和元数据服务端102单独部署。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图2为本发明实施例提供的业务处理方法的流程示意图，本实施例的方法可以由服务器执行，如图2所示，本实施例的方法，可以包括：

S201：接收待处理业务对应的数据查询请求，其中，数据查询请求中包含业务标识。

在本实施例中，在前端服务端中可以显示多个待处理业务，且多个待处理业务可以按照预设的显示样式排列显示，用户想要实现任一待处理业务时，可以通过触控操作的方式触发该待处理业务。

进一步的，触控操作可以为通过鼠标的单击操作、双击操作，还可以为在触控屏幕上的单击操作、双击操作、长按操作或重按操作等。

服务器可以接收触控操作触发的待处理业务对应的数据查询请求，其中，数据查询请求中可以包含业务标识，用于唯一标识待处理业务。

其中，业务标识的类型可以自定义进行设置，在此不再详细进行限定。

S202：根据数据查询请求从第一类型数据库和第二类型数据库中获取与业务标识对应的业务源数据，其中，业务源数据中包含基础业务数据和任务调度关系。

在本实施例中，不同类型的业务源数据可以存储在不同类型的数据库中，进而可以提高后续业务源数据查询以及调度的效率。

进一步的，第一类型数据库为搜索类数据库，第二类型数据库为图形类数据库，则根据数据查询请求从第一类型数据库和第二类型数据库中获取与所述业务标识对应的业务源数据，其中，业务源数据中包含基础业务数据和任务调度关系，具体可以包括：

根据数据查询请求从搜索类数据库和图形类数据库中获取与业务标识对应的业务源数据。

其中，业务源数据中包含基础业务数据和任务调度关系，基础业务数据包括图形类型的基础业务数据和文字类型的基础业务数据。

具体的，通过搜索类数据库和图形类数据库相结合的方式来存储业务源数据，可以覆盖绝大部分类型的数据，且也显著提高了数据的查询以及调度效率。示例性的，搜索类数据库可以为Elasticsearch，图形类数据库可以为Neo4J图数据库，可以将结构化数据存储在网络中。

此外，存储的数据库种类越多，服务器调用的压力可能更大，存储在两个类型的数据库中即可满足大部分数据查询以及调用的情况，特殊情况下也可以存储在至少三个类型的数据库中。

S203：根据任务调度关系对基础业务数据进行处理，进而实现待处理业务。

在本实施例中，业务源数据中可以包含基础业务数据和任务调度关系，基础业务数据可以为实现该待处理业务所需的各种类型的数据，示例性的，可以为文本，还可以为图像等。任务调度关系为实现该待处理业务的整体流程，示例性的，待处理业务包括三个子服务模块，任务调度关系为该三个子服务模块之间的调度关系。对应的，在确定出任务调度关系之后，即可以根据任务调度关系对基础业务数据进行处理，进而实现该待处理业务。

采用上述方案后，可以先接收待处理业务对应的包含业务标识的数据查询请求，然后根据该数据查询请求从第一类型数据库和第二类型数据库中获取与业务标识对应的业务源数据，其中，该业务源数据中包含基础业务数据和任务调度关系，再根据任务调度关系对基础业务数据进行处理，进而实现待处理业务，通过采用第一类型数据库和第二类型数据库两种不同类型的数据库来存储不同类型的业务源数据的方式，实现了不同类型的业务源数据采用不同的查询以及调用方式，提高了数据查询以及调用的效率，进而减少了用户的等待时长，提高了用户的使用体验。

基于图2的方法，本说明书实施例还提供了该方法的一些具体实施方案，下面进行说明。

此外，在另一实施例中，在S201之前，还可以包括：

获取报表***、调度***以及不同类型的数据存储***中存储的元数据信息，得到元数据信息集。

根据预设的数据集成框架对元数据信息集中不同类型的元数据信息进行集成与分类处理，得到集成后的第一子元数据信息集和第二子元数据信息集。

将集成后的第一子元数据信息集存储至第一类型数据库中，将集成后的第二子元数据信息集存储至所述第二类型数据库中。

在本实施例中，元数据信息集中可以包括报表***、调度***以及不同类型的存储***，其中，不同类型的存储***可以为Oracle、Hive、MySQL等。

进一步的，根据预设的数据集成框架对元数据信息集中不同类型的元数据信息进行集成与分类处理，得到集成后的第一子元数据信息集和第二子元数据信息集，具体可以包括：

获取与元数据信息集中不同类型的元数据信息对应的目标任务依赖链。

从目标任务依赖链中获取所有的任务变量。

针对每个任务变量，判断是否为预设类型的任务变量，得到判断结果。

此外，所述方法还可以包括：

具体的，元数据信息集中不同类型的元数据信息可以对应不同的目标任务依赖链，具体对应规则可以采用现有的对应方式来确定，在此不再详细进行论述。示例性的，目标任务依赖链可以为airflow中的DAG，具体可以为多个任务依赖组成的有向无环图。

元数据服务使用Neo4j的Python语言接口与Neo4j图数据库进行交互，并提供前端服务的元数据。在元数据模型里，表是整个元数据模型的核心，首先表会存放在某种类型的数据库，可能会是Oracle、也有可能是Impala等等。因为数据发现要搜索的元数据会存放在不同类型的数据库中，所以要给每一个数据库进行命名以区分。而数据库本身也包括类似的schema，对数据库表进行区分。综上所述，我们使用了数据库类型、数据库命名和schema对表进行了唯一的区分，通过数据库类型、数据库命名和schema可以定位到具体的有且仅有的唯一的一张表。

当确定了表的生成后，还需要确定表中的数据从哪儿来。可以通过解析airflow的DAG文件，找到与表生成相关的调度任务。图3为本发明实施例提供的解析过程的应用示意图，如图3所示，在该实施例中，从Airflow的DAG文件中获得所有的任务变量，示例性的，任务变量可以为Operator，对于每个Operator，判断该Operator是否为预设类型的任务变量，示例性的，可以判断是否为SQL Operator或者DataX Operator。若既不是SQL Operator也不是DataX Operator，则不再处理该Operator，且删除该Operator对应的元数据信息。反之，如果是SQL Operator的话，会从Operator提取出SQL语句，通过Parse方法解析SQL语句，从中提取出INTO/OVERWRETE/TABLE后面的表名。若是DataX Operator的话，会解析Json，然后根据约定的路径提取出元数据信息对于的表名，方便后续在实现待处理业务时进行调用。

此外，数据集成框架可以采用现有的框架，负责从数据源抽取元数据，并将元数据导入到第一类型数据库和第二类型数据库中，示例性的，可以导入到Neo4J和Elasticsearch数据库中。

此外，在另一实施例中，所述元数据信息包括至少一数据表，每个所述数据表包括元信息、列数、表本身的注释以及列注释。

在本实施例中，元数据信息可以由不同的数据表组成，每个数据表除了本身的元信息之外，还可以包括列数、表本身的注释以及列注释，方便从多个维度对表进行描述，以便后续调用。

图4为本发明实施例提供的元数据结构的原理示意图，如图4所示，在该实施例中，可以从预设元数据库中抽取出与表相关的数据，从而可以确定表可以应用在哪个看板。示例性的，可以为Superset元数据库。此外，在表中还可以包含表的元信息，如表中有哪些列、表本身的注释和列注释等。

基于同样的思路，本说明书实施例还提供了上述方法对应的装置，图5为本发明实施例提供的业务处理装置的结构示意图，如图5所示，可以包括：

接收模块501，用于接收待处理业务对应的数据查询请求，其中，所述数据查询请求中包含业务标识。

处理模块502，用于根据所述数据查询请求从第一类型数据库和第二类型数据库中获取与所述业务标识对应的业务源数据，其中，所述业务源数据中包含基础业务数据和任务调度关系。

在本实施例中，所述第一类型数据库为搜索类数据库，所述第二类型数据库为图形类数据库，所述处理模块502，还用于：

根据所述数据查询请求从所述搜索类数据库和所述图形类数据库中获取与所述业务标识对应的业务源数据。

所述处理模块502，还用于根据所述任务调度关系对所述基础业务数据进行处理，进而实现所述待处理业务。

此外，在另一实施例中，所述处理模块502，还用于：

根据预设的数据集成框架对所述元数据信息集中不同类型的元数据信息进行集成与分类处理，得到集成后的第一子元数据信息集和第二子元数据信息集。

此外，在另一实施例中，所述处理模块502，还用于：

获取与所述元数据信息集中不同类型的元数据信息对应的目标任务依赖链。

从所述目标任务依赖链中获取所有的任务变量。

此外，所述处理模块502，还用于：

其中，所述元数据信息包括至少一数据表，每个所述数据表包括元信息、列数、表本身的注释以及列注释。

本发明实施例提供的装置，可以实现上述如图2所示的实施例的方法，其实现原理和技术效果类似，此处不再赘述。

图6为本发明实施例提供的电子设备的硬件结构示意图，如图6所示，本实施例提供的设备600包括：至少一个处理器601和存储器602。其中，处理器601、存储器602通过总线603连接。

在具体实现过程中，至少一个处理器601执行所述存储器602存储的计算机执行指令，使得至少一个处理器601执行上述方法实施例中的方法。

处理器601的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

在上述的图6所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述方法实施例的业务处理方法。

本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上所述的业务处理方法。

上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种业务处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述第一类型数据库为搜索类数据库，所述第二类型数据库为图形类数据库，所述根据所述数据查询请求从第一类型数据库和第二类型数据库中获取与所述业务标识对应的业务源数据，其中，所述业务源数据中包含基础业务数据和任务调度关系，包括：

3.根据权利要求1或2所述的方法，其特征在于，在所述接收待处理业务对应的数据查询请求之前，还包括：

4.根据权利要求3所述的方法，其特征在于，所述根据预设的数据集成框架对所述元数据信息集中不同类型的元数据信息进行集成与分类处理，得到集成后的第一子元数据信息集和第二子元数据信息集，包括：

从所述目标任务依赖链中获取所有的任务变量；

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求3所述的方法，其特征在于，所述元数据信息包括至少一数据表，每个所述数据表包括元信息、列数、表本身的注释以及列注释。

7.一种业务处理装置，其特征在于，包括：

8.一种电子设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至6任一项所述的业务处理方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至6任一项所述的业务处理方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的业务处理方法。