CN113760947A - 一种数据中台、数据处理方法、装置、设备及存储介质 - Google Patents

一种数据中台、数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113760947A
CN113760947A CN202011547133.2A CN202011547133A CN113760947A CN 113760947 A CN113760947 A CN 113760947A CN 202011547133 A CN202011547133 A CN 202011547133A CN 113760947 A CN113760947 A CN 113760947A
Authority
CN
China
Prior art keywords
data processing
structured query
query language
processing request
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011547133.2A
Other languages
English (en)
Inventor
马赛
尹健全
常文昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202011547133.2A priority Critical patent/CN113760947A/zh
Publication of CN113760947A publication Critical patent/CN113760947A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据中台、数据处理方法、装置、设备及存储介质，所述数据中台包括多个数据仓库和多个所述数据仓库共用的中间层，其中：所述中间层，用于接收客户端发送的数据处理请求，确定所述数据处理请求中携带的控件标识关联的目标结构化查询语言模板方法，并调用所述目标结构化查询语言模板方法执行所述数据处理请求，并根据执行结果生成响应信号进行响应。本发明实施例提供的数据中台通过将中间层中的应用程序编程接口替换为与之对应的结构化查询语言模板方法，使得中间层的数据处理指令可适用于不同版本的数据仓库，实现了使用同一中间层适配不同版本的数据仓库，降低数据中台的运维难度。

Description

一种数据中台、数据处理方法、装置、设备及存储介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种数据中台、数据处理方法、装置、设备及存储介质。
背景技术
随着互联网技术的不断发展，数据量的不断增多，数据中台的应用越来越广泛。数据中台基于大数据技术，对海量数据进行采集、加工存储，可以突破信息孤岛，提升企业内部各个部门间的合作。Hadoop作为大数据生态圈里最重要的一环，基于Hadoop所衍生出来的产品，已经覆盖了大数据细分的各个领域。HIVE作为HADOOP生态链里的重要一环，其依托于HDFS存储，构建了清晰的元数据MetaStore，早已成为市场上最主流的数据仓库产品。而各大厂商的数据中台解决方案，也正是基于HIVE来构建数据中台的数据仓库。
在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：在构建数据中台时，各个业务部门往往都已经自建Hadoop集群，因此各个业务部门底层也存在多种版本的HIVE。由于底层的HIVE版本不同，一种解决方案是开发不同版本的数据中台；而另一种解决方案则是构建中央数据仓库然后迁移数据。上述两种方案不仅存在安全风险，还提升了整个***的运维难度。
发明内容
本发明实施例提供了一种数据中台、数据处理方法、装置、设备及存储介质，以实现使用同一中间层适配不同版本的数据仓库，降低数据中台的运维难度。
第一方面，本发明实施例提供了一种数据中台，包括多个数据仓库和多个数据仓库共用的中间层，其中：
中间层，用于接收客户端发送的数据处理请求，确定数据处理请求中携带的控件标识关联的目标结构化查询语言模板方法，并调用目标结构化查询语言模板方法执行数据处理请求，并根据执行结果生成响应信号进行响应。
第二方面，本发明实施例还提供了一种数据处理方法，由本发明任意实施例所提供的数据中台中的中间层执行，包括：
接收客户端发送的数据处理请求，其中，数据处理请求是客户端在检测到控件的点击操作后触发的；
获取数据处理请求中携带的控件标识，确定控件标识关联的目标结构化查询语言模板方法；
调用目标结构化查询语言模板方法执行数据处理请求，并根据执行结果生成响应信号进行响应。
第三方面，本发明实施例还提供了一种数据处理装置，配置于本发明任意实施例所提供的数据中台中的中间层，包括：
请求接收模块，用于接收客户端发送的数据处理请求，其中，数据处理请求是客户端在检测到控件的点击操作后触发的；
目标模板方法模块，用于获取数据处理请求中携带的控件标识，确定控件标识关联的目标结构化查询语言模板方法；
请求响应模块，用于调用目标结构化查询语言模板方法执行数据处理请求，并根据执行结果生成响应信号进行响应。
第四方面，本发明实施例还提供了一种计算机设备，设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明任意实施例所提供的数据处理方法。
第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的数据处理方法。
本发明实施例提供的数据中台包括多个数据仓库和多个数据仓库共用的中间层，其中：中间层，用于接收客户端发送的数据处理请求，确定数据处理请求中携带的控件标识关联的目标结构化查询语言模板方法，并调用目标结构化查询语言模板方法执行数据处理请求，并根据执行结果生成响应信号进行响应。通过将中间层中的应用程序编程接口替换为与之对应的结构化查询语言模板方法，使得中间层的数据处理指令可适用于不同版本的数据仓库，实现了使用同一中间层适配不同版本的数据仓库，降低数据中台的运维难度。
附图说明
图1a是现有技术中数据中台的结构示意图；
图1b是本发明实施例一所提供的一种数据中台的结构示意图；
图2是本发明实施例二所提供的一种数据处理方法的流程示意图；
图3是本发明实施例三所提供的一种数据处理装置的结构示意图；
图4是本发明实施例四所提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a是现有技术中数据中台的结构示意图。如图1a所示，传统的数据中台架构，在数据仓库的版本不统一时，需要开发与数据仓库版本对应的中间层，即传统的数据中台中包含多个中间层，每个中间层对应一个版本的数据仓库，开发及维护的成本都较高。针对现有技术中数据中台存在的上述技术问题，本发明实施例提供了一种数据中台，以实现使用同一中间层适配不同版本的数据仓库，降低数据中台的运维难度。
图1b是本发明实施例一所提供的一种数据中台的结构示意图。本实施例提供的数据中台可以适用于多个版本的数据仓库的数据处理。如图1b所示，本发明实施例提供的数据中台包括多个数据仓库110和多个数据仓库共用的中间层120，其中：中间层，用于接收客户端发送的数据处理请求，确定数据处理请求中携带的控件标识关联的目标结构化查询语言模板方法，并调用目标结构化查询语言模板方法执行数据处理请求，并根据执行结果生成响应信号进行响应。
在本实施例中，只需要一个中间层，便可以兼容多个版本的数据仓库，较好的降低了数据中台的运维难度，控制了数据中台的维护成本。具体的，数据中台的数据处理，需要访问底层服务MetaStore服务的元数据库。为了能访问多版本的数据仓库的元数据，不再使用MetaSotre的应用程序编程接口(Application Programming Interface，API)，而是通过直接访问元数据库MYSQL来实现。基于上述思路，可以将MetaStore-API各个方法，使用关系型数据库管理***(MySQL)的select操作替代，创建与之对应的结构化查询语言(SQL)模板方法即可。可以理解的是，结构化查询模板语言与其对应的MetaStore-API方法逻辑相同，区别在于语言不同。可以理解的是，MetaStore-API各个方法对应于用户执行的数据操作，而用户执行的处理操作可以通过数据处理请求中携带的控件标识确定。因此，可以理解为每个控件标识对应相应操作的结构化查询语言方法。表1中示意性的示出了数据预览的MetaStore-API方法与和其对应的结构化查询语言(SQL)模板方法。
表1
Figure BDA0002856720120000051
Figure BDA0002856720120000061
示例性的，除数据仓库元数据预览相关的MetaStore-API外，还有部分MetaStore-API对元数据库执行delete/insert/update操作。如在数据仓库中创建数据库，传统方法会调用MetaStore-API的create_database方法，对应于本发明实施例中，会执行HIVE-SQL的create database语句。在数据仓库中删除数据库，传统方法会调用Metastore-API的drop_database方法，对应于本发明实施例中，会执行HIVE-SQL的drop database方法。
为了实现多版本数据仓库的兼容，数据库管理部分使用HIVE-SQL来取代MetaStore-API，创建与之对应的SQL模板方法即可。表2中示意性的示出了数据管理的MetaStore-API方法与和其对应的HIVE-SQL模板方法。
表2
MetaStore-API方法 SQL模板方法
create_database CREATE DATABASE？
drop_database DROP DATABASE？
create_role CREATE ROLE？
…… ……
在本实施例中，数据处理请求可以为数据库的任意操作请求，如数据库的创建请求、查询请求、编辑请求等。在中间层接收到用户通过客户端发起的数据处理请求时，对数据处理请求进行解析，获得数据处理请求中携带的控件标识，将控件标识关联的结构化查询语言模板方法作为目标结构化查询语言模板方法，然后基于数据处理请求中携带的处理参数，调用目标结构化查询语言模板方法执行数据处理请求对应的操作，根据执行结果进行响应。
示例性的，当用户需要创建一个数据库时，在客户端界面上输入待创建数据库的信息(如名称)后点击创建控件触发创建数据库的数据处理请求，客户端根据用户输入的信息以及触发的控件生成数据处理请求，并将数据处理请求发送至数据中台，数据中台中的中间层接收到数据处理请求后，对数据处理请求进行解析，得到数据处理请求中携带的创建控件，确定与创建控件关联的SQL模板方法作为目标SQL模板方法，然后调用目标SQL模板方法创建数据库，根据创建结果进行响应。可选的，若创建成功，则生成已创建的数据库发送至客户端进行展示，若创建失败，则生成失败提示信息发送至客户端进行展示。
可以理解的是，上述示例仅为数据处理请求为创建数据库时的一个具体示例，如上述实施例，数据处理请求还可以为对数据库、表的查询、编辑等请求，其处理逻辑可参照上述实施例中创建数据库的处理逻辑，在此不再赘述。
本发明实施例提供的数据中台包括多个数据仓库和多个数据仓库共用的中间层，其中：中间层，用于接收客户端发送的数据处理请求，确定数据处理请求中携带的控件标识关联的目标结构化查询语言模板方法，并调用目标结构化查询语言模板方法执行数据处理请求，并根据执行结果生成响应信号进行响应。通过将中间层中的应用程序编程接口替换为与之对应的结构化查询语言模板方法，使得中间层的数据处理指令可适用于不同版本的数据仓库，实现了使用同一中间层适配不同版本的数据仓库，降低数据中台的运维难度。
在本发明的一种实施方式中，调用目标结构化查询语言模板方法执行数据处理请求，并根据执行结果生成响应信号进行响应，包括：获取数据处理请求中携带的处理参数，将处理参数作为目标结构化查询语言模板方法的执行参数；基于执行参数执行目标结构化查询语言模板方法，获取数据处理请求关联的权限校验参数；根据权限校验参数校验数据处理请求的执行权限，并在权限校验通过后调用目标数据仓库获取数据处理请求的处理结果，将处理结果作为响应信号进行响应。可选的，上述实施例中，已经在中间层将数据仓库的源数据的访问控制进行了统一。为进一步提高数据中台的稳定性，可以在上述实施例的基础上将权限控制进行统一，其中，可以在中间层的BASE-API服务实现权限的统一验证。具体的，数据处理请求中携带的处理参数包括操作类型及操作参数。将处理参数作为目标结构化查询语言模板方法的执行参数执行，然后获取数据处理请求关联的权限校验参数，基于权限校验参数进行权限校验。考虑到中间层的BASE-API服务中没有SPARK-SQL和HIVE-SQL的解析工具，为在中间层实现权限的统一控制，需要将SPARK模块里的AbstractSqlParser类引入BASE-API模块，作为SPARK-SQL的解析工具，将HIVE模块里的ParseDriver类引入BASE-API模块，作为HIVE-SQL的解析工具。
一个实施例中，执行权限包括执行类型权限，权限校验参数包括目标结构化查询语言模板方法的目标结构化查询语言类型，根据权限校验参数校验数据处理请求的执行权限，包括：将目标结构化查询语言类型与预设的禁用结构化查询语言类型进行匹配；当目标结构化查询语言类型与预设的禁用结构化查询语言类型匹配成功时，判定数据处理请求的执行类型权限校验未通过；当目标结构化查询语言类型与预设的禁用结构化查询语言类型匹配失败时，判定数据处理请求的执行类型权限校验通过。为进一步增强数据中台的安全性，可以预先设定至少一个禁用结构化查询语言类型，禁止设定的禁用结构化查询语言类型执行。示例性的，当SQL类型为SET时，可能会修改HIVE和SPARK的配置文件；当SQL类型为ADD时，可以上传***不存在的jar包；当SQL类型为SHOW_TABLE_PROPERTIES或DESC_FORMATTED_TABLE时，会暴露数据的HDFS信息；当SQL类型为CREATE_TABLE_WITH_LOCATION时，可以通过指定HDFS信息来创建外部表，绕过权限校验。因此上述SQL类型执行时都可能会造成数据中台的不稳定。基于此，可以设置禁用结构化查询语言类型为SET、ADD、SHOW_TABLE_PROPERTIES、DESC_FORMATTED_TABLE和CREATE_TABLE_WITH_LOCATION。当目标结构化查询语言模板方法的目标结构化查询语言类型为禁用结构化查询语言类型时，判定数据处理请求的执行类型权限校验未通过，生成操作失败的响应消息进行响应；当目标结构化查询语言模板方法的目标结构化查询语言类型不为禁用结构化查询语言类型时，执行后续操作。
在上述方案的基础上，执行权限还包括用户权限，在目标结构化查询语言类型与预设的禁用结构化查询语言类型匹配成功后，还包括：获取数据处理操作关联的数据库表信息，调用数据库表信息的权限接口判断用户标识是否具备数据库表信息的处理权限；当用户标识具备数据库表信息的处理权限时，判定用户权限校验通过；当用户标识不具备数据库表信息的处理权限时，判定用户权限验未通过。可选的，为进一步保证数据中台的安全性，在数据处理请求的执行类型权限校验通过后，还需进行用户权限的校验，以保证数据处理请求的可执行性。
可选的，在进行权限划分时，可以根据数据仓库的数据操作确定数据仓库的权限，并确定相应的名称。一般的，数据仓库操作包括数据仓库数据增加、数据仓库数据删除、数据仓库数据修改、数据仓库数据查询、数据仓库元数据创建、数据仓库元数据删除和数据仓库元数据修改。基于此，可以构建数据中台的数据仓库的七种权限：INSERT、DELETE、UPDATE、SELECT、ALTER、CREATE、DROP。上述七种权限依次表示数据仓库数据增加权限、数据仓库数据删除权限、数据仓库数据修改权限、数据仓库数据查询权限、数据仓库元数据创建权限、数据仓库元数据删除权限和数据仓库元数据修改权限。七种权限对应不同的SQL句式，具体的用户的权限信息，可以存储在MetaStore元数据中。其中，用户的权限信息可以根据权限类型分为不同的表进行存储。示例性的，根据权限类型可以将用户的权限信息划分为库权限、表权限、非分区列权限和分区列权限。相应的，数据库表信息包括库信息、表信息、非分区列信息和分区列信息中的至少一种。在确定目标SQL模板方法后，BASE-API模块可以将解析目标SQL模板方法后得到的库、表、列信息作为数据库表信息，调用数据库表信息相关的权限接口进行进一步的用户权限校验，在用户权限校验通过后，可以认定数据处理请求的执行权限校验通过，将目标SQL模板方法传入底层的HiveServer服务或者Spark-SQL服务执行，获得执行结果。若用户权限校验未通过，则可以生成处理失败信息作为响应信息进行响应。
实施例二
图2是本发明实施例二所提供的一种数据处理方法的流程示意图。本实施例提供的数据处理方法可由上述实施例提供的数据中台中的中间层执行，该中间层可以采用软件和/或硬件的方式实现，例如，该中间层可配置于计算机设备中。如图2所示，该方法包括：
S210、接收客户端发送的数据处理请求，其中，数据处理请求是客户端在检测到控件的点击操作后触发的。
可选的，用户在客户端执行相关操作后点击控件触发生成数据处理请求并发送至中间层，中间层接收客户端发送的数据处理请求。
S220、获取数据处理请求中携带的控件标识，确定控件标识关联的目标结构化查询语言模板方法。
对数据处理请求进行解析，获得控件标识，并确定控件标识关联的目标SQL模板方法。具体实施方式可参见上述实施例，在此不再赘述。
S230、调用目标结构化查询语言模板方法执行数据处理请求，并根据执行结果生成响应信号进行响应。
基于确定的目标结构化查询语言执行数据处理请求的相关操作。具体实施方式可参见上述实施例。
一个实施例中，调用目标结构化查询语言模板方法执行数据处理请求，并根据执行结果生成响应信号进行响应，包括：获取数据处理请求中携带的处理参数，将处理参数作为目标结构化查询语言模板方法的执行参数；基于执行参数执行目标结构化查询语言模板方法，获取数据处理请求关联的权限校验参数；根据权限校验参数校验数据处理请求的执行权限，并在权限校验通过后获取数据处理请求的处理结果，将处理结果作为响应信号进行响应。参见上述实施例，为将权限验证进行统一，将SPARK模块里的AbstractSqlParser类引入BASE-API模块，作为SPARK-SQL的解析工具，将HIVE模块里的ParseDriver类引入BASE-API模块，作为HIVE-SQL的解析工具，以实现在中间层进行SQL的解析进而进行权限的控制，具体实施方式可参见上述实施例。
本发明实施例通过接收客户端发送的数据处理请求，其中，数据处理请求是客户端在检测到控件的点击操作后触发的；获取数据处理请求中携带的控件标识，确定控件标识关联的目标结构化查询语言模板方法；调用目标结构化查询语言模板方法执行数据处理请求，并根据执行结果生成响应信号进行响应，通过将应用程序编程接口替换为与之对应的结构化查询语言模板方法，使得中间层的数据处理指令可适用于不同版本的数据仓库，实现了使用同一中间层适配不同版本的数据仓库，降低数据中台的运维难度，另外将权限验证前移至中间层，实现了权限验证的统一，提高了数据中台的安全性。
实施例三
图3是本发明实施例三所提供的一种数据处理装置的结构示意图。该数据处理装置可以采用软件和/或硬件的方式实现，例如该数据处理装置可以配置于中间层，以计算机设备的方式实现。如图3所示，该装置包括请求接收模块310、目标模板方法模块320和请求响应模块330，其中：
请求接收模块310，用于接收客户端发送的数据处理请求，其中，数据处理请求是客户端在检测到控件的点击操作后触发的；
目标模板方法模块320，用于获取数据处理请求中携带的控件标识，确定控件标识关联的目标结构化查询语言模板方法；
请求响应模块330，用于调用目标结构化查询语言模板方法执行数据处理请求，并根据执行结果生成响应信号进行响应。
本发明实施例通过请求接收模块接收客户端发送的数据处理请求，其中，数据处理请求是客户端在检测到控件的点击操作后触发的；目标模板方法模块获取数据处理请求中携带的控件标识，确定控件标识关联的目标结构化查询语言模板方法；请求响应模块调用目标结构化查询语言模板方法执行数据处理请求，并根据执行结果生成响应信号进行响应，通过将应用程序编程接口替换为与之对应的结构化查询语言模板方法，使得中间层的数据处理指令可适用于不同版本的数据仓库，实现了使用同一中间层适配不同版本的数据仓库，降低数据中台的运维难度。
可选的，在上述方案的基础上，请求响应模块330具体用于：
获取数据处理请求中携带的处理参数，将处理参数作为目标结构化查询语言模板方法的执行参数；
基于执行参数执行目标结构化查询语言模板方法，获取数据处理请求关联的权限校验参数；
根据权限校验参数校验数据处理请求的执行权限，并在权限校验通过后获取数据处理请求的处理结果，将处理结果作为响应信号进行响应。
可选的，在上述方案的基础上，执行权限包括执行类型权限，权限校验参数包括目标结构化查询语言模板方法的目标结构化查询语言类型，请求响应模块330具体用于：
将目标结构化查询语言类型与预设的禁用结构化查询语言类型进行匹配；
当目标结构化查询语言类型与预设的禁用结构化查询语言类型匹配成功时，判定数据处理请求的执行类型权限校验未通过；
当目标结构化查询语言类型与预设的禁用结构化查询语言类型匹配失败时，判定数据处理请求的执行类型权限校验通过。
可选的，在上述方案的基础上，执行权限还包括用户权限，请求响应模块330具体用于：
获取数据处理操作关联的数据库表信息，调用数据库表信息的权限接口判断用户标识是否具备数据库表信息的处理权限；
当用户标识具备数据库表信息的处理权限时，判定用户权限校验通过；
当用户标识不具备数据库表信息的处理权限时，判定用户权限校验未通过。
可选的，在上述方案的基础上，数据库表信息包括库信息、表信息、非分区列信息和分区列信息中的至少一种。
本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4是本发明实施例四所提供的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备412的框图。图4显示的计算机设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备412以通用计算设备的形式表现。计算机设备412的组件可以包括但不限于：一个或者多个处理器416，***存储器428，连接不同***组件(包括***存储器428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器416或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
计算机设备412典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
***存储器428可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)430和/或高速缓存存储器432。计算机设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储装置434可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储器428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储器428中，这样的程序模块442包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备412也可以与一个或多个外部设备414(例如键盘、指向设备、显示器424等)通信，还可与一个或者多个使得用户能与该计算机设备412交互的设备通信，和/或与使得该计算机设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，计算机设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器420通过总线418与计算机设备412的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理器416通过运行存储在***存储器428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的数据处理方法，该方法包括：
接收客户端发送的数据处理请求，其中，数据处理请求是客户端在检测到控件的点击操作后触发的；
获取数据处理请求中携带的控件标识，确定控件标识关联的目标结构化查询语言模板方法；
调用目标结构化查询语言模板方法执行数据处理请求，并根据执行结果生成响应信号进行响应。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的数据处理方法的技术方案。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所提供的数据处理方法，该方法包括：
接收客户端发送的数据处理请求，其中，数据处理请求是客户端在检测到控件的点击操作后触发的；
获取数据处理请求中携带的控件标识，确定控件标识关联的目标结构化查询语言模板方法；
调用目标结构化查询语言模板方法执行数据处理请求，并根据执行结果生成响应信号进行响应。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的数据处理方法的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据中台，其特征在于，包括多个数据仓库和多个所述数据仓库共用的中间层，其中：
所述中间层，用于接收客户端发送的数据处理请求，确定所述数据处理请求中携带的控件标识关联的目标结构化查询语言模板方法，并调用所述目标结构化查询语言模板方法执行所述数据处理请求，并根据执行结果生成响应信号进行响应。
2.根据权利要求1所述的数据中台，其特征在于，所述调用所述目标结构化查询语言模板方法执行所述数据处理请求，并根据执行结果生成响应信号进行响应，包括：
获取所述数据处理请求中携带的处理参数，将所述处理参数作为所述目标结构化查询语言模板方法的执行参数；
基于所述执行参数执行所述目标结构化查询语言模板方法，获取所述数据处理请求关联的权限校验参数；
根据所述权限校验参数校验所述数据处理请求的执行权限，并在权限校验通过后调用目标数据仓库获取所述数据处理请求的处理结果，将所述处理结果作为响应信号进行响应。
3.根据权利要求2所述的方法，其特征在于，所述执行权限包括执行类型权限，所述权限校验参数包括所述目标结构化查询语言模板方法的目标结构化查询语言类型，所述根据所述权限校验参数校验所述数据处理请求的执行权限，包括：
将所述目标结构化查询语言类型与预设的禁用结构化查询语言类型进行匹配；
当所述目标结构化查询语言类型与预设的禁用结构化查询语言类型匹配成功时，判定所述数据处理请求的执行类型权限校验未通过；
当所述目标结构化查询语言类型与预设的禁用结构化查询语言类型匹配失败时，判定所述数据处理请求的执行类型权限校验通过。
4.根据权利要求3所述的方法，其特征在于，所述执行权限还包括用户权限，在所述目标结构化查询语言类型与预设的禁用结构化查询语言类型匹配成功后，还包括：
获取所述数据处理操作关联的数据库表信息，调用所述数据库表信息的权限接口判断所述用户标识是否具备所述数据库表信息的处理权限；
当所述用户标识具备所述数据库表信息的处理权限时，判定所述用户权限校验通过；
当所述用户标识不具备所述数据库表信息的处理权限时，判定所述用户权限校验未通过。
5.根据权利要求4所述的方法，其特征在于，所述数据库表信息包括库信息、表信息、非分区列信息和分区列信息中的至少一种。
6.一种数据处理方法，由权利要求1-5任一项所述的数据中台中的中间层执行，其特征在于，包括：
接收客户端发送的数据处理请求，其中，所述数据处理请求是客户端在检测到控件的点击操作后触发的；
获取所述数据处理请求中携带的控件标识，确定所述控件标识关联的目标结构化查询语言模板方法；
调用所述目标结构化查询语言模板方法执行所述数据处理请求，并根据执行结果生成响应信号进行响应。
7.根据权利要求6所述的方法，其特征在于，所述调用所述目标结构化查询语言模板方法执行所述数据处理请求，并根据执行结果生成响应信号进行响应，包括：
获取所述数据处理请求中携带的处理参数，将所述处理参数作为所述目标结构化查询语言模板方法的执行参数；
基于所述执行参数执行所述目标结构化查询语言模板方法，获取所述数据处理请求关联的权限校验参数；
根据所述权限校验参数校验所述数据处理请求的执行权限，并在权限校验通过后获取所述数据处理请求的处理结果，将所述处理结果作为响应信号进行响应。
8.一种数据处理装置，其特征在于，配置于权利要求1-5任一项所述的数据中台中的中间层，包括：
请求接收模块，用于接收客户端发送的数据处理请求，其中，所述数据处理请求是客户端在检测到控件的点击操作后触发的；
目标模板方法模块，用于获取所述数据处理请求中携带的控件标识，确定所述控件标识关联的目标结构化查询语言模板方法；
请求响应模块，用于调用所述目标结构化查询语言模板方法执行所述数据处理请求，并根据执行结果生成响应信号进行响应。
9.一种计算机设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求6-7中任一所述的数据处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求6-7中任一所述的数据处理方法。
CN202011547133.2A 2020-12-24 2020-12-24 一种数据中台、数据处理方法、装置、设备及存储介质 Pending CN113760947A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011547133.2A CN113760947A (zh) 2020-12-24 2020-12-24 一种数据中台、数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011547133.2A CN113760947A (zh) 2020-12-24 2020-12-24 一种数据中台、数据处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113760947A true CN113760947A (zh) 2021-12-07

Family

ID=78786185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011547133.2A Pending CN113760947A (zh) 2020-12-24 2020-12-24 一种数据中台、数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113760947A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114546998A (zh) * 2022-01-13 2022-05-27 北京元年科技股份有限公司 数据中台的数据处理方法、装置、设备及可读存储介质
CN114817338A (zh) * 2022-06-28 2022-07-29 杭州湖畔网络技术有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN117009327A (zh) * 2023-09-27 2023-11-07 腾讯科技（深圳）有限公司 一种数据处理方法、装置及计算机设备、介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100057705A1 (en) * 2008-09-02 2010-03-04 Michael Coutts Web services access with shared sql
CN105335401A (zh) * 2014-07-22 2016-02-17 阿里巴巴集团控股有限公司 数据仓库指标管理方法和装置及***
CN110032575A (zh) * 2019-04-15 2019-07-19 网易（杭州）网络有限公司 数据查询方法、装置、设备和存储介质
CN110472207A (zh) * 2018-05-10 2019-11-19 北京京东尚科信息技术有限公司 表单生成方法和装置
CN111737293A (zh) * 2019-10-21 2020-10-02 北京京东尚科信息技术有限公司 一种数据仓库权限管理方法、装置、设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100057705A1 (en) * 2008-09-02 2010-03-04 Michael Coutts Web services access with shared sql
CN105335401A (zh) * 2014-07-22 2016-02-17 阿里巴巴集团控股有限公司 数据仓库指标管理方法和装置及***
CN110472207A (zh) * 2018-05-10 2019-11-19 北京京东尚科信息技术有限公司 表单生成方法和装置
CN110032575A (zh) * 2019-04-15 2019-07-19 网易（杭州）网络有限公司 数据查询方法、装置、设备和存储介质
CN111737293A (zh) * 2019-10-21 2020-10-02 北京京东尚科信息技术有限公司 一种数据仓库权限管理方法、装置、设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114546998A (zh) * 2022-01-13 2022-05-27 北京元年科技股份有限公司 数据中台的数据处理方法、装置、设备及可读存储介质
CN114817338A (zh) * 2022-06-28 2022-07-29 杭州湖畔网络技术有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN117009327A (zh) * 2023-09-27 2023-11-07 腾讯科技（深圳）有限公司 一种数据处理方法、装置及计算机设备、介质
CN117009327B (zh) * 2023-09-27 2024-01-05 腾讯科技（深圳）有限公司 一种数据处理方法、装置及计算机设备、介质

Similar Documents

Publication Publication Date Title
CN111949541B (zh) 多源数据库语句检查方法及装置
US10102229B2 (en) Validating data integrations using a secondary data store
CN113760947A (zh) 一种数据中台、数据处理方法、装置、设备及存储介质
US20170134388A1 (en) Methods and systems for generating a dynamic workflow in a multi-tenant database environment
US10908947B2 (en) Big object bulk data ingest
US20210209098A1 (en) Converting database language statements between dialects
US20180137161A1 (en) Data analysis schema and method of use
US10469584B2 (en) Techniques and architectures for managing disparate heterogeneous cloud-based resources
US10650028B2 (en) Relational database instruction validation
US11487742B2 (en) Consistency checks between database systems
CN110334545B (zh) 一种基于sql的权限控制方法、装置和电子设备
CN111949693A (zh) 一种数据处理装置、数据处理方法、存储介质及电子设备
CN115328569B (zh) 处理数据冲突的方法、***、电子设备及计算机可读存储介质
US20230289331A1 (en) Model generation service for data retrieval
US11704114B2 (en) Data structures for managing configuration versions of cloud-based applications
US11966732B2 (en) Data structures for managing configuration versions of cloud-based applications
CN117421302A (zh) 一种数据处理方法及相关设备
US11281569B2 (en) Self-curative computer process automates
CN111737293A (zh) 一种数据仓库权限管理方法、装置、设备和存储介质
US10838947B2 (en) Consistency check for foreign key definition
US10545962B2 (en) Relational database instruction validation
US11720553B2 (en) Schema with methods specifying data rules, and method of use
CN114817990A (zh) 对敏感数据的管理方法、装置、电子设备及存储介质
CN114528593A (zh) 数据权限控制方法、装置、设备及存储介质
US20160314170A1 (en) SQL Join Plan Representation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination