CN112364047B - 基于Presto的动态数据处理方法及跨库查询方法 - Google Patents

基于Presto的动态数据处理方法及跨库查询方法 Download PDF

Info

Publication number
CN112364047B
CN112364047B CN202011210164.9A CN202011210164A CN112364047B CN 112364047 B CN112364047 B CN 112364047B CN 202011210164 A CN202011210164 A CN 202011210164A CN 112364047 B CN112364047 B CN 112364047B
Authority
CN
China
Prior art keywords
data source
presto
information
data
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011210164.9A
Other languages
English (en)
Other versions
CN112364047A (zh
Inventor
李钊
孙浩
孙露
杨春
魏静
胡传会
陈通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Huazhi Talent Technology Co ltd
Original Assignee
Shandong Huazhi Talent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Huazhi Talent Technology Co ltd filed Critical Shandong Huazhi Talent Technology Co ltd
Priority to CN202011210164.9A priority Critical patent/CN112364047B/zh
Publication of CN112364047A publication Critical patent/CN112364047A/zh
Application granted granted Critical
Publication of CN112364047B publication Critical patent/CN112364047B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种基于Presto的动态数据处理方法及跨库查询方法，所述跨库查询方法包括以下步骤：采用至少一种数据库类型进行数据源信息存储，指定自定义表；使用CANAL组件对自定义表进行监听，实时获取数据源注册信息；对数据源注册表的添加、删除或修改的信息通过CANAL传递给Presto并转化为Presto能够识别的catalogConfig格式；通过得到的catalogConfig格式的数据，动态实现Presto的数据源增加或删除或修改；本公开支持Presto通过jdbc的方式使用ANSI_SQL的方式来对多源异构数据进行查询，解决了对存储在不同数据结构上的数据融合处理问题，提高了跨库数据查询和处理的效率。

Description

基于Presto的动态数据处理方法及跨库查询方法
技术领域
本公开涉及数据处理技术领域，特别涉及一种基于Presto的动态数据处理方法及跨库查询方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。
伴随着社会信息化水平的越来越高，数据成爆发性的增长，与此同时政府以及企业内部建立了各种各样的平台或***来支撑自己的业务，但是不同的平台或者***，大多出于技术考量或者不同的开发商设计，***数据大都采用不同的数据存储方式，如何实现对存储在不同数据结构上的数据进行数据分析成为亟需解决的问题。
本公开发明人发现，现在市面上的数据分析工具，更多的是采用的针对某一类数据库或者某一数据结构，这就要求用户需要提前使用数据同步工具对数据进行汇聚，或者对原有的***或者平台进行数据源的改造，变成统一的数据源，然后进行数据的分析，这些改造对于使用人员的技术要求较高，而且造成了很大程度上资源浪费，无形提高了企业成本。
发明内容
为了解决现有技术的不足，本公开提供了一种基于Presto的动态数据处理方法及跨库查询方法，用户只需要在业务***中注册一下对应的数据源，以库表的方式进行数据库的信息填报，用户一旦注册某种数据库，使用Presto就可以实时的展示出添加的数据源，并且本公开支持Presto通过jdbc的方式使用 ANSI_SQL的方式来对多源异构数据进行查询，解决了对存储在不同数据结构上的数据融合处理问题，提高了跨库数据查询和处理的效率。
为了实现上述目的，本公开采用如下技术方案：
本公开第一方面提供了一种基于Presto的动态数据处理方法。
一种基于Presto的动态数据处理方法，包括以下步骤：
采用至少一种数据库类型进行数据源信息存储，指定自定义表；
使用CANAL组件对自定义表进行监听，实时获取数据源注册信息；
对数据源注册表的添加、删除或修改的信息通过CANAL传递给Presto并转化为Presto能够识别的catalogConfig格式；
通过得到的catalogConfig格式的数据，动态实现Presto的数据源增加或删除或修改。
作为可能的一些实现方式，采用MYSQL数据库进行数据源信息存储。
作为进一步的限定，开放MYSQL的binlog日志，配合CANAL组件对数据源注册的自定义表进行监听。
作为可能的一些实现方式，使用非对称加密算法的加密数据库的信息。
作为可能的一些实现方式，基于Presto添加内置CANAL的client端，实时收集数据源注册信息。
作为可能的一些实现方式，采用Oracle数据库或者Hive数据库进行数据源信息存储。
本公开第二方面提供了一种基于Presto的跨库查询方法。
一种基于Presto的跨库查询方法，包括以下步骤：
采用至少一种数据库类型进行数据源信息存储，指定自定义表；
使用CANAL组件对自定义表进行监听，实时获取数据源注册信息；
对数据源注册表的添加、删除或修改的信息通过CANAL传递给Presto并转化为Presto能够识别的catalogConfig格式；
通过得到的catalogConfig格式的数据，动态实现Presto的数据源增加或删除或修改；
Presto使用jdbc进行代码集成，使用ANSI_SQL对多源异构数据进行查询。
作为可能的一些实现方式，采用MYSQL数据库进行数据源信息存储，开放MYSQL的binlog日志，配合CANAL组件对数据源注册的自定义表进行监听。
作为可能的一些实现方式，使用非对称加密算法的加密数据库的信息。
作为可能的一些实现方式，基于Presto添加内置CANAL的client端，实时收集数据源注册信息。
作为可能的一些实现方式，采用Oracle数据库或者Hive数据库进行数据源信息存储。
本公开第三方面提供了一种基于Presto的跨库查询***。
一种基于Presto的跨库查询***，包括：
前置数据源注册模块，被配置为：采用至少一种类型的数据库进行数据源信息存储，指定自定义表；
数据源注册监听模块，被配置为：使用CANAL组件对数据库的中的数据源注册的自定义表进行监听，实时获取数据源注册信息；
数据源注册信息转换模块，被配置为：对数据源注册表的添加、删除或修改的信息通过CANAL传递给Presto并转化为Presto能够识别的catalogConfig 格式；
动态数据处理模块，被配置为：通过得到的catalogConfig格式的数据，动态实现Presto的数据源增加或删除或修改；
跨库数据查询模块，被配置为：Presto使用jdbc进行代码集成，使用 ANSI_SQL对多源异构数据进行查询。
本公开第四方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第二方面所述的基于Presto的跨库查询方法中的步骤。
本公开第五方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第二方面所述的基于Presto的跨库查询方法中的步骤。
与现有技术相比，本公开的有益效果是：
1、本公开所述的方法、***、介质或电子设备，用户只需要在业务***中注册一下对应的数据源，以库表的方式进行数据库的信息填报，用户一旦注册某种数据库，使用Presto就可以实时的展示出添加、删除或修改的数据源，提高了数据处理的效率。
2、本公开所述的方法、***、介质或电子设备，支持Presto通过jdbc的方式使用ANSI_SQL的方式来对多源异构数据进行查询，解决了对存储在不同数据结构上的数据融合处理问题，提高了跨库数据查询和处理的效率。
本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例2提供的基于Presto的跨库查询方法的流程示意图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例1：
如图1所示，本公开实施例1提供了一种基于Presto的动态数据处理方法，包括以下步骤：
步骤1.1：前置数据源注册。
便于业务集成的角度，使用MYSQL作为数据源信息注册存储，并指定自定义表，表结构详见表1，配合步骤1.3，使用非对称加密算法的加密数据库的信息，保证数据库信息的安全性，开放MYSQL的binlog日志，配合步骤1.2实现对数据源注册的监听。
表1：自定义表的表结构。
id 表主键
info 数据源信息
catalogName 数据源名称
creator 数据源创建者
connecterName 数据源类型
步骤1.2：数据源注册监听。
使用CANAL组件对MYSQL的中的数据源注册的自定义表进行监听，该方法基于Presto添加内置CANAL的client端，实时收集数据源注册的情况，对数据源注册表的添加、删除或修改的信息通过CANAL传递给Presto并转化为Presto能够识别的catalogConfig格式。
步骤1.3：数据源注册信息转换。
该方法将Presto内置的CANAL监听减转化为Presto能够识别的 catalogConfig。
步骤1.4：动态注册数据源信息。
修改Presto原有的数据源注册方法，通过步骤1.3的数据转换出来的catalogConfig的实现，动态实现Presto的数据源增加或删除或修改。
实施例2：
如图1所示，本公开实施例2提供了一种基于Presto的跨库查询方法，包括以下步骤：
步骤2.1：前置数据源注册。
便于业务集成的角度，使用MYSQL作为数据源信息注册存储，并指定自定义表，表结构详见实施例1中的表1，配合步骤2.3，使用非对称加密算法的加密数据库的信息，保证数据库信息的安全性，开放MYSQL的binlog日志，配合步骤2.2实现对数据源注册的监听。
步骤2.2：数据源注册监听。
使用CANAL组件对MYSQL的中的数据源注册的自定义表进行监听，该方法基于Presto添加内置CANAL的client端，实时收集数据源注册的情况，对数据源注册表的添加、删除或修改的信息通过CANAL传递给Presto并转化为Presto能够识别的catalogConfig格式。
步骤2.3：数据源注册信息转换。
该方法将Presto内置的CANAL监听减转化为Presto能够识别的 catalogConfig。
步骤2.4：动态注册数据源信息。
修改Presto原有的数据源注册方法，通过步骤2.3的数据转换出来的catalogConfig的实现，动态实现Presto的数据源增加删除。
步骤2.5：Presto集成。
Presto使用jdbc进行代码集成，Presto通过jdbc的方式使用ANSI_SQL的方式来对多源异构数据进行查询。
实施例3：
本公开实施例3提供了一种基于Presto的跨库查询***，包括：
前置数据源注册模块，被配置为：采用至少一种类型的数据库进行数据源信息存储，指定自定义表；
数据源注册监听模块，被配置为：使用CANAL组件对数据库的中的数据源注册的自定义表进行监听，实时获取数据源注册信息；
数据源注册信息转换模块，被配置为：对数据源注册表的添加、删除或修改的信息通过CANAL传递给Presto并转化为Presto能够识别的catalogConfig格式；
动态数据处理模块，被配置为：通过得到的catalogConfig格式的数据，动态实现Presto的数据源增加或删除或修改；
跨库数据查询模块，被配置为：Presto使用jdbc进行代码集成，使用ANSI_SQL对多源异构数据进行查询。
所述***的详细工作方法与实施例2提供的查询方法相同，这里不再赘述。
实施例4：
本公开实施例4提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现基于Presto的跨库查询方法中的步骤，所述步骤为：
步骤4.1：前置数据源注册。
便于业务集成的角度，使用MYSQL作为数据源信息注册存储，并指定自定义表，表结构详见实施例1中的表1，配合步骤4.3，使用非对称加密算法的加密数据库的信息，保证数据库信息的安全性，开放MYSQL的binlog日志，配合步骤4.2实现对数据源注册的监听。
步骤4.2：数据源注册监听。
使用CANAL组件对MYSQL的中的数据源注册的自定义表进行监听，该方法基于Presto添加内置CANAL的client端，实时收集数据源注册的情况，对数据源注册表的添加、删除或修改的信息通过CANAL传递给Presto并转化为Presto能够识别的catalogConfig格式。
步骤4.3：数据源注册信息转换。
该方法将Presto内置的CANAL监听减转化为Presto能够识别的 catalogConfig。
步骤4.4：动态注册数据源信息。
修改Presto原有的数据源注册方法，通过步骤4.3的数据转换出来的catalogConfig的实现，动态实现Presto的数据源增加删除。
步骤4.5：Presto集成。
Presto使用jdbc进行代码集成，Presto通过jdbc的方式使用ANSI_SQL的方式来对多源异构数据进行查询。
实施例5：
本公开实施例5提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如基于Presto的跨库查询方法中的步骤，所述步骤为：
步骤5.1：前置数据源注册。
便于业务集成的角度，使用MYSQL作为数据源信息注册存储，并指定自定义表，表结构详见实施例1中的表1，配合步骤5.3，使用非对称加密算法的加密数据库的信息，保证数据库信息的安全性，开放MYSQL的binlog日志，配合步骤5.2实现对数据源注册的监听。
步骤5.2：数据源注册监听。
使用CANAL组件对MYSQL的中的数据源注册的自定义表进行监听，该方法基于Presto添加内置CANAL的client端，实时收集数据源注册的情况，对数据源注册表的添加、删除或修改的信息通过CANAL传递给Presto并转化为Presto能够识别的catalogConfig格式。
步骤5.3：数据源注册信息转换。
该方法将Presto内置的CANAL监听减转化为Presto能够识别的 catalogConfig。
步骤5.4：动态注册数据源信息。
修改Presto原有的数据源注册方法，通过步骤5.3的数据转换出来的catalogConfig的实现，动态实现Presto的数据源增加删除。
步骤5.5：Presto集成。
Presto使用jdbc进行代码集成，Presto通过jdbc的方式使用ANSI_SQL的方式来对多源异构数据进行查询。
本领域内的技术人员应明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory， ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (8)

1.一种基于Presto的跨库查询方法，其特征在于，包括以下步骤：
采用至少一种数据库类型进行数据源信息存储，指定自定义表；
使用CANAL组件对自定义表进行监听，实时获取数据源注册信息；
对数据源注册表的添加、删除或修改的信息通过CANAL传递给Presto并转化为Presto能够识别的catalogConfig格式；
通过得到的catalogConfig格式的数据，动态实现Presto的数据源增加或删除或修改；
Presto使用jdbc进行代码集成，使用ANSI_SQL对多源异构数据进行查询；
采用MYSQL数据库进行数据源信息存储；
开放MYSQL的binlog日志，配合CANAL组件对数据源注册的自定义表进行监听；
使用非对称加密算法的加密数据库的信息；
基于Presto添加内置CANAL的client端，实时收集数据源注册信息；
采用Oracle数据库或者Hive数据库进行数据源信息存储。
2.一种基于Presto的动态数据处理方法，基于如权利要求1所述的一种基于Presto的跨库查询方法，其特征在于，包括以下步骤：
采用至少一种数据库类型进行数据源信息存储，指定自定义表；
使用CANAL组件对自定义表进行监听，实时获取数据源注册信息；
对数据源注册表的添加、删除或修改的信息通过CANAL传递给Presto并转化为Presto能够识别的catalogConfig格式；
通过得到的catalogConfig格式的数据，动态实现Presto的数据源增加或删除或修改。
3.如权利要求2所述的基于Presto的动态数据处理方法，其特征在于，采用MYSQL数据库进行数据源信息存储。
4.如权利要求3所述的基于Presto的动态数据处理方法，其特征在于，开放MYSQL的binlog日志，配合CANAL组件对数据源注册的自定义表进行监听。
5.如权利要求2所述的基于Presto的动态数据处理方法，其特征在于，使用非对称加密算法的加密数据库的信息；
或者，
基于Presto添加内置CANAL的client端，实时收集数据源注册信息；
或者，
采用Oracle数据库或者Hive数据库进行数据源信息存储。
6.一种基于Presto的跨库查询***，基于如权利要求1所述的一种基于Presto的跨库查询方法，其特征在于，包括：
前置数据源注册模块，被配置为：采用至少一种类型的数据库进行数据源信息存储，指定自定义表；
数据源注册监听模块，被配置为：使用CANAL组件对数据库的中的数据源注册的自定义表进行监听，实时获取数据源注册信息；
数据源注册信息转换模块，被配置为：对数据源注册表的添加、删除或修改的信息通过CANAL传递给Presto并转化为Presto能够识别的catalogConfig格式；
动态数据处理模块，被配置为：通过得到的catalogConfig格式的数据，动态实现Presto的数据源增加或删除或修改；
跨库数据查询模块，被配置为：Presto使用jdbc进行代码集成，使用ANSI_SQL对多源异构数据进行查询。
7.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1所述的基于Presto的跨库查询方法中的步骤。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1所述的基于Presto的跨库查询方法中的步骤。
CN202011210164.9A 2020-11-03 2020-11-03 基于Presto的动态数据处理方法及跨库查询方法 Active CN112364047B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011210164.9A CN112364047B (zh) 2020-11-03 2020-11-03 基于Presto的动态数据处理方法及跨库查询方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011210164.9A CN112364047B (zh) 2020-11-03 2020-11-03 基于Presto的动态数据处理方法及跨库查询方法

Publications (2)

Publication Number Publication Date
CN112364047A CN112364047A (zh) 2021-02-12
CN112364047B true CN112364047B (zh) 2024-04-09

Family

ID=74513640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011210164.9A Active CN112364047B (zh) 2020-11-03 2020-11-03 基于Presto的动态数据处理方法及跨库查询方法

Country Status (1)

Country Link
CN (1) CN112364047B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563509A (zh) * 2018-04-28 2018-09-21 北京京东金融科技控股有限公司 数据查询实现方法、装置、介质及电子设备
CN109815283A (zh) * 2018-12-18 2019-05-28 中科曙光南京研究院有限公司 一种异构数据源可视化查询方法
CN110555076A (zh) * 2019-08-22 2019-12-10 上海数禾信息科技有限公司 数据打标方法、处理方法以及装置
CN111078728A (zh) * 2019-12-19 2020-04-28 山大地纬软件股份有限公司 一种数据库归档模式下跨库查询方法和装置
CN111177173A (zh) * 2020-01-02 2020-05-19 普元信息技术股份有限公司 大数据环境下实现数据同步优化处理的***及其方法
CN111259036A (zh) * 2020-01-10 2020-06-09 苏州达家迎信息技术有限公司 一种跨库跨表查询方法、设备、服务器及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563509A (zh) * 2018-04-28 2018-09-21 北京京东金融科技控股有限公司 数据查询实现方法、装置、介质及电子设备
CN109815283A (zh) * 2018-12-18 2019-05-28 中科曙光南京研究院有限公司 一种异构数据源可视化查询方法
CN110555076A (zh) * 2019-08-22 2019-12-10 上海数禾信息科技有限公司 数据打标方法、处理方法以及装置
CN111078728A (zh) * 2019-12-19 2020-04-28 山大地纬软件股份有限公司 一种数据库归档模式下跨库查询方法和装置
CN111177173A (zh) * 2020-01-02 2020-05-19 普元信息技术股份有限公司 大数据环境下实现数据同步优化处理的***及其方法
CN111259036A (zh) * 2020-01-10 2020-06-09 苏州达家迎信息技术有限公司 一种跨库跨表查询方法、设备、服务器及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Presto海量日志分析***的设计;梁满;周传生;;黑龙江科技信息(第01期);全文 *

Also Published As

Publication number Publication date
CN112364047A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
US20200210423A1 (en) Multi-party data joint query method, device, server and storage medium
JP5826831B2 (ja) データマート自動化
CN105354314B (zh) 数据迁移方法及装置
US20120303616A1 (en) Data Perturbation and Anonymization Using One Way Hash
CN104361140B (zh) 动态生成数据模型配置装置和方法
CN110750650A (zh) 企业知识图谱的构建方法及装置
US8930303B2 (en) Discovering pivot type relationships between database objects
CN102270225A (zh) 数据变更日志监控方法和数据变更日志监控装置
CN105955970A (zh) 一种基于日志解析的数据库复制方法及装置
EP2778953A1 (en) Encoded-search database device, method for adding and deleting data for encoded search, and addition/deletion program
CN111177244A (zh) 面向多个异构数据库的数据关联分析方法
CN104537012B (zh) 数据处理方法和装置
WO2019079799A1 (en) SYSTEM AND METHOD FOR DATA MANAGEMENT
CN113254470A (zh) 一种数据更改方法、装置、计算机设备及存储介质
CN109033157B (zh) 一种基于自定义搜索条件树的复杂数据检索方法和***
CN112364047B (zh) 基于Presto的动态数据处理方法及跨库查询方法
CN112634004A (zh) 征信数据的血缘图谱分析方法与***
CN111221967A (zh) 一种基于区块链架构的语言数据分类存储***
CN115455463A (zh) 一种基于同态加密的隐匿sql查询方法
CN115827780A (zh) 一种基于隔离装置使用调度算法实现跨网区数据同步方法、***及存储介质
CN113868253A (zh) 一种数据关系捕获及大数据关系树构建方法
US10664501B2 (en) Deriving and interpreting users collective data asset use across analytic software systems
CN112749197B (zh) 数据分片刷新方法、装置、设备及存储介质
CN111143329B (zh) 一种数据处理方法及装置
CN103488693A (zh) 数据处理装置和数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220325

Address after: 250013 Shanke Zhongchuang space 203-g, No. 19 Keyuan Road, Lixia District, Jinan City, Shandong Province

Applicant after: Shandong Shanke intellectual property operation center Co.,Ltd.

Address before: 250014 3rd floor, block B, Yinhe building, 2008 Xinluo street, high tech Zone, Jinan City, Shandong Province

Applicant before: SHANDONG ECLOUD INFORMATION TECHNOLOGY CO.,LTD.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220608

Address after: 250014 3rd floor, block B, Yinhe building, 2008 Xinluo street, high tech Zone, Jinan City, Shandong Province

Applicant after: SHANDONG ECLOUD INFORMATION TECHNOLOGY CO.,LTD.

Address before: 250013 Shanke Zhongchuang space 203-g, No. 19 Keyuan Road, Lixia District, Jinan City, Shandong Province

Applicant before: Shandong Shanke intellectual property operation center Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221228

Address after: Room 305, Block B, Yinhe Building, No. 2008, Xinluo Street, Jinan Area, China (Shandong) Pilot Free Trade Zone, Jinan, Shandong 250098

Applicant after: Shandong Huazhi Talent Technology Co.,Ltd.

Address before: 250014 3rd floor, block B, Yinhe building, 2008 Xinluo street, high tech Zone, Jinan City, Shandong Province

Applicant before: SHANDONG ECLOUD INFORMATION TECHNOLOGY CO.,LTD.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant