CN115659314A - 一种基于混合数据的数据服务方法 - Google Patents

一种基于混合数据的数据服务方法 Download PDF

Info

Publication number
CN115659314A
CN115659314A CN202211592995.6A CN202211592995A CN115659314A CN 115659314 A CN115659314 A CN 115659314A CN 202211592995 A CN202211592995 A CN 202211592995A CN 115659314 A CN115659314 A CN 115659314A
Authority
CN
China
Prior art keywords
data
different
service method
catalog
selecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211592995.6A
Other languages
English (en)
Other versions
CN115659314B (zh
Inventor
冯小锋
赵文政
刘林平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zheta Technology Co ltd
Original Assignee
Hefei Zheta Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Zheta Technology Co ltd filed Critical Hefei Zheta Technology Co ltd
Priority to CN202211592995.6A priority Critical patent/CN115659314B/zh
Publication of CN115659314A publication Critical patent/CN115659314A/zh
Application granted granted Critical
Publication of CN115659314B publication Critical patent/CN115659314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于混合数据的数据服务方法，包括以下步骤：S1：创建元数据Catalog；S2：设置多数据源选择匹配的向导模式以及基于SQL进行多数据源查询的SQL模式；S3：基于不同的Catalog名称，下沉到不同的数据源Scan数据；将正确的数据scan到***内存中；S4：Scan数据在内存中进行融合处理；对不同的数据源数据根据填入的函数、计算规则进行融合处理为期望的正确结果；S5：将融合后的正确结果返回给调用者。本发明通过整合多种不同***、不同类型的数据源，实现跨域、跨集群的数据融合，减少IT部门的重复开发，有效的进行权限控制，保护数据资产的安全。本发明降低了工厂的IT开发成本，提高需求响应效率，从而提升了整体利润。

Description

一种基于混合数据的数据服务方法
技术领域
本发明涉及数据服务技术领域，特别涉及一种基于混合数据的数据服务方法。
背景技术
基于混合数据的数据服务是一种将多源数据进行加工后通过标准接口对外统一提供服务的能力；其根本作用是将企业的数据资产便捷地转化成业务能力（应对企业应用之间、***之间数据即时交换、共享的需求）。
与其他“即服务”模式（IaaS、PaaS、SaaS）类似，数据即服务基本是通过提供一个平台来将数据变成服务，以供用户进行稳定高效的数据消费的方式实现的。
拥有足够的数据不再是当今公司的主要问题，对于数据的管理和数据的便捷消费成为了企业面临的难题。
大多数公司都想将数据转化为公司重要的战略资产，而数据分散在不同业务***和数据库，数据的获取主要依靠开发团队针对各个业务需求和所需取数的平台单独开发数据接口，就会出现以下问题：
一、开发的效率和数据传输稳定性都取决于开发团队的能力；
二、每次出现新的需求或前后台出现变化，都需要技术团队重新开发，导致IT员工需要花费大量时间和经理去做繁琐而重复的工作，员工做的疲累、公司也付出了许多无效成本；
三、各自开发接口也会导致管理混乱，没有全局的权限管控，数据安全隐患众多；
四、计算性能还不一定稳定，遇到高并发的请求***很可能崩溃。
发明内容
为解决上述问题，本发明旨在提出一种基于混合数据的数据服务方法，通过整合多种不同***、不同类型的数据源，实现跨域、跨集群的数据融合，减少IT部门的重复开发，有效的进行权限控制，保护数据资产的安全。。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于混合数据的数据服务方法，包括以下步骤：
S1：创建元数据Catalog；
S2：设置多数据源选择匹配的向导模式以及基于SQL进行多数据源查询的SQL模式；
S3：基于不同的Catalog名称，下沉到不同的数据源Scan数据；将正确的数据scan到***内存中；
S4：Scan数据在内存中进行融合处理；对不同的数据源数据根据填入的函数、计算规则进行融合处理为期望的正确结果；
S5：将融合后的正确结果返回给调用者。
进一步的，所述元数据Catalog为Hive数据源或Oracle数据源。
进一步的，所述向导模式支持引导式操作。
进一步的，所述SQL模式支持ANSI SQL2003语法。
进一步的，所述S3具体为：基于不同的Catalog下沉到不同数据源scan数据，将不同的Catalog连接信息进行匹配连接，对查询条件事先进行谓词下推用于减少数据量的返回数量，并将正确的查询结果拉取到内存中。
进一步的，所述S5中的融合后的正确结果是以json的形式返回。
进一步的，所述调用者通过权限控制模块进行数据调用。
进一步的，所述权限控制模块的工作流程为：创建catalog→选择schema→选择table→选择column→选择用户、角色→选择赋予何种权限。
有益效果：本发明通过整合多种不同***、不同类型的数据源，实现跨域、跨集群的数据融合，减少IT部门的重复开发，有效的进行权限控制，保护数据资产的安全。本发明降低了工厂的IT开发成本，提高需求响应效率，从而提升了整体利润。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的基于混合数据的数据服务方法的主体流程图；
图2为本发明实施例所述的基于混合数据的数据服务方法的权限控制模块工作流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
专业术语解释说明：
数据即服务：是指与数据相关的任何服务都能够发生在一个集中化的位置，如聚合、数据质量管理、数据清洗等，然后再将数据提供给不同的***和用户，而无需再考虑这些数据来自于哪些数据源。
IaaS：基础设施服务，Infrastructure-as-a-service。
PaaS：平台服务，Platform-as-a-service。
SaaS：软件服务，Software-as-a-service。
实施例1
参见图1-2：一种基于混合数据的数据服务方法，包括以下步骤：
S1：创建元数据Catalog；
S2：设置多数据源选择匹配的向导模式以及基于SQL进行多数据源查询的SQL模式；
S3：基于不同的Catalog名称，下沉到不同的数据源Scan数据；将正确的数据scan到***内存中；
S4：Scan数据在内存中进行融合处理；对不同的数据源数据根据填入的函数、计算规则进行融合处理为期望的正确结果；
S5：将融合后的正确结果返回给调用者。
在一具体的实例中，所述元数据Catalog为Hive数据源或Oracle数据源。
需要说明的是，本实施例的元数据Catalog主要以插件Plugin的方式严格区分不同的数据源，不同的数据源的连接方式不同且有不同的参数配置，例如，Hive数据源需要填入thrift连接信息，Oracle数据源输入填入jdbc连接地址；针对不同的数据源都严格遵守相应的规范，并相互隔离，以此达到便于对数据源进行区分。
在一具体的实例中，所述向导模式支持引导式操作。
本实施例的支持引导式操作的向导模式可以逐步进行多数据源下的表以及字段的选择和确认。
在一具体的实例中，所述SQL模式支持ANSI SQL2003语法。
本实施例的支持ANSI SQL2003语法的SQL模式可以通过填入的Catalog名称下的库名、表名、字段名来确认具体的信息。
在一具体的实例中，所述S3具体为：基于不同的Catalog下沉到不同数据源scan数据，将不同的Catalog连接信息进行匹配连接，对查询条件事先进行谓词下推用于减少数据量的返回数量，并将正确的查询结果拉取到内存中。
本实施例通过上述操作，提高了需求响应效率。
在一具体的实例中，所述S5中的融合后的正确结果是以json的形式返回。
本实施例通过json的形式返回，从而便于调用者的数据解析。
在一具体的实例中，所述调用者通过权限控制模块进行数据调用。
在一具体的实例中，所述权限控制模块的工作流程为：创建catalog→选择schema→选择table→选择column→选择用户、角色→选择赋予何种权限。
本实施例通过权限控制模块能够有效的进行权限控制，从而保护数据资产的安全性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于混合数据的数据服务方法，其特征在于，包括以下步骤：
S1：创建元数据Catalog；
S2：设置多数据源选择匹配的向导模式以及基于SQL进行多数据源查询的SQL模式；
S3：基于不同的Catalog名称，下沉到不同的数据源Scan数据；将正确的数据scan到***内存中；
S4：Scan数据在内存中进行融合处理；对不同的数据源数据根据填入的函数、计算规则进行融合处理为期望的正确结果；
S5：将融合后的正确结果返回给调用者。
2.根据权利要求1所述的基于混合数据的数据服务方法，其特征在于，所述元数据Catalog为Hive数据源或Oracle数据源。
3.根据权利要求1所述的基于混合数据的数据服务方法，其特征在于，所述向导模式支持引导式操作。
4.根据权利要求1所述的基于混合数据的数据服务方法，其特征在于，所述SQL模式支持ANSI SQL2003语法。
5.根据权利要求1所述的基于混合数据的数据服务方法，其特征在于，所述S3具体为：基于不同的Catalog下沉到不同数据源scan数据，将不同的Catalog连接信息进行匹配连接，对查询条件事先进行谓词下推用于减少数据量的返回数量，并将正确的查询结果拉取到内存中。
6.根据权利要求1所述的基于混合数据的数据服务方法，其特征在于，所述S5中的融合后的正确结果是以json的形式返回。
7.根据权利要求1所述的基于混合数据的数据服务方法，其特征在于，所述调用者通过权限控制模块进行数据调用。
8.根据权利要求7所述的基于混合数据的数据服务方法，其特征在于，所述权限控制模块的工作流程为：创建catalog→选择schema→选择table→选择column→选择用户、角色→选择赋予何种权限。
CN202211592995.6A 2022-12-13 2022-12-13 一种基于混合数据的数据服务方法 Active CN115659314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211592995.6A CN115659314B (zh) 2022-12-13 2022-12-13 一种基于混合数据的数据服务方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211592995.6A CN115659314B (zh) 2022-12-13 2022-12-13 一种基于混合数据的数据服务方法

Publications (2)

Publication Number Publication Date
CN115659314A true CN115659314A (zh) 2023-01-31
CN115659314B CN115659314B (zh) 2023-04-07

Family

ID=85017360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211592995.6A Active CN115659314B (zh) 2022-12-13 2022-12-13 一种基于混合数据的数据服务方法

Country Status (1)

Country Link
CN (1) CN115659314B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116795663A (zh) * 2023-08-24 2023-09-22 云筑信息科技(成都)有限公司 一种跟踪分析trino引擎执行性能的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1290455C (en) * 1988-04-08 1991-10-08 Philip Y. Chang Support of mixed single and double byte data in a relational databaseproduct
JP2005182835A (ja) * 2003-12-23 2005-07-07 Canon Inc 異種のデータソースのためのデータサーバを生成する方法
CN108292323A (zh) * 2016-01-08 2018-07-17 微软技术许可有限责任公司 使用数据源的元数据的数据库操作
CN111159177A (zh) * 2019-12-10 2020-05-15 大唐软件技术股份有限公司 一种基于异构数据的数据融合方法、装置、设备及介质
CN111339071A (zh) * 2020-02-21 2020-06-26 苏宁云计算有限公司 一种多源异构数据的处理方法及装置
CN113609141A (zh) * 2021-10-11 2021-11-05 武大吉奥信息技术有限公司 一种基于api拼接的无侵入式跨库数据融合方法
CN115309767A (zh) * 2022-07-27 2022-11-08 京东城市(北京)数字科技有限公司 一种数据融合方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1290455C (en) * 1988-04-08 1991-10-08 Philip Y. Chang Support of mixed single and double byte data in a relational databaseproduct
JP2005182835A (ja) * 2003-12-23 2005-07-07 Canon Inc 異種のデータソースのためのデータサーバを生成する方法
CN108292323A (zh) * 2016-01-08 2018-07-17 微软技术许可有限责任公司 使用数据源的元数据的数据库操作
CN111159177A (zh) * 2019-12-10 2020-05-15 大唐软件技术股份有限公司 一种基于异构数据的数据融合方法、装置、设备及介质
CN111339071A (zh) * 2020-02-21 2020-06-26 苏宁云计算有限公司 一种多源异构数据的处理方法及装置
CN113609141A (zh) * 2021-10-11 2021-11-05 武大吉奥信息技术有限公司 一种基于api拼接的无侵入式跨库数据融合方法
CN115309767A (zh) * 2022-07-27 2022-11-08 京东城市(北京)数字科技有限公司 一种数据融合方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
夏正勋;罗圣美;孙元浩;唐剑飞;张燕;: "大规模异构数据并行处理***的设计、实现与实践" *
席先杰: "基于元数据的数字化校园集成检索研究" *
王华志: "基于JSON的异构数据源数据交换技术研究" *
郭超等: "基于元数据的异构生物数据源集成技术研究" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116795663A (zh) * 2023-08-24 2023-09-22 云筑信息科技(成都)有限公司 一种跟踪分析trino引擎执行性能的方法
CN116795663B (zh) * 2023-08-24 2023-12-08 云筑信息科技(成都)有限公司 一种跟踪分析trino引擎执行性能的方法

Also Published As

Publication number Publication date
CN115659314B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
US11182428B2 (en) Handling semi-structured and unstructured data in a sharded database environment
US8234308B2 (en) Deliver application services through business object views
US6240422B1 (en) Object to relational database mapping infrastructure in a customer care and billing system
US8051094B2 (en) Common interface to access catalog information from heterogeneous databases
CN107229718B (zh) 处理报表数据的方法和装置
US8874601B2 (en) SADL query view—a model-driven approach to speed-up read-only use cases
CN115659314B (zh) 一种基于混合数据的数据服务方法
CN113711218A (zh) 协同智能的约束查询以及约束计算
CN109271561B (zh) 一种图谱信息检索方法及装置
US11068402B2 (en) Externalized configurations and caching solution
CN110046287A (zh) 一种与数据库类型无关的数据查询方法、装置及存储介质
CN111381820A (zh) 一种基于gui自动生成api的方法及装置
US20090171996A1 (en) Associative object model for composite entity information
US20060224692A1 (en) Adhoc queries for services
US20060224556A1 (en) SQL interface for services
CN114282129A (zh) 信息***页面生成方法、***、电子设备及存储介质
US10713064B2 (en) User interface configuration using activator fields
US20130304707A1 (en) Data Archiving Approach Leveraging Database Layer Functionality
US8825630B2 (en) Method and system for generic enterprise search adapter queries
US20060224557A1 (en) Smart services
US11630856B2 (en) Handling of Point of Interest (POI) data content
CN117009397A (zh) 数据查询方法、数据查询装置、电子设备和存储介质
CN111061476B (zh) 移动模版构建方法、服务器和计算机可读存储介质
CN117009327B (zh) 一种数据处理方法、装置及计算机设备、介质
US12039069B2 (en) Metadata-driven restricted measures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant