CN109144982A - 多维全息数据库动态构建技术*** - Google Patents

多维全息数据库动态构建技术*** Download PDF

Info

Publication number
CN109144982A
CN109144982A CN201811148608.3A CN201811148608A CN109144982A CN 109144982 A CN109144982 A CN 109144982A CN 201811148608 A CN201811148608 A CN 201811148608A CN 109144982 A CN109144982 A CN 109144982A
Authority
CN
China
Prior art keywords
data
sdk
access
management
business model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811148608.3A
Other languages
English (en)
Inventor
姚宏宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING YOYO TIANYU SYSTEM TECHNOLOGY CO LTD
Original Assignee
BEIJING YOYO TIANYU SYSTEM TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING YOYO TIANYU SYSTEM TECHNOLOGY CO LTD filed Critical BEIJING YOYO TIANYU SYSTEM TECHNOLOGY CO LTD
Priority to CN201811148608.3A priority Critical patent/CN109144982A/zh
Publication of CN109144982A publication Critical patent/CN109144982A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及多维全息数据库动态构建技术***,其需要构建逻辑业务模型层、数据融合层、数据源层,构建完成后,在此基础上再次构建多维全息数据库动态构建技术***,可为不同的应用提供多维全息的数据查询服务,支持信息的全局展示及基于主题的简明视图,帮助管理者作出更加准确的决策。解决各个独立***数据库之间的信息孤岛问题,实现了数据的融合管理。

Description

多维全息数据库动态构建技术***
技术领域
本发明涉及一种多维全息数据库动态构建技术***。
背景技术
数据库是按照数据结构来组织、存储和管理数据的仓库,它产生于距今六十多年前,随着信息技术和市场的发展,特别是二十世纪九十年代以后,数据管理不再仅仅是存储和管理数据,而转变成用户所需要的各种数据管理的方式。数据库有很多种类型,从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库***都在各个方面得到了广泛的应用。
在信息化社会,充分有效地管理和利用各类信息资源,是进行科学研究和决策管理的前提条件。数据库技术是管理信息***、办公自动化***、决策支持***等各类信息***的核心部分,是进行科学研究和决策管理的重要技术手段。
企业发展到一定阶段,出现多个事业部,每个事业部都有各自数据,事业部之间的数据往往都各自存储,各自定义。每个事业部的数据就像一个个孤岛一样无法(或者极其困难)和企业内部的其他数据进行连接互动。我们把这样的情况称为数据孤岛。简单说就是数据间缺乏关联性,数据库彼此无法兼容。
现有技术中,构建数据仓库十分昂贵,需要消耗大量的硬件成本、软件成本和人力成本;构建数据仓库的过程十分复杂,涉及到数据仓库的可靠性、安全性、数据模型设计等;数据仓库的库表结构一旦确定,很难在做修改,因此可持续性比较差,灵活度不高;数据仓库的数据融合需要将各种数据库的数据进行汇总并统一存储,期间涉及到数据采集,数据转换,数据传输,数据校验等过程,导致数据融合的进度十分缓慢。
发明内容
本发明针对上述的数据孤岛、数据库之间的兼容问题提出了一种解决方案。实现上述目的的技术方案如下:
包括多维全息数据库,多维全息数据库包括应用层、逻辑业务模型层、数据融合层、数据源层。首先通过整合多数据源下的数据,通过不同方式进行数据采集,构建统一数据访问平台,进而进行数据清洗和标准化等工作,其次在统一数据融合层基础上提炼出逻辑业务模型层,进而再提炼出多个业务的主体域,供最终应用层业务展现和分析使用。其中,所述数据源层是指应用业务***中的数据源,可以是核心***数据、ODS***数据库、业务***数据库、渠道***数据库等数据库,从这些数据库中进行数据采集、数据清洗、数据标准化等流程抽取到关系型数据库或分布式文件***,形成多维全息数据库。
数据融合层用于构建统一数据访问平台,统一数据访问平台对采集的数据进行数据处理;
逻辑业务模型层用于在数据融合层上构建逻辑业务模型,并对数据融合层发起查询请求,其中,上层逻辑业务模型通过统一数据访问平台实现对数据源层的统一访问和管理,同时逻辑业务模型通过统一数据访问平台实现对跨源、异构数据库下多维全息数据的统一访问;应用层可基于多维全息数据库***根据需求发起全数据库范围的查询请求,实现业务分析与数据展现;
逻辑业务模型层的用户通过逻辑业务模型层实现单库查询、跨库查询,并且能够根据业务规则设计跨库的逻辑表,基于逻辑表实现多维全息的数据分析,使不同数据源之间的数据库实现关联分析。
根据不同业务需求在数据源层的基础上构建数据集市,同时根据业务展示的需求构建数据专题,利用数据采集组件将所有分散的数据库的数据全部汇总到数据存储层中统一存储,将汇总后的数据进行加工整理后对数据进行基于主题的全量信息展示。
多维全息数据库可以提供信息的全局展示及基于主题的简明视图,帮助管理者作出更加准确的决策。解决各个独立***数据库之间的信息孤岛问题,实现了数据的融合管理。将数据统一存放至数据存储层,实现了数据的全面展示,为决策者提供更加全面的信息,使决策更加科学。
附图说明
图1为构建多维全息数据库过程的抽象示意图;
图2为查询过程的抽象示意图;
图3为查询过程示意图;
图4为查询过程示意图;
图5为统一融合服务通过SDK和应用***进行集成时的流程图:
具体实施方式
下面结合附图对本发明做详细的说明。
企业决策往往从多个维度构建全息的数据展现,来剖析底层数据所存在的问题和机遇。而底层数据一般分布广泛于各个数据源,存在信息呈孤岛式分布的情况。因此首先需要在基于多数据源下的数据层构建一套逻辑业务模型,进而形成多个主题的概念模型,供上层应用解决企业所遇到的问题。
本发明中,首先需要构建多维全息数据库,如图1所示,多维全息数据库包括应用层、逻辑业务模型层、数据融合层、数据源层。多维全息数据库构建完成后,利用多维全息数据库构建具有跨库查询功能的服务***,构成本发明中的多维全息数据库动态构建技术***。下面具体的描述多维全息数据库动态构建技术***的详细内容;
其中,所述数据源层用于数据的采集,数据源是数据采集的来源,经数据清洗等步骤后抽取到数据存储层。
在数据融合层构建统一数据访问平台(也叫统一数据融合平台),统一数据访问平台对采集的数据进行数据清洗和标准化等工作,将数据进行分类,形成多个数据库,使数据容易分类和查找。
逻辑业务模型层用于在数据融合层上构建逻辑业务模型,进而再提炼出多个业务的主体域,供最终应用层业务展现和分析使用。
应用层供用户使用,用户根据自己的需求做数据查询分析;
总体来说,统一数据访问平台实现上层逻辑业务模型对数据源层存储的数据进行统一访问和管理,逻辑业务模型通过统一数据访问平台实现对跨源、异构数据库下多维全息数据的统一访问;
逻辑业务模型层属于用户层,通过分类,逻辑业务模型层可以分为客户域、服务域、资源域等类型,用户查找信息时,可以通过本层进行信息查询。
逻辑业务模型层的用户通过逻辑业务模型层能够实现单库查询、跨库查询,并且能够根据业务规则设计跨库的逻辑表,基于逻辑表实现多维全息的数据分析,打破不同数据源之间做关联分析的壁垒。逻辑业务模型通过统一数据访问平台服务,实现对单个数据源的多维全息数据访问功能。
在构建逻辑业务模型层的主题域(包括客户域、服务域、资源域等分类类型)过程中,其中,最繁琐的任务就是从多个数据源进行不同方式的数据采集,清洗和标准化等工作。所以通过实现统一数据访问平台的建设,尽量做到一步采集、清洗和标准化。在统一数据访问平台构建完成后,再完成逻辑业务层的快速构建,以实现后期类似客户画像,关系图谱等动态多维全息逻辑业务层的运用。以下就具体如何采集数据、构建统一数据访问平台、构建逻辑业务模型进行具体的描述。
所述数据源层中的数据从各种业务数据库中收取信息,业务数据库包括核心***数据、ODS***数据库、业务***数据库、渠道***数据库等等数据库,也就是说数据存储层是由多个数据库组成,统一数据访问平台能够访问每个单独的数据库,也可以数个数据库一起访问,实现既可以单库查询,也可以跨库查询的目的。
统一数据访问平台是实现上层逻辑业务模型层对底层(即数据存储层)数据存储中各数据存储***的统一访问和管理,逻辑业务模型通过统一数据访问服务实现对跨源、异构数据库下多维全息数据的统一访问。
下面再具体的描述构建统一数据访问平台的具体内容,其形成具有跨库查询功能的服务***。
统一数据访问平台如图2所示:统一数据访问平台包括如下模块:
数据访问组件SDK:用于实现逻辑业务模型访问后端数据的统一入口,所述后端数据即是如图2所示的数据存储层,数据访问组件 SDK与逻辑业务模型通过物理连接,即接口实现查询访问、指令传递。
多维全息数据库拥有开放兼容的架构体系,当有外部数据需要接入时,无需做数据导入,可以通过多维全息数据库自身提供的丰富的数据访问接口动态的将外部数据融入到业务逻辑模型中且不影响数据库的正常使用。
数据访问组件SDK中包含SQL解析模块,SQL解析模块提供解析服务,SQL解析模块为数据访问组件SDK的一部分,SQL解析模块用于解析数据访问组件SDK发布的命令,判断是单库查询还是跨库查询,并根据判断的模式在数据库中搜索查询的内容。SQL解析模块包括驱动管理、权限管理、连接管理、路由管理、负载管理、容错管理等功能模块。
分布式查询引擎模块:实现SQL解析模块请求的分布式数据查询与跨库跨表访问的功能,实现直接查询或者是跨库查询,如是跨库查询,则根据SQL解析模块的解析在数据存储层中的多个数据库中同时进行检索;分布式查询引擎模块包括协调者、执行者、数据源适配器等功能模块。
多维全息数据库通过分布式查询引擎模块实现了对关系型数据库、NoSQL数据库以及分布式文件***的统一跨库关联查询访问功能和直连查询功能。
代理访问模块:引用发送查询请求时,为查询任务提供代理访问功能,具体如下:
代理访问模块提供了JDBC协议和RESTful API两种模式。
1)JDBC协议实现:对逻辑业务模型提供JDBC驱动(或代理数据访问组件SDK)。JDBC协议实现对数据访问组件SDK提供的JDBC的 API请求进行处理,通过数据访组件SDK和数据存储进行数据交互,而代理起到了隔离的作用,逻辑业务模型无需知晓底层数据(即数据存储层)存储的各种敏感信息。
RESTFul API接口实现:提供基于RESTful风格的API接口方式,逻辑业务模型无需经过数据访问组件SDK可以在任何语言环境中通过这些API访问底层数据,同时也起到了安全隔离作用。
数据分发模块:实现逻辑业务模型对后端数据库(即数据存储层) “一发多收”的功能;所述“一发”针对逻辑业务模型而言,逻辑业务模型对统一数据访问平台发起查询,“多收”针对的是数据存储层而言的,跨库查询时,所要查询的多个数据库都能收到查询请求;
元数据管理模块:提供对查询服务中的管理服务、元数据采集、物理库、逻辑库等元数据信息的统一管理;元数据是指一些核心数据、基本、重要的数据,元数据管理模块管理元数据采集、服务中的管理服务、物理库、逻辑库等模块中的元数据。
***管理模块:包括节点管理、服务管理、审计管理、监控管理等内容,提供对节点、服务、资源等***管理功能;
日志存储管理模块:提供对日志信息的管理功能,其中日志存储管理模块包括本地日志管理、远程日志存储、第三方集成。
逻辑业务模型层提供逻辑业务模型构建的功能,通过该层用户可实现单库查询、跨库查询,根据自己的业务规则设计跨库的逻辑表,基于逻辑表可实现多维全息的数据分析,打破数据不同数据源之间做关联分析的壁垒。
当用户需要查询信息时,发出的指令有可能通过直接访问在单一数据库中进行查询,或者在多个数据库中进行检索的方式而获取,有可能甚至无法直接访问,而通过代理访问的方式间接获取,而采用什么样的查询方式,例如是单库查询还是跨库查询是根据SQL解析模块实现的,代理服务提供了JDBC和RESTful接口,逻辑业务模型的访问采用非Java语言开发的应用发起查询请求、或者对逻辑业务模型的访问数据源有更高级别的要求时,可通过代理实现对逻辑业务模型访问的代理中转。下面就针对这几种情况分别阐述一下其中的原理。
(一)单库访问原理
逻辑业务模型通过统一数据访问平台实现对单个数据源的多维全息数据访问功能。单库访问的原理如图3所示:
单库访问的步骤如下:
(1)首先逻辑业务模型发出查询请求;
(2)逻辑业务模型通过接口连接数据访问组件SDK,数据访问组件SDK利用SQL解析模块查询请求,判断是单库查询还是跨库查询;
(3)如果是单库查询,数据访问组件SDK将SQL连接到数据存储层中相应的数据库进行数据查询,并获取查询结果;
(4)SQL解析模块将获取的查询结果返回给数据访问组件SDK;
(4)数据访问组件SDK将查询到的数据返回给逻辑业务模型。
(二)跨多库访问原理
跨多库就是跨库访问的意思,同时在数据源层中的多个数据库中进行查询;
逻辑业务模型通过统一数据访问平台,可实现单个逻辑业务模型同时访问多个业务应用数据库(如图2中的数据库)数据的功能。跨库访问的原理图如下图所示,
(1)首先逻辑业务模型发出查询请求;
(1)首先统一数据访问平台数据访问组件SDK接受业务层发出查询请求;
(2)SQL解析模块解析查询请求,判断是单库查询还是跨库查询;
(3)如果需要跨库查询,数据访问组件SDK将SQL解析模块连接发送到分布式数据查询引擎;
(4)分布式数据查询引擎连接到所需要查询的多数据源;
(5)SQL解析模块连接从多数据源获取到的查询结果返回到分布式数据查询引擎,并返回给分布式数据查询引擎;
(6)分布式数据查询引擎模块将返回的查询结果汇总后返回给数据访问组件SDK;
(7)数据访问组件SDK将查询到的查询结果返回给逻辑业务模型。
(三)代理中转访问原理:
代理访问模块实现了中转代理的功能,提供了对非java语言发起的查询访问请求的支持,并支持更高级别的对数据源的访问,或者对逻辑业务模型的访问数据源有更高级别的要求时,可通过代理实现对逻辑业务模型访问的代理中转。如图4所示:所述代理中转访问步骤如下:
(1)逻辑业务模型发出查询请求;
(2)逻辑业务模型与统一数据融合平台中的代理访问组件建立连接;
(3)代理访问连接到数据访问组件SDK;
(4)数据访问组件SDK判断连接方式,判断是单库查询还是多库查询,若是单库查询,数据访问组件SDK则与相应的库建立SQL连接进行查询,若是跨库查询,则数据访问组件SDK与分布式查询引擎建立 SQL连接,分布式查询引擎再连接到需要查询的表进行查询;
(5)查询结果返回到数据访问组件SDK;
(6)数据访问组件SDK将查询结果返回给代理访问模块;
(7)代理访问模块将查询结果返回给逻辑业务模型。
下面再具体的描述统一数据访问平台中每个模块的组成部分:
(一)数据访问组件SDK
数据访问组件SDK提供标准的JDBC驱动,是与上层逻辑业务模型对接的唯一接口。该组件可嵌入在逻辑业务模型等模块的内部,实现应用认证过程的初始化,获取所需的元数据信息并根据元数据管理模块发送的变更通知进行实时变更。
数据访问组件SDK主要实现了以下功能:
(1)SQL解析:应用层的查询请求解析到库、表等相关信息(查询就是应用层通过发起SQL查询语句来实现的,SQL语句中包含着库和表以及要查询的内容,SQL解析就是把这些信息解析出来),为SQL 分发到具体的数据库做准备,即根据解析的命令,发布到具体的数据中进行查询;
(2)驱动管理:为不同的数据源(即数据存储层中的数据库,如图2所示)配置不同的数据驱动;
(3)权限管理:将从元数据管理模块中获取的用户权限与该用户实际SQL对应的权限进行对比并将结果反馈给发起查询的应用;可实时更新从元数据获取到的用户的权限数据;
(4)连接管理:对各个数据源提供连接池管理功能,同时实现负载均衡等功能。
(5)路由管理:管理应用(即管理发起查询的应用程序)对应的SQL请求以何种方式发给具体的数据源;
(6)负载管理:完成对分布式数据查询引擎和代理访问模块的连接均衡管理;
(7)容错管理:提供连接的断开重连机制,以及在分布式数据查询引擎和代理访问模块之间的连接漂移、失败重试等功能。
统一数据访问平台通过数据访问组件SDK和多维全息数据库进行集成,使用数据访问组件SDK进行应用集成时主要使用两种流程:创建连接、发送SQL请求。两种流程如图5所示:
(1)创建连接:应用端正确配置JDBC参数,之后传给数据访问组件 SDK的连接管理模块,该连接管理模块提供连接代理功能,根据JDBC 版本、提供的参数到元数据的状态服务器进行验证,并获取相应的元数据信息;如果连接成功,返回给应用客户端一个连接代理。
(2)SQL请求:基于上面创建的连接发送SQL请求;
(3)SQL解析:判断该SQL连接是否为穿透连接,如果是则基于给定的数据存储层按需创建或选择连接;如果不是,则进入SQL解析(单库操作、跨库操作、代理访问操作),返回相应的连接。
(二)分布式数据查询引擎模块
分布式数据查询引擎模块实现跨库多表关联分析与查询,并能完成对复杂SQL查询请求的分布式执行;主要包括协调者、执行者、数据源适配器三部分。
其中分布式查询引擎中的数据源适配器,用于实现逻辑业务模型到不同业务数据库的适配连接,主要包含三大类:RDB类适配器、NoSQL 类适配器、DFS类适配器;不同的数据请求通过不同的适配器连接到不同的数据源:
(1)关系型数据请求通过RDB类的适配器连接到各个关系型数据库;
(2)非关系型数据请求通过NoSQL类的适配器连接到非关系型数据库;文件类的数据请求通过DFS类的适配器连接到文件存储中。
(三)代理访问模块
代理访问模块包括JDBC协议和RESTful API两种方式。其中JDBC 传递的是SQL语句,由数据访问组件SDK发出;RESTful API是指定查询的对象和条件,支持表级的数据权限控制。
代理访问模块主要实现了以下功能:
(1)JDBC协议实现:对逻辑业务模型提供JDBC驱动(数据访问组件SDK)。JDBC协议实现对数据访问组件SDK提供的JDBC的API请求进行处理,通过分布式数据访问组件SDK和数据存储进行数据交互,而代理起到了隔离的作用,逻辑业务模型无需知晓底层数据存储的各种敏感信息。
(02)RESTFul API接口实现:提供基于RESTful风格的API接口方式,逻辑业务模型无需经过数据访问组件SDK可以在任何语言环境中通过这些API访问底层数据,同时也起到了安全隔离作用。
(四)元数据管理模块
元数据管理模块提供对数据源的视图、状态、查询引擎工作状态、逻辑业务模型注册信息以及对应访问权限等数据的管理。元数据管理模块分为元数据采集和数据管理服务两部分。
元数据管理模块主要实现了以下功能:
(1)元数据采集:主要是对数据源元数据(数据库对于的库、表、库表定义等)、数据库状态(存活信息)、查询引擎状态(硬件错误、网络错误、软件问题等原因引起的可用性状态)等进行采集;
(2)应用管理:完成逻辑业务模型在平台的注册,维护对应的用户名和密码;
(3)库表管理:提供统一的库表名字空间管理(实际的库、表到平台内部库表的映射,全局的统一命名空间)以及表定义映射管理;还提供库到实际物理节点的映射关系、数据库类型、存活状态、主从标识等信息;
(4)状态管理:主要完成数据库、查询引擎状态变化的维护和通知;
(5)权限管理:提供逻辑业务模型访问具体数据源(库表)的访问权限的制定和维护;
(6)性能管理:为客户端展现以及数据访问组件SDK做连接分发提供支持,包括库表性能数据(连接总数、实时连接数、SQL请求总数、成功总数、失败总数等)。
(五)***管理模块
***管理提供可视化视图,支持企业运维管理人员进行相关服务的管理,并对外提供RESTful API接口,以便进行定制开发。
***管理模块主要实现了以下的功能:
(1)节点管理:节点管理负责对安装有统一融合服务组件的服务器节点进行管理,并监控其节点状态、***资源等;
(2)服务管理:实现对服务(或软件)进行规范化的配置变更维护,允许用户对服务进行常规维护;
(3)审计管理:实现***管理员对整个平台***中各类***日志的查询和分析统计,以便用户获取以往***的运行状况;
(4)监控管理:提供标准的规范,监控节点、服务、软件的各个监控指标,并允许用户对某软件或服务扩展监控指标。
(六)日志存储管理模块
日志存储管理模块实现对***日志的存储管理功能,并支持第三方日志存储***的集成,以便配合客户实现公司对日志文件的统一存储和管理。
日志存储管理模块主要实现了以下功能:
(1)本地日志存储:实现统一融合服务本地日志文件的存储和管理;
(2)远程日志存储:实现统一融合服务对日志文件远程统一的存储和管理;
(3)第三方集成:支持与统一融合服务对接的公司日志存储***或第三方日志存储***进行集成,实现统一的日志存储管理(如可将日志文件通过logstash或其他采集工具采集后,再按照规定的格式统一存储到公司或第三方的日志存储***)。
本发明带来的有益效果:
(1)外部数据的动态融合
多维全息数据库拥有开放兼容的架构体系,有外部数据需要接入时,无需做数据导入,可以通过多维全息数据库自身提供的丰富的数据访问接口动态的将外部数据融入到业务逻辑模型中且不影响数据库的正常使用,支持对外部数据的多业务模型关联访问、数据的增删改查等操作以及数据访问权限控制等等。
(2)多源异构数据的统一访问
多维全息数据库通过分布式查询引擎实现了对关系型数据库、 NoSQL数据库以及分布式文件***的统一跨库关联查询访问功能。实现了对跨地域、跨数据源的各类异构数据的统一数据访问,对上层组件提供统一的数据访问接口,对下层各种数据存储***提供统一的适配管理,是适合企业范围的可以高性能访问各种数据源的分布式数据访问和处理平台,为处理多种平台上的关系和非关系型数据提供了统一的访问方式和数据处理服务。
(3)多变的业务模型支持
多维全息数据库通过动态构建的业务逻辑模型可以支持多变的业务模型场景,底层的schema-free的数据模型构建模式可支持数据模型结构的随意增加、减少、修改等变化。依靠底层schema-free数据模型为基础构建逻辑业务模型可以实现根据不同的业务需求动态的调整业务模型。
(4)多维全息数据动态展现
多维全息数据库通过业务逻辑模型和schema-free的库表构建模式实现了目标数据多个维度的全量数据展示,直观地展现所有与目标数据有关的信息,找出数据中的共用元素和深层次的关联信息,为分析调查工作提供有用情报以及辅助决策者通过关联关系得出更有价值的决策。
以上仅为本发明实施例的较佳实施例而已,并不用以限制本发明实施例,凡在本发明实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明实施例的保护范围内。

Claims (9)

1.多维全息数据库动态构建技术***,通过应用层进行业务展现、分析,其特征在于:
包括逻辑业务模型层、数据融合层、数据源层;
其中,所述数据源层为数据存储层,所述数据源层采集不同渠道的数据存储到不同关系型数据库或分布式文件***,形成多维全息的数据存储层;
数据融合层用于构建统一数据访问平台,统一数据访问平台对采集的数据进行数据处理;
逻辑业务模型层用于在数据融合层上构建逻辑业务模型,并对数据融合层发起查询请求,其中,上层逻辑业务模型通过统一数据访问平台实现对数据源层的统一访问和管理,同时逻辑业务模型通过统一数据访问平台实现对跨源、异构数据库下多维全息数据的统一访问;
应用层的用户通过逻辑业务模型层实现单库查询、跨库查询,并且能够根据业务规则设计跨库的逻辑表,基于逻辑表实现多维全息的数据分析,使不同数据源之间的数据库实现关联分析。
2.根据权利要求1所述的多维全息数据库动态构建技术***,其特征在于:逻辑业务模型层包括客户域、资源域、其他域。
3.根据权利要求1所述的多维全息数据库动态构建技术***,其特征在于:统一数据访问平台包括:
数据访问组件SDK:用于与逻辑业务模型建立物理连接,实现逻辑业务模型访问数据源层的入口,实现接收逻辑业务模型发起的查询请求,数据访问组件SDK包括SQL解析模块,其中的SQL解析模块判断该查询是单库查询还是跨库查询;
分布式查询引擎模块:接收数据访问组件SDK发布的查询指令,提供跨库查询引擎,根据接收的查询指令实现跨库查询;
代理访问模块:代理访问包括JDBC协议和RESTful API两种方式;
其中JDBC传递的是SQL语句,由数据访问组件SDK发出;RESTful API是指定查询的对象和条件,支持表级的数据权限控制;
数据分发模块:业务逻辑层发过来的请求,分发给数据存储层的多个数据库,实现逻辑业务模型对数据存储层“一发多收”的功能;
元数据管理模块:提供管理服务、元数据采集、物理库、逻辑库的元数据信息的统一管理;
***管理模块:提供对节点、服务、资源***管理功能;
日志存储管理模块:提供对日志信息的管理功能。
4.根据权利要求3所述的多维全息数据库动态构建技术***,其特征在于:
单库访问的步骤如下:
(1)首先数据访问组件SDK接受业务逻辑层发起的查询请求;
(2)数据访问组件SDK利用SQL解析模块查询请求,判断是单库查询还是跨库查询;
(3)如果是单库查询,数据访问组件SDK将SQL解析模块连接到数据存储层中相应的数据库进行数据查询,并获取查询结果;
(4)SQL连接将获取的查询结果返回给数据访问组件SDK;
(5)数据访问组件SDK将查询结果再返回给逻辑业务模型。
5.根据权利要求3所述的多维全息数据库动态构建技术***,其特征在于:跨库访问的步骤如下:
(1)首先统一数据访问平台的数据访问组件SDK接受业务层发出查询请求;
(2)SQL解析模块查询请求,判断是单库查询还是跨库查询;
(3)如果需要跨库查询,数据访问组件SDK将SQL连接发送到分布式数据查询引擎;
(4)分布式数据查询引擎连接到所需要查询的数据源层中的多数据源;
(5)SQL连接从多数据源获取到的查询结果返回到分布式数据查询引擎,并返回给分布式数据查询引擎;
(6)分布式数据查询引擎模块将返回的查询结果汇总后返回给数据访问组件SDK;
(7)数据访问组件SDK将查询到的查询结果返回给逻辑业务模型。
6.根据权利要求3所述的多维全息数据库动态构建技术***,其特征在于:代理访问模块实现了中转代理的功能,提供了对非java语言发起的查询访问请求的支持,并支持更高级别的对数据源的访问,所述代理中转访问步骤如下:
(1)逻辑业务模型发出查询请求;
(2)逻辑业务模型与统一数据访问平台中的代理访问组件建立连接;
(3)代理访问连接到数据访问组件SDK;
(4)数据访问组件SDK判断连接方式,判断是单库查询还是多库查询,若是单库查询,数据访问组件SDK与相应的库建立SQL连接,进行查询,若是跨库查询,则数据访问组件SDK与分布式查询引擎建立SQL连接,分布式查询引擎再连接到需要查询的表进行查询;
(5)查询结果返回到数据访问组件SDK;
(6)数据访问组件SDK将查询结果返回给代理访问模块;
(7)代理访问模块将查询结果返回给逻辑业务模型。
7.根据权利要求3所述的多维全息数据库动态构建技术***,其特征在于:所述数据访问组件SDK包括:
驱动管理:不同的数据源配置不同的数据驱动,每一个数据库对应一个数据驱动;
权限管理:将从元数据管理模块中获取的用户权限与该用户实际SQL对应的权限进行对比并将结果反馈给发起请求的应用;能够实时更新从元数据获取到的用户的权限数据;
连接管理:为各个数据源提供连接池管理功能,同时实现负载均衡的功能;
路由管理:管理应用对应的SQL请求以何种方式发给具体的数据源;
负载管理:完成对分布式数据查询引擎模块和代理访问模块的连接均衡管理;
容错管理:提供连接的断开重连机制,以及在分布式数据查询引擎模块和代理访问模块之间的连接漂移、失败重试的功能。
8.根据权利要求3所述的多维全息数据库动态构建技术***,其特征在于:
代理访问模块包括:
1)JDBC协议实现:对逻辑业务模型提供JDBC驱动;
2)JDBC协议实现对数据访问组件SDK提供的JDBC的API请求进行处理,通过数据访问组件SDK和数据存储进行数据交互,而代理起到了隔离的作用,逻辑业务模型无需知晓底层数据存储的各种敏感信息;
3)RESTFul API接口实现:提供基于RESTful风格的API接口方式,逻辑业务模型无需经过数据访问组件SDK可以在任何语言环境中通过这些API访问底层数据,同时也起到了安全隔离作用。
9.根据权利要求3所述的多维全息数据库动态构建技术***,其特征在于:元数据管理模块提供对数据源的视图、状态、查询引擎工作状态、逻辑业务模型注册信息以及对应访问权限数据的管理;其中,元数据管理模块分为元数据采集和数据管理服务两部分;
其中,元数据采集用于对数据源元数据、数据库状态、查询引擎状态进行采集;
应用管理用于完成逻辑业务模型在平台的注册,维护对应的用户名和密码。
CN201811148608.3A 2018-09-29 2018-09-29 多维全息数据库动态构建技术*** Pending CN109144982A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811148608.3A CN109144982A (zh) 2018-09-29 2018-09-29 多维全息数据库动态构建技术***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811148608.3A CN109144982A (zh) 2018-09-29 2018-09-29 多维全息数据库动态构建技术***

Publications (1)

Publication Number Publication Date
CN109144982A true CN109144982A (zh) 2019-01-04

Family

ID=64813625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811148608.3A Pending CN109144982A (zh) 2018-09-29 2018-09-29 多维全息数据库动态构建技术***

Country Status (1)

Country Link
CN (1) CN109144982A (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096545A (zh) * 2019-03-12 2019-08-06 国网辽宁省电力有限公司信息通信分公司 一种基于大数据平台数据处理域构架方法
CN110222169A (zh) * 2019-06-20 2019-09-10 中国人民解放军陆军特种作战学院 一种可视化数据处理解析***及其处理方法
CN110716976A (zh) * 2019-10-12 2020-01-21 广州接入信息科技有限公司 基于两种交互场景的分布式数据访问及存储***
CN110727742A (zh) * 2019-10-12 2020-01-24 深圳市康必达控制技术有限公司 一种可跨端部署的业务编排方法及***
CN110941641A (zh) * 2019-11-15 2020-03-31 南威软件股份有限公司 一种跨多个数据库进行数据搜索的方法
CN110941657A (zh) * 2019-11-08 2020-03-31 支付宝(杭州)信息技术有限公司 业务数据处理方法及装置
CN111159689A (zh) * 2019-12-30 2020-05-15 深圳市中易科技有限责任公司 一种支持多***统一用户管理的方法及***
CN111198913A (zh) * 2019-12-10 2020-05-26 北京康沙士信息科技有限公司 一种异构数据库网络融合的方法及***
CN111241211A (zh) * 2020-01-16 2020-06-05 青岛特来电云科技有限公司 一种适配多类大数据库的多维分析方法
CN111523853A (zh) * 2020-04-14 2020-08-11 上海资信有限公司 一种企业信用信息加工、整理及存储的管理方法
CN111625579A (zh) * 2019-02-27 2020-09-04 阿里巴巴集团控股有限公司 一种信息处理方法、装置及***
CN111831264A (zh) * 2020-07-21 2020-10-27 杭州旷识科技有限公司 一种基于数据处理引擎的软件***构建方法
CN112000310A (zh) * 2020-07-01 2020-11-27 南方电网数字电网研究院有限公司 电力自动化运维***
CN112186901A (zh) * 2020-09-30 2021-01-05 国网智能科技股份有限公司 一种变电站全景感知监控方法及***
CN112231388A (zh) * 2020-10-14 2021-01-15 宁夏回族自治区教育信息化管理中心 一种多元化指标分析的动态图表构建方法
CN112231380A (zh) * 2020-10-20 2021-01-15 长城计算机软件与***有限公司 采集数据的综合处理方法、***、存储介质及电子设备
CN112328455A (zh) * 2020-12-02 2021-02-05 国泰君安证券股份有限公司 计算机软件***中基于数据库实现通用业务监控的***
CN112509605A (zh) * 2020-11-26 2021-03-16 鹏城实验室 一种多层体全息式五维数据存储方法及***
CN112527876A (zh) * 2020-12-08 2021-03-19 国网四川省电力公司信息通信公司 基于多源异构数据分析的统一数据库访问***
CN112579563A (zh) * 2020-11-18 2021-03-30 广东电网有限责任公司佛山供电局 一种基于电网大数据的数仓可视化建模***及方法
CN112685400A (zh) * 2021-01-22 2021-04-20 浪潮云信息技术股份公司 基于sdk规则引擎进行健康医疗数据质量检测的方法及***
CN113312340A (zh) * 2021-04-09 2021-08-27 国网陕西省电力公司电力科学研究院 一种多源数据的处理、融合、展示一体化方法及***
CN113742405A (zh) * 2021-07-30 2021-12-03 浙江工商大学 一种面向异构大数据的筛选、度量抽取方法及装置
CN113868344A (zh) * 2021-09-29 2021-12-31 全球能源互联网研究院有限公司 面向电力应用的构建***、方法、装置、服务器及存储介质
CN114036184A (zh) * 2022-01-11 2022-02-11 杭州涂鸦信息技术有限公司 联邦分布式查询方法、***及计算机可读存储介质
CN114597890A (zh) * 2022-01-27 2022-06-07 国网冀北电力有限公司经济技术研究院 输电线路全息数据***的构建方法
CN114610721A (zh) * 2022-03-23 2022-06-10 北京涵鑫盛科技有限公司 一种多层级分布式存储***及存储方法
CN114756577A (zh) * 2022-03-25 2022-07-15 北京友友天宇***技术有限公司 多源异构数据的处理方法、计算机设备及存储介质
CN114756577B (zh) * 2022-03-25 2024-07-19 北京友友天宇***技术有限公司 多源异构数据的处理方法、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066499A (zh) * 2016-12-30 2017-08-18 江苏瑞中数据股份有限公司 面向异构存储多源数据管理及可视化***的数据查询方法
US20170330152A1 (en) * 2013-03-15 2017-11-16 Traxid, Llc Heterogeneous Data Management Methodology and System
CN107491510A (zh) * 2017-08-03 2017-12-19 国网江苏省电力公司信息通信分公司 一种混合异构数据源统一查询***及分布式查询方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170330152A1 (en) * 2013-03-15 2017-11-16 Traxid, Llc Heterogeneous Data Management Methodology and System
CN107066499A (zh) * 2016-12-30 2017-08-18 江苏瑞中数据股份有限公司 面向异构存储多源数据管理及可视化***的数据查询方法
CN107491510A (zh) * 2017-08-03 2017-12-19 国网江苏省电力公司信息通信分公司 一种混合异构数据源统一查询***及分布式查询方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
刘晓辉: "《现代图书馆图像数据资源建设概论》", 中国戏剧出版社, pages: 4 *
刘雪等: "《大学生电子健康档案与智慧医疗》", 31 July 2018, 冶金工业出版社, pages: 62 - 63 *
安艳茹: "信息资源整合与统一检索平台设计与实现", 《科技创新导报》, vol. 11, no. 36, 21 December 2014 (2014-12-21), pages 242 *
曾楠等: "电力业务统一数据中心架构设计", 《微型电脑应用》 *
曾楠等: "电力业务统一数据中心架构设计", 《微型电脑应用》, vol. 34, no. 06, 20 June 2018 (2018-06-20), pages 19 - 22 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111625579B (zh) * 2019-02-27 2023-06-20 阿里巴巴集团控股有限公司 一种信息处理方法、装置及***
CN111625579A (zh) * 2019-02-27 2020-09-04 阿里巴巴集团控股有限公司 一种信息处理方法、装置及***
CN110096545A (zh) * 2019-03-12 2019-08-06 国网辽宁省电力有限公司信息通信分公司 一种基于大数据平台数据处理域构架方法
CN110222169A (zh) * 2019-06-20 2019-09-10 中国人民解放军陆军特种作战学院 一种可视化数据处理解析***及其处理方法
CN110716976A (zh) * 2019-10-12 2020-01-21 广州接入信息科技有限公司 基于两种交互场景的分布式数据访问及存储***
CN110727742A (zh) * 2019-10-12 2020-01-24 深圳市康必达控制技术有限公司 一种可跨端部署的业务编排方法及***
CN110941657A (zh) * 2019-11-08 2020-03-31 支付宝(杭州)信息技术有限公司 业务数据处理方法及装置
CN110941657B (zh) * 2019-11-08 2023-03-31 支付宝(杭州)信息技术有限公司 业务数据处理方法及装置
CN110941641A (zh) * 2019-11-15 2020-03-31 南威软件股份有限公司 一种跨多个数据库进行数据搜索的方法
CN110941641B (zh) * 2019-11-15 2022-06-21 南威软件股份有限公司 一种跨多个数据库进行数据搜索的方法
CN111198913A (zh) * 2019-12-10 2020-05-26 北京康沙士信息科技有限公司 一种异构数据库网络融合的方法及***
CN111159689A (zh) * 2019-12-30 2020-05-15 深圳市中易科技有限责任公司 一种支持多***统一用户管理的方法及***
CN111241211A (zh) * 2020-01-16 2020-06-05 青岛特来电云科技有限公司 一种适配多类大数据库的多维分析方法
CN111523853B (zh) * 2020-04-14 2022-10-21 上海资信有限公司 一种企业信用信息加工、整理及存储的管理方法
CN111523853A (zh) * 2020-04-14 2020-08-11 上海资信有限公司 一种企业信用信息加工、整理及存储的管理方法
CN112000310A (zh) * 2020-07-01 2020-11-27 南方电网数字电网研究院有限公司 电力自动化运维***
CN111831264A (zh) * 2020-07-21 2020-10-27 杭州旷识科技有限公司 一种基于数据处理引擎的软件***构建方法
CN112186901A (zh) * 2020-09-30 2021-01-05 国网智能科技股份有限公司 一种变电站全景感知监控方法及***
CN112186901B (zh) * 2020-09-30 2022-07-15 国网智能科技股份有限公司 一种变电站全景感知监控方法及***
CN112231388A (zh) * 2020-10-14 2021-01-15 宁夏回族自治区教育信息化管理中心 一种多元化指标分析的动态图表构建方法
CN112231380A (zh) * 2020-10-20 2021-01-15 长城计算机软件与***有限公司 采集数据的综合处理方法、***、存储介质及电子设备
CN112579563A (zh) * 2020-11-18 2021-03-30 广东电网有限责任公司佛山供电局 一种基于电网大数据的数仓可视化建模***及方法
CN112579563B (zh) * 2020-11-18 2022-01-21 广东电网有限责任公司佛山供电局 一种基于电网大数据的数仓可视化建模***及方法
CN112509605A (zh) * 2020-11-26 2021-03-16 鹏城实验室 一种多层体全息式五维数据存储方法及***
CN112509605B (zh) * 2020-11-26 2022-08-26 鹏城实验室 一种多层体全息式五维数据存储方法及***
CN112328455A (zh) * 2020-12-02 2021-02-05 国泰君安证券股份有限公司 计算机软件***中基于数据库实现通用业务监控的***
CN112527876A (zh) * 2020-12-08 2021-03-19 国网四川省电力公司信息通信公司 基于多源异构数据分析的统一数据库访问***
CN112685400A (zh) * 2021-01-22 2021-04-20 浪潮云信息技术股份公司 基于sdk规则引擎进行健康医疗数据质量检测的方法及***
CN113312340A (zh) * 2021-04-09 2021-08-27 国网陕西省电力公司电力科学研究院 一种多源数据的处理、融合、展示一体化方法及***
CN113742405A (zh) * 2021-07-30 2021-12-03 浙江工商大学 一种面向异构大数据的筛选、度量抽取方法及装置
CN113868344A (zh) * 2021-09-29 2021-12-31 全球能源互联网研究院有限公司 面向电力应用的构建***、方法、装置、服务器及存储介质
CN113868344B (zh) * 2021-09-29 2024-04-16 国网智能电网研究院有限公司 面向电力应用的构建***、方法、装置、服务器及存储介质
CN114036184A (zh) * 2022-01-11 2022-02-11 杭州涂鸦信息技术有限公司 联邦分布式查询方法、***及计算机可读存储介质
CN114597890A (zh) * 2022-01-27 2022-06-07 国网冀北电力有限公司经济技术研究院 输电线路全息数据***的构建方法
CN114610721A (zh) * 2022-03-23 2022-06-10 北京涵鑫盛科技有限公司 一种多层级分布式存储***及存储方法
CN114756577A (zh) * 2022-03-25 2022-07-15 北京友友天宇***技术有限公司 多源异构数据的处理方法、计算机设备及存储介质
CN114756577B (zh) * 2022-03-25 2024-07-19 北京友友天宇***技术有限公司 多源异构数据的处理方法、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN109144982A (zh) 多维全息数据库动态构建技术***
CN103455540B (zh) 从数据仓库模型生成内存模型的***和方法
Motro et al. Fusionplex: resolution of data inconsistencies in the integration of heterogeneous information sources
US8438238B2 (en) Master data access
CN1949763B (zh) 共享信息服务器***
US7730065B2 (en) File formats for external specification of object-relational mapping
US8095962B2 (en) Method and system of auditing databases for security compliance
CN102770849B (zh) 当应用基于用户的安全性时优化数据高速缓存
US20070192374A1 (en) Virtual repository management to provide functionality
Scheuermann et al. Report on the workshop on heterogenous database systems held at Northwestern University Evanston, Illinois, December 11-13, 1989 sponsored by NSF
CN104200402A (zh) 一种电网多个数据源的源数据发布方法及***
CN101201842A (zh) 数字博物馆网格及其构造方法
CN101901242A (zh) 联合的配置数据管理
US20040051740A1 (en) Data container for interaction between a client process and software applications
KR20170118116A (ko) 네트워크 상에서 데이터 소스의 질의
CN113094385B (zh) 一种基于软件定义开放工具集的数据共享融合平台及方法
US20040181518A1 (en) System and method for an OLAP engine having dynamic disaggregation
US7099727B2 (en) Knowledge repository system for computing devices
CN110298189A (zh) 数据库权限管理方法及设备
CN104881462B (zh) 元数据管理***
CN115617776A (zh) 一种数据管理***及方法
CN109616184A (zh) 一种基于互联网的医疗数据集成***
CN111079131A (zh) 一种跨公司业务的权限授权与控制方法及***
US20090094229A1 (en) Method and apparatus for exploiting 'trace' function to support database integration
US20140052649A1 (en) Data Management System for Generating a Report Document by Linking Technical Data to Intellectual Property Rights Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104

RJ01 Rejection of invention patent application after publication