CN107315776A - 一种基于云计算的数据管理*** - Google Patents

一种基于云计算的数据管理*** Download PDF

Info

Publication number
CN107315776A
CN107315776A CN201710392769.6A CN201710392769A CN107315776A CN 107315776 A CN107315776 A CN 107315776A CN 201710392769 A CN201710392769 A CN 201710392769A CN 107315776 A CN107315776 A CN 107315776A
Authority
CN
China
Prior art keywords
metadata
data
management
module
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710392769.6A
Other languages
English (en)
Other versions
CN107315776B (zh
Inventor
王萍
胡聪
吴斌
蔡梦臣
马永
徐敏
方圆
张禾良
吴尚
倪平波
张捷
喻梅
胡州明
欧渊
张强
吴磊
马常惠
胡超阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SICHUAN ZHONGDIAN VENUS INFORMATION TECHNOLOGY Co Ltd
Information and Telecommunication Branch of State Grid Anhui Electric Power Co Ltd
Original Assignee
SICHUAN ZHONGDIAN VENUS INFORMATION TECHNOLOGY Co Ltd
Information and Telecommunication Branch of State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SICHUAN ZHONGDIAN VENUS INFORMATION TECHNOLOGY Co Ltd, Information and Telecommunication Branch of State Grid Anhui Electric Power Co Ltd filed Critical SICHUAN ZHONGDIAN VENUS INFORMATION TECHNOLOGY Co Ltd
Priority to CN201710392769.6A priority Critical patent/CN107315776B/zh
Publication of CN107315776A publication Critical patent/CN107315776A/zh
Application granted granted Critical
Publication of CN107315776B publication Critical patent/CN107315776B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/211Schema design and management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于云计算的数据管理***,包括:数据维护模块:用于基于CWM的元数据建模、元数据实体维护、元数据关系维护;数据管理模块:用于元数据分析与可视化展示;数据存储库:用于元数据、元模型存储和版本记录;数据整合平台:用于元数据的抽取与整合,将元数据整合到分布式数据库***,还包括对存放于不同的服务器和存储设备的元数据进行统一管理和利用的资源调度引擎数据管理模块。本发明通过服务器及存储虚拟化、资源整合建模、资源调度引擎等技术,实现了异构资源上的元数据的整合、异构资源的统一管理与利用和存储在不同存储设备上的业务数据库的资源共享。

Description

一种基于云计算的数据管理***
技术领域
本发明涉及数据库技术领域,具体的说,是一种基于云计算的数据管理***。
背景技术
云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式,云计算就是指基于互联网络的超级计算模式,即把存储于个人电脑、服务器和其它设备上的大量存储器容量和处理器资源集中在一起,统一管理并且协同工作,通常涉及由互联网来提供的动态易扩展且虚拟化的资源。传统的数据管理模式:过去数据库管理的核心是数据集,数据说明与描述都是针对某个数据集展开的,用户只有访问数据集,才可以得到对应的数据,如此将导致数据不同程度的冗余,数据集和数据之间有较低的关联性,不过数据相互之间低水平的联系或者无联系将导致数据共享存在较大的阻力,针对高级的管理***,其对应的数据库应用环境的复杂性也相应较髙,因为存在多种数据库***,也不利于复杂数据的访问和对异构数据集的直接访问,存在无法有效地对数据进行分析、查询、管理和存储的问题。
发明内容
本发明的目的在于提供一种基于云计算的数据管理***,用于解决现有技术中数据库***无法对异构数据和复杂数据直接访问并有效地分析、查询、管理和存储的问题。
为了达到上述目的,本发明通过下述技术方案实现:
一种基于云计算的数据管理***,包括:
数据维护模块:用于基于CWM的元数据建模、元数据实体维护、元数据关系维护;
数据管理模块:用于元数据分析与可视化展示;
数据存储库:用于元数据、元模型存储和版本记录;
数据整合平台:用于元数据的抽取与整合,将元数据整合到分布式数据库***;
所述数据管理模块包括:
元数据源层:采用经营分析***的数据源***,是所述元数据的来源;
元数据获取层:采用数据源抽取工具抽取分布式文件***中的有效元数据并将元数据存储至分布式数据库***,并为分布式数据库***中的元数据提供统一视图;
元数据存储层:用于元数据的存储,存储的元数据包括业务元数据、技术元数据和管理元数据;
元数据管理层:用于提供符合规范的接口和实现元数据查询、元数据浏览、元数据访问、元数据分析、元数据导入和元数据导出;
元数据访问层:通过元数据管理层访问元数据存储层的元数据,包括元数据管理工具前端、二级经营分析***和中央元数据抽取服务器。
数据管理***包括数据维护模块,数据管理模块,数据存储库,数据整合平台,数据维护***负责基于公共数据仓库元模型规范CWM的元数据建模,对元数据和元数据关系进行维护,数据管理模块负责对元数据进行分析以及为用户访问提供可视化展示界面,数据存储库负责元数据和元模型存储,以及存储元数据的版本记录,数据整合平台负责元数据的抽取和整合。对于每一种数据源采用专有的工具抽取分布式文件***中的有效元数据,将元数据整合成新的元数据,存储到分布式数据库***,并为分布式关系数据库中的元数据提供统一视图。数据整合平台中将不同的服务器和存储设备抽象为统一的资源模型,对不同存储设备上的异构资源的元数据进行整合,实现对这些异构资源的统一管理与利用以及存储在不同服务器和存储设备上的业务数据库的资源共享。元数据的来源,即经营分析模块中的元数据,位于不同的计算机即分布式文件***上,这些分布式文件***统称为元数据源层。元数据获取层从元数据源层抽取元数据,将元数据进行整合后存入元数据存储库。元数据管理层采用了云计算的分布式资源管理技术,访问元数据存储库,读取元数据,并对这些元数据进行维护与分析,不同的用户通过元数据访问层访问所需要的元数据。元数据存储库采用关系数据,逻辑模型针对元模型和元数据各有一套对应的库表。库表与域模型一一对应,元模型的域模型主要包括类、属性、关系、包和数据类型等,元数据的域模型主要包括类、属性和关系等。元数据访问层包括普通用户对元数据的访问,以及其它***对元数据的访问,***为普通用户的访问提供图形界面用于方便用户通过浏览器访问***,***以图和表的方式向用户展示数据。元数据管理层为其它***访问元数据提供接口,支持元数据文件导出,同时,其它***也可以元数据管理层授权的条件下,访问元数据库。
优选地,所述数据管理模块的具体工作流程为:
元数据获取层为所述经营分析***中每一个模块配置一个元数据存储路径,每一个模块的元数据统一存放于所述元数据存储路径中;元数据管理层为所述经营分析***的每个模块配置一个连接桥模块,连接桥模块实现元数据与新的元数据之间的转换,所述连接桥模块包括元数据读取与转换和元数据建模,所述元数据建模用于建立适用于所述经营分析模块的元数据的元模型,元数据入库时,元数据管理层的连接桥模块通过元数据访问层的访问接口,从位于元数据存储层中的分布式数据库***上的元数据路径中读取元数据,并将元数据转换为新的元数据,最后将新的元数据存储入元数据库;元数据出库时,连接桥模块从元数据库中读取出元数据,按照元模型读取出元数据中的信息,并将其重新组织为经分模块中使用的元数据格式,最后将元数据存放入元数据存储层中的分布式数据库***指定的元数据存储路径,并通过元数据访问层为用户访问提供访问接口与可视化展示界面。
在云计算平台上,每个集群建立一个数据库服务器,集中存放该集群上的元数据。每个数据库服务器上存放的元数据各不相同,分布式数据库***为这些数据库服务器上的元数据建立一个统一的视图。用户通过客户端访问分布式数据库***,可以在统一的视图中操作元数据,而不必关心这些元数据具体存放在那个数据库服务器上。
优选地,所述元数据管理层包括:
模型管理:定义元数据的形式,为元数据提供了抽象模板,管理包、类、类的属性、属性的数据类型以及类之间的关系;
数据管理:提供对元数据的手动维护和管理,包括添加、修改、删除、版本、权限、关系维护和整体浏览功能;
数据关系管理:维护元数据与元数据之间的关系;
数据维护:用于对整理收集好的数据按照需求进行分析,提供决策支持;
数据分析:对整理收集好的数据按照需求进行分析,提供决策支持;
***管理:包含用户权限管理、***参数管理、***登录日志查询与修改密码功能。
所述模型管理为元数据提供了抽象模板,即为元数据建立模型,并为元数据的模型建立元模型,作为解析元数据的模型的语言,元数据是又称中介数据、中继数据,为描述数据的数据,用于描述数据属性的信息,对数据管理和数据维护过程提供指示存储位置、历史数据、资源查找、文件记录等功能。数据的管理包括:元数据信息的采集、操作和元数据库的创建,数据维护包括对元数据的导入和导出、查询以及增减操作,数据关系管理负责不同格式的元数据之间的转换和元数据目录关联:这样就可以通过元数据目录来查看元数据信息,也可以更好的对元数据进行分类管理;数据分析根据对元数据的分析结果为***管理提供支持。
优选地,还包括用于对存放于不同的服务器和存储设备的元数据进行统一管理和利用的资源调度引擎数据管理模块,所述资源调度引擎数据管理模块采用资源调度算法,步骤如下:
S1)获取虚拟机集群中所有的物理机与虚拟机的性能监控数据,并评估物理机与虚拟机的资源负载状态;
S2)选择需要调度的虚拟机计算合适的目标节点,进行虚拟机的迁移;
S3)列举虚拟机集合中负载高于上限阈值的虚拟机,用最佳适应算法寻找调度后物理资源负载最高但不超过物理负载上限阈值的物理机,迁移虚拟机到此物理机上。
数据管理***异构资源进行有效的管理、监控和调度,利用虚拟化技术实现对异构资源统一管理,实现对异构资源的有效整合、资源能力的按需分配和动态智能调度,为各类应用***的运行提供稳定、可动态伸缩、安全的环境;为业务***提供可快速部署的开发测试环境和运行环境。
本发明与现有技术相比,具有以下优点及有益效果:
本发明通过服务器及存储虚拟化、资源整合建模、资源调度引擎等技术,实现了异构资源整合,资源按需分配、在线动态调配、应用动态迁移以及流程管理实现各业务数据库资源共享,并能保证数据库高可能性。
附图说明
图1为本发明的体系架构图;
图2为元数据管理层的***原理框图;
图3为资源调度算法的流程图。
具体实施方式
首先,在对本发明的具体实施例进行详述之前,对本文涉及的专业词汇给予解释说明:
CWM:公共数据仓库元模型规范;
经营分析***:是以业务运营支撑***中其他***的数据为基础,构建统一的企业级数据仓库;经营分析***采用先进的数据分析技术,即联机分析处理和数据挖掘两大类,经营分析***的主要功能有四个,即关键指标监控(KPI)、统计报表、综合分析和数据挖掘;
元模型:模型是对现实的抽象,或者对这个抽象的描述,元模型也是模型,是关于模型的模型,它描述的对象是“模型中的元素、元素间关系以及表示法”,可以理解为它是一种语言,人们使用这种语言来描述模型。
下面结合实施例对本发明作进一步地详细说明,但本发明的实施方式不限于此。
实施例1:
结合附图1和图2所示,一种基于云计算的数据管理***,包括:
数据维护模块:用于基于CWM的元数据建模、元数据实体维护、元数据关系维护;
数据管理模块:用于元数据分析与可视化展示;
数据存储库:用于元数据、元模型存储和版本记录;
数据整合平台:用于元数据的抽取与整合,将元数据整合到分布式数据库***;
所述数据管理模块包括:
元数据源层:采用经营分析***的数据源***,是所述元数据的来源;
元数据获取层:采用数据源抽取工具抽取分布式文件***中的有效元数据并将元数据存储至分布式数据库***,并为分布式数据库***中的元数据提供统一视图;
元数据存储层:用于元数据的存储,存储的元数据包括业务元数据、技术元数据和管理元数据;
元数据管理层:用于提供符合规范的接口和实现元数据查询、元数据浏览、元数据访问、元数据分析、元数据导入和元数据导出;
元数据访问层:通过元数据管理层访问元数据存储层的元数据,包括元数据管理工具前端、二级经营分析***和中央元数据抽取服务器。
数据管理***包括数据维护模块,数据管理模块,数据存储库,数据整合平台,数据维护***负责基于公共数据仓库元模型规范CWM的元数据建模,对元数据和元数据关系进行维护,数据管理模块负责对元数据进行分析以及为用户访问提供可视化展示界面,数据存储库负责元数据和元模型存储,以及存储元数据的版本记录,数据整合平台负责元数据的抽取和整合。对于每一种数据源采用专有的工具抽取分布式文件***中的有效元数据,将元数据整合成新的元数据,存储到分布式数据库***,并为分布式关系数据库中的元数据提供统一视图。数据整合平台中将不同的服务器和存储设备抽象为统一的资源模型,对不同存储设备上的异构资源的元数据进行整合,实现对这些异构资源的统一管理与利用以及存储在不同服务器和存储设备上的业务数据库的资源共享。元数据的来源,即经营分析模块中的元数据,位于不同的计算机即分布式文件***上,这些分布式文件***统称为元数据源层。元数据获取层从元数据源层抽取元数据,将元数据进行整合后存入元数据存储库。元数据管理层采用了云计算的分布式资源管理技术,访问元数据存储库,读取元数据,并对这些元数据进行维护与分析,不同的用户通过元数据访问层访问所需要的元数据。元数据存储库采用关系数据,逻辑模型针对元模型和元数据各有一套对应的库表。库表与域模型一一对应,元模型的域模型主要包括类、属性、关系、包和数据类型等,元数据的域模型主要包括类、属性和关系等。元数据访问层包括普通用户对元数据的访问,以及其它***对元数据的访问,***为普通用户的访问提供图形界面用于方便用户通过浏览器访问***,***以图和表的方式向用户展示数据。元数据管理层为其它***访问元数据提供接口,支持元数据文件导出,同时,其它***也可以元数据管理层授权的条件下,访问元数据库。
实施例2:
在实施例1的基础上,结合附图1和图2所示,所述数据管理模块的具体工作流程为:
元数据获取层为所述经营分析***中每一个模块配置一个元数据存储路径,每一个模块的元数据统一存放于所述元数据存储路径中;元数据管理层为所述经营分析***的每个模块配置一个连接桥模块,连接桥模块实现元数据与新的元数据之间的转换,所述连接桥模块包括元数据读取与转换和元数据建模,所述元数据建模用于建立适用于所述经营分析模块的元数据的元模型,元数据入库时,元数据管理层的连接桥模块通过元数据访问层的访问接口,从位于元数据存储层中的分布式数据库***上的元数据路径中读取元数据,并将元数据转换为新的元数据,最后将新的元数据存储入元数据库;元数据出库时,连接桥模块从元数据库中读取出元数据,按照元模型读取出元数据中的信息,并将其重新组织为经分模块中使用的元数据格式,最后将元数据存放入元数据存储层中的分布式数据库***指定的元数据存储路径,并通过元数据访问层为用户访问提供访问接口与可视化展示界面。
在云计算平台上,每个集群建立一个数据库服务器,集中存放该集群上的元数据。每个数据库服务器上存放的元数据各不相同,分布式数据库***为这些数据库服务器上的元数据建立一个统一的视图。用户通过客户端访问分布式数据库***,可以在统一的视图中操作元数据,而不必关心这些元数据具体存放在那个数据库服务器上。
优选地,所述元数据管理层包括:
模型管理:定义元数据的形式,为元数据提供了抽象模板,管理包、类、类的属性、属性的数据类型以及类之间的关系;
数据管理:提供对元数据的手动维护和管理,包括添加、修改、删除、版本、权限、关系维护和整体浏览功能;
数据关系管理:维护元数据与元数据之间的关系;
数据维护:用于对整理收集好的数据按照需求进行分析,提供决策支持;
数据分析:对整理收集好的数据按照需求进行分析,提供决策支持;
***管理:包含用户权限管理、***参数管理、***登录日志查询与修改密码功能。
所述模型管理为元数据提供了抽象模板,即为元数据建立模型,并为元数据的模型建立元模型,作为解析元数据的模型的语言,元数据是又称中介数据、中继数据,为描述数据的数据,主要是描述数据属性的信息,对数据管理和数据维护过程提供支持如指示存储位置、历史数据、资源查找、文件记录。数据的管理包括:元数据信息的采集、操作和元数据库的创建,数据维护包括对元数据的导入和导出、查询以及增减操作,数据关系管理负责不同格式的元数据之间的转换和元数据目录关联:这样就可以通过元数据目录来查看元数据信息,也可以更好的对元数据进行分类管理;数据分析根据对元数据的分析结果为***管理提供支持。
实施例3:
在实施例1的基础上,结合附图1-3所示,还包括用于对存放于不同的服务器和存储设备的元数据进行统一管理和利用的资源调度引擎数据管理模块,所述资源调度引擎数据管理模块采用资源调度算法,步骤如下:
S1)获取虚拟机集群中所有的物理机与虚拟机的性能监控数据,并评估物理机与虚拟机的资源负载状态;
S2)选择需要调度的虚拟机计算合适的目标节点,进行虚拟机的迁移;
S3)列举虚拟机集合中负载高于上限阈值的虚拟机,用最佳适应算法寻找调度后物理资源负载最高但不超过物理负载上限阈值的物理机,迁移虚拟机到此物理机上。
数据管理***异构资源进行有效的管理、监控和调度,利用虚拟化技术实现对异构资源统一管理,实现对异构资源的有效整合、资源能力的按需分配和动态智能调度;为各类应用***的运行提供稳定、可动态伸缩、安全的环境。
以上所述,仅是本发明的较佳实施例,并非对本发明做任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化,均落入本发明的保护范围之内。

Claims (4)

1.一种基于云计算的数据管理***,其特征在于,包括:
数据维护模块:用于基于CWM的元数据建模、元数据实体维护、元数据关系维护;
数据管理模块:用于元数据分析与可视化展示;
数据存储库:用于元数据、元模型存储和版本记录;
数据整合平台:用于元数据的抽取与整合,将元数据整合到分布式数据库***;
所述数据管理模块包括:
元数据源层:采用经营分析***的数据源***,是所述元数据的来源;
元数据获取层:采用数据源抽取工具抽取分布式文件***中的有效元数据并将元数据存储至分布式数据库***,并为分布式数据库***中的元数据提供统一视图;
元数据存储层:用于元数据的存储,存储的元数据包括业务元数据、技术元数据和管理元数据;
元数据管理层:用于提供符合规范的接口和实现元数据查询、元数据浏览、元数据访问、元数据分析、元数据导入和元数据导出;
元数据访问层:通过元数据管理层访问元数据存储层的元数据,包括元数据管理工具前端、二级经营分析***和中央元数据抽取服务器。
2.根据权利要求1所述的一种基于云计算的数据管理***,其特征在于,所述数据管理模块的具体工作流程为:
元数据获取层为所述经营分析***中每一个模块配置一个元数据存储路径,每一个模块的元数据统一存放于所述元数据存储路径中;元数据管理层为所述经营分析***的每个模块配置一个连接桥模块,连接桥模块实现元数据与新的元数据之间的转换,所述连接桥模块包括元数据读取与转换和元数据建模,所述元数据建模用于建立适用于所述经营分析模块的元数据的元模型,元数据入库时,元数据管理层的连接桥模块通过元数据访问层的访问接口,从位于元数据存储层中的分布式数据库***上的元数据路径中读取元数据,并将元数据转换为新的元数据,最后将新的元数据存储入元数据库;元数据出库时,连接桥模块从元数据库中读取出元数据,按照元模型读取出元数据中的信息,并将其重新组织为经分模块中使用的元数据格式,最后将元数据存放入元数据存储层中的分布式数据库***指定的元数据存储路径,并通过元数据访问层为用户访问提供访问接口与可视化展示界面。
3.根据权利要求2所述的一种基于云计算的数据管理***,其特征在于,所述元数据管理层包括:
模型管理:定义元数据的形式,为元数据提供了抽象模板,管理包、类、类的属性、属性的数据类型以及类之间的关系;
数据管理:提供对元数据的手动维护和管理,包括添加、修改、删除、版本、权限、关系维护和整体浏览功能;
数据关系管理:维护元数据与元数据之间的关系;
数据维护:用于对整理收集好的数据按照需求进行分析,提供决策支持;
数据分析:对整理收集好的数据按照需求进行分析,提供决策支持;
***管理:包含用户权限管理、***参数管理、***登录日志查询与修改密码功能。
4.根据权利要求1所述的一种基于云计算的数据管理***,其特征在于,还包括用于对存放于不同的服务器和存储设备的元数据进行统一管理和利用的资源调度引擎数据管理模块,所述资源调度引擎数据管理模块采用资源调度算法,步骤如下:
S1)获取虚拟机集群中所有的物理机与虚拟机的性能监控数据,并评估物理机与虚拟机的资源负载状态;
S2)选择需要调度的虚拟机计算合适的目标节点,进行虚拟机的迁移;
S3)列举虚拟机集合中负载高于上限阈值的虚拟机,用最佳适应算法寻找调度后物理资源负载最高但不超过物理负载上限阈值的物理机,迁移虚拟机到此物理机上。
CN201710392769.6A 2017-05-27 2017-05-27 一种基于云计算的数据管理*** Expired - Fee Related CN107315776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710392769.6A CN107315776B (zh) 2017-05-27 2017-05-27 一种基于云计算的数据管理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710392769.6A CN107315776B (zh) 2017-05-27 2017-05-27 一种基于云计算的数据管理***

Publications (2)

Publication Number Publication Date
CN107315776A true CN107315776A (zh) 2017-11-03
CN107315776B CN107315776B (zh) 2020-06-23

Family

ID=60182089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710392769.6A Expired - Fee Related CN107315776B (zh) 2017-05-27 2017-05-27 一种基于云计算的数据管理***

Country Status (1)

Country Link
CN (1) CN107315776B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391694A (zh) * 2017-07-26 2017-11-24 沈丽娜 一种数据挖掘***和方法
CN107423413A (zh) * 2017-07-28 2017-12-01 安徽华博胜讯信息科技股份有限公司 基于云计算的数字图书馆管理服务***
CN107948254A (zh) * 2017-11-10 2018-04-20 上海华讯网络***有限公司 混合云平台的大数据处理框架编排***及方法
CN107948309A (zh) * 2017-12-15 2018-04-20 神思电子技术股份有限公司 一种基于Restful API的服务器资源的集成管理方法和***
CN108052618A (zh) * 2017-12-15 2018-05-18 北京搜狐新媒体信息技术有限公司 数据管理方法及装置
CN108717456A (zh) * 2018-05-22 2018-10-30 浪潮软件股份有限公司 一种数据源无关的数据全生命周期管理平台及方法
CN108900366A (zh) * 2018-09-26 2018-11-27 江苏曲速教育科技有限公司 统一数据中心管理***及其管理方法
CN109242259A (zh) * 2018-08-10 2019-01-18 华迪计算机集团有限公司 一种基于基础数据资源库的数据集成方法及***
CN110020834A (zh) * 2019-04-15 2019-07-16 浩鲸云计算科技股份有限公司 一种建模和调试融合的在线智能大数据开发方法
CN110096586A (zh) * 2019-04-15 2019-08-06 广州市友达电子科技有限公司 云平台数据管理***
CN110221952A (zh) * 2019-04-18 2019-09-10 北京互金新融科技有限公司 业务数据的处理方法及装置、业务数据处理***
CN111884853A (zh) * 2020-07-29 2020-11-03 浪潮云信息技术股份公司 一种云环境自动化资源管理方法和***
CN112181779A (zh) * 2020-09-28 2021-01-05 北京云歌科技有限责任公司 一种ai元数据的综合处理方法和***
CN112306992A (zh) * 2020-11-04 2021-02-02 内蒙古证联信息技术有限责任公司 一种基于互联网的大数据平台
CN112579563A (zh) * 2020-11-18 2021-03-30 广东电网有限责任公司佛山供电局 一种基于电网大数据的数仓可视化建模***及方法
CN112597207A (zh) * 2020-12-29 2021-04-02 科技谷(厦门)信息技术有限公司 一种元数据管理***
CN113641862A (zh) * 2020-11-23 2021-11-12 国网上海能源互联网研究院有限公司 一种基于统一访问分布式集成多源异构数据的方法及***
CN113836176A (zh) * 2021-08-19 2021-12-24 重庆恩谷信息科技有限公司 一种云数据的信息集成服务***
CN114443913A (zh) * 2022-04-06 2022-05-06 创智和宇信息技术股份有限公司 基于元数据多函数多条件的自定义查询方法、***及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229938B2 (en) * 2008-04-04 2012-07-24 Landmark Graphics Corporation Systems and methods for correlating meta-data model representations and asset-logic model representations
CN103559189A (zh) * 2013-08-22 2014-02-05 国家电网公司 基于元数据集成模型的电力仿真培训资源管理***及方法
CN104484222A (zh) * 2014-12-31 2015-04-01 北京天云融创软件技术有限公司 一种基于混合遗传算法的虚拟机调度方法
CN105701181A (zh) * 2016-01-06 2016-06-22 中电科华云信息技术有限公司 一种动态异构元数据获取方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229938B2 (en) * 2008-04-04 2012-07-24 Landmark Graphics Corporation Systems and methods for correlating meta-data model representations and asset-logic model representations
CN103559189A (zh) * 2013-08-22 2014-02-05 国家电网公司 基于元数据集成模型的电力仿真培训资源管理***及方法
CN104484222A (zh) * 2014-12-31 2015-04-01 北京天云融创软件技术有限公司 一种基于混合遗传算法的虚拟机调度方法
CN105701181A (zh) * 2016-01-06 2016-06-22 中电科华云信息技术有限公司 一种动态异构元数据获取方法及***

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391694A (zh) * 2017-07-26 2017-11-24 沈丽娜 一种数据挖掘***和方法
CN107423413A (zh) * 2017-07-28 2017-12-01 安徽华博胜讯信息科技股份有限公司 基于云计算的数字图书馆管理服务***
CN107948254B (zh) * 2017-11-10 2020-09-22 上海华讯网络***有限公司 混合云平台的大数据处理框架编排***及方法
CN107948254A (zh) * 2017-11-10 2018-04-20 上海华讯网络***有限公司 混合云平台的大数据处理框架编排***及方法
CN107948309A (zh) * 2017-12-15 2018-04-20 神思电子技术股份有限公司 一种基于Restful API的服务器资源的集成管理方法和***
CN108052618A (zh) * 2017-12-15 2018-05-18 北京搜狐新媒体信息技术有限公司 数据管理方法及装置
CN108717456A (zh) * 2018-05-22 2018-10-30 浪潮软件股份有限公司 一种数据源无关的数据全生命周期管理平台及方法
CN109242259A (zh) * 2018-08-10 2019-01-18 华迪计算机集团有限公司 一种基于基础数据资源库的数据集成方法及***
CN109242259B (zh) * 2018-08-10 2020-12-11 华迪计算机集团有限公司 一种基于基础数据资源库的数据集成方法及***
CN108900366A (zh) * 2018-09-26 2018-11-27 江苏曲速教育科技有限公司 统一数据中心管理***及其管理方法
CN110096586B (zh) * 2019-04-15 2021-04-23 广州市友达电子科技有限公司 云平台数据管理***
CN110096586A (zh) * 2019-04-15 2019-08-06 广州市友达电子科技有限公司 云平台数据管理***
CN110020834A (zh) * 2019-04-15 2019-07-16 浩鲸云计算科技股份有限公司 一种建模和调试融合的在线智能大数据开发方法
CN110221952A (zh) * 2019-04-18 2019-09-10 北京互金新融科技有限公司 业务数据的处理方法及装置、业务数据处理***
CN111884853A (zh) * 2020-07-29 2020-11-03 浪潮云信息技术股份公司 一种云环境自动化资源管理方法和***
CN112181779A (zh) * 2020-09-28 2021-01-05 北京云歌科技有限责任公司 一种ai元数据的综合处理方法和***
CN112181779B (zh) * 2020-09-28 2024-06-04 北京云歌科技有限责任公司 一种ai元数据的综合处理方法和***
CN112306992B (zh) * 2020-11-04 2024-02-13 内蒙古证联信息技术有限责任公司 一种基于互联网的大数据平台***
CN112306992A (zh) * 2020-11-04 2021-02-02 内蒙古证联信息技术有限责任公司 一种基于互联网的大数据平台
CN112579563A (zh) * 2020-11-18 2021-03-30 广东电网有限责任公司佛山供电局 一种基于电网大数据的数仓可视化建模***及方法
CN112579563B (zh) * 2020-11-18 2022-01-21 广东电网有限责任公司佛山供电局 一种基于电网大数据的数仓可视化建模***及方法
CN113641862A (zh) * 2020-11-23 2021-11-12 国网上海能源互联网研究院有限公司 一种基于统一访问分布式集成多源异构数据的方法及***
CN112597207A (zh) * 2020-12-29 2021-04-02 科技谷(厦门)信息技术有限公司 一种元数据管理***
CN113836176A (zh) * 2021-08-19 2021-12-24 重庆恩谷信息科技有限公司 一种云数据的信息集成服务***
CN114443913B (zh) * 2022-04-06 2022-06-07 创智和宇信息技术股份有限公司 基于元数据多函数多条件的自定义查询方法、***及介质
CN114443913A (zh) * 2022-04-06 2022-05-06 创智和宇信息技术股份有限公司 基于元数据多函数多条件的自定义查询方法、***及介质

Also Published As

Publication number Publication date
CN107315776B (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN107315776A (zh) 一种基于云计算的数据管理***
Muniswamaiah et al. Big data in cloud computing review and opportunities
US11403297B2 (en) Selecting resource configurations for query execution
US11941017B2 (en) Event driven extract, transform, load (ETL) processing
CN109074377B (zh) 用于实时处理数据流的受管理功能执行
US10936589B1 (en) Capability-based query planning for heterogenous processing nodes
CN110431545A (zh) 针对结构化数据和非结构化数据执行查询
US7991800B2 (en) Object oriented system and method for optimizing the execution of marketing segmentations
US10970303B1 (en) Selecting resources hosted in different networks to perform queries according to available capacity
CN111640040A (zh) 基于客户画像技术的供电客户价值评价方法及大数据平台
CN106980669A (zh) 一种数据的存储、获取方法及装置
Narkhede et al. HMR log analyzer: Analyze web application logs over Hadoop MapReduce
US20190050435A1 (en) Object data association index system and methods for the construction and applications thereof
CN107330580A (zh) 电力营销基础数据平台组建方法
US20220229657A1 (en) Extensible resource compliance management
CN114730312A (zh) 从异构数据源创建的受管物化视图
CN108182263A (zh) 一种数据中心综合管理***的数据存储方法
CN102193958A (zh) 基于互联网的空间决策支持***的实现方法
CN113535846A (zh) 一种大数据平台及其构建方法
Wu et al. An Auxiliary Decision‐Making System for Electric Power Intelligent Customer Service Based on Hadoop
CN106651145A (zh) 备件管理***及方法
US11743122B1 (en) Network change verification based on observed network flows
Quintero et al. IBM data engine for hadoop and spark
CN108959398A (zh) 异构存储扩展***及方法
CN116192400B (zh) 一种支持hccm服务的移动中台***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200623