CN101566981A - 分析处理***中建立动态虚拟数据仓库的方法 - Google Patents

Abstract

一种分析处理***中建立动态虚拟数据仓库的方法，该方法为如下步骤：(1)定义元数据；(2)构建维度索引表；(3)构建数据集市；(4)实例化数据集市；(5)构建并实例化多个数据集市；(6)动态建模并实例化虚拟数据仓库。本方法是从企业数据库中收集业务需求数据，将具有分析意义的字段定义为元数据，将对应的元数据进行动态建模、动态抽取和转换处理，构建符合分析主题的多个数据集市，实例化虚拟数据仓库，实现对虚拟数据仓库中数据的零存放，解决了***设备资源与不断增长的信息量之间的矛盾，实现了决策者对管理决策型数据库的高效率和数据实时性要求。

Description

分析处理***中建立动态虚拟数据仓库的方法

技术领域

本发明涉及一种在分析处理***中建立动态虚拟数据仓库的方法。

背景技术

全球经济快速发展的今天，无论是跨国公司、企业还是政府机关，每天都会有大量的数据需要处理，这些数据往往分散在各个不同的应用***下的事务型数据库中，如生产、销售、财务等数据。决策者往往需要从这些大量的数据中找到自己所需要的数据进行分析，以便进行正确、及时的决策。但面对如此大量的数据，依靠传统的数据仓库实现方式无法做到对数据的动态建模、数据实时动态抽取和信息的实时在线分析的功能。

众所周知，通过运用ERP(英文全称Enterprise Recourse Planning的缩写，中文名称为企业资源计划)***，企业能够更加高效地管理该企业的各类资源。但利用ERP***的数据库进行分析处理需要多表操作，其运行时间长、效率低，甚至造成网络传输繁忙。因此在使用ERP***数据库的同时，往往还需要结合使用数据仓库(英文名称为Data Warehouse)处理***。数据仓库是一个面向主题的(英文名称为Subject Oriented)、集成的(英文名称为Integrate)、相对稳定的(英文名称为Non-Volatile)、反映历史变化(英文名称为Time Variant)的数据集合，用于支持管理决策。数据仓库可将企业的数据按特定方式组织起来，从而产生新的商业知识，并为企业的运作带来新的视角。

数据仓库使用之后，企业从所有分布式数据库中收集起来的信息集中存放在一起，并按一定方式重新组织事务型数据和决策支持型数据，这两类不同性能的数据。然而事务型数据库虽然可以对企业运行过程中所产生的数据加以存储，但其分析与加工能力却往往不尽人意，且事务型数据总是处于动态变化之中而不稳定，难以应对决策支持型处理对数据相对稳定处理的需要。即使到目前为止的权宜之计，也只是将决策支持型数据处理按事先设定好的固定时间周期从事务型数据处理中分离出来，通过数据抽取工具导入到决策支持型数据库即数据仓库中。按企业某方面的固定问题，来分“主题”组织、存放数据。但这样的处理方式随之带来了新的问题。

数据仓库中的决策支持型数据要求以静态方式储存，所分析的数据按照既定的分析主题抽取。其结果是，仅能够得到一些固定的分析报表、固定的分析模式，然而数据难以同步且存在大量的数据冗余。特别是当分析主题发生变化和历史数据发生变化时，原来抽取的数据失效，必须重新定义规则，重新抽取数据。这不仅极大地降低了数据仓库的使用效率，而且也使得维护成本升高。同时也限制了决策应用对信息的多视角变化，难以实现信息的实时在线分析，制约了决策应用的效率，还需要大量的设备投入，使得***更为庞大，维护费用亦随之增大而效率却更为低下。

发明内容

本发明要解决的技术问题是，针对现有技术存在的缺陷，提供一种分析处理***中实现动态虚拟数据仓库的方法，借以优化上述数据仓库技术、实现数据动态建模、实时动态抽取和信息的实时在线分析。

本发明的技术解决方案中，所述分析处理***中建立动态虚拟数据仓库的方法是为如下步骤：

(1)、定义元数据：从企业数据库中收集业务需求数据，将所收集的数据分为技术元数据和商业元数据两类进行定义。元数据定义的目的是为访问动态虚拟数据仓库提供一个信息目录，这个目录全面描述了数据仓库中所存所有数据的类型、这些数据的来源和访问方式。用户可通过它来了解和访问数据。定义上述数据的具体做法如下：

①、定义技术元数据：将事务型数据库内的对象和数据结构信息、数据转换的描述、源数据到目的数据的映射、可能的计算方法、用户访问权限、信息发布历史记录定义为技术元数据。并将这些定义为技术元数据的数据提供给动态虚拟数据仓库的设计和管理人员，用于开发和日常管理；

②、定义商业元数据：将事务型数据库内以企业业务角度描述的数据，例如客户、产品、供应商等数据记录定义为商业元数据。

(2)、构建维度索引表：

①、将上述各种商业元数据构建成为维度表模型；

②、将上述各种商业元数据的各种可能组合方式构建成为维度索引表模型。即对维度表中的维度指标进行2的n次方计算，将所有计算结果，由低组合到高组合依序进行定义。

(3)、构建数据集市：数据集市中的数据是针对用户的需求归纳出来的数据。

①、构建主题数据：在上述企业数据库中，将用户的分析主题进行抽象处理成为主题数据；

②、构建数据集市：检索上述企业数据库，将该数据库中符合主题数据组织含义的技术元数据和商业元数据构建成为一个数据集市。

(4)、实例化数据集市：实例化数据集市是为决策者直接提供所需要的可视化信息而又无需创建固定的静态数据仓库。根据用户在线需求，从技术元数据中检索出相应的分析方法，然后按照该方法对步骤(3)的步骤①中设定的主题数据的商业元数据进行抽取和转换处理即为数据集市实例化。该实例化的数据集市提供数据的前台展示从而实现信息可视化且不占用数据库空间，更不需要创建固定的静态数据仓库。

(5)、构建并实例化多个数据集市：根据用户多种需要，按照上述步骤(3)～(4)，同时将技术元数据和商业元数据进行关联处理，对应构建多个数据集市并实例化所述多个数据集市，由多个数据集市构建成一个逻辑意义上的虚拟动态数据仓库。

(6)、动态建模并实例化虚拟数据仓库：将上述分析主题与分散在各个事务型数据库中不同的元数据进行关联处理并按照数据集市要求建模。当分析主题或数据集市中的数据变化时，根据区域、客户群、产品类、管理层次等因素的变化情况，应用高维数据处理原理中的相似性搜索、协同过滤和聚类分析原理来完成虚拟数据仓库的实例化。

本发明的工作原理是：从企业数据库中分析业务需求数据，将具有分析意义的字段根据其属性定义为技术元数据和商业元数据，并对商业元数据建立维度索引表。在企业数据库中根据分析主题抽象主题数据，构建数据集市并实例化数据集市，将对应的元数据进行动态建模、动态抽取和转换处理，构建符合分析主题的多个数据集市与实例化虚拟数据仓库。

本发明的有益效果是：

1、使用本方法可实现对虚拟数据仓库的动态数据抽取：

①、根据决策者提出的分析主题对元数据进行访问。对其中相关的各种元数据进行组合加工，使之形成各种组合方式的元组，然后在线实时完成最终展现数据的转换，对决策应用没有意义的数据将自动过滤；将数据集市中的数据转换为统一的数据名称和定义；计算统计和衍生数据；给缺值数据赋与缺省值；将不同的数据定义方式统一；

②、数据按主题实时抽取，当各事务型数据库结构发生变化或历史数据发生变化时，抽取模型自动适应调整；具有动态数据处理效率高、数据处理响应时间迅速、***设备投资低、维护方便、运行环境和维护成本低、安全、稳定性高、灵活性高等特点。

2、使用本发明的方法还可实现对虚拟数据仓库中数据的零存放。即不同的虚拟数据集市实例化后只在前台展示结果数据，不占后台任何空间，无需新增存储容量，从而避免了数据库对***资源的不断侵占。解决了决策型数据仓库零存放的难题，解决了***设备资源与不断增长的信息量之间的矛盾。

3、采用动态虚拟数据仓库方法，实现了虚拟数据仓库分析主题的动态建模；以动态分析主题为指导，实现决策信息数据的动态抽取转换、智能过滤整理、动态展示分析、导航式定位挖掘。解决了静态数据仓库在动态数据建模、动态数据抽取、信息的实时在线分析、数据零存放等方面所存在的问题。真正实现了决策者对管理决策型数据库的高效率和数据实时性要求。

具体实施方式：

实施例1：在多个事务型数据库集合中建立动态虚拟数据仓库：

(1)、定义元数据：从多个事务型数据库集合中收集业务需求数据，将所收集的数据分为技术元数据和商业元数据两类进行定义。定义上述数据的具体做法如下：

①、定义技术元数据：将多个事务型数据库内的对象和数据结构信息、数据转换的描述、源数据到目的数据的映射、可能的计算方法、用户访问权限、信息发布历史记录定义为技术元数据。并将这些定义为技术元数据的数据提供给动态虚拟数据仓库的设计和管理人员，用于开发和日常管理；

②、定义商业元数据：将多个事务型数据库内以企业业务角度描述的数据，即将客户、产品、供应商等数据记录定义为商业元数据。

(2)、构建维度索引表：

①、将上述各种商业元数据构建成为维度表模型；

②、将上述各种商业元数据的各种可能组合方式构建成为维度索引表模型。即对维度表中的维度指标进行2的n次方计算，将所有计算结果，由低组合到高组合依序进行定义。

(3)、构建数据集市：数据集市中的数据是针对用户的需求归纳出来的数据。

①、构建主题数据：在上述企业数据库中，将用户的分析主题进行抽象处理成为主题数据；

②、构建数据集市：检索上述企业数据库，将该数据库中符合主题数据组织含义的技术元数据和商业元数据构建成为一个数据集市。

(4)、实例化数据集市：实例化数据集市是为决策者直接提供所需要的可视化信息而又无需创建固定的静态数据仓库。根据用户在线需求，从技术元数据中检索出相应的分析方法，然后按照该方法对步骤(3)的步骤①中设定的主题数据的商业元数据进行抽取和转换处理即为数据集市实例化。该实例化的数据集市提供数据的前台展示从而实现信息可视化且不占用数据库空间，更不需要创建固定的静态数据仓库。

(5)、构建并实例化多个数据集市：根据用户多种需要，按照上述步骤(3)～(4)，同时将技术元数据和商业元数据进行关联处理，对应构建多个数据集市并实例化所述多个数据集市，由多个数据集市构建成一个逻辑意义上的虚拟动态数据仓库。

(6)、动态建模并实例化虚拟数据仓库：将上述分析主题与分散在各个事务型数据库中不同的元数据进行关联处理并按照数据集市要求建模。当分析主题或数据集市中的数据变化时，根据区域、客户群、产品类、管理层次等因素的变化情况，应用高维数据处理原理中的相似性搜索、协同过滤和聚类分析原理来完成虚拟数据仓库的实例化。

实施例2：在单个小型数据库中建立动态虚拟数据仓库：

(1)、定义元数据：从单个事务型数据库集合中收集业务需求数据，将所收集的数据分为技术元数据和商业元数据两类进行定义。定义上述数据的具体做法如下：

①、定义技术元数据：将单个事务型数据库内的对象和数据结构信息、数据转换的描述、源数据到目的数据的映射、可能的计算方法、用户访问权限、信息发布历史记录定义为技术元数据。并将这些定义为技术元数据的数据提供给动态虚拟数据仓库的设计和管理人员，用于开发和日常管理；

②、定义商业元数据：将单个事务型数据库内以企业业务角度描述的数据，即将客户、产品、供应商等数据记录定义为商业元数据。

步骤(2)～步骤(6)同实施例1。

Claims (1)

1、一种分析处理***中建立动态虚拟数据仓库的方法，该方法为如下步骤：

(1)、定义元数据：从企业数据库中收集业务需求数据，将所收集的数据分为技术元数据和商业元数据两类进行定义，定义上述数据的具体做法如下：

①、定义技术元数据：将事务型数据库内的对象和数据结构信息、数据转换的描述、源数据到目的数据的映射、可能的计算方法、用户访问权限、信息发布历史记录定义为技术元数据；

②、定义商业元数据：将事务型数据库内以企业业务角度描述的数据记录定义为商业元数据；

(2)、构建维度索引表：

①、将上述各种商业元数据构建成为维度表模型；

②、将上述各种商业元数据的各种可能组合方式构建成为维度索引表模型，即对维度表中的维度指标进行2的n次方计算，将所有计算结果，由低组合到高组合依序进行定义；

(3)、构建数据集市：数据集市中的数据是针对用户的需求归纳出来的数据；

①、构建主题数据：在上述企业数据库中，将用户的分析主题进行抽象处理成为主题数据；

②、构建数据集市：检索上述企业数据库，将该数据库中符合主题数据组织含义的技术元数据和商业元数据构建成为一个数据集市；

(4)、实例化数据集市：实例化数据集市是为决策者直接提供所需要的可视化信息而又无需创建固定的静态数据仓库，根据用户在线需求，从技术元数据中检索出相应的分析方法，然后按照该方法对步骤(3)的步骤①中设定的主题数据的商业元数据进行抽取和转换处理即为数据集市实例化，该实例化的数据集市提供数据的前台展示从而实现信息可视化且不占用数据库空间，更不需要创建固定的静态数据仓库；

(5)、构建并实例化多个数据集市：根据用户多种需要，按照上述步骤(3)～(4)，同时将技术元数据和商业元数据进行关联处理，对应构建多个数据集市并实例化所述多个数据集市，由多个数据集市构建成一个逻辑意义上的虚拟动态数据仓库；

(6)、动态建模并实例化虚拟数据仓库：将上述分析主题与分散在各个事务型数据库中不同的元数据进行关联处理并按照数据集市要求建模，当分析主题或数据集市中的数据变化时，根据区域、客户群、产品类、管理层次等因素的变化情况，应用高维数据处理原理中的相似性搜索、协同过滤和聚类分析原理来完成虚拟数据仓库的实例化。