CN104199978A - 基于NoSQL实现元数据缓存与分析的***及方法 - Google Patents

Abstract

本发明涉及一种基于NoSQL实现元数据缓存与分析的***，其中包括元数据分析客户端、元数据分析服务端、NoSQL数据库服务器和通信模块，本发明还涉及一种基于NoSQL实现元数据缓存与分析的***及方法，包括利用上述***实现基于NoSQL的元数据缓存方法和利用元数据缓存方法实现基于NoSQL的元数据处理方法。采用本发明的基于NoSQL实现元数据缓存与分析的***及方法，根据大数据环境下元数据分析***的实际需求，使用NoSQL数据库来缓存元数据并提供了相应的查询方法，提高了数据访问的性能，加快了元数据分析的响应速度，改善了用户体验，具有更广泛的应用范围。

Description

基于NoSQL实现元数据缓存与分析的***及方法

技术领域

本发明涉及数据库存储领域，尤其涉及基于数据库的元数据缓存与分析领域，具体是指一种基于NoSQL实现元数据缓存与分析的***及方法。

背景技术

随着信息技术的发展，产生了海量的数据。如何有效地管理和组织这些海量数据已经成为一个突出的问题。元数据是解决这一问题的有效手段，能支持***对数据的管理和维护。具体来说，在数据仓库***中，元数据机制主要支持以下五类***管理功能:(1)描述哪些数据在数据仓库中；(2)定义要进入数据仓库中的数据和从数据仓库中产生的数据；(3)记录根据业务事件发生而随之进行的数据抽取工作时间安排；(4)记录并检测***数据一致性的要求和执行情况；(5)衡量数据质量。

元数据管理***中，对元数据的有效分析至关重要。元数据分析功能主要实现针对元数据的基本分析功能。包括血缘分析(血统分析)、影响分析、实体关联分析、实体影响分析、主机拓扑分析、指标一致性分析等。

当前的元数据分析***的数据关联关系的查找都是通过关系数据库来完成，最终形成数据的来源与去向关系图。由于关系数据库理论的限制，元数据实体和元数据间的关系分别存储在多个数据库表中，一般来说，存储在三个数据库表中：元数据实例表、元数据组合关系表和元数据依赖关系表，在进行数据关联关系的查询时需要进行多表间的连接操作，对多表进行连接操作非常耗费计算机的资源如CPU、内存等，如果表中还存储了海量的数据，数据查询的响应时间会非常慢。

随着大数据时代的到来，数据和流量不断增加，必须要有更多的计算资源来应对数据***的状况。出于投资回报率的考虑，计算能力的纵向扩展成本很高而且扩展尺度也有限；计算能力的横向扩展通过采用多个使用廉价硬件组成的集群，能够在降低扩展所需的成本的同时也提高了集群的可靠性。然而，关系数据库并不是设计为在集群上运行的，虽然能通过一些技术手段来克服在集群中运行关系型数据库的问题，但是解决诸如分片查询、参照完整性、事务、一致性控制等的方法都非常复杂。

为解决关系型数据库与集群的不协调，研究人员对能在集群中存储数据的新方案进行了广泛的研究，其中NoSQL数据库的理论与产品迅速发展起来，得到了人们的大量关注。NoSQL并没有一个严谨的定义，一般人们认为它是“不使用SQL语言的非关系型数据库”，NoSQL数据库具备如下几个特征：①NoSQL数据库不使用SQL，没有NoSQL数据库实现了标准的SQL语言；②NoSQL数据库通常都是开源项目；③多数NoSQL数据库都为了在集群环境中运行，因此它们的数据模型和数据一致性方案各不相同；④NoSQL数据库不使用“模式”，不用事先修改结构定义就可以自由添加数据库字段。

元数据实体间的关联关系是因为关系型数据库的特性如表中数据不能有冗余、表中数据类型不支持复杂数据类型等原因而存储在多个表中，如果迁移到NoSQL数据库中，更符合元数据分析的数据实体间关系查询的要求。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种通过NoSQL数据库来缓存元数据并并提供相应的查询方法，节约***资源，提高了数据访问的性能，加快元数据分析的响应速度，优化查询性能的基于NoSQL实现元数据缓存与分析的***及方法。

为了实现上述目的，本发明的基于NoSQL实现元数据缓存与分析的***及方法具有如下构成：

该基于NoSQL实现元数据缓存与分析的***，其主要特点是，所述的***包括：

元数据分析客户端，用以响应用户输入的元数据分析指令，并将所述的元数据分析指令对应的元数据分析消息发送至通信模块，以及解析所述的通信模块发送的分析结果消息得到元数据分析结果，并显示所述的元数据分析结果；

元数据分析服务端，用以解析所述的通信模块发送的元数据分析消息，并根据解析得到的元数据分析任务查询NoSQL数据库服务器得到元数据分析结果，并将所述的元数据分析结果所对应的分析结果消息发送至所述的通信模块；

NoSQL数据库服务器，用以生成NoSQL元数据表，并将元数据库中的数据缓存至所述的NoSQL元数据表中，以及响应所述的元数据分析服务端的查询请求；

通信模块，用以将所述的元数据分析消息发送至所述的元数据分析服务器，以及将所述的分析结果消息发送至所述的元数据分析客户端。

进一步地，所述的元数据分析客户端包括图形化界面模块和任务解析模块，其中：

所述的图形化界面模块，用以显示元数据分析的图形化界面，并响应所述的用户输入的元数据分析指令，和将所述的元数据分析指令对应的元数据分析任务的数据发送至所述的任务解析模块，以及显示所述的任务解析模块发送的元数据分析结果；

所述的任务解析模块，用以将所述的元数据分析任务的数据转换为对应的元数据分析消息，并将所述的元数据分析消息发送至所述的通信模块，以及解析所述的通信模块发送的分析结果消息得到元数据分析结果，并将所述的元数据分析结果发送至所述的图形化界面模块。

进一步地，所述的元数据分析服务端包括任务调度模块和NoSQL数据库接口，其中：

所述的任务调度模块，用以解析所述的通信模块发送的元数据分析消息并得到所对应的元数据分析任务，以及根据所述的元数据分析任务通过所述的NoSQL数据库接口查询所述的NoSQL数据库服务器，并得到所述的元数据分析任务对应的元数据分析结果，以及将所对应的元数据分析结果转换为所对应分析结果消息；

所述的NoSQL数据库接口，用以访问所述的NoSQL数据库服务器。

更进一步地，其特征在于，所述的NoSQL数据库服务器包括元数据管理模块，元数据查询模块和应用程序接口，其中：

所述的元数据管理模块，用以生成NoSQL元数据表和NoSQL数据库，并将所述的元数据库中的数据缓存至所述的NoSQL数据库中，以及通过所述的元数据查询模块查询得到相关数据信息，并将所述的相关数据信息保存至所述的NoSQL元数据表中，和响应所述的元数据分析服务端的查询请求；

所述的元数据查询模块，用以根据行关键字通过所述的应用程序接口查询所述的NoSQL数据库，并获得相关数据信息；

所述的应用程序接口，用以访问所述的NoSQL数据库服务器的应用程序。

更进一步地，所述的NoSQL数据库服务器包括命名模块，所述的命名模块用以对所述的NoSQL数据库服务器进行注册、加入、监控和故障检测的管理。

更进一步地，所述的NoSQL数据库包括元数据实例对象库，元数据依赖关系对象库和元数据组合关系对象库。

其中，所述的元数据分析指令包括元数据分析功能类型、元数据类型和元数据名称的信息，所述的元数据分析任务为血缘分析任务、影响分析任务、关联分析任务、拓扑分析任务或指标分析任务，所述的元数据分析任务包括客户端互联网协议地址信息、客户端端口号信息、任务序列号信息、任务名称信息、任务类型信息和任务信息，所述的元数据库包括元数据实例表、元数据组合关系表和元数据依赖关系表。

此外，本发明还提供一种利用所述的***实现基于NoSQL的元数据缓存方法，所述的方法具体为：

所述的NoSQL数据库服务器生成NoSQL元数据表，并将元数据库中的数据缓存至所述的NoSQL元数据表中，以及响应所述的元数据分析服务端的查询请求。

进一步地，所述的NoSQL数据库服务器包括元数据管理模块，元数据查询模块和应用程序接口，所述的NoSQL数据库服务器生成NoSQL元数据表并将元数据库中的数据缓存至所述的NoSQL元数据表中，包括以下步骤：

(a)所述的元数据管理模块生成NoSQL元数据表和NoSQL数据库；

(b)所述的元数据管理模块将所述的元数据库中的数据缓存至所述的NoSQL数据库中；

(c)所述的元数据查询模块根据所述的行关键字通过所述的应用程序接口查询所述的NoSQL数据库，并获得相关数据信息；

(d)所述的元数据管理模块将所述的相关数据信息保存至所述的NoSQL元数据表中。

进一步地，所述的元数据管理模块生成NoSQL元数据表和NoSQL数据库，具体为：

所述的元数据管理模块生成NoSQL元数据表、元数据实例对象库、元数据依赖关系对象库和元数据组合关系对象库。

更进一步地，所述的元数据管理模块将所述的元数据库中的数据缓存至所述的NoSQL数据库中，包括以下步骤：

(b.1)所述的元数据管理模块查询元数据库中的元数据实例表，并将所述的元数据实例表的数据缓存至所述的元数据实例对象库中；

(b.2)所述的元数据管理模块查询所述的元数据库中的元数据依赖关系表，并将所述的元数据依赖关系表的数据缓存至所述的元数据依赖关系对象库中；

(b.3)所述的元数据管理模块查询所述的元数据库中的元数据组合关系表，并将所述的元数据组合关系表的数据缓存至所述的元数据组合关系对象库中。

更进一步地，所述的元数据查询模块根据所述的行关键字通过所述的应用程序接口查询所述的NoSQL数据库，并获得相关数据信息，包括以下步骤：

(c.1)所述的元数据查询模块以元数据实例序列号为所述的行关键字通过所述的应用程序接口查询所述的元数据实例对象库，并获得元数据实例对象库中除元数据实例序列号以外的元数据其它属性的数据信息；

(c.2)所述的元数据查询模块以依赖元数据序列号为所述的行关键字通过所述的应用程序接口查询所述的元数据依赖关系对象库，并获得依赖元数据序列号的数据信息；

(c.3)所述的元数据查询模块以组合元数据序列号为所述的行关键字通过所述的应用程序接口查询所述的元数据组合关系对象库，并获得组合元数据序列号的数据信息。

更进一步地，所述的元数据管理模块将所述的相关数据信息保存至所述的NoSQL元数据表中，具体为：

所述的元数据管理模块将所述的元数据其它属性的数据信息、所述的依赖元数据序列号的数据信息和所述的组合元数据序列号的数据信息保存至所述的NoSQL元数据表中。

另外，本发明还一种利用上述的方法实现基于NoSQL的元数据处理方法，所述的方法包括以下步骤：

(1)所述的元数据分析客户端响应用户输入的元数据分析指令，并将所述的元数据分析指令对应的元数据分析消息发送至通信模块；

(2)所述的通信模块将所述的元数据分析消息发送至所述的元数据分析服务器；

(3)所述的元数据分析服务端解析所述的元数据分析消息，并根据解析得到的元数据分析任务查询所述的NoSQL数据库服务器得到元数据分析结果；

(4)所述的元数据分析服务端将所述的元数据分析结果所对应的分析结果消息发送至所述的通信模块；

(5)所述的通信模块将所述的分析结果消息发送至所述的元数据分析客户端；

(6)所述的元数据分析客户端解析所述的通信模块发送的分析结果消息得到所述的元数据分析结果，并显示所述的元数据分析结果。

进一步地，所述的元数据分析客户端包括图形化界面模块和任务解析模块，所述的元数据分析客户端响应用户输入的元数据分析指令，并将所述的元数据分析指令对应的元数据分析消息发送至通信模块，包括以下步骤：

(1.1)所述的图形化界面模块显示图形化界面；

(1.2)所述的图形化界面模块响应用户输入的元数据分析指令并得到所对应的元数据分析任务；

(1.3)所述的图形化界面模块将所述的元数据分析指令对应的元数据分析任务的数据发送至所述的任务解析模块；

(1.4)所述的任务解析模块将所述的元数据分析任务的数据转换为对应的元数据分析消息，并将所述的元数据分析消息发送至所述的通信模块。

进一步地，所述的元数据分析服务端包括任务调度模块和NoSQL数据库接口，所述的元数据分析服务端解析所述的元数据分析消息，并根据解析得到的元数据分析任务查询所述的NoSQL数据库服务器得到元数据分析结果，包括以下步骤：

(3.1)所述的任务调度模块解析所述的通信模块发送的元数据分析消息并得到所对应的元数据分析任务；

(3.2)所述的任务调度模块根据所述的元数据分析任务通过所述的NoSQL数据库接口查询所述的NoSQL数据库服务器，并得到所述的元数据分析任务对应的元数据分析结果；

(3.3)所述的任务调度模块将所对应的元数据分析结果转换为所对应分析结果消息。

更进一步地，所述的任务调度模块根据所述的元数据分析任务通过所述的NoSQL数据库接口查询所述的NoSQL数据库服务器，并得到所述的元数据分析任务对应的元数据分析结果，包括以下步骤：

(3.2.1)所述的任务调度模块根据所述的查询任务生成对应的查询任务；

(3.2.2)所述的任务调度模块根据所述的查询任务，通过所述的NoSQL数据库接口查询所述的NoSQL元数据表，并获得要进行分析的目标元数据实例序列号；

(3.2.3)所述的任务调度模块根据所述的NoSQL元数据表中的数据生成分析结果对象，并以所述的分析结果对象为根对象创建分析结果对象树；

(3.2.4)所述的任务调度模块读取所述的分析结果对象中的目标依赖元数据序列号和目标组合元数据序列号并加入到所述的查询任务中；

(3.2.5)所述的任务调度模块以所述的目标元数据实例序列号为行关键字，并通过所述的应用程序接口查询所述的NoSQL元数据表；

(3.2.6)所述的任务调度模块将所述的行关键字对应的元数据加入所述的分析结果对象树中；

(3.2.7)所述的任务调度模块从查询任务中删除已经完成查询的目标元数据实例序列号，目标依赖元数据序列号或目标组合元数据序列号；

(3.2.8)所述的任务调度模块将所述的查询任务中剩余的目标元数据实例序列号，目标依赖元数据序列号或目标组合元数据序列号为所述的行关键字，返回上述步骤(3.2.6)，直至所述的查询任务为空。

更进一步地，所述的元数据分析服务端将所述的元数据分析结果所对应的分析结果消息发送至所述的通信模块，包括以下步骤：

(4.1)所述的元数据分析服务端将所述的分析结果对象树作为所述的分析结果；

(4.2)所述的元数据分析服务端将所述的分析结果以XML形式进行封装，并得到所述的分析结果消息；

(4.3)所述的元数据分析服务端将所述的分析结果消息发送至所述的通信模块。

进一步地，所述的元数据分析客户端包括图形化界面模块和任务解析模块，所述的元数据分析客户端解析所述的通信模块发送的分析结果消息得到所述的元数据分析结果，并显示所述的元数据分析结果，包括以下步骤：

(6.1)所述的任务解析模块解析所述的元数据分析结果，并将所述的元数据分析结果发送至所述的图形化界面模块；

(6.2)所述的图形化界面模块显示所述的元数据分析结果。

采用了该发明中的基于NoSQL实现元数据缓存与分析的***及方法，使用了NoSQL数据库来保存元数据实例及关系信息数据，不需要使用关系型数据库中的多个表来保存数据，无需使用对象－关系的映射转换工具，不存在阻抗失谐的问题。同时，NoSQL元数据表将经常需要同时存取的数据列相邻存放，降低了磁头寻道的时间，提高了磁盘I/O的效率，数据查询的响应时间大大减少。

另外，NoSQL数据库支持数据的冗余存储，通过将元数据间的关联关系保存在元数据实例信息中，能减少数据库查询的次数，降低数据库服务器的资源消耗。最后***架构简单，具有极高的可伸缩性，可以根据需要增加NoSQL数据库服务器；使用维护方便快捷，工作性能稳定可靠，适用范围较为广泛，为企业元数据分析应用的进一步发展奠定了坚实的基础。

附图说明

图1为本发明的基于NoSQL实现元数据缓存与分析的***的结构示意图。

图2为本发明的基于NoSQL实现元数据缓分析的方法的流程图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

请参阅图1，在一种实施方式中，本发明的基于NoSQL实现元数据缓存与分析的***包括：

元数据分析客户端，用以响应用户输入的元数据分析指令，并将所述的元数据分析指令对应的元数据分析消息发送至通信模块，以及解析所述的通信模块发送的分析结果消息得到元数据分析结果，并显示所述的元数据分析结果；

元数据分析服务端，用以解析所述的通信模块发送的元数据分析消息，并根据解析得到的元数据分析任务查询NoSQL数据库服务器得到元数据分析结果，并将所述的元数据分析结果所对应的分析结果消息发送至所述的通信模块；

NoSQL数据库服务器，用以生成NoSQL元数据表，并将元数据库中的数据缓存至所述的NoSQL元数据表中，以及响应所述的元数据分析服务端的查询请求；

通信模块，用以将所述的元数据分析消息发送至所述的元数据分析服务器，以及将所述的分析结果消息发送至所述的元数据分析客户端。

其中，NoSQL数据库服务器提供对NoSQL数据库集群的监控和管理，响应对NoSQL数据库的查询请求，保障NoSQL数据库集群的可用性和可靠性。通信模块还能提供可靠的消息存储和监控机制。

在一种优选的实施方式中，所述的元数据分析客户端包括图形化界面模块和任务解析模块，其中：

所述的图形化界面模块，用以显示元数据分析的图形化界面，并响应所述的用户输入的元数据分析指令，和将所述的元数据分析指令对应的元数据分析任务的数据发送至所述的任务解析模块，以及显示所述的任务解析模块发送的元数据分析结果；

所述的任务解析模块，用以将所述的元数据分析任务的数据转换为对应的元数据分析消息，并将所述的元数据分析消息发送至所述的通信模块，以及解析所述的通信模块发送的分析结果消息得到元数据分析结果，并将所述的元数据分析结果发送至所述的图形化界面模块。

在一种优选的实施方式中，所述的元数据分析服务端包括任务调度模块和NoSQL数据库接口，其中：

所述的任务调度模块，用以解析所述的通信模块发送的元数据分析消息并得到所对应的元数据分析任务，以及根据所述的元数据分析任务通过所述的NoSQL数据库接口查询所述的NoSQL数据库服务器，并得到所述的元数据分析任务对应的元数据分析结果，以及将所对应的元数据分析结果转换为所对应分析结果消息；

所述的NoSQL数据库接口，用以访问所述的NoSQL数据库服务器。

在一种更优选的实施方式中，其特征在于，所述的NoSQL数据库服务器包括元数据管理模块，元数据查询模块和应用程序接口，其中：

所述的元数据管理模块，用以生成NoSQL元数据表和NoSQL数据库，并将所述的元数据库中的数据缓存至所述的NoSQL数据库中，以及通过所述的元数据查询模块查询得到相关数据信息，并将所述的相关数据信息保存至所述的NoSQL元数据表中，和响应所述的元数据分析服务端的查询请求；

所述的元数据查询模块，用以根据行关键字通过所述的应用程序接口查询所述的NoSQL数据库，并获得相关数据信息；

所述的应用程序接口，用以访问所述的NoSQL数据库服务器的应用程序。

在一种更优选的实施方式中，所述的NoSQL数据库服务器包括命名模块，所述的命名模块用以对所述的NoSQL数据库服务器进行注册、加入、监控和故障检测的管理。

在一种更优选的实施方式中，所述的NoSQL数据库包括元数据实例对象库，元数据依赖关系对象库和元数据组合关系对象库。

其中，所述的元数据分析指令包括元数据分析功能类型、元数据类型和元数据名称的信息，所述的元数据分析任务为血缘分析任务、影响分析任务、关联分析任务、拓扑分析任务或指标分析任务，所述的元数据分析任务包括客户端互联网协议地址信息、客户端端口号信息、任务序列号信息、任务名称信息、任务类型信息和任务信息，所述的元数据库包括元数据实例表、元数据组合关系表和元数据依赖关系表。

此外，本发明还提供一种利用所述的***实现基于NoSQL的元数据缓存方法，所述的方法具体为：

所述的NoSQL数据库服务器生成NoSQL元数据表，并将元数据库中的数据缓存至所述的NoSQL元数据表中，以及响应所述的元数据分析服务端的查询请求。

在一种优选的实施方式中，所述的NoSQL数据库服务器包括元数据管理模块，元数据查询模块和应用程序接口，所述的NoSQL数据库服务器生成NoSQL元数据表并将元数据库中的数据缓存至所述的NoSQL元数据表中，包括以下步骤：

(a)所述的元数据管理模块生成NoSQL元数据表和NoSQL数据库；

(b)所述的元数据管理模块将所述的元数据库中的数据缓存至所述的NoSQL数据库中；

(c)所述的元数据查询模块根据所述的行关键字通过所述的应用程序接口查询所述的NoSQL数据库，并获得相关数据信息；

(d)所述的元数据管理模块将所述的相关数据信息保存至所述的NoSQL元数据表中。

在一种优选的实施方式中，所述的元数据管理模块生成NoSQL元数据表和NoSQL数据库，具体为：

所述的元数据管理模块生成NoSQL元数据表、元数据实例对象库、元数据依赖关系对象库和元数据组合关系对象库。

在一种更优选的实施方式中，所述的元数据管理模块将所述的元数据库中的数据缓存至所述的NoSQL数据库中，包括以下步骤：

(b.1)所述的元数据管理模块查询元数据库中的元数据实例表，并将所述的元数据实例表的数据缓存至所述的元数据实例对象库中；

(b.2)所述的元数据管理模块查询所述的元数据库中的元数据依赖关系表，并将所述的元数据依赖关系表的数据缓存至所述的元数据依赖关系对象库中；

(b.3)所述的元数据管理模块查询所述的元数据库中的元数据组合关系表，并将所述的元数据组合关系表的数据缓存至所述的元数据组合关系对象库中。

在一种更优选的实施方式中，所述的元数据查询模块根据所述的行关键字通过所述的应用程序接口查询所述的NoSQL数据库，并获得相关数据信息，包括以下步骤：

(c.1)所述的元数据查询模块以元数据实例序列号为所述的行关键字通过所述的应用程序接口查询所述的元数据实例对象库，并获得元数据实例对象库中除元数据实例序列号以外的元数据其它属性的数据信息；

(c.2)所述的元数据查询模块以依赖元数据序列号为所述的行关键字通过所述的应用程序接口查询所述的元数据依赖关系对象库，并获得依赖元数据序列号的数据信息；

(c.3)所述的元数据查询模块以组合元数据序列号为所述的行关键字通过所述的应用程序接口查询所述的元数据组合关系对象库，并获得组合元数据序列号的数据信息。

在一种更优选的实施方式中，所述的元数据管理模块将所述的相关数据信息保存至所述的NoSQL元数据表中，具体为：

所述的元数据管理模块将所述的元数据其它属性的数据信息、所述的依赖元数据序列号的数据信息和所述的组合元数据序列号的数据信息保存至所述的NoSQL元数据表中。

另外，本发明还一种利用上述的方法实现基于NoSQL的元数据处理方法，如图2所示，所述的方法包括以下步骤：

(1)所述的元数据分析客户端响应用户输入的元数据分析指令，并将所述的元数据分析指令对应的元数据分析消息发送至通信模块；

(2)所述的通信模块将所述的元数据分析消息发送至所述的元数据分析服务器；

(3)所述的元数据分析服务端解析所述的元数据分析消息，并根据解析得到的元数据分析任务查询所述的NoSQL数据库服务器得到元数据分析结果；

(4)所述的元数据分析服务端将所述的元数据分析结果所对应的分析结果消息发送至所述的通信模块；

(5)所述的通信模块将所述的分析结果消息发送至所述的元数据分析客户端；

(6)所述的元数据分析客户端解析所述的通信模块发送的分析结果消息得到所述的元数据分析结果，并显示所述的元数据分析结果。

在一种优选的实施方式中，所述的元数据分析客户端包括图形化界面模块和任务解析模块，所述的元数据分析客户端响应用户输入的元数据分析指令，并将所述的元数据分析指令对应的元数据分析消息发送至通信模块，包括以下步骤：

(1.1)所述的图形化界面模块显示图形化界面；

(1.2)所述的图形化界面模块响应用户输入的元数据分析指令并得到所对应的元数据分析任务；

(1.3)所述的图形化界面模块将所述的元数据分析指令对应的元数据分析任务的数据发送至所述的任务解析模块；

(1.4)所述的任务解析模块将所述的元数据分析任务的数据转换为对应的元数据分析消息，并将所述的元数据分析消息发送至所述的通信模块。

在一种优选的实施方式中，所述的元数据分析服务端包括任务调度模块和NoSQL数据库接口，所述的元数据分析服务端解析所述的元数据分析消息，并根据解析得到的元数据分析任务查询所述的NoSQL数据库服务器得到元数据分析结果，包括以下步骤：

(3.1)所述的任务调度模块解析所述的通信模块发送的元数据分析消息并得到所对应的元数据分析任务；

(3.2)所述的任务调度模块根据所述的元数据分析任务通过所述的NoSQL数据库接口查询所述的NoSQL数据库服务器，并得到所述的元数据分析任务对应的元数据分析结果；

(3.3)所述的任务调度模块将所对应的元数据分析结果转换为所对应分析结果消息。

在一种更优选的实施方式中，所述的任务调度模块根据所述的元数据分析任务通过所述的NoSQL数据库接口查询所述的NoSQL数据库服务器，并得到所述的元数据分析任务对应的元数据分析结果，包括以下步骤：

(3.2.1)所述的任务调度模块根据所述的查询任务生成对应的查询任务；

(3.2.2)所述的任务调度模块根据所述的查询任务，通过所述的NoSQL数据库接口查询所述的NoSQL元数据表，并获得要进行分析的目标元数据实例序列号；

(3.2.3)所述的任务调度模块根据所述的NoSQL元数据表中的数据生成分析结果对象，并以所述的分析结果对象为根对象创建分析结果对象树；

(3.2.4)所述的任务调度模块读取所述的分析结果对象中的目标依赖元数据序列号和目标组合元数据序列号并加入到所述的查询任务中；

(3.2.5)所述的任务调度模块以所述的目标元数据实例序列号为行关键字，并通过所述的应用程序接口查询所述的NoSQL元数据表；

(3.2.6)所述的任务调度模块将所述的行关键字对应的元数据加入所述的分析结果对象树中；

(3.2.7)所述的任务调度模块从查询任务中删除已经完成查询的目标元数据实例序列号，目标依赖元数据序列号或目标组合元数据序列号；

(3.2.8)所述的任务调度模块将所述的查询任务中剩余的目标元数据实例序列号，目标依赖元数据序列号或目标组合元数据序列号为所述的行关键字，返回上述步骤(3.2.6)，直至所述的查询任务为空。

在一种更优选的实施方式中，所述的元数据分析服务端将所述的元数据分析结果所对应的分析结果消息发送至所述的通信模块，包括以下步骤：

(4.1)所述的元数据分析服务端将所述的分析结果对象树作为所述的分析结果；

(4.2)所述的元数据分析服务端将所述的分析结果以XML形式进行封装，并得到所述的分析结果消息；

(4.3)所述的元数据分析服务端将所述的分析结果消息发送至所述的通信模块。

在一种优选的实施方式中，所述的元数据分析客户端包括图形化界面模块和任务解析模块，所述的元数据分析客户端解析所述的通信模块发送的分析结果消息得到所述的元数据分析结果，并显示所述的元数据分析结果，包括以下步骤：

(6.1)所述的任务解析模块解析所述的元数据分析结果，并将所述的元数据分析结果发送至所述的图形化界面模块；

(6.2)所述的图形化界面模块显示所述的元数据分析结果。

在一个优选的具体实施例中，本发明的基于NoSQL实现元数据缓存与分析的方法实质上包括两个操作：元数据导入操作(即元数据缓存)和元数据分析处理操作。数据导入操作将保存在关系型数据库中的元数据导入到NoSQL数据库中并进行相应的数据转换。元数据分析处理操作在以NoSQL数据库缓存的元数据上执行查询，进行相关的元数据分析，详细操作如下：

首先，元数据导入操作的步骤如下：

1、创建元数据实例对象库，其中，对象的属性名称、属性类型和元数据实例表的字段一一对应；

2、查询元数据实例表，将元数据库记录的值保存到元数据实例对象库中；

其中，元数据实例对象库的格式为：元数据实例ID(序列号)，元数据名称，元数据类型，元数据属性1，元数据属性2，元数据属性3……；

3、调用NoSQL数据库服务器提供的API(应用程序接口)，在NoSQL数据库服务器中创建NoSQL元数据表，用于存放元数据实例与关系数据；

其中，NoSQL元数据表的格式为：行关键字，元数据实例列族，依赖关系列族，组合关系列族，列族中的数据包括多个版本的值，每个值都对应一个时间戳；

元数据实例列族中包含元数据名称、元数据类型、元数据属性1、元数据属性2、元数据属性3等多个列；依赖关系列族包括依赖元数据ID一个列；组合关系列族包括组合元数据ID一个列；

4、调用NoSQL数据库服务器提供的API，以元数据实例ID为行关键字，将元数据实例对象库中的除元数据实例ID外的其它属性都保存到NoSQL数据库实例中；

5、创建元数据依赖关系对象库，其中，对象的属性名称、属性类型和元数据依赖关系表的字段一一对应；

6、查询元数据依赖关系表，将元数据库记录的值保存到元数据依赖关系对象库中；

其中，元数据依赖关系对象库格式为：元数据实例ID，依赖元数据ID；

7、调用NoSQL数据库服务器提供的API，以依赖关系对象中的元数据实例ID为行关键字在NoSQL数据库中查询，将依赖元数据ID更新到依赖关系列族中的依赖元数据ID列中；

8、创建元数据组合关系对象库，其中，对象的属性名称、属性类型和元数据组合关系表的字段一一对应；

9、查询元数据组合关系表，将元数据库记录的值保存到元数据组合关系对象库中；

其中，元数据组合关系对象库格式为：元数据实例ID，组合元数据ID；

10、调用NoSQL数据库服务器提供的API，以组合关系对象库中的元数据实例ID为行关键字在NoSQL数据库中查询，将组合元数据ID更新到组合关系列族中的组合元数据ID列中。

其次，假设具有多个元数据分析客户端和元数据分析服务端，元数据分析处理操作的步骤如下：

1、通信模块初始化

11、读取配置文件，获得多个分析客户端ID和分析服务端ID；

12、根据分析客户端ID为每个元数据分析客户端建立消息发送和接收队列；

13、根据分析服务端ID为每个元数据分析服务端建立消息发送和接收队列；

14、监听线程启动，等待消息的到达；

2、NoSQL数据库服务器进行初始化；

21、启动NoSQL数据库服务器中命名服务模块；

22、启动NoSQL数据库服务器中元数据管理模块；

23、启动NoSQL数据库服务器中NoSQL元数据库实例；

24、NoSQL元数据表启动成功后，向命名模块报告自己的位置信息；

25、元数据查询模块得所有可用的NoSQL数据库实例的信息；

26、元数据管理模块与可用的NoSQL数据库实例通信，建立NoSQL数据库实例与存储的数据库表和数据区的对应关系；

27、元数据管理模块查询所有的数据区信息，计算出未分配的数据区，将它们加入待分配的数据区表；

18、元数据管理模块查询可用的NoSQL数据库实例信息，将未分配的数据区分配给NoSQL数据库实例进行存储，并保存对应关系；

3、元数据分析服务端进行初始化；

31、向通信模块发送测试消息，如果收到回应则说明与通信模块的连接正常，没收到回应则给出错误提示；

32、向NoSQL数据库服务器中的命名模块发送测试消息，确认NoSQL数据库集群已经正常运行；

33、启动任务调度模块的任务调度线程，等待元数据分析任务的提交；

4、用户提交要分析的数据给元数据分析客户端；

41、用户通过图形化界面选中元数据节点并决定要进行的元数据分析功能；

其中，元数据分析功能类型包括：血缘分析、影响分析、关联分析、拓扑分析、指标分析等；

42、图形化界面模块接收用户的动作并提交相关数据给元数据分析客户端；

其中，图形化界面模块提交的数据格式为：元数据分析功能类型，元数据类型，元数据名称；

5、元数据分析客户端将分析数据提交给元数据分析服务端进行分析；

51、元数据分析客户端接收到图形化界面模块发送的数据；

52、元数据分析客户端将数据封装到元数据分析任务中；

其中，元数据分析任务的格式为：客户端IP地址，客户端端口号，任务ID，任务名称，任务类型，任务信息

53、元数据分析客户端将元数据分析消息通过通信模块发送给元数据分析服务端；

6、元数据分析服务端执行元数据分析方法，得到分析结果；

61、元数据分析服务端的任务调度模块接收通信模块发来的元数据分析消息，启动新的分析线程执行元数据分析任务；

62、元数据分析服务端解析元数据分析消息中的参数，得到要进行分析的元数据分析任务；

其中，元数据分析消息的格式为：元数据分析功能类型，元数据类型，元数据名称；

63、元数据分析服务端根据元数据分析功能的类型使用不同的查询策略，生成不同的查询任务；

其中，由于元数据分析功能的类型主要包括：血缘分析(血统分析)、影响分析、实体关联分析、实体影响分析、主机拓扑分析、指标一致性分析等，因此对应的查询策略包括：血缘分析策略、影响分析策略、关联分析策略、拓扑分析策略、一致性分析策略等；

64、元数据分析服务端根据生成的查询任务，使用NoSQL数据库服务器提供的查询API访问NoSQL元数据表中的数据，获得要进行分析的元数据实例ID，其中，所述的查询API指的是NoSQL提供的执行数据库中数据查询的API；

65、元数据分析服务端获得元数据实例ID后，将NoSQL数据库中以元数据实例ID为行关键字，元数据实例列族、依赖关系列族和组合关系列族中各个列的最新版本的值生成分析结果对象，并以此对象为根对象创建分析结果对象树；

66、元数据分析服务端直接读取分析结果对象中的依赖关系元数据ID和组合关系元数据ID并加入到查询任务中；

67、元数据分析服务端读取查询任务集中的元数据ID，调用NoSQL数据库服务器提供的查询API在元数据表中查询以任务集中的元数据ID为行关键字的元数据记录并加入到分析结果对象树中，以存在相互关系的元数据为父对象；

68、元数据分析服务端直接读取查询结果中元数据记录的依赖关系元数据ID和组合关系元数据ID并加入到查询任务集中；

69、从查询任务集中删除已经完成查询的元数据实例ID；

610、以查询任务集中的元数据ID作为行关键字，执行上面的查询步骤，直到查询任务集为空

7、元数据分析服务端将分析结果返回元数据分析客户端；

71、元数据分析服务端将分析结果对象树以XML形式进行封装，形成分析结果消息内容；

72、将分析结果消息通过通信模块发送给元数据分析客户端；

8、元数据分析客户端进行展现；

81、元数据分析客户端从通信模块接收消息，解析后将分析结果对象树发送给图形化界面模块；

82、图形化界面模块将分析结果对象树以图形化形式进行展现；

采用了该发明中的基于NoSQL实现元数据缓存与分析的***及方法，使用了NoSQL数据库来保存元数据实例及关系信息数据，不需要使用关系型数据库中的多个表来保存数据，无需使用对象－关系的映射转换工具，不存在阻抗失谐的问题。同时，NoSQL元数据表将经常需要同时存取的数据列相邻存放，降低了磁头寻道的时间，提高了磁盘I/O的效率，数据查询的响应时间大大减少。

另外，NoSQL数据库支持数据的冗余存储，通过将元数据间的关联关系保存在元数据实例信息中，能减少数据库查询的次数，降低数据库服务器的资源消耗。最后***架构简单，具有极高的可伸缩性，可以根据需要增加NoSQL数据库服务器；使用维护方便快捷，工作性能稳定可靠，适用范围较为广泛，为企业元数据分析应用的进一步发展奠定了坚实的基础。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (20)

1.一种基于NoSQL实现元数据缓存与分析的***，其特征在于，所述的***包括：

元数据分析客户端，用以响应用户输入的元数据分析指令，并将所述的元数据分析指令对应的元数据分析消息发送至通信模块，以及解析所述的通信模块发送的分析结果消息得到元数据分析结果，并显示所述的元数据分析结果；

元数据分析服务端，用以解析所述的通信模块发送的元数据分析消息，并根据解析得到的元数据分析任务查询NoSQL数据库服务器得到元数据分析结果，并将所述的元数据分析结果所对应的分析结果消息发送至所述的通信模块；

NoSQL数据库服务器，用以生成NoSQL元数据表，并将元数据库中的数据缓存至所述的NoSQL元数据表中，以及响应所述的元数据分析服务端的查询请求；

通信模块，用以将所述的元数据分析消息发送至所述的元数据分析服务器，以及将所述的分析结果消息发送至所述的元数据分析客户端。

2.根据权利要求1所述的基于NoSQL实现元数据缓存与分析的***，其特征在于，所述的元数据分析客户端包括图形化界面模块和任务解析模块，其中：

所述的图形化界面模块，用以显示元数据分析的图形化界面，并响应所述的用户输入的元数据分析指令，和将所述的元数据分析指令对应的元数据分析任务的数据发送至所述的任务解析模块，以及显示所述的任务解析模块发送的元数据分析结果；

所述的任务解析模块，用以将所述的元数据分析任务的数据转换为对应的元数据分析消息，并将所述的元数据分析消息发送至所述的通信模块，以及解析所述的通信模块发送的分析结果消息得到元数据分析结果，并将所述的元数据分析结果发送至所述的图形化界面模块。

3.根据权利要求1所述的基于NoSQL实现元数据缓存与分析的***，其特征在于，所述的元数据分析服务端包括任务调度模块和NoSQL数据库接口，其中：

所述的任务调度模块，用以解析所述的通信模块发送的元数据分析消息并得到所对应的元数据分析任务，以及根据所述的元数据分析任务通过所述的NoSQL数据库接口查询所述的NoSQL数据库服务器，并得到所述的元数据分析任务对应的元数据分析结果，以及将所对应的元数据分析结果转换为所对应分析结果消息；

所述的NoSQL数据库接口，用以访问所述的NoSQL数据库服务器。

4.根据权利要求1至3中任一项所述的基于NoSQL实现元数据缓存与分析的***，其特征在于，所述的NoSQL数据库服务器包括元数据管理模块，元数据查询模块和应用程序接口，其中：

所述的元数据管理模块，用以生成NoSQL元数据表和NoSQL数据库，并将所述的元数据库中的数据缓存至所述的NoSQL数据库中，以及通过所述的元数据查询模块查询得到相关数据信息，并将所述的相关数据信息保存至所述的NoSQL元数据表中，和响应所述的元数据分析服务端的查询请求；

所述的元数据查询模块，用以根据行关键字通过所述的应用程序接口查询所述的NoSQL数据库，并获得相关数据信息；

所述的应用程序接口，用以访问所述的NoSQL数据库服务器的应用程序。

5.根据权利要求4所述的基于NoSQL实现元数据缓存与分析的***，其特征在于，所述的NoSQL数据库服务器包括命名模块，所述的命名模块用以对所述的NoSQL数据库服务器进行注册、加入、监控和故障检测的管理。

6.根据权利要求4所述的基于NoSQL实现元数据缓存与分析的***，其特征在于，所述的NoSQL数据库包括元数据实例对象库，元数据依赖关系对象库和元数据组合关系对象库。

7.根据权利要求1所述的基于NoSQL实现元数据缓存与分析的***，其特征在于，所述的元数据分析指令包括元数据分析功能类型、元数据类型和元数据名称的信息，所述的元数据分析任务为血缘分析任务、影响分析任务、关联分析任务、拓扑分析任务或指标分析任务，所述的元数据分析任务包括客户端互联网协议地址信息、客户端端口号信息、任务序列号信息、任务名称信息、任务类型信息和任务信息。

8.根据权利要求1所述的基于NoSQL实现元数据缓存与分析的***，其特征在于，所述的元数据库包括元数据实例表、元数据组合关系表和元数据依赖关系表。

9.一种利用权利要求1所述的***实现基于NoSQL的元数据缓存方法，其特征在于，所述的方法具体为：

所述的NoSQL数据库服务器生成NoSQL元数据表，并将元数据库中的数据缓存至所述的NoSQL元数据表中，以及响应所述的元数据分析服务端的查询请求。

10.根据权利要求9所述的实现基于NoSQL的元数据缓存方法，其特征在于，所述的NoSQL数据库服务器包括元数据管理模块，元数据查询模块和应用程序接口，所述的NoSQL数据库服务器生成NoSQL元数据表并将元数据库中的数据缓存至所述的NoSQL元数据表中，包括以下步骤：

(a)所述的元数据管理模块生成NoSQL元数据表和NoSQL数据库；

(b)所述的元数据管理模块将所述的元数据库中的数据缓存至所述的NoSQL数据库中；

(c)所述的元数据查询模块根据所述的行关键字通过所述的应用程序接口查询所述的NoSQL数据库，并获得相关数据信息；

(d)所述的元数据管理模块将所述的相关数据信息保存至所述的NoSQL元数据表中。

11.根据权利要求10所述的实现基于NoSQL的元数据缓存方法，其特征在于，所述的元数据管理模块生成NoSQL元数据表和NoSQL数据库，具体为：

所述的元数据管理模块生成NoSQL元数据表、元数据实例对象库、元数据依赖关系对象库和元数据组合关系对象库。

12.根据权利要求11所述的实现基于NoSQL的元数据缓存方法，其特征在于，所述的元数据管理模块将所述的元数据库中的数据缓存至所述的NoSQL数据库中，包括以下步骤：

(b.1)所述的元数据管理模块查询元数据库中的元数据实例表，并将所述的元数据实例表的数据缓存至所述的元数据实例对象库中；

(b.2)所述的元数据管理模块查询所述的元数据库中的元数据依赖关系表，并将所述的元数据依赖关系表的数据缓存至所述的元数据依赖关系对象库中；

(b.3)所述的元数据管理模块查询所述的元数据库中的元数据组合关系表，并将所述的元数据组合关系表的数据缓存至所述的元数据组合关系对象库中。

13.根据权利要求12所述的实现基于NoSQL的元数据缓存方法，其特征在于，所述的元数据查询模块根据所述的行关键字通过所述的应用程序接口查询所述的NoSQL数据库，并获得相关数据信息，包括以下步骤：

(c.1)所述的元数据查询模块以元数据实例序列号为所述的行关键字通过所述的应用程序接口查询所述的元数据实例对象库，并获得元数据实例对象库中除元数据实例序列号以外的元数据其它属性的数据信息；

(c.2)所述的元数据查询模块以依赖元数据序列号为所述的行关键字通过所述的应用程序接口查询所述的元数据依赖关系对象库，并获得依赖元数据序列号的数据信息；

(c.3)所述的元数据查询模块以组合元数据序列号为所述的行关键字通过所述的应用程序接口查询所述的元数据组合关系对象库，并获得组合元数据序列号的数据信息。

14.根据权利要求13所述的实现基于NoSQL的元数据缓存方法，其特征在于，所述的元数据管理模块将所述的相关数据信息保存至所述的NoSQL元数据表中，具体为：

所述的元数据管理模块将所述的元数据其它属性的数据信息、所述的依赖元数据序列号的数据信息和所述的组合元数据序列号的数据信息保存至所述的NoSQL元数据表中。

15.一种利用权利要求10至14中任一项所述的方法实现基于NoSQL的元数据处理方法，其特征在于，所述的方法包括以下步骤：

(1)所述的元数据分析客户端响应用户输入的元数据分析指令，并将所述的元数据分析指令对应的元数据分析消息发送至通信模块；

(2)所述的通信模块将所述的元数据分析消息发送至所述的元数据分析服务器；

(3)所述的元数据分析服务端解析所述的元数据分析消息，并根据解析得到的元数据分析任务查询所述的NoSQL数据库服务器得到元数据分析结果；

(4)所述的元数据分析服务端将所述的元数据分析结果所对应的分析结果消息发送至所述的通信模块；

(5)所述的通信模块将所述的分析结果消息发送至所述的元数据分析客户端；

(6)所述的元数据分析客户端解析所述的通信模块发送的分析结果消息得到所述的元数据分析结果，并显示所述的元数据分析结果。

16.根据权利要求15所述的实现基于NoSQL的元数据分析方法，其特征在于，所述的元数据分析客户端包括图形化界面模块和任务解析模块，所述的元数据分析客户端响应用户输入的元数据分析指令，并将所述的元数据分析指令对应的元数据分析消息发送至通信模块，包括以下步骤：

(1.1)所述的图形化界面模块显示图形化界面；

(1.2)所述的图形化界面模块响应用户输入的元数据分析指令并得到所对应的元数据分析任务；

(1.3)所述的图形化界面模块将所述的元数据分析指令对应的元数据分析任务的数据发送至所述的任务解析模块；

(1.4)所述的任务解析模块将所述的元数据分析任务的数据转换为对应的元数据分析消息，并将所述的元数据分析消息发送至所述的通信模块。

17.根据权利要求15所述的实现基于NoSQL的元数据分析方法，其特征在于，所述的元数据分析服务端包括任务调度模块和NoSQL数据库接口，所述的元数据分析服务端解析所述的元数据分析消息，并根据解析得到的元数据分析任务查询所述的NoSQL数据库服务器得到元数据分析结果，包括以下步骤：

(3.1)所述的任务调度模块解析所述的通信模块发送的元数据分析消息并得到所对应的元数据分析任务；

(3.2)所述的任务调度模块根据所述的元数据分析任务通过所述的NoSQL数据库接口查询所述的NoSQL数据库服务器，并得到所述的元数据分析任务对应的元数据分析结果；

(3.3)所述的任务调度模块将所对应的元数据分析结果转换为所对应分析结果消息。

18.根据权利要求17所述的实现基于NoSQL的元数据分析方法，其特征在于，所述的任务调度模块根据所述的元数据分析任务通过所述的NoSQL数据库接口查询所述的NoSQL数据库服务器，并得到所述的元数据分析任务对应的元数据分析结果，包括以下步骤：

(3.2.1)所述的任务调度模块根据所述的查询任务生成对应的查询任务；

(3.2.2)所述的任务调度模块根据所述的查询任务，通过所述的NoSQL数据库接口查询所述的NoSQL元数据表，并获得要进行分析的目标元数据实例序列号；

(3.2.3)所述的任务调度模块根据所述的NoSQL元数据表中的数据生成分析结果对象，并以所述的分析结果对象为根对象创建分析结果对象树；

(3.2.4)所述的任务调度模块读取所述的分析结果对象中的目标依赖元数据序列号和目标组合元数据序列号并加入到所述的查询任务中；

(3.2.5)所述的任务调度模块以所述的目标元数据实例序列号为行关键字，并通过所述的应用程序接口查询所述的NoSQL元数据表；

(3.2.6)所述的任务调度模块将所述的行关键字对应的元数据加入所述的分析结果对象树中；

(3.2.7)所述的任务调度模块从查询任务中删除已经完成查询的目标元数据实例序列号，目标依赖元数据序列号或目标组合元数据序列号；

(3.2.8)所述的任务调度模块将所述的查询任务中剩余的目标元数据实例序列号，目标依赖元数据序列号或目标组合元数据序列号为所述的行关键字，返回上述步骤(3.2.6)，直至所述的查询任务为空。

19.根据权利要求18所述的实现基于NoSQL的元数据分析方法，其特征在于，所述的元数据分析服务端将所述的元数据分析结果所对应的分析结果消息发送至所述的通信模块，包括以下步骤：

(4.1)所述的元数据分析服务端将所述的分析结果对象树作为所述的分析结果；

(4.2)所述的元数据分析服务端将所述的分析结果以XML形式进行封装，并得到所述的分析结果消息；

(4.3)所述的元数据分析服务端将所述的分析结果消息发送至所述的通信模块。

20.根据权利要求15所述的实现基于NoSQL的元数据分析方法，其特征在于，所述的元数据分析客户端包括图形化界面模块和任务解析模块，所述的元数据分析客户端解析所述的通信模块发送的分析结果消息得到所述的元数据分析结果，并显示所述的元数据分析结果，包括以下步骤：

(6.1)所述的任务解析模块解析所述的元数据分析结果，并将所述的元数据分析结果发送至所述的图形化界面模块；

(6.2)所述的图形化界面模块显示所述的元数据分析结果。