CN106383850A - 数据处理方法及装置 - Google Patents

Abstract

本公开公开了一种数据处理方法及装置。该方法包括：获取待存储数据；将待存储数据中，与关系数据库匹配规则匹配的数据存入关系数据库；将待存储数据中，与非关系数据库匹配规则匹配的数据存入非关系数据库，从而与关系数据库匹配规则匹配的、查询性能需求较高的数据可以存入关系数据，与非关系数据库匹配规则匹配的、查询性能需求较低的数据可以存入非关系数据，实现了在保证查询性能的同时，满足存储能力的需求的目的。

Description

数据处理方法及装置

技术领域

本公开涉及数据处理领域，具体地，涉及一种数据处理方法及装置。

背景技术

关系数据库，是建立在关系数据库模型基础上的数据库。由于关系数据库能够反映应用领域需要遵循的约束条件，体现了具体领域中的语义约束，因此，关系数据库的查询性能优越。鉴于关系数据库的优越性，人们通常会将数据存储在关系数据库中。

但是，在某些应用场景中，例如，海量应用性能数据采集场景中，数据量非常庞大，关系数据库的存储能力已经不能满足需要。如何在保证查询性能的同时，又能满足这些应用场景对存储能力的需求，成为了人们迫切需要解决的问题。

发明内容

有鉴于此，本公开提供了一种数据处理方法及装置，以实现在保证查询性能的同时，满足存储能力的需求的目的。

在本公开实施例的一个方面中，提供了一种数据处理方法。该方法可以包括：获取待存储数据；将所述待存储数据中，与关系数据库匹配规则匹配的数据存入关系数据库；将所述待存储数据中，与非关系数据库匹配规则匹配的数据存入非关系数据库。

可选地，所述方法还包括：在接收到数据查询请求时，对所述数据查询请求进行解析，得到用于在所述关系数据库执行的第一查询语句，和/或者，用于在所述非关系数据库执行的第二查询语句；在得到所述第一查询语句的情况下，将所述第一查询语句，发送到所述关系数据库进行查询，得到第一查询结果；在得到所述第二查询语句的情况下，将所述第二查询语句，发送到所述非关系数据库进行查询，得到第二查询结果；在得到所述第一查询结果以及所述第二查询结果的情况下，将所述第一查询结果与所述第二查询结果按照预设融合机制融合，得到融合后的查询结果。

可选地，所述预设融合机制为按时间顺序融合。所述将所述第一查询结果与所述第二查询结果按照预设融合条件融合，得到融合后的查询结果包括：根据所述第一查询结果与所述第二查询结果中分别包含的时间属性，将所述第一查询结果与所述第二查询结果按照时间顺序融合，得到融合后的查询结果。

可选地，所述将所述待存储数据中，与关系数据库匹配规则匹配的数据存入关系数据库包括：将所述待存储数据中与关系数据库匹配规则匹配的数据，以键值对的形式，存入关系数据库，其中，所述与关系数据库匹配规则匹配的数据包含时间属性信息。所述将所述待存储数据中，与非关系数据库匹配规则匹配的数据存入非关系数据库包括：将所述待存储数据中与非关系数据库匹配规则匹配的数据，以键值对的形式，存入非关系数据库，其中，所述与非关系数据库匹配规则匹配的数据包含时间属性信息。其中，所述数据查询请求为，以时间段为查询条件来查找键名对应的键值的查询请求。

可选地，所述方法还包括：根据所述融合后的查询结果，构建查询结果视图。

在本公开实施例的另一个方面中，提供了一种数据处理装置。该装置包括：获取模块，被配置为获取待存储数据。关系存储模块，被配置为将所述待存储数据中，与关系数据库匹配规则匹配的数据存入关系数据库。非关系存储模块，被配置为将所述待存储数据中，与非关系数据库匹配规则匹配的数据存入非关系数据库。

可选地，所述装置还包括：查询解析模块，被配置为在接收到数据查询请求时，对所述数据查询请求进行解析，得到用于在所述关系数据库执行的第一查询语句，和/或者，用于在所述非关系数据库执行的第二查询语句。第一查询模块，被配置为在得到所述第一查询语句的情况下，将所述第一查询语句，发送到所述关系数据库进行查询，得到第一查询结果。第二查询模块，被配置为在得到所述第二查询语句的情况下，将所述第二查询语句，发送到所述非关系数据库进行查询，得到第二查询结果。融合模块，被配置为在得到所述第一查询结果以及所述第二查询结果的情况下，将所述第一查询结果与所述第二查询结果按照预设融合机制融合，得到融合后的查询结果。

可选地，所述预设融合机制为按时间顺序融合。所述融合模块被配置为根据所述第一查询结果与所述第二查询结果中分别包含的时间属性，将所述第一查询结果与所述第二查询结果按照时间顺序融合，得到融合后的查询结果。

可选地，所述关系存储模块被配置为将所述待存储数据中与关系数据库匹配规则匹配的数据，以键值对的形式，存入关系数据库，其中，所述与关系数据库匹配规则匹配的数据包含时间属性信息。所述非关系存储模块被配置为将所述待存储数据中与非关系数据库匹配规则匹配的数据，以键值对的形式，存入非关系数据库，其中，所述与非关系数据库匹配规则匹配的数据包含时间属性信息。其中，所述数据查询请求为，以时间段为查询条件来查找键名对应的键值的查询请求。

可选地，所述装置还包括：视图构建模块，被配置为根据所述融合后的查询结果，构建查询结果视图。

综上所述，由于本公开提供的技术方案预置了关系数据库匹配规则以及非关系数据库匹配规则，在获取待存储数据之后，将所述待存储数据中，与关系数据库匹配规则匹配的数据存入关系数据库，将所述待存储数据中，与非关系数据库匹配规则匹配的数据存入非关系数据库，因此，与关系数据库匹配规则匹配的、查询性能需求较高的数据可以存入关系数据，与非关系数据库匹配规则匹配的、查询性能需求较低的数据可以存入非关系数据，实现了在保证查询性能的同时，满足存储能力的需求的目的。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的实施环境示意图。

图2是根据本发明的一示例性实施例示出的一种数据处理方法的流程图。

图3是根据本发明的另一示例性实施例示出的一种数据处理方法的流程图。

图4是根据本发明的一示例性实施例示出的一种数据处理装置的框图。

图5是根据本发明的另一示例性实施例示出的一种数据处理装置的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

图1是根据一示例性实施例示出的实施环境示意图。该实施环境包括：多个不同的应用监控探针101、数据采集器102、应用了本公开实施例提供的数据处理方法的过滤融合器103、关系数据库104、非关系数据库105、以及数据展现平台106。其中，数据采集器102、过滤融合器103、关系数据库104、非关系数据库105、以及数据展现平台106可以布置在服务器侧，多个不同的应用监控探针101可以布置在需要被监控的终端侧。其中，数据采集器102，从数据传输总线接收应用监控探针101探取到的数据，将数据传输到指定缓存区域。过滤融合器103从该指定缓存区域得到待存储数据，将待存储数据存储到关系数据库104和非关系数据库105。过滤融合器103接收到数据查询请求后，将查询结果发送给数据展现平台106进行展示。

可以理解的是，图1所示实施环境仅用于示意本发明实施例提供的方法，并不构成对本发明实施例的限制。

图2是根据本发明的一示例性实施例示出的一种数据处理方法的流程图。该方法可以应用于服务器侧。该方法可以包括：

在步骤210中，获取待存储数据。

例如，结合图1所示实施环境，可以从指定缓存区域得到待存储数据。

再例如，在应用性能监控的应用场景中，待存储数据可以包括指标数据以及事件数据。其中，所述指标数据可以为，CPU利用率、RRT请求响应时间等用于描述应用性能指标的数据。所述事件数据可以为，日志中记录的通知、告警(如：非授权登录、非预期的操作退出等)等用于描述应用事件的数据。

在步骤220中，将所述待存储数据中，与关系数据库匹配规则匹配的数据存入关系数据库。

例如，关系数据库匹配规则可以为，与指标数据对应的关键词进行匹配。

再例如，在应用性能监控的应用场景中，若待存储数据中存在关键词“CPU利用率”，则该关键词“CPU利用率”对应的数据为与关系数据库匹配的数据，将“CPU利用率”对应的数据存入关系数据库。

例如，所述关系数据库可以包括：oracle、db2、sqlserver、sybase、mysql等数据库。

在步骤230中，将所述待存储数据中，与非关系数据库匹配规则匹配的数据存入非关系数据库。

例如，非关系数据库匹配规则可以为，与事件数据对应的关键词进行匹配。

再例如，在应用性能监控的应用场景中，若待存储数据中存在关键词“日志来源”，则该关键词“日志来源”对应的数据为与非关系数据库匹配的数据，将“日志来源”对应的数据存入非关系数据库。

例如，所述非关系数据库可以包括：键值型数据库、文档型数据库等。

可见，由于本公开提供的技术方案预置了关系数据库匹配规则以及非关系数据库匹配规则，在获取待存储数据之后，将所述待存储数据中，与关系数据库匹配规则匹配的数据存入关系数据库，将所述待存储数据中，与非关系数据库匹配规则匹配的数据存入非关系数据库，因此，与关系数据库匹配规则匹配的、查询性能需求较高的数据(如，指标数据)可以存入关系数据，与非关系数据库匹配规则匹配的、查询性能需求较低的数据(如，事件数据)可以存入非关系数据，实现了在保证查询性能的同时，满足存储能力的需求的目的。

图3是根据本发明的另一示例性实施例示出的一种数据处理方法的流程图。该方法可以应用于服务器侧。该方法可以包括：

在步骤310中，获取待存储数据。

在步骤320中，将所述待存储数据中，与关系数据库匹配规则匹配的数据存入关系数据库。

例如，可以将所述待存储数据中与关系数据库匹配规则匹配的数据，以键值对的形式，存入关系数据库，其中，所述与关系数据库匹配规则匹配的数据包含时间属性信息。例如，键名称可以为指标数据中的指标名称，键值可以为指标名称对应的指标值。

其中，所述时间属性可以为指标数据产生的时间。

在步骤330中，将所述待存储数据中，与非关系数据库匹配规则匹配的数据存入非关系数据库。

例如，可以将所述待存储数据中与非关系数据库匹配规则匹配的数据，以键值对的形式，存入非关系数据库，其中，所述与非关系数据库匹配规则匹配的数据包含时间属性信息。例如，键名称可以为事件数据中的事件名称，键值可以为事件名称对应的事件内容。

其中，所述时间属性可以为事件数据产生的时间。

在步骤340中，在接收到数据查询请求时，对所述数据查询请求进行解析，得到用于在所述关系数据库执行的第一查询语句，和/或者，用于在所述非关系数据库执行的第二查询语句。

例如，可以对数据查询请求进行关键字提取，将数据查询请求中关键字后携带的数据对应的语义转换为查询语句对应的变量，从而得到查询语句。

例如，一种可能的实施方式中，存入关系数据库以及存入非关系数据库的数据均为包含时间属性信息的键值对。所述数据查询请求可以为，以时间段为查询条件来查找键名对应的键值的查询请求。在该实施方式中，关系数据库与非关系数据库可以通过统一格式的查询语句按时间段来进行查询，统一了数据查询请求接口，降低了外部对数据库的查询难度，提高了查询效率，保障了查询性能与灵活性。

具体地，例如，对于数据查询请求“SELECT指标A AND事件B WHERE时间范围在C、D之间”，解析过程可以包括：提取出关键词“SELECT”、“WHERE”后携带的数据“指标A”、“事件B”、“时间范围在C，D之间”，并根据“指标A”对应的是存储在关系数据库中的指标数据，将“指标A”、“时间范围在C，D之间”对应的语义转换为sql查询语句，并提交到mysql数据库，根据“事件B”对应的是存储在非关系数据库中的事件数据，将“事件B”、“时间范围在C，D之间”对应的语义转换为NoSQL查询语句，并提交到NoSQL数据库。

在步骤350中，在得到所述第一查询语句的情况下，将所述第一查询语句，发送到所述关系数据库进行查询，得到第一查询结果。

在步骤360中，在得到所述第二查询语句的情况下，将所述第二查询语句，发送到所述非关系数据库进行查询，得到第二查询结果。

在步骤370中，在得到所述第一查询结果以及所述第二查询结果的情况下，将所述第一查询结果与所述第二查询结果按照预设融合机制融合，得到融合后的查询结果。

例如，所述预设融合机制为按时间顺序融合。具体地，可以根据所述第一查询结果与所述第二查询结果中分别包含的时间属性，将所述第一查询结果与所述第二查询结果按照时间顺序融合，得到融合后的查询结果。由于按时间顺序融合，使分别存储在关系数据库以及非关系数据库中的两种数据通过时间属性融合在一起，从而为数据的完整展现提供了保障。

例如，一种可能的应用场景中，第一查询结果为“2016-07-07 12:00:00”“Key1”“Value1”、“2016-07-07 12:00:01”“Key2”“Value2”、第二查询结果为“2016-07-07 12:00:00”“Key3”“Value3”、“2016-07-07 12:00:01”“Key4”“Value4”，则融合后的查询结果为“2016-07-07 12:00:00”“Key1”“Value1”“2016-07-07 12:00:00”“Key3”“Value3”“2016-07-07 12:00:01”“Key2”“Value2”“2016-07-07 12:00:01”“Key4”“Value4”。

在步骤380中，根据所述融合后的查询结果，构建查询结果视图。

例如，可以根据按照时间顺序融合后的查询结果，构建成一个完整的查询结果视图。通过构件完整的查询结果视图，更加便于查询者直观的了解所查询的数据，提高了用户体验。

可以理解的是，在本实施例中，由于为关系数据库与非关系数据库设置统一的数据查询请求接口，在接收到数据查询请求时，对数据查询请求进行解析，得到用于在关系数据库执行的第一查询语句，和/或者，用于在非关系数据库执行的第二查询语句，在相应得到第一查询结果以及第二查询结果的情况下，将第一查询结果与第二查询结果按照预设融合机制融合，得到融合后的查询结果，因此，降低了外部对数据库的查询难度，提高了查询效率，保障了查询性能与灵活性。

图4是根据本发明的一示例性实施例示出的一种数据处理装置400的框图。该装置可以配置于服务器侧。该装置可以包括：获取模块410、关系存储模块420、以及非关系存储模块430。

该获取模块410，可以被配置为获取待存储数据。

该关系存储模块420，可以被配置为将所述待存储数据中，与关系数据库匹配规则匹配的数据存入关系数据库；

该非关系存储模块430，可以被配置为将所述待存储数据中，与非关系数据库匹配规则匹配的数据存入非关系数据库。

可见，由于本公开提供的技术方案预置了关系数据库匹配规则以及非关系数据库匹配规则，在获取待存储数据之后，将所述待存储数据中，与关系数据库匹配规则匹配的数据存入关系数据库，将所述待存储数据中，与非关系数据库匹配规则匹配的数据存入非关系数据库，因此，与关系数据库匹配规则匹配的、查询性能需求较高的数据(如，指标数据)可以存入关系数据，与非关系数据库匹配规则匹配的、查询性能需求较低的数据(如，事件数据)可以存入非关系数据，实现了在保证查询性能的同时，满足存储能力的需求的目的。

图5是根据本发明的另一示例性实施例示出的一种数据处理装置400的框图。如图5所示，该装置还可以包括：查询解析模块440，可以被配置为在接收到数据查询请求时，对所述数据查询请求进行解析，得到用于在所述关系数据库执行的第一查询语句，和/或者，用于在所述非关系数据库执行的第二查询语句。第一查询模块450，可以被配置为在得到所述第一查询语句的情况下，将所述第一查询语句，发送到所述关系数据库进行查询，得到第一查询结果。第二查询模块460，可以被配置为在得到所述第二查询语句的情况下，将所述第二查询语句，发送到所述非关系数据库进行查询，得到第二查询结果。融合模块470，可以被配置为在得到所述第一查询结果以及所述第二查询结果的情况下，将所述第一查询结果与所述第二查询结果按照预设融合机制融合，得到融合后的查询结果。

例如，所述预设融合机制为按时间顺序融合。所述融合模块470可以被配置为根据所述第一查询结果与所述第二查询结果中分别包含的时间属性，将所述第一查询结果与所述第二查询结果按照时间顺序融合，得到融合后的查询结果。

再例如，所述关系存储模块420可以被配置为将所述待存储数据中与关系数据库匹配规则匹配的数据，以键值对的形式，存入关系数据库，其中，所述与关系数据库匹配规则匹配的数据包含时间属性信息。所述非关系存储模块430可以被配置为将所述待存储数据中与非关系数据库匹配规则匹配的数据，以键值对的形式，存入非关系数据库，其中，所述与非关系数据库匹配规则匹配的数据包含时间属性信息。其中，所述数据查询请求可以为，以时间段为查询条件来查找键名对应的键值的查询请求。

又例如，该装置还可以包括：视图构建模块480，可以被配置为根据所述融合后的查询结果，构建查询结果视图。

可见，在本实施例中，由于为关系数据库与非关系数据库设置统一的数据查询请求接口，在接收到数据查询请求时，对数据查询请求进行解析，得到用于在关系数据库执行的第一查询语句，和/或者，用于在非关系数据库执行的第二查询语句，在相应得到第一查询结果以及第二查询结果的情况下，将第一查询结果与第二查询结果按照预设融合机制融合，得到融合后的查询结果，因此，降低了外部对数据库的查询难度，提高了查询效率，保障了查询性能与灵活性。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

获取待存储数据；

将所述待存储数据中，与关系数据库匹配规则匹配的数据存入关系数据库；

将所述待存储数据中，与非关系数据库匹配规则匹配的数据存入非关系数据库。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在接收到数据查询请求时，对所述数据查询请求进行解析，得到用于在所述关系数据库执行的第一查询语句，和/或者，用于在所述非关系数据库执行的第二查询语句；

在得到所述第一查询语句的情况下，将所述第一查询语句，发送到所述关系数据库进行查询，得到第一查询结果；

在得到所述第二查询语句的情况下，将所述第二查询语句，发送到所述非关系数据库进行查询，得到第二查询结果；

在得到所述第一查询结果以及所述第二查询结果的情况下，将所述第一查询结果与所述第二查询结果按照预设融合机制融合，得到融合后的查询结果。

3.根据权利要求2所述的方法，其特征在于，所述预设融合机制为按时间顺序融合；

所述将所述第一查询结果与所述第二查询结果按照预设融合条件融合，得到融合后的查询结果包括：

根据所述第一查询结果与所述第二查询结果中分别包含的时间属性，将所述第一查询结果与所述第二查询结果按照时间顺序融合，得到融合后的查询结果。

4.根据权利要求2所述的方法，其特征在于，所述将所述待存储数据中，与关系数据库匹配规则匹配的数据存入关系数据库包括：

将所述待存储数据中与关系数据库匹配规则匹配的数据，以键值对的形式，存入关系数据库，其中，所述与关系数据库匹配规则匹配的数据包含时间属性信息；

所述将所述待存储数据中，与非关系数据库匹配规则匹配的数据存入非关系数据库包括：

将所述待存储数据中与非关系数据库匹配规则匹配的数据，以键值对的形式，存入非关系数据库，其中，所述与非关系数据库匹配规则匹配的数据包含时间属性信息；

其中，所述数据查询请求为，以时间段为查询条件来查找键名对应的键值的查询请求。

5.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：

根据所述融合后的查询结果，构建查询结果视图。

6.一种数据处理装置，其特征在于，包括：

获取模块，被配置为获取待存储数据；

关系存储模块，被配置为将所述待存储数据中，与关系数据库匹配规则匹配的数据存入关系数据库；

非关系存储模块，被配置为将所述待存储数据中，与非关系数据库匹配规则匹配的数据存入非关系数据库。

7.根据权利要求1所述的装置，其特征在于，所述装置还包括：

查询解析模块，被配置为在接收到数据查询请求时，对所述数据查询请求进行解析，得到用于在所述关系数据库执行的第一查询语句，和/或者，用于在所述非关系数据库执行的第二查询语句；

第一查询模块，被配置为在得到所述第一查询语句的情况下，将所述第一查询语句，发送到所述关系数据库进行查询，得到第一查询结果；

第二查询模块，被配置为在得到所述第二查询语句的情况下，将所述第二查询语句，发送到所述非关系数据库进行查询，得到第二查询结果；

融合模块，被配置为在得到所述第一查询结果以及所述第二查询结果的情况下，将所述第一查询结果与所述第二查询结果按照预设融合机制融合，得到融合后的查询结果。

8.根据权利要求7所述的装置，其特征在于，所述预设融合机制为按时间顺序融合；

所述融合模块被配置为根据所述第一查询结果与所述第二查询结果中分别包含的时间属性，将所述第一查询结果与所述第二查询结果按照时间顺序融合，得到融合后的查询结果。

9.根据权利要求7所述的装置，其特征在于，所述关系存储模块被配置为将所述待存储数据中与关系数据库匹配规则匹配的数据，以键值对的形式，存入关系数据库，其中，所述与关系数据库匹配规则匹配的数据包含时间属性信息；

所述非关系存储模块被配置为将所述待存储数据中与非关系数据库匹配规则匹配的数据，以键值对的形式，存入非关系数据库，其中，所述与非关系数据库匹配规则匹配的数据包含时间属性信息；

其中，所述数据查询请求为，以时间段为查询条件来查找键名对应的键值的查询请求。

10.根据权利要求7或8所述的装置，其特征在于，所述装置还包括：

视图构建模块，被配置为根据所述融合后的查询结果，构建查询结果视图。