CN110837511B - 一种数据处理方法、***及相关设备 - Google Patents

Abstract

本申请实施例提供了一种数据处理方法、***及相关设备，用于提高数据报表查询显示过程中的响应速率，提高用户体验。本申请实施例方法包括：接收数据查询请求，数据查询请求中包含统计字段；采用流式读取的方式从数据库中读取源数据中包含统计字段的源数据；在读取源数据期间，对读取到的每条数据进行第一层累计处理，第一层累计处理包括：查询第一缓存中已缓存的数据中是否存在与当前一条数据所有统计字段的字段值均相同的第一目标数据，若存在，则将当前一条数据的记录值叠加至第一目标数据对应的记录值，若不存在，则将当前一条数据缓存在第一缓存中；将第一缓存中的数据在数据报表中进行显示。

Description

一种数据处理方法、***及相关设备

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法、***及相关设备。

背景技术

在财务软件***中，通常有一些统计报表，需要按维度逐级的分析统计数据，这时需要根据业务明细数据按指定维度进行统计分析。

目前通常通过以下方式解决：数据库构造临时表，在数据库层进行统计分析，统计分析结果写入临时表，页面展示时分页从数据库抓数展示。

财务软件往往需要统计的业务明细数据量较大，展示在页面的数据可能也会达到几十上百万条数据。现有情况下，需要在数据库中构造临时表，当数据库中的数据量较大时，在客户端进行显示时，响应迟缓，甚至会引起服务器宕机及页面展示崩溃，报表查询通常性能极差，用户体验不好。

发明内容

本申请实施例提供了一种数据处理方法、***及相关设备，用于提高数据报表查询显示过程中的响应速率，提高用户体验。

本申请实施例第一方面提供了一种数据处理方法，可包括：

接收数据查询请求，所述数据查询请求中包含统计字段；

采用流式读取的方式从数据库中读取包含所述统计字段的源数据；

在读取所述源数据期间，对读取到的每条数据进行第一层累计处理，所述第一层累计处理包括：查询第一缓存中已缓存的数据中是否存在与当前一条数据所有统计字段的字段值均相同的第一目标数据，若存在，则将当前一条数据的记录值叠加至所述第一目标数据对应的记录值，若不存在，则将当前一条数据缓存在所述第一缓存中；

将所述第一缓存中的数据在数据报表中进行显示。

可选的，作为一种可能的实施方式，本申请实施例中，所述数据查询请求中包含至少两个统计字段形成的集合M，以及第一降维组合，所述第一降维组合中包含至少一个所述统计字段，若所述第一降维组合中的统计字段为集合N，则

所述方法还可以包括：

当所述第一缓存中的数据条数超过第一预设数量时，在读取所述源数据期间，进行第二层累计处理，所述第二层累计处理包括：查询第二缓存中已缓存的数据中是否存在与当前一条数据的第一降维组合所有统计字段的字段值均相同的第二目标数据，若存在，则将当前一条数据的记录值叠加至所述第二目标数据对应的记录值，若不存在，则将当前一条数据缓存在所述第二缓存中；

对所述第一缓存中数据进行所述第二层累计处理；

将所述第二缓存中的数据在数据报表中进行显示。

可选的，作为一种可能的实施方式，本申请实施例中，所述数据查询请求中包含第二降维组合，所述第二降维组合中包含至少一个所述统计字段，且所述第二降维组合中的统计字段的集合

所述方法还可以包括：

当所述第二缓存中的数据条数超过第二预设数量时，在读取所述源数据期间，进行第三层累计处理，所述第三层累计处理包括：查询第三缓存中已缓存的数据中是否存在与当前一条数据的第二降维组合所有统计字段值相同的第三目标数据，若存在，则将当前一条数据的记录值叠加至所述第三目标数据对应的记录值，若不存在，则将当前一条数据缓存在所述第三缓存中；

对所述第二缓存中数据进行所述第三层累计处理；

将所述第一缓存、第二缓存、第三缓存中的数据在数据报表中分层进行显示。

可选的，作为一种可能的实施方式，本申请实施例中，当所述数据查询请求中包含至少两个源数据时，根据所述数据查询请求生成至少两个并行执行程序对象，以实现对多个源数据的数据并行读取操作。

可选的，作为一种可能的实施方式，本申请实施例中的数据处理方法还可以包括：

对多个源数据进行最高层累计处理之后的数据进行叠加处理，所述叠加处理包括：查询最高层累计处理之后的数据是否存在与当前一条数据所有统计字段的字段值均相同的第四目标数据，若存在，则将当前一条数据的记录值叠加至所述第四目标数据对应的记录值，若不存在，则将当前一条数据缓存在所述第四缓存中；

将所述第四缓存中的数据在数据报表中进行显示。

本申请实施例第二方面提供了一种数据处理***，可包括：

接收单元，用于接收数据查询请求，所述数据查询请求中包含统计字段；

读取单元，用于采用流式读取的方式从数据库中读取包含所述统计字段的源数据；

第一处理单元，用于在读取所述源数据期间，对读取到的每条数据进行第一层累计处理，所述第一层累计处理包括：查询第一缓存中已缓存的数据中是否存在与当前一条数据所有统计字段的字段值均相同的第一目标数据，若存在，则将当前一条数据的记录值叠加至所述第一目标数据对应的记录值，若不存在，则将当前一条数据缓存在所述第一缓存中；

第一显示单元，用于将所述第一缓存中的数据在数据报表中进行显示。

可选的，本申请实施例中，所述数据查询请求中包含至少两个统计字段形成的集合M，以及第一降维组合，所述第一降维组合中包含至少一个所述统计字段，若所述第一降维组合中的统计字段为集合N，则

作为一种可能的实施方式，本申请中的数据处理***还可以包括：

第二处理单元，当所述第一缓存中的数据条数超过第一预设数量时，在读取所述源数据期间，进行第二层累计处理，所述第二层累计处理包括：查询第二缓存中已缓存的数据中是否存在与当前一条数据的第一降维组合所有统计字段的字段值均相同的第二目标数据，若存在，则将当前一条数据的记录值叠加至所述第二目标数据对应的记录值，若不存在，则将当前一条数据缓存在所述第二缓存中，并对所述第一缓存中数据进行所述第二层累计处理；

第二显示单元，用于将所述第二缓存中的数据在数据报表中进行显示。

可选的，作为一种可能的实施方式，所述数据查询请求中包含第二降维组合，所述第二降维组合中包含至少一个所述统计字段，且所述第二降维组合中的统计字段的集合

本申请中的数据处理***还可以包括：

第三处理单元，当所述第二缓存中的数据条数超过第二预设数量时，在读取所述源数据期间，进行第三层累计处理，所述第三层累计处理包括：查询第三缓存中已缓存的数据中是否存在与当前一条数据的第二降维组合所有统计字段值相同的第三目标数据，若存在，则将当前一条数据的记录值叠加至所述第三目标数据对应的记录值，若不存在，则将当前一条数据缓存在所述第三缓存中，并对所述第二缓存中数据进行所述第三层累计处理；

第三显示单元，用于将所述第一缓存、第二缓存、第三缓存中的数据在数据报表中分层进行显示。

本申请实施例第三方面提供了一种计算机装置，其特征在于，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如第一方面及第一方面中任意一种可能的实施方式中的步骤。

本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如第一方面及第一方面中任意一种可能的实施方式中的步骤。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例中，数据处理***接收数据查询请求之后可以采用流式读取的方式从数据库中读取源数据，在读取源数据期间，对读取到的每条数据进行第一层累计处理，查询第一缓存中已缓存的数据中是否存在与当前一条数据所有统计字段的字段值均相同的第一目标数据，若存在，则将当前一条数据的记录值叠加至第一目标数据对应的记录值，若不存在，则将当前一条数据缓存在第一缓存中。本申请实施例中，将源数据中统计字段值相同的多条数据对应的记录值进行叠加成为一条数据，有效减少了汇总数据中的数据条数，避免数据过大造成的卡顿，将报表需要显示的数据存储于本地缓存中，无需从数据库中构造临时表，避免大量数据展示到前端页面带来的大量缓存和网络资源消耗，提高了数据报表查询显示过程中的响应速率，提高了用户体验。

附图说明

图1为本申请实施例中一种数据处理方法的一个实施例示意图；

图2为本申请实施例中一种数据处理方法的另一个实施例示意图；

图3为本申请实施例中一种数据处理方法的一个具体运用实施例示意图；

图4为本申请实施例中一种数据处理***的一个实施例示意图；

图5为本申请实施例中一种计算机装置的一个实施例示意图。

具体实施方式

本申请实施例提供了一种数据处理方法、***及相关设备，用于提高数据报表查询显示过程中的响应速率，提高用户体验。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于理解，下面对本申请实施例中的具体流程进行描述，请参阅图1，本申请实施例中一种数据处理方法的一个实施例可包括：

101、接收数据查询请求，数据查询请求中包含统计字段；

本申请实施例中，当用户需要根据一个或多个维度的统计字段对数据库中的源数据进行查询统计时，可以通过客户端向数据处理***对应的服务器发送数据查询请求，该数据查询请求中包含统计字段。

102、采用流式读取的方式从数据库中读取包含统计字段的源数据；

数据处理***在接收到客户端发送的数据查询请求之后，可以采用流式读取的方式从数据库中读取包含统计字段的源数据。

其中，源数据是指归属于同一统计维度下的相互关联的多条数据，例如，同一个统计维度下，按照时间先后顺序记录的该统计维度下的各个统计周期的记录值，每一个统计周期的记录值对应一条数据，每一个源数据包含至少两条数据。其中，源数据的存储空间范围之内可能包含不相关数据，该不相关数据不含有数据查询请求中设置的统计字段的数据，在读取的过程中，不相关数据会因为不含统计字段而被过滤。

流式读取是指在从数据库中读取数据的同时，对读取到的数据进行预设的处理操作之后存入本地缓存中。

103、在读取源数据期间，对读取到的每条数据进行第一层累计处理；

数据处理***在对数据库中的源数据进行流式读取期间，为了减少数据量，可以对读取到的每条数据进行第一层累计处理，该第一层累计处理包括：查询第一缓存中已缓存的数据中是否存在与当前一条数据所有统计字段的字段值均相同的第一目标数据，若存在，则将当前一条数据的记录值叠加至第一目标数据对应的记录值，若不存在，则将当前一条数据缓存在第一缓存中。

仅以两个统计字段为例进行说明，每一个统计字段的统计字段值有多个，例如，用户选取的统计字段为“公司”及“科目”，该“公司”的字段值可以是“分公司A”、“分公司B”、“分公司C”，该“科目”统计字段的字段值可以是“科目1”、“科目2”“科目3”。记录值则是每条数据中统计字段外可以叠加的字段(比如金额、销量等)对应的值，一般是数值。例如，存在两条数据(数据1、数据2)，只有数据1、数据2对应的所有统计字段的字段值均相同(例如，两条数据的“公司”统计字段值均为“分公司B”且“科目”统计字段值均为“科目2”)才进行数据的记录值叠加操作的，则可以对数据1、数据2的“金额”、“销量”对应的记录值进行叠加。

104、将第一缓存中的数据在数据报表中进行显示。

在将源数据中的一部分或全部数据进行第一层累计处理之后，可以根据客户端的查询显示指令将第一缓存中的数据在数据报表页面中进行显示。

本申请实施例中，数据处理***接收数据查询请求之后可以采用流式读取的方式从数据库中读取源数据，在读取源数据期间，对读取到的每条数据进行第一层累计处理，查询第一缓存中已缓存的数据中是否存在与当前一条数据所有统计字段的字段值均相同的第一目标数据，若存在，则将当前一条数据的记录值叠加至第一目标数据对应的记录值，若不存在，则将当前一条数据缓存在第一缓存中。本申请实施例中，将源数据中统计字段值相同的多条数据对应的记录值进行叠加成为一条数据，有效减少了汇总数据中的数据条数，提高了数据报表显示过程中的响应速率，降低了报表查询响应时间，提高了用户体验，其次将报表需要显示的数据存储于本地缓存中，无需从数据库中构造临时表，进一步降低了数据查询的响应时间。

实际运用中，申请人注意到，报表最终展示到页面的数据不需要太大，超过一定的行数(例如10万)就是没有意义的，用户不可能看那么多数据，只要保证用户最关心的数据合计、小计正确即可，明细数据可以不完全展示。有鉴于此，本申请实施例中还可以进一步对明细数据进行缩减。

在上述图1所示的实施例的基础上，还可以根据用户的数据查询请求中指定的维度对数据源进行降维统计。具体的，请参阅图2，本申请实施例中一种数据处理方法的另一个实施例可包括：

201、接收数据查询请求，数据查询请求中包含统计字段；

202、采用流式读取的方式从数据库中读取包含统计字段的源数据；

203、在读取源数据期间，对读取到的每条数据进行第一层累计处理；

上述步骤201至203中描述的内容与图1所示的实施例中的步骤101至103中描述的内容类似，具体请参阅图1所示的实施例，此处不做赘述。需要说明的是，每一层累计处理过程中的统计字段的数量是变化的，例如下述步骤中的第二层累计处理时所采用的统计字段的数量小于第一层累计处理过程中的统计字段的数量。

204、当第一缓存中的数据条数超过第一预设数量时，在读取源数据期间，进行第二层累计处理；

具体的，用户可以设置至少两个统计字段形成的集合M，该集合M中包含所有的统计字段，还可以进一步指定第一降维组合，第一降维组合中包含至少一个统计字段，且第一降维组合中的统计字段为集合N，则

示例性的，M＝{公司、科目、核算维度、计量单位、币别}五个维度的统计字段，N＝{公司、科目、核算维度、计量单位}四个统计字段。

当第一缓存中的数据条数超过第一预设数量时，在读取源数据期间，进行第二层累计处理。其中第二层累计处理包括：查询第二缓存中已缓存的数据中是否存在与当前一条数据的第一降维组合所有统计字段的字段值均相同的第二目标数据，若存在，则将当前一条数据的记录值叠加至第二目标数据对应的记录值，若不存在，则将当前一条数据缓存在第二缓存中；对第一缓存中数据进行第二层累计处理；将第二缓存中的数据在数据报表中进行显示。其中，第一缓存与第二缓存可以是同一个存储介质的存储空间但属于不同的存储路径。

为了便于理解，示例性的，假设源数据中包含集合M中所有统计字段的数据为40万条，当第一层累计处理过程中从源数据中提取了前20万条时，第一缓存中的数据累计至10万(第一预设数量)条(前20万条中有10万条因统计字段值相同而被叠加)，此时，在读取源数据期间(即读取源数据中的剩余的20万条期间)，进行第二层累计处理，然后，再对第一缓存中的10万条数据进行第二层累计处理。其中，读取源数据中的剩余的20万条数据的步骤与对第一缓存中的10万条数据进行第二层累计处理的步骤的实施顺序不做限定。

205、当第二缓存中的数据条数超过第二预设数量时，在读取源数据期间，进行第三层累计处理；

作为可选的步骤，为了进一步降低明细数据的数量，或者根据用户的多样化统计需求，在上述步骤204的基础上，可以进一步对明细数据进行缩减。

具体的，用户可以设置第二降维组合，第二降维组合中包含至少一个统计字段，且第二降维组合中的统计字段的集合

示例性的，M＝{公司、科目、核算维度、计量单位、币别}五个维度的统计字段，N＝{公司、科目、核算维度、计量单位}四个统计字段，Q＝{公司、科目、核算维度}三个统计字段。

当第二缓存中的数据条数超过第二预设数量时，在读取源数据期间，进行第三层累计处理，该第三层累计处理包括：查询第三缓存中已缓存的数据中是否存在与当前一条数据的第二降维组合所有统计字段值相同的第三目标数据，若存在，则将当前一条数据的记录值叠加至第三目标数据对应的记录值，若不存在，则将当前一条数据缓存在第三缓存中；对第二缓存中数据进行第三层累计处理；将第三缓存中的数据在数据报表中进行显示。

为了便于理解，示例性的，假设源数据中包含集合M中所有统计字段的数据为40万条，当第一层累计处理过程中从源数据中提取了前20万条时，第一缓存中的数据累计至10万(第一预设数量)条(前20万条中有10万条因统计字段值相同而被叠加)，此时，在读取源数据期间(即读取源数据中的剩余的20万条期间)，进行第二层累计处理，然后，再对第一缓存中的10万条数据进行第二层累计处理。其中，读取源数据中的剩余的20万条数据期间或对第一缓存中的10万条数据进行第二层累计处理期间，第二缓存中的数据条数超过第二预设数量(例如10万、5万等)，则进行第三层累计处理，并将处理之后的数据存储与第三缓存中。

可以理解的是，本申请实施例仅以包含所有统计字段的集合M、第一降维组合中的统计字段为集合N、第二降维组合中的统计字段的集合Q为例进行说明，实际运用中，如果经过上述第一、第二、第三层累计处理之后，明细数据的条数还是大于预设数量时还可以根据用户的需求设置更多的降维组合，例如第三降维组合中的统计字段的集合

第四降维组合中的统计字段的集合

其中最小的集合至少包含一个统计字段，并根据降维组合字段多数据源中的数据或本地缓存中的数据进行更多层的累计处理，使得明显数据相对于最初的源数据的条数降低达到预设数量为止，同时为用户提供更多维度组合下的汇总数据，提高用户体验。

206、将第一缓存、第二缓存、第三缓存中的数据在数据报表中分层进行显示。

在将源数据中的全部数据进行第三层累计处理之后，可以根据客户端的查询显示指令，将第一缓存、第二缓存、第三缓存中的数据在数据报表中分层进行显示，例如，以公司为例，有上下层级，从最明细级逐级往上进行汇总以树形结构分层显示。

本申请实施例中，数据处理***接收数据查询请求之后可以采用流式读取的方式从数据库中读取源数据，在读取源数据期间，对读取到的每条数据进行第一层累计处理，查询第一缓存中已缓存的数据中是否存在与当前一条数据所有统计字段的字段值均相同的第一目标数据，若存在，则将当前一条数据的记录值叠加至第一目标数据对应的记录值，若不存在，则将当前一条数据缓存在第一缓存中。本申请实施例中，将源数据中统计字段值相同的多条数据对应的记录值进行叠加成为一条数据，有效减少了汇总数据中的数据条数，提高了数据报表显示过程中的响应速率，降低了报表查询响应时间，提高了用户体验，其次将报表需要显示的数据存储于本地缓存中，无需从数据库中构造临时表，进一步降低了数据查询的响应时间。其次，本申请实施例可以根据用户设置的降维组合中的字段对源数据进行分层累计汇总，进一步减少了汇总数据中的数据条数，提高了数据报表显示过程中的响应速率。

实际运用中，数据查询请求中可能包含多个数据源，例如一个总公司可能包含多个分公司，每个分公司对应一个数据源，当需要对多个分公司对应的数据源中的数据进行统计汇总时，可以在数据查询请求中加入多个源数据，根据数据查询请求生成至少两个并行执行程序对象，以实现对多个源数据的数据并行读取操作。优选的，最大的并行执行程序对象的数量可以是服务器的CPU个数+1。

可选的，作为一种可能的实施方式，当数据查询请求中包含多个源数据，并行对多个源数据进行最高层累计处理之后(叠加处理的层次可以根据用户需求进行设置，例如可以设置3层，则对应的最高层累计处理为上述图2所示的实施例中的第3层累计处理)，将处理之后的数据进行叠加处理，叠加处理包括：查询最高层累计处理之后的数据是否存在与当前一条数据所有统计字段的字段值均相同的第四目标数据，若存在，则将当前一条数据的记录值叠加至第四目标数据对应的记录值，若不存在，则将当前一条数据缓存在第四缓存中；将第四缓存中的数据在数据报表中进行显示。

可以理解的是，上述实施例中所示的叠加处理的层次划分仅仅是示例性的，实际运用中可以采用更少层的叠加处理，也可以采用更多层的叠加处理，更高层的叠加处理过程中，其采用的所有统计字段对应的字段降维组合形成的集合是上一层叠加处理对应的字段降维组合形成的集合的真子集。

为了便于理解，请参阅图3，下面将结合具体运用实例对本申请中的数据处理方法进行描述。

整个方案的步骤过程如下：

1、在计算节点，通过调用方传入的查询语句，以及并行拆分字段，生成CPU个数+1的并行查询任务，同时从数据库取数，取得流式取数结果集。

2、从流式取数结果集中一边读取数据，一边构造明细维度数据集合，当维度相同时，度量金额进行汇总累计；

3、当明细维度数据集合超过10万行时，构造降维汇总数据1，取数遍历完没超过10万行时则构造所有降维汇总数据；

4、当降维汇总数据集合超过10万行时，再往上构造降维汇总数据2，直到最后的合计行数据。100万，先按照最大的维度(5维度)进行分类，当最大的维度组合达到10万之后，剩余的20万数据不再参与最大维度的组合累计，直接进入下一轮，降维累计(4维度)、之后再累计、直到降到指定的维度，如三维，直到达到用户指定维度或者明显条数达到预设数量之下，最后再进行汇总。

5、当并行构造完统计汇总数据集合后，最后按照相同维度合并并行产生的多个数据集成为一个数据集合，传递给到调用方。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种数据处理***，可包括：

接收单元401，用于接收数据查询请求，数据查询请求中包含统计字段；

读取单元402，用于采用流式读取的方式从数据库中读取包含统计字段的源数据；

第一处理单元403，用于在读取源数据期间，对读取到的每条数据进行第一层累计处理，第一层累计处理包括：查询第一缓存中已缓存的数据中是否存在与当前一条数据所有统计字段的字段值均相同的第一目标数据，若存在，则将当前一条数据的记录值叠加至第一目标数据对应的记录值，若不存在，则将当前一条数据缓存在第一缓存中；

第一显示单元404，用于将第一缓存中的数据在数据报表中进行显示。

可选的，本申请实施例中，数据查询请求中包含至少两个统计字段形成的集合M，数据查询请求中包含第一降维组合，第一降维组合中包含至少一个统计字段，且第一降维组合中的统计字段为集合N，则

作为一种可能的实施方式，本申请中的数据处理***还可以包括：

第二处理单元，当第一缓存中的数据条数超过第一预设数量时，在读取源数据期间，进行第二层累计处理，第二层累计处理包括：查询第二缓存中已缓存的数据中是否存在与当前一条数据的第一降维组合所有统计字段的字段值均相同的第二目标数据，若存在，则将当前一条数据的记录值叠加至第二目标数据对应的记录值，若不存在，则将当前一条数据缓存在第二缓存中，并对第一缓存中数据进行第二层累计处理；

第二显示单元，用于将第二缓存中的数据在数据报表中进行显示。

可选的，作为一种可能的实施方式，数据查询请求中包含第二降维组合，第二降维组合中包含至少一个统计字段，且第二降维组合中的统计字段的集合

本申请中的数据处理***还可以包括：

第三处理单元，当第二缓存中的数据条数超过第二预设数量时，在读取源数据期间，进行第三层累计处理，第三层累计处理包括：查询第三缓存中已缓存的数据中是否存在与当前一条数据的第二降维组合所有统计字段值相同的第三目标数据，若存在，则将当前一条数据的记录值叠加至第三目标数据对应的记录值，若不存在，则将当前一条数据缓存在第三缓存中，并对第二缓存中数据进行第三层累计处理；

第三显示单元，用于将第一缓存、第二缓存、第三缓存中的数据在数据报表中分层进行显示。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

上面从模块化功能实体的角度对本申请实施例中的数据处理***进行了描述，下面从硬件处理的角度对本申请实施例中的计算机装置进行描述：

该计算机装置1可以包括存储器11、处理器12和总线13。处理器11执行计算机程序时实现上述图1所示的数据处理方法实施例中的步骤，例如图1所示的步骤101至104。或者，处理器执行计算机程序时实现上述各装置实施例中各模块或单元的功能。

本申请的一些实施例中，处理器具体用于实现如下步骤：

接收数据查询请求，数据查询请求中包含统计字段；

采用流式读取的方式从数据库中读取包含统计字段的源数据；

在读取源数据期间，对读取到的每条数据进行第一层累计处理，第一层累计处理包括：查询第一缓存中已缓存的数据中是否存在与当前一条数据所有统计字段的字段值均相同的第一目标数据，若存在，则将当前一条数据的记录值叠加至第一目标数据对应的记录值，若不存在，则将当前一条数据缓存在第一缓存中；

将第一缓存中的数据在数据报表中进行显示。

可选的，作为一种可能的实施方式，数据查询请求中包含至少两个统计字段形成的集合M，数据查询请求中包含第一降维组合，第一降维组合中包含至少一个统计字段，且第一降维组合中的统计字段为集合N，则

处理器还可以用于实现如下步骤：

当第一缓存中的数据条数超过第一预设数量时，在读取源数据期间，进行第二层累计处理，第二层累计处理包括：查询第二缓存中已缓存的数据中是否存在与当前一条数据的第一降维组合所有统计字段的字段值均相同的第二目标数据，若存在，则将当前一条数据的记录值叠加至第二目标数据对应的记录值，若不存在，则将当前一条数据缓存在第二缓存中；

对第一缓存中数据进行第二层累计处理；

将第二缓存中的数据在数据报表中进行显示。

可选的，作为一种可能的实施方式，数据查询请求中包含第二降维组合，第二降维组合中包含至少一个统计字段，且第二降维组合中的统计字段的集合

处理器还可以用于实现如下步骤：

当第二缓存中的数据条数超过第二预设数量时，在读取源数据期间，进行第三层累计处理，第三层累计处理包括：查询第三缓存中已缓存的数据中是否存在与当前一条数据的第二降维组合所有统计字段值相同的第三目标数据，若存在，则将当前一条数据的记录值叠加至第三目标数据对应的记录值，若不存在，则将当前一条数据缓存在第三缓存中；

对第二缓存中数据进行第三层累计处理；

将第一缓存、第二缓存、第三缓存中的数据在数据报表中分层进行显示。

可选的，作为一种可能的实施方式，处理器还可以用于实现如下步骤：当数据查询请求中包含至少两个源数据时，根据数据查询请求生成至少两个并行执行程序对象，以实现对多个源数据的数据并行读取操作。

可选的，作为一种可能的实施方式，处理器还可以用于实现如下步骤：

对多个源数据进行最高层累计处理之后的数据进行叠加处理，叠加处理包括：查询最高层累计处理之后的数据是否存在与当前一条数据所有统计字段的字段值均相同的第四目标数据，若存在，则将当前一条数据的记录值叠加至第四目标数据对应的记录值，若不存在，则将当前一条数据缓存在第四缓存中；

将第四缓存中的数据在数据报表中进行显示。

其中，存储器11至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是计算机装置1的内部存储单元，例如该计算机装置1的硬盘。存储器11在另一些实施例中也可以是计算机装置1的外部存储设备，例如计算机装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括计算机装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于计算机装置1的应用软件及各类数据，例如计算机程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行计算机程序01等。

该总线13可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

进一步地，计算机装置还可以包括网络接口14，网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该计算机装置1与其他电子设备之间建立通信连接。

可选地，该计算机装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的，用户接口还可以包括标准的有线接口、无线接口。可选的，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在计算机装置1中处理的信息以及用于显示可视化的用户界面。

图5仅示出了具有组件11-14以及计算机程序01的计算机装置1，本领域技术人员可以理解的是，图5示出的结构并不构成对计算机装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，可以实现如下步骤：

接收数据查询请求，数据查询请求中包含统计字段；

采用流式读取的方式从数据库中读取包含统计字段的源数据；

在读取源数据期间，对读取到的每条数据进行第一层累计处理，第一层累计处理包括：查询第一缓存中已缓存的数据中是否存在与当前一条数据所有统计字段的字段值均相同的第一目标数据，若存在，则将当前一条数据的记录值叠加至第一目标数据对应的记录值，若不存在，则将当前一条数据缓存在第一缓存中；

将第一缓存中的数据在数据报表中进行显示。

可选的，作为一种可能的实施方式，数据查询请求中包含至少两个统计字段形成的集合M，数据查询请求中包含第一降维组合，第一降维组合中包含至少一个统计字段，且第一降维组合中的统计字段为集合N，则

处理器还可以用于实现如下步骤：

当第一缓存中的数据条数超过第一预设数量时，在读取源数据期间，进行第二层累计处理，第二层累计处理包括：查询第二缓存中已缓存的数据中是否存在与当前一条数据的第一降维组合所有统计字段的字段值均相同的第二目标数据，若存在，则将当前一条数据的记录值叠加至第二目标数据对应的记录值，若不存在，则将当前一条数据缓存在第二缓存中；

对第一缓存中数据进行第二层累计处理；

将第二缓存中的数据在数据报表中进行显示。

可选的，作为一种可能的实施方式，数据查询请求中包含第二降维组合，第二降维组合中包含至少一个统计字段，且第二降维组合中的统计字段的集合

处理器还可以用于实现如下步骤：

当第二缓存中的数据条数超过第二预设数量时，在读取源数据期间，进行第三层累计处理，第三层累计处理包括：查询第三缓存中已缓存的数据中是否存在与当前一条数据的第二降维组合所有统计字段值相同的第三目标数据，若存在，则将当前一条数据的记录值叠加至第三目标数据对应的记录值，若不存在，则将当前一条数据缓存在第三缓存中；

对第二缓存中数据进行第三层累计处理；

将第一缓存、第二缓存、第三缓存中的数据在数据报表中分层进行显示。

可选的，作为一种可能的实施方式，处理器还可以用于实现如下步骤：当数据查询请求中包含至少两个源数据时，根据数据查询请求生成至少两个并行执行程序对象，以实现对多个源数据的数据并行读取操作。

可选的，作为一种可能的实施方式，处理器还可以用于实现如下步骤：

对多个源数据进行最高层累计处理之后的数据进行叠加处理，叠加处理包括：查询最高层累计处理之后的数据是否存在与当前一条数据所有统计字段的字段值均相同的第四目标数据，若存在，则将当前一条数据的记录值叠加至第四目标数据对应的记录值，若不存在，则将当前一条数据缓存在第四缓存中；

将第四缓存中的数据在数据报表中进行显示。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

接收数据查询请求，所述数据查询请求中包含统计字段；

采用流式读取的方式从数据库中读取包含所述统计字段的源数据；

在读取所述源数据期间，对读取到的每条数据进行第一层累计处理，所述第一层累计处理包括：查询第一缓存中已缓存的数据中是否存在与当前一条数据所有统计字段的字段值均相同的第一目标数据，若存在，则将所述当前一条数据的记录值叠加至所述第一目标数据对应的记录值，若不存在，则将所述当前一条数据缓存在所述第一缓存中；

将所述第一缓存中的数据在数据报表中进行显示；

其中，所述数据查询请求中包含至少两个统计字段形成的集合M，以及第一降维组合，所述第一降维组合中包含至少一个所述统计字段，若所述第一降维组合中的统计字段为集合N，则

所述方法还包括：

当所述第一缓存中的数据条数超过第一预设数量时，在读取所述源数据期间，进行第二层累计处理，所述第二层累计处理包括：查询第二缓存中已缓存的数据中是否存在与当前一条数据的第一降维组合所有统计字段的字段值均相同的第二目标数据，若存在，则将当前一条数据的记录值叠加至所述第二目标数据对应的记录值，若不存在，则将当前一条数据缓存在所述第二缓存中；

将所述第二缓存中的数据在数据报表中进行显示。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述第一缓存中数据进行所述第二层累计处理。

3.根据权利要求2所述的方法，其特征在于，所述数据查询请求中还包含第二降维组合，所述第二降维组合中包含至少一个所述统计字段，且所述第二降维组合中的统计字段的集合

所述方法还包括：

当所述第二缓存中的数据条数超过第二预设数量时，在读取所述源数据期间，进行第三层累计处理，所述第三层累计处理包括：查询第三缓存中已缓存的数据中是否存在与当前一条数据的第二降维组合所有统计字段值相同的第三目标数据，若存在，则将当前一条数据的记录值叠加至所述第三目标数据对应的记录值，若不存在，则将当前一条数据缓存在所述第三缓存中；

对所述第二缓存中数据进行所述第三层累计处理；

将所述第一缓存、第二缓存、第三缓存中的数据在数据报表中分层进行显示。

4.根据权利要求1至3中任一项所述的方法，其特征在于，当所述数据查询请求中包含至少两个源数据时，根据所述数据查询请求生成至少两个并行执行程序对象，以实现对多个源数据的数据并行读取操作。

5.根据权利要求4所述的方法，其特征在于，还包括：

对多个源数据进行最高层累计处理之后的数据进行叠加处理，所述叠加处理包括：查询最高层累计处理之后的数据是否存在与当前一条数据所有统计字段的字段值均相同的第四目标数据，若存在，则将当前一条数据的记录值叠加至所述第四目标数据对应的记录值，若不存在，则将当前一条数据缓存在第四缓存中；

将所述第四缓存中的数据在数据报表中进行显示。

6.一种数据处理***，其特征在于，包括：

接收单元，用于接收数据查询请求，所述数据查询请求中包含统计字段；

读取单元，用于采用流式读取的方式从数据库中读取包含所述统计字段的源数据；

第一处理单元，用于在读取所述源数据期间，对读取到的每条数据进行第一层累计处理，所述第一层累计处理包括：查询第一缓存中已缓存的数据中是否存在与当前一条数据所有统计字段的字段值均相同的第一目标数据，若存在，则将当前一条数据的记录值叠加至所述第一目标数据对应的记录值，若不存在，则将当前一条数据缓存在所述第一缓存中；

第一显示单元，用于将所述第一缓存中的数据在数据报表中进行显示；

所述数据查询请求中包含至少两个统计字段形成的集合M，以及第一降维组合，所述第一降维组合中包含至少一个所述统计字段，若所述第一降维组合中的统计字段为集合N，则

所述***还包括：

第二处理单元，当所述第一缓存中的数据条数超过第一预设数量时，在读取所述源数据期间，进行第二层累计处理，所述第二层累计处理包括：查询第二缓存中已缓存的数据中是否存在与当前一条数据的第一降维组合所有统计字段的字段值均相同的第二目标数据，若存在，则将当前一条数据的记录值叠加至所述第二目标数据对应的记录值，若不存在，则将当前一条数据缓存在所述第二缓存中；

第二显示单元，用于将所述第二缓存中的数据在数据报表中进行显示。

7.根据权利要求6所述的***，其特征在于，所述第二处理单元，用于对所述第一缓存中数据进行所述第二层累计处理。

8.根据权利要求7所述的***，其特征在于，所述数据查询请求中包含第二降维组合，所述第二降维组合中包含至少一个所述统计字段，且所述第二降维组合中的统计字段的集合

所述***还包括：

第三处理单元，当所述第二缓存中的数据条数超过第二预设数量时，在读取所述源数据期间，进行第三层累计处理，所述第三层累计处理包括：查询第三缓存中已缓存的数据中是否存在与当前一条数据的第二降维组合所有统计字段值相同的第三目标数据，若存在，则将当前一条数据的记录值叠加至所述第三目标数据对应的记录值，若不存在，则将当前一条数据缓存在所述第三缓存中，并对所述第二缓存中数据进行所述第三层累计处理；

第三显示单元，用于将所述第一缓存、第二缓存、第三缓存中的数据在数据报表中分层进行显示。

9.一种计算机装置，其特征在于，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至5中任意一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至5中任意一项所述方法的步骤。

Images