CN118210805A - 一种数据整合处理方法和装置 - Google Patents

Abstract

本发明公开了一种数据整合处理方法和装置，涉及数据处理技术领域。该方法的一具体实施方式包括：获取所有对象当前使用的维度集合，依据所有维度集合确定共有维度集合；针对单个对象，获取所述单个对象使用的指标集合，以每个共有维度为基准，从指标集合中查询包括每个共有维度的待整合指标；确定每个待整合指标所处源表，从源表中获取待整合指标下的指标值，从源表中卸载待整合指标以及指标值；调用预设整合模型，将待整合指标整合为一个整合指标，将卸载的指标值整合为一个整合指标值，将整合指标和整合指标值存入新建的整合表中。该实施方式旨在减少表之间的冗余字段，有助于提高数据存储空间使用率和指标数据查询效率。

Description

一种数据整合处理方法和装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据整合处理方法和装置。

背景技术

随着信息技术的发展，会产生大量包含指标以及相应指标值的表结构，以银行机构为例，主要以业务或渠道为单元设计表结构，比如智慧柜员机的交易量报表、交易金额报表、设备运行情况统计报表等。每个表结构都设字段，这些字段是指标的共有维度，因而存在字段冗余过多，浪费数据存储空间的问题。且目前针对不同情况设计不同表，导致表数量过多，复杂场景可能涉及多表关联，影响数据查询效率。

发明内容

有鉴于此，本发明实施例提供一种数据整合处理方法和装置，至少能够解决现有技术中表数量过多、共有维度较多，未进行整合导致的浪费数据存储空间且影响数据查询效率的现象。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据整合处理方法，包括：

获取所有对象当前使用的维度集合，依据所有维度集合确定共有维度集合；

针对单个对象，获取所述单个对象使用的指标集合，以每个共有维度为基准，从指标集合中查询包括所述每个共有维度的待整合指标；

确定每个待整合指标所处源表，从源表中获取待整合指标下的指标值，进而从源表中卸载待整合指标以及指标值；

调用预设整合模型，将待整合指标整合为一个整合指标，以及将卸载的指标值整合为一个整合指标值，进而将整合指标和整合指标值存入新建的整合表中。

可选地，所述从指标集合中查询包括所述每个共有维度的待整合指标，包括：

从指标集合中查询包括所述每个共有维度的指标，从查询到的指标中筛选指标属性相同的一个或多个指标，将一个或多个指标作为待整合指标。

可选地，指标属性包括加工频率、加工时间偏移量的一种或多种，所述从查询到的指标中筛选指标属性相同的一个或多个指标，包括如下至少一种情况：

从查询到的指标中筛选加工频率相同的一个或多个指标；

从查询到的指标中筛选加工时间偏移量小于或等于预设时长的一个或多个指标；

从查询到的指标中筛选加工频率相同、且加工时间偏移量小于或等于预设时长的一个或多个指标。

可选地，所述方法还包括：

确定每个源表中除待整合指标外的其他指标，从中筛选加工时间偏移量大于预设时长的指标，对筛选出的指标及指标值不做整合处理。

可选地，所述将整合指标和整合指标值存入新建的整合表中，还包括：

对整合表中整合指标的列区间，按照时间点进行分区，得到不同时间点对应的分区位置；其中，时间点对应指标值生成时间点；

将每个指标值按照生成时间点划分到不同分区位置中，且按照所述每个指标值在源表的行存储位置，确定分区位置中相应的目标行位置，将所述每个指标值存储到目标行位置。

可选地，所述方法还包括：

响应于所述单个对象对上传表的选择操作，根据父对象和子对象的层级关系，确定所述单个对象的父对象；

将所述单个对象整合后的表和无需整合的表上传给父对象，使得父对象在收到每个表后，对不存在父对象维度的表进行添加操作，以基于父对象之间的共有维度集合，对收到的表进行整合统计处理。

为实现上述目的，根据本发明实施例的另一方面，提供了一种数据整合处理装置，包括：

共有维度模块，用于获取所有对象当前使用的维度集合，依据所有维度集合确定共有维度集合；

待整合指标模块，用于针对单个对象，获取所述单个对象使用的指标集合，以每个共有维度为基准，从指标集合中查询包括所述每个共有维度的待整合指标；

数据卸载模块，用于确定每个待整合指标所处源表，从源表中获取待整合指标下的指标值，进而从源表中卸载待整合指标以及指标值；

数据整合模块，用于调用预设整合模型，将待整合指标整合为一个整合指标，以及将卸载的指标值整合为一个整合指标值，进而将整合指标和整合指标值存入新建的整合表中。

可选地，所述待整合指标模块，用于：

从指标集合中查询包括所述每个共有维度的指标，从查询到的指标中筛选指标属性相同的一个或多个指标，将一个或多个指标作为待整合指标。

可选地，指标属性包括加工频率、加工时间偏移量的一种或多种，所述待整合指标模块，包括如下至少一种情况：

从查询到的指标中筛选加工频率相同的一个或多个指标；

从查询到的指标中筛选加工时间偏移量小于或等于预设时长的一个或多个指标；

从查询到的指标中筛选加工频率相同、且加工时间偏移量小于或等于预设时长的一个或多个指标。

可选地，所述数据整合模块，还用于：

确定每个源表中除待整合指标外的其他指标，从中筛选加工时间偏移量大于预设时长的指标，对筛选出的指标及指标值不做整合处理。

可选地，所述数据整合模块，还用于：

对整合表中整合指标的列区间，按照时间点进行分区，得到不同时间点对应的分区位置；其中，时间点对应指标值生成时间点；

将每个指标值按照生成时间点划分到不同分区位置中，且按照所述每个指标值在源表的行存储位置，确定分区位置中相应的目标行位置，将所述每个指标值存储到目标行位置。

可选地，所述装置还包括表上报模块，用于：

响应于所述单个对象对上传表的选择操作，根据父对象和子对象的层级关系，确定所述单个对象的父对象；

将所述单个对象整合后的表和无需整合的表上传给父对象，使得父对象在收到每个表后，对不存在父对象维度的表进行添加操作，以基于父对象之间的共有维度集合，对收到的表进行整合统计处理。

为实现上述目的，根据本发明实施例的再一方面，提供了一种数据整合处理电子设备。

本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的数据整合处理方法。

为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一所述的数据整合处理方法。

为实现上述目的，根据本发明实施例的又一个方面，提供了一种计算程序产品。本发明实施例的一种计算程序产品，包括计算机程序，所述程序被处理器执行时实现本发明实施例提供的数据整合处理方法。

根据本发明所述提供的方案，上述发明中的一个实施例具有如下优点或有益效果：基于对象之间的共有维度对单个对象目前的表进行整合，旨在减少表之间的冗余字段，降低对资源的占用情况，提升存储空间利用率。后续查询时降低了表关联情况，提升了查询效率，以此有助于提高数据存储空间使用率和指标数据查询效率。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的一种数据整合处理方法的主要流程示意图；

图2是根据本发明实施例的一种可选的数据整合处理方法的流程示意图；

图3是根据本发明实施例的另一种可选的数据整合处理方法的流程示意图；

图4是根据本发明实施例的又一种可选的数据整合处理方法的流程示意图；

图5是根据本发明实施例的一种数据整合处理装置的主要模块示意图；

图6是本发明实施例可以应用于其中的示例性***架构图；

图7是适于用来实现本发明实施例的移动设备或服务器的计算机***的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要指出的是，在不冲突的情况下，本发明中的实施例以及实施例中的特征可以互相组合。本发明的技术方案中，所涉及的用户个人信息的采集、分析、使用、传输、存储等方面，均符合相关法律法规的规定，被用于合法且合理的用途，不在这些合法使用等方面之外共享、泄露或出售，并且接受监管部门的监督管理。应当对用户个人信息采取必要措施，以防止对此类个人信息数据的非法访问，确保有权访问个人信息数据的人员遵守相关法律法规的规定，确保用户个人信息安全。

一旦不再需要这些用户个人信息数据，应当通过限制甚至禁止数据收集和/或删除数据的方式将风险降至最低。当适用时，包括在某些相关应用程序中，通过对数据去标识来保护用户隐私，例如在适用时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在具体地址级别收集位置数据)、控制数据如何被存储、和/或其他方法去标识。

参见图1，示出的是本发明实施例提供的一种数据整合处理方法的主要流程图，包括如下步骤：

S101：获取所有对象当前使用的维度集合，依据所有维度集合确定共有维度集合；

S102：针对单个对象，获取所述单个对象使用的指标集合，以每个共有维度为基准，从指标集合中查询包括所述每个共有维度的待整合指标；

S103：确定每个待整合指标所处源表，从源表中获取待整合指标下的指标值，进而从源表中卸载待整合指标以及指标值；

S104：调用预设整合模型，将待整合指标整合为一个整合指标，以及将卸载的指标值整合为一个整合指标值，进而将整合指标和整合指标值存入新建的整合表中。

上述实施方式中，对于步骤S101和S102，本方案适用于需要对多个表进行整合的场景，比如企业单位、银行网点、银行支行等对象，通常设置多个部门，不同部门对由于业务需求不同导致需要设置不同表，本方案可以对这些部门产生的表进行整合，还可以提供跨业务或跨渠道的对象指标数据支持，以银行网点为例进行说明。

首先获取所有对象当前使用的维度集合，依据所有维度集合确定共有维度集合。以银行网点为例，获取每个银行网点当前使用的维度集合，对这些维度集合取交集，得到这些银行网点的共有维度集合，比如网点、岗位、设备、客户、时间、业务名称、机构号、机构名称、员工编号、员工姓名等字段。需要说明的是，本方案中的指标由维度组成，比如“一个网点一天接到了多少客户”是一个指标，其中“网点”、“一天”都是维度，接待的客户数量是指标值。

对于银行网点，首先确定当前使用的指标集合，比如“一个网点一天接到了多少客户”、“网点每日贷款量”，这些都是指标，只不过使用的维度不同而已。以共有维度为“网点”为例，上述这两个指标都包括了“网点”这一共有维度，由此可将这两个指标作为待整合指标。比如将包括“网点”维度的业务交易量、业务迁移率、MAU、业务交易金额、账务交易性笔数、非账务***易笔数等数据指标均作为待整合指标，以此形成一个以网点为维度的指标集合，该指标集合可以提供网点维度的几乎所有银行指标。

对于步骤S103，在确定待整合指标后，可以将这些指标设计到同一个数据表中，即需要新建一个数据整合表，用以存储包括“网点”这一共有维度的所有指标下的指标值。但需要说明的是，假设有两个维度均对应一个数据，但该数据已存储到其中一个维度对应的整合表的情况，无需对该数据进行再处理。

首先确定每个待整合指标所处源表，比如“一个网点一天接到了多少客户”位于源表A、“网点每日贷款量”位于源表B，从源表A中获取“一个网点一天接到了多少客户”下的指标值，以及从源表B获取“网点每日贷款量”下的指标值。由于是进行数据整合，因而需要待整合指标及指标值从源表中卸载，以避免同样数据存储多份导致的资源浪费问题。

对于步骤S104，本方案设置整合模型，以实现对指标和指标值的整合处理。假设源表A和源表B中的数据存储形式为：

源表A，其中指标a1和指标a2均不包含网点维度

一个网点一天接到了多少客户	指标a1	指标a2

源表B，其中指标b1和指标b2均不包含网点维度

网点每日贷款量	指标b1	指标b2

整合表：

或者为：

一个网点一天接到了多少客户	网点每日贷款量

上述实施例所提供的方法，通过共有维度来实现多表数据整合，降低了对资源的占用情况，使数据更易于管理和使用，后续可以通过整合表，快速确定需要进行分析比较的数据，相对于现有多表关联查询，提高了数据分析的效率和准确性，且提升了数据的价值和应用潜力。整体采用自动化整合设计，可以减少人工处理数据的工作量，降低了数据处理的复杂度和可能出现的错误，帮助实现更加精准和高效的运营管理。

参见图2，示出了根据本发明实施例的一种可选的数据整合处理方法流程示意图，包括如下步骤：

S201：获取所有对象当前使用的维度集合，依据所有维度集合确定共有维度集合；

S202：针对单个对象，获取所述单个对象使用的指标集合，以每个共有维度为基准，从指标集合中查询包括每个共有维度的指标；

S203：从查询到的指标中筛选指标属性相同的一个或多个指标，将一个或多个指标作为待整合指标；其中，指标属性包括加工频率、加工时间偏移量的一种或多种；

S204：确定每个待整合指标所处源表，从源表中获取待整合指标下的指标值，进而从源表中卸载待整合指标以及指标值；

S205：调用预设整合模型，将待整合指标整合为一个整合指标，以及将卸载的指标值整合为一个整合指标值，进而将整合指标和整合指标值存入新建的整合表中。

上述实施方式中，对于步骤S201～S203，本方案首先对单个对象指标和维度进行梳理，得到包括每个共有维度的待整合指标，比如“一个网点一天接到了多少客户”位于源表A、“网点每日贷款量”位于源表B，“一个网点连续三天接到了多少客户”位于源表C。

本方案在图1所示实施例基础上，还考虑指标属性，这是因为有些指标的指标值是需要加工的，且加工时间较长，比如当前为T天，有些指标的指标值需要T+2生成。此时若将该指标一同存入整合表，会造成在T+2天再访问整合表以存储数据的问题，造成同步效率低。

本方案针对该问题，设置加工频率和加工时间偏移量两个参数，以将处于不同报表的具有共有维度、相同加工频率、时效性要求相近的指标进行合并，从而达到减少数据库重复建表，节约数据库空间，减少开发和运维成本的目的。

此处加工频率是指标值的时间范围，比如目前常用的加工频率是每日、每月。另外还有每周、月初、月末、季、半年、年等。加工时间偏移量在一个自然日(即预设时长)之内的指标，则认为是时效性相近的指标。本方案优选考虑具有相同加工频率且时效性相近的指标。

对于步骤S204和S205，在考虑指标属性的情况下，本方案采用另一种整合方式，同样以源表A和源表B为例，“一个网点一天”“网点每日”包含的是相同维度，由此这两个维度的内容可以进行合并，合并结果如下：

整合表：

一个网点一天接到了多少客户、贷款量
	P(客户量)、Q(贷款量)

或

在此过程中，即使a1、a2、b1、b2不包含“网点”维度，但由于其与待整合指标位于一个表中，所以这些维度可能都是与待整合指标相关联的，是需要一同整合的，本方案优选全部整合方式。进一步的，本方案还需要指标a1、a2、b1、b2的加工时间偏移量是否大于一个自然日，假设a1结果为大于，则指标a1不能合并到整合表中。

上述实施例提供的方法，将处于不同报表的具有相同共有维度、相同加工频率、时效性要求相近的指标进行合并，可以避免在数据库中重复建立相同结构的表格，减少表格的建立和维护，简化数据处理流程，有效节约数据库空间，降低开发和运维成本。且整合后的数据更具有可比性和分析性，能够更好地支持决策和业务分析，提升数据的价值和应用潜力。

参见图3，示出了根据本发明实施例的另一种可选的数据整合处理方法流程示意图，包括如下步骤：

S301：获取所有对象当前使用的维度集合，依据所有维度集合确定共有维度集合；

S302：针对单个对象，获取所述单个对象使用的指标集合，以每个共有维度为基准，从指标集合中查询包括每个共有维度的待整合指标；

S303：确定每个待整合指标所处源表，从源表中获取待整合指标下的指标值，进而从源表中卸载待整合指标以及指标值；

S304：调用预设整合模型，将待整合指标整合为一个整合指标，以及将卸载的指标值整合为一个整合指标值；

S305：对整合表中整合指标的列区间，按照时间点进行分区，得到不同时间点对应的分区位置；其中，时间点对应指标值生成时间点；

S306：将每个指标值按照生成时间点划分到不同分区位置中，且按照所述每个指标值在源表的行存储位置，确定分区位置中相应的目标行位置，将所述每个指标值存储到目标行位置。

上述实施方式中，对于步骤S301和S306，本方案还考虑同一指标下指标值不断增长的情况，以前述“一个网点一天接到了多少客户”为例，其需要随着时间增长不断变化的，比如2024-03-03不同时间点有个客户量，2024-03-04不同时间点有个客户量，此处描述时间点较大，实际可以是较小时间点，如2023-10-10 10:29:21、2023-10-10 14:44:00、2023-10-10 16:29:12。针对该情况，本方案需要对整合指标下的列区域进行分区，得到不同时间点的分区位置以避免数据混乱展示问题。

首先以同一时间点进行描述，本方案虽然将多个指标下的数据整合为一个整合指标值，但这些指标下的指标值在整合表中的行位置，是其在源表中的行位置。比如有个数据X在源表A的存储位置是行5，则其在整合表的存储位置也是行5。

对于不同时间点，可以设置分区，但需要保证每个指标值的存储行位置，与其在源表中的存储行位置相同，因而整合表可以设置为如下形式：

整合表：

上述实施例提供的方法，将指标值按照生成时间点划分到不同分区位置中，并保持存储行位置一致，可以确保数据的一致性和准确性，后续可以根据行位置精确地定位每个指标值在整合表中的存储位置，方便数据的查找和访问，减少数据访问时的计算成本和时间，提高数据的读取效率，便于数据分析和决策。

参见图4，示出了根据本发明实施例的又一种可选的数据整合处理方法流程示意图，包括如下步骤：

S401：响应于所述单个对象对上传表的选择操作，根据父对象和子对象的层级关系，确定所述单个对象的父对象；

S402：将所述单个对象整合后的表和无需整合的表上传给父对象，使得父对象在收到每个表后，对不存在父对象维度的表进行添加操作，以基于父对象之间的共有维度集合，对收到的表进行整合统计处理。

上述实施方式中，对于步骤S401和S402，之前描述假设单个对象为网点，本方案还适用于三级支行、二级支行等其他对象情况，其每日或者隔一定时间需要将报表上传至上级行进行汇报。以二级支行和网点为例，设置报表上传功能，网点点击该功能，首先根据支行-网点层级关系，确定网点的上级支行，之后网点将整合后的整合表以及没整合后的源表上报给上级支行。

上级支行首先判断这些表中是否存在“上级支行”维度，在有些表中不存在上级支行维度的情况下，上级支行自动对这些表添加上级支行维度指标，使得上级支行可以基于上级支行之间的共有维度，对收到的表进行整合统计处理。

需要说明的是，上述仅仅描述了数据上报的情况，实际也适用于数据下发场景，比如上级下发一个数据表后，下级根据该表获得数据使用，本方案对此不做限制。

上述实施例提供的方法，通过单个对象整合报表，降低了上报给父对象的表数量，减少了冗余数据，简化了数据传递过程。父对象对不存在父对象维度的表进行添加操作，可以补充数据维度，使得数据更加完整和具有参考价值。同时，父对象也可以借鉴这种整合思路进行报表整合，进一步提高数据分析和决策的效率和准确性。

参见图5，示出了本发明实施例提供的一种数据整合处理装置500的主要模块示意图，包括：

共有维度模块501，用于获取所有对象当前使用的维度集合，依据所有维度集合确定共有维度集合；

待整合指标模块502，用于针对单个对象，获取所述单个对象使用的指标集合，以每个共有维度为基准，从指标集合中查询包括所述每个共有维度的待整合指标；

数据卸载模块503，用于确定每个待整合指标所处源表，从源表中获取待整合指标下的指标值，进而从源表中卸载待整合指标以及指标值；

数据整合模块504，用于调用预设整合模型，将待整合指标整合为一个整合指标，以及将卸载的指标值整合为一个整合指标值，进而将整合指标和整合指标值存入新建的整合表中。

本发明实施装置中，所述待整合指标模块502，用于：

从指标集合中查询包括所述每个共有维度的指标，从查询到的指标中筛选指标属性相同的一个或多个指标，将一个或多个指标作为待整合指标。

本发明实施装置中，指标属性包括加工频率、加工时间偏移量的一种或多种，所述待整合指标模块502，包括如下至少一种情况：

从查询到的指标中筛选加工频率相同的一个或多个指标；

从查询到的指标中筛选加工时间偏移量小于或等于预设时长的一个或多个指标；

从查询到的指标中筛选加工频率相同、且加工时间偏移量小于或等于预设时长的一个或多个指标。

本发明实施装置中，所述数据整合模块504，还用于：

确定每个源表中除待整合指标外的其他指标，从中筛选加工时间偏移量大于预设时长的指标，对筛选出的指标及指标值不做整合处理。

本发明实施装置中，所述数据整合模块504，还用于：

对整合表中整合指标的列区间，按照时间点进行分区，得到不同时间点对应的分区位置；其中，时间点对应指标值生成时间点；

将每个指标值按照生成时间点划分到不同分区位置中，且按照所述每个指标值在源表的行存储位置，确定分区位置中相应的目标行位置，将所述每个指标值存储到目标行位置。

本发明实施装置还包括表上报模块，用于：

响应于所述单个对象对上传表的选择操作，根据父对象和子对象的层级关系，确定所述单个对象的父对象；

将所述单个对象整合后的表和无需整合的表上传给父对象，使得父对象在收到每个表后，对不存在父对象维度的表进行添加操作，以基于父对象之间的共有维度集合，对收到的表进行整合统计处理。

另外，在本发明实施例中所述装置的具体实施内容，在上面所述方法中已经详细说明了，故在此重复内容不再说明。

图6示出了可以应用本发明实施例的示例性***架构600，包括终端设备601、602、603，网络604和服务器605(仅仅是示例)。

终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，安装有各种通讯客户端应用，用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。

网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

服务器605可以是提供各种服务的服务器，需要说明的是，本发明实施例所提供的方法一般由服务器605执行，相应地，装置一般设置于服务器605中。

应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机***700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机***700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有***700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的***中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代源表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地源表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括共有维度模块、待整合指标模块、数据卸载模块、数据整合模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，数据整合模块还可以被描述为“整合数据模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行上述任一所述的数据整合处理方法。

本发明的计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本发明实施例中的数据整合处理方法。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种数据整合处理方法，其特征在于，包括：

获取所有对象当前使用的维度集合，依据所有维度集合确定共有维度集合；

针对单个对象，获取所述单个对象使用的指标集合，以每个共有维度为基准，从指标集合中查询包括所述每个共有维度的待整合指标；

确定每个待整合指标所处源表，从源表中获取待整合指标下的指标值，进而从源表中卸载待整合指标以及指标值；

调用预设整合模型，将待整合指标整合为一个整合指标，以及将卸载的指标值整合为一个整合指标值，进而将整合指标和整合指标值存入新建的整合表中。

2.根据权利要求1所述的方法，其特征在于，所述从指标集合中查询包括所述每个共有维度的待整合指标，包括：

从指标集合中查询包括所述每个共有维度的指标，从查询到的指标中筛选指标属性相同的一个或多个指标，将一个或多个指标作为待整合指标。

3.根据权利要求2所述的方法，其特征在于，指标属性包括加工频率、加工时间偏移量的一种或多种，所述从查询到的指标中筛选指标属性相同的一个或多个指标，包括如下至少一种情况：

从查询到的指标中筛选加工频率相同的一个或多个指标；

从查询到的指标中筛选加工时间偏移量小于或等于预设时长的一个或多个指标；

从查询到的指标中筛选加工频率相同、且加工时间偏移量小于或等于预设时长的一个或多个指标。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

确定每个源表中除待整合指标外的其他指标，从中筛选加工时间偏移量大于预设时长的指标，对筛选出的指标及指标值不做整合处理。

5.根据权利要求1所述的方法，其特征在于，所述将整合指标和整合指标值存入新建的整合表中，还包括：

对整合表中整合指标的列区间，按照时间点进行分区，得到不同时间点对应的分区位置；其中，时间点对应指标值生成时间点；

将每个指标值按照生成时间点划分到不同分区位置中，且按照所述每个指标值在源表的行存储位置，确定分区位置中相应的目标行位置，将所述每个指标值存储到目标行位置。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于所述单个对象对上传表的选择操作，根据父对象和子对象的层级关系，确定所述单个对象的父对象；

将所述单个对象整合后的表和无需整合的表上传给父对象，使得父对象在收到每个表后，对不存在父对象维度的表进行添加操作，以基于父对象之间的共有维度集合，对收到的表进行整合统计处理。

7.一种数据整合处理装置，其特征在于，包括：

共有维度模块，用于获取所有对象当前使用的维度集合，依据所有维度集合确定共有维度集合；

待整合指标模块，用于针对单个对象，获取所述单个对象使用的指标集合，以每个共有维度为基准，从指标集合中查询包括所述每个共有维度的待整合指标；

数据卸载模块，用于确定每个待整合指标所处源表，从源表中获取待整合指标下的指标值，进而从源表中卸载待整合指标以及指标值；

数据整合模块，用于调用预设整合模型，将待整合指标整合为一个整合指标，以及将卸载的指标值整合为一个整合指标值，进而将整合指标和整合指标值存入新建的整合表中。

8.根据权利要求7所述的装置，其特征在于，所述待整合指标模块，用于：

从指标集合中查询包括所述每个共有维度的指标，从查询到的指标中筛选指标属性相同的一个或多个指标，将一个或多个指标作为待整合指标。

9.根据权利要求7所述的装置，其特征在于，所述数据整合模块，还用于：

对整合表中整合指标的列区间，按照时间点进行分区，得到不同时间点对应的分区位置；其中，时间点对应指标值生成时间点；

将每个指标值按照生成时间点划分到不同分区位置中，且按照所述每个指标值在源表的行存储位置，确定分区位置中相应的目标行位置，将所述每个指标值存储到目标行位置。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。

11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。

12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。