CN114817237A - 一种数据的归集方法及设备 - Google Patents

Abstract

本申请公开了一种数据的归集方法及设备，用以解决现有的数据归集方法效率低的技术问题。方法包括：获取数据中的各维度，预先构建的维度数据表；从维度中选取查询维度，并根据查询维度构建查询方案表；根据查询方案表中的若干查询维度，从由信息构成的数据源表中，分别获取相应查询维度对应的数据，并将数据存至中间表中；对中间表中的数据进行处理，将处理结果同步至与查询方案表对应的归集表中。本申请通过上述方法能够针对不同的数据分析场景，灵活配置多种查询维度，并据此进行数据的查询及分析，有效提高了归集查询效率。

Description

一种数据的归集方法及设备

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据的归集方法及设备。

背景技术

数据现实应用中，常常需要对数据进行特征要素提取后，对特征要素进行人工串并查找线索，并提供线索的时间轴展示、列表展示、图谱展示和地图展示信息。因此，如果想要查询不同维度的数据，就需要通过开发出相应维度的查询功能，同时，***数据库中通常都会存储着大量的数据，如果直接根据现有的数据进行数据的查询和处理，处理速度较慢，效率低下。

发明内容

本申请实施例提供了一种数据的归集方法及设备，用以解决现有的数据归集方法在通过不同维度去查询数据时效率低的技术问题。

一方面，本申请实施例提供了一种数据的归集方法，包括：获取数据中的各维度，预先构建的维度数据表；从维度中选取查询维度，并根据查询维度构建查询方案表；根据查询方案表中的若干查询维度，从由信息构成的数据源表中，分别获取相应查询维度对应的数据，并将数据存至中间表中；对中间表中的数据进行处理，将处理结果同步至与查询方案表对应的归集表中。

在本申请的一种实现方式中，获取数据中的各维度，预先构建的维度数据表，具体包括：确定各维度对应的数据源表和数据源表中的对应字段，构建维度数据表。

在本申请的一种实现方式中，从维度中选取查询维度之前，方法还包括：确定指定的查询类别；根据查询类别，确定待配置的查询方案表所属的类别，以便确定待配置的查询方案表对应的数据处理方式；其中，类别包括乱点和数据。

在本申请的一种实现方式中，从维度中选取查询维度，并根据查询维度构建查询方案表，具体包括：从维度中选取查询维度；根据查询维度，确定对应的展示格式；根据查询维度和展示格式，构建查询方案表。

在本申请的一种实现方式中，将处理结果同步至与查询方案表对应的归集表中之前，方法还包括：针对各查询维度，分别构建对应的扩展字段；根据默认字段和扩展字段，构建归集表。

在本申请的一种实现方式中，确定待配置的查询方案表所属的类别，以便确定待配置的查询方案表对应的数据处理方式，具体包括：根据待配置的查询方案表所属的类别，确定待配置的查询方案表对应的数据处理方式；在类别为数据的情况下，将中间表中的数据同步至归集表中；在类别为乱点的情况下，根据查询维度，对中间表中的数据进行地图聚合，并将聚合结果同步至归集表中。

在本申请的一种实现方式中，根据查询方案表中的若干查询维度，从由信息构成的数据源表中，分别获取相应查询维度对应的数据，具体包括：确定构成数据源表的若干信息；针对若干信息，根据查询方案表中的若干查询维度，从该信息中，分别获取相应查询维度对应的数据，并将数据存至中间表中。

在本申请的一种实现方式中，确定待配置的查询方案表对应的数据处理方式之后，方法还包括：根据待配置的查询方案表，确定归集表中的数据是否显示，及中间表中的数据是否需要汇总；在中间表中的数据需要汇总的情况下，对相同维度下的中间表中的数据进行汇总。

在本申请的一种实现方式中，方法还包括：当查询维度更改时，根据更改后的查询维度重新构建对应的查询方案表。

另一方面，本申请实施例还提供了一种数据的归集设备，设备包括：处理器；及存储器，其上存储有可执行代码，当可执行代码被执行时，使得处理器执行如上述的一种数据的归集方法。

本申请实施例提供的一种面向政务数据的多维数据归集方法及设备，至少包括以下有益效果：

根据数据的各维度，构建对应的维度数据表，归纳了不同分析和应用场景下的数据维度，使数据结构更加清晰明确；

选取查询维度并构建对应的查询方案表，以便根据查询方案表从数据源表中获取各查询维度对应的数据，这样针对不同的维度构建不同的查询方案表，实现了查询维度的灵活配置，且在查询时不再需要直接在数据库中所有表中进行匹配查询，而是可以根据对应的数据源表直接进行查询，提高了查询的效率；

通过设置中间表，有效降低了查询复杂度，有效提升了数据归集的性能；并且，通过临时设置的中间表对数据进行聚合或汇总，还减少了对***资源的消耗。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种数据的归集方法流程图；

图2为本申请实施例提供的一种数据的归集设备结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种数据的归集方法及设备，用以解决现有的数据归集方法效率低下且开发成本高的技术问题。

下面通过附图对本申请实施例提出的技术方案进行详细的说明。

图1为本申请实施例提供的一种数据的归集方法流程图。如图1所示，本申请实施例提供的一种数据的归集方法主要包括以下步骤：

S101、获取数据中的各维度，预先构建的维度数据表。

服务器可根据数据中的多个维度对应的数据信息，创建包括上述所有维度信息的维度数据表，用于后续的数据归集及查询。

具体的，服务器首先确定数据中的各维度对应的数据来源，即各维度对应的数据源表及在数据源表中对应的字段，然后根据数据来源构建维度数据表。其中，常用维度包括外出时间、外出单位、外出人员、外出原因等。

如表1所示为一种可能的维度数据表结构：

表1

如表1所示，表1的第一列为维度数据表各结构对应的编号，第二列为维度数据表各结构名称。其中，维度对应的字典表用于存储该维度对应的结构信息，例如单位维度对应的字典表存储了所有单位名称及各单位对应的编号。

通过构建维度数据表，有利于了解***软件中不同外出事项对应的不同维度的结构信息，这样数据分析人员在分析过程中对整个业务的结构更加清楚明了。并且，在业务人员进行数据查询时，能够通过维度数据表直接确定对应的数据来源，避免了在整个数据库中进行检索查询，有效提高了查询效率。

S102、从维度中选取查询维度，并根据查询维度构建查询方案表。

服务器可以根据实际查询需求，选取若干维度作为查询维度，并完成功能配置，从而构建对应的查询方案表。

在本申请的一个实施例中，在确定查询维度之前，服务器会根据用户指定的查询类别，确定待配置的查询方案表对应的类别，即乱点表和数据表，这样在查询到数据后才能进一步确定对应的数据处理方式是直接同步多条数据，还是对数据进行计算后才同步。

在一种可能的实现方式中，服务器可通过可视化的界面，创建待配置的查询方案表列表。其中，列表中的每一条数据都对应一个待配置的查询方案表，每个待配置的查询方案表都可进一步通过功能配置完成查询方案表的构建。通过该可视化界面可指定查询类别即乱点和数据，确定各待配置的查询方案表对应的编号及名称，还可确定在获取到数据源表中的数据后是否要显示和汇总数据。

在本申请的一个实施例中，服务器从描述数据的各维度中选取若干维度作为查询维度，然后确定数据具体的展示格式，例如数据是分为一栏还是两栏展示、展示时是否包含暂估数据等。在完成上述配置后，最后根据确定的查询维度和展示格式，构建查询维度对应的查询方案表。

需要说明的是，查询维度是动态变化的，用户可随时添加或删除查询维度。在查询维度发生修改的情况下，服务器会根据修改后的查询维度，重新构造相应的查询方案表。这样，查询维度的动态修改能够适应不同用户在不同场景下的不同需求，提高了查询的灵活度和易用性。

S103、根据查询方案表中的若干查询维度，从由信息构成的数据源表中，分别获取相应查询维度对应的数据，并将数据存至中间表中。

服务器在构建完查询方案表之后，会根据查询方案表中的查询维度确定对应的数据源表和在数据源表中的对应字段，从而获取若干查询维度对应的数据，并将数据存入中间表中。

具体的，数据源表由大量信息构成。在确定查询维度后，服务器可根据维度数据表，确定查询维度对应的数据源表，同时确定构成数据源表的若干信息。然后，从数据源表的多个信息中，获取查询维度在数据源表中对应的字段的数据。最后，将获取到的数据存至中间表中。通过构建维度数据表，可以直接根据维度确定该维度对应的数据源表，这样使得在归集和查询数据的时候，不再是对整个数据库中的表进行浏览查询，而是可以直接定位到具体的数据源表，进而从各单据数据中获取对应的字段数据，大大减少了查询时间，提高了数据归集效率。

需要说明的是，信息有多种状态，例如已完成、待审核、待外出等。在进行数据查询时，服务器会优先归集处于完成状态的信息的数据。

S104、对中间表中的数据进行处理，将处理结果同步至与查询方案表对应的归集表中。

服务器在将数据存至中间表后，会对其中的数据作进一步处理，处理结果会同步至预先设定的归集表中去，然后再根据预先的设定确定是否要显示归集表中数据。

在本申请的一个实施例中，服务器在将中间表中的数据同步至归集表之前，会预先构建对应的归集表，以便对中间表中的数据进行处理后可直接将数据同步至归集表中。归集表由多个字段构成，其中部分字段是默认的，部分字段是在确定查询维度后***进归集表中的，这部分字段为扩展字段，扩展字段所在列对应的是各个查询维度。例如，对乱点进行归集时，会预先构建对应的乱点数据归集表，乱点数据归集表主要字段包括地点、周边外出、频次、维度列1、维度列2、...、首次外出、年度外出次数、对象人员、外出关联性等，其中的维度列即为扩展字段，各扩展字段各自有对应的查询维度，而其余字段则为默认字段。

在本申请的一个实施例中，服务器在选取查询维度前，会确定待配置的查询方案表对应的类别，因此，在根据查询方案表获取到数据之后，服务器会根据该查询方案表类别确定对应的数据处理方式。如果该查询方案表属于数据表，那么在获取到对应数据源表的数据并存入中间表中之后，直接将中间表中的数据数据逐条同步至归集表中即可；如果该查询方案表属于乱点表，那么在将数据存入中间表后，还需对数据进行进一步的地图聚合，并在完成聚合后再将数据同步至归集表中。

在本申请的一个实施例中，服务器在创建待配置的查询方案表的同时，就确定了是否要显示或汇总归集后的数据。因此，在将数据同步至归集表后，根据待配置的查询方案表，就可确定是否要展示归集表中的数据，还可确定是否要对中间表中存储的数据做进一步汇总。如果需要汇总，那么针对中间表中的数据，服务器会将相同维度下的值数据进行汇总。例如，如果将查询维度设为外出时间、外出单位、外出人员、外出原因，那么在汇总时，服务器就会将以上维度相同的单据数据进行信息的汇总，这样就完成了多条数据向单条数据的归集，适应了用户需求。

财务软件中数据繁多且庞杂，因此在进行数据归集和分析的时候，数据处理量过大，即使是一个简单的查询操作，也可能会涉及到多张表，这样会造成内存的频繁调用，降低了查询效率。

本申请实施例通过中间表建立了数据源表之间的关联，有效降低了查询的笛卡尔积，能够提高查询效率。并且，中间表还起到了中间存储的作用，在将数据源中的数据存入中间表中之后，服务器会判断数据是否要显示或汇总，只有在确定显示或汇总的情况下才会把中间表中的数据同步至归集表中去，否则数据将继续存在该中间表中。如果所有的数据处理操作都直接在归集表中进行，会造成处理器负载过大，降低数据归集的性能，这样通过中间表的存储及数据处理作用，能有效加快数据处理速度，并且由于中间表在完成数据同步后就会自行删除，降低了内存消耗。

在本申请的一个实施例中，在需要显示归集表数据的情况下，服务器会根据在构建查询方案表时预先确定的展示格式，将归集表中的数据展示出来。

本申请实施例提供的一种数据的归集方法，根据数据的各维度，构建对应的维度数据表，归纳了不同分析和应用场景下的数据维度，使数据结构更加清晰明确。

选取查询维度并构建对应的查询方案表，以便根据查询方案表从数据源表中获取各查询维度对应的数据，这样针对不同的维度构建不同的查询方案表，实现了查询维度的灵活配置，且在查询时不再需要直接在数据库中所有表中进行匹配查询，而是可以根据对应的数据源表直接进行查询，提高了查询的效率。

通过设置中间表，有效降低了查询复杂度，有效提升了数据归集的性能；并且，通过临时设置的中间表对数据进行聚合或汇总，还减少了对内存不必要的占用，节省了***资源。

以上为本申请提出的方法实施例。基于同样的发明构思，本申请实施例还提供了一种数据的归集设备，其内部结构如图2所示。

图2为本申请实施例提供的一种数据的归集设备结构示意图。如图2所示，设备包括处理器301、及存储器302，其上存储有可执行代码，当可执行代码被执行时，使得处理器301执行如上的一种数据的归集方法。

在本申请的一个实施例中，处理器301获取数据中的各维度，预先构建的维度数据表；从维度中选取查询维度，并根据查询维度构建查询方案表；根据查询方案表中的若干查询维度，从由信息构成的数据源表中，分别获取相应查询维度对应的数据，并将数据存至中间表中；对中间表中的数据进行处理，将处理结果同步至与查询方案表对应的归集表中。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据的归集方法，其特征在于，所述方法包括：

获取数据中的各维度，预先构建的维度数据表；

从所述维度中选取查询维度，并根据所述查询维度构建查询方案表；

根据所述查询方案表中的若干查询维度，从由信息构成的数据源表中，分别获取相应查询维度对应的数据，并将所述数据写入中间表中；

对所述中间表中的数据进行处理，将处理结果同步至与所述查询方案表对应的归集表中。

2.根据权利要求1所述的一种数据的归集方法，其特征在于，获取数据中的各维度，预先构建的维度数据表，具体包括：

确定各维度对应的数据源表和所述数据源表中的对应字段，构建所述维度数据表。

3.根据权利要求1所述的一种数据的归集方法，其特征在于，从所述维度中选取查询维度之前，所述方法还包括：

确定指定的查询类别；

根据所述查询类别，确定待配置的查询方案表所属的类别，以便确定所述待配置的查询方案表对应的数据处理方式；其中，所述类别包括乱点和数据。

4.根据权利要求1所述的一种数据的归集方法，其特征在于，从所述维度中选取查询维度，并根据所述查询维度构建查询方案表，具体包括：

从所述维度中选取查询维度；

根据所述查询维度，确定对应的展示格式；

根据所述查询维度和所述展示格式，构建所述查询方案表。

5.根据权利要求1所述的一种数据的归集方法，其特征在于，将处理结果同步至与所述查询方案表对应的归集表中之前，所述方法还包括：

针对各所述查询维度，分别构建对应的扩展字段；

根据默认字段和所述扩展字段，构建所述归集表。

6.根据权利要求3所述的一种数据的归集方法，其特征在于，确定待配置的查询方案表所属的类别，以便确定所述待配置的查询方案表对应的数据处理方式，具体包括：

根据所述待配置的查询方案表所属的类别，确定所述待配置的查询方案表对应的数据处理方式；

在所述类别为数据的情况下，将所述中间表中的数据同步至所述归集表中；

在所述类别为乱点的情况下，根据所述查询维度，对所述中间表中的数据进行地图聚合，并将聚合结果同步至所述归集表中。

7.根据权利要求2所述的一种数据的归集方法，其特征在于，根据所述查询方案表中的若干查询维度，从由信息构成的数据源表中，分别获取相应查询维度对应的数据，具体包括：

确定构成数据源表的若干信息；

针对所述若干信息，根据所述查询方案表中的若干查询维度，从该信息中，分别获取相应查询维度对应的数据，并将所述数据写入中间表中。

8.根据权利要求6所述的一种数据的归集方法，确定所述待配置的查询方案表对应的数据处理方式之后，所述方法还包括：

根据所述待配置的查询方案表，确定所述归集表中的数据是否显示，及所述中间表中的数据是否需要汇总；

在所述中间表中的数据需要汇总的情况下，对相同维度下的所述中间表中的数据进行汇总。

9.根据权利要求1所述的一种数据的归集方法，其特征在于，所述方法还包括：

当所述查询维度更改时，根据更改后的所述查询维度重新构建对应的查询方案表。

10.一种数据的归集设备，所述设备包括：

处理器；

及存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如权利要求1-9任一项所述的一种数据的归集方法。

Images