CN116954858A - 一种多维度数据计算方法及相关设备 - Google Patents
一种多维度数据计算方法及相关设备 Download PDFInfo
- Publication number
- CN116954858A CN116954858A CN202310915263.4A CN202310915263A CN116954858A CN 116954858 A CN116954858 A CN 116954858A CN 202310915263 A CN202310915263 A CN 202310915263A CN 116954858 A CN116954858 A CN 116954858A
- Authority
- CN
- China
- Prior art keywords
- dimension
- calculation
- data
- dimensions
- aggregation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 148
- 230000002776 aggregation Effects 0.000 claims abstract description 131
- 238000004220 aggregation Methods 0.000 claims abstract description 131
- 238000013507 mapping Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 14
- 239000002537 cosmetic Substances 0.000 description 10
- 238000013517 stratification Methods 0.000 description 8
- 238000012423 maintenance Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书提供了一种多维度数据计算方法及相关设备。该方法包括:获取针对目标计算任务的计算配置信息;所述目标计算任务为基于至少一个多维度数据组合进行计算的任务;所述多维度数据组合包括待计算的多个维度;所述计算配置信息包括所述多个维度中的各个维度的维度标识与维度描述信息之间的映射关系;获取与所述多个维度相关的数据,并基于至少一个聚合指标,对与所述多个维度相关的数据进行聚合计算,得到与所述至少一个多维度数据组合对应的至少一个多维度数据聚合结果;基于所述计算配置信息中包括的所述映射关系,将所述多维度数据聚合结果中包含的所述多个维度的维度标识分别映射成为对应的维度描述信息。
Description
技术领域
本说明书一个或多个实施例涉及数据处理技术领域,尤其涉及一种多维度数据计算方法及相关设备。
背景技术
多维度数据(Cube)计算是一种通过预先计算多维数据的聚合结果并存储在Cube数据结构中的技术。Cube包含了各种维度(如时间、地理位置、产品类别等)的交叉组合,并且每个组合都对应一个或多个聚合指标(如销售额、销售量和访问量等)。在进行数据查询时,由于已经预先计算了各种维度下的聚合结果,因此不需要对原始数据进行复杂的聚合计算,从而可以显著提高查询性能,这对于大规模数据的数据分析和查询非常重要。
但是,不同服务所关注的数据维度往往存在较大的差异,例如化妆品销售服务中可能主要关注不同地区每年的销售总额,而保险服务中可能会关注不同保险产品每月的新增客户数量,等等。因此,如何针对不同的服务,快速、高效地计算不同cube组合的聚合结果是亟待解决的问题。
发明内容
有鉴于此,本说明书一个或多个实施例提供一种多维度数据计算方法及相关设备。
第一方面,本说明书提供了一种多维度数据计算方法,包括:
获取针对目标计算任务的计算配置信息;所述目标计算任务为基于至少一个多维度数据组合进行计算的任务;所述多维度数据组合包括待计算的多个维度;所述计算配置信息包括所述多个维度中的各个维度的维度标识与维度描述信息之间的映射关系;
获取与所述多个维度相关的数据,并基于至少一个聚合指标,对与所述多个维度相关的数据进行聚合计算,得到与所述至少一个多维度数据组合对应的至少一个多维度数据聚合结果;
基于所述计算配置信息中包括的所述映射关系,将所述多维度数据聚合结果中包含的所述多个维度的维度标识分别映射成为对应的维度描述信息。
第二方面,本说明书提供了一种多维度数据计算装置,包括:
获取单元,用于获取针对目标计算任务的计算配置信息;所述目标计算任务为基于至少一个多维度数据组合进行计算的任务;所述多维度数据组合包括待计算的多个维度;所述计算配置信息包括所述多个维度中的各个维度的维度标识与维度描述信息之间的映射关系;
第一计算单元,用于获取与所述多个维度相关的数据,并基于至少一个聚合指标,对与所述多个维度相关的数据进行聚合计算,得到与所述至少一个多维度数据组合对应的至少一个多维度数据聚合结果;
映射单元,用于基于所述计算配置信息中包括的所述映射关系,将所述多维度数据聚合结果中包含的所述多个维度的维度标识分别映射成为对应的维度描述信息。
相应地,本说明书还提供了一种计算机设备,包括:存储器和处理器;所述存储器上存储有可由所述处理器运行的计算机程序;所述处理器运行所述计算机程序时,执行上述第一方面所述的多维度数据计算方法。
相应地,本说明书还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时,执行如上述第一方面所述的多维度数据计算方法。
综上所述,本申请针对目标计算任务配置有相应的计算配置信息,该目标计算任务可以为基于至少一个多维度数据组合进行计算的任务,相应的,该计算配置信息中可以包含多维度数据组合中的多个维度的维度标识与维度描述信息之间的映射关系。基于此,本申请在针对各个多维度数据组合进行聚合计算时,可以先获取与多个维度相关的数据并进行聚合计算,得到对应的多维度数据聚合结果。然后,再基于该计算配置信息中包含的映射关系,将维度数据聚合结果中包含的各个维度的维度标识映射成为对应的维度描述信息,以使该聚合结果更加直观、易于理解和使用。如此一来,即使后续需要计算的维度发生变更,例如新增维度,也只需维护计算配置信息中的映射逻辑即可,基本不需要修改cube聚合计算的计算代码,降低了计算代码的维护成本,进而提升了cube聚合计算的整体效率。
附图说明
图1是一示例性实施例提供的一种cube组合的示意图;
图2是一示例性实施例提供的一种***架构示意图;
图3是一示例性实施例提供的一种多维度数据计算方法的流程示意图;
图4a是一示例性实施例提供的一种动态维度的cube计算示意图;
图4b是一示例性实施例提供的一种维度映射的示意图;
图4c是一示例性实施例提供的一种用户分层计算的示意图;
图5是一示例性实施例提供的一种多维度数据计算装置的结构示意图;
图6是一示例性实施例提供的一种计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是:在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其他实施例中可能被分解为多个步骤进行描述;而本说明书中所描述的多个步骤,在其他实施例中也可能被合并为单个步骤进行描述。
需要说明的是,本申请中所述的“多个”是指两个或者两个以上。
此外,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
(1)多维度数据(cube)计算,是一种通过预先计算多维数据的聚合结果并存储在Cube数据结构中的技术。Cube包含了各种维度(如时间、地区、产品类别等)的交叉组合,并且每个组合都对应一个或多个聚合指标(如销售额、销售量和访问量等)。在进行数据查询时,由于已经预先计算了各种维度下的聚合结果,因此不需要对原始数据进行复杂的聚合计算,从而可以显著提高查询性能,这对于大规模数据的数据分析和查询非常重要。
需要说明的是,所谓维度其实就是观察数据的角度,是用来描述数据特征或属性的分类变量,不同维度可以是数据表中不同的字段(列)。
可以理解的是,由于不同服务产生的服务数据中所包含的维度往往不同,因此针对不同服务进行cube计算时所关注的维度以及聚合指标也往往存在较大的差异。例如,化妆品销售服务中可能主要关注不同地区每年针对不同化妆品的销售额,其中,地区、年份和化妆品类型可以是维度,销售额可以是聚合指标。又例如,电子产品销售服务中可能主要关注不同地区每年针对不同电子产品的销售量,其中,地区、年份和电子产品类型可以是维度,销售量可以是聚合指标。又例如,保险服务中可能会关注不同保险产品每月的新增客户数量,其中,保险产品类型、月份可以是维度,新增客户数量可以是聚合指标,等等,此处不再例举。
请参阅图1,图1是一示例性实施例提供的一种cube组合示意图。如图1所示,原始数据中可以总共包括A、B、C、D这4个维度,该原始数据可以包括多个不同服务产生的服务数据。如图1所示,在包含A、B、C、D这4个维度的情况下,一共可以存在16种cube组合,具体的,可以包括组合(A、B、C、D)、组合(A、B、C)、组合(A、B、D)、组合(A、C、D)、组合(B、C、D)、组合(A、B)、组合(A、C)、组合(A、D)、组合(B、C)、组合(B、D)、组合(C、D)、组合(A)、组合(B)、组合(C)、组合(D)、组合(空)。
需要说明的是,本说明书对上述原始数据的存储方式不作特别限定。示例性的,上述原始数据可以存储于分布式文件***中或者其他任何可能的存储***中,本说明书对此不做具体限定。
示例性的,上述维度A可以是年份,维度B可以是电子产品类别,维度C可以是地区,维度D可以是化妆品类别,相应的,各个cube组合对应的聚合指标可以是销售量或者销售额,等等,本说明书对此不做具体限定。
在常规技术方案中,往往是针对不同的服务均计算全量的cube组合,然后再过滤出各维度数据非空的cube组合,从而得到与各个服务对应的有效cube组合。
示例性的,以电子产品销售服务为例,先计算上述16个cube组合,即计算出上述16种维度组合下针对销售量的聚合结果。应理解,对于电子产品销售服务来说,化妆品类别这一维度的数据为空,因此需要将包含维度D的cube组合过滤掉,最后得到的cube组合可以包括如下几个:组合(A、B、C)、组合(A、B)、组合(A、C)、组合(B、C)、组合(A)、组合(B)、组合(C)。
示例性的,以化妆品销售服务为例,也是先计算上述16个cube组合,即计算出上述16种维度组合下针对销售量的聚合结果。应理解,对于化妆品销售服务来说,电子产品类别这一维度的数据为空,因此需要将包含维度B的cube组合过滤掉,最后得到的cube组合可以包括如下几个:组合(A、C、D)、组合(A、C)、组合(A、D)、组合(C、D)、组合(A)、组合(C)、组合(D)。
显然,随着数据量的不断增加,当原始数据中包括十几个甚至上百个维度时,上述方案的计算量将会变得十分庞大,无效cube组合的计算占比也会不断增加,给计算和存储都带来极大的负担。
另一方面,在cube的计算和查询中,用户往往更习惯使用容易理解的描述信息而不是维度标识来展示cube以及对cube执行相应的查询操作,因此通常需要将cube计算中涉及的多个维度的维度标识映射成对应的描述信息,示例性的,维度标识可以是维度的代码(code),维度描述信息可以是维度的维度名称,例如中文名称或者采用其他任何语言描述的名称。示例性的,可以将维度代码“dz001”映射成中文名称“电子产品”,将维度代码“hz00123”映射成中文名称“化妆品”,等等,以使最终得到的cube聚合结果更加直观、易用。
在常规方案中,往往是先将维度代码映射成对应的中文名称,然后再进行聚合计算,导致维度的映射逻辑耦合在cube的计算逻辑中,如此一来,后续每新增一个维度都要修改计算代码,例如包括在计算代码中增加新的cube组合,以及新的维度代码和中文名称的映射关系等,使得计算代码的维护成本高,且计算效率低下。
基于此,本说明书提供了一种技术方案,可以先针对多个维度的数据进行聚合计算,再将计算得到的聚合结果中包含的多个维度的维度标识映射成为对应的维度描述信息,实现了将计算逻辑与映射逻辑解耦,以在保证最终聚合结果更加直观、易用的基础上,降低计算代码的维护成本。
在实现时,本申请获取针对目标计算任务的计算配置信息,该目标计算任务可以为基于至少一个多维度数据组合进行计算的任务,每个多维度数据组合可以包括多个维度。相应的,上述计算配置信息中可以包括多个维度中的各个维度的维度标识与维度描述信息之间的映射关系。本申请可以先获取与多个维度相关的数据,并基于至少一个聚合指标,对与该多个维度相关的数据进行聚合计算,得到与上述至少一个多维度数据组合对应的至少一个多维度数据聚合结果。然后,本申请可以基于上述计算配置信息中包括的映射关系,将多维度数据聚合结果中包含的多个维度的维度标识分别映射成为对应的维度描述信息。
在以上技术方案中,本申请针对目标计算任务配置有相应的计算配置信息,该目标计算任务可以为基于至少一个多维度数据组合进行计算的任务,相应的,该计算配置信息中可以包含多维度数据组合中的多个维度的维度标识与维度描述信息之间的映射关系。基于此,本申请在针对各个多维度数据组合进行聚合计算时,可以先获取与多个维度相关的数据并进行聚合计算,得到对应的多维度数据聚合结果。然后,再基于该计算配置信息中包含的映射关系,将维度数据聚合结果中包含的各个维度的维度标识映射成为对应的维度描述信息,以使该聚合结果更加直观、易于理解和使用。如此,本申请实现了将cube的计算逻辑与各个维度的维度代码与描述信息之间的映射逻辑解耦,如果后续需要计算的维度发生变更,例如新增维度,也只需维护计算配置信息中的映射逻辑即可,基本不需要修改cube聚合计算的计算代码,这极大程度上降低了计算代码的维护成本,进而提升了cube聚合计算的效率。
请参阅图2,图2是一示例性实施例提供的一种***架构示意图。本说明书提供的一个或多个实施例可以在图2所示的***架构或者类似的***架构中具体实施。如图2所示,该***可以包括存储***100、数据计算***200和数据库300。在一示出的实施方式中,数据计算***200可以通过任何可能的方式分别与存储***100和数据库300建立通信连接。示例性的,数据计算***200可以通过无线网络的方式分别与存储***100和数据库300建立通信连接,本说明书对此不做具体限定。
在一示出的实施方式中,存储***100中可以存储有多个服务的服务数据,每条服务数据中可以包括与该服务相关的多个维度的数据。例如,在电子产品销售服务中,服务数据中可以包括销售电子产品的商店地址、购买时间、购买的电子产品名称、型号和金额等多个维度的数据,等等,本说明书对此不做具体限定。
如上所述,由于不同服务的特征和属性不同,因此针对不同服务进行cube计算时所需关注的维度也不同。基于此,本申请中的数据计算***200可以先基于不同服务的cube计算需求,针对不同服务的cube计算任务配置相应的计算配置信息。
示例性的,以针对目标服务的目标计算任务为例,该目标计算任务可以为基于至少一个cube组合进行计算的任务。其中,该至少一个cube组合中的每个待计算的cube组合中都可以包括与该目标服务相关的多个维度。相应的,该目标计算任务的计算配置信息中可以包括该多个维度中的各个维度的维度标识与维度描述信息之间的映射关系。
需要说明的是,本说明书对维度标识和维度描述信息的具体类型不作特别限定。在一示出的实施方式中,维度标识可以是维度的代码(code),该维度代码具体可以是维度的ID。在一示出的实施方式中,维度描述信息可以是维度的维度名称,例如中文名称,等等,本说明书对此不做具体限定。显然,维度描述信息相较于维度标识,可以让用户更加直观、便捷的理解各个维度。
示例性的,以目标服务为电子产品销售服务为例,则针对目标计算任务的计算配置信息中可以包括待计算的多个cube组合,分别为组合(时间、电子产品类别),组合(地区、时间、电子产品类别),组合(地区、电子产品类别)。进一步地,该计算配置信息中还可以包括上述多个cube组合包含的多个维度的映射逻辑,例如包括:“t033”→“时间”,“a10000”→“地区”,“d0123z”→“电子产品类别”。
在一示出的实施方式中,上述基于各个服务的cube计算任务所配置的计算配置信息可以存储在数据计算***200本地,也可以存储在与该数据计算***200对接的远程服务器中等等,本说明书对此不做具体限定。
在一示出的实施方式中,以目标计算任务为例,数据计算***200可以从存储***100存储的大量原始数据中获取与该目标计算任务的计算配置信息中包含的多个维度相关的数据。进一步地,针对该目标计算任务中的各个cube组合,数据计算***200可以基于至少一个聚合指标,对与多个维度相关的数据进行聚合计算,得到与各个cube组合对应的多维度数据聚合结果。
一般情况下,不同服务对应的聚合指标会有所不同,甚至同一服务中不同cube组合对应的聚合指标也可以不同。
示例性的,以上述电子产品销售服务为例,与其各个cube组合对应的至少一个聚合指标可以包括以下示出的至少一个:销售量、销售额、购买人数,等等,本说明书对此不做具体限定。
示例性的,以保险产品销售服务为例,与其各个cube组合对应的至少一个聚合指标可以包括以下示出的至少一个:保单量、新增客户人数,等等,本说明书对此不做具体限定。
进一步地,数据计算***200可以基于上述计算配置信息中包括的映射关系,将计算得到的各个cube组合的多维度数据聚合结果中包含的多个维度的维度标识分别映射成为对应的维度描述信息,以使多维度数据聚合结果更加易于理解和使用。
进一步地,在一示出的实施方式中,数据计算***200可以将计算得到的各个cube组合的多维度数据聚合结果存储在数据计算***200本地,或者,也可以将多维度数据聚合结果存储至与其对接的数据库300中。示例性的,多维度数据聚合结果可以以数据表的形式存储在数据库300中。
在一示出的实施方式中,在将多维度数据聚合结果存储至数据库300后,数据库300可以接收用户发送的查询语句,该查询语句中可以包括待查询的至少一个维度和至少一个聚合指标。相应的,数据库300响应于接收到的该查询语句,可以基于该查询语句中包含的至少一个维度和至少一个聚合指标,查询得到对应的多维度数据聚合结果,进一步地,数据库300还可以面向用户输出显示该多维度数据聚合结果。
如此,本申请通过先进行多维度数据的聚合计算,再将计算得到的聚合结果中包含的多个维度的维度标识映射成为对应的维度描述信息,实现了将计算逻辑与映射逻辑解耦,即使后续需要计算的维度发生变更,例如新增维度,也只需维护计算配置信息中的映射逻辑即可,基本不需要修改cube聚合计算的计算代码,降低了计算代码的维护成本,进而提升了cube聚合计算的效率。
在一示出的实施方式中,上述存储***100可以是具备上述功能的分布式文件***,还可以是其他任何可能的存储***,本说明书对此不做具体限定。
在一示出的实施方式中,数据计算***200中可以包括具备上述功能的一个或多个计算机设备,该计算机设备可以是笔记本、电脑和服务器,等等,本说明书对此不做具体限定。在一示出的实施方式中,数据计算***200具体可以是离线分布式计算***,例如MaxCompute,其中,MaxCompute是适用于数据分析场景的企业级软件即服务(Software asaService,SaaS)模式云数据仓库,可以经济并高效地分析处理海量数据。
此外,需要说明的是,本说明书对数据库300的数据库类型不作特别限定。在一示出的实施方式中,数据库300可以是任何可能的关系型数据库,例如mySQL数据库、PostgreSQL数据库、OceanBase数据库、DB2数据库,等等,本说明书对此不做具体限定。进一步地,数据库300中可以包括联机分析处理(On-Line Analytical Processing,OLAP)的功能,OLAP可以提供上述多维度数据聚合结果的查询功能,并可以提供更加直观易懂的查询结果。
请参阅图3,图3是一示例性实施例提供的一种多维度数据计算方法的流程示意图。该方法可以应用于图2所示的***架构中,具体可以应用于图2所示***架构中的数据计算***200。如图3所示,该方法具体可以包括如下步骤S101-步骤S103。
步骤S101,获取针对目标计算任务的计算配置信息;目标计算任务为基于至少一个多维度数据组合进行计算的任务;所述多维度数据组合包括待计算的多个维度;计算配置信息包括多个维度中的各个维度的维度标识与维度描述信息之间的映射关系。
在一示出的实施方式中,基于多个服务的cube计算需求,本申请可以针对多个服务的计算任务分别配置与其对应的计算配置信息。
需要说明的是,本说明书对服务的具体类型不作特别限定。在一些可能的实施方式中,服务可以包括电子产品售卖服务、化妆品售卖服务、保险产品销售服务、财富营销服务,等等,本说明书对此不做具体限定。
在一示出的实施方式中,以多个服务中的任一目标服务为例,与该目标服务对应的目标计算任务可以为基于至少一个多维度数据组合进行计算的任务。该至少一个多维度数据组合中的任一多维度数据组合中可以包括与该目标服务相关的至少一个维度。相应的,针对该目标计算任务的计算配置信息中可以包括上述待计算的至少一个多维度数据组合的组合信息。进一步地,该计算配置信息中还可以包括该至少一个多维度数据组合包括的多个维度的计算配置。其中,多个维度中的任一维度的计算配置包括该维度的维度标识与该维度的维度描述信息之间的映射关系。
在一示出的实施方式中,维度标识例如可以是维度的维度code,维度描述信息例如可以是维度的维度名称,例如中文名称,或者是采用其他任何可能语言描述的名称,等等,本说明书对此不做具体限定。在一示出的实施方式中,维度code具体可以为维度的维度ID。
在一示出的实施方式中,本申请可以以数据表的形式维护该计算配置信息。
在一示出的实施方式中,计算配置表中可以包括用于表述计算配置信息的多个字段。示例性的,计算配置表中可以包括字段key、字段param和字段param_cube。
其中,字段key即为主键,可以与目标服务相关联,字段key可以用于表述目标服务的服务标识,例如目标服务的服务code,等等,本说明书对此不做具体限定。
其中,字段param_cube可以用于表述针对该目标服务的至少一个cube组合的组合信息。在一示出的实施方式中,该字段param_cube的格式可以为{key1},{key2},{key1}*{key2},等等。其中,key1和key2等可以是与目标服务相关的各个维度,{key1}代表仅包含维度1的cube组合,{key2}代表仅包含维度2的cube组合,{key1}*{key2}代表包含维度1和维度2的cube组合。
其中,字段param可以用于表述至少一个cube组合中包含的多个维度的维度标识与维度描述信息之间的映射关系。在一示出的实施方式中,该字段param的格式可以为{key1}:{value1},{key2}:{value2},等等。其中,{key1}可以为维度1的维度描述信息,例如“月月有余活动”,{value1}可以为维度1的维度标识,例如“id00123”;{key2}可以为维度2的维度描述信息,例如“保险产品类别”,{value2}可以为维度2的维度标识,例如“id00124”。
示例性的,以目标计算任务为基于cube组合(A)、组合(B)和组合(A、B)进行计算的任务为例,与其对应的计算配置表可以如下表一所示。
表一
需要说明的是,上述计算配置信息中包括的多个维度可以是动态维度(或者称之为扩展维度),不同的服务之间可能存在不同的维度,这些维度可以是动态维度。相应的,不同的服务之间,或者同一服务的不同cube组合之间可能存在若干个相同的维度,这些维度可以是固定维度,等等,本说明书对此不做具体限定。
在一示出的实施方式中,本申请可以基于现有的服务特性,预先为与各个服务相对应的cube计算任务配置对应的计算配置信息,并基于该计算配置信息预先计算各个cube组合的聚合结果。
在一示出的实施方式中,本申请也可以在接收到用户发送的查询语句后,基于该查询语句中包含的至少一个维度和至少一个聚合指标配置相应的计算配置信息,并基于该计算配置信息计算该查询语句所需的cube组合的聚合结果,等等,本说明书对此不做具体限定。
在一示出的实施方式中,本申请除了可以为目标服务的cube计算任务配置相应的计算配置信息外,还可以针对目标服务本身配置相应的服务配置信息,该服务配置信息中可以包含与目标服务相关的各项信息,例如服务名称、服务ID和服务内容,等等,本说明书对此不做具体限定。
在一示出的实施方式中,本申请也可以以数据表的形式维护该服务配置信息。
在一示出的实施方式中,与上述计算配置表相类似的,服务配置表中也可以包括用于表述服务配置信息的多个字段。
示例性的,服务配置表中也可以包括字段key,用于表述目标服务的服务标识,例如目标服务的服务code,等等,本说明书对此不做具体限定。示例性的,服务配置表中还可以包括用于表述服务内容的字段,等等,本说明书对此不做具体限定。
在一示出的实施方式中,本申请进一步还可以基于相同的主键key,将目标服务的计算配置表关联到目标服务的服务配置表,包括将计算配置表中的计算配置信息添加到对应的服务配置表中。示例性的,在将计算配置信息添加到服务配置表中时,可以包括:将计算配置表中的字段param和字段param_cube添加到服务配置表中,等等,本说明书对此不做具体限定。
步骤S102,获取与所述多个维度相关的数据,并基于至少一个聚合指标,对与所述多个维度相关的数据进行聚合计算,得到与所述至少一个多维度数据组合对应的至少一个多维度数据聚合结果。
在一示出的实施方式中,在获取到目标计算任务的计算配置信息后,基于计算配置信息,本申请可以从原始数据中获取到与计算配置信息中包含的多个维度相关的数据。
进一步地,针对该目标计算任务中的每个待计算的cube组合,本申请可以基于至少一个聚合指标,对与该cube组合包含的多个维度相关的数据进行聚合计算(即cube计算),从而得到与每个cube组合对应的cube聚合结果。
在一示出的实施方式中,聚合指标可以与目标服务的特性相关。示例性,以电子产品销售服务为例,该至少一个聚合指标可以是销售量和销售额等,以财富营销活动中的月月有余活动为例,该聚合指标可以是活动任务的签到次数,等等,本说明书对此不做具体限定。
请参阅图4a,图4a是一示例性实施例提供的一种动态维度的cube计算示意图。如图4a所示,本申请可以按照free_dim_kv:kv格式,从原始数据中清洗得到与计算配置信息中包含的多个维度相关的数据。如上所述,该多个维度可以为动态维度,即图4a所示的扩展维度,此外,每个cube组合还可以包括至少一个固定维度。如图4a所示,其中,字段fixed_dim1,fixed_dim2,……,fixed_dimN可以为至少一个固定维度,字段free_dim_kv可以为扩展维度,字段indicator1,indicator2,……,indicatorN可以为上述至少一个聚合指标,字段param和字段param_cube即为上述计算配置信息。其中,N为大于或者等于1的整数。
进一步地,在一示出的实施方式中,本申请可以先对固定维度的cube进行计算,然后再对动态维度的cube进行计算。具体地,本申请可以先从原始数据中获取与至少一个固定维度相关的数据,然后基于至少一个聚合指标,对与至少一个固定维度相关的数据进行聚合计算。
需要说明的是,本说明书对固定维度的cube计算所采用的方法不作特别限定,在一示出的实施方式中,可以采用union all多段代码的方式实现cube计算,或者,也可以采用其他任何可能的方式实现cube计算,本说明书对此不做具体限定。
进一步地,如图4a所示,在完成对固定维度的cube计算后,可以对动态维度的cube进行计算。在一示出的实施方式中,本申请可以通过lateral+explode的方式对动态维度的cube进行计算,即先基于待计算的cube组合的数量,对获取到的与多个动态维度相关的数据进行相应倍数的数据膨胀处理(explode),然后再基于至少一个聚合指标,对膨胀后的数据进行cube聚合计算,从而得到与每个cube组合对应的cube聚合结果。
需要说明的是,本说明书对实现cube计算的具体方法不作特别限定。示例性的,在进行动态维度的cube计算时,具体可以通过采用图4a所示的计算代码实现,或者也可以采用其他任何可能的计算代码,本说明书对此不做具体限定。
步骤S103,基于所述计算配置信息中包括的所述映射关系,将所述多维度数据聚合结果中包含的所述多个维度的维度标识分别映射成为对应的维度描述信息。
在一示出的实施方式中,在完成针对目标计算任务中包含的至少一个cube组合的cube计算,得到与该至少一个cube组合对应的至少一个cube聚合结果后,本申请可以基于上述计算配置信息中包括的映射关系,将各个cube聚合结果中包含的多个维度的维度标识映射成为对应的维度描述信息,以使最终的cube聚合结果更加易于理解和使用。
请参阅图4b,图4b是一示例性实施例提供的一种维度映射的示意图。如图4b所示,本申请可以联合上述计算配置表,基于计算配置表中字段param_cube所表述的各个维度的维度标识与维度描述信息之间的映射关系,将动态cube的聚合结果中的各个维度的维度标识映射成为对应的维度描述信息。
如图4b所示,字段dim_type来自于计算配置表中的字段param_cube,用于表述当前计算的cube组合。如图4b所示,字段dim_code1,dim_code2,……,dim_codeN分别为cube组合中包含的维度1、维度2、……、维度N的维度标识(例如维度代码)。如图4b所示,字段dim_desc1,dim_desc 2,……,dim_desc N分别为cube组合中包含的维度1、维度2、……、维度N的维度描述信息(例如维度的中文名称)。其中,N可以为大于或者等于1的整数。在一些可能的实施方式中,本申请可以根据服务的实际情况和计算需求,设置cube组合中动态维度的最大数量限制,本说明书对此不做具体限定。
可以理解的是,在进行动态维度的cube计算前,本申请可以先将固定维度的维度标识映射成为对应的维度描述信息,由于固定维度通常不会变化,因此针对固定维度的映射工作量也通常不会变化。
进一步地,本申请在计算得到与各个cube组合对应的cube聚合结果后,可以将各个cube聚合结果进行数据联合处理(union all),得到与上述目标计算任务对应的目标cube,并将该目标cube存储至对应的数据库中。后续,数据库可以响应于接收到的查询语句,基于该查询语句中包括的待查询的至少一个维度以及至少一个聚合指标,在存储的目标cube中查询得到对应的聚合结果,并面向用户输出展示该聚合结果,等等,本说明书对此不做具体限定。
此外,在一示出的实施方式中,本申请除了可以基于常规的固定维度和动态维度进行cube计算外,考虑到某些服务的实际需求,还可以基于用户分层维度进行更加细致的cube计算。在一示出的实施方式中,计算配置信息中还可以包括用户分层配置信息,该用户分层配置信息中可以包括至少一个用户分层维度组合的配置信息。其中,每个用户分层维度组合中可以包括至少一个用户分层维度。示例性的,以财富营销服务为例,其用户分层维度可以包括大理财用户分层、余额宝分层和财富稳定态分层,等等,本说明书对此不做具体限定。相应的,与财富营销服务对应的至少一个用户分层维度组合例如可以包括组合(大理财用户分层),组合(财富稳定态分层),组合(大理财用户分层、财富稳定态分层),等等,本说明书对此不做具体限定。
在一示出的实施方式中,本申请在将计算配置表关联到服务配置表时,计算配置表中的用户分层配置信息可以添加到服务配置表中。
在一示出的实施方式中,本申请也可以直接由服务配置表来维护上述用户分层配置信息。示例性的,本申请可以预先基于目标服务的服务特征和用户属性等,在目标服务的服务配置表中添加至少一个用户分层维度组合的配置信息,本说明书对此不做具体限定。
进一步地,本申请可以基于至少一个用户分层维度组合的配置信息,对用户分层维度的cube进行计算。在一示出的实施方式中,本申请可以针对每个用户分层维度组合,获取与该组合中包含的至少一个用户分层维度相关的数据,并基于至少一个聚合指标,对与该至少一个用户分层维度相关的数据进行聚合计算,得到各个用户分层维度组合对应的cube聚合结果。在一示出的实施方式中,与至少一个用户分层维度相关的数据可以和上述与多个维度相关的数据相同。
请参阅图4c,图4c是一示例性实施例提供的一种用户分层计算的示意图。如图4c所示,本申请可以基于服务配置表中包含的用户分层配置信息对用户分层维度的cube进行计算。如图4c所示,与上述动态维度的cube计算相类似的,本申请也可以通过lateral+explode的方式对用户分层维度的cube进行计算。
示例性的,在进行用户分层维度的cube计算时,具体可以通过采用图4c所示的计算代码实现,或者也可以采用其他任何可能的计算代码,本说明书对此不做具体限定。
如图4c所示,服务配置表中可以包括用于表述用户分层配置信息的多个字段,例如包括字段user_cube和字段user_default。
其中,字段user_cube可以用于表述至少一个用户分层维度组合的组合信息。在一示出的实施方式中,该字段user_cube的格式可以为{key1},{key2},{key1}*{key2},等等。其中,key1和key2等可以是与目标服务相关的各个用户分层维度,{key1}代表仅包含用户分层维度1的用户分层维度组合,{key2}代表仅包含用户分层维度2的用户分层维度组合,{key1}*{key2}代表包含用户分层维度1和用户分层维度2的用户分层维度组合。
其中,字段user_default可以用于表述用户分层维度组合中包含的各个用户分层维度的参数。在一示出的实施方式中,该字段user_default的格式可以为{key1}:{default1},{key2}:{default2},等等。其中,{key1}可以为用户分层维度1的类型,例如“大理财用户分层”,{default1}可以为用户分层维度1的具体参数,例如“大理财历史新”,等等,本说明书对此不做具体限定。
在一示出的实施方式中,如图4c所示,本申请在对用户分层维度进行cube计算时需要结合用户键值对(key-value,KV)表。其中,该用户kv表中可以包括字段user_id和字段user_kv_prop。其中,如图4c所示,字段user_id可以用于表述与该目标服务相关的各个用户的用户ID,字段user_kv_prop可以用于表述该用户ID对应的用户分层,并且该用户分层采用kv格式进行存储。在一示出的实施方式中,用户kv表中用户分层的主键key需要与服务配置表中用户分层的主键key保持一致,以保障用户分层维度的cube计算的准确性。
进一步地,当目标服务的服务发生变更时,针对该目标服务进行cube计算时所需关注的维度也可能发生变化,甚至原本的维度描述信息也会随之发生变化。基于此,本申请可以响应于目标服务的服务更新,对计算配置信息进行相应的更新处理。示例性的,可以在计算配置信息中增加或者删除若干个cube组合,也可以在原本的cube组合中增加或者删除若干个维度,还可以对计算配置信息中包含的多个维度中的部分维度的映射关系进行相应的更新处理,包括修改维度标识和/或维度描述信息,等等,以保证服务更新后的cube计算的准确性,本说明书对此不做具体限定。
综上所述,本申请针对目标计算任务配置有相应的计算配置信息,该目标计算任务可以为基于至少一个多维度数据组合进行计算的任务,相应的,该计算配置信息中可以包含多维度数据组合中的多个维度的维度标识与维度描述信息之间的映射关系。基于此,本申请在针对各个多维度数据组合进行聚合计算时,可以先获取与多个维度相关的数据并进行聚合计算,得到对应的多维度数据聚合结果。然后,再基于该计算配置信息中包含的映射关系,将维度数据聚合结果中包含的各个维度的维度标识映射成为对应的维度描述信息,以使该聚合结果更加直观、易于理解和使用。如此,本申请实现了将cube的计算逻辑与各个维度的维度代码与描述信息之间的映射逻辑解耦,如果后续需要计算的维度发生变更,例如新增维度,也只需维护计算配置信息中的映射逻辑即可,基本不需要修改cube聚合计算的计算代码,这极大程度上降低了计算代码的维护成本,进而提升了cube聚合计算的效率,满足用户的实际使用需求。
与上述方法流程实现对应,本说明书的实施例还提供了一种多维度数据计算装置。请参阅图5,图5是一示例性实施例提供的一种多维度数据计算装置的结构示意图,该装置50可以应用于图2所示***架构中的数据计算***200。如图5所示,该装置50包括:
获取单元501,用于获取针对目标计算任务的计算配置信息;所述目标计算任务为基于至少一个多维度数据组合进行计算的任务;所述多维度数据组合包括待计算的多个维度;所述计算配置信息包括所述多个维度中的各个维度的维度标识与维度描述信息之间的映射关系;
第一计算单元502,用于获取与所述多个维度相关的数据,并基于至少一个聚合指标,对与所述多个维度相关的数据进行聚合计算,得到与所述至少一个多维度数据组合对应的至少一个多维度数据聚合结果;
映射单元503,用于基于所述计算配置信息中包括的所述映射关系,将所述多维度数据聚合结果中包含的所述多个维度的维度标识分别映射成为对应的维度描述信息。
在一示出的实施方式中,所述维度标识包括所述维度的代码,所述维度描述信息包括所述维度的维度名称。
在一示出的实施方式中,所述第一计算单元502,具体用于:
从原始数据中获取与所述至少一个多维度数据组合中包括的所述多个维度相关的数据,并基于所述至少一个多维度数据组合的数量,对所述数据进行相应倍数的数据膨胀处理;
基于所述至少一个聚合指标,对数据膨胀处理后的所述数据进行聚合计算。
在一示出的实施方式中,所述多个维度为动态维度,所述多维度数据组合还包括相同的至少一个固定维度;所述装置50还包括第二计算单元504,用于:
获取与所述至少一个固定维度相关的数据,并基于所述至少一个聚合指标,对与所述至少一个固定维度相关的数据进行聚合计算。
在一示出的实施方式中,所述计算配置信息中还包括至少一个用户分层维度组合的配置信息,所述用户分层维度组合中包括至少一个用户分层维度,所述装置50还包括第三计算单元505,用于:
获取与所述至少一个用户分层维度相关的数据,并基于所述至少一个聚合指标,对与所述至少一个用户分层维度相关的数据进行聚合计算。
在一示出的实施方式中,所述装置50还包括存储单元506,用于:
将与所述至少一个多维度数据组合对应的至少一个多维度数据聚合结果进行数据联合处理,得到与所述目标计算任务对应的目标cube;
将所述目标cube存储至对应的数据库中,以使所述数据库响应于接收到的查询语句,基于所述查询语句中包括的待查询的至少一个维度以及至少一个聚合指标,在所述目标cube中查询得到对应的聚合结果,并面向用户输出展示所述聚合结果。
在一示出的实施方式中,所述目标计算任务为针对目标服务的计算任务,所述目标服务产生的服务数据中包括与所述多个维度相关的数据;所述装置50还包括更新单元507,用于:
响应于所述目标服务的服务更新,对所述计算配置信息中包含的所述多个维度中的至少部分维度的映射关系进行相应的更新处理。
上述装置50中各个单元的功能和作用的实现过程具体详见上述图1-图4c对应实施例的描述,在此不再进行赘述。应理解,上述装置50可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为逻辑意义上的装置,是通过所在设备的处理器(CPU)将对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,除了CPU以及存储器之外,上述装置所在的设备通常还包括用于进行无线信号收发的芯片等其他硬件,和/或用于实现网络通信功能的板卡等其他硬件。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部单元或模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述实施例阐明的装置、单元、模块,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备、车载计算机或者这些设备中的任意几种设备的组合。
与上述方法实施例相对应,本说明书的实施例还提供了一种计算机设备。请参阅图6,图6是一示例性实施例提供的一种计算机设备的结构示意图。图6所示的计算机设备可以为上述图2所示***架构中的数据计算***200中的计算机设备。如图6所示,该计算机设备包括处理器1001和存储器1002,进一步还可以包括输入设备1004(例如键盘等)和输出设备1005(例如显示器等)。处理器1001、存储器1002、输入设备1004和输出设备1005之间可以通过总线或其他方式连接。如图6所示,存储器1002包括计算机可读存储介质1003,该计算机可读存储介质1003存储有能够由处理器1001运行的计算机程序。处理器1001可以是CPU,微处理器,或用于控制以上方法实施例执行的集成电路。处理器1001在运行存储的计算机程序时,可以执行本说明书实施例中多维度数据计算方法的各个步骤,包括:获取针对目标计算任务的计算配置信息;所述目标计算任务为基于至少一个多维度数据组合进行计算的任务;所述多维度数据组合包括多个维度;所述计算配置信息包括所述多个维度中的各个维度的维度标识与维度描述信息之间的映射关系;获取与所述多个维度相关的数据,并基于至少一个聚合指标,对与所述多个维度相关的数据进行聚合计算,得到与所述至少一个多维度数据组合对应的至少一个多维度数据聚合结果;基于所述计算配置信息中包括的所述映射关系,将所述多维度数据聚合结果中包含的所述多个维度的维度标识分别映射成为对应的维度描述信息,等等。
对上述多维度数据计算方法的各个步骤的详细描述请参见之前的内容,此处不再进行赘述。
与上述方法实施例相对应,本说明书的实施例还提供了一种计算机可读存储介质,该存储介质上存储有计算机程序,这些计算机程序在被处理器运行时,执行本说明书实施例中多维度数据计算方法的各个步骤。具体请参见上述图1-图4c对应实施例的描述,此处不再进行赘述。
以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。
在一个典型的配置中,终端设备包括一个或多个CPU、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。
计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、***或计算机程序产品。因此,本说明书的实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
Claims (10)
1.一种多维度数据计算方法,其特征在于,包括:
获取针对目标计算任务的计算配置信息;所述目标计算任务为基于至少一个多维度数据组合进行计算的任务;所述多维度数据组合包括待计算的多个维度;所述计算配置信息包括所述多个维度中的各个维度的维度标识与维度描述信息之间的映射关系;
获取与所述多个维度相关的数据,并基于至少一个聚合指标,对与所述多个维度相关的数据进行聚合计算,得到与所述至少一个多维度数据组合对应的至少一个多维度数据聚合结果;
基于所述计算配置信息中包括的所述映射关系,将所述多维度数据聚合结果中包含的所述多个维度的维度标识分别映射成为对应的维度描述信息。
2.根据权利要求1所述的方法,其特征在于,所述维度标识包括所述维度的代码,所述维度描述信息包括所述维度的维度名称。
3.根据权利要求1所述的方法,其特征在于,所述获取与所述多个维度相关的数据,并基于至少一个聚合指标,对与所述多个维度相关的数据进行聚合计算,包括:
从原始数据中获取与所述至少一个多维度数据组合中包括的所述多个维度相关的数据,并基于所述至少一个多维度数据组合的数量,对所述数据进行相应倍数的数据膨胀处理;
基于所述至少一个聚合指标,对数据膨胀处理后的所述数据进行聚合计算。
4.根据权利要求1所述的方法,其特征在于,所述多个维度为动态维度,所述多维度数据组合还包括相同的至少一个固定维度;在对与所述多个维度相关的数据进行聚合计算之前,所述方法还包括:
获取与所述至少一个固定维度相关的数据,并基于所述至少一个聚合指标,对与所述至少一个固定维度相关的数据进行聚合计算。
5.根据权利要求1所述的方法,其特征在于,所述计算配置信息中还包括至少一个用户分层维度组合的配置信息,所述用户分层维度组合中包括至少一个用户分层维度,所述方法还包括:
获取与所述至少一个用户分层维度相关的数据,并基于所述至少一个聚合指标,对与所述至少一个用户分层维度相关的数据进行聚合计算。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将与所述至少一个多维度数据组合对应的至少一个多维度数据聚合结果进行数据联合处理,得到与所述目标计算任务对应的目标cube;
将所述目标cube存储至对应的数据库中,以使所述数据库响应于接收到的查询语句,基于所述查询语句中包括的待查询的至少一个维度以及至少一个聚合指标,在所述目标cube中查询得到对应的聚合结果,并面向用户输出展示所述聚合结果。
7.根据权利要求1-6任意一项所述的方法,其特征在于,所述目标计算任务为针对目标服务的计算任务,所述目标服务产生的服务数据中包括与所述多个维度相关的数据;所述方法还包括:
响应于所述目标服务的服务更新,对所述计算配置信息中包含的所述多个维度中的至少部分维度的映射关系进行相应的更新处理。
8.一种多维度数据计算装置,其特征在于,包括:
获取单元,用于获取针对目标计算任务的计算配置信息;所述目标计算任务为基于至少一个多维度数据组合进行计算的任务;所述多维度数据组合包括待计算的多个维度;所述计算配置信息包括所述多个维度中的各个维度的维度标识与维度描述信息之间的映射关系;
第一计算单元,用于获取与所述多个维度相关的数据,并基于至少一个聚合指标,对与所述多个维度相关的数据进行聚合计算,得到与所述至少一个多维度数据组合对应的至少一个多维度数据聚合结果;
映射单元,用于基于所述计算配置信息中包括的所述映射关系,将所述多维度数据聚合结果中包含的所述多个维度的维度标识分别映射成为对应的维度描述信息。
9.一种计算机设备,包括:存储器和处理器;所述存储器上存储有可由所述处理器运行的计算机程序;所述处理器运行所述计算机程序时,执行如权利要求1至7任意一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310915263.4A CN116954858A (zh) | 2023-07-24 | 2023-07-24 | 一种多维度数据计算方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310915263.4A CN116954858A (zh) | 2023-07-24 | 2023-07-24 | 一种多维度数据计算方法及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116954858A true CN116954858A (zh) | 2023-10-27 |
Family
ID=88450788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310915263.4A Pending CN116954858A (zh) | 2023-07-24 | 2023-07-24 | 一种多维度数据计算方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116954858A (zh) |
-
2023
- 2023-07-24 CN CN202310915263.4A patent/CN116954858A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102522274B1 (ko) | 사용자 그룹화 방법 및 장치, 컴퓨터 장비, 컴퓨터 판독가능 저장 매체 및 컴퓨터 프로그램 | |
US20170364697A1 (en) | Data interworking method and data interworking device | |
US20160203191A1 (en) | Recommendation system with metric transformation | |
WO2018219285A1 (zh) | 一种数据对象展示方法及装置 | |
CN111427971B (zh) | 用于计算机***的业务建模方法、装置、***和介质 | |
US20140067548A1 (en) | Saving on device functionality for business calendar | |
CN111046237A (zh) | 用户行为数据处理方法、装置、电子设备及可读介质 | |
US20150073932A1 (en) | Strength Based Modeling For Recommendation System | |
US20210090105A1 (en) | Technology opportunity mapping | |
CN113392150A (zh) | 一种基于业务域的数据表展示方法、装置、设备及介质 | |
CN112528067A (zh) | 图数据库的存储方法、读取方法、装置及设备 | |
CN110245684A (zh) | 数据处理方法、电子设备和介质 | |
CN111522840B (zh) | 标签的配置方法、装置、设备及计算机可读存储介质 | |
CN117390011A (zh) | 报表数据处理方法、装置、计算机设备和存储介质 | |
CN112488845A (zh) | 一种投保客户的筛选方法、装置、电子设备及存储介质 | |
CN116186337A (zh) | 一种业务场景数据处理方法、***及电子设备 | |
EP2887240B1 (en) | Electronic product information display system | |
CN116954858A (zh) | 一种多维度数据计算方法及相关设备 | |
US9230022B1 (en) | Customizable result sets for application program interfaces | |
CN112199930A (zh) | 一种根据报表配置自动生成报表的方法和*** | |
CN113326680A (zh) | 生成表格的方法和装置 | |
CN114253951B (zh) | 数据处理方法、***及第二服务器 | |
CN113987322A (zh) | 指标数据查询方法、装置、计算机设备和计算机程序产品 | |
CN118035423A (zh) | 信息查询方法、装置、计算机设备和存储介质 | |
CN117435589A (zh) | 数据转存方法、装置、计算机设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |