CN109241159B - 一种数据立方体的分区查询方法、***及终端设备 - Google Patents

一种数据立方体的分区查询方法、***及终端设备 Download PDF

Info

Publication number
CN109241159B
CN109241159B CN201810889777.6A CN201810889777A CN109241159B CN 109241159 B CN109241159 B CN 109241159B CN 201810889777 A CN201810889777 A CN 201810889777A CN 109241159 B CN109241159 B CN 109241159B
Authority
CN
China
Prior art keywords
query
data cube
data
cube
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810889777.6A
Other languages
English (en)
Other versions
CN109241159A (zh
Inventor
方小乔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Swiftpass Tech Co ltd
Original Assignee
Swiftpass Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Swiftpass Tech Co ltd filed Critical Swiftpass Tech Co ltd
Priority to CN201810889777.6A priority Critical patent/CN109241159B/zh
Publication of CN109241159A publication Critical patent/CN109241159A/zh
Application granted granted Critical
Publication of CN109241159B publication Critical patent/CN109241159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据立方体的分区查询方法、***及终端设备,其中方法包括:按照预设分区规则对原始数据立方体进行分区处理,得到多个子立方体;获取用户选择的查询条件,并根据所述查询条件定位对应的目标子立方体,其中,所述查询条件符合所述预设分区规则;从所述目标子立方体中查找目标数据。本发明解决了海量数据查询的困难,同时提高了数据立方体的响应速度和分析性能。

Description

一种数据立方体的分区查询方法、***及终端设备
技术领域
本发明属于数据仓库技术领域,尤其涉及一种数据立方体的分区查询方法、***及终端设备。
背景技术
ROLAP表示基于关系数据库的OLAP实现(Relational OLAP)。以关系数据库为核心,以关系型结构进行数据的表示和存储。ROLAP将数据库的结构划分为两类表:一类是事实表,用来存储数据和维关键字;另一类是维表,即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。维表和事实表通过主关键字和外关键字联系在一起,形成了"星型模式"。其特点是将细节数据保留在关系型数据库的事实表中,聚合后的数据也保存在关系型的数据库中。但是,当数据量很大时,这种方式产生的数据表增多,代表不同表之间的关联关系的聚合数据也增多,数据量过大导致查询效率降低,不利于实际应用。
发明内容
有鉴于此,本发明实施例提供了一种数据立方体的分区查询方法、***及终端设备,以解决现有技术中数据量过大导致查询效率降低的问题。
本发明实施例的第一方面提供了一种数据立方体的分区查询方法,包括:
按照预设分区规则对原始数据立方体进行分区处理,得到多个子立方体。
获取用户选择的查询条件,并根据所述查询条件定位对应的目标子立方体,其中,所述查询条件符合所述预设分区规则。
从所述目标子立方体中查找目标数据。
本发明实施例的第二方面提供了一种数据立方体的分区查询***,包括:
立方体分区模块,用于按照预设分区规则对原始数据立方体进行分区处理,得到多个子立方体。
子立方体定位模块,用于获取用户选择的查询条件,并根据所述查询条件定位对应的目标子立方体,其中,所述查询条件符合所述预设分区规则。
子立方体查询模块,用于从所述目标子立方体中查找目标数据。
本发明实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述数据立方体的分区查询方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上所述数据立方体的分区查询方法的步骤。
本发明实施例与现有技术相比存在的有益效果是:通过按照预设分区规则对原始数据立方体进行分区处理,得到多个子立方体;获取用户选择的查询条件,并根据所述查询条件定位对应的目标子立方体,其中,所述查询条件符合所述预设分区规则;然后,从所述目标子立方体中查找目标数据。解决了海量数据查询的困难,同时提高了数据立方体的响应速度和分析性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的一个实施例提供的数据立方体的分区查询方法的实现流程示意图;
图2是本发明的一个实施例提供的图1中步骤S103的实现流程示意图;
图3是一个具体应用场景中的原始数据立方体的示意图
图4是一个具体应用场景中的子立方体的示意图;
图5是本发明的一个实施例提供的数据立方体的分区查询***的结构示意图;
图6是本发明的一个实施例提供的图5中子立方体查询模块的结构示意图;
图7是本发明的一个实施例提供的终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
应当理解,本发明的说明书和权利要求书及上述附图中的术语“包括”以及其他任何变形,是指“包括但不限于”,意图在于覆盖不排他的包含。例如包含一系列步骤或单元的过程、方法或***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
还应当理解,在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
实施例1:
图1示出了本发明的一个实施例提供的一种数据立方体的分区查询方法的实现流程,本实施例的流程执行主体可以是终端设备,其过程详述如下:
步骤S101,按照预设分区规则对原始数据立方体进行分区处理,得到多个子立方体。
在一个实施例中,预设分区规则包括预设维度成员信息。
按照预设维度成员信息对所述原始数据立方体进行分区处理,得到多个子立方体。
本实施例中,维度成员信息是指维度的成员变量信息,用于标识某个维度成员。预设维度成员信息为预先设定的维度成员信息。
在一个实施例中,将多个子立方体分别保存到不同的存储介质中。
在一个实施例中,基于支付平台原始业务数据,构造原始数据立方体并对其动态填充数据。
由于支付平台会根据不断发生的新交易事件,添加新的数据至支付平台原始业务数据,因此,新添加的数据也会及时补充到原始数据立方体中,从而实现原始数据立方体的动态填充数据。
在本实施例中,这里所说的支付平台原始业务数据可以源于任何关系型数据库或Hadoop Hive。
其中,Hadoop实现了一个分布式文件***,简称HDFS。Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hive是一种建立在Hadoop文件***上的数据仓库架构。数据仓库的本质就是收集尽可能多的信息,用作公司的决策支持,其所涉及的操作主要是数据的查询。
步骤S102,获取用户选择的查询条件,并根据所述查询条件定位对应的目标子立方体,其中,所述查询条件符合所述预设分区规则。
本实施例中,预设分区规则包括对原始数据立方体进行分区的分区参量,例如,按照时间、机构、地区等分区参量对原始数据立方体进行分区。
查询条件包括所述分区参量的可预见变形。例如,按照时间的分区参量对原始数据立方体进行分区,得到不同时间参量对应的子立方体,当查询条件为某一个时间段时,可以快速地找到在此时间段内的目标子立方体。
在一个实施例中,每一个子立方体中均包含其各自对应的分区参量的数值。在获取到所述查询条件之后,提取出所述查询条件中包含的分区参量的全部数值或者全部数值对应的数值区间,然后,根据所述全部数值或其对应的数值区间,定位出对应的目标子立方体。
步骤S103,从所述目标子立方体中查找目标数据。
在一个实施例中,在步骤S103中,基于运算查询规则结合SQL结构化查询语言,从包含数据量很小的目标子立方体中查找目标数据。
本发明实施例中,可以根据查询条件直接找到对应的小块的子立方体,而不用在包含海量数据的原始数据立方体中进行查询,提高了查询数据立方体时的响应速度和分析性能。
如图2所示,在本发明的一个实施例中,图1所对应的实施例中的步骤S103具体包括:
步骤S201,根据所述查询条件,利用多维分析引擎生成适合数据立方体使用的查询语句。
步骤S202,利用所述多维分析引擎结合星型模型对所述查询语句进行处理后,生成对应的SQL结构化查询语言。
步骤S203,使用所述SQL结构化查询语言从原始的事实表和维度表中查询所述目标子立方体对应的目标数据,其中,所述原始的事实表和维度表为构造所述原始数据立方体时生成的。
在一个实施例中,步骤S103包括:使用多维分析查询语句从所述目标子立方体中查询所述目标数据。
本实施例中,SQL((Structured Query Language))结构化查询语言,是一种特殊目的的编程语言,是一种数据库查询和程序设计语言。
如图3所示,为一种原始数据立方体的示例。
构造好的数据立方体完成了从分散的多种E-R模型(Entity-RelationshipModel,实体联系模型)或MAP数据结构,到关联关***一的多维分析的数据立方体的转换,并建立二者对应的关联关系。
本发明实施例中,在原始数据立方体分区后,能让多个切块后的子立方体并行工作,显著提高了用户对数据进行各种操作的效率,并且提高了数据立方体的响应速度和分析性能。
尤其是在实际应用中,支付平台原始业务数据的数据量一般会超过200亿记录数,事实表的数据量会超过20亿记录数,特别需要使用本发明实施例中提供的分区查询技术,来解决海量数据查询的困难,同时提高数据处理的速度。
如图4所示,为按照机构对图3中的原始数据立方体进行分区后的子立方体。这里的预设分区规则即为机构。
在本发明的一个实施例中,在步骤S101之前,所述数据立方体的分区查询方法还包括:
a.基于支付平台原始业务数据,构造维度表和事实表。
b.基于所述维度表和事实表以及二者的关联关系,构造星型模型。
c.根据所述星型模型,动态构建所述原始数据立方体。
本实施例中,可以采用数据预处理、抽取、转换、并行加载、合并等技术基于支付平台原始业务数据构造数据仓库的维度表、事实表及星型模型。
在一个实施例中,在步骤a之前,所述数据立方体的分区查询方法还包括:对所述支付平台原始业务数据进行数据格式的转换,得到预设格式的源数据。
本实施例中,数据格式的转换包括:
1)数据预处理,包括但不限于数据加密、数据解密,数据编码以及数据解码等。
2)数据自动修订,包括但不限于删除乱码、删除空白数据等。
3)字符处理,包括但不限于空白类字符处理、特殊字符处理以及字符串表示方式转换等。
本实施例中通过预先对原始的业务数据进行数据格式的处理,避免了后续生成的数据立方体中包含错误的数据或者无法分辨的乱码数据。
在一个实施例中,步骤a包括:
1)按照单一维度选择规则,从所述源数据中读取相应的数据,得到维度数据。
2)采用多节点多线程的并行加载方式,将新获取的维度数据合并到已经生成的维度数据中,得到所述维度表。
3)获取维度表的主键作为与之关联的事实表的外键。
4)集合全部的维度表的主键,得到所述事实表。
本实施例中,一个维度表对应整体分析数据的某个方面或视角,也就是数据立方体的一个面或者轴。
本实施例中,使用专用的连接工具或类库开发代码从所述源数据中读取相应的数据,得到维度数据。
本实施例中,采用数据仓库的多节点多线程的并行加载方式来加载数据。
本实施例中,随着支付平台原始业务数据的更新,根据源数据生成的维度数据也在不断更新,将新获取的维度数据合并到已经生成的维度数据中,可以保证维度数据的稳定性和可用性。在历史生成的维度表中,随着数据的缓慢变化,不删除已生成的维度数据,而是将新获取的维度数据合并到已经生成的维度数据中,提高了维度表的维护效率。
在一个实施例中,结合业务需求并使用聚合函数或窗口函数对源数据进行分组和汇总,得到数据的维度成员信息。
事实表包含维度成员信息和与维度表中各个维度的关联关系。
在一个实施例中,当构造完合适的维度表和事实表后,结合维度表和事实表的关联关系也就构造好了星型模型。
在本发明的一个实施例中,步骤c包括:
1)利用多维分析引擎,结合所述星型模型,构建原始数据立方体的框架。
2)根据所述框架,从所述维度表和所述事实表中读取数据立方体中每一个坐标点对应的数值,动态填充所述原始数据立方体。
本实施例中,原始数据立方体的框架包括维度成员信息,例如,图3中所示的机构、交易金额、时间、商户、地区和行业等维度成员信息。
基于维度成员信息的具体内容和数据,便可以搭建原始数据立方体的框架,例如,三维、四维等立方体。
在构建好原始数据立方体的框架之后,根据每一维的维度成员信息便可以定位任意点的坐标,从维度表和事实表中获取对应的数值添加到原始数据立方体中,便完成了原始数据立方体的构建。随着维度表和事实表的数据更新,原始数据立方体也会动态更新填充的数据。
在本发明的一个实施例中,所述预设分区规则包括预设维度成员信息,图1所对应的实施例中的步骤S101,包括:
1)对事实表和相应的维度表按照所述预设维度成员信息进行切分。
2)基于动态构建数据立方体的原则,得到多个切块后的所述子立方体。
3)多个所述子立方体并行工作,并且均衡的分布在多个不同的存储介质中。
本实施例中,由于原始数据立方体是由维度表和事实表按照星型模型的规则构造并动态填充数据的,一旦对事实表和相应的维度表进行分区也就实现了原始数据立方体的分区。
原始数据立方体分区后,能让多个切块后的子立方体并行工作,显著提高了用户对数据进行查询操作的效率。
原始数据立方体的分区,实现了将一个或几个大容量文件切割为很多个容量很小的文件,并让这些小文件均衡的分布到多个不同的存储介质上,一旦开始查询,这些多个存储介质上的小文件并行工作。
在多维分析引擎中增加其自动应用分区规则的功能,使得用户在操作多维分析引擎分析立方体数据时,提高了数据立方体的响应速度和分析性能。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
实施例2:
如图5所示,本发明的一个实施例提供的数据立方体的分区查询***100,用于执行图1所对应的实施例中的方法步骤,其包括:
立方体分区模块110,用于按照预设分区规则对原始数据立方体进行分区处理,得到多个子立方体。
子立方体定位模块120,用于获取用户选择的查询条件,并根据所述查询条件定位对应的目标子立方体,其中,所述查询条件符合所述预设分区规则。
子立方体查询模块130,用于从所述目标子立方体中查找目标数据。
如图6所示,在本发明的一个实施例中,子立方体查询模块130包括:
第一查询语句生成单元131,用于根据所述查询条件,利用多维分析引擎生成适合数据立方体使用的查询语句。
第二查询语句生成单元132,用于利用所述多维分析引擎结合星型模型对所述查询语句进行处理后,生成对应的SQL结构化查询语言。
查询单元133,用于使用所述SQL结构化查询语言从原始的事实表和维度表中查询所述目标子立方体对应的目标数据,其中,所述原始的事实表和维度表为构造所述原始数据立方体时生成的。
在本发明的一个实施例中,数据立方体的分区查询***100还包括:
数据表构造模块,用于基于支付平台原始业务数据,构造维度表和事实表。
星型模型构造模块,用于基于所述维度表和事实表以及二者的关联关系,构造星型模型。
立方体构造模块,用于根据所述星型模型,动态构建所述原始数据立方体。
在本发明的一个实施例中,立方体构造模块包括:
框架构建单元,用于利用多维分析引擎,结合所述星型模型,构建原始数据立方体的框架。
动态填充单元,用于根据所述框架,从所述维度表和所述事实表中读取数据立方体中每一个坐标点对应的数值,动态填充所述原始数据立方体。
在本发明的一个实施例中,所述预设分区规则包括预设维度成员信息,立方体分区模块110包括:
切分单元,用于对事实表和相应的维度表按照所述预设维度成员信息进行切分。
切块单元,用于基于动态构建数据立方体的原则,得到多个切块后的所述子立方体。
分区单元,用于多个所述子立方体并行工作,并且均衡的分布在多个不同的存储介质中。
在一个实施例中,数据立方体的分区查询***100还包括其他功能模块/单元,用于实现实施例1中各实施例中的方法步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即所述数据立方体的分区查询***100的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述数据立方体的分区查询***100中模块的具体工作过程,可以参考实施例1中方法的对应过程,在此不再赘述。
实施例3:
图7是本发明一实施例提供的终端设备7的示意图。如图7所示,该实施例的终端设备7包括:处理器71、存储器72以及存储在所述存储器72中并可在所述处理器71上运行的计算机程序73。所述处理器71执行所述计算机程序73时实现如实施例1中所述的各实施例中的步骤,例如图1所示的步骤S101至S103。或者,所述处理器71执行所述计算机程序73时实现如实施例2中所述的各***实施例中的各模块/单元的功能,例如图5所示模块110至130的功能。
所述终端设备7是指具有数据处理能力的终端,包括但不限于计算机、工作站、服务器,甚至是一些性能优异的智能手机、掌上电脑、平板电脑、个人数字助理(PDA)、智能电视(Smart TV)等。以上详细罗列了终端设备7的具体实例,本领域技术人员可以意识到,智能终端并不限于上述罗列实例。
所述终端设备7可包括,但不仅限于,处理器71、存储器72。本领域技术人员可以理解,图7仅仅是终端设备7的示例,并不构成对终端设备7的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备7还可以包括输入输出设备、网络接入设备、总线等。
所称处理器71可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器72可以是所述终端设备7的内部存储单元,例如终端设备7的硬盘或内存。所述存储器72也可以是所述终端设备7的外部存储设备,例如所述终端设备7上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器72还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器72用于存储所述计算机程序以及所述终端设备7所需的其他程序和数据。所述存储器72还可以用于暂时地存储已经输出或者将要输出的数据。
实施例4:
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现如实施例1中所述的各实施例中的步骤,例如图1所示的步骤S101至步骤S103。或者,所述计算机程序被处理器执行时实现如实施例2中所述的各***实施例中的各模块/单元的功能,例如图5所示的模块110至130的功能。
所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
在上述实施例中,对各个实施例的描述都各有侧重,实施例1至4可以任意组合,组合后形成的新的实施例也在本申请的保护范围之内。某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的终端设备和方法,可以通过其它的方式实现。例如,以上所描述的***/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (8)

1.一种数据立方体的分区查询方法,其特征在于,包括:
按照预设分区规则对原始数据立方体进行分区处理,得到多个子立方体,并将所述多个子立方体分别保存到不同的存储介质中;
获取用户选择的查询条件,并根据所述查询条件定位对应的目标子立方体,其中,所述查询条件符合所述预设分区规则;
从所述目标子立方体中查找目标数据;
所述从所述目标子立方体中查找目标数据,包括:
根据所述查询条件,利用多维分析引擎生成适合数据立方体使用的查询语句;
利用所述多维分析引擎结合星型模型对所述查询语句进行处理后,生成对应的SQL结构化查询语言;
使用所述SQL结构化查询语言从原始的事实表和维度表中查询所述目标子立方体对应的目标数据,其中,所述原始的事实表和维度表为构造所述原始数据立方体时生成的。
2.如权利要求1所述的数据立方体的分区查询方法,其特征在于,在对原始数据立方体进行分区处理之前,包括:
基于支付平台原始业务数据,构造维度表和事实表;
基于所述维度表和事实表以及二者的关联关系,构造星型模型;
根据所述星型模型,动态构建所述原始数据立方体。
3.如权利要求2所述的数据立方体的分区查询方法,其特征在于,所述动态构建所述原始数据立方体,包括:
利用多维分析引擎,结合所述星型模型,构建原始数据立方体的框架;
根据所述框架,从所述维度表和所述事实表中读取数据立方体中每一个坐标点对应的数值,动态填充所述原始数据立方体。
4.如权利要求3所述的数据立方体的分区查询方法,其特征在于,所述按照预设分区规则对原始数据立方体进行分区处理,得到多个子立方体,包括:
所述预设分区规则包括预设维度成员信息;
对事实表和相应的维度表按照所述预设维度成员信息进行切分;
基于动态构建数据立方体的原则,得到多个切块后的所述子立方体;
多个所述子立方体并行工作,并且均衡的分布在多个不同的存储介质中。
5.一种数据立方体的分区查询***,其特征在于,包括:
立方体分区模块,用于按照预设分区规则对原始数据立方体进行分区处理,得到多个子立方体,并将所述多个子立方体分别保存到不同的存储介质中;
子立方体定位模块,用于获取用户选择的查询条件,并根据所述查询条件定位对应的目标子立方体,其中,所述查询条件符合所述预设分区规则;
子立方体查询模块,用于从所述目标子立方体中查找目标数据;
所述子立方体查询模块包括:
第一查询语句生成单元,用于根据所述查询条件,利用多维分析引擎生成适合数据立方体使用的查询语句;
第二查询语句生成单元,用于利用所述多维分析引擎结合星型模型对所述查询语句进行处理后,生成对应的SQL结构化查询语言;
查询单元,用于使用所述SQL结构化查询语言从原始的事实表和维度表中查询所述目标子立方体对应的目标数据,其中,所述原始的事实表和维度表为构造所述原始数据立方体时生成的。
6.如权利要求5所述的数据立方体的分区查询***,其特征在于,还包括:
数据表构造模块,用于基于支付平台原始业务数据,构造维度表和事实表;
星型模型构造模块,用于基于所述维度表和事实表以及二者的关联关系,构造星型模型;
立方体构造模块,用于根据所述星型模型,动态构建所述原始数据立方体。
7.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述数据立方体的分区查询方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述数据立方体的分区查询方法的步骤。
CN201810889777.6A 2018-08-07 2018-08-07 一种数据立方体的分区查询方法、***及终端设备 Active CN109241159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810889777.6A CN109241159B (zh) 2018-08-07 2018-08-07 一种数据立方体的分区查询方法、***及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810889777.6A CN109241159B (zh) 2018-08-07 2018-08-07 一种数据立方体的分区查询方法、***及终端设备

Publications (2)

Publication Number Publication Date
CN109241159A CN109241159A (zh) 2019-01-18
CN109241159B true CN109241159B (zh) 2021-07-23

Family

ID=65070545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810889777.6A Active CN109241159B (zh) 2018-08-07 2018-08-07 一种数据立方体的分区查询方法、***及终端设备

Country Status (1)

Country Link
CN (1) CN109241159B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222029A (zh) * 2019-05-09 2019-09-10 国网上海市电力公司 一种大数据多维分析计算效率提升方法及***
CN110362798B (zh) * 2019-06-17 2023-12-19 平安科技(深圳)有限公司 裁决信息检索分析方法、装置、计算机设备和存储介质
CN110287213B (zh) * 2019-07-03 2023-02-17 中通智新(武汉)技术研发有限公司 基于olap***的数据查询方法、装置及***
CN110427390B (zh) * 2019-08-01 2022-09-27 北京明略软件***有限公司 数据查询方法及装置、存储介质、电子装置
CN112000747B (zh) * 2020-07-08 2022-11-18 苏宁云计算有限公司 数据多维分析方法、装置及***
CN112559611A (zh) * 2020-12-15 2021-03-26 中国人寿保险股份有限公司 一种数据处理方法、装置、设备及存储介质
CN115718825B (zh) * 2022-11-25 2024-05-31 中电金信软件有限公司 一种时长标签的确定方法、装置及电子设备
CN117521619B (zh) * 2024-01-04 2024-03-29 北京百灵天地环保科技股份有限公司 基于下位机的报表生成方法、计算机设备与存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452485A (zh) * 2008-12-31 2009-06-10 中国建设银行股份有限公司 一种基于关系数据库生成多维立方体的方法及装置
US7720831B2 (en) * 2007-02-26 2010-05-18 Microsoft Corporation Handling multi-dimensional data including writeback data
CN104794113A (zh) * 2014-01-16 2015-07-22 中兴通讯股份有限公司 数据处理方法及装置
CN106484875A (zh) * 2016-10-13 2017-03-08 广州视源电子科技股份有限公司 基于molap的数据处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720831B2 (en) * 2007-02-26 2010-05-18 Microsoft Corporation Handling multi-dimensional data including writeback data
CN101452485A (zh) * 2008-12-31 2009-06-10 中国建设银行股份有限公司 一种基于关系数据库生成多维立方体的方法及装置
CN104794113A (zh) * 2014-01-16 2015-07-22 中兴通讯股份有限公司 数据处理方法及装置
CN106484875A (zh) * 2016-10-13 2017-03-08 广州视源电子科技股份有限公司 基于molap的数据处理方法及装置

Also Published As

Publication number Publication date
CN109241159A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
CN109241159B (zh) 一种数据立方体的分区查询方法、***及终端设备
US11163739B2 (en) Database table format conversion based on user data access patterns in a networked computing environment
US20230084389A1 (en) System and method for providing bottom-up aggregation in a multidimensional database environment
US11789978B2 (en) System and method for load, aggregate and batch calculation in one scan in a multidimensional database environment
US10984020B2 (en) System and method for supporting large queries in a multidimensional database environment
US10789231B2 (en) Spatial indexing for distributed storage using local indexes
US20170083573A1 (en) Multi-query optimization
US11347740B2 (en) Managed query execution platform, and methods thereof
CN106528787B (zh) 一种基于海量数据多维分析的查询方法及装置
CN111221791A (zh) 一种多源异构数据导入数据湖的方法
US10558665B2 (en) Network common data form data management
CN111061758B (zh) 数据存储方法、装置及存储介质
CN110874366A (zh) 数据处理、查询方法和装置
CN109726219A (zh) 数据查询的方法及终端设备
CN109299197A (zh) 一种数据立方体的分区方法、***及终端设备
CN111159213A (zh) 一种数据查询方法、装置、***和存储介质
CN109947702A (zh) 索引构建方法及装置、电子设备
CN110633315A (zh) 一种数据处理方法、设备及计算机存储介质
US20220215021A1 (en) Data Query Method and Apparatus, Computing Device, and Storage Medium
US11023485B2 (en) Cube construction for an OLAP system
CN111723121A (zh) 数据处理方法及装置
CN115422199A (zh) 多维统计数据的处理方法、装置及计算机设备
CN114116713A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN117951175A (zh) 数据处理方法、装置、电子设备及存储介质
CN115935016A (zh) 一种多源异构数据管理方法、***、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant