CN111026759B - 基于Hbase的报表生成方法及装置 - Google Patents

基于Hbase的报表生成方法及装置 Download PDF

Info

Publication number
CN111026759B
CN111026759B CN201911264252.4A CN201911264252A CN111026759B CN 111026759 B CN111026759 B CN 111026759B CN 201911264252 A CN201911264252 A CN 201911264252A CN 111026759 B CN111026759 B CN 111026759B
Authority
CN
China
Prior art keywords
report
generated
item
dimension
hbase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911264252.4A
Other languages
English (en)
Other versions
CN111026759A (zh
Inventor
毛恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unihub China Information Technology Co Ltd
Original Assignee
Unihub China Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unihub China Information Technology Co Ltd filed Critical Unihub China Information Technology Co Ltd
Priority to CN201911264252.4A priority Critical patent/CN111026759B/zh
Publication of CN111026759A publication Critical patent/CN111026759A/zh
Application granted granted Critical
Publication of CN111026759B publication Critical patent/CN111026759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/221—Column-oriented storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于Hbase的报表生成方法及装置，该方法包括：接收外部输入的选择指令，其中，选择指令用于选择待生成报表的一个或多个维度项，以及每个维度项关联的一个或多个度量项；根据选择指令选择的各个维度项和各个度量项，从预先构建的Hbase宽表中，查询待生成报表每个维度项对应各个度量项的数据，其中，Hbase宽表包含：第一列簇和第二列簇，第一列簇用于存储各个维度项的统计数据，第二列簇用于存储各个度量项的统计数据；根据待生成报表各个维度项对应各个度量项的数据，生成待生成报表。本发明能够根据用户自定义选择的统计维度和度量指标，实时查询或统计数据，进而生成报表。

Description

基于Hbase的报表生成方法及装置
技术领域
本发明涉及大数据技术领域，尤其涉及一种基于Hbase的报表生成方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
随着网络的快速发展，网络上产生的数据也越来越多，因而，如何对海量数据进行处理，生成从各种维度呈现数据的报表，能够大大用户从海量数据中挖掘出有价值的信息。
目前，现有技术主要通过如下两种方式来生成各种报表：①预先将数据写入各个数据集市对应的宽表中，在报表页面直接查询展示；②将数据初步汇总后，写入关系型数据库(例如，SQL数据库)，根据报表页面临时选定的展示维度或度量项，临时拼装查询关系型数据库，统计数据后再返回报表展示页面。
由于大数据环境下，会产生海量的数据，利用现有的报表生成方法，存在如下不足：①当数据量太大的情况下，预先为每张报表构造一张宽表，数据冗余太多，存储压力很大；②一些Hbase、HDFS、Hive等适用于大数据环境的数据库，由于不支持实时查询SQL，导致数据实时查询和统计效率不高。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供一种基于Hbase的报表生成方法，用以解决现有技术采用关系型数据库存储报表数据，在大数据环境下会产生过多冗余数据，而采用大数据分布式数据库存储报表数据，存在数据实时查询和统计效率低的技术问题，该方法包括：接收外部输入的选择指令，其中，选择指令用于选择待生成报表的一个或多个维度项，以及每个维度项关联的一个或多个度量项；根据选择指令选择的各个维度项和各个度量项，从预先构建的Hbase宽表中，查询待生成报表每个维度项对应各个度量项的数据，其中，Hbase宽表包含：第一列簇和第二列簇，第一列簇用于存储各个维度项的统计数据，第二列簇用于存储各个度量项的统计数据；根据待生成报表各个维度项对应各个度量项的数据，生成待生成报表；所述方法还包括：获取预先配置的各个维度项，以及与各个维度项关联的度量项；根据预先配置的各个维度项和各个度量项，以及各个待生成报表包含的维度项和度量项，构建Hbase宽表，其中，所述Hbase宽表的每一行对应一个待生成报表中一条数据记录的维度项和度量项。
本发明实施例还提供一种基于Hbase的报表生成装置，用以解决现有技术采用关系型数据库存储报表数据，在大数据环境下会产生过多冗余数据，而采用大数据分布式数据库存储报表数据，存在数据实时查询和统计效率低的技术问题，该装置包括：指令接收模块，用于接收外部输入的选择指令，其中，选择指令用于选择待生成报表的一个或多个维度项，以及每个维度项关联的一个或多个度量项；数据查询模块，用于根据选择指令选择的各个维度项和各个度量项，从预先构建的Hbase宽表中，查询待生成报表每个维度项对应各个度量项的数据，其中，Hbase宽表包含：第一列簇和第二列簇，第一列簇用于存储各个维度项的统计数据，第二列簇用于存储各个度量项的统计数据；报表生成模块，用于根据待生成报表各个维度项对应各个度量项的数据，生成待生成报表；所述装置还包括：配置模块，用于获取预先配置的各个维度项，以及与各个维度项关联的度量项；Hbase宽表构建模块，用于根据预先配置的各个维度项和各个度量项，以及各个待生成报表包含的维度项和度量项，构建Hbase宽表，其中，所述Hbase宽表的每一行对应一个待生成报表中一条数据记录的维度项和度量项。
本发明实施例还提供一种计算机设备，用以解决现有技术采用关系型数据库存储报表数据，在大数据环境下会产生过多冗余数据，而采用大数据分布式数据库存储报表数据，存在数据实时查询和统计效率低的技术问题，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于Hbase的报表生成方法。
本发明实施例还提供一种计算机可读存储介质，用以解决现有技术采用关系型数据库存储报表数据，在大数据环境下会产生过多冗余数据，而采用大数据分布式数据库存储报表数据，存在数据实时查询和统计效率低的技术问题，该计算机可读存储介质存储有执行上述基于Hbase的报表生成方法的计算机程序。
本发明实施例中，通过预先根据所有待生成报表包含的统计维度和度量指标，在Hbase数据库中构建一个Hbase宽表，以便将所有待生成报表的统计数据写入到Hbase宽表中，在接收到用户输入的选择指令后，根据选择指令选择的各个维度项和各个度量项，从预先构建的Hbase宽表中，查询待生成报表每个维度项对应各个度量项的数据，进而根据待生成报表各个维度项对应各个度量项的数据，生成待生成报表。
通过本发明实施例，能够根据用户自定义选择的统计维度和度量指标，实时查询或统计报表数据，进而生成报表。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中提供的一种基于Hbase的报表生成方法流程图；
图2为本发明实施例中提供的一种表结构示意图；
图3为本发明实施例中提供的一种基于Hbase的报表生成装置示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
本发明实施例中提供了一种基于Hbase的报表生成方法，可以应用但不限于跨集群的大数据关联查询***。本发明实施例通过预先将数据写入HBASE宽表，在页面展示时，根据统计维度与度量指标的选择实时进行查询计算。
图1为本发明实施例中提供的一种基于Hbase的报表生成方法流程图，如图1所示，该方法可以包括如下步骤：
S101，接收外部输入的选择指令，其中，选择指令用于选择待生成报表的一个或多个维度项，以及每个维度项关联的一个或多个度量项。
需要说明的是，本发明实施例中每个维度项对应一个统计维度；每个度量项对应一个度量指标，上述S101接收的选择指令可以是用户在报表展示页面上，对待生成报表的统计维度和度量指标进行勾选的指令。可选地，本发明实施例提供的报表展示页面中，可以设置各个维度项或度量项实现联动选择，仅允许勾选存在统计关系的维度项和度量项的组合，即在选中某项或几项维度或度量项时，仅允许继续勾选与之相关的其他维度或度量项。
通常，一个信息***中，用于统计分析的维度项和度量项都是有限的，因而，可本发明实施例预先根据各个待生成报表所有的统计维度和度量指标，创建一个图2所示表结构的横表，该横表的每行代表一个待生成表包含的维度项和度量项。
例如，对于一个网管***，用于统计的维度项可以包括：时间、省、市、区、设备类型、设备厂商、端口类型等；度量项可以包括：设备数、端口数、平均上行流量、最大发送光功率等。通过任意组合各个维度和关联的度量指标，能够生成各种维度的数据统计表。
S102，根据选择指令选择的各个维度项和各个度量项，从预先构建的Hbase宽表中，查询待生成报表每个维度项对应各个度量项的数据，其中，Hbase宽表包含：第一列簇和第二列簇，第一列簇用于存储各个维度项的统计数据，第二列簇用于存储各个度量项的统计数据。
作为一种可选的实施方式，本发明实施例提供的基于Hbase的报表生成方法，可以通过如下步骤来构建Hbase宽表：获取预先配置的各个维度项，以及与各个维度项关联的度量项；根据预先配置的各个维度项和各个度量项，以及各个待生成报表包含的维度项和度量项，构建Hbase宽表，其中，Hbase宽表的每一行对应一个待生成报表中一条数据记录的维度项和度量项。本发明实施例通过将报表相关的所有统计数据写入Hbase数据库中的同一套宽表中，能够实现根据维度与度量的组合，分层统计数据，以便在页面查询报表时，可临时选择想要查看的维度项和度量项。另外，在选中全部想查看的维度与度量项全部选中后，从Hbase宽表中查询指定列的数据，生成报表，并实时展示。
需要注意的是，本发明实施例中构建的Hbase宽表的表结构也如图2所示，在Hbase数据库中构建Hbase表，并定义至少两个列簇，一个用于管理各个统计维度的列(即第一列簇)，一个用于管理各个度量指标的列(即第二列簇)。
进一步地，在根据预先配置的各个维度项和各个度量项，以及各个待生成报表包含的维度项和度量项，构建Hbase宽表之后，还可以包括如下步骤：采集各个待生成报表的统计数据；将各个待生成报表的统计数据，写入到Hbase宽表。
在采集到各个待生成报表的原始数据后，进行分层汇总，将汇总结果写入Hbase数据库构建的Hbase宽表。需要注意的是，在写入数据的时候，如果Hbase宽表中某列维度项或某列度量项不涉及该层统计，则设置该字段数据为-1或空值。
可选地，在采集各个待生成报表的统计数据的时候，可以按照如下步骤来实现：采集第一待生成报表的统计数据；根据第一待生成报表的统计数据，生成第二待生成报表的统计数据，其中，第二待生成报表中包含的维度项或度量项均在第一待生成报表中。
需要注意的是，在分层汇总数据写入Hbase宽表的时候，可以按照根据维度的数量从多到少排序，分别汇总；如果某层汇总的维度与度量均是之前某项汇总的子集，则直接根据之前那次汇总结果做二次汇总，如之前已根据日期+区域+设备类型对设备数进行过汇总，则后续再要根据日期+区域汇总时，可直接在之前的结果基础上进行汇总；果没有已存的结果做二次汇总，则直接根据原始数据进行统计。
S103，根据待生成报表各个维度项对应各个度量项的数据，生成待生成报表。
具体地，上述S103中，当用户通过勾选的方式，选中待生成报表所有的维度项及对应的各个度量项后，可以在HBase数据库中查询指定列的数据，并实时在报表展示页面展示生成的报表。
由上可知，本发明实施例提供的基于Hbase的报表生成方法，通过预先根据所有待生成报表包含的统计维度和度量指标，在Hbase数据库中构建一个Hbase宽表，以便将所有待生成报表的统计数据写入到Hbase宽表中，在接收到用户输入的选择指令后，根据选择指令选择的各个维度项和各个度量项，从预先构建的Hbase宽表中，查询待生成报表每个维度项对应各个度量项的数据，进而根据待生成报表各个维度项对应各个度量项的数据，生成待生成报表。
通过本发明实施例提供的基于Hbase的报表生成方法，能够根据用户自定义选择的统计维度和度量指标，实时查询或统计报表数据，进而生成报表。
基于同一发明构思，本发明实施例中还提供了一种基于Hbase的报表生成装置，如下面的实施例所述。由于该装置实施例解决问题的原理与基于Hbase的报表生成方法相似，因此该装置实施例的实施可以参见方法的实施，重复之处不再赘述。
图3为本发明实施例中提供的一种基于Hbase的报表生成装置示意图，如图3所示，该装置可以包括：指令接收模块31、数据查询模块32和报表生成模块33。
其中，指令接收模块31，用于接收外部输入的选择指令，其中，选择指令用于选择待生成报表的一个或多个维度项，以及每个维度项关联的一个或多个度量项；数据查询模块32，用于根据选择指令选择的各个维度项和各个度量项，从预先构建的Hbase宽表中，查询待生成报表每个维度项对应各个度量项的数据，其中，Hbase宽表包含：第一列簇和第二列簇，第一列簇用于存储各个维度项的统计数据，第二列簇用于存储各个度量项的统计数据；报表生成模块33，用于根据待生成报表各个维度项对应各个度量项的数据，生成待生成报表。
在一种可选的实施例中，本发明实施例提供的基于Hbase的报表生成装置还可以包括：配置模块34，用于获取预先配置的各个维度项，以及与各个维度项关联的度量项；Hbase宽表构建模块35，用于根据预先配置的各个维度项和各个度量项，以及各个待生成报表包含的维度项和度量项，构建Hbase宽表，其中，Hbase宽表的每一行对应一个待生成报表中一条数据记录的维度项和度量项。
在一种可选的实施例中，本发明实施例提供的基于Hbase的报表生成装置还可以包括：数据采集模块36，用于采集各个待生成报表的统计数据；数据存储模块37，用于将各个待生成报表的统计数据，写入到Hbase宽表。
可选地，上述数据采集模块36还用于采集第一待生成报表的统计数据；以及根据第一待生成报表的统计数据，生成第二待生成报表的统计数据，其中，第二待生成报表中包含的维度项或度量项均在第一待生成报表中。
本发明实施例还提供一种计算机设备，用以解决现有技术采用关系型数据库存储报表数据，在大数据环境下会产生过多冗余数据，而采用大数据分布式数据库存储报表数据，存在数据实时查询和统计效率低的技术问题，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于Hbase的报表生成方法。
本发明实施例还提供一种计算机可读存储介质，用以解决现有技术采用关系型数据库存储报表数据，在大数据环境下会产生过多冗余数据，而采用大数据分布式数据库存储报表数据，存在数据实时查询和统计效率低的技术问题，该计算机可读存储介质存储有执行上述基于Hbase的报表生成方法的计算机程序。
综上所述，本发明实施例提供了一种基于Hbase的报表生成方法、装置、计算机设备及计算机可读存储介质，通过列出所有在报表中会涉及的统计维度，根据可能会同时出现在同一份报表的维度和与维度相关的度量项进行组合，构造分析表与HBase宽表。在分析表中列出所有可能用于统计分析的维度项和度量项，将所有的的维度和度量项为列排成一张横表，每种可能组成报表的组合写成一行，支持用户勾选实现维度和度量项的选择组合。在统计宽表中，采用与分析表一致的数据结构；利用构建的统计HBase宽表对原始数据进行分层汇总，以便通过分析表选中待生成报表的各个维度项与度量项后，在HBase中查询指定列的数据，实时在前端生成报表展示。
通过本发明实施例，针对同一大类的报表业务只构造一张完备的Hbase宽表，将数据预先写入Hbase宽表，将所有具备关联性的维度与指标信息全部写在一张表内实现，对多张具备关联性的事实表进行合并重组，能够实现可交互式的报表实时构造逻辑。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于Hbase的报表生成方法，其特征在于，包括：
接收外部输入的选择指令，其中，所述选择指令用于选择待生成报表的一个或多个维度项，以及每个维度项关联的一个或多个度量项；
根据所述选择指令选择的各个维度项和各个度量项，从预先构建的Hbase宽表中，查询所述待生成报表每个维度项对应各个度量项的数据，其中，所述Hbase宽表包含：第一列簇和第二列簇，所述第一列簇用于存储各个维度项的统计数据，所述第二列簇用于存储各个度量项的统计数据；
根据所述待生成报表各个维度项对应各个度量项的数据，生成所述待生成报表；
所述方法还包括：
获取预先配置的各个维度项，以及与各个维度项关联的度量项；
根据预先配置的各个维度项和各个度量项，以及各个待生成报表包含的维度项和度量项，构建Hbase宽表，其中，所述Hbase宽表的每一行对应一个待生成报表中一条数据记录的维度项和度量项。
2.如权利要求1所述的方法，其特征在于，在根据预先配置的各个维度项和各个度量项，以及各个待生成报表包含的维度项和度量项，构建Hbase宽表之后，所述方法还包括：
采集各个待生成报表的统计数据；
将各个待生成报表的统计数据，写入到所述Hbase宽表。
3.如权利要求2所述的方法，其特征在于，采集各个待生成报表的统计数据，包括：
采集第一待生成报表的统计数据；
根据所述第一待生成报表的统计数据，生成第二待生成报表的统计数据，其中，所述第二待生成报表中包含的维度项或度量项均在所述第一待生成报表中。
4.一种基于Hbase的报表生成装置，其特征在于，包括：
指令接收模块，用于接收外部输入的选择指令，其中，所述选择指令用于选择待生成报表的一个或多个维度项，以及每个维度项关联的一个或多个度量项；
数据查询模块，用于根据所述选择指令选择的各个维度项和各个度量项，从预先构建的Hbase宽表中，查询所述待生成报表每个维度项对应各个度量项的数据，其中，所述Hbase宽表包含：第一列簇和第二列簇，所述第一列簇用于存储各个维度项的统计数据，所述第二列簇用于存储各个度量项的统计数据；
报表生成模块，用于根据所述待生成报表各个维度项对应各个度量项的数据，生成所述待生成报表；
所述装置还包括：
配置模块，用于获取预先配置的各个维度项，以及与各个维度项关联的度量项；
Hbase宽表构建模块，用于根据预先配置的各个维度项和各个度量项，以及各个待生成报表包含的维度项和度量项，构建Hbase宽表，其中，所述Hbase宽表的每一行对应一个待生成报表中一条数据记录的维度项和度量项。
5.如权利要求4所述的装置，其特征在于，所述装置还包括：
数据采集模块，用于采集各个待生成报表的统计数据；
数据存储模块，用于将各个待生成报表的统计数据，写入到所述Hbase宽表。
6.如权利要求5所述的装置，其特征在于，所述数据采集模块还用于采集第一待生成报表的统计数据；以及根据所述第一待生成报表的统计数据，生成第二待生成报表的统计数据，其中，所述第二待生成报表中包含的维度项或度量项均在所述第一待生成报表中。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任一项所述基于Hbase的报表生成方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至3任一项所述基于Hbase的报表生成方法的计算机程序。
CN201911264252.4A 2019-12-11 2019-12-11 基于Hbase的报表生成方法及装置 Active CN111026759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911264252.4A CN111026759B (zh) 2019-12-11 2019-12-11 基于Hbase的报表生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911264252.4A CN111026759B (zh) 2019-12-11 2019-12-11 基于Hbase的报表生成方法及装置

Publications (2)

Publication Number Publication Date
CN111026759A CN111026759A (zh) 2020-04-17
CN111026759B true CN111026759B (zh) 2024-03-12

Family

ID=70208798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911264252.4A Active CN111026759B (zh) 2019-12-11 2019-12-11 基于Hbase的报表生成方法及装置

Country Status (1)

Country Link
CN (1) CN111026759B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563082B (zh) * 2020-04-30 2023-09-19 中国银行股份有限公司 报表生成方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1492336A (zh) * 2003-09-04 2004-04-28 上海格尔软件股份有限公司 基于数据仓库的信息安全审计方法
US7143107B1 (en) * 2003-06-26 2006-11-28 Microsoft Corporation Reporting engine for data warehouse
WO2016041373A1 (zh) * 2014-09-16 2016-03-24 中兴通讯股份有限公司 一种数据查询的方法及装置
CN107451109A (zh) * 2017-07-05 2017-12-08 北京京东尚科信息技术有限公司 报表生成方法及***
CN108664638A (zh) * 2018-05-15 2018-10-16 口碑(上海)信息技术有限公司 基于指标体系的报表生成方法及装置
CN109508338A (zh) * 2018-11-23 2019-03-22 成都四方伟业软件股份有限公司 数据报表关联方法及装置
WO2019178979A1 (zh) * 2018-03-21 2019-09-26 平安科技（深圳）有限公司 报表数据查询方法、装置、存储介质和服务器
CN110297855A (zh) * 2019-05-22 2019-10-01 深圳壹账通智能科技有限公司 报表动态展示方法、装置、计算机设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020158B (zh) * 2012-11-26 2016-09-07 中兴通讯股份有限公司 一种报表创建方法、装置和***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7143107B1 (en) * 2003-06-26 2006-11-28 Microsoft Corporation Reporting engine for data warehouse
CN1492336A (zh) * 2003-09-04 2004-04-28 上海格尔软件股份有限公司 基于数据仓库的信息安全审计方法
WO2016041373A1 (zh) * 2014-09-16 2016-03-24 中兴通讯股份有限公司 一种数据查询的方法及装置
CN107451109A (zh) * 2017-07-05 2017-12-08 北京京东尚科信息技术有限公司 报表生成方法及***
WO2019178979A1 (zh) * 2018-03-21 2019-09-26 平安科技（深圳）有限公司 报表数据查询方法、装置、存储介质和服务器
CN108664638A (zh) * 2018-05-15 2018-10-16 口碑(上海)信息技术有限公司 基于指标体系的报表生成方法及装置
CN109508338A (zh) * 2018-11-23 2019-03-22 成都四方伟业软件股份有限公司 数据报表关联方法及装置
CN110297855A (zh) * 2019-05-22 2019-10-01 深圳壹账通智能科技有限公司 报表动态展示方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于数据仓库的指标体系研究;刘黎志;;计算机技术与发展(01);全文 *
大型企业报表引擎的优化设计与实现;何拥军;曾文权;;计算机技术与发展(08);全文 *

Also Published As

Publication number Publication date
CN111026759A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN102521416B (zh) 数据关联查询方法和数据关联查询装置
US20180210934A1 (en) Systems and methods for interest-driven business intelligence systems including event-oriented data
AU2020203027B2 (en) Generating, accessing, and displaying lineage metadata
CN106095862B (zh) 集中式可扩展融合型多维复杂结构关系数据的存储方法
CN107622103B (zh) 管理数据查询
CN107016001B (zh) 一种数据查询方法及装置
US9824127B2 (en) Systems and methods for interest-driven data visualization systems utilized in interest-driven business intelligence systems
CN103778135A (zh) 一种实时数据的分布存储和分页查询方法
Khan et al. SQL Database with physical database tuning technique and NoSQL graph database comparisons
US20060271583A1 (en) Dimension member sliding in online analytical processing
Junghanns et al. Gradoop: Scalable graph data management and analytics with hadoop
CN105117442B (zh) 一种基于概率的大数据查询方法
WO2015042070A1 (en) Densely grouping dimensional data
CN107103032A (zh) 一种分布式环境下避免全局排序的海量数据分页查询方法
US20150074071A1 (en) Method and system for performing transactional updates in a key-value store
CN103036921B (zh) 一种用户行为分析***和方法
CN105022791A (zh) 一种新型的kv分布式数据存储方法
Spasic et al. An RDF Dataset Generator for the Social Network Benchmark with Real-World Coherence.
CN111026759B (zh) 基于Hbase的报表生成方法及装置
KR20050044380A (ko) 데이터의 결합 및 제시 방법
CN115658680A (zh) 数据存储方法、数据查询方法和相关装置
CN114443742A (zh) 一种k线图的展示方法、装置和设备
CN112667859A (zh) 基于内存的数据处理方法及装置
CN111949743A (zh) 网点运营数据获取方法、装置及设备
CN112286995B (zh) 一种数据分析方法、装置、服务器、***及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant