CN109446246A - 一种实时数据化报表***及生成方法 - Google Patents

Abstract

本发明涉及一种实时数据化报表***及生成方法，所述***通过监听程序，实时监听业务数据库中数据的变化，抽取数据并将复杂的业务逻辑构成，拆分成最小单位，自定义成指标库中的指标，通过配置公式解析进行计算，最终生成报表，从而达到实时、高效的目的。

Description

一种实时数据化报表***及生成方法

技术领域

本发明涉及汽车销售、售后、库存、备件等业务***的报表支持技术领域，具体涉及一种实时数据化报表***及生成方法。

背景技术

报表是企业管理的基本措施和途径，是企业的基本业务要求，也是实施BI战略的基础，报表可以通过不同维度对业务数据汇总分析，为业务人员、决策者制定计划和总结都提供了可靠的数据依据。

随着IT技术的快速发展，很多企业推出了各种快速配置报表产品，这些产品可以配置数据源，动态设置表头，快速生成报表。然而对一些业务逻辑较为复杂，数据实时性比较高的需求，支持却不是很好，且不同报表中相同的元数据不能重复使用，造成数据库压力过大，甚至内存溢出。

在传统报表***中，大多通过缓存机制，只能查询截止到昨日、上周、上个月的数据，无法满足数据实时性，且在多张不同报表中，会展示一个取数业务逻辑相同的数据项，当取数逻辑发生变化时，多个业务报表的取数逻辑均需要修改。

发明内容

有鉴于此，本发明提供一种实时数据化报表***及生成方法，通过监听程序，实时监听业务数据库中数据的变化，抽取数据并将复杂的业务逻辑构成，拆分成最小单位，自定义成指标库中的指标，通过配置公式解析进行计算，最终生成报表，从而达到实时、高效的目的。

为实现上述目的，本发明公开所述***包括实时数据同步模块、定义指标库模块、合成报表模块：

实时数据同步模块，用于监听业务数据表中数据的变化，并将监测到的数据信息解析封装成固定格式的实时数据对象，推送至消息队列中，并在消息队列中对实时数据解析处理，并将实时数据持久化；

定义指标库模块，用于通过使用任务队列管理所有指标的数据抽取，根据任务类型不同分为截存任务和汇总任务，所述截存任务是定时任务查询业务数据库截存历史数据，所述执行汇总任务，按年月日汇总各指标项数据，并生成报表；

合成报表模块，通过指标库能任意组合各种指标合成报表，并在行列交叉的单元格内配置计算公式，通过解析动态配置的数据模板，用算法解析公式的优先级进行数值计算，最终生成报表。

在上述技术方案中，所述实时数据同步模块中，所述业务数据库中数据变化包括增加、修改、删除操作。

在上述技术方案中，所述实时数据同步模块还包括监听表和字段的配置。

在上述技术方案中，所述实时数据同步模块中实时数据通过监听实时同步数量、金额相关的数据，根据业务类型区分持久化到指标库中，用于在报表汇总中使用；

监听明细记录持久化到非关系型数据库中存储，用于在报表明细中使用。

在上述技术方案中，所述合成报表模块中运用指标库生成相关的仪表图、柱状图、饼图，折线图，以及显示同比环比的数据。

本发明还公开一种实时数据化报表生成方法，所述方法包括以下步骤：

S1、监听数据数据表日志变化并读取解析日志，实时监听业务数据表中的数据变化，并将监测到的数据信息解析封装成固定格式的数据对象，推送至消息队列中；

S2、封装的实时数据发送至消息队列后，读取并解所述实时数据；

S3、实时数据通过监听实时同步数据后，根据业务类型将数据持久化到指标库中，将明细数据持久化到非关系型数据中，生成明细报表；

S4、定时任务查询业务数据库截存历史数据；

S5、执行汇总任务，按年月日汇总各指标项数据，将汇总数据封装为指定格式，持久化到缓存中，生成报表。

本发明一种实时数据化报表***及生成方法，具有以下有益效果：所述***有效的解决了业务报表数据实时化的问题，保证了数据展示的及时性和准确性，同时实现了相同业务指标的复用，便于后期业务变更产生的大量维护工作，减小了对业务数据库的压力。

附图说明

图1为本发明一种实时数据化报表***模块图；

图2为本发明一种实时数据化报表生成方法流程图。

具体实施方式

下面结合附图对本发明作进一步详细描述，本发明提供一种实时数据化报表***，所述***包括实时数据同步模块、定义指标库模块、合成报表模块：

实时数据同步模块，用于监听业务数据表中数据的变化，并将监测到的数据信息解析封装成固定格式的实时数据对象，推送至消息队列中，并在消息队列中对实时数据解析处理，并将实时数据持久化；

其中，所述持久化是指将得到的数据进行预计算，并将预计算的结果先缓存，提高访问数据的高效性。

其中，所述实时数据同步模块中，所述业务数据库中数据变化包括增加、修改、删除操作。

其中，所述实时数据同步模块还包括监听表和字段的配置。监听程序要监听数据表、数据字段，监听操作类型，均通过配置文件动态配置。程序加载并解析这些配置文件，根据相关配置指令对业务表进行监听或忽略。

其中，由于业务***操作数据频繁，监听到的数据变化信息量过大，运用消息队列，进出栈的方式存储实时数据，使用多线程调度分发机制，快速的处理消息队列中的数据，并进行持久化。

其中，所述实时数据同步模块中实时数据通过监听实时同步数量、金额相关的数据，根据业务类型区分持久化到指标库中，用于在报表汇总中使用；

监听明细记录持久化到非关系型数据库中存储，用于在报表明细中使用。

定义指标库模块，用于通过使用任务队列管理所有指标的数据抽取，根据任务类型不同分为截存任务和汇总任务，所述截存任务是定时任务查询业务数据库截存历史数据，所述执行汇总任务，按年月日汇总各指标项数据，并生成报表；

其中，所述指标库是把复杂的业务逻辑构成，拆分成最小单位、最单一的业务指标集合。

所述截存任务每天凌晨定时查询业务数据库，将该指标前一天的数据存入指标库中。

所述汇总任务是间隔几分钟就执行依次，将指标库中的数据按日、月、年汇总，并将汇总数据封装成指定格式，持久化到缓存中。

合成报表模块，通过指标库能任意组合各种指标合成报表，并在行列交叉的单元格内配置计算公式，通过解析动态配置的数据模板，用算法解析公式的优先级进行数值计算，最终生成报表。

其中，所述合成报表模块中运用指标库生成相关的仪表图、柱状图、饼图，折线图，以及显示同比环比的数据。

本发明还提供一种实时数据化报表生成方法，所述方法包括以下步骤：

S1、监听数据数据表日志变化并读取解析日志，实时监听业务数据表中的数据变化，并将监测到的数据信息解析封装成固定格式的数据对象，推送至消息队列中；

S2、封装的实时数据发送至消息队列后，读取并解所述实时数据；

S3、实时数据通过监听实时同步数据后，根据业务类型将数据持久化到指标库中，将明细数据持久化到非关系型数据中，生成明细报表；

S4、定时任务查询业务数据库截存历史数据；

S5、执行汇总任务，按年月日汇总各指标项数据，将汇总数据封装为指定格式，持久化到缓存中，生成报表。

以上方法实施例与***实施例是一一对应的，方法实施例简略之处，参见***实施例即可。

说明书中未阐述的部分均为现有技术或公知常识。本实施方式仅用于说明该发明，而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。

Claims (6)

1.一种实时数据化报表***，其特征在于，所述***包括实时数据同步模块、定义指标库模块、合成报表模块：

实时数据同步模块，用于监听业务数据表中数据的变化，并将监测到的数据信息解析封装成固定格式的实时数据对象，推送至消息队列中，并在消息队列中对实时数据解析处理，并将实时数据持久化；

定义指标库模块，用于通过使用任务队列管理所有指标的数据抽取，根据任务类型不同分为截存任务和汇总任务，所述截存任务是定时任务查询业务数据库截存历史数据，所述执行汇总任务，按年月日汇总各指标项数据，并生成报表；

合成报表模块，通过指标库能任意组合各种指标合成报表，并在行列交叉的单元格内配置计算公式，通过解析动态配置的数据模板，用算法解析公式的优先级进行数值计算，最终生成报表。

2.根据权利要求1所述一种实时数据化报表***，其特征在于，所述实时数据同步模块中，所述业务数据库中数据变化包括增加、修改、删除操作。

3.根据权利要求1所述一种实时数据化报表***，其特征在于，所述实时数据同步模块还包括监听表和字段的配置。

4.根据权利要求1所述一种实时数据化报表***，其特征在于，所述实时数据同步模块中实时数据通过监听实时同步数量、金额相关的数据，根据业务类型区分持久化到指标库中，用于在报表汇总中使用；

监听明细记录持久化到非关系型数据库中存储，用于在报表明细中使用。

5.根据权利要求1所述一种实时数据化报表***，其特征在于，所述合成报表模块中运用指标库生成相关的仪表图、柱状图、饼图，折线图，以及显示同比环比的数据。

6.一种实时数据化报表生成方法，其特征在于，所述方法包括以下步骤：

S1、监听数据数据表日志变化并读取解析日志，实时监听业务数据表中的数据变化，并将监测到的数据信息解析封装成固定格式的数据对象，推送至消息队列中；

S2、封装的实时数据发送至消息队列后，读取并解所述实时数据；

S3、实时数据通过监听实时同步数据后，根据业务类型将数据持久化到指标库中，将明细数据持久化到非关系型数据中，生成明细报表；

S4、定时任务查询业务数据库截存历史数据；

S5、执行汇总任务，按年月日汇总各指标项数据，将汇总数据封装为指定格式，持久化到缓存中，生成报表。