CN105279143A - 一种周期性报表*** - Google Patents

Abstract

本发明公开了一种周期性报表***，所述报表***包括任务管理模块、统计模块和报表模块，所述任务管理模块创建统计任务和报表任务，在每个统计任务的统计周期到达后，调度统计模块执行该统计任务，所述统计模块读取统计任务对应的数据集模板，从数据集模板指定的数据源中读取当前统计周期内数据，按照数据集模板执行统计；所述任务管理模块在每个报表任务的报表时间到达后，调度报表模块执行该报表任务，调度报表模块读取报表任务对应的报表配置模板，按照报表配置模板从统计结果数据中获取数据，生成周期性报表。本发明的周期性报表***，不需要为每一个周期性报表分别编写处理代码，方便快速部署和维护。

Description

一种周期性报表***

技术领域

本发明属于数据处理技术领域，尤其涉及一种周期性报表***。

背景技术

报表功能在应用软件***中非常重要，它通过提取***最有价值的数据，并按用户需求生成图表。实现一个定制化报表有两个方面需要处理，首先是获取业务数据并按要求进行统计，然后是将统计好的数据交给第三方报表工具生成实际的报表，也可以调用开发环境的原生图形API来绘制对应的图表。周期性报表则是按特定周期将数据进行趋势统计，还可以是对多组不同时间段的数据进行同比和环比。周期数据统计在很多行业都大有用途，统计后数据一般都需要进行报表呈现。

然而由于业务的数据类型和统计规则都不确定，难以通过一套通用的代码框架完成所有周期数据统计功能。因此不同项目通常是各自编码实现整个过程，包括注册周期定时器，创建数据库表保存统计结果，每个周期定时器触发后执行周期数据统计并保存结果到库表，最后依赖统计数据借助第三方报表工具读取结果数据库生成最终报表。

更高级的实现可以通过写数据库存储过程来实现业务数据的统计，但统计过程的周期调度还是需要程序来完成，最后统计结果再利用第三方或数据库自带报表工具生成报表。

目前每个项目自己编码实现其实是比较常见的方式，但这种方式过于原始，开发维护工作量大；数据库存储过程方式也有编写规则复杂，难以维护，不能跨数据库统计等问题，且还需要自行实现周期调度。且以后如果升级到其它厂商数据库，就有需要重写脚本的风险。最后在处理时下一些新的非关系型数据库甚至大数据查询接口返回的JSON(JavaScriptObjectNotation)数据时，更是无能为力。

发明内容

本发明的目的是提供一种周期性报表***，从周期统计到报表生成过程实现自动化，避免对每个项目都需要单独编码等现有技术问题。

为了实现上述目的，本发明技术方案如下：

一种周期性报表***，所述报表***包括任务管理模块、统计模块和报表模块，其中：

所述任务管理模块，用于统计任务和报表任务的创建、修改和查询，在每个统计任务的统计周期到达后，调度统计模块执行该统计任务，在每个报表任务的报表时间到达后，调度报表模块执行该报表任务；

所述统计模块，用于读取统计任务对应的数据集模板，从数据集模板指定的数据源中读取当前统计周期内数据，按照数据集模板执行统计后，将统计结果数据和本次任务的执行结果保存；

所述报表模块，用于读取报表任务对应的报表配置模板，按照报表配置模板从统计结果数据中获取数据，生成周期性报表。

进一步地，所述统计任务包括统计任务编码、统计任务所在组、统计任务参数、统计任务采用的数据集模板名称；所述数据集模板包括统计任务获取统计数据时的数据源、字段列表、统计参数列表、分组和排序规则。

进一步地，所述统计任务参数包括统计任务的周期类型、老化数据保存天数、统计任务依赖的上级任务或上级任务组、统计任务对应的数据库。

进一步地，所述统计模块在执行统计任务时，在依赖的统计任务或者任务组内所有统计任务统计成功后，才能执行当前统计任务的统计。

所述统计任务对应的数据库包括目的数据库和任务历史执行记录表，所述统计模块在执行统计任务时，将统计结果数据保存在目的数据库，将本次任务的执行结果保存在任务历史执行记录表中。

所述统计模块在执行统计任务时，将统计任务参数传给所述数据集模板。

本发明所述报表任务包括报表任务编码、报表任务参数、报表任务采用的报表配置模板、报表样式文件；所述报表样式文件包括报表样式、报表元素和布局；所述报表任务参数包括报表时间、统计对象和统计周期类型。

进一步地，所述报表配置模板包括输入参数、报表样式文件的名称和路径、报表元素对应的报表数据集，所述输入参数包括报表时间、统计对象和统计周期类型。

进一步地，所述报表模块在执行报表任务时，将报表任务参数传给所述报表配置模板。

所述报表模块根据报表配置模板为报表元素获取报表数据集，然后按照报表样式文件生成报表。

本发明提出了一种周期性报表***，通过创建统计任务和报表任务，实现数据周期统计到报表生成过程自动化。实现一个周期性报表，只需要配置好统计任务和报表任务并提供相关的数据集模板和报表配置模板即可，不需要为每一个周期性报表分别编写处理代码，方便快速部署和维护。

同时本发明的周期性报表***对第三方数据源和报表的依赖性小，扩展和配置简单，可定制，无需额外编写代码。比如在交通监控软件中，可实现实时统计不同路段一天中每个小时不同车型违章数量的分布情况，实现定时生成报表或实时生成报表的功能。

本发明使用数据集模板描述的周期报表数据统计规则，使得复杂的业务统计过程通过简单的描述来自动构建后台数据统计引擎。并且报表任务可配置，非专业人员即可上手修改，定制开发报表。本发明还可使用任务历史执行记录表来查看统计结果，方便故障定位，同时保障了统计过程的鲁棒性，防止同一周期数据被重复统计，或者在所依赖的任务未执行成功时就开始统计。

附图说明

图1为本发明一种周期性报表***的***框图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

本发明的总体思路是通过数据集模板来定义数据源周期统计规则，同时配置好报表配置模板，通过解析数据集模板定义的统计规则，先按其指定的周期来对原始数据进行周期统计，最后结合报表配置模板定时生成周期报表。数据统计的来源可以多样性，支持从数据库，json，xml文档等数据源获取，统计结果数据的保存支持跨数据库，也可以直接传给第三方报表工具来生成最终报表。另外会保存所有任务的历史执行记录，方便***维护和问题定位。

如图1所示，本实施例一种周期性报表***，包括任务管理模块、统计模块和报表模块，以下分别进行详细的描述。

任务管理模块，用于统计任务和报表任务的创建、修改和查询，在每个统计任务的统计周期到达后，调度统计模块执行该统计任务，在每个报表任务的报表时间到达后，调度报表模块执行该报表任务。

统计模块，用于读取统计任务对应的数据集模板，从数据集模板指定的数据源中读取当前统计周期内数据，按照数据集模板定义的统计规则执行统计后，将统计结果数据和本次任务的执行结果保存。

报表模块，用于读取报表任务对应的报表配置模板，按照报表配置模板获取数据，生成周期性报表。

本实施例一个统计任务，包括如下内容：

统计任务编码：唯一标识一个统计任务。

统计任务所在组：每个统计任务对应有各自的任务所在组，方便管理任务。任务所在组为可选项，例如本实施例设置了三个任务所在组，分别为：***分组(system分组)，交通违章分组，交通流量分组。其中***分组代表***内部任务，每次***启动后会自动进入调度队列执行。

统计任务采用的数据集模板名称：所采用的数据集模板名称。

统计任务参数：包括统计任务的周期类型、老化数据保存天数、统计任务依赖的上级任务或上级任务组、统计任务对应的数据库等。其中任务的周期类型包括小时，天，月，年四种周期类型；老化数据保存天数为指定统计任务的统计结果数据保留的天数，过期数据会自动删除；任务依赖的上级任务或上级任务组是指定统计任务的统计顺序，即需要所依赖的统计任务或者任务组内所有统计任务统计成功后，才能执行当前统计任务的统计；任务对应的数据库包括目的数据库和任务历史执行记录表等。统计任务参数在任务执行时会传给数据集模板，当然统计任务参数也可以在数据集模板里进行定义，即在数据集模板中直接写入。

本实施例一个报表任务，包括如下内容：

报表任务编码：唯一标识一个报表任务。

报表任务参数：包括报表时间、统计对象、统计周期类型等，其中报表时间定义报表任务的开始时间和结束时间，统计对象定义了报表任务针对的对象。统计周期类型为小时，天，月，年四种周期类型。报表任务参数在任务执行时会传给报表配置模板，报表任务参数也可以在报表配置模板里进行定义，即在报表配置模板中直接写入。

报表任务采用的报表配置模板：所采用的报表配置模板名称。

报表样式文件：定义最终生成的报表样式、报表元素、布局。其中报表样式即定义报表在界面上进行可视化展示的页面设计，报表元素定义了报表的饼图、线图、图表等，布局是指具体采用的饼图、线图、图表等的摆放位置，格式，颜色等。报表配置模板可以完全通过第三方报表工具来自己定制，本发明支持接入第三方报表工具，比如水晶报表工具或者开源的jsaperreport报表工具；报表配置模板也可以自定义生成。

本实施例任务管理模块不仅用于建立统计任务和报表任务，还可用于统计任务和报表任务的修改和查询，从而允许用户对建立的统计任务和报表任务进行修改和查询。同时任务管理模块对于相互依赖的统计任务，还设置相互依赖的统计任务的调度顺序，以便各统计任务按照调度顺序依次执行。统计任务和报表任务保存在任务数据库中，以便任务管理模块调取。

在统计任务的统计周期达到后，任务管理模块调度统计模块对该统计任务进行执行。在执行过程中，读取统计任务的数据集模板，从数据集模板指定的数据源中读取当前统计周期内数据，按照数据集模板定义的统计规则执行统计后，将结果数据保存到目的数据库，最后记录本次任务的执行结果到任务历史执行记录表。

本实施例的数据集模板保存在数据集数据库中，以便统计模块来读取。下面通过一个典型数据集模板来对数据集模板进行说明，其内容是定义一个道路交通违章统计的数据集模板，该数据集模板如下：

其中<source>定义了数据源，数据源是所要统计的原始统计数据所在数据库。如果是从数据源里获取原始待统计数据，则本实施例提供查询用的sql语句，例子中的数据源为原始违章告警数据库，本实施例的sql语句用于从原始违章告警数据库里查询特定时间范围内的违章数量，且对违章数量按小时分组求和；如果是从其它数据源比如web服务器的soap接口获取数据，则提供具体的查询请求url。本实施例数据集模板例子里直接在sql语句中完成了按小时统计违章数量，这样是为了减少网络传输的数据量，提高性能。但这也不是必须的，sql语句里可以不做分组求和运算，直接查出原始结果，统计模块再根据数据集模板定义的聚合规则完成小时数据的统计。sql语句的查询条件必须包含一个时间范围条件，以半开区间的方式引用数据集的起止时间两个参数，这两个参数由统计模块在每个周期到达时，传入当前统计的起止时间范围；sql语句支持条件表达式，拼接子语句等方式，灵活组织。

其中<field>定义了字段列表，用于说明最终周期性统计的结果数据包含哪些列，列的名称和数据类型。最终这些结果数据会按照统计周期保存到对应的小时、天、月、年周期统计数据表里；天周期表里还会额外增加一个week字段，表示星期几。每个字段的值通过对字段表达式进行运算获得，字段表达式可以引用sql语句里字段名或者通过url请求返回的json字段名，引用格式为source.$F{…}，也可以引用自身的其它字段，引用格式为$F{…}，也可以引用外部参数，引用格式为$P{…}；字段表达式内也可以调用数据集模板内置函数完成特定运算，具体参见如下内置函数表：

表1

以上所有内置函数的参数都可以使用任意复杂的表达式，例如如下表达式会获取参数begin_time的时间向后偏移20天后所在月的最后一秒时间：

monthoffset((substr(dayoffset($P{begin_time},20),0,10)+‘23:59:59’),31)。

对于要合并数值的字段，字段表达式需要指定使用的聚合函数，可以使用的聚合函数有sum：求和，avg：求平均，max：取最大值，min：取最小值，count：计数。特别的，如果表达式没有指定聚合函数，每个统计周期内的最后一行数据的值会被字段表达式引用完成求值。

对于周期统计，还须指定一个类型是timestamp的时间字段，用于对每行数据按小时，天，月，年周期作划分时的依据。

其中<param>定义了统计参数列表，统计参数列表定义数据集模板的所有参数。参数可以是外部传入的(在任务管理模块创建统计任务时指定)，也可以是在数据集模板内部通过对引用了外部参数的表达式求值后得来；所有参数可以在sql语句或字段表达式里直接引用。参数必须要有两个类型是timestamp的参数，统计模块会在每次统计时给这两个参数传入不同统计周期的起止时间，约定这两个参数必须定义在参数列表的最前面。

其中<group>定义了分组，结果数据表除了按周期时间分组外，还可以指定按哪些列进行分组。分组时，先从待统计表中筛选出当前统计周期内的所有数据行，进一步的，将这些数据行中，包含相同分组列字段的多行数据，划为同一分组，最后将同一分组内多行数据合并为一行结果数据。分组内数据合并算法同样通过字段表达式里的聚合函数来指定。

其中<sort>定义了排序规则，指定按哪些字段排序，排序的方向是升序还是降序，指定多个sort字段时，按sort字段排列先后进行排序。

本实施例数据集模板提供了丰富的数据统计逻辑表达能力，可以实现多种复杂数据的统计需求。通过把统计规则模板化，可支持更多的数据源类型，包括数据库，大数据查询url接口，web服务器的soap接口等。

上面是对数据集模板语法规则的简单说明，下面我们举个实际的统计例子，可以更加直观的了解其工作原理。

假设原始的违章告警表tbl_vehicle_alarm中，有如下一组违章告警数据，每行数据表示一个违章记录，下表中，每列依次为：道路编码，违章车辆类型，违章方式，违章时间。

tollgate_code	vehicle_type	drive_status	alarm_time
				D1	1	2072	2012-10-1112:00:12
D1	1	2072	2012-10-1112:10:10
				D1	1	2072	2012-10-1116:10:01
D2	1	2072	2012-10-1116:23:22
				D1	1	2072	2012-10-1206:10:02
D1	2	1063	2012-10-1208:00:52
				D1	1	2072	2012-10-1212:00:34

表2

通过上面定义的数据表按前面模板执行小时统计后，得出如下数据表：

表3

字段名称变成了数据集模板里field标签定义的字段名称，且根据其定义的字段列表增加了一个统计违章数量的字段violate_count，代表每小时每个卡口中，每种类型车辆产生的每种类型违章的数量，即上面第一张表中的前两行数据由于是相同卡口相同车辆类型在同一小时内的相同违章，所以他们被归到了一组，相应这的个小时的违章数目被叠加到了2个。

接下来的天周期统计将直接从小时结果表里取数据，所以需要等当天的所有小时统计执行完成后才可以进行天数据统计，这个约束需要由任务管理模块的调度算法来保证。继续按天统计后的数据如下：

表4

按天统计时，合并了小时表中的第1、4条记录，表4里会增加一个星期字段，以便方便的获取当天是周几，后面月和年统计也都类似，且由于当前数据已经是按前面三个字段分组好了，所以继续统计也不会有新数据行被合并。

本实施例任务历史执行记录表用于记录任务每次执行结果，包含的字段有：

任务ID：对应统计任务编码；

执行时间：任务本次任务时间；

执行结果：任务本次任务结果，0表示成功，1表示失败。

以下是任务历史执行记录表的一个示例：

Autoid	Taskid	Exectime	Result
				10000	1	2015-09-0115:01:32	0
10001	1	2015-09-0116:01:32	0
				10002	2	2015-09-0100:01:32	0
10003	3	2015-09-0100:01:32	1
				10004	4	2015-09-0100:01:32	1
10005	1	2015-09-0117:01:32	0
				10006	1	2015-09-0118:01:32	0

表5

引入任务历史执行记录表，除了可以方便查看任务历史执行记录，一个重要的作用是防止同一周期的数据被重复统计，即任务历史执行记录里已经执行成功的周期，不会再次被执行统计。

另外任务历史执行记录表中的记录，还被作为校验任务依赖条件约束的关键数据，即判断当前需要调度的周期任务，其所依赖的任务在当前统计周期里有没有执行成功，比如上面的违章统计中，调度天任务时，就需要判断当天的小时任务有没有都调度成功，这个都是通过查询任务历史执行结果表完成的。

本实施例报表模块，在报表任务的报表时间达到后，读取该报表任务对应的报表配置模板，从目的数据库中获取报表数据集，结合第三方报表工具生成报表。

报表配置模板包括输入参数，报表元素对应的报表数据和报表样式文件，实现对某个报表任务需要输出的报表的完整配置描述。

以下为一个报表配置模板的具体实施例来进行说明：

其中：

输入参数：通过inparam标签指定，可以有多个，用于定义报表时间(开始时间和结束时间)、统计对象、统计周期类型等。在本实施例中，统计对象为卡口，以及采集的卡口编码、卡口名称，以及采集机关编码、采集机关名称；统计周期类型为小时，天，月，年四种周期类型。本发明不限于上述列举的输入参数，还可以包括过滤车辆类型、过滤违章类型等，需更具具体的报表来进行配置。

报表样式文件的名称和路径：通过template标签指定，一个报表只能有一个，其定义了具体生成的报表样式。

报表元素对应的报表数据集：通过datasetrun标签指定，报表数据集对应于统计模块执行统计任务后生成的统计结果数据，一个报表可以有多个数据集，即可以为每个报表元素分别指定不同的数据集，比如一个报表中如果同时有饼图和线图，那么饼图对应一个数据集，线图对应另一个数据集，每个数据集需指定定义了其统计规则的数据集模板名称和数据源名称(数据源可选，如上面模板中最后一个数据集violatePeriodLineData使用了第一个数据集basicLine作为数据源集，即可以在一个数据集的统计结果上进一步统计出另一个数据集，以节约统计成本)。

统计模块统计数据结果存储在目的数据库中，报表模块根据报表配置模板从目的数据库中提取报表数据集，然后按照报表样式文件生成报表。

需要说明的是，报表样式文件的生成可以由报表模块自己生成，也可以由报表模块与第三方报表工具进行交互，由第三方报表工具按照设定的报表样式文件生成报表。本发明支持接入第三方报表工具，比如水晶报表工具或者开源的jsaperreport报表工具。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种周期性报表***，其特征在于，所述报表***包括任务管理模块、统计模块和报表模块，其中：

所述任务管理模块，用于统计任务和报表任务的创建、修改和查询，在每个统计任务的统计周期到达后，调度统计模块执行该统计任务，在每个报表任务的报表时间到达后，调度报表模块执行该报表任务；

所述统计模块，用于读取统计任务对应的数据集模板，从数据集模板指定的数据源中读取当前统计周期内数据，按照数据集模板执行统计后，将统计结果数据和本次任务的执行结果保存；

所述报表模块，用于读取报表任务对应的报表配置模板，按照报表配置模板从统计结果数据中获取数据，生成周期性报表。

2.根据权利要求1所述的周期性报表***，其特征在于，所述统计任务包括统计任务编码、统计任务所在组、统计任务参数、统计任务采用的数据集模板名称；所述数据集模板包括统计任务获取统计数据时的数据源、字段列表、统计参数列表、分组和排序规则。

3.根据权利要求2所述的周期性报表***，其特征在于，所述统计任务参数包括统计任务的周期类型、老化数据保存天数、统计任务依赖的上级任务或上级任务组、统计任务对应的数据库。

4.根据权利要求3所述的周期性报表***，其特征在于，所述统计模块在执行统计任务时，在依赖的统计任务或者任务组内所有统计任务统计成功后，才能执行当前统计任务的统计。

5.根据权利要求3所述的周期性报表***，其特征在于，所述统计任务对应的数据库包括目的数据库和任务历史执行记录表，所述统计模块在执行统计任务时，将统计结果数据保存在目的数据库，将本次任务的执行结果保存在任务历史执行记录表中。

6.根据权利要求3所述的周期性报表***，其特征在于，所述统计模块在执行统计任务时，将统计任务参数传给所述数据集模板。

7.根据权利要求1所述的周期性报表***，其特征在于，所述报表任务包括报表任务编码、报表任务参数、报表任务采用的报表配置模板、报表样式文件；所述报表样式文件包括报表样式、报表元素和布局；所述报表任务参数包括报表时间、统计对象和统计周期类型。

8.根据权利要求7所述的周期性报表***，其特征在于，所述报表配置模板包括输入参数、报表样式文件的名称和路径、报表元素对应的报表数据集，所述输入参数包括报表时间、统计对象和统计周期类型。

9.根据权利要求8所述的周期性报表***，其特征在于，所述报表模块在执行报表任务时，将报表任务参数传给所述报表配置模板。

10.根据权利要求8所述的周期性报表***，其特征在于，所述报表模块根据报表配置模板为报表元素获取报表数据集，然后按照报表样式文件生成报表。