CN103678402A - 一种海量数据下数据实时统计的方法 - Google Patents

Abstract

本发明涉及一种海量数据下数据实时统计的方法，步骤如下：1）数据接收服务器把从终端接收到的数据传给数据处理服务器处理；2）数据处理服务器对原始的信号进行数据库存储；3）数据处理服务器进行信号统计与分析；所述的步骤3）具体如下：3.1）区别信号的数据类型，识别为数值类型和非数值类型；3.2）对于数值类型的信号，统计固定时长内数值类型的各信号的最大值、最小值、平均值，并存储到数值类型的数据库表中；对于非数值类型的信号，统计固定时长内非数值类型的各信号各个状态出现的次数、变化的频次，并存储到非数值类型的数据库表中。采用本发明，大大减少了待查询的原始数据量，很大程度上提升了报表查询的速度和人机交互体验。

Description

一种海量数据下数据实时统计的方法

技术领域

本发明涉及一种数据采集统计方法，更具体地说，涉及一种海量数据下数据实时统计的方法。

背景技术

信号采集***中，车辆终端上报的信号量频率很高，以毫秒级的频率进行上报，单终端上报就能达到万条/秒，随着车辆数的增加，数据上报量更是巨大。面对如此大的数据量，一些如报表展示等对数据实时查询要求较高的场合，传统的数据查询方式必然存在查询速度慢，用户体验差等问题。

中国发明专利申请200610027566.9公开了一种海量数据统计方法，该方法建有MT、MC、MO三个数据库表，并在三个表中分别建立五个数据表空间。三个表分别分成91个分区，用于保存连续90天的数据。数据的查询和统计分析可根据日期计算要查询的分区号，根据分区号查找指定分区的数据。由于每个分区的数据量只相当于总数据的九十分之一，因此查询和保存数据的速度得到了提高。多表关联改为单表查询提高了查询速度。查询结果的差集和交集技术使需处理的数据量减少，从而提高了统计性能。

上述专利所述的技术方案，即使把数据库分为多个数据库表，并对数据库表进行分区，但每个分区保存依然是原始数据，如果表内的数据量巨大，其效果仍然与没有分表、没有分区的现有技术一样，查询速度慢，查询时间长。而且采用限制数据库表的数量的方式进行查询速度的提升，只适用于对不需要保存历史数据的领域，适用范围小，实用性有限。

中国发明专利ZL200910081509.2公开了一种海量数据查询方法：A）对海量数据实体表按设定的时间间隔进行分区；B）建立所述实体表中属性名称的二维统计表，其中一维表示设定的时间区间内的各个时间间隔，另一维表示属性名称的属性列中的属性数据，统计表中的内容表示在某个时间间隔内存在某个属性数据的实体表的名称；C）查询时，若查询条件中包括经统计的属性名称，则根据该属性名称的统计表和查询条件中设定的时间区间获得在该时间区间内的实体表分区的集合；D）根据该集合缩小海量数据查询范围再进行查询。

上述专利所述的技术方案，即使把数据库的实体表进行分区，但每个分区保存依然是原始数据，如果分区内的数据量巨大，其效果仍然与没有分表、没有分区的现有技术一样，查询速度慢，查询时间长。采用分区的手段，缩小查询范围，适用于数据量相对稳定的领域，适用范围小。

发明内容

本发明的目的在于克服现有技术的不足，提供一种能在海量数据下进行数据的实时汇总统计，使得前端报表展现能得到最快的反应速度的海量数据下数据实时统计的方法。

本发明的技术方案如下：

一种海量数据下数据实时统计的方法，步骤如下：

1）数据接收服务器把从终端接收到的数据传给数据处理服务器处理；

2）数据处理服务器对原始的信号进行数据库存储；

3）数据处理服务器进行信号统计与分析；

所述的步骤3）具体如下：

3.1）区别信号的数据类型，识别为数值类型和非数值类型；

3.2）对于数值类型的信号，统计固定时长内数值类型的各信号的最大值、最小值、平均值，并存储到数值类型的数据库表中；

对于非数值类型的信号，统计固定时长内非数值类型的各信号各个状态出现的次数、变化的频次，并存储到非数值类型的数据库表中。

作为优选，根据不同的固定时长对所述的数据库表进行逐级统计，并存储成新的数据库表。

作为优选，所述的步骤3.2）具体为：

对于数值类型的信号，统计每一秒数值类型的各信号的最大值、最小值、平均值，并存储到秒级数值类型的数据库表中；

对于非数值类型的信号，统计每一秒非数值类型的各信号各个状态出现的次数、变化的频次，并存储到秒级非数值类型的数据库表中。

作为优选，所述的步骤3）进一步包括：

3.3）数据库后台通过定时触发机制，每分钟对步骤3.2）存储的秒级数值类型的数据库表中的各秒的数据类型的各信号的最大值、最小值、平均值进行统计，并存储到分钟级数值类型的数据库表中；

每分钟对步骤3.2）存储的秒级非数值类型的数据库表中的各秒的非数据类型的各信号各个状态出现的次数、变化的频次进行统计，并存储到分钟级非数值类型的数据库表中。

作为优选，所述的步骤3）进一步包括：

3.4）每小时对步骤3.3）存储的分钟级数值类型的数据库表中的各分钟的数据类型的各信号的最大值、最小值、平均值进行统计，并存储到小时级数值类型的数据库表中；

每小时对步骤3.3）存储的分钟级非数值类型的数据库表中的各分钟的非数据类型的各信号各个状态出现的次数、变化的频次进行统计，并存储到小时级非数值类型的数据库表中。

作为优选，所述的数据库采用分库架构，采用至少一个分数据库对数据进行分库存储。

作为优选，所述的数据库的物理表采用分表架构，采用至少一个分物理表对各数据库表按固定周期进行分表存储。

作为优选，所述的分物理表采用分区架构，采用至少一个分数据区对分物理表按固定时间段进行分区存储。

作为优选，所述的数据库的物理表采用分表架构，秒级数据库表、分钟级数据库表、小时级数据库表均采用一个月一张表的形式进行存储。

作为优选，各数据库表的各月表以天单位，进行分区存储，每天的数据为一个分区。

作为优选，定义欲查询的数据的时间特征应对应的数据库表，查询步骤如下：

A）判断欲查询的数据的信号特征，确定查询的数据库表的类型；

B）判断欲查询的数据的时间特征，根据预先定义的对应关系，确定应查询的数据库表；

C）数据处理服务器到对应的数据库表中进行查询，查询出所有满足条件的数据。

本发明的有益效果如下：

采用本发明所述的数据统计方法，大大减少了待查询的原始数据量，很大程度上提升了报表查询的速度和人机交互体验。同时，由于采用合理的数据汇总统计方法，统计结果能达到直接查询原始数据一样的准确效果。

由于对分库、分表、分区无数量的限制，根据数据量的多少，可以自行扩充并逐级统计，查询速度几乎不受数量增多的影响，适用于各种领域，具有巨大的实用性。

具体实施方式

以下结合实施例对本发明进行进一步的详细说明。

一种海量数据下数据实时统计的方法，步骤如下：

1）数据接收服务器把从终端接收到的数据传给数据处理服务器处理；

2）数据处理服务器对原始的信号进行数据库存储；

3）数据处理服务器进行信号统计与分析：

3.1）区别信号的数据类型，识别为数值类型和非数值类型；

3.2）对于数值类型的信号，统计固定时长内数值类型的各信号的最大值、最小值、平均值，并存储到数值类型的数据库表中；对于非数值类型的信号，统计固定时长内非数值类型的各信号各个状态出现的次数、变化的频次，并存储到非数值类型的数据库表中。

所述的步骤3.2）具体为：

对于数值类型的信号，统计每一秒数值类型的各信号的最大值、最小值、平均值，并存储到秒级数值类型的数据库表中；

对于非数值类型的信号，统计每一秒非数值类型的各信号各个状态出现的次数、变化的频次，并存储到秒级非数值类型的数据库表中。

根据报表展示的数据特征，在整个业务处理过程中，本发明所述的方法对数据进行几次汇总统计。

本发明所述的方法根据不同的固定时长对所述的数据库表进行逐级统计，并存储成新的数据库表。

因此，所述的步骤3）可以进一步包括：

3.3）数据库后台通过定时触发机制，每分钟对步骤3.2）存储的秒级数值类型的数据库表中的各秒的数据类型的各信号的最大值、最小值、平均值进行统计，并存储到分钟级数值类型的数据库表中；

每分钟对步骤3.2）存储的秒级非数值类型的数据库表中的各秒的非数据类型的各信号各个状态出现的次数、变化的频次进行统计，并存储到分钟级非数值类型的数据库表中。

更优选的，所述的步骤3）还可以进一步包括：

3.4）每小时对步骤3.3）存储的分钟级数值类型的数据库表中的各分钟的数据类型的各信号的最大值、最小值、平均值进行统计，并存储到小时级数值类型的数据库表中；

每小时对步骤3.3）存储的分钟级非数值类型的数据库表中的各分钟的非数据类型的各信号各个状态出现的次数、变化的频次进行统计，并存储到小时级非数值类型的数据库表中。

在中心服务器端，包括数据接收服务器、数据处理服务器以及数据库。数据接收服务器把从终端接收到的数据传给数据处理服务器处理。数据处理服务器对原始的信号进行数据库存储的同时，一边进行信号统计，对同一秒内同一辆车的原始毫秒信号通过一定的方法进行归纳分析。

把信号分为数值类型和非数值类型：数值类型的信号指的是信号值是连续型的，用带小数位的实数表示，如车速、温度等；非数值类型的信号指的是状态类型的信号，信号值是离散型的，用整数表示，如车锁开关的状态信号。

对于数值类型的信号，统计出该秒内该信号的最大、最小以及平均值：

S_max=Max{S₁,S₂……S_n},

S_max=Min{S₁,S₂……S_n},

$S_{\mathrm{Avg}}=\frac{\mathrm{\Σ}(S_1,S_2......S_n)}{n},$

其中，S₁,S₂……S_n∈Second(S)，表示一个信号在一秒内上传的数据值。统计完后，将这三个值存储到秒级数值类型的数据库表中。

而对于非数值类型的信号，我们统计出每秒内各信号各个状态出现的次数n_S，以及变化的频次f_S，我们将这两个值存储到秒级非数值类型的数据库表中。

这样，毫秒信号就汇总成秒级信号进行了存储。同时，数据库后台通过定时触发机制，每分钟对秒级信号按车辆和信号分组进行一次分析统计。

对于数值类型的信号，从中心数据库里获取到该信号一分钟内所有的数值，然后求出最大、最小以及平均值：

M_max=Max{M₁,M₂……M_n},

M_max=Min{M₁,M₂……M_n},

$M_{\mathrm{Avg}}=\frac{\mathrm{\Σ}(M_1,M_2......M_n)}{n},$

其中，M₁,M₂……M_n∈Minute(M)，表示该信号在一分钟内存储在数据库里的数据值。

而对于非数值类型的信号，从数据库里获取一分钟内该信号所有的次数以及频次，然后统计出该信号这一分钟出现的总次数n_M，以及变化的总频次f_M：

n_M=∑(n_S1，n_S2……n_S60)，

f_M=∑(f_S1,f_S2……f_S60)。

这样，秒级信息就汇总成分钟级的信息，存储到分钟级的数据库表中。同样的方法，数据库会定时每小时对分钟级信号按车辆和信号分组再进行分析统计，对于数值类型的信号，从中心数据库里获取到该信号一小时内所有的数值，然后求出最大、最小以及平均值，对非数值类型的信号，从数据库里获取一小时内该信号所有的次数以及频次，统计出该信号这一小时出现的总次数以及变化的总频次，统计完后存储到小时级的数据库表中。

这样，原始信号经过几次数据分析统计，分别转存到秒级、分钟级、小时级的数据库表中，数据量依次递减。

为了进一步达到更快的查询速度，本发明所述的方法中，数据库的设计采用的是分库、分表和分区相结合的方式。

所述的数据库采用分库架构，采用至少一个分数据库对数据进行分库存储。所述的数据库的物理表采用分表架构，采用至少一个分物理表对各数据库表按固定周期进行分表存储。所述的分物理表采用分区架构，采用至少一个分数据区对分物理表按固定时间段进行分区存储。

首先，由于终端实时上报的数据量巨大，为了减少单台数据库的存储压力，数据库采用分库架构，即用多个库对数据进行存储，分库设计既能满足数据库存储性能要求，又是数据库水平扩展的需要。

其次，每个库的物理表采用的是分表设计，秒级数据库表、分钟级数据库表、小时级数据库表皆采用一个月一张表的形式，这样可以减少每张表的数据量，提高查询效率。

最后，各数据库表的各月表以天单位，进行分区存储，每天的数据为一个分区。每张月表，又根据时间段按天进行分区处理，每天为一个分区。采用表分区设计，充分考虑到存取性能，在不影响存储性能的情况下，最大限度的提升了查询效率。

本发明所述的物理表可进一步采用的分天、分月、分年设计。表的创建采用自动创建机制，数据的一切汇总统计处理由数据库服务器自动完成，期间不需要人为控制。

对于本发明所述的方法进行统计而成的数据库，进行查询前，先定义欲查询的数据的时间特征应对应的数据库表。

具体查询步骤如下：

A）判断欲查询的数据的信号特征，确定查询的数据库表的类型；

B）判断欲查询的数据的时间特征，根据预先定义的对应关系，确定应查询的数据库表；

C）数据处理服务器到对应的数据库表中进行查询，查询出所有满足条件的数据。

信号报表展现时，通过用户查询的一些时间和信号特征，采用不同的查询机制。数据的获取通过数据处理服务器实现。

当用户查询的时间跨度小于1小时，数据处理服务器到秒级表中进行查询，查询出所有满足条件的数据。由于秒级表中的信号是对原始信号的统计和汇总，在保留原始信号基本信息的前提下，又能使查询的数据量大大减少，从而大大减少了信号查询和处理时间。

同样的道理，当查询时间跨度介于1小时和7天之间时，数据处理服务器转为到相应的分钟级表中去获取信息。

当查询的时间跨度大于7天时，数据处理服务器转为到相应的小时级表去获取信息。这样，在获取这些数据信息后，数据访问层经过一些数据的过滤和运算方法，最终得到报表的展现结果。通过这种数据统计方法，大大减少了待查询的原始数据量，很大程度上提升了报表查询的速度和人机交互体验。同时，由于采用合理的数据汇总统计方法，统计结果能达到直接查询原始数据一样的准确效果。

上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims (11)

1.一种海量数据下数据实时统计的方法，步骤如下：

1）数据接收服务器把从终端接收到的数据传给数据处理服务器处理；

2）数据处理服务器对原始的信号进行数据库存储；

3）数据处理服务器进行信号统计与分析；

其特征在于，所述的步骤3）具体如下：

3.1）区别信号的数据类型，识别为数值类型和非数值类型；

3.2）对于数值类型的信号，统计固定时长内数值类型的各信号的最大值、最小值、平均值，并存储到数值类型的数据库表中；

对于非数值类型的信号，统计固定时长内非数值类型的各信号各个状态出现的次数、变化的频次，并存储到非数值类型的数据库表中。

2.根据权利要求1所述的海量数据下数据实时统计的方法，其特征在于，根据不同的固定时长对所述的数据库表进行逐级统计，并存储成新的数据库表。

3.根据权利要求2所述的海量数据下数据实时统计的方法，其特征在于，所述的步骤3.2）具体为：

对于数值类型的信号，统计每一秒数值类型的各信号的最大值、最小值、平均值，并存储到秒级数值类型的数据库表中；

对于非数值类型的信号，统计每一秒非数值类型的各信号各个状态出现的次数、变化的频次，并存储到秒级非数值类型的数据库表中。

4.根据权利要求3所述的海量数据下数据实时统计的方法，其特征在于，所述的步骤3）进一步包括：

3.3）数据库后台通过定时触发机制，每分钟对步骤3.2）存储的秒级数值类型的数据库表中的各秒的数据类型的各信号的最大值、最小值、平均值进行统计，并存储到分钟级数值类型的数据库表中；

每分钟对步骤3.2）存储的秒级非数值类型的数据库表中的各秒的非数据类型的各信号各个状态出现的次数、变化的频次进行统计，并存储到分钟级非数值类型的数据库表中。

5.根据权利要求4所述的海量数据下数据实时统计的方法，其特征在于，所述的步骤3）进一步包括：

3.4）每小时对步骤3.3）存储的分钟级数值类型的数据库表中的各分钟的数据类型的各信号的最大值、最小值、平均值进行统计，并存储到小时级数值类型的数据库表中；

每小时对步骤3.3）存储的分钟级非数值类型的数据库表中的各分钟的非数据类型的各信号各个状态出现的次数、变化的频次进行统计，并存储到小时级非数值类型的数据库表中。

6.根据权利要求1所述的海量数据下数据实时统计的方法，其特征在于，所述的数据库采用分库架构，采用至少一个分数据库对数据进行分库存储。

7.根据权利要求6所述的海量数据下数据实时统计的方法，其特征在于，所述的数据库的物理表采用分表架构，采用至少一个分物理表对各数据库表按固定周期进行分表存储。

8.根据权利要求7所述的海量数据下数据实时统计的方法，其特征在于，所述的分物理表采用分区架构，采用至少一个分数据区对分物理表按固定时间段进行分区存储。

9.根据权利要求5所述的海量数据下数据实时统计的方法，其特征在于，所述的数据库的物理表采用分表架构，秒级数据库表、分钟级数据库表、小时级数据库表均采用一个月一张表的形式进行存储。

10.根据权利要求9所述的海量数据下数据实时统计的方法，其特征在于，各数据库表的各月表以天单位，进行分区存储，每天的数据为一个分区。

11.根据权利要求2所述的海量数据下数据实时统计的方法，其特征在于，定义欲查询的数据的时间特征应对应的数据库表，查询步骤如下：

A）判断欲查询的数据的信号特征，确定查询的数据库表的类型；

B）判断欲查询的数据的时间特征，根据预先定义的对应关系，确定应查询的数据库表；

C）数据处理服务器到对应的数据库表中进行查询，查询出所有满足条件的数据。