CN105277783B

CN105277783B - 一种用电信息数据的海量数据采集方法

Info

Publication number: CN105277783B
Application number: CN201510460174.0A
Authority: CN
Inventors: 倪立洲
Original assignee: Hangzhou Telehems Electronics Technology Co ltd
Current assignee: Hangzhou Telehems Electronics Technology Co ltd
Priority date: 2015-07-31
Filing date: 2015-07-31
Publication date: 2020-08-14
Anticipated expiration: 2035-07-31
Also published as: CN105277783A

Abstract

本发明提供了一种用电信息数据的海量数据采集方法。通过用电信息数据的采集和上传由前端用电信息采集装置完成，其中用电信息数据的上传间隔时间以周期的形式进行循环，云端服务器在接收到上传的用电信息数据后以小时表、日表、月表、总表进行分类存储。本发明有效避免了人工去统计电量，通过数据过滤有效提供了数据准确性，同时通过使用计算采集间隔的电量差值并累加的方法，可以更好的将不同种类的用电数据进行分类累加，增加了统计范围，使用电数据更加丰富。

Description

一种用电信息数据的海量数据采集方法

技术领域

本发明涉及测算测量领域，尤其涉及一种用电信息数据的海量数据采集方法。

背景技术

随着时代的发展，现代家庭中用电设备种类越来越多，居民用电量节节攀升，但并不清楚家中各种用电设备的耗电量，一般家庭缺少简单有效的监测用电设备工作情况的工具，不能做到明白用电、安全用电和节约用电，对于用电设备的用电量统计有比较迫切的需求。

在此种情况下，目前普遍使用电量采集装置对用电设备进行用电量统计，一种做法是使用电量采集装置对用电设备进行统计，统计数据存在本地，在采集装置的显示屏幕上显示。上述这种方式，假设有上规模的用电设备，要统计所有用电设备的用电量，还需要人工计算，十分不便。

另一种做法是通过计算用电设备的运行平均功率及设定的统计时间内的工作时长，根据电量采集装置采集计算的各个用电设备的工作时长和平均功率，确定的在统计时间内所有用电设备的总用电量。但是上述这种方式，因为是通过计算平均功率和工作时长的方式，存在着计算数据精度不足的问题，同时针对不同种类、不同性质的用电量统计，也有其局限性。

发明内容

为克服现有技术的问题，本发明提供一种用电信息数据的海量数据采集方法及***，统计包含在统计范围内的多个电气设备的使用电量，能够适用于统计用电设备不同种类、不同性质的用电量，分时段进行精确统计，尤其适合海量用电数据的统计。

本发明解决技术问题所采用的技术方案是：一种用电信息数据的海量数据采集方法，包括：

用电信息数据的采集和上传由前端用电信息采集装置完成，其中用电信息数据的上传间隔时间以周期的形式进行循环，云端服务器在接收到上传的用电信息数据后以小时表、日表、月表、总表进行分类存储，

用电信息数据采集包括以下过程：

1.1、用电信息采集装置得电；

1.2、用电信息采集装置内置模块进行初始化；

1.3、用电信息采集装置周期性采集用电量信息，用电信息采集装置采集周期时间为0.1~1秒；

用电信息数据上传包括以下过程：

2.1、用电信息数据以固定格式进行组装，用电信息采集装置将采集到的用电信息数据以固定格式进行组装；

2.2、对组装完成的数据包进行加密，其中组装完成的数据包包括用电量信息和基础信息数据，按照BER编码格式进行编码，AES加密，MD5生成摘要码；

2.3、以固定间隔时间将加密后的数据包上传至云端服务器，加密后的数据包以一次/秒为周期进行上传，上传方式支持wifi、zigbee；

用电信息数据存储包括以下过程：

3.1、将接收到的加密数据进行解密，对数据进行解析的过程是：摘要码验证，AES解密，之后将二进制数据按照BER编码格式进行解码；

3.2、将解密后的数据进行分发后进行存储，

用电信息数据定时统计包括以下过程：

4.1、云端服务器从存储的用电信息数据中取出两组和/或两组以上的用电信息数据，并依据采集时间进行排序，云端服务器从存储的用电信息数据中取出两组和/或两组以上的用电信息数据，是用电信息采集装置在一段时间内连续采样得到的用电信息，并按照采集时间降序进行排列；

4.2、判断所取出的各组用电信息数据的完整性，通过验证用电信息数据字段个数是否和要求的个数一致来判断其是否是完整的用电信息数据，判断还包括用电信息数据大小验证，取相邻两个采集间隔的总用电量，并将先采集的总用电量值设为前总用电量，后采集的总用电量值设为后总用电量，对比前后总用电量，如果后采集的总用电量值小于前采集的总用电量值，则认为该后采集的总用电量值记录有误，将此总用电量值删除，通过对用电信息的合法性判断，过滤掉一些非法数据，使得整个电量统计结果更加准确；

4.3、对所取出的各组用电信息数据进行逐差计算，取采集时间间隔相邻两个总用电量值，按时间先后顺序排列为前总用电量值和后总用电量值，用后总用电量值减去前总用电量值，得到一个在采集间隔时间内的基本总用电量差值，以此累加一段时间内的总用电量差值，可以得到该段时间内的总用电量统计值；

4.4、通过累加一定周期内的用电信息数据获得基础数据，将一个小时内的基本总用电量差值根据用电种类进行累加，得到一个小时内的基本电量、待机电量、峰电电量、谷电电量，并将数据存储到小时表中，作为基础数据存储；

4.5、按小时表、日表、月表、总表分类，将基础数据进行存储，云端服务器将建立四张数据存储表，包括小时表、日表、月表、总表；记录内容包括基本电量、待机电量、峰电电量、谷电电量；

小时表存放着每一个用电设备每小时的用电信息，是用电数据的基本表；

日表存放着每一个用电设备每天的用电信息；

月表存放着每一个用电设备每个月的用电信息；

总表存放着每一个用电设备的总用电信息；

云端服务器根据功率和时间判断当前的用电类型，根据不同的用电类型进行电量计算，并将计算结果分别存储到上述的小时表、日表、月表和总表中。

在上述定时统计过程中，当用电数据更新时，将会重新创建新表、并删除用过的旧表，以减少云端服务器空间占用。

进一步的，用电信息采集装置采集的用电信息数据，包括当前用电设备的总用电量、功率、电压、电流信息、开关状态。

一种用电信息数据的海量数据采集***，包括：

一个或多个所述用电量采集装置，用于采集并上传用电设备的用电量信息；

传输模块，用于将用电量采集装置所采集到的用电量信息上传至云端服务器；

云端服务器，用于接收采集装置上传的用电量信息，存储用电量信息并判断用电数据的合法性，计算采集间隔内的电量差值，统计不同时间要求、不同用电种类的电量值；

本发明是一种用电信息数据的海量数据采集方法，通过用电量采集装置采集用电设备的用电信息，同时将用电信息上传到云端服务器，云端服务器存储接收到的用电量信息并通过云端服务器定时统计用电设备的用电量，获得不同种类、不同时间单位的电量值，上述技术方案，避免了人工去统计用电电量，通过数据过滤有效提供了用电信息数据的准确性，同时通过采集间隔的电量差值累加的方法，可以更好的将不同种类的用电数据信息进行分类累加，增加了统计范围，使用电数据更加丰富。

附图说明

图1是本发明提供实施例1的一种用电信息数据的海量数据采集方法流程图；

图2是本发明提供实施例2的一种用于统计用电量的云端服务器的结构图；

图3是本发明提供实施例3的一种用电量采集装置的结构图;

图4是本发明提供实施例4的一种用电信息数据的海量数据采集***结构图。

具体实施方式

下面结合附图与实施例对本发明作进一步详细描述。

实施例1

一种用电信息的海量数据采集方法。

参照附图1，本发明的一种用电信息的海量数据采集方法，包含以下步骤：

S101、用电信息采集装置采集用电设备的用电信息；

当用电设备通上电后，用电信息采集装置就会开始采集用电设备的用电信息，上述采集装置会采集当前用电设备的总用电量、功率、电压、电流信息、开关状态等信息。

S102、用电信息采集装置将用电信息上传到云端服务器；

用电信息采集装置可以通过多种手段将用电信息上传至云端服务器，包括WI-FI、ZIGBEE或者其他方式数据传输方式。

用电信息采集装置以固定的时间间隔将所述用电信息上传至云端服务器，时间间隔可以是0.5S、1S或其他时间，本实施例以1S为例。

S103、云端服务器存储所述用电信息；

云端服务器接收到上述用电信息后，使用特定顺序的组合存储格式，将用电信息存储到存储空间中。例如本实施例中将上述用电信息以分号进行区隔， “总用电量值；功率值；电压值；电流值；开关状态值”。

存储的顺序按照时间的先后顺序以降序排序，即后采集的数据存储在最前面。具体存储方式，可以是文件，也可以是其他一些方式。

云端服务器将建立四张数据存储表，包括小时表、日表、月表、总表，上述表

小时表存放着每一个用电设备每小时不同种类的用电量，是用电量数据的基本表；

日表存放着每一个用电设备每天不同种类的用电量；

月表存放着每一个用电设备每个月不同种类的用电量；

总表存放着每一个用电设备不同种类的总用电量；

小时表、日表、月表、总表具有相同的数据结构，包括：设备编号、日期、基本电量、待机电量、峰电电量、谷电电量。

表结构如下表一所示：

设备编号	日期	基本电量	待机电量	峰电电量	谷电电量

表一

S104、获取用电设备的多组用电信息；

多组用电信息至少包含两组用电信息，是采集设备在一段时间内连续采样得到的用电信息，并按照采集时间降序排序。

在一个实施例中，云端服务器采用定时计算的方式统计用电量数据，云端服务器创建定时任务，在固定一个时间开始计算用电设备的用电量，例如创建每小时定时任务，可以在每小时的第10分钟、20分钟或其他时间，一次或者多次计算用电量值。

本实施例中，选择每小时的第10分钟开始计算用电设备的用电量，开始计算时，云端服务器首先从存储的用电数据中取出上一个小时内的所有用电量数据，以每1S为采样间隔，得到60个采样数据。

S105、对用电信息进行合法性判断；

得到采样数据后，对上述60个采样数据的合法性进行判断。判断步骤包括以下步骤：

首先验证数据的完整性，即验证用电信息字段个数是否和要求的个数一致，例如本实施例中正常接收到的电量数据格式应该是“总用电量值；功率值；电压值；电流值；开关状态值”，当验证数据中出现用电数据是“总用电量值；功率值；电压值；电流值”这种情况时，即判断是非法数据，将此条记录抛弃。

接着进行大小验证，取相邻两个采集间隔的总用电量，并将先采集的总用电量值设为前总用电量，后采集的总用电量值并设为后总用电量，对比前总用电量和后总用电量，如果后总用电量小于前用电量的总用电量，则认为该条记录有误，将此条记录抛弃，取下一个采集点的用电数据进行计算。例如取第50分钟的总用电量值和第51分钟的总用电量值，将第51分钟的总用电量值减去第50分钟的总用电量值，如果结果是负值，则可判断第51分钟的用电量数据是错误数据。

S106、对多组用电信息进行逐差计算；

可以用后一条记录的总用电量减去前一条记录的总用电量，得到一个采集间隔内的基本电量差值。

例如，现在已经有了第50分钟的总用电量值和第51分钟的总用电量值，将第51分钟的总用电量值减去第50分钟的总用电量值，得到的电量差值就是第51分钟的用电量数据。假设在S105合法性判断步骤中，判断第51分钟的数据错误，则取下一条记录的总用电量，即第52分钟的总用电量，用第52分钟的总用电量减去第50分钟的总用电量，同时将相减后得到的结果除以采集间隔，所得到的结果作为第51分钟和第52分钟的用电量。本实施例中采集间隔为1S，上述采集间隔即为2。

同样的方法，可以得到待机电量差值、峰电电量差值、谷电电量差值。

S107、将计算结果进行累加统计；

将一个小时内的所述基本电量差值根据用电种类进行累加，得到一个小时内的基本电量、待机电量、峰电电量、谷电电量，并将数据存储到所述小时表中，作为基础数据存储。

根据所述小时表的数据，通过累加得到一天、一个月、及总的电量数据，并将所述电量数据分别存储到日表、月表、总表中。

例如，通过S106步骤，可以得到每分钟不同种类的用电量的数据，将一个小时内从第0分到第59分钟的基本电量差值进行累加，就可以得到一个小时内的基本电量。以同样的方法可以得到一个小时内的待机电量、峰电电量和谷电电量，并按照小时表的数据格式，将上述数据，填充到小时表中，作为基础数据存储。

同时根据小时表的用电数据，通过累加计算，得到用电设备不同用电种类的当天用电量、当月用电量、总用电量，并分别填充到日表、月表、总表中。

通过小时表的基础数据，用户可以根据自己的需要查询用电设备的不同用电量信息。例如用户想要查询用户某天的用电量数据，只需想云端服务器发送查询指令，云端服务器将根据用户、日期查询条件，查询并累加小时表内该用户下的该天的所有用电量数据，得到该用户某天的用电量数据。

实施例2

一种用于用电信息的海量数据采集的云端服务器。

参照附图2，本实施例提供的一种用于用电信息的海量数据采集的云端服务器，包括：

接收单元21，用于接收采集装置上传的用电量信息；

存储单元22，用于存储所述用电信息；

判断单元23，用于判断用电数据的合法性；

差值计算单元24，用于计算一个采集间隔内的电量差值；

统计单元25，用于统计不同时间要求、不同用电种类的电量值。

实施例3

用电信息采集装置

参照附图3，本实施例提供的一种用电信息采集装置，包括：

采集单元31，用于采集用电设备的电量信息；通信单元32，能够将上述电量信息上传至云端服务器。

采集单元31的采集内容包括当前用电设备的总用电量、功率、电压、电流信息、开关状态等信息。

通信单元32可以适用多种有线或无线通信方式，包括WI-FI、ZIGBEE或者其他方式数据传输方式。

实施例4

一种用电信息数据的海量采集方法。

参照附图4，本实施例提供的一种用电信息数据的海量采集方法，包括：空调41、热水器42、电灯43、采集装置44、采集装置45、采集装置46、网关设备47、云端服务器48、显示装置49.

本实施例中，在一个家庭内包含了空调、热水器、电灯这三个用电设备，每个用电设备上都有一个对应的用电量采集装置，分别是采集装置44、采集装置45、采集装置46，采集装置用于采集并上传用电设备的用电量信息。

每个电量采集装置都会采集用电设备的用电信息，同时根据一定的上传间隔，每隔1S通过网关设备47把用电信息上传到云端服务器48。

云端服务器48接收到采集装置发送的用电信息后，将用电信息存储到存储空间中，同时云端创建定时计算任务，在固定时间开始计算用电量数据，通过差值计算得到每分钟用电量数据，通过对分钟数据累加，可以得到小时、日、月、总等用电数据，满足用户对电量的不同显示要求。

最后云端服务器将计算好的用电数据发送到显示装置49，显示装置49接收到云端服务器48发送的电量数据后，显示用电信息。

本发明的有益效果是，通过将电量统计放在云端服务器，可以满足海量用户同时对电量计算的要求，满足多种条件下的用电信息展示，同时能够适用于统计用电设备不同种类、不同性质的用电量，分时段进行精确统计。

上述实施例用于对本发明作进一步说明，但并不将本发明局限于这些具体实施方式。本领域技术人员应该认识到，本发明涵盖了权利要求书范围内所可能包括的所有备选方案、改进方案和等效方案。

Claims

1.一种用电信息数据的海量数据采集方法，其特征在于：

用电信息数据的采集和上传由前端用电信息采集装置完成，其中用电信息数据的上传间隔时间以0.5S或1S周期的形式进行循环，云端服务器在接收到上传的用电信息数据后以小时表、日表、月表、总表进行分类存储，

用电信息数据采集包括以下过程：

1.1、用电信息采集装置得电；

1.2、用电信息采集装置内置模块进行初始化；

1.3、用电信息采集装置周期性采集用电信息数据，用电信息数据，包括当前用电设备的总用电量、功率、电压、电流信息、开关状态；

用电信息数据上传包括以下过程：

2.1、用电信息数据以固定格式进行组装；

2.2、对组装完成的数据包进行加密；

2.3、以固定间隔时间将加密后的数据包进行上传；

用电信息数据存储包括以下过程：

3.1、将接收到的加密数据进行解密；

3.2、将解密后的数据进行分发后进行存储；

用电信息数据定时统计包括以下过程：

4.1、云端服务器从存储的用电信息数据中取出两组和/或两组以上的用电信息数据，并依据采集时间进行排序；

4.2、判断所取出的各组用电信息数据的完整性；

4.3、对所取出的各组用电信息数据进行逐差计算，获得一个采集间隔内的基本电量差值；

4.4、将一个小时内的所述基本电量差值根据用电种类进行累加，得到一个小时内的基本电量、待机电量、峰电电量、谷电电量并将数据存储到所述小时表中，作为基础数据存储；

4.5、根据所述小时表的数据，通过累加得到一天、一月及总的电量数据，并将所述电量数据分别存储到日表、月表、总表中。

2.如权利要求1所述的一种用电信息数据的海量数据采集方法，其特征在于：用电信息数据定时统计过程中4.3对所取出的各组用电信息数据进行逐差计算是取相邻两个采集间隔的总用电量，并将先采集的总用电量值设为前总用电量，后采集的总用电量值并设为后总用电量，用所述后总用电量减去所述前总用电量，得到一个采集间隔内的基本电量差值。