CN106503128A - 一种智能电表数据查询方法及*** - Google Patents
一种智能电表数据查询方法及*** Download PDFInfo
- Publication number
- CN106503128A CN106503128A CN201610912531.7A CN201610912531A CN106503128A CN 106503128 A CN106503128 A CN 106503128A CN 201610912531 A CN201610912531 A CN 201610912531A CN 106503128 A CN106503128 A CN 106503128A
- Authority
- CN
- China
- Prior art keywords
- data
- server
- task
- ammeter
- retrieval
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明涉及一种智能电表数据查询方法及***，采用数据分区的方法，把海量智能电表数据的查询任务，通过多个服务器均衡查询负载，该服务器再根据实际情况把一部分查询任务二次分派给其他服务器，该方法不仅能实现负载均衡，同时也提高了数据查询的速度。
Description
技术领域
本发明属于电力***高级量测领域，具体涉及一种智能电表数据查询方法及***。
背景技术
智能电表是智能电网(特别是智能配电网)数据采集的基本设备之一，承担着原始电能数据采集、计量和传输的任务，是实现信息集成、分析优化和信息展现的基础。随着市场的发展，人们对智能电表的需求也在不断提高，其中，对采集数据的种类和频度都提出了更高的要求，越来越多的数据需要高效的存储和查询。
现有技术中，智能电表数据查询的主要方法包括以下两种：
(1)智能电表采集数据主要有三个信息需要保存：时间、数据类型和数据内容，采用的存储方案是按顺序依次存储，即每次采集到新数据后将上述三个信息依次存入存储flash中上次数据的后边，读取时从第一份数据开始遍历，直到找到需要的数据。
(2)采用定长间隔存储的方案，即按照最大数据长度来设置存储问阳，查询时根据起始时刻和查找时刻的时间差可以直接算出需要查询的数据存放的偏移地址。
以上两种智能电表数据查询的方法都存在各自的缺点：
(1)第一种方法存储数据时不留空隙，空间利用比较充分，但查找数据时需要全部遍历，搜索速度比较慢。
(2)第二种方法相对第一种数据查询方法的速度有所提升，但按现在各省公司的用户规模，用电信息采集主站***需要连接的智能电表数量，一般都在数百万甚至上千万只，若智能电表每15分钟上送一次数据，每天将产生几十亿行记录，1年大约会产生200TB的数据，对于如此长时间尺度的海量测量数据，应用第二种方法来实现数据的查询仍然是困难的，因此，用电信息采集主站***面临着巨大的数据存储和访问压力。
发明内容
本发明的目的是提供一种智能电表数据查询方法及***，用于解决智能电表海量数据查询速度慢的问题。
为解决上述技术问题，本发明提出一种智能电表数据查询方法，包括以下步骤：
1)服务器接收客户端发送的查询指令后，在该服务器对应的分区内，根据指令中的电表号和电表采集数据的时间范围筛选出存放所述电表信息的数据文件；
2)所述服务器将检索匹配所述数据文件的任务分摊给本身和其他服务器，各服务器分别打开并检索与所述电表信息相匹配的数据，并将检索的数据结果发送给所述服务器，由该服务器返回查询结果。
所述将检索匹配数据文件的任务分摊给本身和其他服务器的手段为：所述筛选出的数据文件有n份，对应的检索匹配任务为n个，将n个检索匹配任务平均分配给本身和其他服务器。
为解决上述技术问题，本发明还提出一种智能电表数据查询***，包括如下单元：
筛选单元：用于服务器接收客户端发送的查询指令后，在该服务器对应的分区内，根据指令中的电表号和电表采集数据的时间范围筛选出存放所述电表信息的数据文件；
分发单元：用于所述服务器将检索匹配所述数据文件的任务分摊给本身和其他服务器，各服务器分别打开并检索与所述电表信息相匹配的数据，并将检索的数据结果发送给所述服务器，由该服务器返回查询结果。
所述将检索匹配数据文件的任务分摊给本身和其他服务器的手段为：所述筛选出的数据文件有n份，对应的检索匹配任务为n个，将n个检索匹配任务平均分配给本身和其他服务器。
本发明的有益效果是：本发明提出一种智能电表数据查询方法及***，采用数据分区的方法，把海量智能电表数据的查询任务，通过多个服务器均衡查询负载，该服务器再根据实际情况把查询任务二次分派给其他服务器，即调用所有服务器共同来处理查询任务。该方法不仅能提高数据查询的速度，同时也能实现负载均衡。
附图说明
图1是智能电表采集数据的分布式存储及并行查询框架图；
图2是并行数据查询处理流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的说明。
本发明的一种智能电表数据查询方法的实施例，包括以下步骤：
1)服务器接收客户端发送的查询指令后，在该服务器对应的分区内，根据指令中的电表号和电表采集数据的时间范围筛选出存放所述电表信息的数据文件；
2)所述服务器将检索匹配所述数据文件的任务分摊给本身和其他服务器，各服务器分别打开并检索与所述电表信息相匹配的数据，并将检索的数据结果发送给所述服务器，由该服务器返回查询结果。
上述将检索匹配数据文件的任务分摊给本身和其他服务器的手段是指：若筛选出的数据文件有n份，对应的检索匹配任务为n个，将这n个检索匹配任务平均分配给本身和其他服务器。
例如，某省电力公司有5百万只电表，通过5个Rsserver服务器来处理需要写入和读取的计算负载，每个服务器处理1百万只电表，分配情况如下：
表1分区服务器对应智能电表的分区表
| 序号 | 分区服务器 | 管理电表范围 |
| 1 | Rsserver1 | 1-1000000 |
| 2 | Rsserver2 | 1000001-2000000 |
| 3 | Rsserver3 | 2000001-3000000 |
| 4 | Rsserver4 | 3000001-4000000 |
| 5 | Rsserver5 | 4000001-5000000 |
然后每个服务器划分10个region分区，这样每个region分区管理10万只电表，电表与region分区对应情况如表2所示，另外用5个datanode数据节点来存储采集的数据。
表2每个分区管理的电表范围
电表采集数据写入的过程如下：
(1)客户端根据分区的规则找出相应的服务器，比如1号智能电表的数据，由Rsserver1服务器来处理。
(2)Rsserver1服务器接收到数据后，会根据电表号，找到Rsserver1服务器上的region分区，然后把该电表的数据写入region分区的内存，当分配的region分区内存空间写满后，把内存中的数据刷写到磁盘形成数据文件，并记录该数据文件对应电表的采集数据范围，包括电表范围和时间范围，如表3所示，电表范围是该数据文件对应采集数据的电表区间，时间范围是该数据文件对应采集数据的最小时间和最大时间。由于智能电表采集的数据会持续不断的写入，因此每个region分区对应的数据文件会不断的增加。
表3分区对应的数据文件分布表
(3)最后数据平均分布到各存储数据节点。
电表数据查询的过程如下：
(1)当客户端要查询某一电表的某一段时间内的采集数据，根据要查询的电表信息找到存储该电表信息的相应服务器的分区。例如要查询电表信息为1号电表2006-6-19至2006-6-23日的采集数据，那么按分区规则就会被分发到Rsserver1上，然后再进一步找到Region1分区。
(2)找到Region1分区后，会根据查询的电表号及查找采集数据的时间段，筛选出采集数据存放的数据文件。例如上面的例子，要查询1号电表2016-6-19至2006-6-23日的采集数据，那么筛选出的文件就包含以下五个文件：Region1.datafile1、Region1.datafile2、Region1.datafile3、Region1.datafile4、Region1.datafile5。
(3)当筛选出包含数据的文件后，Rserver1根据筛选出的文件数量，再根据当前Rsserver集群中的服务器数量，把打开文件和检索匹配数据的任务，平均分摊到Rsserver集群中所有的服务器上，并行进行查询和处理。例如把数据文件Region1.datafile1、Region1.datafile2、Region1.datafile3、Region1.datafile4、Region1.datafile5分别通知五个服务器Rsserver1、Rsserver2、Rsserver3、Rsserver4、Rsserver5，让它们并行处理上述五个数据文件，分别打开并检索各个数据文件中匹配1号电表2016-6-19至2006-6-23日的采集数据，然后各个服务器把查询匹配结果送回到Rsserver1服务器，Rsserver1服务器合并各个分区服务器中匹配的数据后，形成完整的查询结果集返回给客户端。
本实施例中的数据查询方法中调用了所有的Rsserver服务器来共同处理查询任务，实现查询负载的并行处理，使得智能电表采集数据的查询速度得到明显提升。
本实施例是五个服务器分别处理五个数据文件的情况，当数据文件对应的检索任务数量平均分配给所有服务器后仍有剩余没有分配的检索任务，则把剩余检索任务随机分配给服务器中的几个。例如，当本实施例中Rsserver1服务器筛选出的数据文件为七个，相应的，有七个检索任务，那么，把其中五个检索任务平均分配给五个服务器，剩下两个检索任务则随机分配给五个服务器中的其中两个。
本发明的一种智能电表数据查询***的实施例：
包括至少两个服务器，其中一个服务器接收客户端发送的查询指令后，在该服务器对应的分区内，根据指令中的电表号和电表采集数据的时间范围筛选出存放所述电表信息的数据文件。
所述服务器根据筛选出的数据文件数量把检索匹配数据的任务按照数量平均分配给本身和其他服务器，各服务器分别打开并检索与所述电表信息相匹配的数据，并将检索的数据结果发送给所述服务器，由该服务器返回查询结果。
上述实施例中所指的智能电表数据查询***，实际上是基于本发明方法流程的一种计算机解决方案，即一种软件构件，上述***即为与智能电表数据查询方法相对应的处理进程。该软件可以用于用电信息采集主站***中。由于对包括上述方法的介绍已经足够清楚完整，而本实施例声称的***实际上是一种软件构架，故不再详细进行描述。
Claims (4)
1.一种智能电表数据查询方法，其特征在于，包括以下步骤：
1)服务器接收客户端发送的查询指令后，在该服务器对应的分区内，根据指令中的电表号和电表采集数据的时间范围筛选出存放所述电表信息的数据文件；
2)所述服务器将检索匹配所述数据文件的任务分摊给本身和其他服务器，各服务器分别打开并检索与所述电表信息相匹配的数据，并将检索的数据结果发送给所述服务器，由该服务器返回查询结果。
2.根据权利要求1所述的智能电表数据查询方法，其特征在于，所述将检索匹配数据文件的任务分摊给本身和其他服务器的手段为：所述筛选出的数据文件有n份，对应的检索匹配任务为n个，将n个检索匹配任务平均分配给本身和其他服务器。
3.一种智能电表数据查询***，其特征在于，包括如下单元：
筛选单元：用于服务器接收客户端发送的查询指令后，在该服务器对应的分区内，根据指令中的电表号和电表采集数据的时间范围筛选出存放所述电表信息的数据文件；
分发单元：用于所述服务器将检索匹配所述数据文件的任务分摊给本身和其他服务器，各服务器分别打开并检索与所述电表信息相匹配的数据，并将检索的数据结果发送给所述服务器，由该服务器返回查询结果。
4.根据权利要求3所述的智能电表数据查询***，其特征在于，所述将检索匹配数据文件的任务分摊给本身和其他服务器的手段为：所述筛选出的数据文件有n份，对应的检索匹配任务为n个，将n个检索匹配任务平均分配给本身和其他服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610912531.7A CN106503128A (zh) | 2016-10-19 | 2016-10-19 | 一种智能电表数据查询方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610912531.7A CN106503128A (zh) | 2016-10-19 | 2016-10-19 | 一种智能电表数据查询方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106503128A true CN106503128A (zh) | 2017-03-15 |
Family
ID=58294285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610912531.7A Pending CN106503128A (zh) | 2016-10-19 | 2016-10-19 | 一种智能电表数据查询方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106503128A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107329983A (zh) * | 2017-06-01 | 2017-11-07 | 昆仑智汇数据科技(北京)有限公司 | 一种机器数据分布式存储、读取方法及*** |
| CN110097017A (zh) * | 2019-05-09 | 2019-08-06 | 浙江天普胜电气有限公司 | 输电网络特型电表监控***及方法 |
| CN115062045A (zh) * | 2022-06-20 | 2022-09-16 | 北京中睿天下信息技术有限公司 | 一种基于golang解决分库分表下检索排序和分页问题的优化方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020107805A1 (en) * | 2000-04-24 | 2002-08-08 | Megumi Kamimura | Electronic information content automatic distribution service system, information processing apparatus, recording medium, and electrical information content automatic distribution method |
| CN101930472A (zh) * | 2010-09-09 | 2010-12-29 | 南京中兴特种软件有限责任公司 | 一种支持分布式数据库基于并行查询的方法 |
| CN102164175A (zh) * | 2011-03-08 | 2011-08-24 | 国网信息通信有限公司 | 一种基于云存储的用电信息采集方法及*** |
| CN102375853A (zh) * | 2010-08-24 | 2012-03-14 | ***通信集团公司 | 分布式数据库***、在其中建立索引的方法和查询方法 |
| CN103514277A (zh) * | 2013-09-24 | 2014-01-15 | 国家电网公司 | 用电信息采集***的任务并行处理方法 |
-
2016
- 2016-10-19 CN CN201610912531.7A patent/CN106503128A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020107805A1 (en) * | 2000-04-24 | 2002-08-08 | Megumi Kamimura | Electronic information content automatic distribution service system, information processing apparatus, recording medium, and electrical information content automatic distribution method |
| CN102375853A (zh) * | 2010-08-24 | 2012-03-14 | ***通信集团公司 | 分布式数据库***、在其中建立索引的方法和查询方法 |
| CN101930472A (zh) * | 2010-09-09 | 2010-12-29 | 南京中兴特种软件有限责任公司 | 一种支持分布式数据库基于并行查询的方法 |
| CN102164175A (zh) * | 2011-03-08 | 2011-08-24 | 国网信息通信有限公司 | 一种基于云存储的用电信息采集方法及*** |
| CN103514277A (zh) * | 2013-09-24 | 2014-01-15 | 国家电网公司 | 用电信息采集***的任务并行处理方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107329983A (zh) * | 2017-06-01 | 2017-11-07 | 昆仑智汇数据科技(北京)有限公司 | 一种机器数据分布式存储、读取方法及*** |
| CN110097017A (zh) * | 2019-05-09 | 2019-08-06 | 浙江天普胜电气有限公司 | 输电网络特型电表监控***及方法 |
| CN110097017B (zh) * | 2019-05-09 | 2020-03-31 | 浙江天普胜电气有限公司 | 输电网络特型电表监控***及方法 |
| CN115062045A (zh) * | 2022-06-20 | 2022-09-16 | 北京中睿天下信息技术有限公司 | 一种基于golang解决分库分表下检索排序和分页问题的优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107239892B (zh) | 基于大数据的区域人才供需平衡量化分析方法 | |
| CN102523158B (zh) | 一种基于权重的元数据服务器集群负载均衡方法 | |
| CN103020281B (zh) | 一种基于空间数据数值索引的数据存储与检索方法 | |
| CN106528683B (zh) | 一种基于索引分片均衡的大数据云搜索***及其方法 | |
| CN105956015A (zh) | 一种基于大数据的服务平台整合方法 | |
| CN113064866B (zh) | 一种电力业务数据整合*** | |
| CN106503128A (zh) | 一种智能电表数据查询方法及*** | |
| CN104317800A (zh) | 一种海量智能用电数据混合存储***及方法 | |
| CN102902797A (zh) | 一种大数据量设备实时监测数据的存储及检索方法 | |
| CN106649828A (zh) | 一种数据查询方法及*** | |
| CN104599032A (zh) | 一种面向资源管理的分布式内存电网构建方法及*** | |
| CN107247799A (zh) | 兼容多种大数据存储的数据处理方法、***及其建模方法 | |
| CN110058808A (zh) | 减少在存储分级层之间重排数据的数据迁移时间的装置 | |
| CN106649687A (zh) | 大数据联机分析处理方法及装置 | |
| CN109948909A (zh) | 一种电网数据采集分析方法及*** | |
| CN107895017A (zh) | 一种基于大数据技术的电能质量监测***构建方法 | |
| CN104679891A (zh) | 一种海量数据处理方法 | |
| CN105550180B (zh) | 数据处理的方法、装置及*** | |
| CN110083600A (zh) | 一种日志收集处理的方法、装置、计算设备及存储介质 | |
| CN108133043A (zh) | 一种基于大数据的服务器运行日志结构化存储方法 | |
| CN110381137A (zh) | 基于ceph的对象存储使用量统计方法及*** | |
| CN109003432A (zh) | 基于电力线载波通信***的信息抄读方法 | |
| CN110414776B (zh) | 分行业用电特性快速响应分析*** | |
| CN112540987A (zh) | 一种基于数据集市的配用电大数据管理*** | |
| CN106951442A (zh) | 一种异构数据库间的数据交互方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170315 |
|
| RJ01 | Rejection of invention patent application after publication |