CN106327055B - 一种基于大数据技术的电力费控方法及*** - Google Patents
一种基于大数据技术的电力费控方法及*** Download PDFInfo
- Publication number
- CN106327055B CN106327055B CN201610639968.8A CN201610639968A CN106327055B CN 106327055 B CN106327055 B CN 106327055B CN 201610639968 A CN201610639968 A CN 201610639968A CN 106327055 B CN106327055 B CN 106327055B
- Authority
- CN
- China
- Prior art keywords
- electricity
- data
- expense
- file
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005611 electricity Effects 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000005516 engineering process Methods 0.000 title claims abstract description 30
- 238000003860 storage Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 12
- 238000007689 inspection Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 7
- 238000007726 management method Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 230000008901 benefit Effects 0.000 claims description 5
- 238000012550 audit Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013523 data management Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000003139 buffering effect Effects 0.000 claims 1
- 238000005086 pumping Methods 0.000 claims 1
- 238000013500 data storage Methods 0.000 abstract description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000004080 punching Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/067—Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- General Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于大数据技术的电力费控方法及***，以解决传统电力费控***对大数据量数据存储能力弱、计算性能低、***稳定性差的问题。基于大数据技术的电力费控方法具体是:1.通过分布式存储技术完成大数据量的数据写入、查询和更新。2.利用分布式内存计算引擎，实现整个算费流程的数据存储、校核和计算。3.采用分布式文件***、集群资源调度和大数据集群作为基础架构，使***的物理节点可以进行动态的扩充和移除。本发明提供了海量数据的存储能力和高性能的数据计算与分析能力，增加了费控***的水平扩展能力以降低硬件成本，提升了***容错性，增强了费控计算的稳定性，有力支撑了大数据技术在电力费控中的应用。
Description
技术领域：
本发明涉及一种基于大数据技术的电力费控方法及***，属于电力营销技术领域。
背景技术：
电力营销***是供电企业信息化管理的核心应用，必须确保***的高性能和高可靠性。费控业务作为电力营销***的一个重要组成部分，要求每天对数千万计量点进行表码数据处理和全量的电量电费计算，且要求在3至4小时内完成，其无论是数据量、计算频率还是计算性能的要求都远远超出了传统的电费计算功能。而传统电力费控方法所采用的数据存储和数据计算模式，对海量数据的处理存在局限性，表现为存储效率低、计算性能弱和计算可靠性差，进而影响营销***的稳定性。
发明内容：
本发明的目的在于克服上述已有技术的不足而提供一种海量数据的存储能力和高性能的数据计算与分析能力，增加了费控***的水平扩展能力以降低硬件成本，提升了***容错性，增强了费控计算的稳定性，有力支撑了大数据技术在电力费控中的应用的电力费控方法及***。
本发明的目的可以通过如下措施来达到：一种基于大数据技术的电力费控***，其特征在于其包括用于数据准备、收集计量***的原始抄表数据并进行解析的抄表数据管理模块和计量表码管理模块，还包括用于对收集来的计量表码信息进行数据校核、数据计算与归档和数据分析的工作的表码处理模块，量费计算模块、量费归档模块、量费校核模块和余额分析模块；
所述的抄表数据管理模块用于收集费控计算的基础数据，包括计量档案表、电费算法参数表、计量点变压器关系表和公摊电量电价关系表，并利用分布式存储技术通过对这些表中的数据进行抽取、转化、分区及校验将最终结果存储到费控***的分布式数据库中；
所述的计量表码管理模块负责接收电力计量***上传到FTP服务器的计量表码文件，将文件转化成分布式易处理的文件格式，通过利用分布式消息队列技术实现数据的缓冲和存储，文件内容主要包括供电单位编码、计量点编号、资产编号、用户编号、抄表日期、正反向有功电量和正反向无功电量；
所述的表码处理模块用于抄表数据和计量表码数据的关联和质量检验，质量检验内容包括数据逻辑错误检验和业务规则错误检验，数据逻辑错误检验包括字段值格式检验、非空字段空值检验，业务规则错误检验包括本期抄表时间与上期抄表时间早晚检验、抄表起码与抄表止码大小检验，对于未通过检验的数据进行标记，不参与费控计算；
所述的量费计算模块采用并行的方式将表码处理模块的结果数据加载，利用量费计算模块中的算法库进行电量计算和电费计算，电量计算内容主要包括抄见电量、换表电量、退补电量、总分表电量、定比定量电量、公用表公摊电量、变损电量和线损电量；电费计算内容包括电度电费、基金及附加电费、基本电费和功率因数调整电费；
所述的量费归档模块主要对量费计算模块的计算过程和结果存储到分布式存储***中，为后续的量费结果展示、量费校核和量费追溯功能服务；利用量费计算模块的存储输出接口统一的方式，将不同单元的计算结果以不同方式保存到指定目标（包括数据库表、日志文件、控制台），不仅对最终结果进行了存储，还对整个计算过程的每一个中间过程以时间轴的方式进行记录；
所述的量费校核模块利用配置好的量费核查规则，采用流式计算技术自动对计算结果进行核查，核查内容包括核查开始时间、核查时间、任务状态和任务信息数据；对核查记录中的标准输出和标准错误可对开始时间、结束时间、任务状态进行过滤，定位查询核查日志信息；经量费校核模块输出的异常结果数据进行标记，写回电力营销***进行处理；
所述的余额分析模块采用分布式查询技术对费控用户的账户余额与每日的量费计算结果进行比对，计算费控用户的账户余额信息；再将余额信息与事先配置的告警阈值比对，最终将欠费警报信息和欠费预警信息回写营销***进行处理。
一种基于大数据技术的电力费控方法，其特征在于其包括如下具体步骤：
步骤一、算法及校核规则配置，费控计算开始前，检查校核及算法规则是否有变动，若没有变动，进行步骤二，如果有，则需要对费控过程中用到的计算算法和校核规则进行更新或新增；其检查内容主要包括表码校核规则配置、量费校核规则配置、电量计算算法配置、电费计算算法配置和余额告警阈值配置，将校核规则及算法规则配置完毕后进行下一步；
步骤二、抄表数据初始化，检查抄表数据是否有更新，若没有更新，进行步骤三，若有更新，对电力营销***的基础信息进行更新：首先将电力营销***的基础表内容进行数据抽取，对更新量不大的数据表采用增量抽取的方式，对更新量大的数据表采用全量抽取的方式，再对抽取的更新数据进行数据转化和分区，使数据适应分布式存储，最终将数据存储到费控***的分布式数据库中，进行下一步；
步骤三、计量表码文件传输，费控***将电力计量***上传到FTP服务器的计量表码文件放到大数据分布式文件***中，并对数据文件进行简单的处理，对文件中的无效信息进行剔除；对传输完成的文件进行状态查看，若传输过程出现错误，通过监控信息查看错误原因，若硬件出错原因导致的数据传输失败，可以通过缓存恢复功能保证费控***的容错性；若传输成功，执行下一步；
步骤四、数据集成，对步骤二生成的抄表数据和步骤三生成的表码信息进行集成，生成表码集成文件；首先利用分布式文件***对两部分数据进行读取，通过关联表信息将两部分数据进行集成，并通过集成日志的输出内容对集成过程进行监控，若表码集成过程出现错误，则返回步骤二和步骤三对更新的数据日志进行查看和调整，若表码集成文件生成成功，则进行下一步；
步骤五、表码校核，采用分布式消息队列技术，对步骤四产生的表码集成文件利用步骤一配置的表码校核规则进行校核，若有数据未通过校核，由用户选择对未通过校核数据的处理，若有明显可修该的数据可手动或按规则方式进行修改，若确实属于不合规数据则可以选择不做处理，则***将对该类不合规数据进行标记处理，不参与费控计算；表码校核结束后，进行下一步；
步骤六、数据加载，对步骤五通过校核的表码数据以并行的方式进行加载，加载内容包括电价、计量、用户资料和变更信息，并将加载的数据按照步骤一配置的费控算法规则转化成对应的数据结构；数据加载完成后，进行下一步；
步骤七、电量计算，按照步骤一配置的电量计算算法规则，对抄见电量、换表电量、免费电量、退补电量、总分表电量、变损电量、线损电量、定比定量电量、公用表公摊电量进行计算；电量计算完毕后进行下一步；
步骤八、电费计算，依据电量计算结果，按照步骤一配置的电费计算算法进行电费计算，计算内容为电度电费、基金及附加费、基本电费、功率因数调整电费，***将数据流以计算单元为单位分割形成弹性分布式计算任务，将计算任务发送到集群的各个节点上，最终以分布式批处理的方式完成每个计算单元的任务；电费计算完毕后进行下一步；
步骤九、量费归档；费控***中的分布式存储***将步骤七和步骤八中每一个算法单元的输出进行存储，按照用户要求，分别存放在数据库表、日志文件和控制台中，以保存量费计算的所有中间过程，并通过时间轴方式串联；同时，费控***将步骤八和步骤九的最终计算结果进行展示，对计算结果异常的数据，用户可以通过计算过程查看，追溯结果生成的过程，并可进行修改，***同样会记录结果的修改记录；量费归档后，进行下一步；
步骤十、量费校核，利用步骤一配置的量费校核规则对结果进行核查，并同步记录核查日志，日志内容包括开始时间、核查时间、任务状态、和任务信息；用户利用***的分布式查询功能对这些信息进行过滤查询；***将对通过校核的数据进行存储和分发，并进行下一步，对不合格数据进行标记，回写营销***进行处理；
步骤十一、余额分析，***利用分布式查询提取费控用户的账户信息和余额信息，与步骤十通过校验的计算结果进行差值计算，并利用步骤一配置的余额告警阈值进行比较，对余额小于零的用户进行欠费报警，对余额小于余额告警阈值且不小于零的用户进行欠费预警，并将报警和预警信息回写电力营销***。
本发明同已有技术相比可产生如下积极效果：本发明解决了解决传统费控方法在表码数据获取、量费计算、量费核查、余额分析功能方面存在的存储能力薄弱、计算性能弱、***稳定性差的问题，其具有：
1.利用分布式数据存储与查询技术，提供了海量信息的存储平台，实现计量表码数据的大规模分布式高速写入、查询和更新，并使数据存储能够在数据量不断增长的前提下保持查询性能始终不变，提高了***的数据服务能力。
2.通过分布式内存计算引擎和实时处理方式，使迭代计算过程效率得到了提升，从而提供了高性能的计算能力，并使***在低延迟的情况下还能保持极佳的***容错性，达到了快速实现表码存储、校核和电量电费高速计算的要求。
3.采用分布式的文件***、集群资源管理调度框架和大数据集群架构，使***具备了良好的扩展能力，提升资源整体利用率，降低硬件成本，同时提供了数据的冗余备份、服务器的自动负载均衡以及失效服务器检测功能，确保***对数据的容错性，防止因为硬件出错原因导致的数据丢失，大大提高了***的稳定性进而降低了***的风险性。
附图说明：
图1为本发明的基于大数据技术的电力费控***的结构示意图；
图2为本发明的基于大数据技术的电力费控方法流程图。
具体实施方式：
下面结合附图对本发明的具体实施方式作详细描述。
实施例：一种基于大数据技术的电力费控***（参见图1），其包括与电力计量***相连的抄表数据管理模块、计量表码管理模块，这两个模块用于数据准备，收集计量***的原始抄表数据并进行解析，该***还包括表码处理模块，量费计算模块、量费归档模块、量费校核模块和余额分析模块，这五个模块用于对收集来的表码信息进行数据校核、数据计算与归档和数据分析的工作。
抄表数据管理模块用于收集费控计算的基础数据，包括计量档案表、电费算法参数表、计量点变压器关系表和公摊电量电价关系表，并利用分布式存储技术通过对这些表中的数据进行抽取、转化、分区及校验将最终结果存储到费控***的分布式数据库中。
所述的计量表码管理模块负责接收电力计量***上传到FTP服务器的计量表码文件，将文件转化成分布式易处理的文件格式，通过利用分布式消息队列技术实现数据的缓冲和存储，文件内容主要包括供电单位编码、计量点编号、资产编号、用户编号、抄表日期、正反向有功电量和正反向无功电量；
表码处理模块用于抄表数据和计量表码数据的关联和质量检验，质量检验内容包括数据逻辑错误检验和业务规则错误检验，数据逻辑错误检验包括字段值格式检验、非空字段空值检验，业务规则错误检验包括本期抄表时间与上期抄表时间早晚检验、抄表起码与抄表止码大小检验，对于未通过检验的数据进行标记，不参与费控计算。
量费计算模块采用并行的方式将表码处理模块的结果数据加载，利用量费计算模块中的算法库进行电量计算和电费计算，电量计算内容主要包括抄见电量、换表电量、退补电量、总分表电量、定比定量电量、公用表公摊电量、变损电量和线损电量；电费计算内容包括电度电费、基金及附加电费、基本电费和功率因数调整电费。表码处理模块和量费计算模块均采用了分布式内存计算引擎，将计算任务在内部分解为若干个子任务，这些子任务之间由逻辑关系或运行先后顺序等因素被构建成DAG（有向无环图）结构。
量费归档模块主要对量费计算模块的计算过程和结果存储到分布式存储***中，为后续的量费结果展示、量费校核和量费追溯功能服务。利用量费计算模块的存储输出接口统一的方式，将不同单元的计算结果以不同方式保存到指定目标（包括数据库表、日志文件、控制台），不仅对最终结果进行了存储，还对整个计算过程的每一个中间过程以时间轴的方式进行记录。
量费校核模块利用配置好的量费核查规则，采用流式计算技术自动对计算结果进行核查，核查内容包括核查开始时间、核查时间、任务状态和任务信息数据。对核查记录中的标准输出和标准错误可对开始时间、结束时间、任务状态进行过滤，定位查询核查日志信息。经量费校核模块输出的异常结果数据进行标记，写回电力营销***进行处理。
余额分析模块采用分布式查询技术对费控用户的账户余额与每日的量费计算结果进行比对，计算费控用户的账户余额信息。再将余额信息与事先配置的告警阈值比对，最终将欠费警报信息和欠费预警信息回写营销***进行处理。
一种基于大数据技术的电力费控方法（参见图2），计量***将计量表码文件上传到FTP服务器并向费控***传递消息，触发费控计算工作，***对电力营销***的抄表数据和电力计量***的计量表码文件关联合并后进行校验，通过预先配置好的计算、核查规则进行电量计算和电费计算，并将计算过程和计算结果进行归档处理，对量费结果进行校核后对用户余额进行计算分析，并将校核结果和余额分析结果回写电力营销***。其包括如下具体步骤：步骤一、算法及校核规则配置，费控计算开始前，检查校核及算法规则是否有变动，若没有变动，进行步骤二，如果有，则需要对费控过程中用到的计算算法和校核规则进行更新或新增；其检查内容主要包括表码校核规则配置、量费校核规则配置、电量计算算法配置、电费计算算法配置和余额告警阈值配置，将校核规则及算法规则配置完毕后进行下一步。
步骤二、抄表数据初始化，检查抄表数据是否有更新，若没有更新，进行步骤三，若有更新，对电力营销***的基础信息进行更新：首先将电力营销***的基础表内容进行数据抽取，对更新量不大的数据表采用增量抽取的方式，对更新量大的数据表采用全量抽取的方式，再对抽取的更新数据进行数据转化和分区，使数据适应分布式存储，最终将数据存储到费控***的分布式数据库中，进行下一步。
步骤三、计量表码文件传输，费控***将电力计量***上传到FTP服务器的计量表码文件放到大数据分布式文件***中，并对数据文件进行简单的处理，对文件中的无效信息进行剔除。对传输完成的文件进行状态查看，若传输过程出现错误，通过监控信息查看错误原因，若硬件出错原因导致的数据传输失败，可以通过缓存恢复功能保证费控***的容错性。若传输成功，执行下一步。
步骤四、数据集成，对步骤二生成的抄表数据和步骤三生成的表码信息进行集成，生成表码集成文件。首先利用分布式文件***对两部分数据进行读取，通过关联表信息将两部分数据进行集成，并通过集成日志的输出内容对集成过程进行监控，若表码集成过程出现错误，则返回步骤二和步骤三对更新的数据日志进行查看和调整，若表码集成文件生成成功，则进行下一步。
步骤五、表码校核，采用分布式消息队列技术，对步骤四产生的表码集成文件利用步骤一配置的表码校核规则进行校核，若有数据未通过校核，由用户选择对未通过校核数据的处理，若有明显可修该的数据可手动或按规则方式进行修改，若确实属于不合规数据则可以选择不做处理，则***将对该类不合规数据进行标记处理，不参与费控计算；表码校核结束后，进行下一步。
步骤六、数据加载，对步骤五通过校核的表码数据以并行的方式进行加载，加载内容包括电价、计量、用户资料和变更信息，并将加载的数据按照步骤一配置的费控算法规则转化成对应的数据结构。数据加载完成后，进行下一步。
步骤七、电量计算，按照步骤一配置的电量计算算法规则，对抄见电量、换表电量、免费电量、退补电量、总分表电量、变损电量、线损电量、定比定量电量、公用表公摊电量进行计算(以当前规则为例，合计电量＝抄见电量+换表电量-免费电量+退补电量－分表电量＋变损电量+线损电量-定比定量电量+分摊电量）；电量计算完毕后进行下一步。
步骤八、电费计算，依据电量计算结果，按照步骤一配置的电费计算算法进行电费计算，计算内容为电度电费、基金及附加费、基本电费、功率因数调整电费(以当前规则为例，合计电费＝电度电费＋基金及附加费+基本电费＋功率因数调整电费+各项目退补电费），***将数据流以计算单元为单位分割形成弹性分布式计算任务，将计算任务发送到集群的各个节点上，最终以分布式批处理的方式完成每个计算单元的任务。电费计算完毕后进行下一步。
步骤九、量费归档。费控***中的分布式存储***将步骤七和步骤八中每一个算法单元的输出进行存储，按照用户要求，分别存放在数据库表、日志文件和控制台中，以保存量费计算的所有中间过程，并通过时间轴方式串联。同时，费控***将步骤八和步骤九的最终计算结果进行展示，对计算结果异常的数据，用户可以通过计算过程查看，追溯结果生成的过程，并可进行修改，***同样会记录结果的修改记录。量费归档后，进行下一步。
步骤十、量费校核，利用步骤一配置的量费校核规则对结果进行核查，并同步记录核查日志，日志内容包括开始时间、核查时间、任务状态、和任务信息。用户利用***的分布式查询功能对这些信息进行过滤查询。***将对通过校核的数据进行存储和分发，并进行下一步，对不合格数据进行标记，回写营销***进行处理。
步骤十一、余额分析，***利用分布式查询提取费控用户的账户信息和余额信息，与步骤十通过校验的计算结果进行差值计算，并利用步骤一配置的余额告警阈值进行比较，对余额小于零的用户进行欠费报警，对余额小于余额告警阈值且不小于零的用户进行欠费预警，并将报警和预警信息回写电力营销***。
以上所述的仅为本发明的较佳实例而已，不能以此来限定本发明之权利范围。
Claims (1)
1.一种基于大数据技术的电力费控方法，其特征在于计量***将计量表码文件上传到FTP服务器并向费控***传递消息，触发费控计算工作，***对电力营销***的抄表数据和电力计量***的计量表码文件关联合并后进行校验，通过预先配置好的计算、核查规则进行电量计算和电费计算，并将计算过程和计算结果进行归档处理，对量费结果进行校核后对用户余额进行计算分析，并将校核结果和余额分析结果回写电力营销***；其包括如下具体步骤：
步骤一、算法及校核规则配置，费控计算开始前，检查校核及算法规则是否有变动，若没有变动，进行步骤二，如果有，则需要对费控过程中用到的计算算法和校核规则进行更新或新增；其检查内容主要包括表码校核规则配置、量费校核规则配置、电量计算算法配置、电费计算算法配置和余额告警阈值配置，将校核规则及算法规则配置完毕后进行下一步；
步骤二、电力费控***的抄表数据管理模块收集费控计算的基础数据，包括计量档案表、电费算法参数表、计量点变压器关系表和公摊电量电价关系表；将抄表数据初始化，检查抄表数据是否有更新，若没有更新，进行步骤三，若有更新，对电力营销***的基础信息进行更新：首先利用分布式存储技术将电力营销***的基础表内容进行数据抽取，对更新量不大的数据表采用增量抽取的方式，对更新量大的数据表采用全量抽取的方式，再对抽取的更新数据进行数据转化和分区，使数据适应分布式存储，最终将数据存储到费控***的分布式数据库中，进行下一步；
步骤三、计量表码文件传输，电力费控***的计量表码管理模块接收电力计量***上传到FTP服务器的计量表码文件，将文件转化成分布式易处理的文件格式，文件内容主要包括供电单位编码、计量点编号、资产编号、用户编号、抄表日期、正反向有功电量和正反向无功电量；通过利用分布式消息队列技术将计量表码文件放到大数据分布式文件***中，实现数据的缓冲和存储，并对数据文件进行简单的处理，对文件中的无效信息进行剔除；对传输完成的文件进行状态查看，若传输过程出现错误，通过监控信息查看错误原因，若硬件出错原因导致的数据传输失败，可以通过缓存恢复功能保证费控***的容错性；若传输成功，执行下一步；
步骤四、电力费控***的表码处理模块采用了分布式内存计算引擎，将计算任务在内部分解为若干个子任务，这些子任务之间由逻辑关系或运行先后顺序被构建成DAG（有向无环图）结构；表码处理模块进行抄表数据和计量表码数据的关联和质量检验，质量检验内容包括数据逻辑错误检验和业务规则错误检验，数据逻辑错误检验包括字段值格式检验、非空字段空值检验，业务规则错误检验包括本期抄表时间与上期抄表时间早晚检验、抄表起码与抄表止码大小检验，对于未通过检验的数据进行标记，不参与费控计算；
数据集成，对步骤二生成的抄表数据和步骤三生成的表码信息进行集成，生成表码集成文件；首先利用分布式文件***对两部分数据进行读取，通过关联表信息将两部分数据进行集成，并通过集成日志的输出内容对集成过程进行监控，若表码集成过程出现错误，则返回步骤二和步骤三对更新的数据日志进行查看和调整，若表码集成文件生成成功，则进行下一步；
表码校核，采用分布式消息队列技术，对上述产生的表码集成文件利用步骤一配置的表码校核规则进行校核，若有数据未通过校核，由用户选择对未通过校核数据的处理，若有明显可修该的数据可手动或按规则方式进行修改，若确实属于不合规数据则可以选择不做处理，则***将对该类不合规数据进行标记处理，不参与费控计算；表码校核结束后，进行下一步；
步骤五、电力费控***的量费计算模块采用了分布式内存计算引擎，将计算任务在内部分解为若干个子任务，这些子任务之间由逻辑关系或运行先后顺序等因素被构建成DAG（有向无环图）结构；量费计算模块采用并行的方式将表码处理模块的结果数据加载，利用量费计算模块中的算法库进行电量计算和电费计算，电量计算内容主要包括抄见电量、换表电量、退补电量、总分表电量、定比定量电量、公用表公摊电量、变损电量和线损电量；电费计算内容包括电度电费、基金及附加电费、基本电费和功率因数调整电费；
数据加载，对步骤四通过校核的表码数据以并行的方式进行加载，加载内容包括电价、计量、用户资料和变更信息，并将加载的数据按照步骤一配置的费控算法规则转化成对应的数据结构；数据加载完成后，进行下一步；
电量计算，按照步骤一配置的电量计算算法规则，对抄见电量、换表电量、免费电量、退补电量、总分表电量、变损电量、线损电量、定比定量电量、公用表公摊电量进行计算，按照以下公式计算合计电量： 合计电量＝抄见电量+换表电量-免费电量+退补电量－分表电量＋变损电量+线损电量-定比定量电量+分摊电量；电量计算完毕后进行下一步；
电费计算，依据电量计算结果，按照步骤一配置的电费计算算法进行电费计算，计算内容为电度电费、基金及附加费、基本电费、功率因数调整电费，按照以下公式计算合计电费：合计电费＝电度电费＋基金及附加费+基本电费＋功率因数调整电费+各项目退补电费，***将数据流以计算单元为单位分割形成弹性分布式计算任务，将计算任务发送到集群的各个节点上，最终以分布式批处理的方式完成每个计算单元的任务；电费计算完毕后进行下一步；
步骤六、量费归档；费控***中的量费归档模块将步骤五中每一个算法单元的输出存储到分布式存储***中，按照用户要求，将不同单元的计算结果以不同方式分别存放在数据库表、日志文件和控制台中，以保存量费计算的所有中间过程，并通过时间轴方式串联；同时，费控***将步骤五的最终计算结果进行展示，对计算结果异常的数据，用户可以通过计算过程查看，追溯结果生成的过程，并可进行修改，***同样会记录结果的修改记录；量费归档后，进行下一步；
步骤七、量费校核，费控***的量费校核模块利用步骤一配置的量费校核规则采用流式计算技术自动对计算结果进行核查，核查内容包括核查开始时间、核查时间、任务状态和任务信息数据，并同步记录核查日志，日志内容包括开始时间、核查时间、任务状态、和任务信息；用户利用***的分布式查询功能对这些信息进行过滤查询；***将对通过校核的数据进行存储和分发，并进行下一步，对不合格数据进行标记，回写营销***进行处理；
步骤八、余额分析，费控***的余额分析模块利用分布式查询提取费控用户的账户信息和余额信息，与步骤七通过校验的计算结果进行差值计算，并利用步骤一配置的余额告警阈值进行比较，对余额小于零的用户进行欠费报警，对余额小于余额告警阈值且不小于零的用户进行欠费预警，并将报警和预警信息回写电力营销***。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610639968.8A CN106327055B (zh) | 2016-08-08 | 2016-08-08 | 一种基于大数据技术的电力费控方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610639968.8A CN106327055B (zh) | 2016-08-08 | 2016-08-08 | 一种基于大数据技术的电力费控方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106327055A CN106327055A (zh) | 2017-01-11 |
| CN106327055B true CN106327055B (zh) | 2019-10-11 |
Family
ID=57740719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610639968.8A Active CN106327055B (zh) | 2016-08-08 | 2016-08-08 | 一种基于大数据技术的电力费控方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106327055B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107729369A (zh) * | 2017-09-11 | 2018-02-23 | 新奥泛能网络科技股份有限公司 | 销售电价数据的存储方法及装置 |
| CN107742192A (zh) * | 2017-11-22 | 2018-02-27 | 国网江西省电力有限公司电力科学研究院 | 一种基于大数据的分布式电力营销策略方法和*** |
| US11055280B2 (en) | 2017-11-27 | 2021-07-06 | Snowflake Inc. | Batch data ingestion in database systems |
| CN109508971A (zh) * | 2018-11-27 | 2019-03-22 | 北京煜邦电力技术股份有限公司 | 一种电量电费结算方法、装置、设备和存储介质 |
| CN109871720B (zh) * | 2019-03-27 | 2022-04-08 | 贵阳博烁科技有限公司 | 一种实景抄表行为管理*** |
| CN110033394A (zh) * | 2019-04-22 | 2019-07-19 | 南方电网科学研究院有限责任公司 | 合规性校验远程费控电表停电指令的远程费控***及方法 |
| CN110135824A (zh) * | 2019-05-15 | 2019-08-16 | 中国联合网络通信集团有限公司 | 话费代缴方法和设备 |
| CN111241143B (zh) * | 2020-01-09 | 2021-02-02 | 湖南华博信息技术有限公司 | 用于供水的水量和水费的分布式计算方法及*** |
| CN112258175A (zh) * | 2020-09-04 | 2021-01-22 | 国网浙江省电力有限公司 | 基于云平台的电力市场电费结算数据监管平台及其使用方法 |
| CN112330320A (zh) * | 2020-11-09 | 2021-02-05 | 烟台海颐软件股份有限公司 | 基于分布式计算的电费抄核业务自动化处理***及方法 |
| CN112381583A (zh) * | 2020-11-19 | 2021-02-19 | 深圳供电局有限公司 | 一种基于分布式内存计算技术的电力量费计算方法及装置 |
| CN112598414B (zh) * | 2020-12-09 | 2024-06-25 | 北京中电普华信息技术有限公司 | 一种电力营销计费方法及电力营销计费引擎 |
| CN113342882A (zh) * | 2021-05-21 | 2021-09-03 | 贵州电网有限责任公司 | 一种用于大数据下保护定值颗粒化智能校核*** |
| CN116128542B (zh) * | 2022-12-13 | 2024-04-19 | 国网山东省电力公司营销服务中心(计量中心) | 一种购电侧电费线上核算方法及*** |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063756A (zh) * | 2014-05-23 | 2014-09-24 | 国网辽宁省电力有限公司本溪供电公司 | 远程用电信息控制*** |
| CN104376647A (zh) * | 2014-11-04 | 2015-02-25 | 国家电网公司 | 用于电力的实时算费*** |
-
2016
- 2016-08-08 CN CN201610639968.8A patent/CN106327055B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063756A (zh) * | 2014-05-23 | 2014-09-24 | 国网辽宁省电力有限公司本溪供电公司 | 远程用电信息控制*** |
| CN104376647A (zh) * | 2014-11-04 | 2015-02-25 | 国家电网公司 | 用于电力的实时算费*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106327055A (zh) | 2017-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106327055B (zh) | 一种基于大数据技术的电力费控方法及*** | |
| AU2022204116B2 (en) | Verification method for electrical grid measurement data | |
| CN108595539A (zh) | 一种基于大数据的行迹相似对象识别方法与*** | |
| CN107643983B (zh) | 一种测试数据处理方法及*** | |
| CN104811344A (zh) | 网络动态业务监控方法及装置 | |
| CN112632127B (zh) | 设备运行实时数据采集及时序的数据处理方法 | |
| CN109658050A (zh) | 一种工资报告的管理方法及设备 | |
| CN108875061A (zh) | 一种分布式文件***的一致性测试方法及相关装置 | |
| CN109710501A (zh) | 一种服务器数据传输稳定性的检测方法和*** | |
| CN114880405A (zh) | 一种基于数据湖的数据处理方法及*** | |
| CN115248757A (zh) | 一种硬盘健康评估方法和存储设备 | |
| CN114154035A (zh) | 一种动环监控的数据处理*** | |
| CN107818106B (zh) | 一种大数据离线计算数据质量校验方法和装置 | |
| CN108647118A (zh) | 基于存储集群的副本异常恢复方法、装置及计算机设备 | |
| Xu et al. | A platform for fault diagnosis of high-speed train based on big data | |
| CN111427959B (zh) | 一种数据存储方法及装置 | |
| CN103368790B (zh) | 一种针对电子交易***的性能延迟监测方法及其*** | |
| CN112308731A (zh) | 一种采集***多任务并发处理的云计算方法及*** | |
| CN104391910A (zh) | 一种基于HBase的税收统计报表存储与计算的方法 | |
| Zhao et al. | Hadoop-based power grid data quality verification and monitoring method | |
| CN113222223A (zh) | 实时数仓的风控联动预警方法、***、设备及存储介质 | |
| CN111882240A (zh) | 一种基层供电企业业务承载力评估***及方法 | |
| CN105205168A (zh) | 一种基于Redis数据库的曝光***及其操作方法 | |
| CN110109960A (zh) | 一种数据采集扩展控制***及其数据采集方法 | |
| CN117056134B (zh) | 一种快速备份能耗监测***中数据库数据的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |