CN114926099A - 电网调度ems数据的自动补缺方法 - Google Patents

电网调度ems数据的自动补缺方法 Download PDF

Info

Publication number
CN114926099A
CN114926099A CN202210775316.2A CN202210775316A CN114926099A CN 114926099 A CN114926099 A CN 114926099A CN 202210775316 A CN202210775316 A CN 202210775316A CN 114926099 A CN114926099 A CN 114926099A
Authority
CN
China
Prior art keywords
file
data
power grid
lost
point file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210775316.2A
Other languages
English (en)
Inventor
徐尧强
舒乔晔
周瑾
钱晨
李丽
吴超
卫哲鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Chenhua Network Technology Services Co ltd
East China Branch Of State Grid Corp ltd
Original Assignee
Shanghai Chenhua Network Technology Services Co ltd
East China Branch Of State Grid Corp ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Chenhua Network Technology Services Co ltd, East China Branch Of State Grid Corp ltd filed Critical Shanghai Chenhua Network Technology Services Co ltd
Priority to CN202210775316.2A priority Critical patent/CN114926099A/zh
Publication of CN114926099A publication Critical patent/CN114926099A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313—Resource planning in a project environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00002—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by monitoring
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00006—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Power Engineering (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种电网调度EMS数据的自动补缺方法，包括：使用ETL调度器从源头读取文件并调用ETL工具将电网调度EMS数据存入数据库的目标数据表内；编写丢点文件检查程序，检查目标数据表内的电网调度EMS数据是否有丢点，如果有，将丢点数据对应的丢点文件名的统计结果保存在丢点统计表中；编写丢点文件补缺程序，从丢点统计表获取丢点文件名，将丢点文件名反馈给ETL调度器，ETL调度器读取丢点文件名，从源头重新读取丢点文件并调用ETL工具将丢点文件补缺到目标数据表内。本发明可以查询到数据库中电网调度EMS数据的丢点文件，并自动将丢点文件补缺到数据库中，从而提高了数据的完整性和及时性。

Description

电网调度EMS数据的自动补缺方法
技术领域
本发明涉及企业数据质量领域，尤其是涉及一种电网调度EMS数据的自动补缺方法。
背景技术
电网企业是数据密集型企业，电网调度又是电网企业的核心部门，其日常使用的EMS***(能量管理***)是电网调度非常重要的一套生产***，该***数据是以秒级为单位实时反映电网的运行状态。为保存EMS实时数据以进行后续分析应用，调控中心以1分钟为时间断面，从EMS实时库中读取实时的电网数据并抛出成文件，并将该文件数据集成进下游的大数据中心。EMS***每分钟抛出的文件有20多个，全天累计抛出3万多个文件。这些EMS数据对于分析电网运行状态、实时预警等都有非常重要的用途，是企业非常重要的数据资产之一。
在将EMS数据保存进大数据中心的数据库时，首先会遇到的问题是数据完整性，在网络、磁盘、数据库和ETL工具等数据接入过程中涉及到的任何软硬件发生故障时，都可能造成文件入库失败，从而造成数据内容不完整。由于EMS文件每分钟都有20多个，且7*24小时都会抛出，虽然单个文件入库失败的概率比较小，但乘以文件数量，导致经常会发生文件入库(存入数据库)失败的现象。除数据完整性问题外，另一个文件就是文件入库不及时，在数据入库正常时，一般2分钟之内就可完成从EMS抛出到最终数据入库，而一旦***发生故障，就可能出现较长时间内的数据入库延时甚至不入库，如果由人工发现数据缺失并补缺，数据最终入库距离文件抛出已过去一段时间，数据及时性很难保证。
发明内容
本发明的目的在于提供一种电网调度EMS数据的自动补缺方法，可以查询到数据库目标表中的电网调度EMS数据的丢点文件，并自动将丢点文件补缺到数据库中。
为了达到上述目的，本发明提供了一种电网调度EMS数据的自动补缺方法，包括：
使用ETL调度器从源头读取文件并调用ETL工具将电网调度EMS数据存入数据库的目标数据表内；
编写丢点文件检查程序，检查所述目标数据表内的电网调度EMS数据是否有丢点，如果有，将丢点数据对应的丢点文件名的统计结果保存在丢点统计表中；
编写丢点文件补缺程序，从所述丢点统计表获取丢点文件名，将所述丢点文件名反馈给所述ETL调度器，所述ETL调度器读取丢点文件名，从源头重新读取丢点文件并调用ETL工具将所述丢点文件补缺到所述目标数据表内。
可选的，在所述的自动补缺方法中，使用ETL工具将电网调度EMS数据存入数据库的目标数据表的方法包括：将电网调度EMS数据文件上传至SFTP服务器。
可选的，在所述的自动补缺方法中，使用Informatica作为所述ETL工具。
可选的，在所述的自动补缺方法中，所述目标数据表包括：电网调度EMS数据的设备ID、电网调度EMS数据的时间、电网调度EMS数据的值和电网调度EMS数据存入数据库时的时间戳。
可选的，在所述的自动补缺方法中，所述电网调度EMS数据的时间具有规律性，并且每两个相邻电网调度EMS数据之间的时间差相同。
可选的，在所述的自动补缺方法中，检查所述目标数据表内的电网调度EMS数据是否有丢点的方法包括：
查询电网调度EMS数据的时间是否有缺失；以及
如果有，则找到丢失的时间所对应的电网调度EMS数据。
可选的，在所述的自动补缺方法中，所述丢点统计表的内容包括：丢点文件类型、丢点文件名和时间戳。
可选的，在所述的自动补缺方法中，所述ETL调度器从源头读取多个类型的文件，每个类型都包括一个补缺接口文件。
可选的，在所述的自动补缺方法中，所述ETL调度器根据所述丢点统计表将所述丢点文件补缺在所述目标数据表内的方法包括：
将所述丢点文件的名称传至所述补缺接口文件内，所述ETL调度器根据所述接口文件内的丢点文件名从源头读取文件，并调用所述ETL工具将所述补缺接口文件内的丢点文件的数据补缺至所述目标数据表内。
本发明还提供了一种电网调度EMS数据的自动补缺方法，设置Windows计划任务，在每隔一段特定的时间后，自动调用丢点文件检查程序和丢点文件补缺程序，以实现丢点文件的检测功能和丢点文件的补缺功能。
在本发明提供的电网调度EMS数据的自动补缺方法中，可以自动查询到数据库中电网调度EMS数据的丢点文件，并自动将丢点文件补缺到数据库中，从而，提高了数据的完整性和及时性。
附图说明
图1是本发明实施例的电网调度EMS数据的自动补缺方法的流程图；
图2是本发明实施例的丢点检测的示意图；
图3是本发明实施例的丢点文件名写入补缺接口文件的流程图；
图4是本发明实施例的电网调度EMS数据的自动补缺方法的流程图。
具体实施方式
下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
在下文中，术语“第一”“第二”等用于在类似要素之间进行区分，且未必是用于描述特定次序或时间顺序。要理解，在适当情况下，如此使用的这些术语可替换。类似的，如果本文所述的方法包括一系列步骤，且本文所呈现的这些步骤的顺序并非必须是可执行这些步骤的唯一顺序，且一些所述的步骤可被省略和/或一些本文未描述的其他步骤可被添加到该方法。
请参照图1，本发明提供了一种电网调度EMS数据的自动补缺方法，包括：
S1：使用ETL调度器从源头读取文件并调用ETL工具将电网调度EMS数据存入数据库的目标数据表内；
S2：编写丢点文件检查程序，检查所述目标数据表内的电网调度EMS数据是否有丢点，如果有，将丢点数据对应的丢点文件名的统计结果保存在丢点统计表中(如果没有，则不需要写入丢点统计表或者写入丢点统计表为“空”，接着继续下一个数据的检查)；
S3：编写丢点文件补缺程序，从所述丢点统计表获取丢点文件名，将所述丢点文件名反馈给所述ETL调度器，所述ETL调度器读取丢点文件名，从源头重新读取丢点文件并调用ETL工具将所述丢点文件补缺到所述目标数据表内。
本发明实施例中，电网调度EMS数据由EMS***生成。大数据中心自主研发了一款ETL调度器，使用ETL调度器从源头SFTP上下载新增EMS文件，并调用ETL工具执行数据入库(存入数据库)。另外，ETL调度器还提供补缺接口文件buque.txt，步骤S3中，丢点文件补缺程序进行丢点文件补缺时，将丢点文件写入ETL调度器的补缺接口文件buque.txt中，ETL调度器每次读取源头SFTP上的文件时，先读取接口文件buque.txt中待补缺的文件名，再从SFTP上下载需补缺的文件并调用ETL程序存入数据库的目标数据表内，从而实现补缺。本发明实施例中，使用Informatica(一款商用ETL工具，全名为Informatica PowerCenter，简称Informatica)作为ETL工具，开发出ETL程序，实现读取EMS文件并存入数据库的具体功能。
进一步的，使用ETL工具将电网调度EMS存入数据库的目标数据表的方法包括：EMS***生成数据文件并将文件放到SFTP服务器上，EMS***每1分钟生成20多个文件，SFTP是大数据中心获取EMS文件的源头。ETL调度器的功能实现从源头SFTP服务器上读取EMS数据文件并调用ETL工具执行EMS数据入库，另外，ETL调度器还具有定时功能，本发明实施例将其定义为每10秒执行一次入库过程，即每10秒ETL调度器就会自动检查一遍SFTP服务器和补缺接口文件buque.txt，一旦发现SFTP服务器上有新文件或补缺接口文件buque.txt有需要补缺的文件，程序就会自动执行入库流程，将新增或缺失的EMS数据写入到目标数据表。
优选的，目标数据表包括：电网调度EMS数据的设备ID、电网调度EMS数据的时间、电网调度EMS数据的值和电网调度EMS数据的时间戳。具体的，如表1，表1以交流线路线端为例。
表1
列名 中文注释 示例
RESOURCEID 设备ID 1191006770788
T_ID 时间 2021-5-20 14:35
MW 有功 -872.26
MX 无功 42.73
LASTUPDATE 时间戳，数据入库时间 2021-5-20 14:36:14
从表1可以看出，运行数据主要包括4类内容，设备ID、时间、值和时间戳，其中，设备ID为：大数据中心为交流线路线端提供的设备ID；时间为：EMS***提供这个数据时的时间，即量测值发生的时间；有功和无功为：设备的量测值；时间戳为：数据保存进目标数据表时的时间；
进一步的，电网调度EMS数据的时间具有规律性，并且每两个相邻电网调度EMS数据之间的时间差相同。本发明实施例选用的电网调度EMS数据是间隔1分钟的断面数据。在表1中，数据是1分钟断面，因此字段“T_ID”(时间)是有规律的1分钟间隔，如“2021-5-2014:33、2021-5-20 14:34、2021-5-20 14:35”，即每分钟都有值，该时间来自于EMS***提供的文件名，如“2021-5-20 14:35”来自于EMS数据文件“Aclineend202105201435.txt”。因此，通过检查目标数据表中的“T_ID”字段的时间的缺失情况，就能发现哪些文件没能入库。
进一步的，检查目标数据表内的电网调度EMS数据是否有丢点的方法包括：查询电网调度EMS数据的时间是否有缺失；如果有，则找到丢失的时间所对应的电网调度EMS数据。具体的，请参照图2，撰写丢点检测程序，该程序生成一系列间隔1分钟的标准时间，然后将这些标准时间与目标表数据表内的时间(T_ID)进行对比，如果发现目标表数据表内的时间相对于标准时间有缺失，则将这个缺失的时间判定为丢点时间，最后将丢点时间翻译成文件名。例如，如果发现时间2021-5-20 14:34有缺失，则认为2021-5-20 14:34所对应的电网调度EMS交流线路线端数据为丢点，需要将它转换成对应的文件名，以找到对应的丢点文件，转换规则是：Aclineend年月日.txt，所以转换后的丢点文件名为Aclineend202105201434.txt，Aclineend202105201434.txt即为丢点文件。
进一步的，丢点统计表的内容包括：丢点文件类型、丢点文件名和时间戳。丢点统计表如表2。
表2
列名 中文注释 示例
FILE_TYPE 文件类型 D5000_MEAS_ACLINEEND
T_ID 丢点文件时间 2021-5-20 14:34
FILENAME 丢点文件名称 Aclineend202105201434.txt
LASTUPDATE 时间戳，数据入库时间 2021-5-20 15:01:13
其中，丢点文件类型用于区分丢点文件所属的类型，在自动补缺时根据该行示例的内容D5000_MEAS_ACLINEEND将不同类型的丢点文件分别写入ETL调度器对应的补缺接口文件中；丢点文件时间，是丢点文件的数据的时间；丢点文件名称即丢点文件名，即需要补缺的文件名称；时间戳是丢点检查统计结果入库的时间，方便运维人员了解本次缺失信息发生的时间。
进一步的，ETL调度器从源头读取多个类型的文件，每个类型都包括一个补缺接口文件。例如，“ETL调度器”中的“补缺接口文件buque.txt”不止一个，EMS***抛出的每种设备类型数据都有一个对应的补缺接口文件buque.txt，因此需将不同设备的丢点文件写入到对应的补缺接口文件中。因此，为了实现丢点补缺的可配置和易扩展，本发明实施例使用了丢点补缺配置表，定义了不同设备的“补缺接口文件buque.txt”位置等信息，丢点补缺配置表如表3所示：
表3
Figure BDA0003726783630000061
其中，FILE_TYPE为每种类型的文件都对应着一种EMS设备类型，如“D5000_MEAS_ACLINEEND”表示EMS***中线路线端设备，通过该行示例的内容可将“丢点补缺配置表”(表3)与“丢点统计表”(表2)进行关联；FILE_LOC_NAME为“补缺接口文件buque.txt”的位置，丢点文件名将写入到该buque.txt文件中；BQ_START_DAYS和BQ_END_DAYS分别为补缺开始时间和补缺结束时间，只对开始和结束时间范围内的丢点文件进行补缺，以提高效率；IS_BQ为是否补缺的开关，方便控制是否进行自动化补缺；REMARK为对当前补缺配置信息的补充说明，如“EMS***线端补缺配置信息”表示对配置信息的示例的补充说明，说明该配置信息是关于EMS线路线端自动补缺的配置信息。
进一步的，请参照图3，将丢点统计表反馈给ETL调度器，根据丢点配置信息将丢点统计表中的丢点文件名反馈给ETL调度器的方法包括：首先，获取配置信息，具体的，读取丢点补缺配置表(表3DDJK_EMS_BQ_CONF)中所有配置信息，要求IS_BQ为“是”，并将配置信息放入列表；接着，判断配置信息是否未读完；如果是，获取单个类型配置信息，具体的，获取当前类型的FILE_TYPE、FILE_LOC_NAME、BQ_START_DAYS和BQ_END_DAYS的信息；接着，获取丢点文件名，具体的，根据FILE_TYPE、BQ_START_DAYS和BQ_END_DAYS的信息，读取丢点统计表(表2DDJK_EMS_LOSTFILES)中符合条件的文件名，并写入数组LOST_FILES；接着，判断数组LOST_FILES是否有数据；如果是，则写入补缺接口文件，具体的，将数组LOST_FILES中的文件名，写入到FILE_LOC_NAME指定的buque.txt文件中。
本发明还提供了一种电网调度EMS数据的自动补缺方法，设置Windows计划任务，在每隔一段特定的时间后，自动调用所述丢点文件检查程序和丢点文件补缺程序，以实现丢点文件的检测功能和丢点文件的补缺功能。具体的，请参照图4，为实现自动化执行步骤S2至步骤S3，本发明使用Windows操作***自带的“计划任务”。本发明实施例首先使用Oracle存储过程实现丢点文件检查程序的功能，其次使用Python实现丢点文件补缺程序，再使用bat文件“ems_buque.bat”将这两个功能结合在一起，调用bat文件“ems_buque.bat”时，按照图4的顺序依次执行丢点文件检查程序和丢点文件补缺程序。为实现自动调用，本发明在操作***的“任务计划”定义一个计划，在计划中调用文件“ems_buque.bat”，从而实现定时执行补缺功能。丢点文件检查程序和丢点文件补缺程序以及调用程序一旦编写完成，对不同类型EMS数据丢点补缺的时间范围调整、是否补缺的控制只需修改丢点补缺配置表即可完成，不用修改程序。本发明将任务计划设定为30分钟执行一次，即每30分钟反馈一次当前最新的数据缺失情况，而“入库”每10秒执行一次，总体上相当于30分钟零10秒内自动进行一次补缺工作。
本发明实施例在提升数据质量和降低运维工作量上都取得了良好的效果。对于数据质量，主要在数据完整性和及时性方面进行了提升，自动补缺技术的应用，将原来的一次入库机会提升为N次，只要源头抛出正确的数据文件，可以确保数据100％存入到目标数据库，解决了数据丢点难题，提高了数据的完整性；自动补缺程序可以自主设定补缺时间频率，如本发明将补缺频率设定为30分钟/次，该时间频率可以满足目前大数据中心用户对数据的及时性需要，如果未来用户对及时性有更高的要求，可将补缺频率设定为10分钟/次、5分钟/次，而人工补缺却很难实现这么高频率的补缺，因此也提高了数据的及时性。在数据ETL运维中，将单调、重复的丢点补缺工作交给自动补缺功能，极大降低了运维人员的常规运维工作量。
综上，在本发明实施例提供的电网调度EMS数据的自动补缺方法中，可以自动查询到数据库中电网调度EMS数据的丢点文件，并自动将丢点文件的数据补缺到数据库中，从而，提高了数据的完整性和及时性。
上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (10)

1.一种电网调度EMS数据的自动补缺方法，其特征在于，包括：
使用ETL调度器从源头读取文件并调用ETL工具将电网调度EMS数据存入数据库的目标数据表内；
编写丢点文件检查程序，检查所述目标数据表内的电网调度EMS数据是否有丢点，如果有，将丢点数据对应的丢点文件名的统计结果保存在丢点统计表中；
编写丢点文件补缺程序，从所述丢点统计表获取丢点文件名，将所述丢点文件名反馈给所述ETL调度器，所述ETL调度器读取丢点文件名，从源头重新读取丢点文件并调用ETL工具将所述丢点文件补缺到所述目标数据表内。
2.如权利要求1所述的自动补缺方法，其特征在于，使用ETL工具将电网调度EMS数据存入数据库的目标数据表的方法包括：将电网调度EMS数据文件上传至SFTP服务器。
3.如权利要求1所述的自动补缺方法，其特征在于，使用Informatica作为所述ETL工具。
4.如权利要求1所述的自动补缺方法，其特征在于，所述目标数据表包括：电网调度EMS数据的设备ID、电网调度EMS数据的时间、电网调度EMS数据的值和电网调度EMS数据存入数据库时的时间戳。
5.如权利要求4所述的自动补缺方法，其特征在于，所述电网调度EMS数据的时间具有规律性，并且每两个相邻电网调度EMS数据之间的时间差相同。
6.如权利要求5所述的自动补缺方法，其特征在于，检查所述目标数据表内的电网调度EMS数据是否有丢点的方法包括：
查询电网调度EMS数据的时间是否有缺失；以及
如果有，则找到丢失的时间所对应的电网调度EMS数据。
7.如权利要求1所述的自动补缺方法，其特征在于，所述丢点统计表的内容包括：丢点文件类型、丢点文件名和时间戳。
8.如权利要求1所述的自动补缺方法，其特征在于，所述ETL调度器从源头读取多个类型的文件，每个类型都包括一个补缺接口文件。
9.如权利要求8所述的自动补缺方法，其特征在于，所述ETL调度器根据所述丢点统计表将所述丢点文件补缺在所述目标数据表内的方法包括：
将所述丢点文件的名称传至所述补缺接口文件内，所述ETL调度器根据所述接口文件内的丢点文件名从源头读取文件，并调用所述ETL工具将所述补缺接口文件内的丢点文件的数据补缺至所述目标数据表内。
10.一种电网调度EMS数据的自动补缺方法，其特征在于，设置Windows计划任务，在每隔一段特定的时间后，自动调用丢点文件检查程序和丢点文件补缺程序，以实现丢点文件的检测功能和丢点文件的补缺功能。
CN202210775316.2A 2022-07-01 2022-07-01 电网调度ems数据的自动补缺方法 Pending CN114926099A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210775316.2A CN114926099A (zh) 2022-07-01 2022-07-01 电网调度ems数据的自动补缺方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210775316.2A CN114926099A (zh) 2022-07-01 2022-07-01 电网调度ems数据的自动补缺方法

Publications (1)

Publication Number Publication Date
CN114926099A true CN114926099A (zh) 2022-08-19

Family

ID=82815749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210775316.2A Pending CN114926099A (zh) 2022-07-01 2022-07-01 电网调度ems数据的自动补缺方法

Country Status (1)

Country Link
CN (1) CN114926099A (zh)

Similar Documents

Publication Publication Date Title
CN104850635B (zh) 一种多数据源环境下数据缺失自动检查及集中监控方法
CN110580572B (zh) 一种产品全寿命追溯***
CN114925045B (zh) 大数据集成和管理的PaaS平台
CN101685452B (zh) 数据仓库调度方法及调度***
CN108959616A (zh) 基于大数据技术的生产域数据质量准实时监控***及方法
CN114416703A (zh) 数据完整性自动监控方法、装置、设备及介质
CN111913933B (zh) 基于统一支撑平台的电网历史数据管理方法及***
CN110888774A (zh) 基于hbase的大数据报表处理方法及装置
CN113673858A (zh) 一种厂务设备的维保方法、装置、***及存储介质
CN111291051B (zh) 运价数据处理方法及装置、存储介质及电子设备
CN113762735A (zh) 一种基于规则库的数据质量治理***及方法
CN111352982A (zh) 一种基于大数据的人力抽取分析***
CN111723004B (zh) 敏捷软件开发的度量方法，度量数据输出方法以及装置
CN116957528B (zh) 一种对多来源打卡数据自动生成考勤结果的方法及***
CN114926099A (zh) 电网调度ems数据的自动补缺方法
CN108491432A (zh) 基于消息摘要的电力***累计量存储及抽取方法、电子设备和存储介质
US20120233115A1 (en) Real-time document management system and method
CN112596775A (zh) 应用版本投产问题的线上管理方法、***及相关设备
CN112561368B (zh) 一种oa审批***的可视化业绩计算方法及装置
CN116451976B (zh) 一种基于自动化生产的生产流程配置方法及相关设备
CN116011758B (zh) 一种多数据分析智能整合排程***及方法
CN111402016B (zh) 全成本检查方法及其***
CN111460018B (zh) 实物id数据贯通方法和***
CN112380164B (zh) 基于快照技术的电力***场景化数据管理方法、装置及***
Chen et al. Design and implementation of digital big data analysis platform based on substation maintenance full link

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination