CN111460018B - 实物id数据贯通方法和*** - Google Patents

实物id数据贯通方法和*** Download PDF

Info

Publication number
CN111460018B
CN111460018B CN202010241219.6A CN202010241219A CN111460018B CN 111460018 B CN111460018 B CN 111460018B CN 202010241219 A CN202010241219 A CN 202010241219A CN 111460018 B CN111460018 B CN 111460018B
Authority
CN
China
Prior art keywords
data
physical
stock
incremental
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010241219.6A
Other languages
English (en)
Other versions
CN111460018A (zh
Inventor
刘栋
李宁
刘正胜
朱宾
赵璐璐
孟涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinxiandai Information Industry Co ltd
Original Assignee
Jinxiandai Information Industry Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinxiandai Information Industry Co ltd filed Critical Jinxiandai Information Industry Co ltd
Priority to CN202010241219.6A priority Critical patent/CN111460018B/zh
Publication of CN111460018A publication Critical patent/CN111460018A/zh
Application granted granted Critical
Publication of CN111460018B publication Critical patent/CN111460018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2291—User-Defined Types; Storage management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种实物ID数据贯通方法和***，在本发明的实施例中，区分数据类型以便于数据的管理，其中增量数据预先提供虚拟的实物ID，基于该虚拟的实物ID贯通在设备建设过程中的各个环节所产生的数据，避免增量数据的遗漏或丢失。而对于存量数据，由于存在历史数据，即在实物ID建立前的数据，在实物ID建立过程中，相关数据会被逐渐的录入，后期录入的数据通过与相应实物ID的关联关系而匹配到相应的实物ID之下，从而能够保证关涉相应实物ID数据的完整性。

Description

实物ID数据贯通方法和***
技术领域
本发明涉及一种实物ID数据贯通方法和实物ID数据贯通***，其中实物ID即电网资产统一身份编码，是指为国家电网公司实物资产设备给予唯一、终身不变的身份编码。
背景技术
实物ID贯穿电网实物资产规划计划、采购建设、运维检修、退役处置等资产全寿命周期各阶段，用于实现资产全寿命周期项目编码、WBS编码（Work Breakdown Structure，工作细分结构）、物料编码、资产编码、设备编码等信息的关联共享。旨在以实物“ID” 为纽带，实现电网实物资产在规划设计、采购建设、运维检修和退役报废全寿命周期内状态、成本、缺陷等信息的互联互通，推动公司资产管理水平再上一个新台阶。
国网公司自2018年起开始在全国范围内进行实物ID建设，实物ID建设主要为存量实物ID生成及溯源，增量实物ID全流程贯通相关数据维护，因实物ID涉及***众多，目前无监控手段对存量实物ID的生成、贴码、溯源情况的准确性进行定位，也没有办法对增量设备实物ID全流程贯通中的相关参数是否维护进行管控。
随着大数据技术的不断发展和电力***的不断扩大，全业务数据中心在各省完成建设并开始应用，各业务***数据共享度提高。试图将PMS2.0设备数据、ERP***中项目、物资、设备、资产及微应用相关数据、工程建设参数数据贯通；但是目前电力各运行中的信息化***数据集成度不高，存在跨***进行数据计算及展示难度大、规则制定难等问题。有鉴于此，对电力***各个环节的相关数据进行贯通，显得非常必要。
注：PMS2.0：国网设备（资产）运维精益管理***（Power Production ManagementSystem 2.0）。
2、ERP：国网ERP套装软件为德国思爱普公司的企业管理解决方案（SystemApplications and Products）。
由于实物ID建设自2018年开始，而电力***是一个庞大的***，并且设备的更新换代周期也比较长，相关数据既包括增量设备数据，也包括既存设备数据和正在建设还未被录入到数据库中的设备数据，由于相关设备所处的时期不同，对同类设备使用不同的字段进行描述，甚至于设备ID的命名规则也不尽相同。尤其是，电网管理的层级在较早的时候层级较低，例如县级、地区级，每个地方对设备的管理也不相同，所产生的数据相对繁杂。
如中国专利文献CN110689214A背景技术描述了在不同的应用场景中，同一个实体可能存在多个标识，实物ID也存在着同样的问题，在不同的场景中会使用不同的字段甚至是不同的标识、名称进行描述，同一设备如在采购环节、建设环节、运营状态会使用不同的字段对其进行描述。即便是单纯的运营状态，在不同的***中也会使用不同的字段进行描述，例如同一设备在PMS中和在ERP中会采用不同的字段进行描述。
为实现数据贯通，中国专利文献CN110689214A采用不同时空下数据配准的方式确定至少两个实物ID是否可被融合，如果符合条件，则可融合。其融合的前提也是至少两个实物ID是否指向同一设备，然后进行数据的贯通，对电网实物ID的数据贯通具有指导意义，但所适用对象并不同，电网实物ID的复杂度更高，尤其是存在大量的历史数据。
统一的实物ID在电网数据管控方面具有较强的意义，数据贯通以实物ID为核心，可以贯通电网项目的各个环节。
发明内容
因此，本发明的目的在于以实物ID为核心提供一种基于实物ID的数据贯通方法，以用于电网业务数据的有效贯通，本发明还提供了一种实物ID数据贯通***。
在本发明的实施例中，提供了一种实物ID数据贯通方法，其包括以下步骤：
提取，采用预定的提取方法对PMS和ERP中的数据进行提取；
一次存储，将提取到的数据分类存储到指定位置，其中分类按照相对应的设备是否已接入电网区分为增量数据和存量数据；
加工，对所述增量数据提供虚拟的实物ID，以虚拟的实物ID为关联关系将与该虚拟的实物ID相关的增量数据映射到第一存储区域；对所述存量数据通过实物ID为关联关系将与该实物ID相关的存量数据映射到第二存储区域，剩余存量数据通过预定的匹配关***一描述规则并进一步映射到第二存储区域，且包含到给定的实物ID之下；
其中，PMS为Power Production Management System，即国网设备（资产）运维精益管理***；
ERP为System Applications and Products，企业管理***。
可选地，所述增量数据根据所对应设备来源不同而分类存储，每类增量数据使用各自的字段进行描述；
不同类增量数据的相对应的字段间存在确定的映射关系。
可选地，提供附加字段库，用于增加对增量数据的描述；
提供规则库，在设备验收时，从规则库中调用相应的规则对增量数据进行校验，校验通过后，相应设备接入电网；
设备接入电网后，虚拟的实物ID通过设备新建形成实物ID，增量数据通过字段匹配生成存量数据。
可选地，存量数据包括归一的存量数据和溯源的存量数据；
其中溯源的存量数据在加工时，需验证溯源的存量数据是否异常，若是，则向报送溯源的存量数据的节点反馈异常信息；
若否，溯源的存量数据根据字段匹配生成归一的存量数据。
可选地，所述提取步骤为每天给定时刻的提取；和/或
相应外部指令的提取。
可选地，首次提取为ERP和PMS所涉及数据的全部字段；
后续提取为ERP和PMS所涉及数据在提取时刻当前的全部字段；或
后续提取只提取ERP和PMS中用于描述增加的数据或产生更新的数据的全部字段。
可选地，确定增加或更新的方法是：
在增加数据时产生增加标识，在更新数据时产生更新标识；
相应地，通过增加标识和更新标识来确定数据的增加或更新。
可选地，预定的提取方法为使用ETL或ELT的提取方法；
其中，ETL为Extract-Transform-Load，即用来描述将数据从来源端经过抽取-转换-加载-至目的端的过程；
ELT为Extract-Load-Transform，即用来描述将数据从源端经过抽取-加载-转换至目的端的过程；
E，即extract，抽取；T即transform，转换；L即load，加载。
可选地，在加工步骤，对提取到的数据进行帐卡物关键字段匹配筛选，将筛选出的不能匹配的数据，生成异常数据。
在本发明的实施例中，还提供了一种实物ID数据贯通***，包括：
提取单元，采用预定的提取方法对PMS和ERP中的数据进行提取；
一次存储单元，将提取单元提取到的数据分类存储到指定位置，其中分类按照相对应的设备是否已接入电网区分为增量数据和存量数据；
加工单元，对一次存储单元中存放的所述增量数据提供虚拟的实物ID，以虚拟的实物ID为关联关系将与该虚拟的实物ID相关的增量数据映射到第一存储区域；对一次存储单元中存放的所述存量数据通过实物ID为关联关系将与该实物ID相关的存量数据映射到第二存储区域，剩余存量数据通过预定的匹配关***一描述规则并进一步映射到第二存储区域，且包含到给定的实物ID之下；
其中，PMS为Power Production Management System，即国网设备（资产）运维精益管理***；
ERP为System Applications and Products，企业管理***。
在本发明的实施例中，区分数据类型以便于数据的管理，其中增量数据预先提供虚拟的实物ID，基于该虚拟的实物ID贯通在设备建设过程中的各个环节所产生的数据，避免增量数据的遗漏或丢失。而对于存量数据，由于存在历史数据，即在实物ID建立前的数据，在实物ID建立过程中，相关数据会被逐渐的录入，后期录入的数据通过与相应实物ID的关联关系而匹配到相应的实物ID之下，从而能够保证关涉相应实物ID数据的完整性。
附图说明
图1为一实施例中电力***试验数据采集***拓扑图。
图2为一实施例中电力***实物ID数据贯通流程图。
具体实施方式
参照说明书附图1，关于电力***试验设备，例如回路电阻测试仪、接地电阻测试仪、继电保护测试仪、变比测试仪、直流高压发生器、频率发生器、高压开关动特性测试仪等等，这些用于电力***各个环节测试的试验设备作为仪器仪表，普遍具有与上位机连接的端口，可以直接上传试验数据。
一些试验数据可以由现场人员通过手工录入的方式向例如工区客户端录入试验数据，工区客户端可见于图1，图中，工区客户端作为电力***试验数据采集的叶节点，构成采集终端的上位机，采集终端即前述的试验设备。
关于增量数据，在更多的时候是在相关设备项目的某个环节完成后，通过例如手持终端录入相关信息，上传到例如前述的工区客户端。
在一些实现中，增量数据可以直接在工区客户端录入。
前述的相关信息并不必然是设备运行数据，还可以是例如虚拟的实物ID所对应设备的当前状态数据、设备来源数据、验收盘点数据等等。
若干工区客户端在例如某厂区构建一用于试验数据采集的局域网，局域网可建立在有线网络之上，也可以建立在无线网络之上。
局域网通过核心网络交换机接入外网，图1中，省公司客户端构成信息内网的父节点，省公司客户端可以作为批准端，用于其下级节点试验数据的监测。
在图1所构建的网络中，可以在较低的层级部署数据服务器和应用服务器，也可以在较高的层级部署。当在较低的层级部署时，所需服务器数量较多，可以构建服务器集群。
对于更高的层级，有利于汇总各个区域的试验数据，试验数据的统计学特征更具有代表性。
试验数据可以通过试验设备直接采集然后上传，在更多的应用中，现场设备自身会配有仪器仪表，例如电流、电压等测量设备。在更多的应用中，基于集中分布式现场工况采集***，在例如电厂端会有基于力控软件的监控***，该监控***本身可以作为工区客户端。
在图1中所示拓扑结构中位于更高层级的终端优选以基于BI的试验数据分析、展示配置。其中BI是Business Intelligence的缩略语是，即商业智能。又称商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。商业智能的概念在1996年最早由加特纳集团（Gartner Group）提出。
采用BI，可实现试验报告维度数据分析，通过对例如日期、性质、专业等多个维度进行定义，并可进行自由组合及配置 ，对不同条件下的试验报告对应的试验项目及试验数据进行自由展示，支持报表或图表两种查看方式。
需知，实物ID需要业务横跨项目、物资、设备、资产等多个业务部门，相关数据涉及PMS2.0、ERP、微应用等多个信息化***，若跨业务领域核查相关数据，以及完成情况，因业务规则不同，部门编码不对应，相关字段不统一，核查相关数据及完成情况难度大，无法满足管理人员对例如进度管控的实际需求，因涉及多个***数据核对从而加重了统计人员的工作量，无法满足管理层的在线管控需求。
在本发明的实施例中，可以预设独立的一个或者多个数据服务器，以将基于实物ID的业务数据汇总，存储到所述数据服务器，相关业务数据按照预设的业务规则，确定出不同数据的业务管控维度，梳理相关数据。相关数据的梳理在所述数据服务器完成，从而在调用相关数据或者进一步处理时，不必实时的再去获取在线的业务***的相关数据，不受网络状态及传输速率的影响，也不必再进行复杂的进行数据处理，大大提高了相关人员处理相关业务的效率。
需知，相关业务数据均在各业务***总存放，因此，对于相关业务数据的调用或者说提取，在满足权限的条件下，对其提取是可行的，且是无障碍的。
关于所述权限，显然数据管控是在满足权限的条件下完成的，数据管控的业务端必然具备所述权限。
另，尽管相关业务数据均在各业务***总存放，但响应外部指令而对整个全业务流程数据中的因应所述外部指令的数据进行提取、展示仍然会面临比较大的障碍。具体是需要横跨多个业务***进行查找，因数据结构，对应（mapping）方式，管控维度存在差异性，查找本身相对比较困难；进而查找到的因应所述外部指令的数据需要从各业务***汇总到本地，响应时间长；再者需要人工辨读相关数据，整体效率偏低。
需知，即便是各业务***管理方式、业务管控维度的不同，但基于实物ID仍然能够满足基于确定的实物ID而将与该实物ID所对应的业务数据汇总，并按照新的业务规则进行处理，并存储到本地，此段中的本地指所述数据服务器。
当把相关业务数据汇总后，即可按照给定的数据统计维度及对应的关联关系进行数据的梳理，然后存储到相关数据服务器，从而再进行数据调用时，直接从数据服务器调用，而不是跨业务领域调用，并且数据进行了梳理，能够相应相关指令而规则的进行展示。
需知，现有各业务***的对于同样的数据，如部门编码不对应、相关字段不统一，但相互之间具有确定的关联关系，虽跨业务领域对相关数据梳理比较难，但汇总到本地，并基于所述关联关系对应（mapping）后，则相应的业务数据对应关系梳理难度就会大幅降低。
图2所示结构为数据在贯通过程中的管控流程，数据来源为全业务数据中心和ODS，即数据层(data level )将对数据库的操作封装，在本发明的实施例中数据层用于从PMS和ERP中用于总存放相应业务***中的业务数据添加或者说传递到数据层的上层，即逻辑层，为数据提取过程。
其中的ODS为国网数据中心，介入权限比较高。PMS和ERP数据为来自各个业务***的数据，是本发明实施例所直接提取的数据。国网数据中心ODS中的数据多是经过加工后的相对上层的数据。
图2中所示结构中的逻辑层，用于描述数据库所存储数据的逻辑结构，对其下层，也就是数据层传递过来的业务数据基于相互之间的既有的或者说确定的关联关系将其中包含于例如同一实物ID的数据以实物ID为索引存储到一块。
逻辑层对数据加工前的总存放记为一次存储，对数据初步加工后的存放为二次存储，以此类推。
对数据分类存储有助于后续的有选择的加工，能够提高数据管控的效率。
相应地，对于一次存储，是将提取到的数据分类存储到指定位置的过程，其中分类按照相对应的设备是否已接入电网区分为增量数据和存量数据。
进而，对所述增量数据提供虚拟的实物ID，以虚拟的实物ID为关联关系将与该虚拟的实物ID相关的增量数据映射到第一存储区域；对所述存量数据通过实物ID为关联关系将与该实物ID相关的存量数据映射到第二存储区域，剩余存量数据通过预定的匹配关***一描述规则并进一步映射到第二存储区域，且包含到给定的实物ID之下。
需知，在设备入场后，可以贴例如实物ID标签，可以通过手持终端扫描的方式确定实物ID，然后录入相关数据上传。此时该设备并不是直接接入到电网中的设备，但其相关数据已经可被上传。由于处于非运营状态，因此该处于非运营状态的设备所对应的实物ID记为虚拟的实物ID，例如进场设备的管控。
需知，对数据的加工，可以是对单一实物ID所涉及数据的加工，也可以是包含于若干个业务***中的同类数据的加工，关于加工基于本地的业务需要而进行。在更多的应用中，最终存储到本地的数据可以采用多种字段进行描述。
逻辑层对数据层提取到的数据进行重构，以适于在指定的单一的设备上进行存储，方便对相关数据进行加工。
进而，逻辑层对相关数据使用预定的字段进行描述，适于梳理或者适于直接展示。
将逻辑层加工后的数据存储到本地的数据库。
此外，数据的贯通除了基于实物ID将与该实物ID相对应的设备所关联数据与实物ID对应外，某些数据因各种各样的原因，使应当包含于实物ID下的某些数据实质并不能通过实物ID简单地关联起来。
数据管控层（在图2中表示为数据管控）对相关数据进行统计，主要包括增量设备数据（对应增量数据）维护、存量溯源数据异常管控和帐卡物对应数据异常管控。
先看增量数据，增量数据主要涉及数据的完整性问题，问题的关键在于由于设备尚未介入到电网，相关增量数据的输入主要靠人工采集，增量数据的完整性不容易保证。
在本发明的实施例中侧重于物资技术参数未维护、工程建设参数未维护、验收盘点清册未维护、转资清册未维护。按照给定的规则，在设备介入的某个阶段，必然需要完成特定的工作，并适配相关增量数据，通过对增量数据在特定时段的完整性验证，可以确保对现场的管控。
所述增量数据根据所对应设备来源不同而分类存储，每类增量数据使用各自的字段进行描述；
不同类增量数据的相对应的字段间存在确定的映射关系。
例如，核查各单位物资技术参数未维护的数据，按照要求物资技术参数维护区分正常采购、电商平台采购等多种类型，各种类型规则不一致，需要单独梳理并形成页面数据，通过例如工区客户端上传，并基于确定的规则验证相应增量数据的完整性。
进而，针对工程建设参数未维护情况进行统计，工程建设参数分为交接试验报告、安装调试记录等不同的工程建设参数，分不同维度不同规则进行梳理，对各单位设备未完成工程建设参数的设备进行统计，形成相应的增量数据，按照在这个阶段增量数据的应有数据进行验证，确保在这个阶段数据的完整性。
其他，如验收盘点清册未维护、转资清册未维护同理。其本质就在于上传数据是否已经满足了该阶段应有的全部数据。
此外，对于增量数据，随着录入数据的增多，所适配字段量也会变大，在一些实现中，某些字段可能是需要针对新设备新设字段，为此，提供附加字段库，用于增加对增量数据的描述；
提供规则库，在设备验收时，从规则库中调用相应的规则对增量数据进行校验，校验通过后，相应设备接入电网；此处的规则就是保证前述的数据完整性的规则。
设备接入电网后，虚拟的实物ID通过设备新建形成实物ID，增量数据通过字段匹配生成存量数据。
另外，在接入电网前还需保证设备可用，还可以从可用性方面提供相关规则对相应设备的状态进行验证。应知，此处属于验收范畴，相关规则具有确定性。
存量数据不仅包括实物ID建立后通过增量方式所产生的存量数据，还包括实物ID建立前已经接入到电网***设备所对应的存量数据。存量数据在数据管理上较大的问题是存量数据的溯源问题，溯源问题出现的原因主要是各地对设备管理的不统一。
加以细分的，量数据包括归一的存量数据和溯源的存量数据；
其中溯源的存量数据在加工时，需验证溯源的存量数据是否异常，若是，则向报送溯源的存量数据的节点反馈异常信息；
若否，溯源的存量数据根据字段匹配生成归一的存量数据。
溯源的存量数据较多的体现在项目编码与WBS（Work Breakdown Structure，工作分解结构）不匹配、物料类型与设备类型不匹配、物料与设备电压等级不匹配、物料编码与物料描述不匹配、采购申请号首位不为1、采购订单号首位不为4、物料编码首位不为5等。
例如前述的物料编码首位不为5，应知，作为增量数据，其数据结构本身决定了其可以通过简单地首位验证就能够确定相关材料编码是否正确。进而按照规则进行统计已溯源数据采购申请单号首位是否正确，可以快速判断设备溯源的采购申请是否准确，根据单位维度统计各单位数量，并提供查询详情、导出等功能。
对于其他类型的“位”验证方法同上。
对于例如项目编码与WBS不匹配，表现在项目编码与WBS存在一定的关联关系，按照已知的规则进行统计已溯源数据项目编码与WBS匹配情况，以查找到相应的异常数据。
前述的各个阶段的异常数据可以一同被送到上层，由上层节点处理。相关异常数据也可以反馈给下层，由下层节点根据数据异常情况对设备或者所上传的数据进行核查。
其他如物料类型与设备类型不匹配等不匹配类数据采用同上的处理方式。
这些数据的不匹配影响数据的贯通，在矫正数据匹配情况后，相关数据即为贯通。
关于帐卡物对应异常情况，所产生的异常数据的主要原因是帐卡物关键字段不匹配，其次是存在空资产卡片清单或者资产价值异常清单。通过例如字段匹配可以筛选出相关异常数据，并反馈给下级阶段进行矫正，所形成的的新的相匹配的数据即可贯通。
对于数据的提取，使用ETL工具进行提取，数据提取可以定时提取，优选为每天的0时0分0秒，各业务***的数据为截止到前一天24时的数据，并且每天的0时0分0秒为午夜，实物ID的变动概率比较低，而基于已有实物ID的各业务***的数据更新也比较慢。对于本地数据库与各业务***间的数据传输因此时其它业务***或许都处于准空闲状态，相关的数据传输速率相对较高。
定时提取，尤其是在整个电网***相对空闲的时间段提取相关数据，并进行加工后存储，能够有效的避免对***资源的较大占用和电网***正常运行的影响。加工后的数据在正常时段可被直接调用。
定时提取所获得的数据相对于全业务***的数据而言是相对实时的，在于全业务***的数据存续时间比较长，每天产生更新的数据相对较少，定时提取的数据当前天或者次日都有较好的真实性。
在一些实施例中，在既有的存储在本地的数据的基础上，还可以通过外部命令的方式直接调用分布在各业务***端的数据。
需知，各业务***端的数据在传统的数据调用中即以存在，在本发明的的实施例中作为补充。
进一步地，通过外部指令对分布在各业务***端的数据进行提取作为补充，必然是以定时提取为前提的。
进一步地，如前所述，每天产生更新的数据相对于整个全业务***而言数据量并不大，因此，对于相应外部指令的提取可以在现有的存储在本地的数据的基础上只提取产生更新的数据，产生更新的数据在存储到本地后可以直接替换既存的数据，从而能够大大降低整体的传输量和计算量。
在本发明的实施例中，至少首次提取为ERP和PMS2.0（或进一步升级后的例如PMS3.0）的关于实物ID的所涉及数据的全部字段。在后续提取中则可以提取ERP和PMS2.0的关于实物ID的所涉及数据的全部字段，也可以是ERP和PMS中用于描述增加的数据或产生更新的数据的所有字段。
产生更新的数据往往具有明确的更新时间，可以根据更新时间进行数据的提取。
在一些应用中可以直接对产生更新的数据施以时间戳或者其他数字标签的方式进行标识，该标识为周期性标识，在所标识数据被提取后取消。
关于提取方法，目前基于数据库的数据提取方法主要有两种，一种是ETL，即Extract-Transform-Load，用来描述将数据从来源端经过抽取-转换-加载-至目的端的过程；另一种是，ELT为Extract-Load-Transform，即用来描述将数据从源端经过抽取-加载-转换至目的端的过程。其中E，即extract，抽取；T即transform，转换；L即load，加载。
ETL或ELT可以运用其内置的metadata功能来存储来源（源端）与目的（目的端）的对应(mapping)以及转换规则，开发人员不用去熟悉各种相异的平台及数据的结构，亦能进行开发。
相对而言，ETL所描述的过程，一般常见的作法包含ETL或是ELT，并且混合使用。通常越是大量的数据、复杂的转换逻辑、目的端为较强运算能力的数据库，越是偏向使用ELT，以便运用目的端数据库的平行处理能力。
从图1所示的结构中可见，本地数据库的数据基于所述ETL或ELT与PMS及ERP中数据对应，并在本地存储数据间的所述确定的关联关系而形成本地数据组合关联表。在本地数据库，对数据进行调用并加工的过程也可以基于所述ETL或ELT。
在本地数据库，以加工后的数据为元素所形成本地数据统计表至少以实物ID为索引。

Claims (7)

1.一种实物ID数据贯通方法，其特征在于，包括以下步骤：
提取，采用预定的提取方法对PMS和ERP中的数据进行提取；
一次存储，将提取到的数据分类存储到指定位置，其中分类按照相对应的设备是否已接入电网区分为增量数据和存量数据；
加工，对所述增量数据提供虚拟的实物ID，以虚拟的实物ID为关联关系将与该虚拟的实物ID相关的增量数据映射到第一存储区域；对所述存量数据通过实物ID为关联关系将与该实物ID相关的存量数据映射到第二存储区域，剩余存量数据通过预定的匹配关***一描述规则并进一步映射到第二存储区域，且包含到给定的实物ID之下；
其中，PMS为Power Production Management System，即国网设备（资产）运维精益管理***；
ERP为System Applications and Products，企业管理***；
所述增量数据根据所对应设备来源不同而分类存储，每类增量数据使用各自的字段进行描述；
不同类增量数据的相对应的字段间存在确定的映射关系；
提供附加字段库，用于增加对增量数据的描述；
提供规则库，在设备验收时，从规则库中调用相应的规则对增量数据进行校验，校验通过后，相应设备接入电网；
设备接入电网后，虚拟的实物ID通过设备新建形成实物ID，增量数据通过字段匹配生成存量数据；
存量数据包括归一的存量数据和溯源的存量数据；
其中溯源的存量数据在加工时，需验证溯源的存量数据是否异常，若是，则向报送溯源的存量数据的节点反馈异常信息；
若否，溯源的存量数据根据字段匹配生成归一的存量数据。
2.根据权利要求1所述的实物ID数据贯通方法，其特征在于，所述提取步骤为每天给定时刻的提取；和/或
相应外部指令的提取。
3.根据权利要求2所述的实物ID数据贯通方法，其特征在于，首次提取为ERP和PMS所涉及数据的全部字段；
后续提取为ERP和PMS所涉及数据在提取时刻当前的全部字段；或
后续提取只提取ERP和PMS中用于描述增加的数据或产生更新的数据的全部字段。
4.根据权利要求3所述的实物ID数据贯通方法，其特征在于，确定增加或更新的方法是：
在增加数据时产生增加标识，在更新数据时产生更新标识；
相应地，通过增加标识和更新标识来确定数据的增加或更新。
5.根据权利要求1所述的实物ID数据贯通方法，其特征在于，预定的提取方法为使用ETL或ELT的提取方法；
其中，ETL为Extract-Transform-Load，即用来描述将数据从来源端经过抽取-转换-加载-至目的端的过程；
ELT为Extract-Load-Transform，即用来描述将数据从源端经过抽取-加载-转换至目的端的过程；
E，即extract，抽取；T即transform，转换；L即load，加载。
6.根据权利要求1所述的实物ID数据贯通方法，其特征在于，在加工步骤，对提取到的数据进行帐卡物关键字段匹配筛选，将筛选出的不能匹配的数据，生成异常数据。
7.一种实物ID数据贯通***，其特征在于，包括：
提取单元，采用预定的提取方法对PMS和ERP中的数据进行提取；
一次存储单元，将提取单元提取到的数据分类存储到指定位置，其中分类按照相对应的设备是否已接入电网区分为增量数据和存量数据；
加工单元，对一次存储单元中存放的所述增量数据提供虚拟的实物ID，以虚拟的实物ID为关联关系将与该虚拟的实物ID相关的增量数据映射到第一存储区域；对一次存储单元中存放的所述存量数据通过实物ID为关联关系将与该实物ID相关的存量数据映射到第二存储区域，剩余存量数据通过预定的匹配关***一描述规则并进一步映射到第二存储区域，且包含到给定的实物ID之下；
其中，PMS为Power Production Management System，即国网设备（资产）运维精益管理***；
ERP为System Applications and Products，企业管理***；
所述增量数据根据所对应设备来源不同而分类存储，每类增量数据使用各自的字段进行描述；
不同类增量数据的相对应的字段间存在确定的映射关系；
提供附加字段库，用于增加对增量数据的描述；
提供规则库，在设备验收时，从规则库中调用相应的规则对增量数据进行校验，校验通过后，相应设备接入电网；
设备接入电网后，虚拟的实物ID通过设备新建形成实物ID，增量数据通过字段匹配生成存量数据；
存量数据包括归一的存量数据和溯源的存量数据；
其中溯源的存量数据在加工时，需验证溯源的存量数据是否异常，若是，则向报送溯源的存量数据的节点反馈异常信息；
若否，溯源的存量数据根据字段匹配生成归一的存量数据。
CN202010241219.6A 2020-03-31 2020-03-31 实物id数据贯通方法和*** Active CN111460018B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010241219.6A CN111460018B (zh) 2020-03-31 2020-03-31 实物id数据贯通方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010241219.6A CN111460018B (zh) 2020-03-31 2020-03-31 实物id数据贯通方法和***

Publications (2)

Publication Number Publication Date
CN111460018A CN111460018A (zh) 2020-07-28
CN111460018B true CN111460018B (zh) 2023-06-20

Family

ID=71680902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010241219.6A Active CN111460018B (zh) 2020-03-31 2020-03-31 实物id数据贯通方法和***

Country Status (1)

Country Link
CN (1) CN111460018B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092538A (zh) * 2017-03-14 2017-08-25 平安科技（深圳）有限公司 虚拟机数据备份方法及***
CN107484189A (zh) * 2017-07-27 2017-12-15 北京市天元网络技术股份有限公司 Lte数据处理***
CN110889595A (zh) * 2019-11-06 2020-03-17 国网浙江省电力有限公司 一种基于哈希算法的电力物资编码优化方法
CN110930111A (zh) * 2019-11-13 2020-03-27 国网天津市电力公司 实物资产与移动作业统一管理app

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090210081A1 (en) * 2001-08-10 2009-08-20 Rockwell Automation Technologies, Inc. System and method for dynamic multi-objective optimization of machine selection, integration and utilization
WO2014122732A1 (ja) * 2013-02-06 2014-08-14 株式会社日立製作所 計算機システム、メタデータ管理方法及び記録媒体
CN105160458A (zh) * 2015-08-12 2015-12-16 中国南方电网有限责任公司 一种支持七维度台账设备管理的信息处理***及方法
CN110689214A (zh) * 2018-07-08 2020-01-14 国网湖南省电力有限公司物资公司 一种物资供应智汇管控平台
CN110009172B (zh) * 2018-12-10 2022-08-05 南京南瑞信息通信科技有限公司 基于sg-cim模型的资产全生命周期数据建模方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092538A (zh) * 2017-03-14 2017-08-25 平安科技（深圳）有限公司 虚拟机数据备份方法及***
CN107484189A (zh) * 2017-07-27 2017-12-15 北京市天元网络技术股份有限公司 Lte数据处理***
CN110889595A (zh) * 2019-11-06 2020-03-17 国网浙江省电力有限公司 一种基于哈希算法的电力物资编码优化方法
CN110930111A (zh) * 2019-11-13 2020-03-27 国网天津市电力公司 实物资产与移动作业统一管理app

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"利益驱动的泛在电力物联网";杨秀媛;《现代电力》;第37卷(第01期);全文 *

Also Published As

Publication number Publication date
CN111460018A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN105868373B (zh) 电力业务信息***关键数据处理方法及装置
CN105574593B (zh) 基于云计算和大数据的轨道状态静态检控***及方法
CN103077212A (zh) 变电站配置文件管控方法和***
CN103699966A (zh) 基于用户需求的多维度、全过程数据管控***及管控方法
CN110580572A (zh) 一种产品全寿命追溯***
CN111488999A (zh) 一种应用于风电场安全生产信息化管理***
CN114639183A (zh) 基于元素化的智能巡检方法、***、计算机设备及介质
US20080221959A1 (en) System and architecture for managing distributed design chains
CN115496337A (zh) 一种支撑企业大脑的数据***
CN116150408A (zh) 一种基于标识解析的能源信息管理方法、***、设备及存储介质
CN115358522A (zh) 一种企业在线监测***和方法
CN111538720A (zh) 电力行业基础数据清理的方法及***
CN110956444A (zh) 一种基建配网工程数据管理移动***
CN110532313A (zh) 数据交换装置
CN112965981B (zh) 数据核对方法、装置、计算机设备和存储介质
CN110837990A (zh) 物资互联网智能管控***及方法
CN111460018B (zh) 实物id数据贯通方法和***
CN112926945A (zh) 基于实物id的防汛重点部位调控***及方法
CN116630082A (zh) 生产资源的分配方法、装置、电子设备及存储介质
CN116186387A (zh) 一种基于产品数据源的物料标识解析***
US20150186809A1 (en) System and method for tracking ami assets
KR102352658B1 (ko) 건설 사업 정보 관리 시스템 및 이의 제어 방법
CN111797084B (zh) 基于武器装备试验流程的数据编码贯标检查方法及***
CN113867286A (zh) 核工业生产线的三维可视化智能管控***、生产***
CN112734226A (zh) 一种电力客服业务的数据资产管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant