CN105978715A - 一种基于实时数据中心的数据接入接口统一管理方法 - Google Patents
一种基于实时数据中心的数据接入接口统一管理方法 Download PDFInfo
- Publication number
- CN105978715A CN105978715A CN201610302057.6A CN201610302057A CN105978715A CN 105978715 A CN105978715 A CN 105978715A CN 201610302057 A CN201610302057 A CN 201610302057A CN 105978715 A CN105978715 A CN 105978715A
- Authority
- CN
- China
- Prior art keywords
- adapter
- data
- couple
- time data
- real time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/02—Standardisation; Integration
- H04L41/024—Standardisation; Integration using relational databases for representation of network management data, e.g. managing via structured query language [SQL]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/54—Presence management, e.g. monitoring or registration for receipt of user log-on information, or the connection status of the users
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/08—Protocols for interworking; Protocol conversion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于实时数据中心的数据接入接口统一管理方法,步骤包括:1)针对每一种数据传输协议的数据源部署一个接入适配器;2)接入适配器对数据进行处理并传入数据库;3)接入集中管理器作为***管理员维护与管理工具,对分布在各个站点的接入适配器进行统一配置与管理。本发明改进了电网企业中原有的多数据源数据接入接口管理方式,通过统一的数据接入接口管理工具实现不同类型数据接口的集中统一管理,提高了数据接口管理效率,进而提升了电网企业运行维护的效率。
Description
【技术领域】
本发明涉及电力***控制领域,特别是一种基于实时数据中心的数据接入接口统一管理方法。
【背景技术】
随着坚强智能电网建设向纵深发展,业务应用信息化对电网运行采集海量实时数据管理和开发利用提出了越来越高的要求。为此需要在电网企业建立实时数据中心,打通各业务***之间的壁垒,实现数据资源共享,提高数据的开发利用率,让其在电力企业的生产管理等方面发挥更大的作用。
为了更好的发挥实时数据中心的作用,需要将电网运行时产生的大量多数据源的实时数据接入实时数据中心对应的实时数据库。在接收数据时,每种数据源都需要对应的数据接口,由于接口实现方式、源***厂商等都不一样,随着接口数量的增加,势必增加运维和管理难度,需实现对所有数据接入和访问接口的统一管理。本发明正是为了实现实时数据中心多数据源接口的统一管理而开发实现的。
【发明内容】
针对现有技术中存在的问题,本发明提供了一种可以将电网企业中各种数据源(如遥测、遥信、电度量、SOE、录波数据等)的数据传输接口进行集中统一管理。对电力***而言,一般通过某种数据传输协议(如CDT、101、104等)将***的各类数据(如电流、电压、有功、无功、电度量、开关信号、录波数据等)传送到接入适配器,接入适配器接收分析这些数据,并将数据存入实时数据库中,完成数据接入工作的基于实时数据中心的数据接入接口统一管理方法。
为达到前述目的,本发明采用如下技术方案:一种基于实时数据中心的数据接入接口统一管理方法,其特征在于步骤包括:
一、针对每一种数据传输协议的数据源部署接入适配器,所述接入适配器包括主接入适配器及备用接入适配器:
数据源的实时数据通过约定协议传入所述接入适配器;当网络故障时,接入适配器接收所述实时数据并保存,当网络恢复时再存入实时数据库中;
二、接入适配器对数据进行处理并传入数据库,接入适配器内部工作单元包括:
本地缓存单元:当网络故障时,接入适配器的本地缓存模块将实时数据临时保存为本地数据文件,当网络恢复时,再调用本地缓存模块将数据文件中的数据存入实时数据库;
冗余通讯单元:主接入适配器和备用接入适配器互相侦听双方状态,当主接入适配器故障时,备用接入适配器工作;
测点同步单元:从实时数据中获得测点标记和源点名,并建立用于检索的测点映射表;
协议解析单元:根据实时数据对应的数据传输协议解析实时数据,
数据转换单元:根据测点配置信息将测点映射表进行量纲转换,将两者的质量码转换为所述数据中心预存的质量码;
数据存储单元:将转换好的实时数据和测量点映射表写入实时数据库;
调度单元:使接入适配器与接入集中管理器进行双向通信,使接入集中管理器对接入适配器的整个运行环节进行监控;
三、接入集中管理器包括如下工作单元:
接入适配器管理单元:完成所述接入适配器的打开、关闭、复位;接入适配器的增删改查;接入适配器初始信息的设定,包括注册接口、删除接口、更改接口、查询单个接口、查询所有接口、启动接口、停止接口;
接入适配器监测单元:监测接入适配器的连接状态、启停状态;
质量码管理单元:完成数据中心预存的质量码的管理操作,所述管理操作包括增加质量码、删除质量码、质量码更新、查询质量码、查询所有质量码;
四、备用接入适配器工作流程:
当主接入适配器故障时,备用接入适配器主动接管;接入适配器将对所述实时数据进行协议解析、数据转换后存入实时数据库。
本发明的第二优选方案为:所述接入集中管理器还包括报文监测单元:
接入集中管理器要求接入适配器把接收到的数据给接入集中管理器回发一份,用于验证接入适配器写入实时库的数据的正确性。
本发明可达到如下技术效果:改进了电网企业中原有的多数据源数据接入接口管理方式,通过统一的数据接入接口管理工具实现不同类型数据接口的集中统一管理,提高了数据接口管理效率,进而提升了电网企业运行维护的效率。
本发明的这些特点和优点将会在下面的具体实施方式、附图中详细的揭露。
【附图说明】
下面结合附图对本发明做进一步的说明:
图1为本发明实施例1的工作方法原理图。
【具体实施方式】
下面结合本发明实施例的附图对本发明实施例的技术方案进行解释和说明,但下述实施例仅为本发明的优选实施例,并非全部。基于实施方式中的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得其他实施例,都属于本发明的保护范围。
实施例1。
整个数据接入接口统一管理工具由两部分组成:接入适配器和接入集中管理器。每一种数据传输协议的数据源都需要部署一个接入适配器,接入适配器在接入集中管理器中注册,以***服务的形式运行。接入集中管理器作为***管理员对各工具进行管理与维护,对分布在各个站点的接入适配器进行集中统一监管。
参考图1,一种基于实时数据中心的数据接入接口统一管理方法,其步骤包括
一、针对每一种数据传输协议的数据源部署接入适配器,所述接入适配器包括主接入适配器及备用接入适配器:
数据源的实时数据通过约定协议传入所述接入适配器;当网络故障时,接入适配器接收所述实时数据并保存,当网络恢复时再存入实时数据库中;
二、接入适配器对数据进行处理并传入数据库,接入适配器内部工作单元包括:
本地缓存单元:当网络故障时,接入适配器的本地缓存模块将实时数据临时保存为本地数据文件,当网络恢复时,再调用本地缓存模块将数据文件中的数据存入实时数据库;
冗余通讯单元:主接入适配器和备用接入适配器互相侦听双方状态,当主接入适配器故障时,备用接入适配器工作;
测点同步单元:从实时数据中获得测点标记和源点名,并建立用于检索的测点映射表;
协议解析单元:根据实时数据对应的数据传输协议解析实时数据,
数据转换单元:根据测点配置信息将测点映射表进行量纲转换,将两者的质量码转换为所述数据中心预存的质量码;
数据存储单元:将转换好的实时数据和测量点映射表写入实时数据库;
调度单元:使接入适配器与接入集中管理器进行双向通信,使接入集中管理器对接入适配器的整个运行环节进行监控;
三、接入集中管理器包括如下工作单元:
接入适配器管理单元:完成所述接入适配器的打开、关闭、复位;接入适配器的增删改查;接入适配器初始信息的设定,包括注册接口、删除接口、更改接口、查询单个接口、查询所有接口、启动接口、停止接口;
接入适配器监测单元:监测接入适配器的连接状态、启停状态;
质量码管理单元:完成数据中心预存的质量码的管理操作,所述管理操作包括增加质量码、删除质量码、质量码更新、查询质量码、查询所有质量码;
四、备用接入适配器工作流程:
当主接入适配器故障时,备用接入适配器主动接管;接入适配器将对所述实时数据进行协议解析、数据转换后存入实时数据库。
所述接入集中管理器还包括报文监测单元:接入集中管理器要求接入适配器把接收到的数据给接入集中管理器回发一份,用于验证接入适配器写入实时库的数据的正确性。
当有数据需要接入到实时数据中心时,集中接入管理器首先查询该数据所需的接入适配器类型,若***中已存在该接口,则启动该接口进行数据传输,当数据传输完毕后停止接口。若***中不存在所需的接口,则需进行注册接口操作,将该接口添加到***中,然后进行接口启停操作传输数据。集中接入管理器还可根据实际情况进行接口的删除、更改和查询操作。
在进行数据传输时,需要监测接入服务的连接状态,接入适配器监测模块监测接入服务的连接状态,该过程会向接口发出连接请求,调用接入CORBA服务,由接口的CORBA服务对具体的接口进行连接,若连接成功则不进行其他操作,若连接失败则通过ping检查接口的存在性。
质量码管理与接入服务没有关联,只是在***中维护质量码信息。当写入数据库的数据需要特定的质量码时,质量码管理服务首先会查询现有质量码,若***中存在所需质量码则不进行其他操作,若***中不存在所需质量码则进行增加质量码操作,将特定的质量码写入数据库。同时,质量码管理模块还需进行数据库质量码的维护工作,将特定的或者废弃不用的质量码从数据库中删除,将新的质量码更新到数据库中。
在传输数据过程中,需要验证数据的正确性,当接入服务把数据解析出来存入实时数据库时,要求将数据回发一份到接入集中管理器,当接入集中管理器收到这些原始数据时就可以验证数据的正确性。验证数据正确性主要通过报文监测实现,其主要功能模块是报文接收,通过接收到的报文可以判断数据的正确性。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,熟悉该本领域的技术人员应该明白本发明包括但不限于附图和上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。
Claims (2)
1.一种基于实时数据中心的数据接入接口统一管理方法,其特征在于步骤包括:
一、针对每一种数据传输协议的数据源部署接入适配器,所述接入适配器包括主接入适配器及备用接入适配器:
数据源的实时数据通过约定协议传入所述接入适配器;当网络故障时,接入适配器接收所述实时数据并保存,当网络恢复时再存入实时数据库中;
二、接入适配器对数据进行处理并传入数据库,接入适配器内部工作单元包括:
本地缓存单元:当网络故障时,接入适配器的本地缓存模块将实时数据临时保存为本地数据文件,当网络恢复时,再调用本地缓存模块将数据文件中的数据存入实时数据库;
冗余通讯单元:主接入适配器和备用接入适配器互相侦听双方状态,当主接入适配器故障时,备用接入适配器工作;
测点同步单元:从实时数据中获得测点标记和源点名,并建立用于检索的测点映射表;
协议解析单元:根据实时数据对应的数据传输协议解析实时数据,
数据转换单元:根据测点配置信息将测点映射表进行量纲转换,将两者的质量码转换为所述数据中心预存的质量码;
数据存储单元:将转换好的实时数据和测量点映射表写入实时数据库;
调度单元:使接入适配器与接入集中管理器进行双向通信,使接入集中管理器对接入适配器的整个运行环节进行监控;
三、接入集中管理器包括如下工作单元:
接入适配器管理单元:完成所述接入适配器的打开、关闭、复位;接入适配器的增删改查;接入适配器初始信息的设定,包括注册接口、删除接口、更改接口、查询单个接口、查询所有接口、启动接口、停止接口;
接入适配器监测单元:监测接入适配器的连接状态、启停状态;
质量码管理单元:完成数据中心预存的质量码的管理操作,所述管理操作包括增加质量码、删除质量码、质量码更新、查询质量码、查询所有质量码;
四、备用接入适配器工作流程:
当主接入适配器故障时,备用接入适配器主动接管;接入适配器将对所述实时数据进行协议解析、数据转换后存入实时数据库。
2.根据权利要求1所述一种基于实时数据中心的数据接入接口的同一管理方法,其特征在于,所述接入集中管理器还包括报文监测单元:
接入集中管理器要求接入适配器把接收到的数据给接入集中管理器回发一份,用于验证接入适配器写入实时库的数据的正确性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610302057.6A CN105978715A (zh) | 2016-05-09 | 2016-05-09 | 一种基于实时数据中心的数据接入接口统一管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610302057.6A CN105978715A (zh) | 2016-05-09 | 2016-05-09 | 一种基于实时数据中心的数据接入接口统一管理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105978715A true CN105978715A (zh) | 2016-09-28 |
Family
ID=56991423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610302057.6A Pending CN105978715A (zh) | 2016-05-09 | 2016-05-09 | 一种基于实时数据中心的数据接入接口统一管理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105978715A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109814501A (zh) * | 2018-12-29 | 2019-05-28 | 北京农业信息技术研究中心 | 一种现场检测设备灵活接入的信息采集***及方法 |
CN114253953A (zh) * | 2021-11-18 | 2022-03-29 | 国电南京自动化股份有限公司 | 基于聚类分析的配电网多维数据处理方法及*** |
CN116775310A (zh) * | 2023-07-31 | 2023-09-19 | 北京中泰华电科技有限公司 | 一种实现多个工业实时数据库融合扩展的方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101005398A (zh) * | 2006-01-20 | 2007-07-25 | 迈普(四川)通信技术有限公司 | 单框设备上双机工作方法 |
CN102404390A (zh) * | 2011-11-07 | 2012-04-04 | 广东电网公司电力科学研究院 | 高速实时数据库的智能化动态负载均衡方法 |
CN103605766A (zh) * | 2013-11-26 | 2014-02-26 | 国家电网公司 | 变电数据接入实时/历史数据库的方法及装置 |
CN103714152A (zh) * | 2013-12-26 | 2014-04-09 | 国家电网公司 | 一种通用的数据接入方法及装置 |
CN104134168A (zh) * | 2014-08-12 | 2014-11-05 | 国网浙江奉化市供电公司 | 一种数据管理*** |
CN204009903U (zh) * | 2014-07-28 | 2014-12-10 | 云南电力试验研究院(集团)有限公司电力研究院 | 一种电网海量实时数据服务平台 |
-
2016
- 2016-05-09 CN CN201610302057.6A patent/CN105978715A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101005398A (zh) * | 2006-01-20 | 2007-07-25 | 迈普(四川)通信技术有限公司 | 单框设备上双机工作方法 |
CN102404390A (zh) * | 2011-11-07 | 2012-04-04 | 广东电网公司电力科学研究院 | 高速实时数据库的智能化动态负载均衡方法 |
CN103605766A (zh) * | 2013-11-26 | 2014-02-26 | 国家电网公司 | 变电数据接入实时/历史数据库的方法及装置 |
CN103714152A (zh) * | 2013-12-26 | 2014-04-09 | 国家电网公司 | 一种通用的数据接入方法及装置 |
CN204009903U (zh) * | 2014-07-28 | 2014-12-10 | 云南电力试验研究院(集团)有限公司电力研究院 | 一种电网海量实时数据服务平台 |
CN104134168A (zh) * | 2014-08-12 | 2014-11-05 | 国网浙江奉化市供电公司 | 一种数据管理*** |
Non-Patent Citations (1)
Title |
---|
朱颖: ""电力***海量实时数据管理平台设计与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑 2016年第02期》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109814501A (zh) * | 2018-12-29 | 2019-05-28 | 北京农业信息技术研究中心 | 一种现场检测设备灵活接入的信息采集***及方法 |
CN114253953A (zh) * | 2021-11-18 | 2022-03-29 | 国电南京自动化股份有限公司 | 基于聚类分析的配电网多维数据处理方法及*** |
CN116775310A (zh) * | 2023-07-31 | 2023-09-19 | 北京中泰华电科技有限公司 | 一种实现多个工业实时数据库融合扩展的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7099879B2 (en) | Real-time monitoring of service performance through the use of relational database calculation clusters | |
CN107069950A (zh) | 一种配电主站对终端设备的自动识别方法及*** | |
CN102437938A (zh) | 面向大规模网络监测的虚拟化部署***和方法 | |
US20030212778A1 (en) | UML representation of parameter calculation expressions for service monitoring | |
CN112698953A (zh) | 一种基于微服务的电网智能运检平台 | |
CN101135715A (zh) | 一种北向接口数据完整性的检验方法 | |
CN113659713A (zh) | 一种基于hplc通信的配电物联网端侧设备即插即用方法 | |
CN103516802A (zh) | 一种实现跨异构虚拟交换机无缝迁移的方法和装置 | |
CN114281790B (zh) | 一种多类型负荷资源聚合商接入***及方法 | |
CN103905237A (zh) | 一种电信交换网的网管***和管理方法 | |
CN105978715A (zh) | 一种基于实时数据中心的数据接入接口统一管理方法 | |
CN107463490B (zh) | 一种应用于平台开发中的集群日志集中收集方法 | |
CN110768372A (zh) | 基于iec61850标准的保护信息***源端建模方法 | |
CN110912731A (zh) | 基于nfv采用dpi技术实现业务识别和拓扑分析的***和方法 | |
CN101594263B (zh) | 对网络通信数据包进行监控的*** | |
CN113419920A (zh) | 物联管理平台仿真测试***联调测试过程实时监控方法 | |
CN108768995B (zh) | 子站自适应接入主站方法 | |
CN103297477B (zh) | 一种数据采集上报***及数据处理方法和代理服务器 | |
CN105743695A (zh) | 一种基于iec104 规约的监听方法及*** | |
CN113824801B (zh) | 一种智能融合终端统一接入管理组件*** | |
CN203101932U (zh) | 变电设备状态接入控制器 | |
CN109474529A (zh) | 一种终端网络关联数据反馈的方法 | |
Yang et al. | A novel architecture design of power Internet of Things based on Huawei Internet of Things platform | |
CN112769230A (zh) | 基于容器技术的分布式边缘微云监控*** | |
CN107809347A (zh) | 一种输变电设备监测平台的监控*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160928 |