CN103699555A

CN103699555A - 一种适用于调度与变电站一体化***的多源数据实时库数据生成方法

Info

Publication number: CN103699555A
Application number: CN201310276676.9A
Authority: CN
Inventors: 靳晶; 王瑾; 吴庆曦; 杨志宏; 魏娜
Original assignee: Nari Technology Co Ltd
Current assignee: Nari Technology Co Ltd
Priority date: 2013-07-03
Filing date: 2013-07-03
Publication date: 2014-04-02

Abstract

本发明公开了一种多源数据实时库数据生成方法，适用于调度与变电站一体化***，包括步骤：1)启动实时库生成进程，读取配置信息；2）根据配置信息确定数据源，分别提取生成实时库需要的表、域、索引等结构信息、模型数据信息、实时数据信息。目前支持从关系数据库、其他同构实时库、文件提取；3）对提取的表、域、索引结构、模型数据、实时数据，进行完整性和一致性校验；4）根据通过校验的结构信息、模型数据和实时数据，调用实时库生成接口生成实时数据库。本发明可根据配置从关系数据库、其他同构实时库、文件等多种数据源获取实时库生成所需的结构信息、模型数据与实时数据，实现实时库的数据生成，可靠高效、便于扩展，可满足不同场景的应用需要。

Description

一种适用于调度与变电站一体化***的多源数据实时库数据生成方法

技术领域

本发明涉及一种多源数据实时库数据生成方法，具体涉及的是适用于调度与变电站一体化***的多源数据实时库数据生成方法，属于实时数据库技术应用领域。

背景技术

实时库数据生成指将生成实时库所需的数据结构及相关数据提取到本地***，生成实时数据库实体，映射到内存中。在调度与变电站一体化***中，既有主站***，又有子站***，***环境复杂，同时监控对象、采集数据多种多样、形式不一。而各子***的运行环境、网络带宽、设备性能也有很大差异，传统基于关系库的实时库生成方式，占用资源多、耗费时间长，对机器性能、网络环境有很高的要求，在带宽较窄、硬件配置不高的***上运行效率低下。因此需要设计一种基于多种数据源、高效可靠、灵活通用的实时数据库生成方式。

发明内容

为解决现有方法的不足，本发明的目的是提供一种适用于调度与变电站一体化***的多源数据实时库数据生成方法，可根据配置从关系数据库、同构实时库、数据文件等不同数据源，获取生成实时库需要的结构信息、模型数据与实时数据，从而实现多源数据实时库的数据生成。

为解决上述技术问题，本发明的技术方案如下：

一种多源数据实时库数据生成方法，适用于调度与变电站一体化***，其特征在于，其包括步骤如下：

（1）启动实时库生成进程，读取配置信息，提取数据源类型；

（2）根据配置信息确定数据源，分别调用提取结构信息接口、提取模型数据接口、提取实时数据接口，完成生成实时库需要的结构信息、模型数据信息、实时数据信息的获取，所述数据源为从关系数据库、其他同构实时库、数据文件的数据源；

（3）对提取的表、域、索引结构信息、模型数据信息、实时数据信息，进行完整性和一致性的安全校验；

（4）调用数据格式转换接口，将通过安全校验的数据转换成一种通用的中间存储方法，用于屏蔽不同数据源的数据在存储方式和存储格式上的差异；

（5）根据经过转换的结构信息、模型数据和实时数据，调用实时库生成接口生成实时数据库。

前述步骤（2）中，所述提取生成实时库需要的结构信息中所使用的数据接口是根据传入的表号，返回从不同数据源提取的结构信息，并具有多种重载形式；所述多种重载形式如下：

（Ⅰ）从指定关系数据库提取结构信息；

（Ⅱ）从指定同构实时库提取结构信息；

（Ⅲ）从指定文件提取结构信息。

前述步骤（2）中，所述提取生成实时库需要的模型数据信息中所使用的数据接口是根据传入的表号，返回从不同数据源提取的模型数据，并具有多种重载形式；所述多种重载形式如下：

（a）从指定关系数据库提取模型数据;

（b）从指定同构实时库提取模型数据;

（c）从指定文件提取模型数据。

前述步骤（2）中，提取生成实时库需要的实时数据信息中所使用的数据接口是根据传入的表号，返回从不同数据源提取的实时数据，并具有多种重载形式，该多种重载形式如下：

（ⅰ）从指定关系数据库提取实时数据；

（ⅱ）从指定同构实时库提取实时数据；

（ⅲ）从指定文件提取实时数据。

前述步骤(3）中，进行安全校验的校验接口是根据传入的结构信息、模型数据信息、实时数据信息，返回校验结果；并具有多种重载形式，该形式如下：

（A）校验从关系数据库提取数据的完整性与一致性；

（B）校验从同构实时库提取数据的完整性与一致性；

（C）校验从文件提取数据的完整性与一致性。

前述步骤（4）中的数据格式转换接口是将传入的从不同数据源提取的结构信息、模型数据、实时数据，转换成通用的中间存储方法，所述通用的中间存储方法为以STDB_CREAT_REQ结构的中间存储格式的存储方法，所述数据格式转换接口转换时具有多种重载形式，其形式如下：

①将关系数据库数据格式转换为中间存储格式；

②将同构实时库数据格式转换为中间存储格式；

③将文件数据格式转换为中间存储格式。

前述步骤5）中描述的生成实时库接口，根据传入的STDB_CREAT_REQ结构信息生成实时库。

前述的适用于调度与变电站一体化***的多源数据实时库数据生成方法，其特征在于：从不同数据源获取结构信息、模型数据与实时数据，实现实时库的数据生成，可充分满足调度与变电站一体化***不同现场条件下，硬件配置、运行环境、设备性能存在差异的应用需要。由于采用了多源模式，相比单一的生成途径更加高效；提供了对结构、数据的完整性和一致性校验，确保了生成实时库的可靠性；实时库生成接口封装了统一的数据格式，支持对多数据源的扩展。

本发明所达到的有益效果：

1、由于调度与变电站一体化***环境复杂，同时监控对象、采集数据多种多样、形式不一。而各子***的运行环境、网络带宽、设备性能也有很大差异，采用多数据源模式生成实时数据库，可根据需要配置不同的数据源，实现对数据结构、模型数据、实时数据的安全校验和灵活提取，使用高效可靠；

2、提供多种重载类型的接口，适合调度与变电站一体化***不同现场条件下，硬件配置、运行环境、设备性能存在差异的应用需求；

3、由于采用了多源模式，相比单一的生成途径更加高效；提供了对结构、数据的完整性和一致性校验，确保了生成实时库的安全性；

4、实时库生成接口封装了统一的数据格式，支持对多数据源的扩展对于不同数据源，可扩展性好；

5、支持从关系数据库、其他同构实时库、数据文件等多种数据源获取实时库生成所需的结构信息、模型数据与实时数据，实现实时库的数据生成。

附图说明

图1适用于调度与变电站一体化***的多源数据实时库数据生成处理流程。

具体实施方式

以下结合附图对本发明作进一步详细的介绍：

1）读取配置信息；

2）对提取的表、域、索引结构、模型数据、实时数据，进行完整性和一致性校验；

3）调用数据格式转换接口，将通过校验的数据转换成一种通用的中间存储方法，从而屏蔽不同数据源的数据在存储方式和存储格式上的差异；

4）根据经过转换的结构信息、模型数据和实时数据，调用实时库生成接口生成实时数据库。

参见图1，本实施例提供的是一种适用于调度与变电站一体化***的多源数据实时库数据生成方法，可根据配置从关系数据库、同构实时库、数据文件等不同数据源，获取生成实时库需要的结构信息、模型数据与实时数据，从而实现多源数据实时库的数据生成。

由于采用了多源模式，相比单一的生成途径更加高效；提供了对结构、数据的完整性和一致性校验，确保了生成实时库的安全性；实时库生成接口封装了统一的数据格式，支持对多数据源的扩展。其包括步骤如下：

（1）首先启动实时库生成进程，读取配置文件，确定要提取内容的数据源，目前数据源支持从关系数据库、同构实时库、数据文件提取；

（2）接下来依次定位生成实时库所需的结构信息、模型数据信息、实时数据信息的数据来源，分别调用提取结构信息接口、提取模型数据接口、提取实时数据接口，完成生成信息的获取；

（3）再根据不同数据源对提取信息的一致性和完整性进行安全校验；

由于不同的数据源存在不同的校验方法，需要提供一个通用的接口，封装这些校验方法的差异；

对于关系数据库需要校验提取结构的完整性，包括表基本信息如表名、记录个数、记录长度、域个数，域基本信息如：域名、域号、域数据类型、是否主键等；

对于同构实时库还要校验索引存储类型、索引结构等信息；对于数据文件，要校验文件大小、文件权限等信息；

（4）如果通过校验，需要调用数据格式转换接口，将数据转换成一种通用的中间存储方法。由于不同数据源获取的数据格式在存储方式和存储格式上都存在差异，在生成实时库时需要针对不同的格式提供不同的方法，同时不利于后续的维护和扩展，因此通过转换成通用结构STDB_CREAT_REQ来屏蔽这些差异。STDB_CREAT_REQ结构包含了生成实时库所需的基本信息，包括表结构信息、域结构信息、索引结构信息、模型数据信息、实时数据信息；

该步骤中描述的数据格式转换接口，将传入的从不同数据源提取的结构信息、模型数据、实时数据，转换成为STDB_CREAT_REQ结构的通用存储格式，并具有多种重载形式：

①将关系数据库数据格式转换为中间存储格式；

②将同构实时库数据格式转换为中间存储格式；

③将文件数据格式转换为中间存储格式；

其中：STDB_CREAT_REQ结构声明如下

struct STDB_CREAT_REQ

{

DB_CTRL_STRU db_ctrl_info; //实时库表控制信息

STDB_TAB_STRU stdb_tab_info; //实时库表结构信息

SEQ_STDB_FILED_STRU seq_field; //实时库表域结构信息

SEQ_INDEX_DEF_STRU seq_idxdef; //实时库表索引结构信息

SEQ_FIELD_INDEXDEF_STRU seq_filed_idxdef; //实时库表域索引结构信息

SEQ_FILED_INDEX_USED_STRU seq_filed_idxused; //使用的域索引信息

UData model_data; //模型数据

UData rt_data; //实时数据

};

（5）最后将经过转换的数据，调用生成实时库接口生成实时库。

在调度与变电站一体化***中，在调度中心的主站***的机器性能和网络环境都比较好，通常采用较为稳定的方式，即从关系数据库提取所需信息生成实时库，这时无论响应时间还是对***性能的影响都不会有太大问题。但在变电站***中，受现场条件的制约，***规模较小，硬件配置和网络带宽可能不会很高，从关系数据库生成时需要耗费相当时间在数据检索及网络传输上，此时可选择从同构实时库或文件提取，能大大缩短响应时间，降低实时库生成时的***负载。

	记录个数	数据文件个数	从同构实时库提取生成（秒）	从关系库提取生成（秒）
					断路器表	59659	31	1.373	8.261
遥信表	186326	1	2.672	11.468

可见与从关系数据库生成相比，从同构实时库生成时间上大为缩短，从文件生成也是如此。这种生成方式对于规模较小，硬件配置不高的变电站***是十分合适的。

同时在调度与变电站一体化***中，关系数据库里存储的一般是非实时信息，如果直接从关系数据库生成实时库，此时新生成实时库中的实时数据可能是一段时间前的数据断面，因此还需要额外的实时数据同步工作。本发明将实时库划分为结构、模型数据、实时数据三个部分，因此可选择从关系数据库提取结构、模型数据等较少变化的信息，从应用主机实时库提取最新的实时数据，通过实时库生成接口生成实时库。这就使调度与变电站一体化***在实时库生成时，可结合实际条件选择最优的生成方式。

本发明涉及的适用于调度与变电站一体化***的多源数据实时库数据生成方法是结合工作在应用层自主开发的实时库上实现，不依赖于具体的操作***，适用于各种操作***。本发明涉及的适用于调度与变电站一体化***的多源数据实时库数据生成方法保证了可移植性，能够随着实时库***安全、稳定地运行在IBM AIX、Sun Solaris、Alpha Tru64、HPUX、Linux、Windows等操作***平台上；***编程语言采用ANSI C/C++，并符合IEEE POSIX.2标准。

基于上述，本发明从不同数据源获取结构信息、模型数据与实时数据，实现实时库的数据生成，可充分满足调度与变电站一体化***不同现场条件下，硬件配置、运行环境、设备性能存在差异的应用需要。由于采用了多源模式，相比单一的生成途径更加高效；提供了对结构、数据的完整性和一致性校验，确保了生成实时库的可靠性；实时库生成接口封装了统一的数据格式，支持对多数据源的扩展。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims

1.一种多源数据实时库数据生成方法，适用于调度与变电站一体化***，其特征在于，包括步骤如下：

（3）对提取的结构信息、模型数据信息、实时数据信息，进行完整性和一致性的安全校验；

2.如权利要求1所述的方法，其特征在于，所述结构信息为表、域或索引的信息。

3.如权利要求1所述的方法，其特征在于，所述步骤（2）中，所述同构实时库指部署在***其他应用服务器上，表、域、索引结构相同的实时数据库；所述数据文件指调度与变电站一体化***中，进行持久化存储的数据文件，且包含实时库生成所需的必要信息。

4.如权利要求3所述的方法，其特征在于，所述数据文件包括SCD文件或XML文件。

5.如权利要求1-4任意一项所述的方法，其特征在于，所述步骤（2）中，所述提取生成实时库需要的结构信息中所使用的数据接口是根据传入的表号，返回从不同数据源提取的结构信息，并具有多种重载形式；所述多种重载形式如下：

（Ⅰ）从指定关系数据库提取结构信息；

（Ⅱ）从指定同构实时库提取结构信息；

（Ⅲ）从指定文件提取结构信息。

6.如权利要求5所述的方法，其特征在于，所述步骤（2）中，所述提取生成实时库需要的模型数据信息中所使用的模型数据接口是根据传入的表号，返回从不同数据源提取的模型数据，并具有多种重载形式；所述多种重载形式如下：

（a）从指定关系数据库提取模型数据;

（b）从指定同构实时库提取模型数据;

（c）从指定文件提取模型数据。

7.如权利要求6所述的方法，其特征在于，所述步骤（2）中，提取生成实时库需要的实时数据信息中所使用的数据接口是根据传入的表号，返回从不同数据源提取的实时数据，并具有多种重载形式，该多种重载形式如下：

（ⅰ）从指定关系数据库提取实时数据；

（ⅱ）从指定同构实时库提取实时数据；

（ⅲ）从指定文件提取实时数据。

8.如权利要求7所述的方法，其特征在于，所述步骤(3）中，进行安全校验的校验接口是根据传入的结构信息、模型数据信息、实时数据信息，返回校验结果；并具有多种重载形式，该形式如下：

（A）校验从关系数据库提取数据的完整性与一致性；

（B）校验从同构实时库提取数据的完整性与一致性；

（C）校验从文件提取数据的完整性与一致性。

9.如权利要求8所述的方法，其特征在于，所述步骤（4）中的数据格式转换接口是将传入的从不同数据源提取的结构信息、模型数据、实时数据，转换成通用的中间存储方法，所述通用的中间存储方法为以STDB_CREAT_REQ结构的中间存储格式的存储方法，所述数据格式转换接口转换时具有多种重载形式，其形式如下：

①将关系数据库数据格式转换为中间存储格式；

②将同构实时库数据格式转换为中间存储格式；

③将文件数据格式转换为中间存储格式。

10.如权利要求1所述的方法，其特征在于，所述步骤（5）中描述的生成实时库接口，根据传入的STDB_CREAT_REQ结构信息生成实时库。