CN107147683A - 一种基于数据字典的分布式数据统一访问方法 - Google Patents

一种基于数据字典的分布式数据统一访问方法 Download PDF

Info

Publication number
CN107147683A
CN107147683A CN201610115426.0A CN201610115426A CN107147683A CN 107147683 A CN107147683 A CN 107147683A CN 201610115426 A CN201610115426 A CN 201610115426A CN 107147683 A CN107147683 A CN 107147683A
Authority
CN
China
Prior art keywords
data
access
service
dictionary
distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610115426.0A
Other languages
English (en)
Inventor
王治华
庄卫金
孙名扬
柳津
陈宏福
王艳
张鸿
梁卢鸿
黄龙达
于芳
苏凡
张永刚
徐攀
沈豪栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
State Grid Shanghai Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
State Grid Shanghai Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, China Electric Power Research Institute Co Ltd CEPRI, State Grid Shanghai Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201610115426.0A priority Critical patent/CN107147683A/zh
Publication of CN107147683A publication Critical patent/CN107147683A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种基于数据字典的分布式数据统一访问方法，包括：生成带有数据资源特征的数据字典，集成局域网内存储在多机上的数据，实现单个区域内数据访问；设计单个区域内数据访问服务之间的协作机制，根据数据字典分发非本区域访问请求至正确的外区访问服务；统一接收数据访问请求，集中解析，并行分发以及分布式处理后一次性返回结果；部署多个独立并行工作的数据访问服务，优化客户端侧的访问主机，设计***负载均衡机制。本发明提供的技术方案扩大数据的可见范围；提高了数据利用率；提高了数据访问性能。

Description

一种基于数据字典的分布式数据统一访问方法
技术领域
本发明涉及一种电力***调度自动化领域，具体涉及一种基于数据字典的分布式数据统一访问方法。
背景技术
现有的智能电网调度技术支持***具有良好的横向集成、纵向贯通能力，能够充分满足目前调度机构各专业的需要，随着电力改革的不断深入和跨大区互联电网的快速发展，确定了未来电网紧密耦合，调度***全局广域、动态一体化的趋势。现有***中数据的可见性限于各调度区内，采用集中式单机访问的方式，通过主/备服务器对区域内提供数据访问服务。如此，带来一些问题：1、数据访问受限：数据只能在调度区内可见，无法在全网范围内互联共享，如要实现跨区数据访问只能从数据源重新接收原始数据后重新处理；2、单点故障隐患：数据服务主机只是一台服务器，虽然备机随时待命，但集中式的数据管理机制存在先天不足，仍然存在单点故障隐患；3、易成为性能瓶颈：集中式处理方式水平扩展能力弱，性能提升成本高，当数据访问量突增时，极易成为***性能瓶颈点，影响实时运行业务***。
发明内容
为解决上述现有技术中的不足，本发明的目的是提供一种基于数据字典的分布式数据统一访问方法，重新整合已有数据资源，通过数据字典技术，将全网各调度区的数据访问服务互联共享，实现了数据的统一访问和高效利用，为全网分析与计算、全局调度计划和控制决策提供支撑和保障，也为海量数据的分布式处理提供基础，进一步提升了广域***整体性的处理能力。
本发明的目的是采用下述技术方案实现的：
本发明提供一种基于数据字典的分布式数据统一访问方法，其改进之处在于，所述方法包括下述步骤：
(1)生成带有数据资源特征的数据字典，集成局域网内存储在多机上的数据，实现单个区域内数据访问；
(2)设计单个区域内数据访问服务之间的协作机制，根据数据字典分发非本区域访问请求至正确的外区访问服务；
(3)统一接收数据访问请求，集中解析，并行分发以及分布式处理后一次性返回结果；
(4)部署多个独立并行工作的数据访问服务，优化客户端侧的访问主机，设计***负载均衡机制。
进一步地，所述步骤(1)中，所述数据字典由每个数据实体生成，用于记录数据标识与数据位置的对应关系；
数据资源是以数据字典的形式组织管理，数据和数据访问服务互相分离，部署在多台不同的数据服务器上，数据分散存储于多台服务器；
数据访问服务汇集子区内所有数据服务器上的数据字典，用于记录数据存储的数据服务器节点名和物理位置；
单个区域内数据访问依据数据字典的分布式数据访问服务。
进一步地，所述步骤(2)中，数据访问服务之间相互协作实现数据访问服务功能，处理数据遵循本地处理，异地转发的原则，根据数据字典转发非本区域的访问请求至正确的外区访问服务。
进一步地，所述步骤(3)中，数据访问服务支持接收来自全网的访问请求，根据数据字典集中解析，将单个数据请求中具有相同数据位置的数据分量分离出来独立操作，分解为多个面向不同区域的处理线程，并行分发数据请求，待线程处理全部返回后统一整合线程结果，形成最终结果并返回客户端，整个过程全都由应用程序完成，无需人为介入；数据访问服务之前功能相同，地位平等，客户端优先使用本区域的数据访问服务。
进一步地，所述步骤(4)中，在单个区域内数据访问服务是多个独立工作的节点组成，相互协作统一对外提供数据服务；客户端侧访问数据和访问服务的主机根据负载实时调整。
与最接近的现有技术相比，本发明提供的技术方案具有的优异效果是：
本发明基于数据字典，设计了一种分布式数据统一访问方法，使得数据资源在全网范围内互联共享，不再局限于传统的各调度区内，提高了数据资源利用率，方便了电网实时数据的统一访问和高效共享。另外，基于数据字典的分布式数据统一访问技术，支持数据的分布式存储和访问，可以极大提高数据访问速度，为实现海量数据处理提供了基础，为电网调度和大运行提供有力的技术支撑和保障,具有很好的推广价值。
附图说明
图1是本发明提供的基于数据字典的分布式数据统一访问方法的技术架构图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的组件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，本发明的这些实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。
本发明公开了一种基于数据字典的分布式数据统一访问技术，其特征在于，包括以下步骤：
(1)集成调度区域内部存储在多机上的数据，生成带有数据资源特征的数据字典，实现单区数据访问功能；
(2)设计单区数据访问服务之间的协作机制，根据数据字典分发非本区域访问请求至正确的外区访问服务；
(3)统一接收数据访问请求，集中解析，并行分发，分布式处理后一次性返回结果；
(4)部署多个独立工作的数据访问服务，优化客户端侧访问主机的方法，设计***负载均衡机制。
在所述步骤1)中，现有***中调度区内的数据访问直接根据数据标识(记录ID)访问数据，数据和数据访问服务集中部署在同一服务器，以此导致***扩展性不强，性能瓶颈突出。本发明中，每个数据实体生成对应的数据字典，记录数据标识与数据位置的对应关系。数据资源以数据字典的形式组织管理，解耦数据和数据访问服务。同时，同类数据可以分散存储于多台服务器，通过字典中的数据位置信息定位并访问数据。数据访问服务汇集子区内所有数据服务器上的数据字典，记录数据存储的服务器节点名和物理位置。依据数据字典，提供单个区域内分布式数据访问功能。
在所述步骤2)中，现有***如要实现跨区数据访问只能从数据源重新接收原始数据后重新处理。在本发明中，各个数据访问服务之间通力协作，依据数据字典判断请求的数据是否属于本地，再根据本地处理，异地转发的原则处理本区域数据，转发非本区域的访问请求至正确的外区访问服务。
在所述步骤3)中，现有***中各调度区的数据局限于区域内部访问使用，区域外对区域内的数据资源不可见。本发明设计的数据访问服务支持接收来自全网的访问请求,根据数据字典集中解析，分解为多个面向不同区域的处理线程，并行分发数据请求，待线程处理全部返回后统一整合线程结果，形成最终结果并返回客户端。数据访问服务之前功能相同，地位平等，考虑到访问的数据对象大部分位于客户端所在区域，客户端优先使用本区域的数据访问服务。
在所述步骤4)中，现有***中数据访问服务采用主/备式单机部署，水平横向扩展能力不强，极易成为***性能瓶颈。在本发明中，数据与数据访问服务解耦分离，通过部署多个独立工作的数据访问服务节点，相互协作统一对外提供数据服务，增强***扩展能力，提高数据访问突增情况下的***适应能力。同时，通过优化客户端侧访问主机的方法，实现数据访问服务节点之间的负载均衡，进一步提高数据访问效率。
实施例
下面结合调度数据网，以华东分调和华北分调为例，对本发明的技术方案作进一步的详细说明。
1)华东分调和华北分调是平行层级的调度区，每个调度区因为数据资源庞大，又根据厂站划分为若干调度子区，数据存储在局域网上多个主机。本方法首先分别对华东分调和华北分调各***内的数据生成数据字典，数据字典中记录数据标识和数据位置的索引信息，
以华东分调为例，东善桥厂站的数据存储在hd-sca01，对于访问该厂站数据的请求则会由数据访问服务根据数据字典分发至局域网内的hd-sca01主机上，其他厂站和主机关系类推，以此实现单个区域内分布式数据访问功能。
2)在单区访问的基础上，增加数据访问服务之间的协作机制，以华东分调为例，华东的数据访问服务节点接收的数据请求中包含华北分调的数据，此时数据访问服务根据数据字典中的区域信息，将华北分调的数据请求转发到华北分调的数据访问服务，由华北的数据访问服务完成数据请求后返回华东分调，完成数据处理。
3)有了数据访问服务之间的协作机制，使得在全网任何节点上获取任何数据成为现实。华东的数据访问服务接收到数据请求之后，将数据请求解析分解为一个或多个单个数据区域的子请求，华北的数据请求分发至华北的数据访问服务，华中的数据请求分发至华中的数据访问服务，以此类推。并行处理各个子请求返回的各个区域的数据结果，再统一返回给客户端，实现华东区域获取全网数据的功能。
4)单个数据访问服务容易成为***瓶颈，在调度区域内部署多个独立并行工作的数据访问服务，可以有效提高***运行效率和可靠性。在华东和华北分调，分别部署多个数据访问服务，客户端根据负载均衡机制选择最优的数据访问服务获取数据，多个区域多个访问服务之间紧密结合，实现分布式数据统一访问。
本发明通过的一种基于数据字典的分布式数据统一访问方法，通过统一通用的数据字典，集成多区多机数据，实现了广域网内数据跨区统一访问和互联共享；同时支持部署多个数据访问服务节点，提升***水平扩展能力，避免单点故障，加强***可靠性和安全性；引入负载均衡机制，满足在大量数据访问和处理要求，实现数据高效访问。在未来电网紧密耦合，调度***全局广域、动态一体化的环境下，本发明可以满足海量数据的分布式处理要求，加强全网数据互联共享，支撑广域***整体性的分布式处理技术。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (5)

1.一种基于数据字典的分布式数据统一访问方法，其特征在于，所述方法包括下述步骤：
(1)生成带有数据资源特征的数据字典，集成局域网内存储在多机上的数据，实现单个区域内数据访问；
(2)设计单个区域内数据访问服务之间的协作机制，根据数据字典分发非本区域访问请求至正确的外区访问服务；
(3)统一接收数据访问请求，集中解析，并行分发以及分布式处理后一次性返回结果；
(4)部署多个独立并行工作的数据访问服务，优化客户端侧的访问主机，设计***负载均衡机制。
2.如权利要求1所述的分布式数据统一访问方法，其特征在于，所述步骤(1)中，所述数据字典由每个数据实体生成，用于记录数据标识与数据位置的对应关系；
数据资源是以数据字典的形式组织管理，数据和数据访问服务互相分离，部署在多台不同的数据服务器上，数据分散存储于多台服务器；
数据访问服务汇集子区内所有数据服务器上的数据字典，用于记录数据存储的数据服务器节点名和物理位置；
单个区域内数据访问依据数据字典的分布式数据访问服务。
3.如权利要求1所述的分布式数据统一访问方法，其特征在于，所述步骤(2)中，数据访问服务之间相互协作实现数据访问服务功能，处理数据遵循本地处理，异地转发的原则，根据数据字典转发非本区域的访问请求至正确的外区访问服务。
4.如权利要求1所述的分布式数据统一访问方法，其特征在于，所述步骤(3)中，数据访问服务支持接收来自全网的访问请求，根据数据字典集中解析，将单个数据请求中具有相同数据位置的数据分量分离出来独立操作，分解为多个面向不同区域的处理线程，并行分发数据请求，待线程处理全部返回后统一整合线程结果，形成最终结果并返回客户端，整个过程全都由应用程序完成，无需人为介入；数据访问服务之前功能相同，地位平等，客户端优先使用本区域的数据访问服务。
5.如权利要求1所述的分布式数据统一访问方法，其特征在于，所述步骤(4)中，在单个区域内数据访问服务是多个独立工作的节点组成，相互协作统一对外提供数据服务；客户端侧访问数据和访问服务的主机根据负载实时调整。
CN201610115426.0A 2016-03-01 2016-03-01 一种基于数据字典的分布式数据统一访问方法 Pending CN107147683A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610115426.0A CN107147683A (zh) 2016-03-01 2016-03-01 一种基于数据字典的分布式数据统一访问方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610115426.0A CN107147683A (zh) 2016-03-01 2016-03-01 一种基于数据字典的分布式数据统一访问方法

Publications (1)

Publication Number Publication Date
CN107147683A true CN107147683A (zh) 2017-09-08

Family

ID=59783021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610115426.0A Pending CN107147683A (zh) 2016-03-01 2016-03-01 一种基于数据字典的分布式数据统一访问方法

Country Status (1)

Country Link
CN (1) CN107147683A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114503505A (zh) * 2019-10-16 2022-05-13 国际商业机器公司 从分布式网络中的有噪声的数值数据学习模式字典

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070050333A1 (en) * 2005-08-31 2007-03-01 Sap Ag Archive indexing engine
CN101090401A (zh) * 2007-05-25 2007-12-19 金蝶软件（中国）有限公司 一种群集环境下的数据缓存方法及***
CN101500022A (zh) * 2009-03-09 2009-08-05 北大方正集团有限公司 一种数据访问资源的分配方法及其***和设备
CN101969391A (zh) * 2010-10-27 2011-02-09 北京邮电大学 一种支持融合网络业务的云平台及其工作方法
CN102214228A (zh) * 2011-06-24 2011-10-12 国电南瑞科技股份有限公司 大电网分布式实时数据库***及其数据管理方法
CN104391949A (zh) * 2014-11-26 2015-03-04 国家电网公司 一种基于数据字典的广域数据资源管理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070050333A1 (en) * 2005-08-31 2007-03-01 Sap Ag Archive indexing engine
CN101090401A (zh) * 2007-05-25 2007-12-19 金蝶软件（中国）有限公司 一种群集环境下的数据缓存方法及***
CN101500022A (zh) * 2009-03-09 2009-08-05 北大方正集团有限公司 一种数据访问资源的分配方法及其***和设备
CN101969391A (zh) * 2010-10-27 2011-02-09 北京邮电大学 一种支持融合网络业务的云平台及其工作方法
CN102214228A (zh) * 2011-06-24 2011-10-12 国电南瑞科技股份有限公司 大电网分布式实时数据库***及其数据管理方法
CN104391949A (zh) * 2014-11-26 2015-03-04 国家电网公司 一种基于数据字典的广域数据资源管理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114503505A (zh) * 2019-10-16 2022-05-13 国际商业机器公司 从分布式网络中的有噪声的数值数据学习模式字典

Similar Documents

Publication Publication Date Title
CN207543147U (zh) 一种客服中心的微服务调控***
Liu et al. Job scheduling model for cloud computing based on multi-objective genetic algorithm
CN106534318B (zh) 一种基于流量亲和性的OpenStack云平台资源动态调度***和方法
CN102214228B (zh) 大电网分布式实时数据库***的数据管理方法
CN102833289B (zh) 一种分布式云计算资源组织和任务分配方法
CN103701619B (zh) 基于cdn和数据中心动态选择的互联网内容分发方法
CN104679594B (zh) 一种中间件分布式计算方法
CN107241319A (zh) 基于vpn的分布式网络爬虫***及调度方法
Zhou et al. Optimal mobile device selection for mobile cloud service providing
CN111562966B (zh) 一种人机物融合云计算平台的资源编排方法
CN104601664A (zh) 一种云计算平台资源管理与虚拟机调度的控制***
CN106302640A (zh) 数据请求处理方法及装置
CN106251071A (zh) 一种支持多种引擎的云工作流实现方法
CN106131185A (zh) 一种视频数据的处理方法、装置及***
Khan et al. A cache‐based approach toward improved scheduling in fog computing
CN104780202A (zh) 用于端到端云服务数据库虚拟化及管理的架构和方法
CN102158533A (zh) 基于QoS的分布式web服务选择方法
CN106060125A (zh) 一种基于数据标签的分布式实时数据传输方法
CN104601378A (zh) 结合应用性能指标监控数据的虚拟资源弹性调度实现方法
CN114553723A (zh) 一种人工智能训练平台的运营方法、***、介质及设备
CN103561092A (zh) 私有云环境下管理资源的方法及装置
Tariq et al. Priority based load balancing in cloud and fog based systems
CN107147683A (zh) 一种基于数据字典的分布式数据统一访问方法
CN104750614B (zh) 用于管理存储器的方法和装置
CN106341402B (zh) 基于多架构分布式缓存的处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170908

RJ01 Rejection of invention patent application after publication